このセクションの記事

リリースノート

Avatar
Jason Stevens
  • 更新
フォローする

[en] RLI is a 100% Java implementation of the Rosette Language Identifier. It supports the detection of language, encoding, and writing script for input data in any of 364 language profiles, involving 56 languages, 48 encodings, and 18 writing scripts

[en] Release 7.23.8.c69.0

[en] March 2023

[en] This release is for compatibility with other Rosette SDKs. There are no new features or bug fixes.

[en] Third-Party Component Updates

表1 [en] Updated

[en] Package

[en] Old Version

[en] New Version

[en] Google Guava

[en] 26.0-jre

[en] 31.1-jre

[en] Release 7.23.7.c68.0

[en] December 2022

[en] Bug Fixes

  • [en] The command line utility RLICmd is functioning correctly. It returned an error in the previous release. (RLIJE-563)

[en] Third-party component updates

[en] This release includes the following third-party component changes:

表2 [en] Upgraded

[en] Package

[en] Old version

[en] New version

[en] Apache Log4j

2.17.1

2.19.0

[en] fastutil

8.5.6

8.5.9

[en] Jackson

2.11.1

2.14.0

[en] SLF4J

1.7.33

1.7.36

[en] SnakeYAML

1.30

1.33

[en] Release 7.23.6.c67.0

[en] June 2022

[en] New

  • [en] Java 17 support added: Java 8 and 9 support has been removed. Java 11 and Java 17 are supported. (RLIJE-557)

[en] Release 7.23.5.c66.0

[en] February 2022

[en] This release is for compatibility with other Rosette SDKs. There are no new features or bug fixes.

注記

[en] Java 8 and Java 9 support is deprecated as of this release.

[en] Third-party component updates

[en] This release includes the following third-party component changes:

表3 [en] Upgraded

[en] Package

[en] Old Version

[en] New Version

[en] Apache Commons IO

2.7

2.11.0

[en] Apache Commons Lang

2.6

3.12.0

[en] Apache Log4j

1.2.17

2.17.1

[en] ICU4J

59.1

70.1

[en] fastutil

8.4.0

8.5.6

[en] SLF4J

1.7.28

1.7.33

[en] SnakeYAML

1.26

1.30

[en] Release 7.23.4.c65.0

[en] July 2021

[en] Bug fixes

  • [en] Confidence scores for language regions are now always within the range [0,1]. (RLIJE-552)

[en] Release 7.23.3.c64.1

[en] May 2021

[en] This release is for compatibility with other Rosette SDKs. There are no new features or bug fixes.

[en] Release 7.23.2.c63.0

[en] March 2021

[en] New

  • [en] New RLICmd option: We've added the option -lineInputDelimiter to specify a delimiter to use with -lineInput other than the default newline. It has no effect when -lineInput is not true. (RLIJE-530)

[en] Bug Fixes

  • [en] We fixed a bug where changing the value of -maxResults could change the results returned in addition to the number of results. This only occurred when there was a small off-script region in the input text. (RLIJE-534)

[en] Release 7.23.1.c63.0

[en] January 2021

[en] New

  • [en] We added -input-json (-ij) as an option to RLICmd to specify that the input is an ADM format file. (RLIJE-533)

  • [en] When specifying -output-json as an option in RLICmd, the resulting ADM now has a data field containing the input data. If the encoding of the data is not recognized by the JVM, the data field will not be populated. (RLIJE-532)

[en] Bug Fixes

  • [en] We fixed a bug where RLICmd would crash when trying to supply a script file (-scriptFile). (RLIJE-532)

[en] Third-party component updates

[en] This release includes the following third party component changes:

[en] Package

[en] Old Version

[en] New Version

[en] Apache Commons IO

2.6

2.7

[en] fastutil

8.3.0

8.4.0

[en] Jackson Annotations

2.9.8

2.11.1

[en] Jackson Core

2.9.8

2.11.1

[en] Jackson Databind

2.9.8

2.11.1

[en] Jackson Dataformat XML

2.9.8

2.11.1

[en] Jackson dataformats: Text

2.9.8

2.11.1

[en] Jackson modules: Base

2.9.8

2.11.1

[en] LIBLINEAR

1.9.5

2.30

[en] SnakeYAML

1.25

1.26

[en] Stax2 API

4.2

4.2.1

[en] Release 7.23.0.c62.2

[en] September 2020

[en] Bug Fixes

  • [en] RLI-JE now correctly identifies the primary language of short documents which contain small fragments of a language in another script. Previously, the language of the fragments might be erroneously detected as the primary language. The lengths of the document's script regions are now taken into account when identifying the primary language. (RLIJE-523)

[en] API Changes

  • [en] LanguageIdentifierBuilder#buildLanguageRegionAnnotator(Annotator, Annotator) has been formally deprecated. It was already marked as being for internal use only. (RLIJE-523)

[en] Release 7.22.2.c62.2

[en] January 2020

[en] This release is for compatibility with other Rosette SDKs. There are no new features or bug fixes.

[en] Release 7.22.1.c62.0

[en] December 2019

[en] New Features

  • [en] We have added -lineInput as an option to RLICmd. With the option enabled, RLICmd will process each line of an input file separately, and each line will get its own set of results. (RLIJE-215)

[en] Bugs Fixed

  • [en] We fixed a bug where the documentation erroneously claimed that RLI-JE supported jpn-Kana in UTF-16BE, UTF-16LE, and UTF-8. (RLIJE-524)

RLI-je 7.22.0 (7.21.4からの更新:)

2019年8月

新機能

  • 短文アルゴリズムは下記の言語に対応しました：アルバニア語、ブルガリア語、カタロニア語、クロアチア語、エストニア語、アイスランド語、クルド語（アラビア文字）、クルド語（ラテン文字）、ラトビア語、リトアニア語、マケドニア語、ポーランド語、セルビア語（キリル文字）、セルビア語（ラテン文字）、スロバキア語、スロベニア語、ソマリア語、タガログ語、ウクライナ語、ウルドゥー語（アラビア文字）、ウズベク語（キリル文字）、ウズベク語（ラテン文字）、およびベトナム語

  • これまでマレー語（msa）として返していた文書はマレーシア語（zsm）として返すようになりました。

  • shortStringThresholdが設定されている場合、LanguageRegionAnnotatorは、文書内に含まれている他言語文に短文アルゴリズムを使用します。

[en] Release 7.21 and earlier

新機能

不具合修正

サードパーティー・コンポーネント

未解決の問題

変更点

RLI-je 7.21.4 （7.18.0からの更新内容）

  • Java 11 に対応しました。(RLIJE-511)

リリース 7.21.0

  • RLI-JEにkoreanDialectsオプションを追加しました。デフォルトでは朝鮮語（kor）が出力されますが、koreanDialectsオプションを使用すれば北朝鮮（qkp）、韓国（qkr）が出力されます。 （RLIJE-480）

リリース 7.20.0

  • 短文書判別機能にインドネシア語とマレーシア語のサポートが追加されました。 （RLIJE-448）

リリース 7.19.0

  • 信頼度スコアアルゴリズムを再調整し、信頼度の高い得点が0.03ぐらいでなく、約0.9となるようにしました。（RLIJE-447）

  • 日本語と中国語文書にアルファベットなどが含まれている場合、文書を別々に処理することが可能となりました。以前のまま別々に処理したくない場合は、新たに追加したオプション minNonScriptioContinuaRegionLength を10に設定してください。（RLIJE-454）

[en] Release 7.18.2

  • [en] Exposed more features through OSGi (internal use only). (RLIJE-423)

[en] Release 7.18.1

  • [en] Exposed more features through OSGi (internal use only). (RLIJE-423)

  • [en] Added the -output-json option to RLICmd to write the output ADM as JSON.

[en] Release 7.18.0

  • [en] RLI-JE now returns results for raw input in encodings not supported by the JVM. In previous versions, it threw an exception. (RLIJE-288)

[en] Release 7.17.0

  • [en] Sped up the language region detection algorithm. It now completes in O(n) time. (RLIJE-397)

[en] Release 7.16.0

  • [en] To become file-system-agnostic, the use of Path in the API is now supported. (RLIJE-331)

  • [en] Version of OSGi (internal use only) upgraded. (RLIJE-380)

  • [en] Added -dontBreakRegionOnScriptBoundary to RLICmd. (RLIJE-324)

[en] Release 7.15.2

  • [en] Added debug and trace log messages to the multilingual detection code. (RLIJE-388)

リリース7.15.0

  • 言語判別の重み付けで特定言語の判別率を上げることができるようになりました。(RLIJE-111)

  • 言語ウェイトのAPIが短文解析にも使用できるようになりました。(RLIJE-204)

  • RLICmdのオプションを変更しました。(RLIJE-230)

  • 言語が判別できない時、短文解析と標準解析で同じ結果を返すようになりました。いずれもこの場合Unknownが返ります。NoMatchException, NotEnoughDataException, LanguageIdentificationExceptionは廃止予定に追加。(RLIJE-272, RLIJE-304)

  • 内部のアルゴリズムを変更し判別精度を向上。(RLIJE-277)

  • 一つの言語に一つの結果を返すオプションを追加。詳細は LanguageIdentifierBuilder#uniqueLanguages(boolean)をご覧ください。(RLIJE-298)

  • LanguageIdentifierBuilderのlanguageHintとencodingHint メソッドを廃止予定に追加。言語ウェイトAPIをお使いください。(RLIJE-320)

リリース 7.14.0

  • アラビア語のアルファベット表記など、音訳言語のプロファイルをデフォルトで無効に設定。プロファイルを有効にするにはLanguageIdentifierBuilder#languageWeightAdjustment(LanguageCode, ISO15924, int)をご覧ください。(RLIJE-225)

リリース 7.13.3

  • 短文解析のモデルをJARファイルから読み込むオプションを追加。詳細はLanguageIdentifierBuilder#useModelsInJar(boolean)をご覧ください。(RLIJE-276)

リリース 7.13.1

  • RLICmdで言語データが不十分な時に起きていた例外処理の不具合を修正。(RLIJE-216)

  • 複数のドキュメントをRLICmdで同時に処理できるようマルチスレッドに対応。(RLIJE-221)

  • icu4j および args4j を rli-je-shaded jarファイルにシェード。(RLIJE-237)

  • Basisのcommon-lib jarをrli-je-shaded jarにシェード。(RLIJE-248)

  • RLI-JEがadm-shadedの代わりにadm-modelに依存するようになりました。それに伴いRLI-JEはApache Commons Betwixt や Javassistに依存しなくなりました。(RLIJE-252)

  • 短文解析のアルゴリズムを改良。7.13.0よりも20%処理速度が向上。(RLIJE-254)

リリース 7.13.0

  • 特殊な処理を追加し、短文解析の判別精度を向上。(RLIJE-96)

  • ライセンスディレクトリーをBasisの他の製品に合わせ、license から licenses に変更。(RLIJE-124)

  • コマンドラインユーティリティーRLICmdをtools/bin から bin ディレクトリーに移動。(RLIJE-200)

  • 中国語の判別方法を見直し、言語と文字体系を分離しました。文字体系がHan, Simplified (Hans) およびHan, Traditional (Hant)の時に、いずれも中国語 (zho) と判別するようにしました。従来はそれぞれ別々に簡体字中国語 (zhs) と繁体字中国語 (zht)と判別していました。(RLIJE-152)

リリース 7.12.0

  • 複数の言語を含むドキュメントを処理する際、各言語領域を検出できるようになりました。(RLIJE-88)

  • LanguageIdentifierFactory と LanguageIdentifierを廃止予定に追加。代わりに LanguageIdentifierBuilderでオプションを設定したり、Annotator オブジェクトを生成し、言語、エンコーディング、文字体系、言語領域を検出します。本実装には、他のRosette製品でも使用されている新しいデータモデル (com.basistech.rosette.dm)を使用します。(RLIJE-93)

リリース 7.11.0

  • LanguageIdentifierインスタンスを生成するファクトリークラス(LanguageIdentifierFactory) を追加。(RLIJE-15)

  • コマンドラインユーティリティーを LanguageIdentifier から RLICmdに変更。(RLIJE-32)

  • UTF-16のエンコーディングに対し、リトルエンディアン(UTF-16LE) とビッグエンディアン(UTF-16BE)の判別が可能になりました。(RLIJE-51)

  • ライセンスの読み込み方法を拡張。LanguageIdentifierFactoryのコンストラクターが、ファイル、入力ストリーム、xmlの文字列からライセンスの読み込みが可能になりました。

  • LanguageIdentifier setLanguageWeight Adjustmentメソッドで、特定言語のウェイト%を減少できるようになりました。 複数言語からなるドキュメントを解析する際有効です。

  • デフォルトのウェイトを調整し Pushto/Latn および Urdu/Latn の精度が向上。Serbian/Latn のデフォルトウェイトを0に変更。クロアチア語が判別できるようになりました。これらの変更はPushto/Arab, Urdu/Arab, Serbian/Cyrillic に影響しません。(RLIJE-37)

  • lib ディレクトリーに新しい.jarファイルを置きました。mahout-collections-1.0.jar は廃止しました。

リリース 6.5.1.1

  • trove-2.0.4.jar を mahout-collections-1.0.jarで置き換えました。

  • utilities-no-jni-7.1.jar を廃止。rlp-common-1.3.6.jar を btcommon-3.jarで置き換えました。

リリース 6.5.1

従来のRosette Search Essentials SDKを改め、RLI Java版としての最初のリリースとなります。C++版 RLI 6.5.1の実装を移植しました。

不具合修正

RLI-je 7.21.3 解決されたバグ

[en] Bug#

[en] Description

[en] RLIJE-503

依存関係のシェーディングが他のBasis製品と一貫していません。コンポーネントがスムーズに連動できるよう、この不整合を解決済みです。

RLI-je 7.21.2 解決されたバグ

[en] Bug#

[en] Description

[en] RLIJE-500

RLI-JEは、セキュリティ上の脆弱性があるGuava 18.0.0に依存していました。（CVE-2018-10237）現在はGuava 26.0-jreに依存しています。

RLI-je 7.21.1 解決されたバグ

[en] Bug#

[en] Description

[en] RLIJE-496

koreanDialectsが指定されているものの、rootDirectoryが指定されていない場合、RLI-JEが北朝鮮または韓国ではなく、韓国だけを返します。現在、方言モデルを参照しようとして、rootDirectoryが指定されていない場合、例外をスローします。koreanDialectsとrootDirectoryのいずれも指定されている場合、もしくは指定されていない場合は、例外をスローしません。

RLI-JE 7.20.3 解決されたバグ

[en] Bug#

[en] Description

[en] RLIJE-481

パッケージに古いバージョンのTensorFlowが含まれていました。

RLI-je 7.20.2 解決されたバグ

[en] Bug#

[en] Description

[en] COMN-234, RLIJE-479

依存関係のシェーディングが他のBasis製品と一貫していませんでした。

RLI-je 7.20.0 解決されたバグ

[en] Bug#

[en] Description

[en] RLIJE-446, RLIJE-456

配布パッケージに、JFrog Artifactoryによって管理されている場合に問題を引き起こしたMETA-INFのMaven POMファイルが含まれていました。

RLi-je 7.19.0 解決されたバグ

[en] Bug#

[en] Description

[en] RLIJE-435, RLIJE-445

文書の言語が別の言語と混同されやすい場合、言語領域検出が単言語文書内で複数の言語領域を検出することがあります。たとえば、インドネシア語の文書が、インドネシア語の一部の領域とマレーシア語の一部の領域を持っていると検出される可能性があります。この問題は、混同される可能性がある文字列を識別し、混同されやすい文字列領域で識別された言語が、その領域の文書全体検出モジュールに自分を識別させる必要があるとするルールセットを呼び出すことで修正されます。

[en] Bug Fixes in 7.18.0

[en] Bug#

[en] Description

[en] RLIJE-402

[en] RLI-JE crashes on certain combinations of Han characters when assertions are enabled.

[en] Bug Fix in 7.17.2

[en] Bug#

[en] Description

[en] RLIJE-426

[en] RLI-JE can crash when sharing a classpath with Rosette Entity Extractor (REX) Java Edition.

[en] Bug Fix in 7.17.1

[en] Bug#

[en] Description

[en] RLIJE-412

[en] Language region detection fails on input containing an unpaired surrogate.

[en] Bug Fix in 7.17.0

[en] Bug#

[en] Description

[en] RLIJE-391

[en] Misidentification in the presence of half-width katakana characters. The fix was the removal of the Japanese half-width UTF-8 profile. This also resulted in a small increase in accuracy for the detection of Japanese.

[en] RLIJE-394

[en] Script related misidentifications in the short string identifier. The fix was motivated by some Hebrew and Russian errors, but is more general than these cases.

[en] Bug Fix in 7.16.0

[en] Bug#

[en] Description

[en] RLIJE-386

[en] Language identification with multiple threads was slow due to unnecessary synchronization. This was also backported to 7.15.1.

リリース7.15.0

[en] Bug#

説明

[en] RLIJE-269

RLICmdの -breakRegionOnScriptBoundary オプションがfalseに設定できない不具合を修正。

[en] RLIJE-278

短文解析モデルが欠落している際のエラーメッセージを修正。

リリース 7.14.1

[en] Bug#

説明

[en] RLIJE-302

UTF-16の大文字英語の処理で起きていたスタックオーバーフローを修正。

リリース 7.13.1

[en] Bug#

説明

[en] RLIJE-202

言語ヒントがキリル文字で処理データがUTF-8やUTF-16以外の時、LanguageIdentifierが返していたNotEnoughDataExceptionの不具合を修正。LanguageIdentifierはヒント言語を返すようになりました。

[en] RLIJE-220

言語-文字体系のペアと文字体系の指定のない当該言語が異なる設定の時、LanguageIdentifierBuilderが不規則なlanguageWeightAdjustmentsを設定する不具合を修正。言語-文字体系ペアの設定値が優先されるようになりました。

[en] RLIJE-236

REX-JEと併用時、シェード版のアノテートデータモデルのパッケージを含むために、RLI-JEのJARファイルをクラスパスの最初の部分に指定するとREXCmdがNoSuchMethodExceptionを返す不具合を修正。

[en] RLIJE-259

LanguageIdentifierでngramプロファイルからの差異の小さいものから順にソートするアサーションチェックが、漢字データでは経験則に影響されてしまう不具合を修正。

[en] RLIJE-262

RLI-JEが５つ以上の結果を返せない不具合を修正。

リリース 7.13.0

[en] Bug#

説明

[en] RLIJE-170

大量の入力を処理する際、LanguageRegionAnnotator がIllegalArgumentException を起こす不具合を修正。

[en] RLIJE-176

空の文字列を処理する際に起きていたIllegalArgumentExceptionの不具合を修正。

[en] RLIJE-178

log4j システムプロパティーの初期化の警告メッセージが出ないよう、RLICmd ユーティリティーを修正。

リリース 7.12.2

[en] Bug#

説明

[en] RLIJE-171

rli-je-shaded jarファイルのシェーディングを修正。

リリース 7.12.1

[en] Bug#

説明

[en] RLIJE-161

サードパーティーコンポーネントをrli-je-shaded jarファイルにシェーディング。

[en] RLIJE-164

LanguageRegionAnnotator.detectRegion がmaxRegionの設定よりも大きい領域を判別する場合、 IllegalArgumentExceptionが返るようになりました。

リリース 6.5.1.2

[en] Bug#

説明

[en] RLI-460

Webアプリケーションおよびサーブレットのデプロイで起きていたDataCacheの不具合を修正。

[en] Third-Party Components

[en] For a list of third-party licenses for components that are used in Basis Technology products, see ThirdPartyLicenses.txt.

[en] Third-party component updates in 7.21.4

[en] Component

[en] Version

[en] Change

[en] annoy-Java

0.2.5

[en] Removed

[en] Third-party component updates in 7.21.4

[en] Component

[en] Version

[en] Change

[en] annoy-java

0.2.5

[en] New

[en] Jackson Annotations

2.9.8

[en] Version upgrade

[en] Jackson Core

2.9.8

[en] Version upgrade

[en] Jackson Databind

2.9.8

[en] Version upgrade

[en] Jackson Dataformat XML

2.9.8

[en] Version upgrade

[en] Jackson dataformats: Text

2.9.8

[en] Version upgrade

[en] Jackson modules: Base

2.9.8

[en] Version upgrade

[en] Liblinear-java

1.95

[en] Version upgrade

[en] SnakeYAML

1.23

[en] Version upgrade

[en] Third-party component updates in 7.21.2

[en] Component

[en] Version

[en] Change

[en] Google Guava

[en] 26.0-jre

[en] Version upgrade

[en] Third-party component updates in 7.21.0

[en] Component

[en] Version

[en] Change

[en] Jackson Annotations

2.9.6

[en] Version upgrade

[en] Jackson Core

2.9.6

[en] Version upgrade

[en] Jackson Databind

2.9.6

[en] Version upgrade

[en] Jackson Dataformat XML

2.9.6

[en] Version upgrade

[en] Jackson dataformats: Text

2.9.6

[en] Version upgrade

[en] Jackson modules: Base

2.9.6

[en] Version upgrade

[en] Woodstox

4.0.5

[en] Version downgrade

[en] Third-party component updates in 7.20.1

[en] Component

[en] Version

[en] Change

[en] Colt

1.2.0

[en] New

[en] Google Guava

18.0

[en] Version upgrade

[en] Jackson Annotations

2.9.4

[en] Version upgrade

[en] Jackson Core

2.9.4

[en] Version upgrade

[en] Jackson Databind

2.9.4

[en] Version upgrade

[en] Jackson Dataformat XML

2.9.4

[en] Version upgrade

[en] Jackson Dataformat YAML

2.7.3

[en] Removed

[en] Jackson dataformats: Text

2.9.4

[en] New

[en] Jackson datatypes: collections

2.9.4

[en] New

[en] Jackson Module JAXB Annotations

2.7.3

[en] Removed

[en] Jackson modules: Base

2.9.4

[en] New

[en] SnakeYAML

1.18

[en] Version upgrade

[en] Woodstox

5.0.3

[en] New

[en] Third-party component updates in 7.18.0

[en] Component

[en] Version

[en] Change

[en] ICU4J

59.1

[en] Version upgrade

[en] Third-party component updates in 7.16.0

[en] Component

[en] Version

[en] Change

[en] Fastutil

6.6.1

[en] Version upgrade

[en] Third-party component updates in 7.15.0

[en] Component

[en] Version

[en] Change

[en] Jackson Annotations

2.7.3

[en] Version upgrade

[en] Jackson Core

2.7.3

[en] Version upgrade

[en] Jackson Databind

2.7.3

[en] Version upgrade

[en] Jackson Dataformat XML

2.7.3

[en] Version upgrade

[en] Jackson Dataformat YAML

2.7.3

[en] Version upgrade

[en] Jackson Module JAXB Annotation

2.7.3

[en] Version upgrade

[en] Third-party component updates in 7.14.0

[en] Component

[en] Version

[en] Change

[en] args4j

2.32

[en] Version upgrade

[en] Apache Commons Lang

2.6

[en] New

[en] Apache Commons Math

 

[en] Removed

[en] ICU4J

55.1

[en] Version upgrade

[en] Jackson Annotations

2.6.2

[en] Version upgrade

[en] Jackson Core

2.6.2

[en] Version upgrade

[en] Jackson Databind

2.6.2

[en] Version upgrade

[en] Jackson Dataformat XML

2.6.2

[en] Version upgrade

[en] Jackson Dataformat YAML

2.6.2

[en] Version upgrade

[en] Jackson Module JAXB Annotation

2.6.2

[en] Version upgrade

[en] SnakeYAML

1.15

[en] Version upgrade

未解決の問題

RLIではUTF-16 データの判別が正しく行えないことがあります。その場合、UTF-8 のバイト配列を取り出しdetect(byte[] data)に渡します。

漢字を含むデータを処理する際 LanguageIdentifier が返す判別結果が信頼度順に並ばないことがあります。これは経験則による結果を反映したものです。

関連記事

コメント

0件のコメント

サインインしてコメントを残してください。





Powered by Zendesk