【手続補正書】
【提出日】平成17年11月25日(2005.11.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】データ表示テキストの言語および文字セットを特定する方法
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】  文字の形とある範囲の特定のデータ値とを結びつけた未知の区別された文字セットに従って未知の区別された言語でテキストを表示するデータ値のテキスト文字列に対して、前記データ値のテキスト文字列を使用して前記テキストの前記区別された言語を特定するためのコンピュータシステムにおける方法において、
前記データ値のテキスト文字列に多対１の縮小マッピングを適用して、前記データ値のテキスト文字列を特徴付ける多対１縮小マッピングされたデータ値の変換された文字列を生成するステップであって、前記データ値のテキスト文字列を特徴つける前記多対１縮小マッピングされたデータ値の変換された文字列のデータ値は、前記未知の区別された言語におけるテキストを表示する前記テキスト文字列のデータ値の範囲より小さい範囲を有するステップと、
各々の複数の言語に対して、
前記言語のテキストの多対１縮小マッピングされた表示サンプルにおける特定のデータ値の統計的な発生の観点から前記言語をモデル化する多対１縮小マッピングされた統計モデルを検索するステップと、
前記検索された多対１縮小マッピングされた統計モデルを、前記データ値のテキスト文字列を特徴付ける前記多対１縮小マッピングされたデータ値の変換された文字列の統計的解析結果と比較するステップと、
前記多対１縮小マッピングを介して前記言語を表すモデルがデータ値のテキスト文字列を特徴付ける前記多対１縮小マッピングされたデータ値の変換された文字列の統計的解析結果と最も好ましく比較を行う複数の言語の中の前記言語を前記区別された言語として特定するステップと
を備えることを特徴とする方法。
【請求項２】  前記多対１の縮小マッピングは、
英字アルファベットの大文字および小文字を２６の異なる値にマッピングすること、
拡張された文字を単一の同じ値にマッピングすること、および、
数字および句読点を単一の同じ値にマッピングすること
を備えたことを特徴とする請求項１に記載の方法。
【請求項３】  前記多対１の縮小マッピングは、８ビットの文字を２８の値にマッピングし、前記多対１の縮小マッピングは、
英字アルファベットの大文字および小文字を２６の異なる値にマッピングすること、
拡張された文字を単一の同じ値にマッピングすること、および、
数字および句読点を単一の同じ値にマッピングすること
を備えたことを特徴とする請求項１に記載の方法。
【請求項４】  １または複数のコンピュータシステムに請求項１に記載のステップを実行させるプログラムが格納されたコンピュータ読取り可能記憶媒体。
【請求項５】  デジタル文書表示を特徴とする文書特徴付けデータ構造を含むコンピュータメモリにおいて、
前記デジタル文書表示は、一連のソース値を含み、
前記データ構造は、１組の可能な目標値の選択された長さの各々の可能な並べ替えに対して、各々の可能な目標値が少なくとも１つの可能なソース値からマップされる選択された縮小マッピングによって、対応する目標値に各々のソース値がマップされる１組のソース値の選択された長さの並べ替えのデジタル文書表示において発生数の指示を含み、前記データ構造がデジタル文書表示を解析するためにｎ−ｇｒａｍの解析技術を受けることができることを特徴とするコンピュータメモリ。
【請求項６】  各々の表示は、全体数であり、前記データ構造は、選択された長さに直接対応する多数の次元を有する全体数の配列を含むことを特徴とする請求項５に記載のコンピュータメモリ。
【請求項７】  文字の形と１または複数の特定のバイト値とを結びつけた未知の区別された文字セットに従って未知の区別された言語でテキストを表示する複数のバイト値に対して、各々のバイト値は、オンまたはオフとなる高位ビットを有し、前記区別された言語および前記区別された文字セットを特定するためのコンピュータシステムにおける方法において、
前記高位ビットがオンである前記複数のバイト値の数をカウントするステップと、
前記複数のバイト値の所与の割合よりも多い高位ビットがオンの場合に、第１アプローチを適用して、前記区別された言語および前記区別された文字セットを特定するステップと、
前記複数のバイト値の所与の割合よりも多い高位ビットがオンでない場合に、第２アプローチを適用して、前記区別された言語および前記区別された文字セットを特定するステップと
を備えたことを特徴とする方法。
【請求項８】  前記所与の割合は、１／２であることを特徴とする請求項７に記載の方法。
【請求項９】  前記第１アプローチを適用するステップは、前記複数のバイト値の２次元の特徴付けを、異なる言語と文字の組み合わせをモデリングする２次元モデルと比較して、前記区別された言語および前記区別された文字セットを特定するステップを含み、
前記第２アプローチを適用するステップは、前記複数のバイト値の３次元の特徴付けを、異なる言語をモデリングする３次元モデルと比較して、前記区別された言語を特定するステップと、前記複数のバイト値の１次元の特徴付けを、文字セットと特定された識別された言語との異なる組み合わせをモデリングする１次元モデルと比較して、前記区別された文字セットを特定するステップとを含む
ことを特徴とする請求項７に記載の方法。
【請求項１０】  前記第１アプローチを適用するステップは、文字を表す各バイト値をその目標値にマッピングし、高位ビットのセットを有する各バイト値をその目標値にマッピングし、残りのバイト値を付加の目標値の小さい数にマッピングするマッピングを用いて、前記２次元の特徴付けおよび前記２次元モデルを生成するステップを含み、
前記第２アプローチを適用するステップは、文字を表す各バイト値をその目標値にマッピングし、文字を表さない各バイト値を付加の目標値の小さい数にマッピングするマッピングを用いて、前記３次元の特徴付けおよび前記３次元モデルを生成するステップと、高位ビットのセットを有する各バイト値をその目標値にマッピングし、残りのバイト値を付加の目標値の小さい数にマッピングするマッピングを用いて、前記１次元の特徴付けおよび前記１次元モデルを生成するステップとを含む
ことを特徴とする請求項９に記載の方法。
【請求項１１】  入力デジタルテキストを解析して、ラテン系の単一バイト文字セットのデジタルテキストと、複数バイトの文字セットまたは非ラテン系の文字セットとを区別するコンピュータ実行方法であって、
前記入力デジタルテキストのバイトを解析して、少なくとも前記入力デジタルテキストのバイトの所与の割合が、拡張された文字か否かを判定すること、および、
前記入力デジタルテキストが、ラテン系の単一バイト文字セットのデジタルテキストであると判定することと、前記入力デジタルテキストが、複数バイトの文字セットまたは非ラテン系の文字セットであると判定することのいずれかを、少なくとも前記入力デジタルテキストのバイトの所与の割合が、拡張された文字か否かを判定することに基づいて選択することであって、少なくとも前記入力デジタルテキストのバイトの所与の割合が、拡張された文字か否かの判定に応答して、前記入力デジタルテキストが、複数バイトの文字セットまたは非ラテン系の文字セットのデジタルテキストであると判定すること
を備えたことを特徴とする方法。
【請求項１２】  前記所与の割合は、１／２であることを特徴とする請求項１１に記載の方法。
【請求項１３】  元の文字の文字列を含むテキストの言語を検出するコンピュータ実行方法であって、前記テキストの前記言語は、ラテン系の言語のグループの中の１つであり、前記ラテン系の言語のグループの少なくとも２つの言語は、異なる単一バイト文字セットであって、１または複数の同じバイト値は、前記異なる単一バイト文字セットの異なる文字にマップし、１または複数の同じバイト値は、前記異なる単一バイト文字セットの同じ文字にマップする方法であって、
前記テキストの前記元の文字の文字列におけるバイト値を、大文字・小文字に関わらず、英字アルファベットの文字のみを区別する文字値の小さなセットに縮小マッピングして、変換された文字の文字列を生成することであって、拡張された文字は、前記変換された文字の文字列において単一の文字値にマッピングされること、
前記変換された文字の文字列において、ｎ−ｇｒａｍの度数を特定すること、および、
前記変換された文字の文字列の前記ｎ−ｇｒａｍの度数に統計的解析を適用して、前記ラテン系の言語のグループの中の前記テキストの前記言語を検出すること
を備えたことを特徴とする方法。
【請求項１４】  前記統計的解析は、前記変換された文字の文字列の前記ｎ−ｇｒａｍの度数を、トレーニングテキストの変換されたセットのｎ−ｇｒａｍの度数と比較することであって、前記トレーニングテキストは、大文字・小文字に関わらず、英字アルファベットの文字のみを区別する値に縮小マッピングすることによって変換されることを含むことを特徴とする請求項１３に記載の方法。