(57)【要約】【課題】二つの文の意味的等価性を信頼性高く評価できる装置を提供する。【解決手段】意味的等価性評価装置は、二つの文の単語の各々に適切なＰＯＳタグを付し、第１及び第２の単語の集合９８、１００を出力するＰＯＳタグ付け及びステム処理部９６と、第２の単語の集合１００に対する第１の単語の集合９８の拡張ＰＥＲスコアを計算するためのＰＥＲ計算モジュール１０２とを含む。拡張ＰＥＲスコアは第１及び第２の単語の集合９８、１００の一致しない単語から計算された第１の要素グループと、第１及び第２の単語の集合９８、１００の一致した単語から計算された第２の要素グループとを含む。【選択図】        図３
2006350605.tif 000002
【特許請求の範囲】
【請求項１】
第１の文と第２の文との意味的等価性を評価するための意味的等価性評価装置であって、
二つの文中の各単語に適切な品詞タグを付して、第１の文と第２の文とのタグ付けされた単語をそれぞれ含む第１の単語の集合と第２の単語の集合とを出力するための手段と、
前記第１の単語の集合の、前記第２の単語の集合に対する第１の意味的等価性のスコアを計算するための手段とを含み、前記第１の意味的等価性のスコアは、前記第１の単語の集合と前記第２の単語の集合との中で、一致しない単語から計算された第１の要素グループと、前記第１の単語の集合と第２の単語の集合との中で、一致した単語から計算された第２の要素グループとを含む、意味的等価性評価装置。
【請求項２】
前記タグ付けするための手段は、
前記二つの文中の単語の各々に対し、予め定められた品詞タグの組から選択された適切な品詞タグを付すための手段と、
それぞれ、前記第１の文と前記第２の文との単語を含む、前記第１の単語の集合と前記第２の単語の集合とを出力するための手段とを含み、前記単語の各々は、品詞タグの組から選択された適切なタグを付されている、請求項１に記載の装置。
【請求項３】
前記計算するための手段は、
前記品詞タグの組に含まれる各タグについて、そのタグを有する単語であって、前記第１又は第２の単語の集合の一方にはあるが前記第１及び第２の単語の集合の両方の中にはないような単語の数である第１の数を計算し、その第１の数を、前記第１の単語の集合中の単語の総数で除するための、第１の要素グループ計算手段と、
前記品詞タグの組に含まれる各タグについて、そのタグを有する単語であって、前記第１及び第２の単語の集合の両方の中にあるような単語の数である第２の数を計算し、その第２の数を前記第１の単語の集合中の単語の総数で除するための、第２の要素グループ計算手段とを含む、請求項１に記載の装置。
【請求項４】
コンピュータ上で実行されると、当該コンピュータを、請求項１から請求項３のいずれかに記載の意味的等価性評価装置として動作させる、コンピュータで実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、二つの文が同じ意味を有するか否かを判断するための装置に関し、特に、簡単な手法を用いて、二つの文の意味的等価性を信頼性高く評価するための装置に関する。
【背景技術】
【０００２】
自動機械翻訳評価とは、機械翻訳システムからの出力を、参照訳からなる小さなコーパスを基準にスコア付けするための手段である。その基本的な原理は、ある出力が、その入力文に対する完璧な訳の集合のいずれかに対して何らかの形で「近い」ならば、その出力は良好な訳である、とするものである。こうした技術が捕えようとしているこの「近さ」は、本質的には意味的な等価性という概念である。
【０００３】
候補訳の各々について単一の参照文を用いる場合、一対の文が言い換えであるか否かを判断することと、ＭＴ（機械翻訳）評価の行なおうとしていることとはきわめて類似している。違いは、比較されるべき文章の性質から生じるのであって、それはＭＴの出力が文法的に正しい文とは限らないからである。さらに、ＭＴ評価のスコアは、必ずしも文ごとに計算しなくてもよく、コーパスレベルで抽出される統計に基づいたものであっても良い。さらに、ＭＴ評価の過程は非対称である。すなわち、参照訳と、候補の機械翻訳との間には区別がある。幸い、通常用いられる自動ＭＴ評価技術は、文法的スコア付けを明示的には行なわず、（ＢＬＥＵを除いては）文のレベルでそれらの構成要素のスコアに自然に分けられる。
【０００４】
この発明の背景には二つの動機がある。第１は、これらのＭＴ評価技術で用いられている特徴量が、文の意味的等価性の分類器に対しどの程度有用であるかを判断することである。あるドメインで良好な性能を示すシステムであれば、別のドメインでも良好に動作すると期待できるであろう。結局のところ、文レベルの意味的等価性を判断するのは、ＭＴ評価装置の「仕事のうち」である。第２の動機は、一つのタスクで成功した技術と戦略とは、他のタスクにも移植できるだろう、という推測である。
【０００５】
単語レベルでの意味的等価性は情報検索の重要な構成要素であり（例えば非特許文献５）、単語間の意味的距離の概念は、近年大いに関心を集めている（例えば非特許文献４）。
【０００６】
意味的等価性を文のレベルまで拡張することで多くの可能性が広がる。ここに示す研究は、その基礎として、ＭＴ評価のために開発された技術を用いる（非特許文献９、非特許文献１０、非特許文献８、非特許文献２）。これらの技術は、後述する実施の形態で用いられる、分類器の特徴量の組を作成する基礎として用いられる。
【０００７】
以下に、ＭＴ評価のさまざまな手法の概要を述べる。
【０００８】
＜ＭＴ評価方法＞
ＭＴ評価手法は、ＭＴシステムの出力セグメント（本件の場合では文）Ｓ＝｛ｓ１，ｓ２,…，ｓI｝を、それぞれのセグメントの正解訳に対応する一組の参照訳Ｒに対してスコア付けする。本発明では文対を分類するので、評価のために単一の参照訳を用いる場合のみを考慮する。参照訳の組は以下で与えられる。
【０００９】
Ｒ＝｛ｒ1，  ｒ2，…,ｒI｝
＜ＷＥＲ＞
単語誤り率(Ｗｏｒｄ  Ｅｒｒｏｒ  Ｒａｔｅ：ＷＥＲ）（非特許文献９）は、ある文ｓiを別の文ｒiに変換するのに必要とされる編集作業の数からなる尺度であり、以下で定義される。
【００１０】
【数１】
2006350605.tif 000003
ここで、Ｉ（ｓi，ｒi），Ｄ（ｓi，ｒi）及びＳ（ｓi，ｒi）はそれぞれ、挿入、削除及び置換の数である。
【００１１】
＜ＰＥＲ＞
位置独立な単語誤り率（Ｐｏｓｉｔｉｏｎ−ｉｎｄｅｐｅｎｄｅｎｔ  ｗｏｒｄ  ｅｒｒｏｒ  ｒａｔｅ：ＰＥＲ）（非特許文献１０）は、語順を考慮しない点を除き、ＷＥＲと同様のものである。どちらの文も、単語の集合として扱われる。
【００１２】
【数２】
2006350605.tif 000004
ここでｄｉｆｆ（ｓi，ｒi）はｓiのみに見出される単語の数である。
【００１３】
＜ＢＬＥＵ＞
ＢＬＥＵスコア（非特許文献８）は、ｎ−グラム精度の幾何平均に基づく。スコアは以下で与えられる。
【００１４】
【数３】
2006350605.tif 000005
ここでＮは最大ｎ−グラムサイズである。
【００１５】
ｎ−グラム精度ｐｎは以下で与えられる。
【００１６】
【数４】
2006350605.tif 000006
ここでｃｏｕｎｔ（ｎｇｒａｍ）はｓiとｒiとの両者に見出されるｎ−ｇｒａｍの数であり、ｃｏｕｎｔsys（ｎｇｒａｍ）はｓi中のｎ−ｇｒａｍの数である。
【００１７】
短いことに対するペナルティ（ｂｒｅｖｉｔｙ  ｐｅｎａｌｔｙ：ＢＰ）は、対応の参照訳より短いＭＴ出力にペナルティを課すものであり、以下で与えられる。
【００１８】
【数５】
2006350605.tif 000007
ここでＬsysはＭＴ出力文中の単語数であり、Ｌrefは対応の参照訳中の単語数である。
【００１９】
＜ＮＩＳＴ＞
ＮＩＳＴスコア（非特許文献２）もまた、ｎ−ｇｒａｍ精度を用いるが、算術平均が用いられること、情報を豊富に含む単語シーケンスを強調するために重みを用いること、及び短いことに対して課されるペナルティが異なること、という点で異なる。
【００２０】
【数６】
2006350605.tif 000008
ここで、ｉｎｆｏは次のように定義される。
【００２１】
【数７】
2006350605.tif 000009
ここでｃｏｕｎｔ（ｎｇｒａｍ）は全ての参照訳中におけるｎ−ｇｒａｍ＝ｗ１ｗ２…ｗｎの数であり、（ｎ−１）ｇｒａｍはｗ１ｗ２…ｗｎ−１である。
【００２２】
ＮＩＳＴでは、短いことに対するペナルティはセグメントごとで計算され、以下で与えられる。
【００２３】
【数８】
2006350605.tif 000010
ここでＬsysはＭＴシステム出力の長さであり、／Ｌref（ここで／は本来はＬの上に付されるものである。）は参照訳の平均単語数であり、βは
【００２４】
【数９】
2006350605.tif 000011
のときＢＰ＝０．５となるように選ばれる。
【非特許文献１】Ｊ．ブラッツ、Ｅ．フィッツジェラルド、Ｇ．フォスタ、Ｓ．ガンドラバール、Ｃ．グッテ、Ａ．クレーザ、Ａ．サンチス及びＮ．エッフィング、２００４．機械翻訳の信頼性評価。技術報告、最終報告ＪＨＵ／ＣＬＳＰ２００３夏季ワークショップ、ボルティモア。（J.  Blatz,  E.  Fitzgerald,  G.  Foster,  S.  Gandrabur,  C.  Goutte,  A.  Kulesza,  A.  Sanchis,  and  N.  Ueffing.  2004.  Confidence  estimation  for  machine  translation.  Technical  report,  Final  report  JHU  /  CLSP  2003  Summer  Workshop,  Baltimore.）
【非特許文献２】Ｇ．ドディントン．２００２．Ｎ−グラム共生起統計を用いた機械翻訳品質の自動評価。ＨＬＴ会議予稿集、サンディエゴ、カリフォルニア。（G.  Doddington.  2002.  Automatic  Evaluation  of  Machine  Translation  Quality  Using  N-gram  Co-Occurrence  Statistics.  In  Proceedings  of  the  HLT  Conference,  San  Diego,  California.）
【非特許文献３】Ｃ．フェルバウム、１９９８．ワードネット：電子的語彙的データベース、ＭＩＴプレス。（C.  Fellbaum.  1998.  WordNet:  An  Electronic  Lexical  Database.  MIT  Press.）
【非特許文献４】ジェイ  Ｊ．ジャン及びデビッド  Ｗ．コンラス、１９９７．コーパス統計と語彙的分類に基づく意味的類似性。ＣｏＲＲ，９７０９００８．（Jay  J.  Jiang  and  David  W.  Conrath.  1997.  Semantic  similarity  based  on  corpus  statistics  and  lexical  taxonomy.  CoRR,  9709008.）
【非特許文献５】ホンニャン  ジン及びイブリン  ツーカーマン、２００１．情報検索における意味上等価な用語の決定：文脈距離と形態論に基づくアプローチ。計算機用語の最新動向、ｘｖｉｉｉ．（Hongyan  Jing  and  Evelyne  Tzoukermann.  2001.  Determining  semantic  equivalence  of  terms  in  information  retrieval:  An  approach  based  on  context  distance  and  morphology.  Recent  Advances  in  Computational  Terminology,  xviii.）
【非特許文献６】ロバート  クロベッツ、１９９３．推論処理としての形態論。技術報告ＵＭ−ＣＳ−１９９３−０３６、マス−アマースト大学、４月。（Robert  Krovetz.  1993.  Viewing  morphology  as  an  inference  process.  Technical  Report  UM-CS-1993-036,  University  of  Mass-Amherst,  April.）
【非特許文献７】ミッチェル  Ｐ．マークス、ベアトリス  サントリーニ及びメアリ  アン  マーティンキーウィック、１９９４．英語の大型注釈付コーパスの構築：ペンツリーバンク。計算機言語、１９（２）：３１３−３３０．（Mitchell  P.  Marcus,  Beatrice  Santorini,  and  Mary  Ann  Marcinkiewicz.  1994.  Building  a  large  annotated  corpus  of  english:  The  penn  treebank.  Computational  Linguistics,  19(2):313-330.）
【非特許文献８】Ｋ．パピネニ、Ｓ．ロウコス、Ｔ．ワード、及びＷ．Ｊ．シュー．２００１．Ｂｌｅｕ：機械翻訳の自動評価方法。ＩＢＭ研究報告ｒｃ２２１７６（ｗ０１０９０２２），トマス  Ｊ．ワトソン研究センタ。（K.  Papineni,  S.  Roukos,  T.  Ward,  and  W.J.  Zhu.  2001.  Bleu:  a  Method  for  Automatic  Evaluation  of  Machine  Translation.  IBM  Research  Report  rc22176  (w0109022),  Thomas  J.  Watson  Research  Center.）
【非特許文献９】Ｋ．Ｙ．スー、Ｍ．Ｗ．ウー、及びＪ．Ｓ．チャン．１９９２．機械翻訳システムの新たな定量的品質尺度。ＣＯＬＩＮＧ−９２予稿集、４３３−４３９ページ、ナント、フランス。（K.Y.  Su,  M.W.  Wu,  and  J.S.  Chang.  1992.  A  new  quantitative  quality  measure  for  machine  translation  systems.  In  Proceedings  of  COLING-92,  pages  433-439,  Nantes,  France）
【非特許文献１０】Ｃ．ティルマン、Ｓ．フォーゲル、Ｈ．ネイ、Ｚ．ズビアガ、及びＨ．サワフ．１９９７．統計的翻訳のための加速ｄｐベースの調査。ユーロスピーチ−９７予稿集、２６６７−２６７０ページ、ロードス、ギリシャ。（C.  Tillmann,  S.  Vogel,  H.  Ney,  A.  Zubiaga,  and  H.  Sawaf.  1997.  Accelerated  dp  based  search  for  statistical  translation.  In  Proceedings  of  Eurospeech-97,  pages  2667-2670,  Rhodes,  Greece.）
【非特許文献１１】ウラジミール  Ｎ．バプニック．１９９５．統計的学習理論の性質。スプリンガーフェラーク、ニューヨーク社、ニューヨーク、ＮＹ．ＵＳＡ．（Vladimir  N.  Vapnik.  1995.  The  nature  of  statistical  learning  theory.  Springer-Verlag  New  York,  Inc.,  New  York,  NY,  USA.）
【発明の開示】
【発明が解決しようとする課題】
【００２５】
従って、この発明の目的の一つは、二つの文の意味的等価性を評価してより信頼性の高い結果を出すことのできる装置を提供することである。
【００２６】
この発明の別の目的は、二つの文の意味的等価性を評価して、それらが等価であるかどうかを判断し、より信頼性の高い結果を出すことのできる装置を提供することである。
【課題を解決するための手段】
【００２７】
この発明の一局面によれば、第１の文と第２の文との意味的等価性を評価するための意味的等価性評価装置は、二つの文中の各単語に適切な品詞タグを付して、第１の文と第２の文とのタグ付けされた単語をそれぞれ含む第１の単語の集合と第２の単語の集合とを出力するための手段と、第１の単語の集合の、第２の単語の集合に対する第１の意味的等価性のスコアを計算するための手段とを含み、第１の意味的等価性のスコアは、第１の単語の集合と第２の単語の集合との中で、一致しない単語から計算された第１の要素グループと、前記第１の単語の集合と第２の単語の集合との中で、一致した単語から計算された第２の要素グループとを含む。
【００２８】
第１の意味的等価性のスコアは二つの要素グループを含む。第１のグループは一致しない単語から計算される。第２のグループは一致した単語から計算される。このスコアを用いて、二つの文の意味的等価性を信頼性をもって評価できることが判明した。従って、より信頼性の高い結果を得ることのできる、二つの文の意味的等価性を評価する装置が提供される。
【００２９】
好ましくは、タグ付けするための手段は、二つの文中の単語の各々に対し、予め定められた品詞タグの組から選択された適切な品詞タグを付すための手段と、それぞれ、第１の文と第２の文との単語を含む、上記した第１の単語の集合と第２の単語の集合とを出力するための手段とを含み、単語の各々は、品詞タグの組から選択された適切なタグを付されている。
【００３０】
単語は、予め定められた組から選択された品詞タグを付されている。名詞、動詞、前置詞、冠詞、句読点等の品詞の適切な組を準備することにより、スコアは高い信頼性をもって文の等価性を反映することになる。
【００３１】
より好ましくは、計算するための手段は、品詞タグの組に含まれる各タグについて、そのタグを有する単語であって、第１又は第２の単語の集合の一方にはあるが第１及び第２の単語の集合の両方の中にはないような単語の数である第１の数を計算し、その第１の数を、第１の単語の集合中の単語の総数で除するための、第１の要素グループ計算手段と、品詞タグの組の各々のタグについて、そのタグを有する単語であって、第１と第２の単語の集合の両方の中にあるような単語の数である第２の数を計算し、その第２の数を第１の単語の集合中の単語の総数で除するための、第２の要素グループ計算手段とを含む。
【００３２】
実施の形態では、このようにして計算されたスコアが有効であるとわかった。
【００３３】
より好ましくは、この装置はさらに、第１の意味的等価性スコアに基づいて、第１の文と第２の文とが等価であるか否かを分類するための手段を含む。
【００３４】
分類器は、第１の意味的等価性スコアを用いて、第１の文と第２の文とが意味的に等価であるか否かを高い信頼性をもって判断することができる。
【００３５】
この装置はさらに、第１の文と第２の文との第２の意味的等価性スコアを評価するための手段を含んでもよく、分類するための手段は、第１の意味的等価性スコアと第２の意味的等価性スコアとに基づいて、第１の文と第２の文とが等価であるか否かを分類するための手段を含む。
【００３６】
第１の意味的等価性スコアのみならず第２の意味的等価性スコアをも用いることで、信頼性がより高まる。
【００３７】
好ましくは、この装置はさらに、第１の単語の集合と第２の単語の集合との中の、形態論的に関連性のある単語を同じ原形にまとめてから、第１の単語の集合と第２の単語の集合とを計算手段に与えるための手段を含む。
【００３８】
一つにまとめるための手段を用いることにより、分類の精度が高まることが判明した。
【００３９】
より好ましくは、タグ付けするための手段は、第１の文と第２の文との単語及び句読点の各々にタグを付してから第１の文と第２の文とを計算手段に与えるための手段を含む。
【００４０】
通常の単語に加えて句読点にもタグを付すことで、二つの文の意味的等価性評価の信頼性がより高まることが判明した。
【００４１】
さらに好ましくは、装置は第１の文と第２の文とをトークン化（ｔｏｋｅｎｉｚｅ）してから、第１の文と第２の文とをタグ付け手段に与えるための手段をさらに含む。
【００４２】
トークン化により、句読点が他の単語から分離されるので、句読点用のタグで適切にタグ付けされる。
【００４３】
この発明の第２の局面によれば、コンピュータで実行可能なプログラムは、コンピュータ上で実行されると、コンピュータを、上述のいずれかに記載の装置として動作させる。
【００４４】
このプログラムがコンピュータ上で実行されると、コンピュータは上述のいずれかの装置として動作して、二つの文の意味的等価性を評価し、従って、実質的に同じ効果が得られる。
【発明を実施するための最良の形態】
【００４５】
この発明の一実施の形態を以下に図面を参照して説明する。この実施の形態では、分類作業を行なうために動径基底関数（ｒａｄｉａｌ  ｂａｓｉｓ  ｆｕｎｃｔｉｏｎ：ＲＢＦ）カーネルを用いる、サポートベクターマシン（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ：ＳＶＭ）分類器（非特許文献１１）を採用する。
【００４６】
この実施の形態のシステムの構造と動作とを説明する前に、このシステムで用いられる機能的構成要素を簡単に説明する。
【００４７】
―トークン化―
文をＵＰＥＮＮ（Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｐｅｎｎｉｎｓｙｌｖａｎｉａ）タグ（非特許文献７）でタグ付けするためには、トークン化処理部で前処理しなければならない。トークン化では、文中の句読点と単語とを、スペースで分離する。
【００４８】
―ステミング―
ステミングは形態素的に関連のある単語を同じ原形にまとめ、ＩＲ作業に有利な効果があることが示されている（非特許文献６、非特許文献５）。先行実験では、表層形式に代えて単語をステム化した形式を用いた場合、ＰＥＲ−ベースのシステム性能が低下することが示された。しかし、ＰＯＳ（Ｐａｒｔ  ｏｆ  Ｓｐｅｅｃｈ：品詞）タグ付けにおいて動詞及び名詞としてラベル付けされた単語のみにステム処理器を適用した場合、約０．８％の性能の向上が見られた。このため、この実施の形態では、文中の全ての名詞と動詞とにステム処理器による前処理を行なった。
【００４９】
―同義語の許容―
発明者らは、編集距離の計算において単語がその同義語とも一致するものとみなしたときの効果を検討した。別の先行実験を行ない、文中の単語の意味的距離がある特定のしきい値（システム出力の視認により選択したもの）より小さければ、それら文中の単語が一致しているものとみなす、修正した編集距離を用いた。この実施の形態で用いた意味的距離の尺度は、ワードネットデータベース（非特許文献３）中の単語間の関係を用いて定義した非特許文献４のものであった。この戦略を用いることによって、約０．７％の性能の向上が達成された。
【００５０】
―ＰＯＳ情報と拡張ＰＥＲの使用―
この発明の一実施の形態に係る、文レベルの意味的等価性を判断するシステムは、ＰＥＲに基づくものである。上述のとおり、ＰＥＲは、文対のうち１文のみに見出される単語がいくつあるか、を文の長さで除した尺度である。形式的には、文ｓ2の文ｓ1に対するＰＥＲは以下で与えられる。
【００５１】
【数１０】
2006350605.tif 000012
ここで｜ｓ1｜は文ｓ1中の単語数である。ｄｉｆｆ（ｓ1,ｓ2）は単純に、文ｓ2のみにある単語の数である。
【００５２】
ＰＥＲスコアは、２文中で異なる単語数を、単語当たりで平均した非常に単純な値である。本発明の技術では、この単純なスコアを２つの基本的な方法で拡張する。
【００５３】
１．ＰＥＲの拡張：単語の一致を単語の不一致とあわせて考慮する
ＰＥＲスコアは、文と文との単語の不一致を単純に数えるものである。この実施の形態では、ＰＥＲスコアを分析し、一致する単語と一致しない単語との両方に分ける。発明者らが行なった先行実験では、これは文レベルの意味的等価性の分類について、性能を向上させるのに非常に効果的であることが分かった。
【００５４】
２．品詞タグを考慮する
二つの文が同じ意味を有するか否かを判断する際、いくつかの単語は他のものより重要である。例えば、カンマ句読点の文字は通常、トークン化手法により、それ自身独自の単語として分類される。基本的ＰＥＲスコアでは、この単語は例えば「バナナ」等の鍵となる情報を持つ単語と同じ程度に重要である。この技術では、ＰＥＲスコアの拡張された形式を、それらの構成要素に分割する。タグの組中の各品詞タグに対し、一個の構成要素がある。各構成要素は、その対応する品詞タグが寄与したＰＥＲスコアの量を表す。
【００５５】
３．例
後述するように、この実施の形態では、５種のタグ、すなわち名詞、動詞、前置詞、冠詞及び句読点のみを含むタグの組を用いる。文対の例は、文ｓ1とｓ2とを含む。
【００５６】
【数１１】
2006350605.tif 000013
この例では、
diff(s1,  s2)  =  1  すなわち:  {“dog”}
diff(s2,  s1)  =  2  すなわち:  {“cat”,  “.”}.
従って、ＰＥＲ（ｓ1,ｓ2）＝ｍａｘ［２，１］／７＝２／７である。これら２つの文のために生成された特徴ベクトル要素は、２部からなる。一方の、５個の要素部分は、一致しない単語からの各ＰＯＳタグの寄与を含む。
【００５７】
一致しない単語からの要素
１．名詞：    １／７
２．動詞：    ０
３．前置詞：  ０
４．冠詞：    ０
５．句読点：  １／７
全てのＰＯＳタグに対する寄与の合計がＰＥＲであることに注意されたい。
【００５８】
特徴ベクトル要素の第２の部分は、一致する単語からの各ＰＯＳタグの寄与を含む。
【００５９】
一致する単語からの要素
６．名詞：    １／７
７．動詞：    １／７
８．前置詞：  １／７
９．冠詞；    ２／７
１０．句読点  ０／７
全てのＰＯＳタグに対する寄与の合計が１−ＰＥＲであることに注意されたい。
【００６０】
―構造―
図１はこの発明の実施の形態の一実施の形態の文レベルの意味的等価性を判断するシステム３０の概略ブロック図である。図１を参照して、文レベルの意味的等価性を判断するシステム３０は、文対が等価（真）であるか否か（偽）を示すラベルを各々が有する、多数の文対を含む文対の集合４０と、所与の文対が等価であるか否かを判断するようにトレーニングされるＳＶＭ４４と、文対の集合４０をトレーニングデータとして用いてＳＶＭ４４をトレーニングするためのＳＶＭトレーニングモジュール４２とを含む。
【００６１】
文レベルの意味的等価性を判断するシステム３０はさらに、第１の文４６と第２の文４８とを受け、文４６及び４８の特徴ベクトルを計算するための特徴ベクトル計算モジュール５０を含む。ベクトル計算モジュール５０は特徴ベクトルをトレーニングされたＳＶＭ４４に与え、これは、特徴ベクトルに応答して、文４６と４８とが意味的に等価であるか否かを示すラベルを出力する。
【００６２】
図２は文対の集合４０の構造を示す。図２を参照して、文対の集合４０は多数の文対６０を含む。各文対にはラベル６２によって注釈が付けられている。文対が意味的に等価であれば、ラベル６２は真である。そうでなければ、ラベル６２は偽である。この実施の形態では、文対はインターネットからの新聞記事のコーパスから集めたものである。文対には人間の注釈者により、二つの文が近似した言換えであるといえるほど意味的に近いかどうかを示すラベルを用いて注釈が付される。
【００６３】
文対ごとに、多数の注釈者が注釈をつけることが好ましい。例えば、３人の注釈者を使ってもよい。二人の注釈者がデータにラベル付けし、それらが一致しないときには３人目がこれを解決する。
【００６４】
図３はＳＶＭトレーニングモジュール４２の機能的ブロック図である。図３を参照して、ＳＶＭトレーニングモジュール４２は、文対の集合４０内の文対を予め定められた順序で選択し、文対を第１の文７２、第２の文７４、及びラベル１０８に分解するための対選択部７０と、形態素分析とＰＯＳタグ付けとに用いるための辞書７６とを含む。
【００６５】
ＳＶＭトレーニングモジュール４２はさらに、同義語のデータベースを含むシソーラス７８と、第１の文７２と第２の文７４との意味的等価性を評価して拡張ＰＥＲスコア１０４を出力するためのＰＥＲスコア評価部８０と、文７２と文７４との意味的等価性を評価して、いくつかのスコアを出力するための他のスコア評価部８２と、それぞれＰＥＲスコア評価部８０及び他のスコア評価部８２からのスコア１０４及びスコア１０６から、さらに対選択部７０からのラベル１０８から、特徴ベクトル１１０を構築し、特徴ベクトル１１０を図１に示すＳＶＭ４４にトレーニングデータとして出力するための特徴ベクトル出力モジュール８４とを含む。
【００６６】
ＰＥＲスコア評価部８０は、第１の文７２と第２の文７４とをトークン化し、トークン化された第１の文９２と第２の文９４とを出力するためのトークン化部９０と、トークン化された文９２及び９４の各々の各単語にタグを付け、動詞及び名詞としてラベル付けされた単語に対しステム処理するためのＰＯＳタグ付け及びステム処理部９６とを含む。「ステム処理」とは、形態素的に関連のある単語を同じ原形にまとめることをいう。ＰＯＳタグ付け及びステム処理部９６は、トークン化された第１の文９２から第１の単語の集合９８を出力し、トークン化された第２の文９４から第２の単語の集合１００を出力する。この実施の形態では、ＰＯＳタグ付け及びステム処理部９６は、５種のタグ、すなわち名詞、動詞、前置詞、冠詞及び句読点のみを含むタグの組を用いる。
【００６７】
ＰＥＲスコア評価部８０はさらに、第１の単語の集合９８と第２の単語の集合１００とを受け、単語の集合９８及び１００に基づいてＰＥＲスコア１０４の各要素を計算し、ＰＥＲスコア１０４を出力するためのＰＥＲ計算モジュール１０２を含む。ＰＥＲ計算モジュール１０２は、編集距離の計算において、ある単語とその同義語とは一致するとみなしてＰＥＲスコアを計算する。この目的のために、ＰＥＲ計算モジュール１０２はシソーラス７８を用いる。
【００６８】
他のスコア評価部８２は、ＷＥＲ、ＢＬＥＵ、ＮＩＳＴ等の評価スコアを計算する。
【００６９】
ＢＬＥＵの、短いことに対するペナルティは、コーパス全体に対して計算した単一の値であって、文レベルのペナルティの平均ではない。文レベルのペナルティではその効果が厳しくなりすぎる。このため、この実施の形態では、ＢＬＥＵスコアから短さに対するペナルティを省略している。参照文とシステム出力とは同じサンプルから集められ、ほぼ同じ平均長さを有するので、その影響は小さい。
【００７０】
この実施の形態では、Ｎ＝１〜４についてＢＬＥＵスコアを計算する。ここでＮは最大ｎグラムサイズである。これらをそれぞれＢＬＥＵ１からＢＬＥＵ４と称する。同様に、Ｎ＝１〜５についてＮＩＳＴを計算した。これらをそれぞれＮＩＳＴ１からＮＩＳＴ５と称する。この実施の形態では、ＮＩＳＴスコアに短いことに対するペナルティが含まれる。
【００７１】
図４はこの実施の形態で用いられる特徴ベクトル１１０の例を示す。図４を参照して、特徴ベクトル１１０は３つの部分を含む。拡張ＰＥＲスコア１２０、他のスコア１２２、及びラベル１２４である。
【００７２】
拡張ＰＥＲスコア１２０は、一致しない単語からの５個のＰＯＳタグの各々の寄与を示す５個の要素を含む第１の部分１３０と、一致する単語からの５個のＰＯＳタグの各々の寄与を示す５個の要素を含む第２の部分１３２とを含む。
【００７３】
他のスコア１２２は、ＷＥＲ、ＢＬＥＵ１からＢＬＥＵ４、及びＮＩＳＴ１からＮＩＳＴ５を含む。他のスコア１２２は、これらより別のスコアを含んでもよい。
【００７４】
図５は図１に示すベクトル計算モジュール５０の機能的ブロック図である。ベクトル計算モジュール５０は、図３に示すＳＶＭトレーニングモジュール４２と同様の構造を有する。図５を参照して、ベクトル計算モジュール５０は、辞書７６と、シソーラス７８と、ＰＥＲスコア評価部８０と、他のスコア評価部８２とを含む。図３及び図５において、同じ要素は同じ参照番号で示す。それらの機能も同じである。従って、それらの詳細な説明は繰返さない。
【００７５】
ベクトル計算モジュール５０は第１の文４６と第２の文４８とを受けるように構成され、図３に示す特徴ベクトル出力モジュール８４に代えて、特徴ベクトル出力モジュール１５０を含む。
【００７６】
特徴ベクトル出力モジュール１５０の機能は特徴ベクトル出力モジュール８４と同様である。しかし、これはＰＥＲスコア評価部８０からのＰＥＲスコア１０４と、他の評価部８２からの他のスコア１０６とを受けるのみである。これは文対のラベルを受取らない。特徴ベクトル出力モジュール１５０の出力は特徴ベクトル１５２であり、これは図４に示す特徴ベクトル１１０からラベルを除いたものである。
【００７７】
特徴ベクトル１５２が、ＳＶＭトレーニングモジュール４２によってトレーニングされたＳＶＭ４４（図１）に与えられると、ＳＶＭ４４は第１の文４６と第２の文４８とが意味的に等価であるか否かを示すラベルを出力する。
【００７８】
―動作―
文レベルの意味的等価性を判断するシステム３０は以下のように動作する。文レベルの意味的等価性を判断するシステム３０の動作は２段階である。トレーニング段階と、ラベル付け段階である。
【００７９】
１．トレーニング段階
トレーニング段階では、文レベルの意味的等価性を判断するシステム３０は以下のように動作する。図１及び図２を参照して、文対の集合４０が準備され、文対の各々が人間の注釈者によって、真または偽のラベルを付されているものとする。トレーニングされていないＳＶＭもまた、ＳＶＭ４４として準備される。
【００８０】
図３を参照して、対選択部７０が第１の対を読み、第１の文７２と第２の文７４とをトークン化部９０に出力し、ラベル１０８を特徴ベクトル出力モジュール８４に出力する。
【００８１】
トークン化部９０は第１及び第２の文をトークン化する。このトークン化により、文中の単語同士及び句読点との間にスペースが挿入される。トークン化部９０はトークン化された文９２及び９４をＰＯＳタグ付け及びステム処理部９６に出力する。
【００８２】
ＰＯＳタグ付け及びステム処理部９６は、トークン化された文９２及び９４中の各単語及び句読点に対し、辞書７６を用いてタグを付し、その後形態素的に関連のある単語を同じ原形にまとめる。ＰＯＳタグ付け及びステム処理部９６は、このようにして生成した第１の単語の集合９８及び第２の単語の集合１００をＰＥＲ計算モジュール１０２に出力する。
【００８３】
ＰＥＲ計算モジュール１０２は、各単語及び句読点に付されたＰＯＳタグを用いて、拡張ＰＥＲスコアを計算する。この計算の一例を、「ＰＯＳ情報と拡張ＰＥＲの使用」と題したセクションで説明している。この結果、ＰＥＲ計算モジュール１０２は１０の要素を含むＰＥＲスコア１０４を出力する。
【００８４】
他のスコア評価部８２はＷＥＲ、ＢＬＥＵ１からＢＬＥＵ４、及びＮＩＳＴ１からＮＩＳＴ５を含む他のスコア１０６を計算し、これらは特徴ベクトル出力モジュール８４に与えられる。
【００８５】
特徴ベクトル出力モジュール８４は、ＰＥＲスコア１０４、他のスコア１０６及びラベル１０８から特徴ベクトル１１０を構築し、特徴ベクトル１１０をＳＶＭ４４に与える。
【００８６】
ラベル（真／偽）付の特徴ベクトル１１０が与えられると、ＳＶＭ４４はそのパラメータを、もしラベル無しの同じ特徴ベクトルを受けた場合にその特徴ベクトルについて正しいラベル（真／偽）を出力するように修正する。文対の集合４０の文対について上述の処理を繰返すことにより、ＳＶＭ４４は真のラベルを付すべき特徴ベクトルと、偽のラベルを付すべきものとをどのように区別するかを学習する。
【００８７】
２．ラベル付け段階
図５を参照して、ラベル付け段階では、第１の文４６と第２の文４８とがベクトル計算モジュール５０に与えられる。文対の集合４０が第１の文４６と第２の文４８とをそれぞれトークン化された第１の文９２とトークン化された第２の文９４とにトークン化する。トークン化された文９２及び９４はＰＯＳタグ付け及びステム処理部９６に与えられる。
【００８８】
ＰＯＳタグ付け及びステム処理部９６は辞書７６を用いてトークン化された第１の文９２とトークン化された第２の文９４中の各単語及び句読点にタグを付し、さらに文９２及び９４中の単語をステム処理する。このようにして生成された単語の集合９８及び１００がＰＥＲ計算モジュール１０２に与えられる。
【００８９】
ＰＥＲ計算モジュール１０２は、単語の集合９８及び１００に基づき、シソーラス７８を用いて同義語との一致を許容しつつ、文対中の第１の文４６と第２の文４８とのＰＥＲスコアを計算する。このようにして計算された１０の要素を含むＰＥＲスコア１０４は特徴ベクトル出力モジュール１５０に与えられる。
【００９０】
同様に、他のスコア評価部８２はＷＥＲ、ＢＬＥＵ１からＢＬＥＵ４、及びＮＩＳＴ１からＮＩＳＴ５スコアを計算し、これらのスコア１０６を特徴ベクトル出力モジュール１５０に与える。
【００９１】
特徴ベクトル出力モジュール１５０はＰＥＲスコア１０４と他のスコア１０６とを用いて特徴ベクトル１５２を構築し、特徴ベクトル１５２を図１に示すＳＶＭ４４に与える。
【００９２】
特徴ベクトル１５２に応答して、ＳＶＭ４４は第１の文４６と第２の文４８とが意味的に等価であるか否かを示すラベルを出力する。ＳＶＭ４４はこのラベルを出力する。
【００９３】
―コンピュータによる実現―
文レベルの意味的等価性を判断するシステム３０、またはその一部は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現され得る。例えば、ＰＯＳタグ付け及びステム処理部９６は公に入手可能な形態素分析プログラムで実現可能である。
【００９４】
図６は上述の適切なコンピュータプログラムとともに、この実施の形態の文レベルの意味的等価性を判断するシステム３０を実現するコンピュータシステム３３０の外観図である。図６を参照して、コンピュータシステム３３０は、ＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０及びＦＤ（フレキシブルディスク）ドライブ３５２を有するコンピュータ３４０と、すべてコンピュータ３４０に接続されたキーボード３４６と、マウス３４８と、モニタ３４２とを含む。
【００９５】
図７はコンピュータ３４０のハードウェアブロック図である。図７を参照して、コンピュータ３４０は、ＣＤ−ＲＯＭドライブ３５０及びＦＤドライブ３５２に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６に接続されたバス３６６と、バス３６６に接続された読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続されたランダムアクセスメモリ（ＲＡＭ）３６０と、バス３６６に接続されたハードディスクドライブ３５４とを含む。ＣＤ−ＲＯＭドライブ３５０は、挿入されるＣＤ−ＲＯＭ３６２からデータを読出し、ＦＤドライブ３５２はＦＤ３６４からデータを読出すとともにデータを書込む。適切なインターフェースを介して、バス３６６にプリンタをさらに接続してもよい。
【００９６】
上述の文レベルの意味的等価性を判断するシステム３０を実現するプログラムは、ＣＤ−ＲＯＭ３６２又はＦＤ３６４に記憶されてＣＤ−ＲＯＭドライブ３５０またはＦＤドライブ３５２から読出されてハードディスクドライブ３５４に転送されてもよい。プログラムを実行する際には、プログラムはハードディスクドライブ３５４から読出されてＲＡＭ３６０にロードされる。ＣＰＵ３５６はレジスタ、すなわちプログラムカウンタ（図示せず）によって指定されたアドレスを用いてＲＡＭ３６０から命令をフェッチし、命令のオペランドによって指定されたＲＡＭ３６０またはハードディスクドライブ３５４等の記憶装置からデータをフェッチし、命令オペランドによって指定されたアドレスに結果を書込む。
【００９７】
コンピュータ３４０がどのように動作するかは周知であるので、ここでは詳細には説明しない。
【００９８】
―変形例―
この実施の形態では、意味的等価性についてラベル付けされたデータのコーパスを用い、これらの特徴ベクトルを用いて分類器（ＳＶＭ４４）をトレーニングする。この実施の形態ではＳＶＭ分類器を用いているが、分類器の種類はおそらく重要ではない。実数のベクトルを用いて真／偽の結果を予測できる分類器であればいずれも同様の結果を与えると合理的に予測できる。例えば、ＳＶＭに代えて、ＭＬＰ（Ｍｕｌｔｉｌａｙｅｒ  Ｐｅｒｃｅｐｔｒｏｎ：多層パーセプトロン）又はＲＢＦ（Ｒａｄｉａｌ  Ｂａｓｅｄ  Ｆｕｎｃｔｉｏｎ：動径基底関数）分類器を用いてもよい。
【００９９】
発明者らは、上述の特徴ベクトルを用いる分類器が単純なＰＥＲスコアでトレーニングされた分類器よりも実質的に良好な性能を示すことを確認した。
【０１００】
この技術で割当てられるスコアは、機械翻訳の評価スコアとして直接使用することができる。
【０１０１】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１０２】
【図１】この発明の一実施の形態の文レベルの意味的等価性を判断するシステム３０を示す全体ブロック図である。
【図２】文対の集合４０の構造を示す図である。
【図３】ＳＶＭトレーニングモジュール４２の機能的ブロック図である。
【図４】この実施の形態で用いられる特徴ベクトル１１０の例を示す図である。
【図５】ベクトル計算モジュール５０の機能的ブロック図である。
【図６】実施の形態の文レベルの意味的等価性を判断するシステム３０を実現するコンピュータシステム３３０の外観図である。
【図７】図６に示すコンピュータ３４０のハードウェアブロック図である。
【符号の説明】
【０１０３】
３０  文レベルの意味的等価性を判断するシステム
４０  文対の集合
４２  ＳＶＭトレーニングモジュール
４４  ＳＶＭ
４６，７２  第１の文
４８，７４  第２の文
５０  ベクトル計算モジュール
６０  文対
６２  ラベル
７０  対選択部
７６  辞書
７８  シソーラス
８０  ＰＥＲスコア評価部
８２  他のスコア評価部
８４  特徴ベクトル出力モジュール
９０  トークン化部
９６  ＰＯＳタグ付け及びステム処理部
１０２  ＰＥＲ計算モジュール
【図１】
2006350605.tif 000014
【図２】
2006350605.tif 000015
【図３】
2006350605.tif 000016
【図４】
2006350605.tif 000017
【図５】
2006350605.tif 000018
【図６】
2006350605.tif 000019
【図７】
2006350605.tif 000020
【外国語明細書】
2006350605000001.pdf
2006350605000002.pdf
2006350605000003.pdf
2006350605000004.pdf