(57)【要約】【課題】機械翻訳品質の人による評定を安定して予測する装置を提供する。【解決手段】機械翻訳の人による評定を安定して予測するために、アプリケーションモジュール３２は、翻訳済テキスト７４の特徴量の組７８を計算するための特徴量抽出モジュール７６と、選択された特徴量に従って、翻訳済テキスト７４を各々予め規定された２値クラスのひとつに分類するための２値分類器５４と、各等級が２値分類器５４の分類結果の行と関連した符号化マトリクス５６と、２値分類器５４による２値判断値８０の２値ベクトルと符号化マトリクス５６の行との間の距離に従って、翻訳済テキスト７４の等級を判断する比較モジュール８４とを含む。【選択図】        図１
2009059123.tif 000002
【特許請求の範囲】
【請求項１】
機械翻訳品質の人による評定を推定するための装置であって、前記人による評定は予め規定された等級によって与えられるものであり、
所与の翻訳の予め定められた特徴量の組を計算するための手段と、
各々が、前記特徴量の組の中で選択された特徴量に従って、前記所与の翻訳を予め規定された２値クラスの一方に分類するための、１組の２値分類器と、
前記等級の各々が前記２値分類器の組の分類結果の行と関連付けられる、符号化マトリクスを記憶するための手段と、
前記２値分類器による２値分類の結果と前記符号化マトリクスとに従って、前記所与の翻訳の等級を決定するための手段と、を含む、装置。
【請求項２】
前記２値分類器の組の出力が２値ベクトルを規定し、その要素の各々は第１の値又は前記第１の値と異なる第２の値であり、
前記符号化マトリクスの行はそれぞれ３値ベクトルを規定し、その各々は前記第１の値、前記第２の値、又は前記第１及び第２の値とは異なる第３の値であり、
前記第１及び第２の値は前記所与の翻訳が前記２値分類器の組の対応するものによってそれぞれ第１及び第２のクラスに分類されるべきことを示し、
前記第３の値は、前記所与の翻訳が前記２値分類器の組の対応するものによって分類されないことを示し、
前記決定するための手段は、
前記２値ベクトルと前記行の各々との距離を計算するための手段と、
前記距離において２値ベクトルと最も近い前記符号化マトリクスの行を見出すための手段と、
２値ベクトルと最も近い行に対応する等級を、前記所与の翻訳の品質に対する推定される人による評定として選択するための手段と、を含む、請求項１に記載の装置。
【請求項３】
前記距離を計算するための手段が、前記２値ベクトルと前記各行との間のハミング距離を計算するための手段を含む、請求項１又は請求項２に記載の装置。
【請求項４】
前記予め定められた特徴量の組を計算するための手段は、各々が、前記等級の組による、機械翻訳の品質の人による評定を自動的に評価するための、複数の予め選択された自動マルチクラス評価手段を含む、請求項１から請求項３のいずれかに記載の装置。
【請求項５】
前記予め定められた特徴量の組を計算するための手段は、予め定められた内部指標特徴値を計算するための自動評価手段をさらに含む、請求項４に記載の装置。
【請求項６】
機械翻訳品質の人による評定を推定するためのコンピュータ化された方法であって、前記人による評定は予め規定された等級によって与えられるものであり、前記方法は、
所与の翻訳の予め定められた特徴量の組を計算するステップと、
前記特徴量の組の中で選択された特徴量に従って、１組の２値分類器の各々によって前記所与の翻訳を予め規定された２値クラスの一方に分類するステップと、
前記等級の各々が前記分類するステップで行われる前記分類結果の行と関連付けられる符号化マトリクスを、記憶部に記憶するステップと、
前記分類するステップの２値分類結果の組と前記符号化マトリクスとに従って、前記所与の翻訳の等級を決定するステップと、を含む、方法。
【請求項７】
コンピュータ上で実行されると、前記コンピュータを、
所与の翻訳の予め定められた特徴量の組を計算するための手段と、
各々が、前記特徴量の組の中で選択された特徴量に従って、前記所与の翻訳を予め規定された２値クラスの一方に分類するための、１組の２値分類器と、
前記等級の各々が前記２値分類器の組の分類結果の行と関連付けられる、符号化マトリクスを記憶するための手段と、
前記２値分類器による２値分類の結果と前記符号化マトリクスとに従って、前記所与の翻訳の等級を決定するための手段と、として機能させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は機械翻訳の評価に関し、特に、機械翻訳（ｍａｃｈｉｎｅ  ｔｒａｎｓｌａｔｉｏｎ：ＭＴ）品質の人による評定を予測する方法及び装置に関する。
【背景技術】
【０００２】
ＭＴ品質の人による評価にはコストと時間がかかる。ＭＴ出力をより安価かつ迅速に評価するための様々な自動評価の対策が提案されてきた。最近のニューズワイヤＭＴ評価（ＮＩＳＴ（Ｎａｔｉｏｎａｌ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｓｔａｎｄａｒｄｓ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ）、ｈｔｔｐ：//ｗｗｗ．ｎｉｓｔ．ｇｏｖ／ｓｐｅｅｃｈ／ｔｅｓｔｓ／ｍｔ）及び旅行データ評価（ＩＷＳＬＴ（ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｓｐｏｋｅｎ  Ｌａｎｇｕａｇｅ  Ｔｒａｎｓｌａｔｉｏｎ）、ｈｔｔｐ／／ｗｗｗ．ｓｌｃ．ａｒｔ．ｊｐ／ＩＷＳＬＴ２００６）での評価キャンペーンは、これら評価のための指標が人の判断とどの程度良好な相関があるかを調査している。この結果、ＭＴシステムの出力を文書レベルでランク付けすると、いくつかの指標では人の判断と高い相関が得られることが示された。しかし、各々の自動指標は翻訳出力の異なる局面に焦点をあてており、人による判断との相関は人による評定の種類（例えば流暢さ又は充分性）に依存する。さらに、どの自動指標も、単一の翻訳文の翻訳品質を予測するには満足でないことがわかった。
【０００３】
翻訳品質をどのように評定するかについて、様々な方策が提案されてきた。そのほとんどは翻訳の流暢さ、充分性及び受容可能性に関する翻訳品質の人による評定に焦点をあてている。流暢さとは、評価セグメントが英語を母国語とする人にどれだけ自然に聞こえるか、を示す。充分性については、評価者には元となる言語入力のほかに、「基準訳」（ｇｏｌｄ  ｓｔａｎｄａｒｄ）の翻訳が与えられ、翻訳文中に、元の翻訳からの情報がどの程度表出されているかを判断しなければならない。受容可能性では、翻訳文の理解がどの程度容易かを判断する。流暢さ、充分性及び受容可能性の判断は、以下のテーブル１に挙げる等級のいずれかから成る。
【０００４】
【表１】
2009059123.tif 000003
このような人による評価指標のコストが高いことから、機械翻訳のための自動評価指標の開発に多くの関心が寄せられることとなっている。テーブル２はＭＴ研究の分野で広く用いられているいくつかの指標を紹介するものである。
【０００５】
【表２】
2009059123.tif 000004
翻訳品質の人による評定を予測するための、以前に提案された方策のほとんどは、決定木(ｄｅｃｉｓｉｏｎ  ｔｒｅｅｓ：ＤＴ）、サポートベクトルマシン（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅｓ：ＳＶＭ）、又はパーセプトロン等の教師あり学習法を利用して、人の品質判断に近くなりうる判断モデルを学習している。このような分類器は人が評価したＭＴシステム出力から抽出した特徴量の組でトレーニングすることができる。
【０００６】
非特許文献３に記載の研究では、単語／語句レベルで信頼度を推定する統計的尺度を用い、翻訳プロセス自体のシステム固有の特徴量を収集して２値分類器をトレーニングしている。自動評価スコアに対し経験によるしきい値を利用して、良い翻訳と悪い翻訳とを区別する。非特許文献３はまた、技術文献のドメインにおける非常に小さいデータセットについて、マルチクラス分類問題への様々な学習方策の利用可能性を検討している。
【０００７】
非特許文献１は多数の編集距離特徴量でトレーニングされたＤＴ分類器を利用しており、ここでは語彙（語幹、単語、品詞）と語義（シソーラスベースの意味的クラス）との組合せの一致を用いてＭＴシステムの出力と基準翻訳とを比較し、人による受容可能性を直接近似している。
【０００８】
非特許文献５は人の判断を直接予測することに代えて、ニューズワイヤの「人が作った」翻訳と「機械で生成した」翻訳とを区別するために、自動スコアリング特徴量に基づく２値ＳＶＭ分類器をトレーニングしている。
【非特許文献１】ヤスヒロ  アキバ、ケンジ  イマムラ、及びエイイチロウ  スミタ、２００１年。機械翻訳出力の自動ランク付けのための多数編集距離の使用。ＭＴサミットＶＩＩＩ予稿集、１５−２０ページ。（Yasuhiro  Akiba,  Kenji  Imamura,  and  Eiichiro  Sumita.  2001.  Using  multiple  edit  distances  to  automatically  rank  machine  translation  output.  In  Proc.  of  MT  Summit  VIII,  pages  15-20.）
【非特許文献２】エリン  オールウェイン、ロバート  シャピア、及びヨーラム  シンガー、２０００年。マルチクラスから２値へ：マージン分類器の統一アプローチ。機械学習研究ジャーナル、１：１１３−１４１。（Erin  Allwein,  Robert  Schapire,  and  Yoram  Singer.  2000.  Reducing  multiclass  to  binary:  A  unifying  approach  for  margin  classifiers.  Journal  of  Machine  Learning  Research,  1:113-141.）
【非特許文献３】クリストファー  Ｂ．カーク、２００４年。文レベルの機械翻訳信頼度尺度のトレーニング。第４回言語リソース及び評価国際会議（ＬＲＥＣ）、８２５−８２８ページ、ポルトガル。（Christopher  B.  Quirk.  2004.  Training  a  sentence-level  machine  translation  confidence  measure.  In  Proceedings  of  the  4th  International  Conference  on  Language  Resources  and  Evaluation  (LREC),  pages  825-828,  Portugal.）
【非特許文献４】ルールクエスト。２００４年。データマイニングツールｃ５．０．http://rulequest.com/see5-info.html.（Rulequest.  2004.  Data  mining  tool  c5.0.  http://rulequest.com/see5-info.html.）
【非特許文献５】アレックス  クレスザ及びスチュアート  Ｍ．シーバ。２００４年。文レベルのＭＴ評価改良のための学習アプローチ。ＴＭＩ０４予稿集、ＵＳＡ。（Alex  Kulesza  and  Stuart  M.  Shieber.  2004.  A  learning  approach  to  improving  sentence-level  MT  evaluation.  In  Proc.  of  the  TMI04,  USA.）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
以前に提案された方策では、翻訳品質の人による評定を予測するために教師あり学習を利用している。しかし、このようなマルチクラス分類器は主に、ＭＴシステム内部の、かつ言語依存の多数の特徴量でトレーニングされており、これらはＭＴエンジン又は言語が変わるたびに調整しなければならない。さらに、以前の方策では人の判断（マルチクラスタスク）を直接予測しようとしていた。このような直接的な分類タスクは大量のトレーニングデータを必要とする傾向があり、また、トレーニングしたとしても、翻訳品質を予測するには不安定であるか、又はあまり精密でない。
【００１０】
従って、この発明の目的の一つは、機械翻訳品質の人による評定を安定して予測する方法及び装置を提供することである。
【００１１】
この発明の別の目的は機械翻訳の人による評定を高い精度をもって安定して予測する方法及び装置を提供することである。
【００１２】
この発明のさらなる目的は、機械翻訳品質の人による評定を安定して予測する、システム及び言語に依存しない方法及び装置を提供することである。
【課題を解決するための手段】
【００１３】
この発明は、符号化マトリクスを用いた２値分類器の組合せに基づいて機械翻訳品質の人による評定を予測又は推定する装置及び方法に関する。マルチクラスカテゴリー化の問題を２値問題の組に還元し、これらを、多数自動評価指標の結果でトレーニングした標準分類学習アルゴリズムで解く。２値分類器はＢＬＥＵ、ＭＥＴＥＯＲ等の多数自動評価指標の特徴量でトレーニングされる。学習済みの判断モデルがＭＴ出力に１文ごとに適用され、文レベルでの翻訳品質の２値指標を生成する。マルチクラス分類問題はその後、符号化マトリクスを用いて、２値分類器の結果を組合せることで解決される。
【００１４】
特に、この発明の第１の局面は、機械翻訳品質の人による評定を推定するための装置に関する。人による評定は予め規定された等級によって与えられる。装置は、所与の翻訳の予め定められた特徴量の組を計算するための手段と、各々が、特徴量の組の中で選択された特徴量に従って、所与の翻訳を予め規定された２値クラスの一方に分類するための、１組の２値分類器と、等級の各々が２値分類器の組の分類結果の行と関連付けられる、符号化マトリクスを記憶するための手段と、２値分類器による２値分類の結果と符号化マトリクスとに従って、所与の翻訳の等級を決定するための手段と、を含む。
【００１５】
好ましくは、２値分類器の組の出力は、２値ベクトルを規定し、その要素の各々は第１の値又は第１の値と異なる第２の値である。符号化マトリクスの行はそれぞれ３値ベクトルを規定し、その各々は第１の値、第２の値、又は第１及び第２の値とは異なる第３の値であってもよい。第１及び第２の値は所与の翻訳が２値分類器の組の対応するものによってそれぞれ第１及び第２のクラスに分類されるべきことを示す。第３の値は、所与の翻訳が２値分類器の組の対応するものによって分類されないことを示す。決定するための手段は、２値ベクトルと３値ベクトルの各々との距離を計算するための手段と、距離において２値ベクトルと最も近い符号化マトリクスの行を見出すための手段と、２値ベクトルと最も近い行に対応する等級を、所与の翻訳の品質に対する推定される人による評定として選択するための手段と、を含む。
【００１６】
より好ましくは、距離を計算するための手段は、２値ベクトルと各３値ベクトルとの間のハミング距離を計算するための手段を含む。
【００１７】
予め定められた特徴量の組を計算するための手段は、各々が、等級の組による、機械翻訳の品質の人による評定を自動的に評価するための、複数の予め選択された自動マルチクラス評価手段を含んでもよい。
【００１８】
好ましくは、予め定められた特徴量の組を計算するための手段は、予め定められた内部指標特徴値を計算するための自動評価手段をさらに含む。
【００１９】
この発明の第２の局面は、機械翻訳品質の人による評定を推定するためのコンピュータ化された方法に関する。人による評定は予め規定された等級によって与えられる。この方法は、所与の翻訳の予め定められた特徴量の組を計算するステップと、特徴量の組の中で選択された特徴量に従って、１組の２値分類器の各々によって所与の翻訳を予め規定された２値クラスの一方に分類するステップと、等級の各々が分類するステップで行われる分類結果の行と関連付けられる符号化マトリクスを、記憶部に記憶するステップと、分類するステップの２値分類結果の組と符号化マトリクスとに従って、所与の翻訳の等級を決定するステップと、を含む。
【００２０】
この発明の第３の局面は、コンピュータ上で実行されると、コンピュータを、所与の翻訳の予め定められた特徴量の組を計算するための手段と、各々が、特徴量の組の中で選択された特徴量に従って、所与の翻訳を予め規定された２値クラスの一方に分類するための、１組の２値分類器と、等級の各々が２値分類器の組の分類結果の行と関連付けられる、符号化マトリクスを記憶するための手段と、２値分類器による２値分類の結果と符号化マトリクスとに従って、所与の翻訳の等級を決定するための手段と、として機能させる、コンピュータプログラムに関する。
【００２１】
大規模な人による注釈つきの評価コーパスを用いた実験結果では、２値分類器への分解によって、マルチクラスのカテゴリー化問題よりも高い分類精度が達成されることが示された。加えて、提案された方法は、標準評価尺度に比べ、文レベルでの人の判断とより高い相関を達成する。
【発明を実施するための最良の形態】
【００２２】
［第１の実施の形態］
概要
この発明の第１の実施の形態に従った、翻訳品質の人による評定を予測する装置を以下で説明する。以下の説明では、同じ部分は同じ参照符号で示す。それらの名称及び機能もまた同じである。従って、詳細な説明は繰返さない。
【００２３】
この実施の形態のシステムは、翻訳品質の人による評定の予測に教師あり学習を利用するが、以下の２つの局面で先行技術のシステムと異なる。
【００２４】
（１）分類のパープレキシティの還元
マルチクラスの分類タスクの分解を、２値分類の組に還元する。これは学習タスクの複雑さを減じ、この結果、分類精度が高くなる。
【００２５】
（２）特徴量の組
２値分類器は多数の自動評価指標（テーブル２を参照）の結果でトレーニングされ、このため、指標の各々が扱う翻訳品質の種々の局面を考慮することになる。この方法は、特定のＭＴシステム又は目的言語に依存しない。これは基準翻訳が利用可能であるかぎり、どのような翻訳又は目的言語に対しても、修正なしで適用することができる。
【００２６】
この実施の形態に従った予測方法は、３段階に分割される。すなわち、（１）人と機械によって評価されるＭＴシステム出力のデータベースから抽出された特徴量の組によって、２値分類器がトレーニングされる学習段階、（２）開発セット上での、再組合せステップの分類精度を最大にする２値分類器の最適な組を選択する分解段階、（３）２値分類器を見たことのない文に適用し、２値分類器の結果を、最適化された符号化マトリクスを用いて組合せて人によるスコアを予測する、適用ステップ。
【００２７】
−学習段階
マルチクラス及び２値分類の問題に対する判断モデルが、標準学習アルゴリズムを用いて獲得される。提案に係る方法は、特定の分類学習方法に限定されるものではない。以下で説明する実験のためには、決定木（非特許文献４）の標準的な実現例を利用した。
【００２８】
特徴量の組は、テーブル２に列挙した７種の自動評価指標のスコアから成る。全ての自動評価指標は英語ＭＴ出力からなる入力データセットに適用され、その翻訳品質が、テーブル１で紹介された指標を用いて人によってマニュアルで評定される。指標のスコアに加えて、指標の内部特徴量、例えば、ｎグラム精度スコア、基準とＭＴ出力との長さ比率等もまた利用され、この結果、５４個のトレーニング用特徴量が得られる。
【００２９】
−分解段階
マルチクラス問題をいくつかの２値分類問題に分解するには多くの方法がある。最もよく知られた方策は、１値対他（ｏｎｅ−ａｇａｉｎｓｔ−ａｌｌ）、及び全ペア（ａｌｌ−ｐａｉｒｓ）の方法である。１値対他の方策では、あるクラスの分類器をトレーニングするために、そのクラスに属するトレーニング例全てが肯定的な例として用いられ、それ以外は否定的な例とされる。全ペアの方策では、分類器はクラスの対ごとにトレーニングされ、問題とされるクラスのいずれにも属さないトレーニング例は全て無視される。
【００３０】
このようなマルチクラス問題の分解は、マルチクラス問題のクラスｃが２値分類器ｂの行と関連付けられるような符号化マトリクスＭで表される。もしｋをクラスの数とし、ｌを２値分類問題の数とすれば、この符号化マトリクスは以下のように定義される。
【００３１】
【数１】
2009059123.tif 000005
ここでｋはクラスの数であり、ｌは２値分類問題の数である。クラスｃに属するトレーニング例が２値分類器ｂに対し肯定的な例であると考えられる場合、ｍｃ，ｂ＝＋１である。同様に、もしｍｃ，ｂ＝−１であれば、クラスｃのトレーニング例はｂのトレーニングに対し否定的な例として用いられる。ｍｃ，ｂ＝０は、それぞれのトレーニング例が分類器ｂのトレーニングには用いられないことを示す。
【００３２】
この実施の形態は、１値対他及び全ペアの２値分類器を利用する。加えて、トレーニングセット全体で、境界分類器をトレーニングする。この場合、問題となっているクラスより以上のクラスに分類された全てのトレーニング例は肯定的な例として用いられ、他の全てのトレーニング例は否定的な例とされる。テーブル３は背景技術の説明の欄で紹介された人による評定の問題を分解するのに利用される１７個の２値分類問題を列挙する。
【００３３】
【表３】
2009059123.tif 000006
それぞれのタスクについて最適な符号化マトリクスを特定するために、２値分類器をまず開発セットに対する分類精度に従って順序付けする。第２のステップとして、マルチクラスの性能を繰返し評価し、繰返しのたびに、性能が最悪の２値分類器を符号化マトリクスから除外する。最後に、マルチクラスタスクについて最良の分類精度を達成する符号化マトリクスを用いてテストセットを評価する。最適化された符号化マトリクスは、標準バイアス−分散トレードオフを反映し、区別能力と２値分類器の組合せの信頼性とのバランスをとる。
【００３４】
−適用段階
入力例が与えられると、全ての２値分類器が符号化マトリクスの各列について一度ずつ適用され、この結果、ｌ個の２値分類結果のベクトルｖが得られる。マルチクラスのラベルは、符号化マトリクスＭの対応の行ｒが「最も近い」ことを表す、ラベルｃと予測される。
【００３５】
非特許文献２では、ｒとｖとの距離を（ａ）対応するベクトル間で異なる位置の数を計数する一般化されたハミング距離と、（ｂ）２値分類器スコアの大きさを考慮した、損失による復号化（デコーディング）とによって計算する。どちらも有効であり、この実施の形態ではハミング距離の方策を用いる。
【００３６】
受容可能性を予測するための構造
図１は、翻訳品質を予測する上述の方法を実現する、コーパス４０を利用したこの実施の形態の翻訳品質予測システム３０の全体構造を示す。図１を参照して、システム３０は、機械翻訳７２によってソーステキスト７０から翻訳された翻訳済テキスト７４の、人による評定を予測し、その評価８６を出力するためのアプリケーションユニット３２と、コーパス４０を利用して、アプリケーションユニット３２で用いられる符号化マトリクス５６と２値分類器５４との組を生成するための分類器準備ユニット３４とを含む。コーパス４０は多数の学習用翻訳セットを含む。学習用翻訳セットの各々は、ソーステキスト、その機械翻訳テキスト、及び特徴量パラメータの組を含む。コーパス４０、２値分類器５４及び符号化マトリクス５６の詳細は後述する。
【００３７】
この実施の形態のアプリケーションユニット３２は翻訳済テキスト７４の受容可能性の人によるスコアを、テーブル１に示す５等級（５、４、３、２、１）で予測する。以下の説明から明らかになるように、図１に示したのと同様の構造で、流暢さ又は充分性について予測するシステムを実現することができる。
【００３８】
分類器準備ユニット３４は、２値分類器４６をトレーニングするための学習モジュール４４と、開発セット５２の予測精度が最高になるように、２値分類器４６を最適化された２値分類器５４へと最適化させる最適化モジュール５０と、を含む。
【００３９】
分解段階４２の結果として、符号化マトリクス４８が準備される。後述するように、符号化マトリクス４８の各行は３値ベクトルを形成する。２値分類器４６を最適化するにあたって、最適化モジュール５０は２値分類器４６のいくつかを削除し、これに従って符号化マトリクス４８を最適化された符号化マトリクス５６に最適化する。
【００４０】
アプリケーションユニット３２は、翻訳済テキスト７４から所定の特徴量の組７８を抽出するための特徴量抽出モジュール７６と、特徴量の組７８の所定部分を受けるように接続され２値決定値８０を出力するための２値分類器５４と、を含む。２値決定値８０は２値ベクトル８２を形成する。
【００４１】
アプリケーションユニット３２はさらに、２値ベクトル８２を符号化マトリクス５６の各行と比較して、ハミング距離でどの行が２値ベクトル８２に最も近いかを判断する比較モジュール８４を含む。最も近い行に対応するクラスが、翻訳済テキスト７４のマルチクラス評価８６として選択される。
【００４２】
図２はコーパス４０の詳細を示す。図２を参照して、コーパス４０は多数の学習用翻訳セット１００を含み、その各々はソーステキスト１１０、ソーステキスト１１０の機械翻訳１１２、及び特徴量の組１１４を含む。
【００４３】
特徴量の組１１４は、人によるスコア（スコア１から５のいずれか）１２０、自動評価スコア１２２の組、及び内部指標特徴量１２４を含む。
【００４４】
自動評価スコア１２２は複数個の自動評価スコア１３０、１３２、…１３４を含む。この実施の形態で用いられる自動評価スコアは、テーブル２に示す７種の指標を含む。
【００４５】
内部指標特徴量１２４は、ｎグラム精度スコア１５０、基準とＭＴ出力との長さ比率等を含む。翻訳の品質を示すものとして知られる特徴量はいずれも、内部指標特徴量１２４の要素として用いることができる。
【００４６】
図３は学習用翻訳セット１００がどのように準備されるかを示す。図３を参照して、ソーステキスト１１０が何らかのソースから収集される。ソーステキスト１１０を何らかの種類の翻訳機械に供給することによって、機械翻訳１１２が得られる。
【００４７】
人によるスコア１２０は、機械翻訳１１２の人による評定１７０によって準備される。もし複数の人間により人による評定を提示すべきであれば、それらのスコアの平均を人によるスコア１２０として用いる。
【００４８】
自動評価スコア１２２及び内部指標特徴量１２４は、それぞれの自動評価システム１７２、１７４、…、１８０によって準備される。
【００４９】
図４はこの実施の形態で用いられる２値分類器の分解の機構を示す。図４を参照して、２値分類器４６は３種類に分けられる。上述した、１値対他、全ペア、及び境界である。
【００５０】
１値対他の分類器は、５対他、４対他、３対他、２対他及び１対他、を含む。
【００５１】
１値対他の方策では、クラスの各々に対し、あるクラスの分類器のトレーニングでは、そのクラスに属する全てのトレーニング例はトレーニングでは肯定的な例として用いられその他の例は全て否定的な例とされる。例えば、５対他分類器は、クラス「５」に属する全てのトレーニング例が肯定的な例として用いられ、他の全てが否定的な例として用いられるようなトレーニング例でトレーニングされる。この結果、特徴量の組７８により、翻訳済テキスト７４がクラス「５」に属すると示されるときは、５対他は＋１を出力し、そうでなければ−１を出力する。
【００５２】
全ペアの方策では、分類器はクラスの対ごとにトレーニングされるが、このとき、問題となるクラスのいずれにも属さないトレーニング例は全て無視される。この実施の形態の全ペア分類器は、５＿４、５＿３、５＿２、５＿１、４＿３、４＿２、４＿１、３＿２、３＿１及び２＿１分類器を含む。
【００５３】
例えば、５＿４分類器のトレーニングでは、クラス「５」に属するすべてのトレーニング例が肯定的な例、クラス「４」に属する例が否定的な例、として用いられ、その他のトレーニング例は無視される。
【００５４】
境界アプローチでは、分類器はトレーニングセット全体でトレーニングされる。この場合、問題となるクラス以上の良好なクラスの評釈が付けられた全てのトレーニング例は肯定的な例として用いられ、その他のトレーニング例は全て否定的な例とされる。この実施の形態の境界分類器は５４＿３２１及び５４３＿２１分類器を含む。
【００５５】
例えば、５４＿３２１分類器のトレーニングでは、クラス「５」及び「４」の全ての例が肯定的な例として用いられ、クラス「３」、「２」又は「１」である他の全ての例が否定的な例として用いられる。
【００５６】
図５（Ａ）は５対他の分類器をトレーニングするための例２０２がどのように生成されるかを示す。図５（Ａ）を参照して、トレーニングデータ生成２００のためにコーパス４０内の全データが用いられる。生成された例２０２は各々２値ラベル２０４（人によるスコアが「５」なら＋１、そうでなければ−１）と、特徴量２０６と、を含む。特徴量２０６は、図３に示すように、自動評価スコア１２２と、内部指標特徴量１２４とを含む。
【００５７】
図５（Ｂ）は３対他分類器のトレーニングのための例２１２がどのように生成されるかを示す。図５（Ｂ）を参照して、トレーニングデータ生成２１０のために、コーパス４０内の全データを用いる。生成された例２１２は各々、２値ラベル２１４（人によるスコアが「３」なら＋１、それ以外は−１）と、特徴量２１６と、を含む。特徴量２１６は、自動評価スコア１２２と、内部指標特徴量１２４とを含む。
【００５８】
図６（Ａ）は５＿４分類器のトレーニングのための例２２４がどのように生成されるかを示す。図６（Ａ）を参照して、人によるスコアが「５」又は「４」である例がデータ抽出プロセス２２０によって抽出され、その後、抽出されたデータを、トレーニングデータ生成２２２のために用いる。生成された例２２４は各々２値ラベル２２６（人によるスコアが「５」なら＋１、人によるスコアが「４」なら−１）と、特徴量２２８と、を含む。特徴量２２８は、自動評価スコア１２２と、内部指標特徴量１２４とを含む。
【００５９】
図６（Ｂ）は５＿２分類器のトレーニングのための例２３４がどのように生成されるかを示す。図６（Ｂ）を参照して、人によるスコアが「５」又は「２」である例がデータ抽出プロセス２３０によって抽出される。抽出されたデータを、トレーニングデータ生成２３２のために用いる。生成された例２３２は各々２値ラベル２３６（人によるスコアが「５」なら＋１、人によるスコアが「２」なら−１）と、特徴量２３８と、を含む。特徴量２３８は、自動評価スコア１２２と、内部指標特徴量１２４とを含む。
【００６０】
図７（Ａ）は３＿２分類器のトレーニングのための例２４４がどのように生成されるかを示す。図７（Ａ）を参照して、人によるスコアが「３」又は「２」である例がデータ抽出プロセス２４０によって抽出され、その後、抽出されたデータを、トレーニングデータ生成２４２のために用いる。生成された例２４４は各々２値ラベル２４６（人によるスコアが「３」なら＋１、人によるスコアが「２」なら−１）と、特徴量２４８と、を含む。特徴量２４８は、自動評価スコア１２２と、内部指標特徴量１２４とを含む。
【００６１】
図７（Ｂ）は３＿１分類器のトレーニングのための例２５４がどのように生成されるかを示す。図７（Ｂ）を参照して、人によるスコアが「３」又は「１」である例がデータ抽出プロセス２５０によって抽出される。抽出されたデータを、トレーニングデータ生成２５２のために用いる。生成された例２５４は各々２値ラベル２５６（人によるスコアが「３」なら＋１、人によるスコアが「１」なら−１）と、特徴量２５８と、を含む。特徴量２５８は、自動評価スコア１２２と、内部指標特徴量１２４とを含む。
【００６２】
図８（Ａ）は５４＿３２１境界分類器のトレーニングのための例２６２がどのように生成されるかを示す。図８（Ａ）を参照して、トレーニングデータ生成２６０のため、コーパス４０内の全ての例を用いる。生成された例２６２は各々２値ラベル２６４（人によるスコアが「５」又は「４」なら＋１、それ以外は−１）と、特徴量２６６と、を含む。特徴量２６６は、自動評価スコア１２２と、内部指標特徴量１２４とを含む。
【００６３】
図８（Ｂ）は５４３＿２１境界分類器のトレーニングのための例２７２がどのように生成されるかを示す。図８（Ｂ）を参照して、トレーニングデータ生成２７０のため、コーパス４０内の全ての例を用いる。生成された例２７２は各々２値ラベル２７４（人によるスコアが「５」、「４」又は「３」なら＋１、それ以外は−１）と、特徴量２７６と、を含む。特徴量２７６は、自動評価スコア１２２と、内部指標特徴量１２４とを含む。
【００６４】
図９はこの実施の形態で用いられる符号化マトリクス４８を示す。図９を参照して、クラス(クラス「１」から「５」）が左端の列に配置され、２値分類器は最上部の行に配列される。左端の２番目から６番目の列（「５」から「１」）はそれぞれ、５、４、３、２及び１対他の分類器をそれぞれ示す。
【００６５】
図９からわかるように、符号化マトリクス４８の各行は３値ベクトルを形成する。これらベクトルの要素は＋１、−１又は０である。もしある特定のクラスに属するトレーニング例が２値分類器の肯定的な例と考えられるならば、そのクラスとその分類器との組合せに対応する要素が「＋１」で示される。同様に、もし要素が「−１」なら、そのクラスのトレーニング例は、その分類器のトレーニングのためには否定的な例として用いられている。「０」の要素は、それぞれのトレーニング例が対応する分類器のトレーニングには用いられていないことを示す。
【００６６】
図１０はコンピュータプログラムの形で実現された最適化モジュール５０のフローである。図１からわかるように、分解段階４２の結果として、２値分類器４６と符号化マトリクス４８とが準備される。なお、以下のプロセスは、図１に示す開発セット５２に対して行われる。
【００６７】
図１０を参照して、プログラムは２値分類器４６の各々の精度を計算するステップ２９０と、ステップ２９０に続いて、２値分類器４６をそれらの分類精度に従って順序付けするステップ２９２と、を含む。
【００６８】
プログラムはさらに、残りの２値分類器がアプリケーションユニット３２で２値分類器５４として用いられる場合に、マルチクラス精度を評価するステップ２９４と、これに続いて、２値分類器の中から最も性能の悪い２値分類器を除外するステップ２９６と、最も性能の悪い２値分類器を除外した「後」の符号化マトリクスの精度が除外「前」の符号化マトリクスのそれよりも低いか否かを判断し、その結果に応じて分岐するステップ２９８と、を含む。もしステップ２９８の結果がＮＯであれば、制御はステップ２９４に戻り、そうでなければ制御は次のステップに進む。
【００６９】
プログラムはさらに、ステップ２９８での判断がＹＥＳであった場合に行われる、繰返しステップ２９４から２９８の間に現れた組の中で最も性能のよい２値分類器の組を選択するステップ３００と、ステップ３００で選択された２値分類器の組に従って符号化マトリクスを再構成するステップ３０２と、を含む。
【００７０】
図１１は上述の最適化プロセスの結果を例示する。図１１を参照して、２値分類器４６は横軸の底部に順序付けられ、最も性能の悪い組（全部）が最も左に位置する。横軸上の分類器の名称は、繰返しの間に除外されたものを示す。繰返されたステップ２９４で評価されたマルチクラス精度を縦軸に示す。
【００７１】
例えば、全ての２値分類器４６を用いると、精度は約５６％である。ステップ２９２で最も悪い性能を示した３＿２、２＿１、４＿１、４＿３及び４＿２をこの順で除外すると、精度は約５６％にとどまる。しかし、５＿４を除外すると、精度は６２％まで上昇し、さらに分類器を除外しても結果は向上しない。従って、この例では、１対他、５４３＿２１、３＿１、５４＿３２１、５対他、４対他、５＿２、５＿１、５＿３、２対他及び３対他の分類器が最適な分類器の組であると結論づけることができる。図１１では、３対他の分類器は分類器の組から除外されていないため、図には表れない。
【００７２】
最適化された２値分類器５４の詳細を図１２に示す。図１２を参照して、２値分類器５４は、５、４、３、２、１値対他それぞれの分類器３２０、３２２、３２４、３２６及び３２８と、５＿３、５＿２、５＿１、及び３＿１対分類器３４２、３４４、３４６及び３８２と、５４＿３２１及び５４３＿２１境界分類器４００及び４０２と、を含む。他の分類器３４０、３６０、３６２、３６４、３８０及び３９０は、この例では用いられない。
【００７３】
分類器の精度はコーパス４０と分解段階４２とに依存することに注目されたい。同様に、全体的なマルチクラスの精度もコーパス４０と分解段階４２とに依存する。従って、コーパス又は分解段階が異なれば、最適化された２値分類器５４の構成は図１２に示したものとは異なるであろう。
【００７４】
最適化された符号化マトリクス５６の構成を図１３に示す。図１３からわかるように、符号化マトリクス５６では、５＿４、４＿３、４＿２、４＿１、３＿２、及び２＿１分類器は除外され、５、４、３、２及び１対他の分類器と、５＿３、５＿２、５＿１、３＿１、５４＿３２１及び５４３＿２１分類器が残っている。列の数が少ないため、２値ベクトル８２での計算コストが削減される。
【００７５】
図１４は図１に示す特徴量抽出モジュール７６で行われる特徴量抽出のスキームを示す。図１４を参照して、ソーステキストと翻訳済テキスト７４とが与えられると、自動評価器４１０はそれぞれ翻訳済テキスト７４の品質を評価し、内部指標特徴量のための特徴量抽出部４１２がそれぞれの特徴量を計算する。特徴量の組７８は、自動評価器４１０の出力それぞれが記憶される、自動スコアのためのフィールド４３０、４３２、…４３４と、特徴量抽出部４１２のそれぞれの出力が記憶される内部指標特徴量のためのフィールド４４０、４４２、…とを含む。この特徴量の組７８は、図１に示す２値分類器５４に与えられる。
【００７６】
動作
この実施の形態のシステム３０は以下のように動作する。始めに、２値分類器４６が学習モジュール４４によってトレーニングされる。マルチクラス分類を２値分類器４６に分解するにあたって、符号化マトリクス４８もまた準備される。
【００７７】
最適化モジュール５０が以下のように２値分類器４６を最適化する。始めに、開発セット５２での２値分類器４６の精度が計算され、２値分類器４６はそれらの精度に従って順序づけられる。
【００７８】
完全な符号化マトリクス（ＡＬＬ）から始めて、マルチクラス評価が行われ、次の世代では最も性能の悪い分類が除外される。このプロセスを繰返す。図１１の破線の四角３１０は、例示の開発セット評価で利用された符号化マトリクスのために選択された２値分類器のサブセットを示す。このサブセットは図１で２値分類器５４として示したもので、アプリケーションユニット３２に組入れられている。同時に、最適化モジュール５０は最適化された２値分類器５４に従って、符号化マトリクス４８を最適化する。最適化された符号化マトリクス５６はアプリケーションユニット３２の比較モジュール８４によって用いられる。
【００７９】
アプリケーション段階では、ソーステキスト７０と、ソーステキスト７０の機械翻訳７２による翻訳である翻訳済テキスト７４とが特徴量抽出モジュール７６に与えられる。特徴量抽出モジュール７６はソーステキスト７０及び翻訳済テキスト７４から特徴量の組を計算するか又は抽出して、結果として得られる特徴量の組７８を２値分類器５４に供給する。
【００８０】
２値分類器４６の最適化されたバージョンである２値分類器５４は２値判断８０を出力し、これが２値ベクトル８２を形成する。
【００８１】
比較モジュール８４は符号化マトリクス５６の行から成る３値ベクトルの各々と２値ベクトルとを比較し、ハミング距離でどの３値ベクトル（行）が２値ベクトル８２に最も近いかを判断する。比較モジュール８４は最も近い行に対応するクラス識別子を、評価８６として出力する。結果として得られる出力は翻訳済テキスト７４の推定された、又は予測された等級を示す。
【００８２】
流暢さ及び充分性
この発明の上述の実施の形態は、流暢さ又は充分性といった、人による他の評定にも適用可能である。図１５は、流暢さ（図１５（Ａ））及び充分性（図１５（Ｂ））の実験における最適化プロセスの間のシステム性能（マルチクラス精度）の例を示す。
【００８３】
図１５は流暢さ（図１５（Ａ））と充分性（図１５（Ｂ））について例示の開発セット５２を用いた２値分類組合せを繰返し評価したもののまとめである。完全な符号化マトリクス（全部）から始めて、次の繰返しでは最も性能の悪い２値分類が除外される。破線の四角４５０及び４５２はそれぞれ流暢さと充分性とのテストセットの比較に利用された符号化マトリクスのために選択された、２値分類器サブセットを示す。
【００８４】
評価
この実施の形態の評価は出願人によりコーパス４０として集積された基本旅行表現コーパス（Ｂａｓｉｃ  Ｔｒａｖｅｌ  Ｅｘｐｒｅｓｓｉｏｎ  Ｃｏｒｐｕｓ：ＢＴＥＣ））を用いて行われた。ＢＴＥＣは、外国への旅行者向け慣用句集でよく見られるものと同様の旅行関連の文を含む。合計で３，５２４個の日本語の入力文が様々な種類のＭＴシステムで翻訳され、８２，４０６個の英訳文が生成された。５４，３０２個の翻訳文に、受容性についての人によるスコアの注釈が付けられ、３６，３０２個の翻訳文に、充分性／流暢さについての人によるスコアの注釈が付けられた。所与の翻訳に対する人によるスコアの分布を図１６にまとめた。単一の翻訳出力に対し多数の人による判断がなされた場合には、この実験では、それぞれの人によるスコアの中央値を用いた。
【００８５】
注釈を付されたコーパスは、３つのデータセットに分割された。（１）充分性／流暢さに関する２５，９８８個の翻訳と受容可能性に関する４９，５１６個のＭＴ出力とから成るトレーニングセット、（２）３つの指標全部に対する、２，０２４個の文（５０６個の入力文の各々に対し４個のＭＴ出力）から成る開発セット、（３）ＩＷＳＬＴ評価キャンペーン（ＣＳＴＡＲ０３  データセット、５０６入力文。「ＣＳＴＡＲ」はＣｏｎｓｏｒｔｉｕｍ  ｆｏｒ  Ｓｐｅｅｃｈ  Ｔｒａｎｓｌａｔｉｏｎ  Ａｄｖａｎｃｅｄ  Ｒｅｓｅａｒｃｈ：音声翻訳先端研究コンソーシアム、の略である。）から採られたテストセット、である。流暢さと充分性とについては、７，５９０個のテスト文と各々に対する１５個のＭＴ出力とが利用可能であった。受容可能性については、３，０３６個の文と各々に対する６個のＭＴ出力とが評価に用いられた。
【００８６】
−符号化マトリクスの最適化
符号化マトリクスは、まず分解段階で作成され、その後、２値分類器の最適化を反映して最適化モジュール５０によって最適化される。
【００８７】
−分類精度
マルチクラス分類タスクのベースラインは、トレーニング用データセットで最も頻繁に起こるクラスとして定義される。テーブル４は、３個の主観的評価指標全てについてのベースライン性能をまとめたものである。
【００８８】
【表４】
2009059123.tif 000007
マルチクラスタスクの分類精度、すなわちトレーニングセットから直接学習したマルチクラス分類器と、２値分類器の性能とを図１７にまとめる。
【００８９】
この実施の形態の分類精度は流暢さに関して５５．２％、充分性に関して６２．６％、受容可能性に関して６２．３％であった。従って、この実施の形態は、全ての主観的評価指標について、ベースライン及びマルチクラス分類クラスよりも良好な性能を発揮し、ベースライン／マルチクラス性能と比較して流暢さについて２２．７％／６．０％、充分性について３１．５％／６．６％、受容可能性について１９．３％／１．２％の利得を達成した。
【００９０】
さらに、２値分類器の性能は、分類タスク及び評価指標に依存して大きく変化する。全部対１の分類器では８０％から９０％の精度が達成されるが、境界分類器では７５％から８１％であり、全ペア分類器では５５％から９１％であった。
【００９１】
−人による評定との相関
この実施の形態に従った指標の、文レベルでの人の判断に対する相関を調べるため、得られた結果についてスペアマン（Ｓｐｅａｒｍａｎ）ランク相関係数を計算した。加えて、テーブル２に列挙した自動評価指標とマルチクラス分類器とを用いて、テスト文をランク付けし、人による評定に対するそのスペアマンランク相関を計算した。その相関係数を図１８に要約する。
【００９２】
結果から、この実施の形態は他の全ての指標より高い性能を発揮したことが示され、流暢さ／充分性／受容可能性についての相関係数はそれぞれ０．６３２／０．７５９／０．７６９であった。
【００９３】
コンピュータによる実現
上述の実施の形態は、コンピュータシステムと、当該システム上で実行されるコンピュータプログラムとによって実現可能である。図１９はこの実施の形態で用いられるコンピュータシステム６５０の外観を示し、図２０はコンピュータシステム６５０のブロック。ここで示すコンピュータシステム６５０は単なる例示であって、さまざまな他の構成が利用可能である。
【００９４】
図１９を参照して、コンピュータシステム６５０は、コンピュータ６６０と、いずれもコンピュータ６６０に接続された、モニター６６２と、キーボード６６６と、マウス６６８と、スピーカー６９２と、マイクロフォン６９０とを含む。さらに、コンピュータ６６０は、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）ドライブ６７０及び半導体メモリポート６７２を含む。
【００９５】
図２０を参照して、コンピュータ６６０はさらに、ＤＶＤ６７０及び半導体メモリポート６７２に接続されたバス６８６と、上述した装置を実現するコンピュータプログラムを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）６７６と、コンピュータ６６０のブートアッププログラムを記憶するＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）６７８と、ＣＰＵ６７６によって使用される作業領域及びＣＰＵ６７６によって実行されるプログラムの記憶領域を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）６８０と、コーパス４０（図１を参照）、ソーステキスト７０、翻訳済テキスト７４、ソーステキスト７０を翻訳するための機械翻訳プログラム、特徴量抽出モジュール７６で用いられる他の機械翻訳プログラム、機械翻訳で必要とされる全てのデータ、２値分類器５４及び符号化マトリクス５６を記憶するハードディスクドライブ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ：ＨＤＤ）６７４と、を含む。これらの要素は全てバス６８６を介してＣＰＵ６７６に接続される。
【００９６】
コンピュータ６６０が分類器準備ユニット３４として用いられる場合、ＨＤＤ６７４はさらに、学習モジュール４４及び最適化モジュール５０と、２値分類器４６及び５４と、符号化マトリクス４８及び５６と、２値分類器及び符号化マトリクスの最適化に用いられる開発セット５２と、のためのプログラムを記憶する。
【００９７】
コンピュータ６６０はさらに、コンピュータ６６０のネットワーク６５２への接続を提供するための、バス６８６に接続されたネットワークインターフェース（Ｉ／Ｆ）６９６を含む。
【００９８】
上述の実施の形態のシステムを実現するソフトウェアはＤＶＤ６８２又は半導体メモリ６８４等の記憶媒体に記憶されたオブジェクトコードの形で流通し、ＤＶＤドライブ６７０又は半導体メモリポート６７２等の読出装置を介してコンピュータ６６０に提供され、ＨＤＤ６７４に記憶される。ＣＰＵ６７６がプログラムを実行する際には、プログラムはＨＤＤ６７４から読出されてＲＡＭ６８０に記憶される。ＣＰＵ６７６の図示しないプログラムカウンタによって指定されたアドレスからＣＰＵ６７６へ命令がフェッチされ、その命令が実行される。ＣＰＵ６７６はＣＰＵ６７６内のレジスタ、ＲＡＭ６８０、又はＨＤＤ６７４から処理すべきデータを読出し、処理の結果をＣＰＵ６７６内のレジスタ、ＲＡＭ６８０、又はＨＤＤ６７４に記憶する。
【００９９】
コンピュータシステム６５０の一般的動作は周知であるので、ここでは詳細な説明は行なわない。
【０１００】
ソフトウェアの流通の方法に関して、ソフトウェアは必ずしも記憶媒体上に固定されたものでなくてもよい。例えば、ソフトウェアはネットワーク６５２に接続された別のコンピュータからコンピュータ６６０に送信されてもよい。ソフトウェアの一部がＨＤＤ６７４に記憶され、ソフトウェアの残りの部分をネットワークを介してＨＤＤ６７４に取込み、実行の際に統合する様にしてもよい。
【０１０１】
典型的には、現代のコンピュータはコンピュータのオペレーティングシステム（ＯＳ）によって提供される一般的な機能を利用し、所望の目的に従って制御された態様でこれら機能を実行する。従って、ＯＳ又は第３者から提供されうる一般的な機能を含まず、一般的な機能の実行順序の組合せのみを指定したプログラムであっても、そのプログラムが全体として所望の目的を達成する制御構造を有する限り、そのプログラムがこの発明の範囲に包含されることは明らかである。
【０１０２】
可能な変形例
上述の実施の形態は日本語から英語への翻訳品質に関するものであったが、この発明はこれに限定されるものではない。コーパス４０として使用できるコーパスが入手できるかぎり、この発明はどのような言語の組合せにも適用可能である。
【０１０３】
上述の実施の形態では、最初に全ての分類器を使用し、最悪の性能の分類器を除いていくことによって、最適化モジュール５０が２値分類器４６を２値分類器５４へと最適化する。この発明はこのような最適化スキームに限定されるものではない。最適化の結果得られる分類器５４が、他の分類器の組合せよりも良好な性能を発揮するのであれば、どのような最適化スキームを用いてもよい。例えば、２値分類器の可能な組合せ全てを調査し、最高の性能が得られる組合せを２値分類器の最適化された組として選択してもよい。これに代えて、開発セット５２での２値分類器４６の性能を最初に計算し、所定のしきい値より高い精度の２値分類器のみを最適化された２値分類器５４として用いてもよい。
【０１０４】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１０５】
【図１】この発明の実施の形態のシステム３０の全体構造を示す図である。
【図２】コーパス４０の詳細を示す図である。
【図３】学習用翻訳セット１００がどのように準備されるかを示す図である。
【図４】この実施の形態で用いられる２値分類器の分解スキームを示す図である。
【図５】１値対他の分類器のトレーニングのための例をどのように生成するかを示す図である。
【図６】５＿４及び５＿２分類器のトレーニングのための例をどのように生成するかを示す図である。
【図７】３＿２及び３＿１分類器のトレーニングのための例をどのように生成するかを示す図である。
【図８】５＿４及び５＿２分類器のトレーニングのための例をどのように生成するかを示す図である。
【図９】第１の実施の形態で用いられる符号化マトリクス４８を示す図である。
【図１０】コンピュータプログラムの形で実現された最適化モジュールのフロー図である。
【図１１】最適化プロセスの結果例を示す図である。
【図１２】最適化された２値分類器５４の詳細を示す図である。
【図１３】最適化された符号化マトリクス５６の構成を示す図である。
【図１４】特徴量抽出モジュール７６で行われる特徴量抽出のスキームを示す図である。
【図１５】流暢さと充分性についての実験の最適化プロセスにおけるシステム性能（マルチクラス精度）の例を示す図である。
【図１６】実験での所与の翻訳に対する人のスコアの分布をまとめた図である。
【図１７】マルチクラスタスクと２値分類器性能との分類精度をまとめた図である。
【図１８】異なる分類器の相関係数をまとめた図である。
【図１９】コンピュータシステム６５０の正面図である。
【図２０】コンピュータシステム６５０を示すブロック図である。
【符号の説明】
【０１０６】
３０       翻訳品質予測システム
３２       アプリケーションユニット
３４       分類器準備ユニット
４０       コーパス
４４       学習モジュール
４６、５４           ２値分類器
４８、５０           符号化マトリクス
５０       最適化モジュール
５２       開発セット
７０       ソーステキスト
７４       翻訳済テキスト
７６       特徴量抽出モジュール
７８       特徴量の組
８０       ２値決定値
８２       ２値ベクトル
８４       比較モジュール
【図１】
2009059123.tif 000008
【図２】
2009059123.tif 000009
【図３】
2009059123.tif 000010
【図４】
2009059123.tif 000011
【図５】
2009059123.tif 000012
【図６】
2009059123.tif 000013
【図７】
2009059123.tif 000014
【図８】
2009059123.tif 000015
【図９】
2009059123.tif 000016
【図１０】
2009059123.tif 000017
【図１１】
2009059123.tif 000018
【図１２】
2009059123.tif 000019
【図１３】
2009059123.tif 000020
【図１４】
2009059123.tif 000021
【図１５】
2009059123.tif 000022
【図１６】
2009059123.tif 000023
【図１７】
2009059123.tif 000024
【図１８】
2009059123.tif 000025
【図１９】
2009059123.tif 000026
【図２０】
2009059123.tif 000027
【外国語明細書】
2009059123000001.pdf
2009059123000002.pdf
2009059123000003.pdf
2009059123000004.pdf