(57)【要約】【課題】個別学習に適した穴埋問題を生成できる穴埋問題生成技術を提供することを目的とする。【解決手段】穴埋問題生成装置４は、優先度学習により学習した優先度情報４１３に基づいて優先度が高い順に穴埋問題文候補を選択する問題文選択手段５２と、穴埋問題文に含まれる単語を系列として扱う系列ラベリングにより学習した空欄統計情報４１４に基づいて穴埋問題文候補における空欄を決定する空欄決定手段５３と、空欄に対応する誤選択肢候補を生成する誤選択肢候補生成手段５４ａと、誤選択肢候補を穴埋問題文の空欄に挿入した検索文でインターネット検索を行い、インターネット検索に失敗した検索文における誤選択肢候補を誤選択肢として選択する誤選択肢選択手段５４ｂとを備える。【選択図】図６
2011017947.tif 000002
【特許請求の範囲】
【請求項１】
外部から入力された穴埋問題文候補に含まれる１以上の単語を空欄に置き換えた穴埋問題文と、前記空欄に置き換えた前記１以上の単語である正解選択肢と、当該正解選択肢と異なる選択肢である誤選択肢とで構成される穴埋問題を生成する穴埋問題生成装置において、
形態素が付加された前記穴埋問題文候補が複数入力され、優先度学習により予め学習した優先度情報に基づいて、前記穴埋問題文候補毎に優先度を算出すると共に、当該優先度が高い順に前記穴埋問題文候補を選択する問題文選択手段と、
前記穴埋問題文候補に含まれる前記単語を系列として扱う系列ラベリングにより予め学習した空欄統計情報に基づいて、前記問題文選択手段が選択した前記穴埋問題文候補における前記空欄を決定する空欄決定手段と、
前記誤選択肢の候補である誤選択肢候補を生成する生成規則が予め設定され、当該生成規則に基づいて、前記空欄決定手段が決定した前記空欄に対応する前記誤選択肢候補を生成する誤選択肢候補生成手段と、
前記誤選択肢候補毎に、当該誤選択肢候補を前記穴埋問題文の前記空欄に挿入した検索文でインターネット検索を行い、前記インターネット検索に失敗した前記検索文における前記誤選択肢候補を前記誤選択肢として選択して、前記穴埋問題を出力する誤選択肢選択手段と、
を備えることを特徴とする穴埋問題生成装置。
【請求項２】
既に作成された前記穴埋問題において前記空欄に置き換えられた前記１以上の単語の形態素と前記生成規則との対応関係を示す統計パターンを記憶する記憶手段をさらに備え、
前記誤選択肢候補生成手段は、前記統計パターンを参照して、前記穴埋問題文において前記空欄に置き換えられた前記１以上の単語の形態素に対応した前記生成規則を用いて前記誤選択肢候補を生成することを特徴とする請求項１に記載の穴埋問題生成装置。
【請求項３】
前記外部から前記穴埋問題文候補が複数入力され、入力された当該穴埋問題文候補を形態素解析すると共に、形態素を付加した前記穴埋問題文候補を前記問題文選択手段に出力する形態素付加手段をさらに備えることを特徴とする請求項１又は請求項２に記載の穴埋問題生成装置。
【請求項４】
コンピュータを、請求項１から請求項３の何れか一項に記載の穴埋問題生成装置の各手段として動作させるための穴埋問題生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータを用いた個別学習に関し、特に、コンピュータを用いて穴埋問題を生成する問題生成（Question generation）技術に関する。
【背景技術】
【０００２】
学習者が個々に学習を進める形態として、個別学習が知られている。これまで、個別学習で利用する問題は、教師等の専門家によって作成されることが一般的であった。近年、イーラーニング（e-learning）の普及に伴って、ネットワークを介して、コンピュータを用いての個別学習が拡大しつつある。このため、個別学習では、個々の学習者に合わせた大量の問題が必要とされている。
【０００３】
このことから、現在、英文等の一部を空欄とした穴埋問題を生成する技術が提案されている（例えば、非特許文献１，２参照）。非特許文献１，２に記載の技術では、英文に出現する動詞や形容詞を空欄とする。これによって、非特許文献１，２に記載の技術では、特定の品詞を問う穴埋問題の生成を可能としている。
【０００４】
また、個別学習では、空欄を決定するだけでなく、誤った選択肢となる誤選択肢を生成する必要もある。例えば、非特許文献１，２に記載の技術では、類語辞典などを用いて類義語や反義語を誤選択肢として生成する。これによって、非特許文献１，２に記載の技術では、学習者の語彙能力を測る穴埋問題の生成も可能としている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】隅田英一郎,菅谷史昭,山本誠一,“英語能力測定のための空所補充問題の自動生成手法”,信学技報,Vol.104,No.503(2004),pp.17-22.
【非特許文献２】Yi-Chien Lin,Li-Chun Sung,and Meng Chang Chen,“An Automatic Multiple-Choice Question Generation Scheme for English Adjective Understanding”,ICCE 2007 Workshop Proc. of Modeling, Management and Generation of Problems / Questions in eLearning(2007),pp.137-142.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１，２をはじめとする従来技術では、以下のような問題がある。例えば、非特許文献１，２に記載の技術では、学習者自身が複数の英文から問題となる英文を１文選択する必要がある。しかし、学習者自身が、無数に存在する文章から穴埋問題に適した英文を選択することは困難である。
【０００７】
また、問題の難易度を左右することから、穴埋問題に適切な英文を選択することは重要である。例えば、文法的に正しく、一般によく使われる単語や品詞から構成されている文章は、問題文として適している。一方、固有名詞を多く含む文章、会話文、及び、文法的に正しくない文章は、問題文として不適切である。しかし、文章が穴埋問題に適しているかを判定可能な穴埋問題生成技術は、提案されていない。
【０００８】
また、穴埋問題における空欄は、学習者が学習する文法や語彙を示しており、空欄に置き換える単語や品詞も問題の難易度を大きく左右する要因である。ここで、従来技術のように、特定の品詞のみを空欄にする手法や、問題文中で学習者が指定した単語の頻出度に近い単語を空欄として決定する手法では、問題文中で空欄に置き換えられる単語が限定されることが多かった。しかし、空欄の決定には問題文の構造が影響するため、特定の品詞や単語の頻出度等の語彙レベルに限定されない、柔軟な穴埋問題生成技術が強く要望されている。
【０００９】
また、誤選択肢も問題の難易度に大きく影響を及ぼす。例えば、誤選択肢が正解選択肢の品詞や意味と全く異なるものである場合には、学習者が容易に正解することが可能である。一方、誤選択肢が正解選択肢と同じ品詞や似た意味を持つ単語である場合には、問題の難易度は高くなる。しかし、従来技術のように、正解選択肢の単語の類義語や反義語から誤選択肢群を生成する手法や、正解選択肢の単語とその頻出度に応じた語彙レベルが近い単語を誤選択肢群として用いる手法では、語彙を問う穴埋問題の生成に限定されている。このため、文法も学習可能な穴埋問題を生成する穴埋問題生成技術が強く要望されている。
【００１０】
そこで、本発明は、前記した課題を解決し、個別学習に適した穴埋問題を生成できる穴埋問題生成技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
専門家が穴埋問題を作成する際、経験に基づいて、学習目的に応じた問題文を選択し、空欄や誤選択肢を決定している。つまり、専門家の問題作成の知識は、既に作成された穴埋問題から取得できると考えられる。そこで、本願発明者らは、既存穴埋問題の単語や文法に関する統計情報を機械学習することで、専門家の経験的な知識を穴埋問題に反映できることを見出し、本発明を完成させた。
【００１２】
具体的には、本願第１発明に係る穴埋問題生成装置は、外部から入力された穴埋問題文候補に含まれる１以上の単語を空欄に置き換えた穴埋問題文と、前記空欄に置き換えた前記１以上の単語である正解選択肢と、当該正解選択肢と異なる選択肢である誤選択肢とで構成される穴埋問題を生成する穴埋問題生成装置において、形態素が付加された前記穴埋問題文候補が複数入力され、優先度学習により予め学習した優先度情報に基づいて、前記穴埋問題文候補毎に優先度を算出すると共に、当該優先度が高い順に前記穴埋問題文候補を選択する問題文選択手段と、前記穴埋問題文候補に含まれる前記単語を系列として扱う系列ラベリングにより予め学習した空欄統計情報に基づいて、前記問題文選択手段が選択した前記穴埋問題文候補における前記空欄を決定する空欄決定手段と、前記誤選択肢の候補である誤選択肢候補を生成する生成規則が予め設定され、当該生成規則に基づいて、前記空欄決定手段が決定した前記空欄に対応する前記誤選択肢候補を生成する誤選択肢候補生成手段と、前記誤選択肢候補毎に、当該誤選択肢候補を前記穴埋問題文の前記空欄に挿入した検索文でインターネット検索を行い、前記インターネット検索に失敗した前記検索文における前記誤選択肢候補を前記誤選択肢として選択して、前記穴埋問題を出力する誤選択肢選択手段と、を備えることを特徴とする。
【００１３】
まず、穴埋問題生成装置は、穴埋問題文候補として、学習者が個々に用意した文章(例えば、書籍、ニュース、コラム、論文、インターネット上のドキュメント等の英語文章)が複数入力される。つまり、学習者は、それぞれの好みや興味に応じた文章を、穴埋問題文候補として予め用意しておく。このとき、例えば、穴埋問題文候補には、それぞれに含まれる１個１個の単語に形態素(Part-of-speech tag)を付加しておく。
【００１４】
次に、穴埋問題生成装置は、穴埋問題文候補から、穴埋問題に適した文章（穴埋問題文候補）を選択する。入力された穴埋問題文候補を用いて個別学習する場合、より適切な穴埋問題文候補から順に穴埋問題を生成することが好ましい。そこで、穴埋問題生成装置は、優先度学習により学習した優先度情報を用いて、優先度が高い順に穴埋問題文候補を選択する。これによって、穴埋問題生成装置は、穴埋問題文として不適切な文章（例えば、固有名詞が多い文章や会話文）を穴埋問題文として選択することを少なくできる。なお、優先度学習とは、各々のサンプル間の類似度から、入力されたサンプル内の優先度を算出することによって、サンプルを相対的に分類する手法である。この優先度学習としては、例えば、Ｒａｎｋｉｎｇ  Ｖｏｔｅｄ  Ｐｅｒｃｅｐｔｒｏｎ法（以下、「ＲＶＰ法」と略記する）、及び、ＲｏｃＳＶＭ（Rocchio Support Vector Machine）法があげられる。
【００１５】
そして、穴埋問題生成装置は、穴埋問題文における空欄を決定する。ここで、文章は、単語や形態素の列から構成されている。つまり、空欄の決定は、単語や形態素の列に「空欄」というラベルを付ける問題と言い換えることができる。そこで、穴埋問題生成装置は、穴埋問題文における空欄の決定を系列ラベリング問題として扱い、穴埋問題文に含まれる単語に、空欄を意味するラベル付けを行う。これによって、穴埋問題生成装置は、穴埋問題文における空欄に置き換えられる単語の偏りを少なくできる。このとき、穴埋問題生成装置は、既存穴埋問題に含まれる単語と形態素との系列情報を学習データとして機械学習した空欄統計情報を予め記憶しておく。この機械学習としては、例えば、条件付き確率場（CRF:Conditional Random Fields）、隠れマルコフモデル（HMM:Hidden Markov Model）、及び、最大エントロピーマルコフモデル（MEMM:Maximum Entropy Markov Model）があげられる。
【００１６】
さらに、穴埋問題生成装置は、誤選択肢を生成する。このとき、正解選択肢で空欄を埋めた穴埋問題文は、意味的・文法的に正しい文でなければならず、一方、誤選択肢で空欄を埋めた穴埋問題文は、意味的・文法的に正しい文であってはならない。つまり、穴埋問題生成装置は、正しい文となる誤選択肢候補を削除し、意味的・文法的に誤りとなる誤選択肢候補を誤選択肢として選択する必要がある。そこで、穴埋問題生成装置は、生成した誤選択肢候補で穴埋問題文の空欄を埋めた検索文を生成し、これを検索条件としてインターネット検索を行う。そして、穴埋問題生成装置は、インターネット検索に失敗した検索文における誤選択肢候補を誤選択肢として選択する。このようにして、穴埋問題生成装置は、個別学習に適した穴埋問題を生成する。
【００１７】
また、本願第２発明に係る穴埋問題生成装置は、既に作成された前記穴埋問題（既存穴埋問題）において前記空欄に置き換えられた前記１以上の単語の形態素と前記生成規則との対応関係を示す統計パターンを記憶する記憶手段をさらに備え、前記誤選択肢候補生成手段は、前記統計パターンを参照して、前記穴埋問題文において前記空欄に置き換えられた前記１以上の単語の形態素に対応した前記生成規則を用いて前記誤選択肢候補を生成することを特徴とする。
【００１８】
ここで、既存穴埋問題における誤選択肢の生成規則を分析し、その統計パターンを記憶させておく。そして、穴埋問題生成装置は、この統計パターンに基づいて、誤選択肢候補を生成する。これによって、穴埋問題生成装置は、語彙だけでなく、文法も学習可能な穴埋問題を生成する
【００１９】
また、本願第３発明に係る穴埋問題生成装置は、前記外部から前記穴埋問題文候補が複数入力され、入力された当該穴埋問題文候補を形態素解析すると共に、形態素を付加した前記穴埋問題文候補を前記問題文選択手段に出力する形態素付加手段をさらに備えることを特徴とする。これによって、穴埋問題生成装置は、学習者自身で穴埋問題文候補に形態素を付加する必要がなくなり、学習者にとって利便性が良い。
【００２０】
また、本願第４発明に係る穴埋問題生成プログラムは、コンピュータを、本願第１発明から本願第３発明までの何れかの穴埋問題生成装置の各手段として動作させることを特徴とする。このプログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することができる。
【発明の効果】
【００２１】
本発明によれば、専門家の経験的な知識を反映させて、個別学習に適した穴埋問題を生成できる穴埋問題生成技術を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明における、個別学習システムの概略を説明する図である。
【図２】本発明における、個別学習システムの構成を示すブロック図である。
【図３】本発明における、問題入力画面の一例を示す図である。
【図４】本発明における、学習画面の一例を示す図である。
【図５】本発明の第１実施形態に係る穴埋問題生成装置の機能を説明する図である。
【図６】本発明の第１実施形態に係る穴埋問題生成装置の構成を示すブロック図である。
【図７】図６の穴埋問題生成装置が用いるＲＶＰ法のアルゴリズムを説明する図である。
【図８】本発明に係る穴埋問題生成プログラムをインストールされたコンピュータのブロック図である。
【図９】図６の穴埋問題生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００２４】
［個別学習システムの概略］
以下、図１及び図２を参照し、本発明の第１実施形態に係る穴埋問題生成装置４を利用した、個別学習システム１の概略について、説明する。個別学習システム１は、例えば、英語の穴埋問題を生成して学習者の個別学習を支援するものである。なお、穴埋問題生成装置４が個別学習装置３に内蔵されていることから、図１には図示していない。
【００２５】
前記したように、従来技術では、学習者自身が複数の英文から問題となる英文を１文選択する必要がある。しかし、学習者自身が、無数の文章から穴埋問題に適した英文を選択することは困難である。図１に示すように、学習者は、それぞれの好みや興味に応じた文章（図１では、英文）を複数用意し、これらを個別学習装置３に入力する。すると、個別学習装置３は、学習者が入力した文章から穴埋問題文として適切なものを選択し、さらに、誤選択肢を生成し、穴埋問題（図１では、問題と図示）として出力する。そして、学習者は、個別学習装置３が出力した穴埋問題を回答することによって、個別学習を行う。
【００２６】
このため、図２に示すように、個別学習システム１は、学習者端末装置２と、個別学習装置３とを備える。ここで、学習者端末装置２は、個別学習装置３とインターネット等のネットワーク（不図示）介して接続している。なお、図２では、説明のため、１台の学習者端末装置２のみを図示したが、個別学習システム１は、学習者端末装置２を複数台備えても良い。
【００２７】
学習者端末装置２は、学習者が個別学習に用いる端末装置である。例えば、学習者端末装置２は、マウス、キーボード等の入力手段（不図示）、ディスプレイ等の出力手段（不図示）を備え、インタネットーブラウザ（不図示）がインストールされた一般的なコンピュータである。
【００２８】
個別学習装置３は、学習者が個別学習に用いる穴埋問題を生成する装置であり、問題入力画面提示手段３１と、穴埋問題文候補取得手段３２と、穴埋問題生成装置４と、学習画面提示手段３３とを備える。
【００２９】
問題入力画面提示手段３１は、学習者が文章（穴埋問題文候補）を入力する問題入力画面Ｓｃ１（図３参照）を学習者端末装置２に提示する。例えば、問題入力画面提示手段３１は、問題入力画面Ｓｃ１となるＨＴＭＬ（HyperText Markup Language）データを生成して学習者端末装置２に出力する。この問題入力画面Ｓｃ１は、図３に示すように、学習者が文章（穴埋問題文候補）を複数入力可能なテキストボックスＴｘと、テキストボックスＴｘに入力された文章（穴埋問題文候補）を個別学習装置３に送信する送信ボタンＢｔ１とを含んでいる。なお、図３では、テキストボックスＴｘ内の「This is the building where we had our first office.・・・」は、学習者が入力した文章（穴埋問題文候補）の一例である。
【００３０】
ここで、問題入力画面提示手段３１からＨＴＭＬデータが出力されると、学習者端末装置２は、インタネットーブラウザに問題入力画面Ｓｃ１が表示される。そして、学習者は、例えば、書籍、ニュース、コラム、論文、インターネット上のドキュメント等の文章を、問題入力画面Ｓｃ１のテキストボックスＴｘにコピー＆ペーストする。その後、学習者が問題入力画面Ｓｃ１の送信ボタンＢｔ１をクリックすると、テキストボックスＴｘに入力された文章（穴埋問題文候補）が個別学習装置３に送信される。
【００３１】
穴埋問題文候補取得手段３２は、学習者端末装置２から送信された文章（穴埋問題文候補）を取得し、穴埋問題生成装置４に出力する。ここでは、例えば、穴埋問題文候補取得手段３２は、図３の問題入力画面のテキストボックスＴｘに入力された「This is the building where we had our first office.」を含む複数の文章を、穴埋問題文候補として取得する。
【００３２】
穴埋問題生成装置４は、穴埋問題文候補取得手段３２からの穴埋問題文候補に含まれる１以上の単語を空欄に置き換えた穴埋問題文と、空欄に置き換えた１以上の単語である正解選択肢と、正解選択肢と異なる選択肢である誤選択肢とで構成される穴埋問題を生成する。なお、穴埋問題生成装置４の詳細は、後記する。
【００３３】
学習画面提示手段３３は、穴埋問題生成装置４が生成した穴埋問題に基づいて学習画面Ｓｃ２（図４参照）を生成し、この学習画面Ｓｃ２を学習者端末装置２に提示する。例えば、学習画面提示手段３３は、学習画面Ｓｃ２となるＨＴＭＬデータを生成して学習者端末装置２に出力する。この学習画面Ｓｃ２は、図４に示すように、例えば、「This is the building (  ) we had our first office.」という穴埋問題文と、「ｗｈｅｒｅ」という正解選択肢と、「ｗｈａｔ」、「ｗｈｉｃｈ」及び「ｗｈｅｎ」という誤選択肢とを含んでいる。また、この学習画面Ｓｃ２は、例えば、学習者が選択した選択肢を示すラジオボタンＲｂと、ラジオボタンＲｂで選択した選択肢が正解であるか否かを判定する回答ボタンＢｔ２とを含んでいる。さらに、この学習画面Ｓｃ２には、回答ボタンＢｔ２がクリックされると、学習者が選択した選択肢が正解であるか否かを判定し、選択肢に応じて正解ダイアログボックス又は誤答ダイアログボックスを出力するスクリプト（不図示）が含まれている。なお、この例では、穴埋問題文における空欄は、カッコ書きの部分である。
【００３４】
ここで、学習画面提示手段３３からＨＴＭＬデータが出力されると、学習者端末装置２は、インタネットーブラウザに学習画面Ｓｃ２が表示される。すると、学習者は、「This is the building (  ) we had our first office.」という穴埋問題文において、穴埋にふさわしい選択肢「ｗｈａｔ」、「ｗｈｉｃｈ」、「ｗｈｅｒｅ」又は「ｗｈｅｎ」に対応するラジオボタンＲｂを選択し、回答ボタンＢｔ２をクリックする。ここで、学習者が「ｗｈｅｒｅ」という正解選択肢を選択した場合、学習者端末装置２には、正解メッセージを含む正解ダイアログボックスが表示される。一方、学習者が「ｗｈａｔ」、「ｗｈｉｃｈ」又は「ｗｈｅｎ」という誤選択肢を選択した場合、学習者端末装置２には、誤答メッセージを含む誤答ダイアログボックスが表示される。以上のようにして、個別学習システム１では、学習者が個別学習を行うことができる。
【００３５】
［穴埋問題生成装置の構成］
以下、穴埋問題生成装置４の詳細について、説明する。図５に示すように、穴埋問題生成装置４は、大きく、１）学習者が入力した文章から適切な問題文を選択、２）選択した穴埋問題文候補における空欄を決定、及び、３）誤選択肢を生成という機能を備える。そして、これら機能を実現するために、図６に示すように、穴埋問題生成装置４は、記憶手段４１と、優先度学習手段４２と、空欄統計情報学習手段４３と、統計パターン学習手段４４と、形態素付加手段５１と、問題文選択手段５２と、空欄決定手段５３と、誤選択肢生成手段５４とを備える。
【００３６】
なお、図６では、優先度学習手段４２、空欄統計情報学習手段４３、及び、統計パターン学習手段４４が、穴埋問題を生成するために必要となる各種情報を生成して記憶手段４１に記憶する。また、形態素付加手段５１、問題文選択手段５２、空欄決定手段５３、及び、誤選択肢生成手段５４が、記憶手段４１に記憶した各種情報を用いて穴埋問題を生成する。
【００３７】
記憶手段４１は、既存穴埋問題文情報４１１と、ラベル付既存穴埋問題文情報４１２と、優先度情報４１３と、空欄統計情報４１４と、類語辞書４１５と、単語辞書４１６と、活用語リスト４１７と、統計パターン４１８とを記憶するメモリ又はハードディスクである。
【００３８】
既存穴埋問題文情報４１１は、専門家が学習問題として作成した複数の既存穴埋問題の問題文と、その問題文に含まれる単語毎の形態素とを含む情報である。第１実施形態では、例えば、既存穴埋問題として、ＴＯＥＩＣ（登録商標）の穴埋問題を用いている。なお、この既存穴埋問題文情報４１１は、例えば、オペレータによって予め記憶手段４１に記憶される。
【００３９】
ラベル付既存穴埋問題文情報４１２は、既存穴埋問題文情報４１１に含まれる穴埋問題文の単語毎に固有表現のラベルが付加された情報である。このラベル付既存穴埋問題文情報４１２は、例えば、オペレータによって予め記憶手段４１に記憶される。なお、ラベルの詳細については、後記する。
【００４０】
優先度情報４１３は、後記する優先度学習手段４２が優先度学習によって生成した学習データである。なお、この優先度情報４１３は、後記する問題文選択手段５２が参照する。
【００４１】
空欄統計情報４１４は、後記する空欄統計情報学習手段４３が系列ラベリングによって生成した学習データである。なお、この空欄統計情報４１４は、後記する空欄決定手段５３が参照する。
【００４２】
類語辞書４１５は、穴埋問題文に含まれる単語に類似する意味を有する類義語、及び、この単語と反対の意味を有する反義語が登録された辞書である。この類語辞書４１５は、後記する誤選択肢生成手段５４が参照する。なお、この類語辞書４１５は、オペレータによって予め記憶手段４１に記憶される。
【００４３】
単語辞書４１６は、穴埋問題文に含まれる単語が登録された辞書である。この単語辞書４１６は、後記する誤選択肢生成手段５４が参照する。なお、この単語辞書４１６は、オペレータによって予め記憶手段４１に記憶される。
【００４４】
活用語リスト４１７は、穴埋問題文に含まれる単語の活用語が登録されたリストである。この活用語リスト４１７は、後記する誤選択肢生成手段５４が参照する。なお、この活用語リスト４１７は、オペレータによって予め記憶手段４１に記憶される。
【００４５】
統計パターン４１８は、既存穴埋問題において空欄に置き換えられた１以上の単語の形態素と生成規則との対応関係を示す情報である。ここで、生成規則は、誤選択肢を生成する様々な規則を示す。なお、この統計パターン４１８は、後記する誤選択肢生成手段５４が参照する。
【００４６】
優先度学習手段４２は、記憶手段４１のラベル付既存穴埋問題文情報４１２を参照し、優先度学習を行って優先度情報４１３を生成して、記憶手段４１に記憶させる。以下、図７を参照し、ＲＶＰ法による優先度学習の一例を説明する（適宜図６参照）。なお、このＲＶＰ法の詳細は、例えば、文献「Michael Collins, and Nigel Duffy,“New Ranking Algorithms for Parsing and Tagging:Kernels over Discrete Structures, and the Voted Perceptron”,Proc.of 40th Annual Meeting of the Association for Computational Linguistics (2007),pp.263-270.」に記載されている。
【００４７】
図７では、ｘｉ０は、既存穴埋問題の問題文を正解選択肢で埋めた文章であり、これが正例である。また、図７では、ｘｉ１，・・・，ｘｉｊ及びｙは、任意の文章であり、これが候補である。さらに、図７では、ｈ（ｘｉ０）・ｈ（ｙ）は、文章ｘｉ０と文章ｙとの単語及び文法の類似度を示す。そして、図７では、ｈ（ｘｉｊ）・ｈ（ｙ）は、文章ｘｉｊと文章ｙとの単語及び文法の類似度を示す。そして、図７では、Ｇ（ｙ）は文章ｘｉ０と文章ｙとの優先度を示し、αｉｊは重みを示すパラメータであり、ａｒｇｍａｘは、Ｇ（ｘｉｊ）を最大化する値を返す関数を示す。
【００４８】
ここで、優先度学習手段４２は、ｈ（ｘｉｊ）・ｈ（ｙ）を下記の式（１）及び式（２）によって算出する。なお、式（２）に示すように、ｋ（ｘｉｊ，ｙ）は、文章ｘｉｊと文章ｙとの単語の一致数を示すｕｎｉｇｒａｍ（ｘｉｊ，ｙ）と、文章ｘｉｊと文章ｙとの形態素の一致数を示すｐｏｓｕｎｉｇｒａｍ（ｘｉｊ，ｙ）との合計値である。つまり、文章ｘｉ０と文章ｙとの類似度が高い場合、優先度Ｇ（ｙ）は、より高い値となる。このとき、優先度学習手段４２は、候補の文章の類似度が正例の文章の類似度を超えた場合、その値を「１」とし、候補の文章の類似度が高い値とならないように学習する。なお、優先度学習手段４２は、この式（１）及び式（２）の他、単語や品詞の系列の一致数や、構文木の一致数を用いても良い。
【００４９】
【数１】
2011017947.tif 000003
【００５０】
【数２】
2011017947.tif 000004
【００５１】
なお、優先度学習手段４２は、ＲＶＰ法以外に、ＲｏｃＳＶＭ法を用いて優先度学習を行うこともできる。このＲｏｃＳＶＭ法の詳細は、例えば、文献「Xaioli Li,Bing Liu ,“Learning to Classify Texts Using Positive and Unlabeled Data”」に記載されている。
【００５２】
空欄統計情報学習手段４３は、記憶手段４１のラベル付既存穴埋問題文情報４１２を参照し、系列ラベリングを用いて空欄統計情報４１４を生成して、記憶手段４１に記憶させる。例えば、空欄統計情報学習手段４３は、穴埋問題文における空欄を固有表現として扱い、ＩＯＢ２フォーマットを用いて表現する。このＩＯＢ２フォーマットは、「Ｉ」タグ、「Ｏ」タグ及び「Ｂ」タグという３種類のタグが定義される。具体的には、空欄統計情報学習手段４３は、系列（穴埋問題文）に含まれる単語が、空欄の先頭に位置する場合、「Ｂ」タグを付加する。また、空欄統計情報学習手段４３は、空欄が複数の単語にわたる場合、２語目以降に位置する単語には、「Ｉ」タグを付加する。そして、空欄統計情報学習手段４３は、空欄以外の単語、つまり、固有表現ではない単語には「Ｏ」タグを付加する。
【００５３】
以下、「His doctor urged him to (  ) doing hard exercise.」という穴埋問題文と、この空欄の正解選択肢「ｇｉｖｅ  ｕｐ」とを例に、ＩＯＢ２フォーマットについて説明する。この例では、表１に示すように、空欄の先頭となる単語「ｇｉｖｅ」に「Ｂ」タグが付加され、これに続く単語「ｕｐ」に「Ｉ」タグが付加され、空欄に位置していない単語には「Ｏ」タグが付加されている。
【００５４】
【表１】
2011017947.tif 000005
【００５５】
ここで、空欄統計情報学習手段４３は、例えば、系列ラベリングとして、条件付き確率場を用いる。この場合、空欄統計情報学習手段４３は、ラベル付既存穴埋問題文情報４１２に含まれる空欄に対応する１以上の単語の形態素を条件付き確率場によって学習し、空欄統計情報４１４を生成する。なお、条件付き確率場の詳細は、例えば、文献「John Lafferty,Andrew McCallum, and Fernando Pereira,“Conditional Random Fields:Probabilistic Models for Segmenting and Labeling Sequence Data”,Proc. of ICML 2001,(2001),pp.282-289.」に記載されている。
【００５６】
また、空欄統計情報学習手段４３は、系列ラベリングとして、特開２００８−２２５９０７号公報に記載の発明を用いても良い。この場合、空欄統計情報学習手段４３は、ラベルなしデータ（つまり、既存穴埋問題文情報４１１）を利用し、学習済み識別モデル用パラメータベクトル集合とモデル統合用パラメータ集合とを学習し、生成モデル用パラメータベクトル集合を決定する。また、この場合、空欄統計情報学習手段４３は、ラベルありデータ（つまり、ラベル付既存穴埋問題文情報４１２）を利用し、識別モデル用パラメータベクトル集合と生成モデル用パラメータベクトル集合とを学習し、モデル統合用パラメータ集合を決定する。これによって、穴埋問題生成装置４は、低コストで系列ラベリングの予測性能を向上させることができる。なお、空欄統計情報学習手段４３は、系列ラベリングとして、隠れマルコフモデル、又は、最大エントロピーマルコフモデルを用いても良い。
【００５７】
統計パターン学習手段４４は、記憶手段４１のラベル付既存穴埋問題文情報４１２を参照し、既存穴埋問題文において空欄に置き換えられた１以上の単語の形態素と生成規則との対応関係を求めて統計パターン４１８を生成して、記憶手段４１に記憶させる。第１実施形態では、統計パターン学習手段４４は、既存穴埋問題における空欄に置き換えられた単語の形態素を、Ｉ類、ＩＩ−活用語類、ＩＩ−派生語類、ＩＩ−接頭語・接尾語類又はＩＩ−関連語類の何れかの生成規則に対応させて、統計パターンを生成している。なお、生成規則及び誤選択肢候補の詳細は、後記する。
【００５８】
形態素付加手段５１は、学習者端末装置２（図２参照）から穴埋問題文候補が複数入力され、隠れマルコフモデル、条件付き確率場等の形態素解析によって、入力された穴埋問題文候補に含まれる単語に形態素を付加して品詞付けする。そして、形態素付加手段５１は、これら穴埋問題文候補を問題文選択手段５２に出力する。
【００５９】
問題文選択手段５２は、記憶手段４１の優先度情報４１３を参照し、形態素付加手段５１から入力された穴埋問題文候補毎に優先度を算出すると共に、優先度が高い順に穴埋問題文候補を選択する。具体的には、問題文選択手段５２は、入力された穴埋問題文候補ｚｋ（ｋ＝０，・・・，Ｍ）のそれぞれについて、優先度情報４１３のパラメータαｉｊを用いて、優先度Ｇ（ｚｋ）を算出する。ここで、優先度Ｇ（ｚｋ）が高いほど、穴埋問題として適切な問題文と言える。そして、問題文選択手段５２は、穴埋問題文候補ｚｋのそれぞれを、算出した優先度Ｇ（ｚｋ）が高い順にランク付けを行い、優先度Ｇ（ｚｋ）が高い順に穴埋問題文候補ｚｋを選択する。ここで、穴埋問題を生成する数（問題数）が予め設定されている場合、問題文選択手段５２は、この問題数だけ穴埋問題文候補ｚｋを選択しても良い。さらに、問題文選択手段５２は、選択した穴埋問題文候補ｚｋを空欄決定手段５３に出力する。なお、優先度Ｇ（ｚｋ）の算出方法としては、図７の優先度Ｇ（ｙ）の算出式ａを用いることができる。
【００６０】
空欄決定手段５３は、記憶手段４１の空欄統計情報４１４を参照し、問題文選択手段５２が選択した穴埋問題文候補における空欄を決定する。ここで、空欄統計情報４１４は、既存穴埋問題において、単語の形態素が、「Ｉ」タグ、「Ｏ」タグ及び「Ｂ」タグのそれぞれになる確率、つまり、空欄となる確率を示している。ここで、「This is the building (  ) we had our first office.」という穴埋問題文の例を下記の表２に示す。なお、表２では、タグ種別の項目は、空欄決定手段５３が判定したタグの種別とその周辺確率とを示す。また、表２では、Ｂタグ、Ｉタグ及びＯタグの項目は、それぞれ、「Ｉ」タグ、「Ｏ」タグ及び「Ｂ」タグとなる周辺確率を示し、空欄統計情報４１４から求めることができる。
【００６１】
【表２】
2011017947.tif 000006
【００６２】
空欄決定手段５３は、穴埋問題文候補に含まれる単語について、「Ｉ」タグ、「Ｏ」タグ及び「Ｂ」タグのうち最も周辺確率が高いものを、その形態素のタグと判定する。ここでは、表２に示すように、空欄決定手段５３は、単語「Ｔｈｉｓ」や単語「ｉｓ」を「Ｏ」タグと判定し、単語「ｗｈｅｒｅ」を「Ｂ」タグ、つまり、空欄と判定する。ここで、空欄決定手段５３は、穴埋問題文候補に含まれる全ての単語を「Ｏ」タグと判定した場合、それらの中で「Ｂ」タグとなる周辺確率が最も高い単語を空欄としても良い。その後、空欄決定手段５３は、「Ｂ」タグと判定した単語を空欄に置き換えた穴埋問題文と、その単語を正解選択肢として、誤選択肢生成手段５４に出力する。
【００６３】
誤選択肢生成手段５４は、図６に示すように、誤選択肢候補生成手段５４ａと、誤選択肢選択手段５４ｂとを備える。
【００６４】
誤選択肢候補生成手段５４ａは、記憶手段４１の統計パターン４１８を参照して、空欄決定手段５３から入力された穴埋問題文において空欄に置き換えられた単語（つまり、正解選択肢の単語）の形態素に対応した生成規則を判定する。そして、誤選択肢候補生成手段５４ａは、この生成規則を用いて、誤選択肢候補を生成する。ここでは、生成規則を、例えば、Ｉ類、ＩＩ−活用語類、ＩＩ−派生語類、ＩＩ−接頭語・接尾語類、又は、ＩＩ−関連語類に分類している。以下、生成規則及び誤選択肢候補の具体例を説明する。
【００６５】
＜生成規則及び誤選択肢候補の具体例＞
まず、空欄に置き換えられた単語の形態素に基づいて、生成規則を、Ｉ類とＩＩ類とに大分類する。Ｉ類は、誤選択肢として出現する単語の種類が限られているものである。具体的には、Ｉ類は、空欄に置き換えられた単語の形態素が「前置詞」、「従位接続詞」、「疑問詞」、「等位接続詞」、又は、「助動詞」の何れかである。例えば、空欄に置き換えられた単語の形態素が「疑問詞」の場合、その誤選択肢は、「ｗｈｉｃｈ」、「ｗｈａｔ」、「ｗｈｏ」、「ｗｈｅｎ」、「ｗｈｅｒｅ」等の単語となる。
【００６６】
例えば、既存穴埋問題において、「疑問詞」が空欄に置き換えられた穴埋問題での形態素の種類の割合を表３に示す。また、例えば、既存穴埋問題において、「疑問詞」が空欄となった問題での「疑問詞」の単語の頻出度を表４に示し、「疑問詞」以外の単語の頻出度を表５に示す。表３〜表５に示すように、Ｉ類では、誤選択肢候補生成手段５４ａは、誤選択肢として出現する形態素の種類の割合と、空欄に置き換えられた単語の頻出度とに基づいて、誤選択肢候補を生成できる。つまり、Ｉ類では、誤選択肢候補生成手段５４ａは、空欄に置き換えられた単語と同一の品詞で頻出度が高いものを誤選択肢候補とする。
【００６７】
【表３】
2011017947.tif 000007
【００６８】
【表４】
2011017947.tif 000008
【００６９】
【表５】
2011017947.tif 000009
【００７０】
ＩＩ類は、選択肢間に特定のパターンが存在するものである。具体的には、ＩＩ類は、空欄に置き換えられた単語の形態素が「動詞」、「名詞」、「形容詞」、又は、「副詞」の何れかである。ここでは、このＩＩ類を、さらに、ＩＩ−活用語類、ＩＩ−派生語類、ＩＩ−接頭語・接尾語類及びＩＩ−関連語類に小分類した。
【００７１】
ＩＩ−活用語類は、誤選択肢が、正解選択肢となる単語の活用語で構成されているものである。例えば、ＩＩ−活用語類は、正解選択肢が「ａｓｋ」であるとき、誤選択肢が「ａｓｋｅｄ」、「ａｓｋｉｎｇ」、「ａｓｋｓ」等の活用語の場合である。この場合、誤選択肢候補生成手段５４ａは、記憶手段４１の活用語リスト４１７を参照し、誤選択肢候補を生成する。
【００７２】
ＩＩ−派生語類は、誤選択肢が、正解選択肢となる単語の派生語で構成されているものである。例えば、ＩＩ−派生語類は、正解選択肢が「ｗｏｒｋ」であるとき、誤選択肢が「ｗｏｒｋｅｒ」、「ｗｏｒｋｓ」、「ｗｏｒｋｉｎｇ」等の派生語の場合である。この場合、誤選択肢候補生成手段５４ａは、記憶手段４１の単語辞書４１６を参照し、正解選択肢となる単語の前方から７５％の文字列を含む単語を取得する。そして、誤選択肢候補生成手段５４ａは、正解選択肢となる単語に対してレーベンシュタイン距離が小さい順に、単語辞書４１６から取得した単語を誤選択肢候補とする。なお、レーベンシュタイン距離とは、正解選択肢となる単語に対して誤選択肢となる単語がどの程度異なっているかを示す数値であり、例えば、動的計画法（ＤＰマッチング法）によって求めることができる。
【００７３】
ＩＩ−接頭語・接尾語類は、誤選択肢となる単語の一部（接頭語や接尾語）が、正解選択肢となる単語と共通しているものである。具体的には、ＩＩ−接頭語・接尾語類は、正解選択肢が「ｃｉｒｃｕｌａｔｉｏｎ」であるとき、誤選択肢が「ｃｉｒｃｕｍｃｉｓｉｏｎ」、「ｃｉｒｃｕｓ」、「ｃｉｒｃｕｍｓｔａｎｃｅ」の場合である。この場合、誤選択肢候補生成手段５４ａは、記憶手段４１の単語辞書４１６を参照し、接頭語の場合、正解選択肢となる単語と第１音節が一致する単語を取得し、接尾語の場合、正解選択肢となる単語と最終音節が一致する単語を取得する。そして、誤選択肢候補生成手段５４ａは、正解選択肢となる単語に対してレーベンシュタイン距離が小さい順に、単語辞書４１６から取得した単語を誤選択肢候補とする。
【００７４】
なお、ＩＩ−派生語類では、誤選択肢となる単語が、正解選択肢となる単語に対し、意味的な関連を持つことが多い。一方、ＩＩ−接頭語・接尾語類では、誤選択肢となる単語が、正解選択肢となる単語に対し、意味的な関連が無いことが多い。
【００７５】
ＩＩ−関連語類は、誤選択肢となる単語が、正解選択肢となる単語の類義語又は反義語で構成されるものである。例えば、ＩＩ−関連語類は、正解選択肢が「ｃａｒ」であるとき、誤選択肢が「ａｕｔｏｍｏｂｉｌｅ」、「ｖｅｈｉｃｌｅ」、「ｂｕｇｇｙ」等の類義語の場合である。この場合、誤選択肢候補生成手段５４ａは、記憶手段４１の類語辞書４１５を参照し、正解選択肢となる単語に対応する類義語及び／又は反義語を誤選択肢候補として取得する。
【００７６】
既存穴埋問題として、ＴＯＥＩＣ（登録商標）における、空欄に置き換えた単語の形態素が「動詞」である７７問について、その生成規則の統計を下記の表６に示す。表６より、正解選択肢となる単語の形態素が「動詞」である場合、６２％の確率でＩＩ−活用語類となっている。
【００７７】
【表６】
2011017947.tif 000010
【００７８】
誤選択肢選択手段５４ｂは、誤選択肢候補生成手段５４ａが生成した誤選択肢候補毎に、空欄決定手段５３からの穴埋問題文の空欄にこの誤選択肢候補を挿入した検索文でインターネット検索を行う。インターネット上には、意味的・文法的に正しい文章も、正しくない文章も存在する。そこで、インターネット検索に失敗した文章（検索文）は、誰も書かない文章であり、意味的・文法的に正しい文章でないと考えられる。従って、誤選択肢選択手段５４ｂは、インターネット検索に失敗した検索文における誤選択肢候補のみを誤選択肢とする。
【００７９】
ここでは、Ｉ類、ＩＩ−派生語類、ＩＩ−接頭語・接尾語類又はＩＩ−関連語類の何れかの場合、誤選択肢選択手段５４ｂは、前記したインターネット検索による誤選択肢の選択を行うこととした。また、ＩＩ−活用語類の場合、正解選択肢と誤選択肢候補と文法的な関係を考慮し、その誤選択肢候補となる単語を穴埋問題文の空欄に挿入した文章が文法的に正しい可能性がある。従って、誤選択肢選択手段５４ｂは、正解選択肢となる単語の形態素と、誤選択肢候補となる単語との形態素とが一致する場合、その誤選択肢候補を選択しない。その後、誤選択肢選択手段５４ｂは、穴埋問題文と、正解選択肢と、選択した誤選択肢との組み合わせを、穴埋問題として出力する。
【００８０】
以上、穴埋問題生成装置４を独立した装置として説明したが、本発明は、一般的なコンピュータを、穴埋問題生成装置４の各手段として動作させるための穴埋問題生成プログラムによっても実現できる。ここで、図８に示すように、コンピュータ９は、演算手段９１と、ハードディスク等の記憶手段９２と、マウス、キーボード等の入力手段９３と、ディスプレイ等の出力手段９４とを備える。そして、この穴埋問題生成プログラムをインストールされたコンピュータ９は、そのハードウェア資源を、優先度学習手段４２、空欄統計情報学習手段４３、統計パターン学習手段４４、形態素付加手段５１、問題文選択手段５２、空欄決定手段５３、誤選択肢候補生成手段５４ａ、及び、誤選択肢選択手段５４ｂとして協調動作させる。なお、この穴埋問題生成プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【００８１】
［穴埋問題生成装置の動作］
以下、図９を参照して、図６の穴埋問題生成装置４の動作を説明する（適宜図６参照）。なお、図９では、記憶手段４１に、既存穴埋問題文情報４１１と、ラベル付既存穴埋問題文情報４１２と、優先度情報４１３と、空欄統計情報４１４と、類語辞書４１５と、単語辞書４１６と、活用語リスト４１７と、統計パターン４１８とが予め記憶されていることとして説明する。
【００８２】
まず、穴埋問題生成装置４は、形態素付加手段５１によって、学習者端末装置２（図２参照）から穴埋問題文候補が複数入力され、隠れマルコフモデル、条件付き確率場等の形態素解析によって、入力された穴埋問題文候補に含まれる単語に形態素を付加して品詞付けする。そして、穴埋問題生成装置４は、形態素付加手段５１によって、これら穴埋問題文候補を出力する（ステップＳ１）。
【００８３】
ステップＳ１の処理に続いて、穴埋問題生成装置４は、問題文選択手段５２によって、記憶手段４１の優先度情報４１３を参照し、ステップＳ１で出力した穴埋問題文候補毎に優先度を算出すると共に、優先度が高い順に穴埋問題文候補を選択する。そして、穴埋問題生成装置４は、問題文選択手段５２によって、選択した穴埋問題文候補を出力する（ステップＳ２）。
【００８４】
ステップＳ２の処理に続いて、穴埋問題生成装置４は、空欄決定手段５３によって、記憶手段４１の空欄統計情報４１４を参照し、ステップＳ２で選択した穴埋問題文候補における空欄を決定する。そして、穴埋問題生成装置４は、空欄決定手段５３によって、空欄を含む穴埋問題文と、空欄に置き換えた１以上の単語を正解選択肢として、出力する（ステップＳ３）。
【００８５】
ステップＳ３の処理に続いて、穴埋問題生成装置４は、誤選択肢候補生成手段５４ａによって、記憶手段４１の統計パターン４１８を参照して、ステップＳ３で空欄に置き換えられた１以上の単語の形態素に対応した生成規則を判定する。そして、穴埋問題生成装置４は、誤選択肢候補生成手段５４ａによって、この生成規則を用いて誤選択肢候補を生成し、これを出力する（ステップＳ４）。
【００８６】
ステップＳ４の処理に続いて、穴埋問題生成装置４は、誤選択肢選択手段５４ｂによって、ステップＳ４で生成した誤選択肢候補毎に、空欄決定手段５３からの穴埋問題文の空欄にこの誤選択肢候補を挿入した検索文でインターネット検索を行う。そして、穴埋問題生成装置４は、誤選択肢選択手段５４ｂによって、インターネット検索に失敗した検索文における誤選択肢候補のみを誤選択肢とする。このとき、穴埋問題生成装置４は、誤選択肢選択手段５４ｂによって、正解選択肢となる単語の形態素と、誤選択肢候補となる単語との形態素とが一致する場合、その誤選択肢候補を選択しなくとも良い（ステップＳ５）。
【００８７】
ステップＳ５の処理に続いて、穴埋問題生成装置４は、誤選択肢選択手段５４ｂによって、穴埋問題文と、正解選択肢と、ステップＳ５で選択した誤選択肢との組み合わせを、穴埋問題として出力する（ステップＳ６）。
【００８８】
以上のように、本発明の第１実施形態に係る穴埋問題生成装置４によれば、穴埋問題として不適切な文章を穴埋問題文として選択することを少なくでき、穴埋問題文における空欄となる単語の偏りを少なくでき、さらに、意味的・文法的に誤りとなる誤選択肢候補のみを誤選択肢として選択できる。従って、本発明の第１実施形態に係る穴埋問題生成装置４によれば、専門家の経験的な知識を反映させて、個別学習に適した穴埋問題を生成できる。
【００８９】
また、本発明の第１実施形態に係る穴埋問題生成装置４によれば、形態素付加手段５１を備えることで、学習者自身で穴埋問題文候補に形態素を付加する必要がなくなり、学習者にとって利便性が良い。なお、本発明では、形態素を付加した穴埋問題文候補が入力されるのであれば、形態素付加手段５１を備えなくとも良い。
【００９０】
また、本発明の第１実施形態では、英語の穴埋問題を生成する例で説明したが、本発明の対象は、英語に限定されない。例えば、本発明は、仏語、独語、日本語等の英語以外の言語の穴埋問題を生成できる。
【００９１】
（実施例１）
図６の穴埋問題生成装置４による、ＲＶＰ法での優先度学習を評価した。この実施例１では、ＴＯＥＩＣ（登録商標）における穴埋問題１５６０文章を正例とし、新聞記事から抽出した同数の文章を１５６０文章を穴埋問題文候補とし、１０重交差検定によって評価した。具体的には、穴埋問題生成装置４に、正例と穴埋問題文候補とを１４０４文章(９／１０)ずつ訓練集合として優先度学習させた。そして、正例と穴埋問題文候補との残り１５６文章(１／１０)をテスト集合として優先度学習させた。この作業を１０通り実施した結果を下記の表７に示す。
【００９２】
【表７】
2011017947.tif 000011
【００９３】
この表７では、上位半分に含まれる正例、すなわち、１５６位以上に順位付けされた候補の割合の平均を表している。正例に頻繁に出現した単語や形態素から構成される英文が上位に順位付けされ、文法的な間違いを含む英文、会話文、口語的な表現を含む英文が下位に順位付けされた。以上のように、穴埋問題生成装置４は、適切な穴埋問題を選択できることがわかった。
【００９４】
（実施例２）
図６の穴埋問題生成装置４による、条件付き確率場による空欄の決定を評価した。この実施例２では、既存穴埋問題を用いて、条件付き確率場によって決定した空欄と、既存穴埋問題での元々の空欄とを比較した。具体的には、ＴＯＥＩＣ（登録商標）における穴埋問題１５６０文章に対して、実施例１と同様に１０重交差検定を実施した(つまり、１４０４文章(９／１０)を訓練集合、１５６文章(１／１０)をテスト集合)。そして、以下の２つの比較手法と、図６の穴埋問題生成装置４の手法（本発明の手法）とを比較した。
【００９５】
＜比較手法１：英文の一番左にある動詞を空欄にする手法＞
この比較手法１は、英文の最初に出現する動詞を空欄として決定する手法である。ここで、ＴＯＥＩＣ（登録商標）における穴埋問題１５６０文章に対して適用した。
【００９６】
＜比較手法２：空欄の頻出度が最も高い形態素を空欄にする手法＞
この比較手法２は、訓練集合の形態素の数と出現順とを計測し、最も頻出度の高い形態素を空欄にする形態素とする手法である。ここで、空欄にする形態素とその出現順とに基づいて、テスト集合の英文で空欄を決定した。
【００９７】
下記の表８に、比較手法１と、比較手法２と、本発明の手法との結果を示した。表８では、一致率の項目は、既存穴埋問題での元々の空欄と、各手法で決定した空欄との一致率（つまり、精度）を示す。
【００９８】
【表８】
2011017947.tif 000012
【００９９】
表８に示すように、本発明の手法は、比較手法１や比較手法２に比べて一致率が高く、様々な形態素に対応する単語を空欄として決定でき、かつ、複数の単語を空欄として決定できる。従って、本発明の手法は、比較手法１，２と比べて、適切であると言える。
【符号の説明】
【０１００】
１      個別学習システム
２      学習者端末装置
３      個別学習装置
３１    問題入力画面提示手段
３２    穴埋問題文候補取得手段
３３    学習画面提示手段
４      穴埋問題生成装置
４１    記憶手段
４２    優先度学習手段
４３    空欄統計情報学習手段
４４    統計パターン学習手段
５１    形態素付加手段
５２    問題文選択手段
５３    空欄決定手段
５４    誤選択肢生成手段
５４ａ  誤選択肢候補生成手段
５４ｂ  誤選択肢選択手段
９      コンピュータ
９１    演算手段
９２    記憶手段
９３    入力手段
９４    出力手段
【図１】
2011017947.tif 000013
【図２】
2011017947.tif 000014
【図３】
2011017947.tif 000015
【図４】
2011017947.tif 000016
【図５】
2011017947.tif 000017
【図６】
2011017947.tif 000018
【図７】
2011017947.tif 000019
【図８】
2011017947.tif 000020
【図９】
2011017947.tif 000021