(57)【要約】【課題】複雑な文法の穴埋め問題等を手間なく自動で作成することができる問題自動作成装置、問題自動作成方法、及びコンピュータプログラムを提供すること。【解決手段】問題自動作成装置は、学習部と分類部とを有する。学習部は、穴埋め問題を妥当データとして多数受け付けて、空白相当部分の各妥当データにおける文頭からの位置を変えることによって非妥当データを生成し、データを特徴づけるための複数種類の素性の素性リストによって、妥当データ及び非妥当データを特徴づけ、統計処理することによって、妥当データ群と非妥当データ群とを区別するための基準データを生成するようになっている。分類部は、入力したテストデータを形態素解析し、各形態素を空白相当部分として規定した候補データを素性リストによって特徴づけ、上述の基準データによって、妥当データ群に属すると判断した候補データを出力するようになっている。【選択図】図１
2008129449.tif 000002
【特許請求の範囲】
【請求項１】
機械学習部と分類部とを有する問題自動作成装置であって、
前記機械学習部は、
空白部分を有する穴埋め問題を学習用途に適する妥当データとして多数受け付ける妥当データ受付部と、
各前記妥当データにおいて、文頭からの空白部分の位置を変えることによって学習用途に不適切な非妥当データを生成する非妥当データ生成部と、
データを特徴づけるための複数種類の素性の素性リストによって、前記妥当データ及び前記非妥当データを特徴づける特徴解析部と、
前記妥当データの集合である妥当データ群と前記非妥当データの集合である非妥当データ群とを統計処理することによって、前記妥当データ群と前記非妥当データ群とを区別するための基準データを生成する基準データ生成部と、
を有し、
前記分類部は、
テストデータの入力を受け付けるテストデータ受付部と、
前記テストデータを形態素解析し、各形態素を空白部分として規定した候補データを前記素性リストによって特徴づける候補データ特徴解析部と、
前記基準データによって、前記妥当データ群に分類した前記候補データを出力するための出力データとする出力データ生成部と、
を有することを特徴とする問題自動作成装置。
【請求項２】
前記基準データ生成部は、サポートベクターマシンであり、
前記基準データは、サポートベクターによって規定される識別面であることを特徴とする請求項１に記載の問題自動作成装置。
【請求項３】
前記出力データ生成部は、前記識別面に最も近い前記候補データを前記出力データとすることを特徴とする請求項２に記載の問題自動作成装置。
【請求項４】
前記妥当データは、国語又は外国語のテストにおいて出題された問題文と解答の組であることを特徴とする請求項１乃至請求項３のいずれかに記載の問題自動作成装置。
【請求項５】
前記特徴解析部は、さらに、
前記妥当データに含まれる正答以外の誤答選択肢を空白部分に当てはめて生成した第１誤答データと、前記妥当データに含まれないが前記誤答選択肢と所定の関連性を有する単語を空白部分に当てはめて生成した第２誤答データとを、前記素性リスト及び誤答用の追加素性リストによって特徴づける誤答データ特徴解析部と、
前記第１誤答データの集合である第１誤答データ群と前記第２誤答データの集合である第２誤答データ群とを統計処理することによって、前記第１誤答データ群と前記第２誤答データ群とを区別するための選択肢用基準データを生成する選択肢用基準データ生成部と、
を有し、
前記分類部は、さらに、
前記出力データの空白部分に該当する語と所定の関係を有する語を空白部分にあてはめて生成した候補誤答データを、前記素性リスト及び前記追加素性リストによって特徴づける候補誤答データ特徴解析部と、
前記選択肢用基準データによって、前記第１誤答データ群に属すると判断した前記候補誤答データの空白部分に該当する単語を出力する選択肢生成部と、
を有することを特徴とする請求項１乃至請求項４のいずれかに記載の問題自動作成装置。
【請求項６】
前記選択肢用基準データ生成部は、サポートベクターマシンであり、
前記選択肢用基準データは、サポートベクターによって規定される識別面であることを特徴とする請求項５に記載の問題自動作成装置。
【請求項７】
前記選択肢生成部は、前記識別面に最も近い前記候補誤答データの空白部分に該当する単語を出力する構成となっていることを特徴とする請求項６に記載の問題自動作成装置。
【請求項８】
穴埋め問題の自動作成方法であって、
空白部分を有する穴埋め問題を妥当データとして多数受け付ける妥当データ受付ステップと、
空白部分の各前記妥当データにおける文頭からの位置を変えることによって非妥当データを生成する非妥当データ生成ステップと、
データを特徴づけるための複数種類の素性の素性リストによって、前記妥当データ及び前記非妥当データを特徴づける特徴解析ステップと、
前記妥当データの集合である妥当データ群と前記非妥当データの集合である非妥当データ群とを統計処理することによって、前記妥当データ群と前記非妥当データ群とを区別するための基準データを生成する基準データ生成ステップと、
テストデータの入力を受け付けるテストデータ受付ステップと、
前記テストデータを形態素解析し、各形態素を空白部分として規定した候補データを前記素性リストによって特徴づける候補データ特徴解析ステップと、
前記基準データによって、前記妥当データ群に属すると判断した前記候補データを出力するための出力データとする出力データ生成ステップと、
を有することを特徴とする問題自動作成方法。
【請求項９】
コンピュータを、穴埋め問題の自動作成装置として機能させるためのコンピュータプログラムであって、
空白相当部分を有する穴埋め問題を妥当データとして多数受け付ける妥当データ受付ステップと、
空白相当部分の各前記妥当データにおける文頭からの位置を変えることによって非妥当データを生成する非妥当データ生成ステップと、
データを特徴づけるための複数種類の素性の素性リストによって、前記妥当データ及び前記非妥当データを特徴づける特徴解析ステップと、
前記妥当データの集合である妥当データ群と前記非妥当データの集合である非妥当データ群とを統計処理することによって、前記妥当データ群と前記非妥当データ群とを区別するための基準データを生成する基準データ生成ステップと、
テストデータの入力を受け付けるテストデータ受付ステップと、
前記テストデータを形態素解析し、各形態素を空白相当部分として規定した候補データを前記素性リストによって特徴づける候補データ特徴解析ステップと、
前記基準データによって、前記妥当データ群に属すると判断した前記候補データを出力するための出力データとする出力データ生成ステップと、
を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、穴埋め問題等を自動的に作成する問題自動作成装置、問題自動作成方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
入試等のテストにおいて、穴埋め問題や選択肢問題（以下、「穴埋め問題等」と呼ぶ）が出題されるが、自動的に穴埋め問題等を作成することができれば問題作成者にとって有用である。これに対して、入力された学習対象文を形態素解析し、単語一つ一つにつき辞書と対照して対象語を抽出し、抽出された単語部分を空白に置き換えて穴埋め問題を作成する技術が提案されている（特許文献１）。また、質問と解答のペアを含む辞書（コーパス）から任意のペアを選択し、その解答と等価な表現の解答、その質問と等価な表現の質問、その解答と類似しない解答をコーパスから削除することによって不正解用選択肢候補を求め、多肢選択問題を作成する技術が提案されている（特許文献２）。
【特許文献１】特開平０６−９５５８３号公報
【特許文献２】特開２００６−１２６２４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１の技術は、予め辞書に年号や人物の氏名や地名が登録されていて、問題対象文中に辞書に存在する単語が存在する場合にはその部分を空白に置き換えるものであるから、社会科等における年号や人物名等の単純な穴埋め問題等を作成することはできるが、外国語の文法等、高度な穴埋め問題等を作成することができないという問題がある。
【０００４】
また、特許文献２の技術によれば、正解に類似する不正解解答を作成できるため、より高度な多肢選択問題の作成が可能であるが、質問・解答のペアを事前に手作業で大量に作成し、コーパスを作成する必要があるため、労力の負担が大きいという問題がある。
【０００５】
そこで、本発明は、複雑な文法の穴埋め問題等を手間なく自動で作成することができる
問題自動作成装置、問題自動作成方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）機械学習部と分類部とを有する問題自動作成装置であって、前記機械学習部は、空白部分を有する穴埋め問題を学習用途に適する妥当データとして多数受け付ける妥当データ受付部と、各前記妥当データにおいて、文頭からの空白部分の位置を変えることによって学習用途に不適切な非妥当データを生成する非妥当データ生成部と、データを特徴づけるための複数種類の素性の素性リストによって、前記妥当データ及び前記非妥当データを特徴づける特徴解析部と、前記妥当データの集合である妥当データ群と前記非妥当データの集合である非妥当データ群とを統計処理することによって、前記妥当データ群と前記非妥当データ群とを区別するための基準データを生成する基準データ生成部と、を有し、前記分類部は、テストデータの入力を受け付けるテストデータ受付部と、前記テストデータを形態素解析し、各形態素を空白部分として規定した候補データを前記素性リストによって特徴づける候補データ特徴解析部と、前記基準データによって、前記妥当データ群に分類した前記候補データを出力するための出力データとする出力データ生成部と、を有することを特徴とする問題自動作成装置。
【０００７】
（１）の発明によれば、問題自動作成装置は、妥当データを妥当データ受付部によって受け付けると、基準データ生成部によって、自動的に、前記妥当データ群と前記非妥当データ群とを区別するための基準データを生成し、候補データ特徴解析部によって、テストデータに基づいて生成した候補データを特徴付ける。そして、出力データ生成部によって、妥当データ群に属すると判断した候補データを自動的に出力する。
【０００８】
このように、（１）の発明によれば、自動的に基準データを作成し、その基準データを使用して適切な出力データを生成することができるから、複雑な文法の穴埋め問題等を手間なく自動で作成することができる。
【０００９】
なお、本明細書においては、「妥当」とは、学習用途に適切であることを意味する。そして、「非妥当」とは、学習用途に不適切であることを意味する。また、「正答」とは、客観的に正しい文章を構成することができる正しい答えであることを意味する。そして、「誤答」とは、客観的に誤りを有する文章を構成する誤りの答えを意味する。
そして、「妥当」か「非妥当」かの区別と、「正答」か「誤答」かの区別は、別途独立の概念である。
【００１０】
（２）前記基準データ生成部は、サポートベクターマシンであり、前記基準データは、サポートベクターによって規定される識別面であることを特徴とする（１）に記載の問題自動作成装置。
【００１１】
（２）に記載の構成によれば、（１）の効果に加えて、サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）という信頼性のある手段によって、複雑な文法の穴埋め問題等を手間なく自動で作成することができる。ここで、サポートベクターマシン（ＳＶＭ）とは、１９９５年にＡＴ＆ＴのＶ．Ｖａｐｎｉｋによって統計的学習理論の枠組で提案された学習機械のことであり、高次元特徴空間において線形関数の仮説空間を用いる学習システムである。
【００１２】
（３）前記出力データ生成部は、前記識別面に最も近い前記候補データを前記出力データとすることを特徴とする（２）に記載の問題自動作成装置。
【００１３】
（３）に記載の構成によれば、識別面から大きく乖離して妥当データであることが明確な候補データではなくて、識別面から最も近く、非妥当データと最も近い妥当データを出力するから、（１）及び（２）の効果に加えて、正答か否かの判断が困難な良問を作成することができる。
【００１４】
（４）前記妥当データは、国語又は外国語のテストにおいて出題された問題文と解答の組であることを特徴とする（１）乃至（３）のいずれかに記載の問題自動作成装置。
【００１５】
（４）に記載の構成によれば、出題された国語又は外国語のテストに基づいているので、（１）乃至（３）の効果に加えて、国語又は外国語の問題において、適切な穴埋め問題等を作成することができる。
【００１６】
（５）前記特徴解析部は、さらに、前記妥当データに含まれる正答以外の誤答選択肢を空白部分に当てはめて生成した第１誤答データと、前記妥当データに含まれないが前記誤答選択肢と所定の関連性を有する単語を空白部分に当てはめて生成した第２誤答データとを、前記素性リスト及び誤答用の追加素性リストによって特徴づける誤答データ特徴解析部と、前記第１誤答データの集合である第１誤答データ群と前記第２誤答データの集合である第２誤答データ群とを統計処理することによって、前記第１誤答データ群と前記第２誤答データ群とを区別するための選択肢用基準データを生成する選択肢用基準データ生成部と、を有し、前記分類部は、さらに、前記出力データの空白部分に該当する語と所定の関係を有する語を空白部分にあてはめて生成した候補誤答データを、前記素性リスト及び前記追加素性リストによって特徴づける候補誤答データ特徴解析部と、前記選択肢用基準データによって、前記第１誤答データ群に属すると判断した前記候補誤答データの空白部分に該当する単語を出力する選択肢生成部と、有することを特徴とする（１）乃至（４）のいずれかに記載の問題自動作成装置。
【００１７】
（５）に記載の構成によれば、誤答データ特徴解析部によって、第１誤答データと第２誤答データとを、前記素性リスト及び誤答用の追加素性リストによって特徴づけ、選択肢用基準データ生成部によって、選択肢用基準データを生成する。そして、候補誤答データ特徴解析部によって、候補誤答データを、素性リスト及び追加素性リストによって特徴づけて、選択肢生成部によって前記第１誤答データ群に属すると判断した前記候補誤答データの空白部分に該当する単語を出力する。
【００１８】
このように、問題自動作成装置は、自動的に選択肢用基準データを生成し、前記第１誤答データ群に属すると判断した前記候補誤答データの空白部分に該当する単語を自動的に出力するから、（１）乃至（４）の効果に加えて、選択肢を含む複雑な文法の穴埋め問題等を手間なく自動で作成することができる。
【００１９】
（６）前記選択肢用基準データ生成部は、サポートベクターマシンであり、
前記選択肢用基準データは、サポートベクターによって規定される識別面であることを特徴とする（５）に記載の問題自動作成装置。
【００２０】
（６）に記載の構成によれば、（５）の効果に加えて、サポートベクターマシンという信頼性のある手段によって、選択肢を、手間なく自動で作成することができる。
【００２１】
（７）前記選択肢生成部は、前記識別面に最も近い前記候補誤答データの空白部分に該当する単語を出力する構成となっていることを特徴とする（６）に記載の問題自動作成装置。
【００２２】
（７）に記載の構成によれば、識別面から大きく乖離して第１誤答データ群に属することが明確な候補データではなくて、識別面から最も近く、第２誤答データ群と最も近い第１誤答データの空白部分に該当する単語を出力するから、（６）の効果に加えて、正答か否かの判断が困難な良問を作成することができる。
【００２３】
（８）穴埋め問題の自動作成方法であって、空白部分を有する穴埋め問題を妥当データとして多数受け付ける妥当データ受付ステップと、空白部分の各前記妥当データにおける文頭からの位置を変えることによって非妥当データを生成する非妥当データ生成ステップと、データを特徴づけるための複数種類の素性の素性リストによって、前記妥当データ及び前記非妥当データを特徴づける特徴解析ステップと、前記妥当データの集合である妥当データ群と前記非妥当データの集合である非妥当データ群とを統計処理することによって、前記妥当データ群と前記非妥当データ群とを区別するための基準データを生成する基準データ生成ステップと、テストデータの入力を受け付けるテストデータ受付ステップと、
前記テストデータを形態素解析し、各形態素を空白部分として規定した候補データを前記素性リストによって特徴づける候補データ特徴解析ステップと、前記基準データによって、前記妥当データ群に属すると判断した前記候補データを出力するための出力データとする出力データ生成ステップと、を有することを特徴とする問題自動作成方法。
【００２４】
（８）の発明によれば、（１）の発明と同様に、自動的に基準データを作成し、その基準データを使用して適切な出力データを生成することができるから、複雑な文法の穴埋め問題等を手間なく自動で作成することができる。
【００２５】
（９）コンピュータを、穴埋め問題の自動作成装置として機能させるためのコンピュータプログラムであって、空白相当部分を有する穴埋め問題を妥当データとして多数受け付ける妥当データ受付ステップと、空白相当部分の各前記妥当データにおける文頭からの位置を変えることによって非妥当データを生成する非妥当データ生成ステップと、データを特徴づけるための複数種類の素性の素性リストによって、前記妥当データ及び前記非妥当データを特徴づける特徴解析ステップと、前記妥当データの集合である妥当データ群と前記非妥当データの集合である非妥当データ群とを統計処理することによって、前記妥当データ群と前記非妥当データ群とを区別するための基準データを生成する基準データ生成ステップと、テストデータの入力を受け付けるテストデータ受付ステップと、前記テストデータを形態素解析し、各形態素を空白相当部分として規定した候補データを前記素性リストによって特徴づける候補データ特徴解析ステップと、前記基準データによって、前記妥当データ群に属すると判断した前記候補データを出力するための出力データとする出力データ生成ステップと、を実行させることを特徴とするコンピュータプログラム。
【発明の効果】
【００２６】
本発明によれば、複雑な文法の穴埋め問題等を手間なく自動で作成することができる
問題自動作成装置、問題自動作成方法、及びコンピュータプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２７】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る問題自動作成装置１０（以下、「装置１０」と呼ぶ）の概略構成を示すブロック図である。装置１０は、各種情報の入力を受け付ける入力部１２、辞書データベース（ＤＢ）１４、学習結果データベース（ＤＢ）１６、出力部１８及び制御部２０を有する。辞書ＤＢ１４は、例えば、英語の辞書であり、制御部２０が、ある単語と所定の関連性を有する単語を判定することができるように構成されている。ここで、「ある単語と所定の関連性を有する単語」とは、例えば、英語の「ｏｎ」に対して、「ａｔ」や「ｉｎ」である。これらは、場所を示す前置詞という共通の性質を有し、「所定の関連性を有する単語」である。装置１０は、例えば通常のＰＣやサーバ等のコンピュータであるが、携帯電話等の携帯情報端末であってもよい。なお、本実施形態の英語の辞書は英和辞書であるが、本実施形態とは異なり、英英辞書等であってもよい。
【００２８】
制御部２０は、例えば、装置１０を制御する中央演算装置である、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。
【００２９】
制御部２０は、機械学習部３０と分類部５０を含む。機械学習部３０は、入力部１２によって入力されたデータを自動的に学習し、統計的処理を実施し、妥当なデータ（以下、「妥当データ」と呼ぶ）と妥当ではないデータ（以下、「非妥当データ」と呼ぶ）との区別の基準を示す基準データを生成するための構成である。入力部１２と機械学習部３０は、学習手段として機能する。機械学習部３０は、ソフトウェアであるサポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を含む。上述のように、サポートベクターマシンとは、高次元特徴空間において線形関数の仮説空間を用いる学習システムである。その学習結果は、識別面は、妥当データの集合と非妥当データの集合とを識別するための識別面及びサポートベクターを含み、学習結果ＤＢ１６に格納される。分類部５０は、入力された英文（テストデータ）と、学習結果ＤＢ１６の学習結果とを使用して、新たな穴埋め問題を作成するための構成である。  
【００３０】
図２は、機械学習部３０の詳細を示すブロック図である。図２に示すように、機械学習部３０は、非妥当データ生成部３２、特徴解析部３４及び基準データ生成部３６を有する。非妥当データ生成部３２は、トレーニングデータに基づいて非妥当データを生成するための構成である。特徴解析部３４は妥当データ及び非妥当データの特徴を解析するための構成である。基準データ生成部３６は妥当データと非妥当データを識別するための基準としての識別面及びサポートベクターを算出するための構成である。なお、各部の機能の詳細については後述する。
【００３１】
図３は、分類部５０の詳細を示すブロック図である。図３に示すように、分類部５０は、候補データ特徴解析部５２及び出力データ生成部５４を有する。候補データ特徴解析部５２は、テストデータから候補データを作成し、その候補データの特徴を解析するための構成である。出力データ生成部５４は、候補データの中から出力するためのデータを選択（生成）するための構成である。各部の機能の詳細については後述する。
【００３２】
図４は、機械学習部３０が使用する素性（そせい）リストの一例を示す図である。素性とは、入力されたデータを特徴づけるものである。素性値は、素性に与えられるスコアである。素性値は、「０」か「１」のみの２値をとるものや、「０か「−１」のみの２値をとるものや、任意の数値をとるものがある。
【００３３】
素性リストは、複数種類の素性から構成され、例えば、図４に示すように、素性Ａ〜Ｆの６種類の素性から構成されている。素性Ａは、穴埋め問題の空白部分にあたる単語であり、単語が存在すれば素性値１に規定され、存在しなければ０に規定される。なお、「空白部分」とは、穴埋め問題において、埋めるべき穴の部分を示す。言い換えると、「空白部分」は、穴埋め問題の穴（空所）に入るべき単語（以下、「問題単語」と呼ぶ）が、複数の単語で構成される文章において入るべき位置を意味する。
【００３４】
素性Ｂは、空所に当たる単語の品詞であり、品詞が決定できれば素性値が１に規定され、品詞が決定できなければ素性値が０に規定される。素性Ｃは、空所に当たる単語の原型であり、原型が決定できれば素性値が１に規定され、原型が決定できなければ素性値が０に規定される。素性Ｄは、空所に当たる単語と原型の一致であり、一致すれば素性値が１に規定され、一致しなければ素性値が０に規定される。素性Ｅは、文の長さであり、素性値は文を構成する単語数によって規定される。素性Ｆは、文中の空所位置であり、素性値は先頭からの単語数によって規定される。
【００３５】
図５は、トレーニングデータの一例を示す図である。トレーニングデータとは、装置１０が学習するための材料となるデータである。本実施の形態においては、トレーニングデータは、空白部分を有する穴埋め問題の問題文と正答である。
【００３６】
図５に示すように、トレーニングデータは、例えば、「Ｔｈａｎｋ  ｙｏｕ  ｖｅｒｙ  ｍｕｃｈ  （ｆｏｒ）  ｔａｋｉｎｇ  ｃａｒｅ  ｏｆ  ｍｙ  ｃｈｉｌｄｒｅｎ．」という英文である。この英文においては、カッコ内の単語である「ｆｏｒ」が、空白部分の単語（問題単語）であり、正答である。実際に出題されるテストにおいては、空白部分は空所とされる。なお、上述の英文は、実際の英語のテストにおいて出題された問題文とその正答である。このトレーニングデータは実際の英語のテストにおいて出題されたものであるから、学習用途として妥当である。このため、本実施形態において、トレーニングデータに示される問題文と正答は妥当データとしている。なお、本実施の形態とは異なり、トレーニングデータは、日本語（国語）のテストにおいて出題された問題文とその正答であってもよいし、英語以外の外国語（フランス語等）のテストにおいて出題された問題文とその正答であってもよい。
【００３７】
入力部１２（図１参照）は、上述のトレーニングデータを多数受け付けるようになっている。また、入力部１２は、トレーニングデータがもともと多肢選択問題である場合には、正答以外の選択肢の入力も受けるようになっている。正答以外の選択肢も、問題としては妥当であるから、妥当データである。このように、入力部１２は、妥当データ受付部として機能する。  
【００３８】
機械学習部３０（図１参照）は、空白部分の各トレーニングデータにおける文頭からの位置を変えることによって、非妥当データを生成する。非妥当データは、学習用途として妥当ではないデータである。非妥当データに基づいて使用して作成した穴埋め問題は、英語を勉強する学生等の学習効果を十分に達成することができず、学習用途として不適切な問題になる。この非妥当データは、各トレーニングデータに基づいて生成される。
【００３９】
図６は、非妥当データの一例を示す図である。機械学習部３０の非妥当データ生成部３２は、図６に示すように、各トレーニングデータの空白部分の文頭からの位置を変えて、非妥当データを生成する。図６において、かっこ内の部分が空白部分である。
【００４０】
図７は、妥当データ及び非妥当データ（以下、「妥当データ等」と呼ぶ）に基づいて生成される事例の一例を示す図である。事例は、妥当データ等の特徴を示すデータである。妥当データは妥当であることが既知であり、そのラベルは「１」である。非妥当データは妥当でないことが既知であり、そのラベルは「−１」である。
【００４１】
特徴解析部３４（図２参照）は、妥当データ等を形態素解析し、空白部分に当てはまる単語の素性及び妥当データ等全体の素性を判定し、さらにラベルの値を付加する（以下、「ラベル付け」と呼ぶ）。例えば、空白部分の単語が「ｆｏｒ」である妥当データについては、図４の素性リストにおいて、素性Ａが「ｆｏｒ」でありその素性値が「１」、素性Ｂが「前置詞」でありその素性値が「１」、素性Ｃが「ｆｏｒ」でありその素性値が「１」、素性Ｄが「一致」でありその素性値が「１」である。そして、素性Ｅは「文の長さ」でありその素性値は「１０」であり素性Ｆは「文中の空所の位置」であり素性値は「５」である。これらの素性Ａ〜Ｆ及び対応する素性値が妥当データの事例である。そして、妥当データであるから、ラベルは「１」である。
【００４２】
これに対して、例えば、空白部分の単語が「ｔａｋｉｎｇ」である非妥当データについては、素性Ａが「ｔａｋｉｎｇ」でありその素性値が「１」、素性Ｂが「動詞」でありその素性値が「１」、素性Ｃが「ｔａｋｅ」でありその素性値が「１」、素性Ｄが「不一致」でありその素性値が「０」である。そして、素性Ｅは「文の長さ」であり素性値は「１０」であり、素性Ｆは「文中の空所の位置」でありその素性値は「６」である。そして、非妥当データであるから、ラベルは「−１」である。
【００４３】
同様にして、すべての非妥当データについて、素性の判定及びラベル付けが実施される。そして、妥当データ等についてのラベル付きの事例が、学習結果ＤＢ１６に格納される。
【００４４】
図８は、基準データ生成部３６（図２参照）による学習結果の一例を示す図である。基準データは、基準データ生成部３６によって生成される。基準データ生成部３６は、サポートベクターマシンである。基準データ生成部３６は、妥当か非妥当かのラベルが未知の事例に対して、ラベルを推定する分類器である。妥当データ等を事例にしたうえで、妥当データから生成された事例（以下、「妥当事例」と呼ぶ）と非妥当データから生成された事例（以下、「非妥当事例」と呼ぶ）との２つの識別面同士の距離（マージン）が最大になるような識別面を算出する。このように、基準データ生成部３６は、妥当データ等を事例という形に変換したうえで、学習するようになっている。
【００４５】
基準データ生成部３６は、識別面にもっとも近接する妥当事例と非妥当事例をサポートベクターとして、ラベルが未知の事例の分類に利用するようになっている。このように、基準データ生成部３６は、妥当事例と非妥当事例とを事例にしたうえで統計処理することによって妥当データ（事例）群と非妥当データ（事例）群とを区別するための識別データである識別面を生成するようになっている。
【００４６】
図８に示すように、基準データ生成部３６は、妥当事例が属する集合である妥当事例群（妥当事例群集合）と、非妥当事例が属する集合である非妥当事例群（非妥当事例集合）とを識別するための識別面を生成する。そして、識別面にもっとも近接する妥当事例と非妥当事例をサポートベクターとする。言い換えると、識別面はサポートベクターによって規定されている。
【００４７】
図９は、テストデータの一例等を示す図である。図９（ａ）に示すように、本実施形態においては、テストデータは「Ｔｈａｎｋ  ｙｏｕ  ｖｅｒｙ  ｍｕｃｈ  ｆｏｒ  ｙｏｕｒ  ｈｅｌｐ．」という英文である。このテストデータは、入力部１２（図１参照）によって受け付けられる。このように、入力部１２は、テストデータ受付部としても機能する。
【００４８】
分類部５０の候補データ特徴解析部５２（図３参照）は、テストデータを形態素解析し、各形態素を空白部分として規定した候補データを素性リストによって特徴づけるための構成である。
【００４９】
図９（ｂ）は、候補データの一例を示す図である。図９（ａ）に示すように、候補データ特徴解析部５２は、テストデータから、各形態素を空白部分とした複数の候補データを生成する。
【００５０】
図９（ｃ）は、各候補データに基づいて生成された事例の一例を示す図である。図９（ｃ）に示すように、各候補データごとに、事例が生成される。以後、候補データに基づいて生成された事例を「候補事例」と呼ぶ。なお、候補事例は妥当であるか否かは未知であるから、そのラベルは未知である。
【００５１】
図１０は、出力データ生成部５４（図３参照）が、候補事例をラベル付けする方法の一例を示す図である。図１０に示すように、出力データ生成部５４は、各候補事例を識別面によって、妥当事例群に属する候補事例（以下、「妥当候補事例」と呼ぶ）と、非妥当事例群に属する候補事例（以下、「非妥当候補事例」と呼ぶ）とに区別する。これは、候補事例を、ラベル付けすることを意味する。妥当候補事例のラベルは「１」であり、非妥当候補事例のラベルは「−１」である。
【００５２】
出力データ生成部５４は、妥当候補事例である候補データを出力するための出力データとするようになっている。詳細には、出力データ生成部５４は、識別面に最も近い妥当候補事例を判定し、その妥当候補事例に対応する候補データを出力データとするようになっている。
【００５３】
装置１０は、以上のように構成されている。上述のように、装置１０は、妥当データを入力部１２（図１参照）によって受け付けると、基準データ生成部３６（図２参照）によって、自動的に妥当データ群と非妥当データ群とを区別するための識別面とサポートベクターを生成し、候補データ特徴解析部５２（図３参照）によって、テストデータに基づいて生成した候補データを特徴付ける。そして、出力データ生成部５４（図３参照）によって、妥当データ群に属すると判断した候補データを自動的に出力する。
【００５４】
このように、装置１０によれば、自動的に基準データを作成し、その基準データを使用して適切な出力データを生成することができるから、複雑な文法の穴埋め問題等を手間なく自動で作成することができる。
【００５５】
基準データ生成部３６は、サポートベクターマシンという信頼性のある手段によって、複雑な文法の穴埋め問題等を手間なく自動で作成することができる。そして、出力データ生成部５４は、識別面に最も近い候補データを出力データとするから、識別面から大きく乖離して妥当データであることが明確な候補データではなくて、識別面から最も近く、非妥当データと最も近い妥当データを出力する。このため、正答か否かの判断が困難な良問を作成することができる。
【００５６】
さらに、トレーニングデータ（妥当データ）は、実際の英語テストにおいて出題された問題文と解答の組であり、装置１０は実際に出題された英語テストに基づいて出力データを生成するから、英語問題において、適切な穴埋め問題等を作成することができる。
【００５７】
以下、装置１０の動作例を主に、図１１及び図１２を使用して説明する。図１１及び図１２は、装置１０の動作例を示す概略フローチャートである。
【００５８】
まず、装置１０は、穴埋め問題の問題文と解答の組をトレーニングデータとして、多数の入力を受ける（図１１のステップＳ１０）。続いて、非妥当データを生成する（ステップＳ１２）。そして、妥当データ（トレーニングデータ）及び非妥当データの素性を判定し、ラベル付きの事例を生成する（ステップＳ１４）。トレーニングデータ（妥当データ）は、妥当であることが予め既知であるから、妥当であることを示すラベル「１」を付し、非妥当データは妥当でないことが予め既知であるから、妥当でないことを示すラベル「−１」が付される。
【００５９】
続いて、装置１０は、ラベル付きの事例を統計処理して、識別面及びサポートベクターを算出する（ステップＳ１６）。以上が、装置１０による、学習プロセスである。次に、図１２を使用して、装置１０による分類プロセスを説明する。
【００６０】
まず、装置１０は、テストデータとして、英文の入力を受け付ける（図１２のステップＳ３０）。続いて、テストデータを形態素解析し、各形態素を空白相当部分として規定した候補データを生成する（ステップＳ３２）。続いて、候補データを素性リストによって特徴付け、候補事例を生成する（ステップＳ３４）。
【００６１】
続いて、装置１０は、学習結果を参照し、各候補事例をラベル付けする（ステップＳ３６）。続いて、装置１０は、妥当候補事例のうち、最も識別面と近い候補事例を出力事例として選択する（ステップＳ３８）。続いて、装置１０は、出力事例に対応する候補データを出力する（ステップＳ４０）。
【００６２】
以上のステップによって、複雑な文法の穴埋め問題を手間なく自動で作成することができる。
【００６３】
（第２の実施形態）
次に、第２の実施形態について、図１３、１４、１５、１６及び１７を参照しながら説明する。第２の実施形態の装置１０Ａ（図１３参照）は、第１の実施形態の装置１０の機能に加えて、妥当な選択肢を自動的に生成するための機能を有する。装置１０Ａは、以下に説明するように、トレーニングデータ（図１６参照）に選択肢も含まれている場合に、その選択肢を使用して学習することができる。そして、装置１０Ａは、テストデータを使用して問題を作成するときに妥当な選択肢を生成することができるようになっている。
【００６４】
図１３、図１４及び図１５は、装置１０Ａの機能ブロック図である。図１６は、トレーニングデータの一例を示す図である。図１７は、誤答データ用追加素性リストの一例を示す図である。
【００６５】
図１３に示すように、装置１０Ａの制御部２０Ａは、機械学習部３０Ａ及び分類部５０Ａを有する。図１４に示すように、装置１０Ａの機械学習部３０Ａは、第１誤答データ生成部４０を有する。第１誤答データ生成部４０は、トレーニングデータの正答以外の選択肢（以下、「妥当選択肢」と呼ぶ）をあてはめたデータ（以下、「第１誤答データ」と呼ぶ）を生成するための構成である。また、機械学習部３０Ａは、第２誤答データ生成部４２を有する。第２誤答データ生成部４２は、トレーニングデータ（妥当データ）に含まれないが妥当選択肢と所定の関連性を有する単語（以下、「非妥当選択肢」と呼ぶ）を辞書ＤＢ１４から抽出し、トレーニングデータの空白部分に当てはめることによってデータ（以下、「第２誤答データ」と呼ぶ）を生成するようになっている。
【００６６】
上述のように、妥当選択肢は、トレーニングデータに含まれる、正答ではない選択肢である。例えば、図１６のトレーニングデータにおいては、「ｉｎ」が正答の選択肢である。そして、「ｉｎｔｏ」及び「ｏｎ」が正答ではない選択肢である。これらは、正答ではないが、「ｉｎ」と紛らわしい意味を有する単語であって、英語を勉強する学生等が学習するためには妥当である。このため、これらの正答ではない選択肢を妥当選択肢と呼んでいる。これに対して、トレーニングデータの空白部分の単語と所定の関連性を有する単語であって、トレーニングデータに含まれていない単語を非妥当選択肢と呼ぶ。例えば、「ａｂｏｖｅ」や「ｈａｖｉｎｇ」が非妥当選択肢である。第２誤答データ生成部４２は、辞書ＤＢ１４を参照することによって、「ｉｎ」と所定の関連性を有する単語である非妥当選択肢を抽出し、トレーニングデータの空白部分に当てはめるようになっている。所定の関連性とは、例えば、意味が類似したり、スペル（つづり）が近似することである。
【００６７】
図１４に示すように、機械学習部３０Ａは、誤答データ特徴解析部４４を有する。誤答データ特徴解析部４４は、妥当選択肢をトレーニングデータの空白部分に当てはめた第１誤答データと、非妥当選択肢をトレーニングデータの空白部分に当てはめた第２誤答データとを、素性リスト（図４参照）及び追加素性リスト（図１７参照）によって特徴付け、事例を生成するようになっている。ここで、素性リストも使用するのは、空白部分は同じトレーニングデータの中において同じ場所に該当するから、より詳細に素性を分析することによって、各事例の相違を抽出するためである。第１誤答データに基づいて生成された事例は妥当であることが予め既知であるから、誤答データ特徴解析部４４は妥当であることを示すラベル「１」を付する。これに対して、非妥当誤答データに基づいて生成された事例は妥当ではないことが予め既知であるから、誤答データ特徴解析部４４は妥当ではないことを示すラベル「−１」を付する。
【００６８】
図１７に示すように、誤答データ用追加素性リストは、例えば、素性Ｇ乃至Ｊから構成される。素性Ｇは正答との品詞の一であり、素性Ｈは「正答との意味の類似性」であり、素性Ｉは「単語の長さ」であり、素性Ｊは「意味の数が所定の閾値α以上か否か」であり、各素性Ｇ〜Ｊに対応する素性値を含む。
【００６９】
図１４に示すように、機械学習部３０Ａは、選択肢用基準データ生成部４６を有する。選択肢用基準データ生成部４６は、第１誤答データから生成された事例の集合である第１誤答事例群と、第２誤答データから生成された事例の集合である第２誤答事例群とを統計処理することによって、第１誤答事例群と第２誤答事例群とを区別するための基準データ（以下、「選択肢用基準データ」と呼ぶ）を生成するための構成である。選択肢用基準データ生成部４６は、サポートベクターマシンであって、選択肢用基準データは識別面及び、この識別面を規定するサポートベクターである。
【００７０】
図１５に示すように、分類部５０Ａは、候補誤答データ特徴解析部６０を有する。候補誤答データ特徴解析部６０は、テストデータの空白部分の単語と所定の関連性を有する単語をテストデータに当てはめて生成した複数の候補誤答データを、素性リスト（図４参照）及び追加素性リスト（図１７参照）によって特徴づけることによって、候補誤答事例を生成するようになっている。ここで、テストデータの空白部分の単語と所定の関連性を有するとは、例えば、意味が類似することである。そして、候補誤答データ特徴解析部６０は、識別面によって、候補誤答事例をラベル付けする。
【００７１】
図１５に示すように、分類部５０Ａは、選択肢生成部６２を有する。選択肢生成部６２は、各候補誤答事例を識別面によって、第１誤答事例群に属する候補誤答事例と、第２誤答事例群に属する候補誤答事例とに区別する。これは、候補誤答事例を、ラベル付けすることを意味する。第１誤答事例群に属する候補誤答事例のラベルは「１」であり、第２誤答事例群に属する候補誤答事例のラベルは「−１」である。
【００７２】
選択肢生成部６２は、識別面に近い順に候補誤答事例を所定数選択し、その誤答候補事例に対応するデータの空白部分を誤答の選択肢として出力するようになっている。
【００７３】
上述のように、装置１０Ａは、識別面から大きく乖離して第１誤答データ群に属することが明確な候補データではなくて、識別面から最も近く、第２誤答当データ群と最も近い第１誤答データを出力するから、正答か否かの判断が困難な良問を作成することができる。
【００７４】
［問題自動作成装置１０のハードウェア構成］
図１８は、装置１０及び１０Ａ（以下、情報処理装置１０００と表記する）のハードウェア構成例を示す図である。情報処理装置１０００は、それぞれの制御部を構成するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）１０６０、ＵＳＢポート１０９０、Ｉ／Ｏコントローラ１０７０、ならびにキーボード及びマウス１１００等の入力手段や表示装置１０２２を備える。
【００７５】
Ｉ／Ｏコントローラ１０７０には、テープドライブ１０７２、ハードディスク１０７４、光ディスクドライブ１０７６、半導体メモリ１０７８、等の記憶手段を接続することができる。
【００７６】
ＢＩＯＳ１０６０は、情報処理装置１０００の起動時にＣＰＵ１０１０が実行するブートプログラムや、情報処理装置１０００のハードウェアに依存するプログラム等を格納する。
【００７７】
記憶部を構成するハードディスク１０７４は、情報処理装置１０００が機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶しており、さらに必要に応じて各種データベースを構成可能である。
【００７８】
光ディスクドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク１０７７を使用する。光ディスク１０７７から光ディスクドライブ１０７６によりプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０またはハードディスク１０７４に提供することもできる。また、同様にテープドライブ１０７２に対応したテープメディア１０７１を主としてバックアップのために使用することもできる。
【００７９】
情報処理装置１０００に提供されるプログラムは、ハードディスク１０７４、光ディスク１０７７、またはメモリーカード等の記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１０７０を介して、記録媒体から読み出され、または通信Ｉ／Ｆ１０４０を介してダウンロードされることによって、情報処理装置１０００にインストールされ実行されてもよい。
【００８０】
前述のプログラムは、内部または外部の記憶媒体に格納されてもよい。ここで、記憶部を構成する記憶媒体としては、ハードディスク１０７４、光ディスク１０７７、またはメモリカードの他に、ＭＤ等の光磁気記録媒体、テープメディア１０７１を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハードディスク１０７４または光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してプログラムを情報処理装置１０００に提供してもよい。
【００８１】
ここで、表示装置１０２２は、サーバ管理者にデータの入力を受け付ける画面を表示したり、情報処理装置１０００による演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。
【００８２】
ここで、入力手段は、サーバ管理者による入力の受け付けを行うものであり、キーボード及びマウス１１００等により構成してよい。
【００８３】
また、通信Ｉ／Ｆ１０４０は、情報処理装置１０００を専用ネットワークまたは公共ネットワークを介して端末と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１０４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。
【００８４】
以上の例は、情報処理装置１０００について主に説明したが、コンピュータに、プログラムをインストールして、そのコンピュータを情報処理装置１０００として動作させることにより上記で説明した機能を実現することもできる。従って、本発明において一実施形態として説明した情報処理装置１０００により実現される機能は、上述の方法を当該コンピュータにより実行することにより、あるいは、上述のプログラムを当該コンピュータに導入して実行することによっても実現可能である。上述のキーボード／マウス１１００が入力部１２（図１及び図１３参照）に対応し、ＣＰＵ１０１０及びＣＰＵ１０１２が制御部２０，２０Ａ（図１及び図１３参照）に対応する。そして、表示装置１０２２が出力部１８（図１及び図１３参照）に対応する。そして、ハードディスク１０７４が、辞書ＤＢ１４及び学習結果ＤＢ１６に対応する。
【００８５】
本発明の実施形態である装置１０、１０Ａ（図１及び図１３参照）、またはこの装置の制御で用いられる方法は、コンピュータ上のプログラムによっても実現可能である。上記プログラムを格納する記憶媒体は、電子的、磁気的、光学的、電磁的、赤外線または半導体システム（または、装置または機器）あるいは伝搬媒体であることができる。この記憶媒体の例には、半導体またはソリッド・ステート記憶装置、磁気テープ、取り外し可能なコンピュータ可読の媒体の例には、半導体またはソリッド・ステート記憶装置、磁気テープ、取り外し可能なフレキシブルディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リードオンリー・メモリ（ＲＯＭ）、リジッド磁気ディスク及び光ディスクが含まれる。現時点における光ディスクの例には、コンパクト・ディスク・リードオンリー・メモリ（ＣＤ−ＲＯＭ）、コンパクト・ディスク−リード・ライト（ＣＤ−Ｒ／Ｗ）及びＤＶＤが含まれる。
【００８６】
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定しない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載された効果に限定されない。
【図面の簡単な説明】
【００８７】
【図１】問題自動作成装置の概略構成を示すブロック図である。
【図２】機械学習部の詳細を示すブロック図である。
【図３】分類部の詳細を示すブロック図である。
【図４】素性リストの一例を示す図である。
【図５】トレーニングデータの一例を示す図である。
【図６】非妥当データの一例を示す図である。
【図７】事例の一例を示す図である。
【図８】学習結果の一例を示す図である。
【図９】テストデータの一例等を示す図である。
【図１０】候補事例をラベル付けする方法の一例を示す図である。
【図１１】問題自動作成装置の動作例を示す概略フローチャートである。
【図１２】問題自動作成装置の動作例を示す概略フローチャートである。
【図１３】問題自動作成装置の概略構成を示すブロック図である。
【図１４】機械学習部の詳細を示すブロック図である。
【図１５】分類部の詳細を示すブロック図である。
【図１６】トレーニングデータの一例を示す図である。
【図１７】追加素性リストの一例を示す図である。
【図１８】問題自動作成装置のサーバのハードウェア構成例を示す図である。
【符号の説明】
【００８８】
１０，１０Ａ    問題自動作成装置
１２    入力部
１４    辞書ＤＢ
１６    学習結果ＤＢ
１８    出力部
２０，２０Ａ    制御部
３０，３０Ａ    機械学習部
３２    非妥当データ生成部
３４    特徴解析部
３６    基準データ生成部
４０    第１誤答データ生成部
４２    第２誤答データ性西部  
４４    誤答データ特徴解析部
４６    選択肢用基準データ生成部
５０，５０Ａ    分類部
５２    候補データ特徴解析部
５４    出力データ生成部
６０    候補誤答データ特徴解析部
６２    選択肢生成部
【図１】
2008129449.tif 000003
【図２】
2008129449.tif 000004
【図３】
2008129449.tif 000005
【図４】
2008129449.tif 000006
【図５】
2008129449.tif 000007
【図６】
2008129449.tif 000008
【図７】
2008129449.tif 000009
【図８】
2008129449.tif 000010
【図９】
2008129449.tif 000011
【図１０】
2008129449.tif 000012
【図１１】
2008129449.tif 000013
【図１２】
2008129449.tif 000014
【図１３】
2008129449.tif 000015
【図１４】
2008129449.tif 000016
【図１５】
2008129449.tif 000017
【図１６】
2008129449.tif 000018
【図１７】
2008129449.tif 000019
【図１８】
2008129449.tif 000020