(57)【要約】【課題】【解決手段】エッセイは、エッセイを受け入れ（１１０）、各文章を取出し（１２０）、所定のセットの特徴の各々がそのエッセイ中の各文章の中に存在するかどうかを判定する（１３０）ことによって自動的に分析される（１００）。前記エッセイ中の各文章においてその文章が特定の対話要素カテゴリーのメンバーである確率が演算される（１４０）。前記確率は前記特徴セット中の各特徴が存在するか存在しないかの判定に基づくものである。更に、前記の演算された確率に基づき（１４０）、対話要素カテゴリーの選定として文章が選択される（１６０）。【選択図】図１
2004524559.tif 000002
【特許請求の範囲】
【請求項１】
エッセイの自動分析方法であって、
エッセイを受け入れる工程と、
所定のセットの特徴の各々が前記エッセイ中の各文章中に存在するか若しくは存在しないかを判定する工程と、
前記エッセイ中の各文章においてその文章が特定の対話要素カテゴリーのメンバーである可能性を演算する工程であって、前記可能性は前記特徴セット中の各特徴が存在するか若しくは存在しないかの上記判定に基づくものである、前記可能性を演算する工程と、
前記の演算された可能性に基づき対話要素カテゴリーの選定として文章を選択する工程と、を有する。
【請求項２】
請求項１記載の方法において、前記対話要素カテゴリーは主題文である。
【請求項３】
請求項１記載の方法において、前記エッセイは、電子形式のものである。
【請求項４】
請求項３記載の方法において、前記エッセイは、ＡＳＣＩＩファイルである。
【請求項５】
請求項１記載の方法において、前記の受け入れ工程は、
前記エッセイの紙形式のものをスキャンする工程と、前記のスキャン後の紙のエッセイに光学式文字認識を実行する工程とを有するものである。
【請求項６】
請求項１記載の方法において、前記の所定の特徴セットは、前記エッセイ内での位置に基づいた特徴である。
【請求項７】
請求項１記載の方法において、前記の所定の特徴セットは、特定の単語の有無に基づいた特徴である。
【請求項８】
請求項７記載の方法において、前記の特定の単語は、実証的に主題文に関連があるとされる単語を有するものである。
【請求項９】
請求項７記載の方法において、前記の特定単語は信念を示す単語から成る。
【請求項１０】
請求項１記載の方法において、前記の所定の特徴セットは修辞関係に基いた特徴である。
【請求項１１】
請求項１０記載の方法において、前記の決定工程は、前記エッセイを修辞構造パーサーを使用して構文分析する工程を有する。
【請求項１２】
請求項１記載の方法において、前記の演算工程は、多変量ベルヌーイモデルを利用する工程を有する。
【請求項１３】
請求項１２記載の方法において、前記の演算工程は、各文章に次の量、
【数１】
2004524559.tif 000013
を演算するものであり、ここで
Ｐ（Ａｉ｜Ｔ)は、ある文章がクラスＴに属する場合にその文章が特徴Ａｉを有する条件付き可能性、
Ｐ（Ａｉ｜Ｔ)は、ある文章がクラスＴに属する場合にその文書が特徴Ａｉを有さない条件付き可能性、
Ｐ（Ａｉ)は、１文章が特徴Ａｉを有する事前可能性、
Ｐ（／Ａｉ）は、１文章が特徴Ａｉを有さない事前可能性、である。
【請求項１４】
請求項１３の方法において、前記の選択工程は、数字が一番大きい文章を選択する工程を有するものである。
【請求項１５】
請求項１の方法において、前記演算工程は、ＬａＰｌａｃｅ推定量を利用する工程を有するものである。
【請求項１６】
請求項１の方法は、エッセイ形式の問題を提供する工程から更に成り、ここで前記エッセイは、前記エッセイ形式の問題への回答にあたる。
【請求項１７】
請求項１の方法は、１つ以上の異なる対話要素カテゴリー用の演算及び選択工程を繰り返す工程を更に有する。
【請求項１８】
請求項１の方法は、選定を出力する工程を更に有する。
【請求項１９】
請求項１の方法は、修正チェックリストを出力する工程を更に有する。
【請求項２０】
自動エッセイアナライザーをトレーニングする方法であって、
複数のエッセイを受け入れる工程と、
各前記複数のエッセイ中の手作業で注記された対話要素を受け入れる工程と、
エッセイ中の１文章がある特定タイプの対話要素であるかどうかについて関連があるとされる特徴セットを受け入れる工程と、
前記特徴の頻度に関係する実証的可能性を演算する工程と、
前記特徴セット中の特徴が対話要素に関係する実証的可能性を演算する工程と、
を有する。
【請求項２１】
請求項２０の方法は、
前記複数エッセイの夫々で請求項１の方法を実行する工程と、
前記の手作業の注記と比べて請求項１の方法の性能を評価する工程と、
前記請求項１の方法の性能が不十分な場合、前記特徴セットを修正し、前記請求項１の方法を繰り返す工程と、
を更に有する。
【請求項２２】
コンピュータ読み取り可能な記憶媒体であって、前記の請求項１の方法を実行するコンピュータプログラムが格納されている。
【請求項２３】
コンピュータ読み取り可能な記憶媒体であって、前記の請求項２０の方法を実行するコンピュータプログラムが格納されている。
【発明の詳細な説明】
【背景技術】
【０００１】
本出願は、２００１年１月２３日出願の米国仮出願６０／２６３、２２３号に基づく優先権を主張するものである。
【発明の開示】
【発明が解決しようとする課題】
【０００２】
本発明は、一般に文書処理に関し、特にエッセイ中の主題文等の対話要素の自動識別に関するものである。
【課題を解決するための手段】
【０００３】
自動エッセイ採点技術が成功を納めていることに鑑み、そのアプリケーションが現在標準化されている文章評価に取り込まれてきている。文章指導者(ｗｒｉｔｉｎｇ  ｃｏｍｍｕｎｉｔｙ)の間で、エッセイ修正過程を助けるために、エッセイの特徴に関するフィードバックを含んだエッセイ評価システムが開発されることについて興味の声が上がっている。
【０００４】
エッセイ書きの学習者の全般的な上達に寄与する要素は多くある。これらの要素には、洗練された文章構造、多様で適切な語彙使用、組織構造等が含まれる。組織構造の上達は、エッセイ全体の質を高めるエッセイ修正過程のおいてもっとも重要と見なされる。そのため、生徒へのフィードバックとして、論文中の対話要素を指摘できるシステムが提供されることが好ましい。
【０００５】
本発明は、テキストサンプル中の対話要素の自動分析、識別及び分類を容易にする。
【０００６】
１の観点において、本発明は、エッセイの自動分析の方法である。前記方法は、
エッセイを受け入れる工程と、所定のセットの特徴の各々が前記エッセイ中の各文章の中に存在するかどうかを判定する工程と、前記エッセイ中の各文章においてその文章が特定の対話要素カテゴリーのメンバーである確率を演算する工程であって、前記確率は前記特徴セット中の各特徴が存在するかどうかの判定に基づくものである、前記確率を演算する工程と、前記の演算された確率に基づき対話要素カテゴリーの選定として文章を選ぶ工程と、を有する。優先される対話要素カテゴリーは、主題文である。エッセイは、ＡＳＣＩＩファイルなどの電子文書形式であることが好ましい。所定の特徴のセットは、エッセイ中の位置に基づいた特徴と、主題文と関連のあると実証された意見を示す単語からなる、特定単語の有無に基づいた特徴と、修辞構造パーサーの結果に基づいて、修辞関係を持つと判明された単語から成る特定単語の有無に基づいた特徴とから形成されるのが好ましい。前記の確率の演算は、多変量ベルヌーイモデルの形式で行うのが好ましい。
【０００７】
別の観点において、本発明は自動エッセイアナライザーをトレーニングするプロセスである。前記トレーニング・プロセスは、複数のエッセイと、この複数のエッセイ中の手作業で注記された対話要素を受け入れる。前記トレーニング・プロセスは、エッセイ中の文章が対話要素のある特定タイプであるかどうかについて関連があると主張される特徴のセットを受け入れる。トレーニング・プロセスは、前記特徴の頻度、および対話要素に対する前記特徴群中の関連特徴の頻度に関する実証的確率を演算する。
【０００８】
更なる別の観点において、本発明は、前記の方法及びプロセスを実行するコンピュータプログラムが内蔵されたコンピュータ読み込み可能媒体である。
【０００９】
周知の先行技術と比較して、本発明の実施形態は特定の長所を有するものであるが、それには
１） エッセイに対するフィードバックを提供する際、人の関与の必要性を取り除くことと、
２） エッセイの書き手へのフィードバックの適時性を向上させることと、
３）あるトピックのエッセイから判明された自動エッセイ分析パラメータを異なるトピックのエッセイまたは別の質問への回答にクロス利用することと、がある。尚、これらの長所及び利点、またはこの本発明の様々な実施形態の他の長所及び利点は、次に添付する図面とともに下記の好ましい実施形態の詳細説明を参照することによって当業者に理解される。
【発明を実施するための最良の形態】
【００１０】
Ｉ．概要
主題文に手作業で注記されたエッセイデータの小さな資料（コーパス）を使用して、ベイジアン・クラシファイヤを
ａ）文章の位置と、
ｂ）主題文で通常使用される単語と、
ｃ）修辞構造理論（ＲＳＴ）パーサーに基づいた対話特徴と、
を使用して構築することができる。実証結果によると、この分類技法はエッセイ中の主題文の自動識別に使用可能であることが示される。更に、前記方法は、エッセイの異なるトピック間においても一般化できる。
【００１１】
主題文は、一般に、エッセイの目的を明確に特定する、または主要な考えを予告する文章として定義される。この定義は、十分に明確であるように見え、エッセイ中の主題文を識別することは簡単なことのように思うかもしれないが、いつもそうであるとは限らない。学習中の書き手が書いたエッセイでは、主題文はあまり明確でなく、アイデアが繰り返される。その結果、同一の生徒エッセイを別々の人が読むと、それぞれ異なる主題文を選ぶことがある。
【００１２】
このシステムの利点は、エッセイ中の対話要素を生徒へのフィードバックとして指摘するために使用できるである。そのようなシステムでは、エッセイの質についての指導付きの質問リストを生徒に提示してもよい。例えば、生徒のエッセイ中の主題文が自動的に提供されると、生徒はその情報を基に主題文とその質について熟考することが可能になると文章専門家から提案されている。更に、そのような指導的アプリケーションでは、主題文と結論との関係、主題文とエッセイ中の主要点との繋がりなど、エッセイ中の他の対話要素タイプを検討するために主題文を使うことができる。文章の書き方を指導するにあたって、「修正チェックリスト」がしばしば生徒に渡される。「修正チェックリスト」は、修正プロセスを助けるためのものである。これは、書いている文書の質について生徒が熟考するのを助けるために生徒に対して投げかけられる質問のリストである。それ故、この種のリストは、下記のように
ａ)主題文の意図は明確か
ｂ)主題文はエッセイの質問に直接対応しているか
ｃ)エッセイ中の要点は明確に述べられているか
ｄ)エッセイ中の要点がオリジナルの主題文に関連するか
などのように、質問してもよい。
【００１３】
エッセイ中の対話要素を自動的に識別し、生徒に提示する機能は、生徒にエッセイの主要対話構造に焦点を当てさせ、熟考を促すことを補助できる。さらに、おそらく主題文が「明確性」に欠けているため、認識できないことをアプリケーションが指摘できれば、それも便利である。そのような能力が信頼おけるものと仮定した場合、これにより、主題文などの対話要素の明確性について書き手が考えることを余儀なくさせることになる。
【００１４】
ＩＩ.自動エッセイ分析の提供
図１は、本発明の１実施形態による自動エッセイ分析を提供する方法１００のフローチャートである。前記方法１００は、エッセイ中のどの文章が主題文や結論などの特定の対話カテゴリーに属する可能性がもっとも高いかを推定する。前記方法１００はまずエッセイを受け入れる（１１０）ことから開始する。この工程において前記エッセイは電子形式になっていることが好ましい。次に前記方法１００はループ１１５を実行する。前記方法１００は、前記エッセイ中の各文章ごとに前記ループ１１５の一パスを実行する。前記ループ１１５の各パスは、（１２０）次の文章を取出し、（１３０）各特徴Ａｌ...Ａｎの有無を決定する（特徴Ａｌ...Ａｎは特定の対話要素に関連があると設定されているもの）。複数の対話カテゴリーが評価される場合、各対話カテゴリーごとに別セットの特徴Ａｌ...Ａｎを設定してもよい）。次に前記ループ１１５は、（１４０）以下の式を使用して対話カテゴリー（Ｔ）用に各文章（Ｓ）の確率式を演算する。
【００１５】
【数２】
2004524559.tif 000003
【００１６】
ここで、
Ｐ（Ｔ）は、ある文章が対話カテゴリーＴに属する事前確率、
Ｐ（Ａｉ｜Ｔ)は、ある文章がＴに属する場合にその文章が特徴Ａｉを有する条件付き確率、
Ｐ（Ａｉ）は、ある文章が特徴Ａｉを有する事前確率
Ｐ（／Ａｉ｜Ｔ）は、ある文章がＴに属する場合にその文書が特徴Ａｉを有さない条件付き確率、
Ｐ（／Ａｉ）は、ある文章が特徴Ａｉを有さない事前確率。確立推定がゼロの場合に対処するためにＬａＰｌａｃｅ推定量を使用して、性能を向上させることが可能である。
【００１７】
前記方法１００は次に、（１５０）現在の文章が最後かどうか調べ、そうでない場合は次の文章を取出すステップ１２０に戻る。各文章で確率式が評価された後、前記方法１００は、（１６０）特定対話カテゴリーでもっとも高い確率式を持つ文章を選択する。前記方法１００は、異なる対話カテゴリーごとに繰り返すことができる。
【００１８】
好ましくは、前記の受け入れステップ１１０は、ＡＳＣＩＩファイルなどの電子形式で文書を直接受け入れる。別の実施形態では、前記受け入れステップ１１０は、紙のエッセイをスキャンする工程とスキャン後の紙のエッセイに光学式文字認識を実行する工程から構成される。
【００１９】
ある実施形態では、前記決定ステップ１３０と演算ステップ１４０は、特徴Ａ１...ＡＮの索引リストを通して繰り返され、各特徴Ａ１...ＡＮの有無を基に確率式値が更新される。前記決定ステップ１３０と演算ステップ１４０の別の実施形態では、全特徴Ａ１...ＡＮの有無が決定され（１３０）、次にその文章の確率式を演算するようにしてもよい（１４０）。当業者であれば、前記方法１００のステップが別の実施形態では図示されたものとは異なる順序で、または同時に実行可能であることが理解される。
【００２０】
ＩＩＩ．使用例
前記方法１００の１例として対話カテゴリーが主題文の場合を想定する。ここで、前記方法１００はエッセイ中のどの文章が主題文である確立がもっとも高いかを推定する。前記方法１００は下記のように、主題文識別のために位置および単語の出現の特徴のみを利用すると仮定する。
【００２１】
【数３】
2004524559.tif 000004
【００２２】
更に、これらの特徴の事前および条件付確率は、前もって決定、または供給されていると仮定する。通常、これらの確率は、トレーニング・プロセスによって決定される（図２への参照とともに下記に説明される）。この例では、上記の特徴は９３のエッセイ（合計２３９１の文章、その内１１１の文章は人の注釈者により主題文と注記された）を吟味した結果、経験的に決定されたと仮定する。このデータセットから次の事前確率が、全文章数に対して、特徴が出現した頻度を数えることにより決定された（ここにおいて先行する「／」は「非」または補数演算子を意味する）。
【００２３】
【数４】
2004524559.tif 000005
【００２４】
上記の数字から、トレーニング・セットの全エッセイは少なくと４つの文章を含んでいたことが分かる。当業者であれば追加の文章位置特徴の確率を続けることができるが、以下の例では４つだけで十分である。
【００２５】
次の条件付確率は、同データセットから主題文の文章のみで特徴が発現している回数を数えて決定された。
【００２６】
【数５】
2004524559.tif 000006
【００２７】
この事前データセットを使用して、前記の方法１００は次の短いエッセイの読み込み（１１０）を開始する。
【００２８】
Most of the time we as people experience a lot of conflicts in life. We put are selfs in conflict every day by choosing between something that we want to do and something that we feel we should do. For example, I new friends and family that they wanted to go to the army. But they new that if they went to college they were going to get a better education. And now my friends that went to the army tell me that if they had that chance to go back and make that choice again, they will go with the feeling that will make a better choice.
【００２９】
前記方法１００は、上記エッセイの各文章を順番に一巡する。最初の文章は、Ｓ１と表記される「Ｍｏｓｔ  ｏｆ  ｔｈｅ  ｔｉｍｅ…ｌｉｆｅ」の文である。この文章は前記エッセイの第１文章であり「ｆｅｅｌ」の単語を含まないので、Ｓ１の観察される特徴は、/Ｗ＿ＦＥＥＬ、ＳＰ＿１、／ＳＰ＿２、／ＳＰ３及び／ＳＰ＿４である。この文章の確率式は以下のように演算される（１４０）。
【００３０】
【数６】
2004524559.tif 000007
【００３１】
Ｓ２で表記される第２「文章」は、実際には２つの文章であるが、この方法では、文章が特定の様式で関連する場合、例えばここの場合では第２文章が「Ｆｏｒ  ｅｘａｍｐｌｅ」の句で始まる場合、一組の文章を１つの文章として扱うことが可能である。そのため、この例のＳ２は、「Ｗｅ  ｐｕｔ...ａｒｍｙ．」までである。ステップ１３０で決定されるこの文章の特徴は、／ＳＰ＿ｌ、ＳＰ＿２、／ＳＰ＿３、／ＳＰ＿４、及びＷ＿ＦＥＥＬである。Ｓ２の確率式は以下のように演算される（１４０）。
【００３２】
【数７】
2004524559.tif 000008
【００３３】
同様に第３文章の場合、その特徴は、／Ｗ＿ＦＥＥＬ、／ＳＰ＿１、／ＳＰ＿２、ＳＰ＿３、及び／ＳＰ＿４であり、その確率式の値は、−１．１７１７である。第４文章の確率式の値は、−１．１７６０である。最大の確率式値は−０.２７８５でＳ２に該当する。そのため、前記方法１００によると、第２文章が主題文である確率がもっとも高い文章として選択される（１６０）。
【００３４】
事前確率条件Ｐ（Ｔ）は、全文章で同じなので、この条件は、特定の対話要素では前記方法１００の目的のためには無視できることがわかる。前述の演算では、底が−１０の対数で行われているが、任意の底（例えば自然対数  ｌｎ）を代わりに使用してもよい。その場合、同じ底の対数が一貫して使用されることを前提とする。
【００３５】
ＩＶ．  自動エッセイアナライザーの構築
図２は、本発明の１実施形態による、前記方法１００をトレーニングするためのプロセス２００のフローチャートである。前記プロセス２００は、複数のエッセイを受け入れること（２１０）から開始する。この工程において、エッセイは電子形式になっているのが好ましい。次に前記方法２００は、手作業の注記を受け入れる（２１０）。次に前記方法２００は、すべての可能な特徴Ａ１...Ａｎの領界を決定する（２２５）。最後に前記方法２００は、複数のエッセイのすべてにわたって各特徴Ａｉに関連する実証的確立を演算する（２６０）。
【００３６】
前記の複数のエッセイを受け入れる方法（２１０）は、電子文書形式であることが好ましく、好ましい電子形式は、ＡＳＣＩＩである。前記の複数のエッセイの受け入れ（２１０）の好ましい方法は、保存されたまたは直接入力された電子テキスト形式である。代わりに、または追加として、紙形式のエッセイをスキャンする工程と、スキャン後の紙のエッセイに光学式文字認識を実行する工程から成る方法を使用してエッセイを受け入れること（２１０）も可能である。
【００３７】
手作業の注記を受け入れる（２２０）ための方法では、対話要素識別の分野に精通した者により手作業の注記が加えられた電子テキスト形式のエッセイであることが好ましい。所定の対話要素の手作業による注記を表示するための好ましい方法は、対話要素を開始及び終了「タグ」で囲む方法である（例えば、<一貫したアイデア>...<／一貫したアイデア>、<主題文>...<／主題文>）。
【００３８】
前記方法２００の好適な実施例では、次に特定の対話項目についてのすべての可能な特徴の領界を決定する（２２５）。前記の特徴決定工程（２２５）は、可能な特徴Ａ１...ＡＫの領界を決定する（２３０）ことによって開始される。次に前記の特徴決定工程（２２５）は、単語選択特徴Ａｋ＋１...Ａｍの領界を決定する（２４０）。最後に、前記の特徴決定工程２２５は、修辞構造理論（ＲＳＴ）特徴のＡｍ＋１...ＡＮの領界を決定する（２５０）。
【００３９】
前記の位置特徴決定工程（２３０）の１実施例では、前記の複数エッセイ中の各エッセイを巡回して、各エッセイ中で識別された対話要素の位置を記録し、また、そのエッセイ中の文章の数を決定する。
【００４０】
前記の単語選択特徴決定工程（２４０）の１実施例では、前記の複数のエッセイが構文分析され、人の注釈者が主題文としてマークした文章中に含まれるすべての単語のリストが作成される。代わりに、または追加として、前記の単語選択特徴Ａｋ＋１...Ａｍ領界決定工程２４０は、信念、意見などを表す単語の所定リストを受け入れることも可能である。
【００４１】
前記ＲＳＴ（修辞構造理論）特徴決定工程２５０の１実施例では、複数のエッセイを構文分析して、関係があるものを抽出する。工程２５０で使用される好ましいＲＳＴパーサーは、マルクＤ(Ｍａｒｃｕ，Ｄ．)による「ｔｈｅ  Ｒｈｅｔｏｒｉｃａｌ  Ｐａｒｓｉｎｇ  ｏｆ  Ｎａｔｕｒａｌ  Ｌａｎｇｕａｇｅ  Ｔｅｘｔｓ」,１９９７年のＡｓｓｏｃｉａｔｉｏｎ  Ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓの第３５年次会議会報、ページ９６−１０３、であり、ここで引用することにより本明細書の一部とする。ＲＳＴの更に詳しい背景は、マン、Ｗ．Ｃ．及びＳ．Ａ．トムソンの「Ｒｈｅｔｏｒｉｃａｌ  Ｓｔｒｕｃｔｕｒｅ  Ｔｈｅｏｒｙ：  Ｔｏｗａｒｄ  Ａ  Ｆｕｎｃｔｉｏｎａｌ  Ｔｈｅｏｒｙ  ｏｆ  Ｔｅｘｔ  Ｏｒｇａｎｉｚａｔｉｏｎ」、テキスト８（３）、１９８８年、ページ２４３−２８１、に掲載され、ここで引用することによって本明細書の一部とする。
【００４２】
各対話要素について、前記方法２００は、前記の複数のエッセイに渡って各特徴Ａｉに関係する実証的頻度を演算する（２６０）。対話カテゴリー（Ｔ）の文章（Ｓ）について、各Ａｉにつき、以下の確率が決定される。
Ｐ（Ｔ）、ある文章が対話要素Ｔである事前確率
Ｐ（Ａｉ｜Ｔ）、ある文章が特徴Ａｉを有する条件付き確率で、その文章がＴである場合
Ｐ（Ａｉ）、ある文章が特徴Ａｉを有する事前確率
Ｐ（Ａｉ｜Ｔ）、ある文章が特徴Ａｉを有さない条件付き確率で、その文章がＴである場合
Ｐ（／Ａi）、ある文章が特徴Ａｉを有さない事前確率
前記方法１００とプロセス２００はコンピュータプログラムで実行することができる。コンピュータプログラムは、様々な形式で、アクティブおよび非アクティブの両方で存在可能である。たとえば、前記コンピュータプログラムは、ソースコードと、オブジェクトコードと、実行コードとまたは別の形式のプログラム命令とから成るソフトウェアプログラムか、ファームウェアプログラムか、あるいはハードウェア記述言語（ＨＤＬ）ファイルとして存在可能である。上記のどれもコンピュータ可読媒体上で実施可能であり、それには、格納装置、及び圧縮または非圧縮形式の信号が含まれる。典型的なコンピュータ可読格納装置には、従来のコンピュータシステムＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読み取り専用メモリ）、ＥＰＲＯＭ（消去可能、プログラマブルＲＯＭ）、ＥＥＰＲＯＭ（電気的消去可能、プログラマブルＲＯＭ）、及び磁気ディスクまたは光ディスクまたはテープが含まれる。典型的なコンピュータ可読信号（キャリアを使用して変調されるかどうかに関わりなく）は、コンピュータプログラムをホスティングまたは実行するコンピュータシステムがそれをアクセスするように構成可能な信号であり、インターネットまたは他のネットワークからダウンロード可能な信号を含む。前述の具体例には、ＣＤ  ＲＯＭ上の、またはインターネットからのダウンロードされるコンピュータプログラムの実行可能なソフトウェアの配布が含まれる。ある意味では、インターネット自体が抽象的にはコンピュータ可読媒体である。同じ事が一般にコンピュータネットワークにも言える。
【００４３】
Ｖ．自動エッセイアナライザーを使った実験
Ａ．実験１−ベースライン
実験１は、ある英語検定試験（ＥＰＴ）の質問、トピックＢへのエッセイ回答を使用して、主題文用にベイジアン・クラシファイアを利用する。この実験結果は、エッセイ中の主題文を識別するために自動方法が使用可能であることを示唆する。更に前記の分類方法の性能は、手作業の注釈データの小さなセットであっても、人の能力に迫るように見受けられ、またベースラインの性能を上回っている。
【００４４】
二人の文章専門家の協力により、単一のエッセイトピック用にエッセイ中の対話要素を手作業で注記するための単純な対話ベースの注記プロトコールが開発された。主題文、結論、エッセイの主要アイデアの要旨文などの、エッセイ構造と一般に関係する対話要素を使用してエッセイデータに注記を入れる初めての試みであった。前記の文章専門家は、対話ラベルの特徴を定義した。次にＪａｖａ（登録商標）で実行されるＰＣベースのインタフェースを使用してそれに続く注記を完成させた。
【００４５】
表１は、主題文の分類付けについての二人の注釈者間の一致を示す。更にこの表では、２つの方法のベースライン性能が示される。主題文は、一般にエッセイの一番初めに現れる。それ故、各エッセイの第１文章が自動的に主題文として選択されるベースライン方法を使用した。この位置ベースの選択は、次に注釈者による解決済み主題文選択（二人の注釈者が最終的に合意した注釈等）と各エッセイで比較される（位置ベース及び人）。更に無作為の主題文選択が人１と２、及び解決済み主題文と比較された（無作為及び人）。表１のオーバーラップ％は、二人の注釈者が同一の文章を主題文として選択した時の百分率を示す。
【００４６】
二人の注釈者のカッパは、０．７３３であった。人の注釈者間では一致度が良好であることを示す。このカッパ値、主題文の手作業の選択タスクがよく定義されていたことを示す。
【００４７】
【表１】
2004524559.tif 000009
【００４８】
Ｂ．実験２
実験２は、前記クラシファイヤを構築するために３つの一般特徴タイプ、ａ）文章の位置と、ｂ）主題文の頻繁に使用される単語と、ｃ）存在する修辞構造パーサー（Ｍａｒｃｕ、１９９７年）から生成された出力結果からのＲＳＴラベルと、が使用される。クラシファイヤを、エッセイ中の主題文を予測するようにトレーニングする。下記の多変量ベルヌーイ式を使うと、１エッセイ中のある文章（Ｓ）が主題文である文章のクラス（Ｔ）に属する対数確率を得ることができる。
【００４９】
実験２は、前記クラシファイヤを構築するために３種類の特徴、ａ）位置的、ｂ）語彙的、ｃ）修辞構造理論ベースの対話特徴（ＲＳＴ）を利用する。前記の位置特徴については、人による注釈データでは、注釈者はエッセイの最初の方で主題文を通常マークしていることが判明した。そのため文の位置は関連のある特徴であった。語彙情報については、主題文として注釈が付けられた文章中の単語を特徴として使用することは、主題文の識別に有益であることも我々の研究で証明されている。更にＲＳＴベースのパーサーツリーからの情報も有益、または有益になりうる。
【００５０】
２種類の語彙特徴が実験２で使用された。ａ）主題語彙リスト、ｂ）信念を表す語彙リストである。この主題語彙リストでは、主題文クラシファイヤを構築するために次の方法で主題文中の語彙情報を含めた。トレーニング用のデータには、主題文（エッセイのトレーニングセット）中で使用された各単語ごとに１記載がある語彙リストが作成された。このリストの全単語が前記の主題文クラシファイヤを構築するための語彙特徴として使用された。主題文中の全単語を使用した場合の方がよりよい結果を得られることが分かったので停止リストは使用しなかった。前記の信念語彙リストには、意見、重要、より優れている、〜するために、等の約３０の単語及び句の小型辞書が含まれた。これらの単語及び句は、主題文テキスト中よく使用される。前記クラシファイヤは、主題文単語語彙リストに加えて、この語彙セットにもトレーニングされる。
【００５１】
ＲＳＴによると、修辞構造ツリーをどのテキストにも関連付けることができる。ツリーのリーフは、基本対話要素に対応し、内部ノードは、連続するテキスト・スパンに対応する。テキスト・スパンは、句、文章レベルを表す。ツリーの各ノードはステータス（核、または従属者）及び修辞関係（２つのオーバーラップしないテキスト・スパン間を繋ぐ関係）によって特徴付けられる。核と従属者の区別は、核は従属者に比べると、書き手にとってもっと本質的なものが表現され、ある修辞関係の核は従属者に関係なく理解可能であるが、その反対はそうではない。スパン（複数）が同等に重要な場合、その関係は、多核修辞関係がテキスト・スパン間を繋ぐ意味的、意図的、及びテキスト的な関係を反映するものである。例えば、あるテキスト・スパンが別のテキスト・スパンについて記述する場合、２つのテキスト・スパンの情報が対比する場合、１つのテキスト・スパンの情報が別のテキスト・スパンで提供される情報の背景を提供する場合がある。アルゴリズムは、クラシファイヤの構築においてＲＳＴパーサーツリーから２つの情報を考慮する。ａ）文章の親ノードは核または従属者かどうか、ｂ）どの基本対話単位が主題文対非主題文に関連しているかである。
【００５２】
実験２では、二人の判定者の一致と表１のベースラインに比べて前記アルゴリズムがどのような性能を示したかを調べた。表２は、６つのクロス確認実行の結果を示す。これらの検証実行で６分の５のデータはトレーニング用に６分の１のデータは後続のクロス確認のために使用された。一致は、前記のデータの６分の１の方で評価された。この実験のために、ａ）文章の位置、ｂ）ＲＳＴ特徴タイプ及びｃ）主題文語彙リストの両方の特徴がクラシファイヤの構築のために加えられ、表２の結果が得られた。このクロス確認方法をトレーニング用サンプルが７８の主題文を含む全データセット（Ａｌｌ）と、４９のエッセイがトレーニング用に使用されたゴールドスタンダードセット（ＧＳ）とに適用された。前記ゴールドスタンダードセットは、人の読み手が独自に注釈した結果が一致していたエッセイを含む。前記評価は、前記アルゴリズムと合意解決済み注釈（ア&合意解決）、人の注釈者１と合意解決済み注釈（１&合意解決）、及び人の注釈者２と合意解決済み注釈（２&合意解決）の一致を比較する。表２のオーバーラップ％は、２つの注釈が同一であった場合のパーセンテージが示される。結果は、表１の両方のベースラインを上回る。
【００５３】
【表２】
2004524559.tif 000010
【００５４】
Ｃ．実験３
次の実験では、人の注釈者によって識別された場合、エッセイ中の主題文はエッセイ中の要約文と特徴的に異なるように見えることを示す。
【００５５】
前記の実験１のトピックＢデータを使用して、二人の注釈者は同じＰＣベースの注釈インターフェースを使用してエッセイの１文要約を注記した。この「要約文」タスクのために新たなラベリングのオプションが前記インターフェースに追加された。これらの注釈者は、これらのエッセイを以前に見たことはなく、また以前の注釈タスクに関与していない。注釈者は個別に、各エッセイ中の単一文章をそのエッセイの要約文として識別する旨の指示を受けた。
【００５６】
主題文の手作業による注釈のカッパ値（主題）を、要約文のそれ（要文）と比べると、前者のタスクの方がずっと明確に定義されることが示される。０．６０３のカッパは、要約文注記タスク間で一致の度合いがあまり高くないことを示す。主題文注記タスクの場合、カッパは０．７３３で、注釈者間の一致が良好であることを示す。表３の結果は、各エッセイにおいて、最初のタスクで人の注釈者が主題文と判断されたものと、要約文として注記されたもののオーバーラップが非常に小さいことを明確に示す（主題／要文オーバーラップ）。これは、エッセイ中の主題文と要約文の間には重要な違いがあることを強く示し、さらにこの点を調査することを動機付けられる。興味深い点は、予備データから見ると、注釈者が要約文とマークしたものはエッセイ中の結論ともっと関連が強いことが示されていることである。
【００５７】
【表３】
2004524559.tif 000011
【００５８】
表３の結果から、エッセイ中の主題文は、例えば学術論文の問題記述文とは別のジャンルと推測できる。この観点から、前記の主題文分類アルゴリズムは自動主題文識別タスクのために適切のようである。
【００５９】
Ｄ．実験４
前記アルゴリズムは異なるトピック間ではどのように一般化されるであろうか。次の実験では、前記の主題文選択方法の一般化の可能性についてテストする。特にこの実験は、主題文の根底にある位置的、語彙的、及び対話特徴が存在するかどうかについて、またそれらはトピックから独立しているかどうかについての問いに対する回答である。もしそうであれば、多数のトピック間で主題文を注記し、更なる注記なしに別のトピックにもアルゴリズムを再利用できる能力を示すことになる。ある文章専門家が４つの追加トピックＡ、Ｃ、Ｄ及びＥの約４５のエッセイで主題文を手作業で注記した。このタスクを行う際、前記の実験１で二人の注釈者が使用したのと同じインターフェースが使用された。この実験の結果によると、実験１及び２で適用された位置的、語彙的、及び対話構造的特徴はエッセイのトピックを超えて一般化できることを示す。
【００６０】
前記方法を一般化できるかどうかをテストために、各英語検定トピックごとに文章専門家によって選択された主題文がクラシファイヤ構築用に使用された。４つのプロンプトの５つの組み合わせが各ケースでクラシファイヤを構築するために使われた。そのクラシファイヤは次に、クラシファイヤの構築には使用されなかった５つ目のトピックでクロス確認された。各クラシファイヤの性能を評価するために、アルゴリズム選択を我々の作文専門家の主題文選択と比較することによって、各「クロス確認」サンプル（単一トピック）ごとに一致が演算された。たとえば手作業で選択された主題文を使用してトピックＡ、Ｂ、Ｃ、及びＤをトレーニングした。次にこのクラシファイヤを使用してトピックＥの主題文が自動選択された。評価では、前記のアルゴリズム選択はトピックＥの手作業で選択された主題文セットと比較され、一致が演算された。各実行の正確な一致数は、表４に表される。１つの場合を除いて、表１の両ベースラインを上回る一致度を得ている。クロス確認（トピックＡ及びＢ）でオーバーラップ率が低かった２つのケースにおいて、信念単語リスト中の語彙を特徴として使用すると、もっと高いオーバーラップを得ることができた。トピックＡの場合、信念単語リスト特徴を追加し、典型的なベイズアプローチ（脚注２を参照）を適用した場合にのみ、更に高い一致を得ることができた。一致はトピックＢの場合は、３４％（１７／５０）、トピックＡの場合は３１％（１６／５１）であった。
【００６１】
【表４】
2004524559.tif 000012
【００６２】
上述実験は、以下を示す。手作業で注記されたエッセイデータの比較的小さいコーパスの場合、多変量ベルヌーイアプローチを使用して、位置的、語彙的、及び対話特徴を使ったクラシファイヤを構築することが可能である。このアルゴリズムは、エッセイ中の主題文を自動的に選択するために使用できる。両方の実験結果を見ると、前記アルゴリズムによる主題文の選択と一人の判定者による選択の一致は、二人の判定者が一致する頻度とほとんど同じであることを示す。人の一致のカッパ値は、エッセイ中の主題文の手作業による注記がかなりよく定義されていることを示唆する。現在の注記プロトコールは、ラベリングのタスクを更に明白に定義できるように改善中である。前記クラシファイヤは手作業による注記データを使用して構築されるため、これにより、今後の注記で人による一致度、および自動主題文選択の信頼度が向上することが期待される。
【００６３】
前記実験は、更に、エッセイ中の主題文を自動選択するこの方法の一般化が可能であることの証拠を提供する。それは、一度いくつかの人による注記プロンプトでトレーニングされると、同じような書き手層に対して、この場合は大学１年生レベルの書き手の場合、これを他のプロンプトに適用することが可能である。さらに大きな意味合いは、エッセイ中の基礎対話要素は、テスト問題のトピックに依存せずに識別可能であることが見え始めていることである。このことは、新しいテスト問題が継続的にオンラインエッセイ評価アプリケーションに導入されるため、エッセイ評価アプリケーションで重要になる。すべての新しいテスト問題に注記プロセスを繰り返すことは時間と費用がかかり過ぎる。
【００６４】
ＶＩ．結論
上記で説明および図示されたものは、本発明の好ましい実施形態であり、いくつかの変形と一緒に提示されている。ここで使用された条件、説明、及び図は、説明の目的だけのものであり、限定するために提示されたものではない。当業者であれば、本発明の趣旨および範囲から逸脱することなく、多くの変形が可能であることが理解される。上記本発明の趣旨および範囲は、上記の請求項で定義されるもの、またそれに相当するものであるが、全ての条件は、特に断り書きがない限り、もっとも広範囲の妥当な意味を示す。
【図面の簡単な説明】
【００６５】
【図１】本発明の１実施形態による、自動エッセイフィードバック提供方法のフローチャートである。
【図２】本発明の１実施形態による、図１の自動エッセイフィードバック方法をトレーニングするためのプロセスのフローチャートである。
【図１】
2004524559.tif 000014
【図２】
2004524559.tif 000015
【国際公開パンフレット】
2004524559.tif 000016
2004524559.tif 000017
2004524559.tif 000018
2004524559.tif 000019
2004524559.tif 000020
2004524559.tif 000021
2004524559.tif 000022
2004524559.tif 000023
2004524559.tif 000024
2004524559.tif 000025
2004524559.tif 000026
2004524559.tif 000027
2004524559.tif 000028
2004524559.tif 000029
2004524559.tif 000030
2004524559.tif 000031
2004524559.tif 000032
2004524559.tif 000033
2004524559.tif 000034
2004524559.tif 000035
2004524559.tif 000036
2004524559.tif 000037
2004524559.tif 000038
2004524559.tif 000039
2004524559.tif 000040
2004524559.tif 000041
2004524559.tif 000042
【国際調査報告】
2004524559.tif 000043