(57)【要約】【課題】手書き入力情報に基づいて自動データ処理を行なうシステムにおいて、手書き入力情報の認識効率をより確実かつ容易に向上できるようにする。【解決手段】手書き入力情報に対応する理想的な基準情報のみを改善方法として提示するのではなく、手書き入力情報を、どう記入すれば認識処理時の認識性能が向上するかを記入者が判断し得るような、より具体的な修正手法を改善態様情報として提示する。たとえば、手書き入力情報と認識処理時の画像変形処理結果とを並べて提示する。理想の基準情報と難認識情報とについて、特徴量の組合せから基準情報に対する認識処理の信頼度を求めて、信頼度の大小を基準情報からの距離に対応させて、対応する距離の位置に難認識情報を配置して提示する。【選択図】図１０
2008003739.tif 000002
【特許請求の範囲】
【請求項１】
認識処理に供される追記入力された付加情報を修正する入力修正方法であって、
前記追記入力された付加情報に対応する基準情報を除く、どのように追記すれば前記認識処理時の認識性能が向上するかを示す改善態様情報を提示する
ことを特徴とする入力修正方法。
【請求項２】
文書原本に付加情報が追記された追記済文書を処理対象として、追記された前記付加情報の内容を認識処理し、この認識処理した情報に基づいて所定のデータ処理を行なう追記情報処理方法であって、
前記追記入力された付加情報に対応する基準情報以外の情報であって、どのように追記すれば前記認識処理時の認識性能が向上するかを示す改善態様情報を提示する
ことを特徴とする追記情報処理方法。
【請求項３】
前記改善態様情報として、追記された前記付加情報の何処をどのように修正して追記すればどの程度認識性能が向上するかを判断し得る情報を提示する
ことを特徴とする請求項２に記載の追記情報処理方法。
【請求項４】
文書原本に付加情報が追記された追記済文書を処理対象として、追記された前記付加情報を前記追記済文書から抽出してその内容を認識処理し、この認識処理した情報に基づいて所定のデータ処理を行なう追記情報処理装置であって、
前記追記済文書から抽出された前記付加情報の内容を認識処理する追記情報特定処理部と、
前記追記入力された付加情報に対応する基準情報以外の情報であって、どのように追記すれば前記追記情報特定処理部における前記認識処理時の認識性能が向上するかを示す改善態様情報を提示する認識性能改善手法提示部と
を備えたことを特徴とする追記情報処理装置。
【請求項５】
前記認識性能改善手法提示部は、前記改善態様情報として、追記された前記付加情報の何処をどのように修正して追記すればどの程度認識性能が向上するかを判断し得る情報を提示する
ことを特徴とする請求項４に記載の追記情報処理装置。
【請求項６】
前記認識性能改善手法提示部は、通常の前記データ処理の過程で認識処理した前記付加情報を保存する追記情報認識履歴保持部を有し、
前記追記情報認識履歴保持部が保存している前記付加情報に関して、前記改善態様情報を提示する
ことを特徴とする請求項４または５に記載の追記情報処理装置。
【請求項７】
前記認識性能改善手法提示部は、通常の前記データ処理に供されなかった前記追記済文書から抽出された前記付加情報に関して、前記改善態様情報を提示する
ことを特徴とする請求項４または５に記載の追記情報処理装置。
【請求項８】
前記認識性能改善手法提示部は、練習用の前記文追記済文書から抽出された前記付加情報に関して、前記改善態様情報を提示する
ことを特徴とする請求項４または５に記載の追記情報処理装置。
【請求項９】
前記認識性能改善手法提示部は、前記追記済文書から抽出された各種の前記付加情報の内、認識性能が一定レベルに満たない難認識情報を抽出する難認識追記情報抽出部を有し、
前記難認識追記情報抽出部が抽出した前記難認識情報について前記改善態様情報を提示する
ことを特徴とする請求項４〜８のうちの何れか１項に記載の追記情報処理装置。
【請求項１０】
前記難認識追記情報抽出部は、前記認識処理における前記基準情報に対する前記付加情報の信頼度に基づいて前記難認識情報を抽出する
ことを特徴とする請求項９に記載の追記情報処理装置。
【請求項１１】
前記難認識追記情報抽出部は、前記付加情報の認識処理結果に対する修正状態に基づいて前記難認識情報を抽出する
ことを特徴とする請求項９に記載の追記情報処理装置。
【請求項１２】
前記難認識追記情報抽出部は、記入すべき前記基準情報が指定されている練習用の前記文追記済文書から抽出された前記基準情報に対応する前記付加情報のうち、誤認識されたものを前記難認識情報として抽出する
ことを特徴とする請求項９に記載の追記情報処理装置。
【請求項１３】
前記追記情報特定処理部は、認識処理対象の前記付加情報の画像形状を変形し、前記認識処理に供される変形済情報を生成する変形処理部を有し、
前記認識性能改善手法提示部は、前記改善態様情報として、前記変形処理部による補正前の前記付加情報と前記追記情報特定処理が前記認識処理に使用する前記変形済情報とを対比して提示する認識性能情報提示部を有する
ことを特徴とする請求項４〜１２のうちの何れか１項に記載の追記情報処理装置。
【請求項１４】
前記認識性能改善手法提示部は、前記改善態様情報として、前記難認識追記情報抽出部が抽出した前記難認識情報の前記基準情報に対する信頼度に応じた前記基準情報からの距離に前記難認識情報を配置して提示する認識性能情報提示部を有する
ことを特徴とする請求項９〜１２のうちの何れか１項に記載の追記情報処理装置。
【請求項１５】
前記認識性能改善手法提示部は、前記改善態様情報として、共通の前記基準情報ごとに、当該基準情報に対応する前記追記情報認識履歴保持部が保存している付加情報の全てを、認識の容易性の順に並べて提示する認識性能情報提示部を有する
ことを特徴とする請求項６に記載の追記情報処理装置。
【請求項１６】
前記認識性能改善手法提示部は、誤認識のタイプとその誤認識に対する改善手法とを予め分類しておき、前記付加情報の誤認識が前記何れのタイプに該当するのかを判定し、この判定結果に基づく改善手法を前記改善態様情報として提示する認識性能情報提示部を有する
ことを特徴とする請求項４〜１２のうちの何れか１項に記載の追記情報処理装置。
【請求項１７】
文書原本に付加情報が追記された追記済文書を処理対象として、追記された前記付加情報を前記追記済文書から抽出してその内容を認識処理し、この認識処理した情報に基づいて所定のデータ処理を、コンピュータを用いて行なうためのプログラムであって、
前記コンピュータを、
前記追記済文書から抽出された前記付加情報の内容を認識処理する追記情報特定処理部と、
前記追記入力された付加情報に対応する基準情報以外の情報であって、どのように追記すれば前記追記情報特定処理部における前記認識処理時の認識性能が向上するかを示す改善態様情報を提示する認識性能改善手法提示部と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力修正方法、並びにこの入力修正方法を適用した追記情報処理方法、追記情報処理装置、およびプログラムに関する。より詳細には、たとえば、文書に手書きで追加記入された付加情報（追記情報やアノテーションとも称する）を、文書本体から分離し、文書本体と関わりを持つ様々な情報処理に使用する際に利用される、入力された付加情報に対する修正の仕組みに関する。
【背景技術】
【０００２】
情報処理技術の進歩の著しい今日、文書に関する様々な処理を自動処理する仕組みがある。たとえば、予め所定の情報が記載されている文書原本にさらに別の付加情報を手書きで追記し、その付加情報の追記された追記済文書を処理対象として、手書きで追記された付加情報に基づいて所定のデータ処理を自動的に実行する仕組みがある。
【０００３】
たとえば、定型伝票（いわゆる帳票）に手書きで情報を記入して、その記入された情報を処理対象とする自動帳票処理の仕組み（たとえば特許文献１，２を参照）や、日付や予定記入欄が用意された主に手帳やメモなどに手書きで予定を記入し、その記入された予定を電子データ化する個人情報管理（特にスケジュール管理ともいう）の仕組み（特許文献３を参照）もある。
【０００４】
また、学校や学習塾などの教育現場においては、生徒や受験者による解答が記入された答案用紙に採点官が採点した結果の用紙（教育用教材）を処理対象として、自動採点集計処理を行なう仕組みも考えられている（特許文献４を参照）。
【０００５】
【特許文献１】特開平５−３４２２３９号公報
【特許文献２】特開平６−２７４１５６号公報
【特許文献３】特開平５−２１６９３２号公報
【特許文献４】特開平１１−３１０４６号公報
【０００６】
たとえば、特許文献１には、表の種別および表中の各データの行方向の位置並びに列方向の位置を指定するための識別マークを付与して表データを識別マーク付きデータ表帳票として印刷するようにし、データ表帳票に付されている認識マークをマーク読取手段によって読み取らせることで、識別データから帳票を特定して該当する表データを表示手段に表示するようにし、かつ該当する箇所を修正可能な状態に表示することで、少ない作業量で効率よくデータ修正および照合を行なうことができるようにした仕組みが提案されている。
【０００７】
また、特許文献２には、出力原稿をイメージデータに変換し、変換されたイメージデータを表示し、表示されたイメージ上にフォーム規定位置座標を指示し、指示されたフォーム規定位置座標に基づいてフォーム図形データを導出し、導出されたフォーム図形データに基づいてフォームを表示部に表示されているイメージデータに重ね合わせ表示する構成とすることで、所望の出力原稿に対するフォームを容易に作成できるようにした仕組みが提案されている。
【０００８】
また、特許文献３には、個人情報管理用の仕組みとして、書き込みの施された手帳などの紙面をスキャナより入力し、既知の方法により文字や枠線を検出し、検出した文字や枠線の配置を予め記憶された手帳の書式の知識と照合し、各記載項目の属性を表すデータを生成する仕組みが提案されている。
【０００９】
手帳やメモなどに手書きで記入した情報（本例では手帳に手書きで入力した予定の記載内容）が自動的に電子データに変換され、各記載項目を生成された属性に対応付けて切り換えてデータベースに登録することができるので、利用者がある書式の出力を要求した場合には、予め記憶された出力の書式を参照することにより、データベースの内容を紙上の各内容に対応した場所に印刷するなどができ便利である。
【００１０】
また、特許文献４には、答案用紙の手書き記入欄をタブレット上の入力域として定義するととともに、集計対象の入力域を識別可能に定義する書式データを記憶装置に記憶しておき、タブレットに答案用紙が重ね合せられた状態で、手書き記入欄に記入された情報をタブレットの入力域に入力された筆記データとして取り込んで文字認識することにより、採点などの記入作業を行なった後のキー入力などによるデータ入力を省力化する仕組みが提案されている。
【００１１】
一方、手書きで入力された付加情報に基づいてデータ処理を実行するに当たっては、入力された手書き情報（文字や図形）を如何様にして認識するかが問題となり、このような手書き情報の自動認識の仕組みとしては、様々なものが考えられている。
【００１２】
たとえば、手書き文字を認識する仕組みとしては、先ず、手書き入力された文字の特徴を表す入力文字情報を抽出し、入力文字情報と予め備えられる基準文字情報とを比較して、基準文字情報の入力文字情報に対する類似度の高い順番に候補文字列を作成する仕組みが考えられる。
【００１３】
また、このような手書き文字認識の仕組みとしては、記入者（オペレータ）に文字の形状などを学習させて、文字認識率を向上するようにした仕組みも考えられている（たとえば特許文献５を参照）。
【００１４】
【特許文献５】特開平９−２２３１９１号公報
【００１５】
この特許文献５に記載の仕組みでは、第１候補文字が所望の文字でなかったときに他の文字が選択されると、選択文字の候補文字詳細情報を、たとえば手書き入力文字に重ねるという条件で第１表示面に表示させるなど予め設定された条件で所定の表示面に表示する仕組みが提案されている。記入者は、手書き入力文字と選択文字とを比較して見ることで、正確な文字の形状などを学習することができる。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、特許文献５に記載の仕組みでは、正確な文字と入力文字を比較して表示しているだけであり、手書き入力文字と選択文字の各表示を記入者が確認し、記入者自身が正確な文字の形状などを学習する必要があり、これだけでは、具体的な改善方法を記入者が適切に判断することが困難である。記入した入力文字との対比で、改善方法としての理想的な選択文字（基準情報）を示しているが、これだけでは、改善すべき箇所や改善手法を記入者自らが判断することや、常に、完璧な記入を記入者に求めているに過ぎない。
【００１７】
換言すれば、正確な文字の特徴を記入者に知らせているに過ぎず、つまり、正確な文字で記載することのみを指示しているに過ぎず、入力した手書き入力文字の何処をどのように修正すればどの程度文字認識精度が向上するのかを容易に判断することができない。
【００１８】
その結果、次回の文字入力の際に、ある箇所を修正して記入したからと言って、必ずしも、文字認識精度が向上するとは限らない。文字認識率の一層の向上に役立てることができる修正箇所は別の箇所にあるかも知れないのである。
【００１９】
つまり、特許文献５に記載の仕組みでは、具体的な改善方法の判断を記入者に委ね、完璧な記入を求めているために、文字認識精度向上を確実かつ容易に達成するということは困難である。
【００２０】
本発明は、上記事情に鑑みてなされたものであり、手書き入力情報の認識効率をより確実かつ容易に向上させることのできる仕組みを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明に係る仕組みにおいては、追記入力された付加情報に対応する基準情報以外の情報であって、どのように追記すれば認識処理時の認識性能が向上するかを示す改善態様情報を提示するようにした。なお、「改善態様情報」とともに「基準情報」を提示しても構わないし、「基準情報」を含んだ全体として「改善態様情報」を構成して提示しても構わない。
【００２２】
単に、手書き入力情報に対応する完璧な（理想的な）基準情報のみを改善方法として提示するのではなく、認識性能を向上させるためのより具体的な修正手法を改善態様情報として提示するのである。具体的な改善方法の判断を記入者に委ねるのではなく、何処をどのように修正して記入すれば認識率がどの程度向上するかを判断することができるような改善態様情報を個別具体的に示すのである。
【００２３】
なお、本発明に係る仕組みは、電子計算機（コンピュータ）を用いてソフトウェアで実現することもでき、このためのプログラムやこのプログラムを格納した記録媒体を発明として抽出することも可能である。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。
【発明の効果】
【００２４】
本発明によれば、追記入力した付加情報をどのように修正して記入すれば認識処理時の認識性能が向上するかを示す改善態様情報を提示するようにしたので、記入者は、理想的な基準情報と完全に一致しなくても、何処をどのように修正して追記すれば認識率がどの程度向上するかを簡単に判断することができる。
【００２５】
よって、認識に適した付加情報の記入を促すことで、認識率を容易かつ確実に向上させることができる。すなわち、提示された改善態様情報に従って次回の記入を行なうことで、認識性能をより確実に達成できる。また、完璧な（理想的な）基準情報のみを提示するのではなく、少しでも認識性能を向上させることのできる修正方法を提示することができるから、手書き入力情報の認識効率を容易に向上させることもできるのである。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【００２７】
＜処理対象文書の例＞
図１は、本発明に係る追記情報処理装置を備えてなる情報処理システムにおいて処理対象とする文書の一例を示す図である。
【００２８】
図１に示す文書は、教育現場で紙媒体として使用される教育用教材８０であって、典型例として、問題文８２およびその解答欄８４（本例では括弧で示された部分）を有したものであり、図１（Ａ）はその文書原本８Ａを示し、図１（Ｂ）は、追記情報記入済の状態（追記済文書８Ｂ）を模式的に示している。また、データベースへの登録情報の一例を（Ｃ）に示す。
【００２９】
このような教育用教材８０は、具体的には教育機関で用いられるペーパーテストや練習問題シートなどが該当する。なお、教育用教材８０は、少なくとも解答欄８４を有していればよく、たとえば採点官が読み上げた問題について解答欄８４に解答を記入する場合などがあり、問題文８２については必ずしも記載されていなくともよい。
【００３０】
また、図１（Ａ）に示すように、教育用教材８０は、問題文８２および第１種の付加情報の一例である解答が記入される解答欄８４の他に、配点欄８３（問題別の項目点欄８３ａや部分点欄や合計点欄でなる集計欄８３ｂ）と、第１種の付加情報の一例である教育用教材８０を識別特定するための情報を記入する識別情報欄８５と、第１種の付加情報の一例である解答者情報であって解答欄８４への解答記入者に関する情報を記入する解答者情報欄８６とを有している。解答欄８４、識別情報欄８５、解答者情報欄８６は、何れも第１種の付加情報を記入する記入欄の一例である。
【００３１】
識別情報欄８５には、たとえば教育用教材８０の科目、タイトル、あるいは適用学年などが予め記載されるものとする。ただし、これらの記載に加えて、またはこれらの記載とは別に、教育用教材８０を識別するためのコード情報が埋め込まれていてもよい。
【００３２】
コード情報の埋込みは、公知技術を利用して実現すればよいが、その一つの具体例として、たとえば「ｉＴｏｎｅ（登録商標）」と呼ばれるもののように、階調表現としての万線スクリーンまたはドットスクリーンを構成する画素の形態（位置、形状など）を変化させることで、ハーフトーン画像の中にデジタル情報を埋め込むようにする、といった技術を用いることが考えられる。一方、解答者情報欄８６には、解答記入者の学級８６ａ、出席番号８６ｂ、あるいは氏名８６ｃなどが記入され得るようになっている。
【００３３】
配点欄８３（特に項目点欄８３ａ）には、各解答欄８４についての配点情報が記入される。配点情報とは、教育用教材８０における各解答欄８４について、各位置の解答欄８４への配点が何点であるかを特定するための情報である。なお、配点は、解答欄８４ごとに異なっていてもよいし、あるいは一律であってもよい。
【００３４】
このような教育用教材８０は、対応する原本（教材原本）の電子データに基づき印刷装置で印刷出力することで得ることができる。教材原本の電子データは、たとえばパーソナルコンピュータなどの電子計算装置を利用してワープロソフトなどのアプリケーションソフトウェアを用いて生成することができ、予め所定のデータベースなどに保存される。
【００３５】
なお、教材原本の電子データは、その教育用教材８０における解答欄８４や識別情報欄８５などのレイアウトを特定し得るものであり、かつ、所定のデータベースにて保持蓄積可能なものであれば、そのデータ形式を問わない。たとえば、文書作成ソフトウェアで作成したアプリケーション文書データに限らず、画像データであってもよい。
【００３６】
教育現場では、図１（Ａ）に示した文書原本８Ａの一例である教育用教材８０が生徒や受験者などに配布され、先ず、生徒などによって解答者情報欄８６への氏名や解答欄８４への解答などの第１種の付加情報が所定欄に記入された後に回収される。この後さらに、図１（Ｂ）に示す追記済文書８Ｂの一例である付加情報記入済教材８１のように、教師などの採点官によって各解答欄８４に記入された解答に対する採点記号（正誤判定図形）８７や採点記号８７と関連するその他の図形や文章で示されたコメント８８などの第２種の付加情報が記入される。なお、追記情報処理装置１０で自動採点処理を行なうので、この時点では、採点官による配点欄８３Ｃへの記入はない。
【００３７】
この際には、通常、生徒などによる第１種の付加情報の記入に使用されるペン色と、採点官などによる第２種の付加情報の記入に使用されるペン色とは、異なるものが使用されるし、教育用教材８０として予め記入されている色とも異なるものが使用される。
【００３８】
また、採点記号８７としては、たとえば、正解を示す「○」やその他の図形（たとえば楕円図形）、不正解を示す「×」やその他の図形（たとえば「レ点」などのチェックマーク）、あるいは一部正解を示す「△」やその他の図形がある。
【００３９】
コメント８８は、採点記号８７を元にした第１のデータ処理には直接的な関係を有しない情報であるが、第１のデータ処理の結果をサポート（補強）するあるいは全く関係のない第２のデータ処理に利用されるものである。
【００４０】
教材自動採点システムでは、この追記済文書８Ｂの一例である付加情報記入済教材８１を対象として所定のデータ処理を行なうことになる。この際、第２種の付加情報（本例では採点記号８７とコメント８８）の別に、それぞれに応じた個別のデータ処理を行なうようにする。この例では、第１のデータ処理として採点記号８７を元にした自動採点処理を行なう。この自動採点処理結果として、たとえば、配点欄８３Ｃへ記入する得点情報が取得されることになる。また、コメント８８の追記内容を元にした自動採点処理結果とは別の第２のデータ処理を行なう。
【００４１】
自動採点処理とは別の第２のデータ処理としては、たとえば、コメント８８の追記内容を所定の条件に基づいて分類する処理や、分類したコメント（全ての追記内容には限らず一部の追記内容でもよい）を対応する解答欄８４についての採点処理結果と関連付けて生徒指導用データベースに登録・蓄積しておく処理などを行なう。
【００４２】
こうすることで、自動採点処理とは別の第２のデータ処理の利用形態としては、生徒指導用データベースから情報を取り出して、後の生徒指導に利用することができるようになる。たとえば、全ての採点結果と対応するコメントを表示するようにすれば、優秀、優、並、劣、などの評価の細分類と合わせて採点結果を確認することができる。また、結果が不正解のコメントのみを表示するようにすれば、問題の読み間違えが多い、解答の書き間違えが多い、あるいは計算ミスが多いなどの生徒の能力分析に利用することもできる。あるいは、コメント８８で示されている注意文やミス修正に基づき生徒指導に利用することも考えられる。
【００４３】
なお、採点記号８７やコメント８８を対象としたデータ処理を実行するための教育用教材８０（原本画像）のデータベースへの登録に当たっては、通常であれば、採点記号８７についてのデータ処理時に必要となる解答欄８４の位置情報や問題番号や配点情報などを示す記入欄位置領域情報３８と、コメント８８についてのデータ処理時に必要となる分類基準情報とを登録しておく。なお、教育用教材８０における文字部分（たとえば問題番号を含む問題文や配点）をテキスト情報として参照され得るように、教育用教材８０そのものの情報は、テキストデータもしくはテキストデータ相応の文書ファイルデータで保存しておくことが好ましい。
【００４４】
たとえば、図１（Ｃ）に示すように、記入欄位置領域情報３８の一例である解答欄位置領域情報を、教育用教材８０上に存在する問題の番号（第１の属性情報の一例）と、その問題の解答に対する配点（第２の属性情報の一例）と、その問題の解答を記入する解答欄８４として扱われる領域の所定点（たとえば左上頂点）のｘｙ座標、並びに、その外接矩形の幅（Ｗ）および高さ（ｈ）とからなる情報で、これらを互いに関連付けるテーブル形式で、所定の格納領域に保持蓄積しておく。
【００４５】
付加情報記入済教材８１に対応する元の教育用教材８０が文書管理サーバに登録されていないときには、無記入の教育用教材８０を文書入力装置で読み取り、問題文の位置や解答欄８４の位置や配点などを特定することにより対処する。
【００４６】
なお、追記情報について自動データ処理を実行する際に、追記情報を複数種類のものに分類し、それぞれの分類ごとに個別のデータ処理を実行しようとする場合には、各追記情報を他方のものと分離して認識・特定することが必要となる。両者の分離認識が適正になされないと、それぞれのデータ処理を適正に実行することができなくなる。
【００４７】
たとえば、図１に示した付加情報記入済教材８１の場合には、採点記号８７に基づく自動採点処理と、コメント８８に基づく生徒指導用データベースの構築処理があり、このような個別処理を実現するには、採点記号８７とコメント８８とを区別して認識処理などを行なってから最終的なデータ処理を行なう必要がある。
【００４８】
一方、答案の採点においては、採点記号８７以外のコメント８８を、採点記号８７と同じペンで記載することがあり、たとえば差分抽出部１３２での抽出結果に対する色成分認識処理を通じて、ペン色と対応する所定色成分についてのものを抽出するだけでは、両者を適切に分離した認識と記載内容の特定ができない。採点記号８７とコメント８８とを適切に分離できず、自動採点処理に悪影響を及ぼす。また、追記情報としては、自動採点処理用の採点記号８７の他に、生徒指導などにも利用し得るコメント８８が存在するにも関わらず、付加情報記入済教材８１を生徒に返却した後には、生徒がその記載内容を確認する以外には活用できない事態となる。
【００４９】
このような事態を避けるには、たとえば、追記済文書８Ｂ中に存在する複数の付加情報を、記載位置、画像特徴量、あるいは認識処理時の信頼度などの付加情報が持つ様々な特徴に基づいて、複数の種類に分類（分離）するようにするのがよい。この際、付加情報が持つ単一の特徴に基づくだけでなく複数の特徴を参照することで、より正確な分離認識を行なうようにするのがよい。なお、これらについては詳細な説明を割愛する。
【００５０】
＜システム構成＞
図２は、本発明に係る追記情報処理装置を備えてなる情報処理システムの一実施形態の構成例を示す図である。なお、この情報処理システムは、答案用紙などの教育用教材８０を処理対象とする教材自動採点システムへの適用例で示す。
【００５１】
図示のように、教材自動採点システム１は、システムの中心をなす追記情報処理装置１０と、追記情報処理装置１０に処理対象文書である付加情報記入済教材８１を電子化して入力する文書入力装置２０と、処理対象文書である付加情報記入済教材８１に対応するテンプレート６や教育用教材８０（詳しくはその原本画像）の電子データを記憶する文書管理サーバ３０と、情報処理（本例では自動採点処理など）の結果を保存しておく処理結果保存サーバ４０とが、有線や無線を利用してネットワーク接続されて構成されている。
【００５２】
文書入力装置２０は、教育用教材８０における解答欄８４への解答記入、解答者情報欄８６への氏名などの記入および解答欄８４に記入された解答に対する採点官による採点記号８７（具体的には、たとえば「○」や「×」の図形）の記入がされた付加情報記入済教材８１に対して、公知の光学的画像読取技術を用いた画像読取りを行ない、その付加情報記入済教材８１から画像データを得るものである。
【００５３】
文書入力装置２０は、処理対象文書である付加情報記入済教材８１を電子データにする機能を備えたものであればよく、たとえば、画像読取装置としての機能を有した複写機、複合機、またはスキャナ装置を利用して実現することが考えられる。その場合に、自動原稿搬送装置（Automatic Document Feeder ；ＡＤＦ）が付設されていると、複数の教育用教材に対する画像読取りを連続的に行なうことができ便利である。
【００５４】
なお、教育用教材８０を利用した試験などは、紙媒体を用いることに限定されない。たとえばタブレット型のＰＣを利用して試験を行ない採点するケースでは、最初から付加情報記入済教材８１を電子データの形式で入手することができ、この場合には、システム構成上、文書入力装置２０が不要となる。
【００５５】
文書管理サーバ３０は、付加情報記入済教材８１に対応する教育用教材８０の原本画像と、この原本画像を特定するための、たとえば、科目、タイトル、適用学年などの識別情報や識別コードとを対応付けて、ハードディスク装置や光ディスク装置などの所定の記憶媒体に文書原本情報データベースＤＢ２として登録している。
【００５６】
また、文書管理サーバ３０は、付加情報記入済教材８１に対応する元の教育用教材８０（原本画像）を保存するとともに、採点記号８７やコメント８８についてのデータ処理時に必要となる問題番号や配点情報などを示す記入欄位置領域情報３８を、図１（Ｃ）に示したように、テーブル形式で、所定の格納領域に文書原本情報データベースＤＢ２として保持蓄積している。
【００５７】
処理結果保存サーバ４０としては、追記情報処理装置１０とネットワーク接続され、付加情報記入済教材８１についての自動採点集計結果を管理することができるものであればよく、たとえば、処理結果データベース装置や処理結果ファイルサーバ装置などが該当する。
【００５８】
教材自動採点システム１の中心部をなす追記情報処理装置１０は、文書入力装置２０から入力された付加情報記入済教材８１の画像データに基づき所定の信号処理を行なう読取画像処理部１１０と、読取画像処理部１１０による処理に基づいて文書入力装置２０から入力された読取画像の元となった文書原本８Ａを識別特定する文書原本特定部１２０とを備えている。教材自動採点システム１においては、文書原本特定部１２０は、文書原本８Ａの一例である教育用教材８０を特定する教材特定部１２２として機能する。
【００５９】
また、追記情報処理装置１０は、読取画像処理部１１０による処理が施された画像データから追記情報（アノテーション）を抽出する追記情報抽出部１３０と、追記情報抽出部１３０により抽出されたデータ処理対象の追記情報に基づき記載内容や記入位置を認識し特定するデータ処理対象追記情報特定処理部１５０と、データ処理対象追記情報特定処理部１５０により特定された追記情報の記載内容に基づいてデータ処理を行なうデータ処理部１７０とを備えている。
【００６０】
また、追記情報処理装置１０は、本実施形態特有の構成要素として、手書きで記入された文字や図形などの手書き入力情報の認識性能を向上させるための改善態様情報をユーザに提示する認識性能改善手法提示部１８０を備えている。認識性能改善手法提示部１８０は、文書原本８Ａの一例である教育用教材８０へ手書きで記入された手書き入力情報（採点記号８７やコメント８８）が自動認識処理に適しているか否かを判定し、どのように記入すれば認識率が向上するかをユーザ自身が判断することのできるような改善態様情報をサポート情報として提示する。
【００６１】
ここで、「どのように記入すれば認識率が向上するか」を示す情報は、単に、追記入力された付加情報に対応する基準情報を対比表示する以外の情報であって、記入者が、具体的に、改善手法を判断することのできる情報を意味する。たとえば、追記された付加情報の何処をどのように修正して記入すればどの程度認識性能が向上するかを判断し得る情報を提示するのである。
【００６２】
読取画像処理部１１０は、図示を割愛するが、文書入力装置２０から入力された画像データについて、レイアウト解析、文字図形分離、文字認識、コード情報認識、図形処理、色成分認識などの公知の画像処理技術（それぞれの詳細説明は割愛する）を利用して解析処理を行なう画像データ解析部と、文書入力装置２０から入力された画像データの傾きや主走査方向または副走査方向の拡縮率などの画像歪みを補正する歪み補正部とを有している。
【００６３】
なお、歪み補正部は、文書入力装置２０から入力された画像データと、比較対象となる文書管理サーバ３０内の対応する原本画像とを比較照合し、その画像歪み（傾き、拡縮など）を補正してもよい。
【００６４】
教材特定部１２２は、図示を割愛するが、たとえば、画像データ解析部によるデータ解析結果に基づいて、識別情報欄８５に記入されている科目、タイトル、あるいは適用学年などの識別情報を解析する識別情報解析部と、同じく識別情報欄８５に埋め込まれている教育用教材８０を特定するコード情報を解析するコード情報解析部とを有している。
【００６５】
教材特定部１２２は、画像データ解析部での解析結果に基づいて特定した、たとえば科目、タイトル、適用学年などの識別情報や識別コードと、文書管理サーバ３０に保持蓄積されている教育用教材８０の原本画像の情報（たとえば科目、タイトル、適用学年などの識別情報や識別コード）とを照らし合わせ、該当する原本画像が文書管理サーバ３０に保持蓄積されていなければ、文書入力装置２０で得られた画像データとの比較対象となる電子データを特定できないと判定して、識別特定エラー信号を出力するようになっている。
【００６６】
なお、教材特定部１２２は、文書入力装置２０から入力された画像データ（付加情報記入済教材８１に相当）と対応する元の教育用教材８０を識別特定できればよく、識別情報解析部とコード情報解析部とは、付加情報記入済教材８１の識別情報欄８５に記載もしくは埋め込まれている識別情報の形式に対応する適正な方を備えていればよく、必ずしも、両者を備えている必要はない。
【００６７】
追記情報抽出部１３０は、歪み補正部にて画像歪みが補正された画像データと、教材特定部１２２により特定された、文書入力装置２０から入力された画像データ（付加情報記入済教材８１に相当）に対応する原本画像（教育用教材８０に相当）とを公知の画像処理技術を利用して比較しそれぞれの間の差分を抽出する差分抽出部１３２を有する。
【００６８】
また、追記情報抽出部１３０は、差分抽出部１３２による抽出結果に基づき文書入力装置２０で読取り対象となった付加情報記入済教材８１における解答者情報（第１種の付加情報の一例）を抽出する解答者抽出部１３４と、同じく差分抽出部１３２による抽出結果に基づき文書入力装置２０で読取り対象となった付加情報記入済教材８１における採点記号８７やコメント８８などのデータ処理に供される第２種の付加情報を抽出するデータ処理用追記情報抽出処理部１４０とを有する。
【００６９】
解答者抽出部１３４は、差分抽出部１３２による抽出結果に基づき、解答者情報欄８６の学級８８ａや出席番号８８ｂや氏名８８ｃの欄に記入された解答記入者の手書きによる番号や文字の画像をそのまま文字情報として切り出す手書き情報切出部１３６と、差分抽出部１３２による抽出結果に基づき（好ましくは、手書き情報切出部１３６により切り出された手書き情報について）、解答者情報欄８６の手書きによる記入情報を、追記情報処理装置１０上で加工編集が可能な文字データに変換する文字認識処理（ＯＣＲ；Optical Character Reader）部１３８とを有する。
【００７０】
なお、解答者抽出部１３４は、文書入力装置２０で読取り対象となった付加情報記入済教材８１における解答者情報欄８６に記入された解答者情報を抽出できればよく、手書き情報切出部１３６と文字認識処理部１３８の何れか一方を備えていればよい。また、文字認識処理部１３８を設けない場合や文字認識処理部１３８で文字認識できなかったコメント８８の部分に関しては、抽出された解答者情報をそのまま画像として取り扱うことにする。
【００７１】
データ処理用追記情報抽出処理部１４０は、注目する追記色の情報を参照して、差分抽出部１３２による抽出結果に基づき、追記情報抽出部１３０により抽出された追記情報の内、文書入力装置２０で読取り対象となった追記済文書８Ｂ（本例では付加情報記入済教材８１）におけるデータ処理対象追記情報９ａ（本例では採点記号８７やコメント８８）を抽出するデータ処理対象追記情報抽出部１４２と、データ処理対象追記情報抽出部１４２で抽出されたデータ処理対象の追記情報をデータ処理に耐え得るように整形する追記情報整形部１４６とを有する。本実施形態においては、データ処理対象追記情報抽出部１４２は、採点記号８７を抽出する採点記号抽出部およびコメント８８を抽出するコメント抽出部の機能を備える。
【００７２】
なお、データ処理対象追記情報抽出部１４２は、データ処理対象追記情報９ａを抽出できればよく、色を指標に追記情報をさらに分類するとよい。たとえば差分抽出部１３２での抽出結果に対する色成分認識処理を通じて、採点官が採点記号８７やコメント８８の記入に使用したペン色と対応する所定色成分についてのものを抽出することで行なえばよい。たとえば、付加情報記入済教材８１における採点記号８７やコメント８８の記入は、一般に赤色ペン（赤の筆記具）で行なわれることが多く、この場合には、赤色成分に注目した抽出を行なえばよい。
【００７３】
ただし、赤色ペンとはいってもピンク系からオレンジ系というように似通った色気のものがあるし、必ずしも採点記号８７やコメント８８の記入に赤色ペンを使用するとは限らないし、採点記号８７とコメント８８とを別のペン色で記入することもあるので、採点記号８７やコメント８８の記入に使用するペン色の情報を採点記号抽出部やコメント抽出部として機能するデータ処理対象追記情報抽出部１４２に設定可能に構成しておくことで、抽出性能を向上させるようにするとよい。
【００７４】
このため、実際に使用した追記色を特定し、その特定した追記色の情報を参照して、追記色に注目した抽出を行なう。実際に使用されたペン色が特定されていれば、データ処理対象追記情報抽出部１４２は、抽出許容範囲を狭くすることができる。これにより、採点記号８７やコメント８８をその他の追記情報と高精度に区別して抽出することができる。
【００７５】
追記情報整形部１４６としては、データ処理対象追記情報抽出部１４２で抽出されたデータ処理対象の追記情報について、線分同士を接続してその抽出線分間の途切れを解消するように補正処理を行なう抽出線分途切れ補正部１４８を有する構成とするのがよい。
【００７６】
一般に、追記済文書８Ｂ上での図形記入や「２重線」や「波線」や「花丸」や「矢印」などの図形記入やコメント文などは、記入済のものに対して重ねて行なわれることもある。たとえば、付加情報記入済教材８１の場合には、各問題文８２や各解答欄８４を特定する枠や各解答欄８４への解答記入内容などに重ねて「○」や「×」などの採点記号８７が記入され、あるいは図形や文字でコメント８８の追記が行なわれることもある。そのため、データ処理対象追記情報抽出部１４２による所定色成分の抽出結果は、その重なり部分が除かれる結果、図形や文字に途切れ部分が生じたものとなる虞れがある。
【００７７】
このことから、抽出線分途切れ補正部１４８は、「○」や「×」や「線」やその他の印（マーク）などの図形や文字であるはずの抽出結果に対して、細線化処理、端点抽出処理、端点間接続処理（いわゆる連結処理）、あるいは線図形の直線近似などを適宜実行する。なお、このときに行なう細線化処理、端点抽出処理、あるいは端点間接続処理や線図形の直線近似などは、公知技術を利用して行なえばよいため、ここではその詳細な説明を割愛する（たとえば、「画像の処理と認識」，安居院猛著，昭晃堂発行などを参照）。
【００７８】
データ処理対象追記情報特定処理部１５０は、差分抽出部１３２による差分抽出結果に基づいて、具体的には、抽出線分途切れ補正部１４８で補正されたデータ処理対象追記情報９ａに基づいて、追記済文書８Ｂにおける第１のデータ処理用の追記情報の記入内容を第２のデータ処理用の追記情報と分離して認識する第１データ処理用追記情報認識部１５４と第２のデータ処理用の追記情報の記入内容を第１のデータ処理用の追記情報と分離して認識する第２データ処理用追記情報認識部１６４とを有している。
【００７９】
データ処理対象追記情報特定処理部１５０としては、第１データ処理用追記情報認識部１５４は、付加情報記入済教材８１における採点記号８７の記入内容をコメント８８と分離して認識し、また、第２データ処理用追記情報認識部１６４は、付加情報記入済教材８１におけるコメント８８の記入内容を採点記号８７と分離して認識する。
【００８０】
各データ処理用追記情報認識部１５４，１６４は、抽出線分途切れ補正部で補正されたデータ処理用追記情報の記入内容に対して形状認識処理を行なうことでデータ処理用追記情報の記入内容を認識する図形形状認識部１５６，１６６と、抽出線分途切れ補正部で補正されたデータ処理用追記情報の記入内容に対して文字認識処理を行なうことでデータ処理用追記情報の記入内容を認識するする文字認識部１５７，１６７と、図形形状認識部１５６，１６６や文字認識処理部１５７，１６７により認識された各データ処理用追記情報の記入内容の、文書原本８Ａ（追記済文書８Ｂ）上における記入位置を認識する記入位置認識部１５８，１６８とを有している。図形形状認識部１５６，１６６および文字認識処理部１５７，１６７により、採点記号８７とコメント８８とを分離して認識する分離認識処理部１５５が構成される。
【００８１】
図形形状認識部１５６，１６６や文字認識処理部１５７，１６７は、その内部に、認識処理前に、認識処理対象の追記情報の画像形状（縦横比やサイズ）を変形（修正）する変形処理部１５６ａ，１６６ａ，１５７ａ，１６７ａを具備している。変形処理部１５６ａ，１６６ａ，１５７ａ，１６７ａは、図形形状認識部１５６，１６６や文字認識処理部１５７，１６７における図形認識処理や文字認識処理に供される変形済情報を生成するものである。
【００８２】
文字認識処理部１５７，１６７を設けない場合や文字認識処理部１５７，１６７で文字認識できなかったデータ処理用追記情報の部分に関しては、抽出されたデータ処理用追記情報をそのまま画像として取り扱うことにする。
【００８３】
なお、図示のように、図形形状認識部１５６，１６６、文字認識処理部１５７，１６７、並びに記入位置認識部１５８，１６８とは、それぞれ１つの機能部が双方の機能を実現する構成としてもよいし、それぞれを個別の機能部として独立に設けてもよい。
【００８４】
たとえば、付加情報記入済教材８１を処理対象とする構成においては、第１データ処理用追記情報認識部１５４は、採点記号８７を第１のデータ処理用の追記情報とするものであり採点記号認識部として機能する。この場合、採点記号８７についての図形形状認識部１５６は、採点記号８７の記入内容が「正解（○）」または「不正解（×）」または「一部正解（△）」であるかなどを図形の側面から認識することができればよく、たとえば「○」，「×」，「△」の図形形状とのパターンマッチングによって形状認識を行なえばよい。あるいは、認識対象図形の特徴量を算出し、その特徴量から形状を認識してもよい。特徴量としては、たとえば、穴の個数や外接矩形に占める対象図形の面積率などを使用することができる。
【００８５】
また、採点記号８７について文字認識処理部１５７は、採点記号８７の記入内容が「正解（○）」または「不正解（×）」または「一部正解（△）」であるかなどを文字の側面から認識することができればよい。なお、採点記号８７は図形のみであるとする場合には、文字認識処理部１５７を割愛することもできる。
【００８６】
また、採点記号８７についての記入位置認識部１５８は、たとえば、教育用教材８０上における座標解析によって、付加情報記入済教材８１上の採点記号８７の記入内容の記入位置を認識すればよい。
【００８７】
ここで、本実施形態の構成においては、認識性能改善手法提示部１８０を設けて、記入者の手書き入力情報が認識に適しているか判定し、どのように追記すれば認識率が向上するかを記入者が判断し得るような改善態様情報をサポート情報として提示するようにしているので、認識に適した手書き入力情報の記入を促すことができ、その結果として、各データ処理用追記情報認識部１５４，１６４における認識率を向上させることができる。
【００８８】
記入者は、提示された改善態様情報を参照することで、手書き入力文字の形状などの不適切な部分を把握し、正確な図形や文字の形状を学習することができる。これによって記入者は、次回の手書き入力情報を記入する際に、適切な形状などの条件で文字や図形や線分を手書き入力することができるようになり、図形や文字の認識率の向上に役立てることができる。追記情報処理装置１０としては、装置自身が記入者の癖などを学習するような構成を要しないので、装置自身の構成を簡単かつ小型化することができる。
【００８９】
なお、図形形状認識部１５６は、採点記号８７に関する形状認識の際には、「○」や「×」などの採点記号８７を示す図形を構成する連続画素群を１つに纏めて取り扱うために、その連続画素群に対して識別子を付与すべく、一般的な画像処理技術であるラベリング処理を行なう。このことから、記入位置認識部１５８による位置認識の際にも、そのラベリング処理の結果を利用して、「○」や「×」などの採点記号８７を示す図形を構成する連続画素群を１つの纏まりとして取り扱う。
【００９０】
また、記入位置認識部１５８は、採点記号８７の記入位置の認識処理に当たって、付加情報記入済教材８１上に複数の採点記号８７が記入されていることが一般的であるから、その複数の採点記号８７のそれぞれについて順次予め定められた走査順で検出される採点記号８７について、順にその位置を認識していく。
【００９１】
各採点記号８７に関する位置認識は、たとえば「○」や「×」などの採点記号８７を示す図形（あるいは文字）の外接矩形情報を算出し、さらにその外接矩形の中心座標を算出することによって行なうことが考えられる。具体的には、認識対象となる図形もしくは文字（連続画素群）に対して外接矩形を抽出するとともに、その外接矩形の所定点（たとえば左上頂点）のｘｙ座標、並びに、その外接矩形の幅（Ｗ）および高さ（ｈ）を算出する。そして、これらの算出結果から、中心ｘ座標＝ｘ＋ｗ／２、中心ｙ座標＝ｙ＋ｈ／２を算出し、その算出結果を連続画素群の位置、すなわち採点記号８７の記入位置の認識結果とする。
【００９２】
一方、第２データ処理用追記情報認識部１６４は、コメント８８を第２のデータ処理用の追記情報とするコメント認識部として機能する。この場合、コメント８８についての図形形状認識部１６６は、コメント８８の追記内容を図形の側面から認識することができればよく、たとえば「１重線」や「２重線」や「（１重または２重の）波線」などの線を示す図形形状とのパターンマッチングによって線に関する形状認識を行なえばよい。あるいは、認識対象図形の特徴量を算出し、その特徴量から線の形状を認識してもよい。特徴量としては、たとえば、線数や外接矩形における画素密度などを使用することができる。
【００９３】
また、コメント８８について文字認識処理部１６７は、付加情報記入済教材８１におけるコメント８８の記入内容を文字の側面から認識することができればよい。また、コメント８８についての記入位置認識部１６８は、たとえば、教育用教材８０上における座標解析によって、付加情報記入済教材８１上のコメント８８の追記内容の記入位置を認識すればよい。
【００９４】
なお、図形形状認識部１６６は、コメント８８に関する形状認識の際には、「２重線」や「花丸」などのコメント８８を示す図形を構成する連続画素群を１つに纏めて取り扱うために、その連続画素群に対して識別子を付与すべく、一般的な画像処理技術であるラベリング処理を行なう。このことから、記入位置認識部１６８による位置認識の際にも、そのラベリング処理の結果を利用して、「２重線」や「花丸」などのコメント８８を示す図形を構成する連続画素群を１つの纏まりとして取り扱う。
【００９５】
また、記入位置認識部１６８は、コメント８８の記入位置の認識処理に当たって、付加情報記入済教材８１上に複数のコメント８８が記入されていることが一般的であるから、その複数のコメント８８のそれぞれについて順次予め定められた走査順で検出されるコメント８８について、順にその位置を認識していく。
【００９６】
各コメント８８に関する位置認識は、たとえばコメント文や「２重線」や「花丸」などのコメント８８の文字や図形の外接矩形情報を算出し、さらにその外接矩形の中心座標を算出することによって行なうことが考えられる。具体的には、認識対象となる文字や図形（連続画素群）に対して外接矩形を抽出するとともに、その外接矩形の所定点（たとえば左上頂点）のｘｙ座標、並びに、その外接矩形の幅（Ｗ）および高さ（ｈ）を算出する。そして、これらの算出結果から、中心ｘ座標＝ｘ＋ｗ／２、中心ｙ座標＝ｙ＋ｈ／２を算出し、その算出結果を連続画素群の位置、すなわちコメント８８の記入位置の認識結果とする。
【００９７】
また、この位置認識の際には、各コメント８８は、ある位置の解答欄８４への採点記号８７と対応して、その近傍に記入されることが多いので、記入位置認識部１５８による採点記号８７についての位置認識と協働して処理を行なうのがよい。こうすることで、双方の位置情報の各解答欄８４との対応付け、結果としては、採点記号８７とコメント８８との関連付けが容易になる。
【００９８】
データ処理部１７０は、文書入力装置２０から入力された追記済文書８Ｂの画像データについて、その追記済文書８Ｂに記入された第１のデータ処理対象追記情報に関する第１のデータ処理を実行する第１データ処理部１７０_1と、第２のデータ処理対象追記情報に関する第２のデータ処理を実行する第２データ処理部１７０_2を有する。
【００９９】
各データ処理部１７０_1，１７０_2は、データ処理対象の追記情報の記入位置を、当該記入欄の位置情報を保存している装置（テンプレート情報データベースＤＢ１や文書原本情報データベースＤＢ２として機能する文書管理サーバ３０）にアクセスして、記入欄位置領域情報３８、記入欄位置領域情報６８、あるいはテンプレート関連付け情報６９を参照して取得しつつ、追記情報の記入位置と追記情報とを対応付けながらデータ処理を実行する。
【０１００】
第１データ処理部１７０_1は、追記済文書８Ｂの一例である付加情報記入済教材８１の画像データについて、その付加情報記入済教材８１に記入された採点記号８７を元に採点集計を行なう採点集計部１７２と、採点集計部１７２による採点集計の結果を、解答者抽出部１３４が抽出した解答者情報と関連付けて出力する集計結果出力部１７４とを備えている。採点集計結果と解答者情報とが関連付けられた状態の処理結果を特に採点認識結果と称する。
【０１０１】
採点集計部１７２は、図形形状認識部１５６による採点記号８７の追記内容の図形の側面からの認識結果や文字認識処理部１５７による採点記号８７の追記内容の文字情報の側面からの認識結果と、記入位置認識部１５８による採点記号８７の記入位置の認識結果と、文書入力装置２０が保持蓄積している付加情報記入済教材８１に対応する教育用教材８０の電子データ（原本画像）に含まれる教育用教材８０（付加情報記入済教材８１）の各解答欄８４についての配点欄８３で規定されている配点情報とに基づいて、文書入力装置２０が読み取った付加情報記入済教材８１について、付加情報記入済教材８１に記入された採点記号８７に関する採点処理および集計処理（纏めて採点集計という）を行なう。
【０１０２】
なお、採点記号８７の記入は、一般に教育用教材８０上の複数の解答欄８４のそれぞれに対応して行なわれ、かつ教師などの採点官によって手書きでされるため、各解答欄８４に対する記入位置が必ずしも一義的に定まっている訳ではない。その一方で、採点記号８７の採点集計に当たっては、各解答欄８４と採点記号８７の記入位置との対応を明確にする必要がある。採点記号８７に関する採点集計は、各解答欄８４に対応する採点記号８７の記入結果を明確にした上で、採点記号８７の内容（正解か不正解か一部正解かなど）および各解答欄８４についての配点に基づいて行なわれるからである。
【０１０３】
このことから、採点集計部１７２は、以下に述べるような手順で、採点記号８７の採点集計を行なう。すなわち、採点集計部１７２は、「○」や「×」などの採点記号８７の外接矩形と、付加情報記入済教材８１上で解答欄８４となる領域との重なり面積を求め、その面積（外接矩形に対する面積比でも同様）が最も大きくなる採点記号８７と解答欄８４とを互いに対応付け、その採点記号８７を解答欄８４に対して記入された採点記号８７の判定結果とする。ただし、重なり面積の外接矩形に対する比が所定閾値未満の場合には、重なる部分が小さいことから、対応付けについての判定が不能であると判断する。
【０１０４】
そして、対応付けを行なった後は、採点記号８７が「○」であれば、これに対応する解答欄８４についての配点情報から特定される配点を加算し、また採点記号８７が「×」であれば、これに対応する解答欄８４についての配点加算を行なわず、このような採点集計を付加情報記入済教材８１上の全ての解答欄８４について行なう。
【０１０５】
なお、付加情報記入済教材８１上で解答欄８４となる領域は、各解答欄８４についての配点情報として、または当該配点情報と同様に、付加情報記入済教材８１に対応する文書管理サーバ３０に登録されている原本画像に含まれる記入欄位置領域情報３８によって特定されるものとする。
【０１０６】
集計結果出力部１７４は、採点集計部１７２により集計された採点集計結果と解答者抽出部１３４が抽出した解答者情報と関連付けて、処理結果保存サーバ４０（処理結果データベース装置や処理結果ファイルサーバ装置など）に登録する。あるいは、採点結果の点数を付加情報記入済教材８１の集計欄８３ｂに記入し用紙上に返却答案８１ｂとして出力して生徒などに返却できるようにする。
【０１０７】
また、第２データ処理部１７０_2は、追記済文書８Ｂの一例である付加情報記入済教材８１の画像データについて、その付加情報記入済教材８１に記入されたコメント８８を元に分類処理を行なうコメント分類処理部１７６と、コメント分類処理部１７６による分類結果を集計結果出力部１７４が出力した採点認識結果や各解答に関連付けて出力するコメント処理結果出力部１７８とを備えている。
【０１０８】
コメント分類処理部１７６は、図形形状認識部１６６によるコメント８８の追記内容の図形の側面からの認識結果や文字認識処理部１６７によるコメント８８の追記内容の文字情報の側面からの認識結果と、記入位置認識部１６８によるコメント８８の記入位置の認識結果と、コメント８８の追記内容と対応するように予め規定されている分類情報とに基づいて、文書入力装置２０が読み取った付加情報記入済教材８１について、その付加情報記入済教材８１に記入されたコメント８８の分類処理を行なう。
【０１０９】
コメント処理結果出力部１７８は、コメント分類処理部１７６による分類結果を各解答欄や集計結果出力部１７４が出力した採点認識結果と関連付けて、処理結果保存サーバ４０（処理結果データベース装置や処理結果ファイルサーバ装置など）に登録する。
【０１１０】
なお、採点集計部１７２での採点集計処理やコメント分類処理部１７６での分類処理に当たっては、完全なる自動処理にしてもよいが、ユーザ端末１７１のＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などで構成された表示部に処理過程や処理結果を表示して、適宜、操作者が処理過程や処理結果をキーボードやマウスなどの指示入力部を介して訂正できるようにしてもよい。
【０１１１】
また、本実施形態の特徴部分である認識性能改善手法提示部１８０は、手書き入力情報の履歴を収集しデータベースとしての処理結果保存サーバ４０に保存・蓄積しておく追記情報認識履歴保持部１８２と、一定の度合いよりも認識の困難であった難認識情報を抽出する難認識追記情報抽出部１８４と、所定の表示態様に従って改善態様情報をユーザ端末１７１上で提示する認識性能情報提示部１８８とを有している。
【０１１２】
追記情報認識履歴保持部１８２は、後述する第１〜第３の何れかもしくはその任意の組合せの履歴収集保存手法を採用して、手書き入力情報の履歴を収集し、この収集した手書き入力情報の履歴を処理結果保存サーバ４０に保存する。
【０１１３】
難認識追記情報抽出部１８４は、後述する第１〜第３の何れかもしくはその任意の組合せの難認識追記情報抽出手法を採用して、各種の手書き入力情報の内、自動認識が困難であったものを抽出する。
【０１１４】
認識性能情報提示部１８８は、後述する第１〜第５の何れかの認識性能情報提示手法を採用して、改善態様情報をユーザ端末１７１上でユーザに提示する。
【０１１５】
＜全体の処理手順＞
図３および図４は、情報処理システムの一実施形態である教材自動採点システム１における教材処理方法の処理動作の手順を説明する図である。ここで、図３は、その全体概要をシステム構成図と対応付けて示しており、また図４は、教材処理手順を示すフローチャートである。
【０１１６】
先ず、教育用教材８０を完成させ文書原本情報データベースＤＢ２に登録する（Ｓ１０４）。なお、各記入欄６ａに配点が設定されていない形態のテンプレート６を使用する場合には、解答欄８４として設定した記入欄６ａに関しては配点の情報も設定する。
【０１１７】
この後、試験を実施する際には、文書原本情報データベースＤＢ２から教育用教材８０を読み出して印刷し生徒や受験者に配布する（Ｓ１０６）。そして、試験終了後に、採点官は採点記号８７やコメント８８を生徒の解答に対して追記する（Ｓ１０８）。
【０１１８】
追記情報処理装置１０（特に教材自動採点システム１においては教材処理装置に該当する）を利用する場合には、先ず、生徒などによって解答者情報欄８６への氏名などの記入および解答欄８４への解答記入、つまり生徒による第１種の付加情報の記入がされ、さらに教師などによって各解答欄８４に記入された解答に対する「○」や「×」などの採点記号８７やコメント８８などの第２種の付加情報の記入がされた付加情報記入済教材８１について、文書入力装置２０は、その付加情報記入済教材８１を読み取り（Ｓ１１０）、その付加情報記入済教材８１を表わす画像データを追記情報処理装置１０に入力する（Ｓ１１２）。文書入力装置２０は、この文書入力装置２０による画像読取りによって得られた画像データについて、一旦ワークエリアとして用いられるメモリなどに保持しておく。
【０１１９】
なお、このとき、文書入力装置２０にてＡＤＦ装置を用いれば、たとえば同一学級のような１つのグループに纏めて処理すべき複数の付加情報記入済教材８１について、一括して読み取り（一括スキャン）、各付加情報記入済教材８１に対応する画像データを連続的に追記情報処理装置１０に入力することができる。
【０１２０】
追記情報処理装置１０は、文書入力装置２０から取り込んだ各付加情報記入済教材８１の画像データに対して、順次、次のような付加情報抽出・分離処理、付加情報特定処理、および自動採点処理並びに自動コメント処理といった付加情報終末処理を実行する。
【０１２１】
たとえば、データ処理部１７０における自動採点処理並びに自動コメント処理に先立って、ある１つの付加情報記入済教材８１から得られた画像データについて、読取画像処理部１１０の画像データ解析部は解析処理を行ない（Ｓ１２２）、教材特定部１２２は、その解析処理の結果に基づいて付加情報記入済教材８１に対応する元の教育用教材８０の識別特定を行なう（Ｓ１２４）。
【０１２２】
この識別特定（Ｓ１２４）は、たとえば「理科」「５年」「１．天気と気温の変化」といった識別情報解析部によるタイトル解析または識別情報欄８５に埋め込まれたコード情報についてのコード情報解析部によるコード解析を通じて行なえばよい。この識別特定を経ることで、教材特定部１２２では、文書入力装置２０により得られた付加情報記入済教材８１の画像データとの比較対象となる教育用教材８０の電子データ（原本画像）を特定することができる。
【０１２３】
なお、この識別特定は、文書入力装置２０が画像読取りを行なった複数の付加情報記入済教材８１のそれぞれについて順次行なうことも考えられるが、一般に１つのグループに纏めて処理される付加情報記入済教材８１は全て同一のものであるため、その纏めて処理される中で最初に処理される付加情報記入済教材８１についてのみ行なえばよい。
【０１２４】
教材特定部１２２により各付加情報記入済教材８１に対応する教育用教材８０の特定が完了すると、文書管理サーバ３０は、その特定結果に従いつつ、保持蓄積している中から該当する教育用教材８０の原本画像（電子データ）を取り出して、これを差分抽出部１３２へ受け渡す（Ｓ１２６）。
【０１２５】
また、歪み補正部は、ある１つの付加情報記入済教材８１から得られた画像データの歪みを補正する（Ｓ１２８）。この画像歪み補正は、文書入力装置２０での画像読取りの際に生じ得る画像歪みを補正するために行なうものであり、その後に差分抽出部１３２にて行なう原本画像との比較や差分抽出などの精度向上を図るためのものである。
【０１２６】
差分抽出部１３２は、文書管理サーバ３０から受け渡された原本画像（教育用教材８０）と、文書入力装置２０から入力され、歪み補正部により画像歪みが補正された後の画像データ（付加情報記入済教材８１）とを、それぞれ比較して、その差分を抽出する（Ｓ１３０）。差分抽出部１３２は、抽出した差分情報９を解答者抽出部１３４やデータ処理用追記情報抽出処理部１４０に渡す。
【０１２７】
差分抽出部１３２による差分抽出によって、たとえば図３中の中央部分に示すように、解答者情報欄８６および各解答欄８４への解答者による第１種の付加情報の記入内容、並びに各解答欄８４に対する採点記号８７やコメント８８などの採点官による第２種の付加情報の記入内容のみで表わされる差分情報９が抽出されることになる。
【０１２８】
解答者抽出部１３４は、差分情報９に対する文字認識処理部による文字認識処理などを通じて、文書入力装置２０で読取り対象となった付加情報記入済教材８１における解答者情報を抽出する（Ｓ１３２）。これにより、ある１つの付加情報記入済教材８１に解答を記入した解答記入者の学級、出席番号、氏名などを特定できる。
【０１２９】
また、データ処理用追記情報抽出処理部１４０において、先ず追記部材特定部１４１は、データ処理の対象となる追記情報の記入に使用されたペン色である追記色を特定し（Ｓ１４１）、データ処理対象追記情報抽出部は、追記部材特定部１４１にて特定された追記色に基づき、差分抽出部１３２による差分抽出結果に対して、データ処理用の追記情報を抽出する（Ｓ１４２）。
【０１３０】
本例の場合、各解答欄８４への採点記号８７やコメント８８の追記内容を抽出するために、その差分情報９からさらに所定色成分についてのもの、具体的にはたとえば赤色成分のものを抽出する。所定色成分の抽出は、たとえば差分抽出結果が画素データからなる場合であれば、その画素データを構成する色成分データに着目することで行なうことができる。
【０１３１】
抽出線分途切れ補正部は、データ処理対象追記情報抽出部による抽出結果に対して、細線化処理、端点抽出処理、端点間接続処理、あるいは線図形の直線近似などの追記情報整形処理を適宜実行する（Ｓ１４６）。抽出線分途切れ補正部は、途切れ補正処理済の採点記号８７の抽出結果を採点記号認識部として機能する第１データ処理用追記情報認識部１５４に渡し、また途切れ補正処理済のコメント８８の抽出結果をコメント認識部として機能する第２データ処理用追記情報認識部１６４に渡す。
【０１３２】
データ処理対象追記情報特定処理部１５０は、先ず、分離認識処理部１５５を構成する図形形状認識部１５６，１６６および文字認識処理部１５７，１６７が協働して、文書管理サーバ３０に保存されている解答欄８４の位置情報を参照して、採点記号８７とコメント８８とを分離し（Ｓ１６２）、この後、分離した採点記号８７とコメント８８の別に、記入内容の特定処理や記入位置の特定処理を実行する。
【０１３３】
図形形状認識部１５６や文字認識処理部１５７は、コメント８８と分離した採点記号８７について（Ｓ１６３−採点記号）、採点記号８７の記入内容に対する形状認識あるいは文字認識により、その採点記号８７の記入内容が「正解」であるかあるいは「不正解」であるかなど、採点記号８７で示された採点官の採点結果を特定する（Ｓ１６４）。このとき、ユーザによる修正指示を受け付ける（Ｓ１６５）。続いて、記入位置認識部１５８は、採点記号８７の記入内容について、その付加情報記入済教材８１上における記入位置を認識する（Ｓ１６６）。
【０１３４】
このようにして、記入位置認識部１５８が採点記号８７の記入位置を認識した後は、採点集計部１７２は、図形形状認識部１５６や文字認識処理部１５７による採点記号８７の記入内容の認識結果と、記入位置認識部１５８による採点記号８７の記入位置の認識結果と、文書管理サーバ３０が保持蓄積している付加情報記入済教材８１に対応する原本画像（教育用教材８０）に含まれる教育用教材８０の各解答欄８４についての配点情報とに基づいて、採点および集計を行なう（Ｓ１６８）。
【０１３５】
集計結果出力部１７４は、その採点・集計の結果を処理結果保存サーバ４０に保存する（Ｓ１６９）。あるいは採点結果の点数が付加情報記入済教材８１の集計欄８３ｂに記入されて返却答案８１ｂとして生徒などに返却される。
【０１３６】
各付加情報記入済教材８１についての採点結果（問題別採点結果）のファイル形式としては、たとえば、図３に示すように、付加情報記入済教材８１上に存在する問題の番号と、その問題の解答に対する正誤判定と、その正誤判定に基づく得点とからなる情報で、これらを互いに関連付けるテーブル形式である。また、集計結果のファイル形式としては、たとえば、図３に示すように、出席番号および解答者情報と、得点情報（集計欄８３ｂに記入される項目点や合計点）とからなる情報で、これらを互いに関連付けるテーブル形式である。
【０１３７】
各付加情報記入済教材８１上に記入される正誤判定の採点集計の結果が問題別採点結果としてファイル出力されるし、また、問題別の採点集計の結果がファイル出力されるので、処理結果保存サーバ４０では、付加情報記入済教材８１についての採点集計結果を、たとえば一覧形式で、管理または利用することが可能となる。
【０１３８】
図形形状認識部１６６や文字認識処理部１６７は、採点記号８７と分離したコメント８８について（Ｓ１６３−コメント）、コメント８８の記入内容に対する形状認識あるいは文字認識により、採点官により追記されたコメント８８の記入内容を特定する（Ｓ１７０）。このとき、ユーザによる修正指示を受け付ける（Ｓ１７１）。続いて、記入位置認識部１６８は、コメント８８の記入内容について、その付加情報記入済教材８１上における記入位置を認識する（Ｓ１７２）。
【０１３９】
このようにして、記入位置認識部１６８がコメント８８の記入位置を認識した後は、コメント分類処理部１７６は、図形形状認識部１６６や文字認識処理部１６７によるコメント８８の記入内容の認識結果と、記入位置認識部１６８によるコメント８８の記入位置の認識結果と、文書管理サーバ３０が保持蓄積している分類基準情報３９とに基づいて、コメント８８を分類する（Ｓ１７４）。
【０１４０】
コメント処理結果出力部１７８は、コメント分類処理部１７６で分類された各コメント８８を、位置が近い採点記号８７の採点結果と関連付けて（Ｓ１７８）、処理結果保存サーバ４０に保存する（Ｓ１７９）。各コメント８８についての分類結果のファイル形式としては、たとえば、図３に示すように、各コメントと近傍の採点記号８７とからなる情報で、これらを互いに関連付けるテーブル形式である。なお、実際にテーブル形式で保存することに限らず、各コメント８８と、このコメント８８と対応する採点集計結果の両者を関連付ける関連付け情報とを対応付けて保存してもよい。
【０１４１】
各付加情報記入済教材８１上に記入される採点記号８７の採点集計結果とコメント８８とが対応するようにデータ保存されるので、処理結果保存サーバ４０では、付加情報記入済教材８１についての採点集計結果とコメント８８とを、たとえば一覧形式で、管理または利用することが可能となるし、生徒の能力分析や生徒指導にコメント８８を利用できるようになる。
【０１４２】
このように、情報処理システムの一実施形態として示した教材自動採点システム１では、採点記号８７やコメント８８の記入がされた付加情報記入済教材８１から読み取った画像データと、その付加情報記入済教材８１についての元の教育用教材８０、すなわち解答欄８４への解答記入などの生徒などによる第１種の付加情報および解答に対する採点官による採点記号８７やコメント８８などの第２種の付加情報の記入がされていないものについてのデータとを比較し、互いの差分から採点記号８７やコメント８８の記入内容を分離してその記入内容を特定し、その採点記号８７についての採点集計とコメント８８についての分類処理を実行するようになっている。
【０１４３】
したがって、採点記号８７に関するデータ処理については、差分抽出部１３２で抽出される差分結果から、コメント８８の記入内容を排除して採点記号８７のみを分離してその記入内容を特定するようにしているので、同じペンで両者が追記されていても、自動採点に悪影響を及ぼすことがない。
【０１４４】
また、採点結果の自動集計を実行できるので、結果として付加情報記入済教材８１についての採点処理が省力化される。付加情報記入済教材８１を紙媒体で入手するケースでは、付加情報記入済教材８１を文書入力装置２０で読み取った画像データを基にすればよく、たとえば、複写機、複合機、またはスキャナ装置などによって実現されるスキャン機能と、パーソナルコンピュータ（ＰＣ）などのコンピュータ機器が有する情報記憶処理機能、画像処理機能および演算処理機能とがあれば、システム構成を簡単に実現することができ、専用の機器を必要とすることもない。
【０１４５】
さらには、付加情報記入済教材８１の画像データを、文書管理サーバ３０が保持する電子データと比較するため、その文書管理サーバ３０に各種の教育用教材８０についての電子データを保持蓄積しておけば、対応可能な付加情報記入済教材８１についての汎用性を十分に確保し得る。さらには、文書管理サーバ３０に予め電子データを保持蓄積しておくことで、文書管理サーバ３０から取り込んだ画像データとの比較を行なう場合において、比較対象となる電子データの入力などを行なう手間を省くことができ、結果として迅速な採点処理を実現することができる。
【０１４６】
また、コメント８８に関するデータ処理については、差分抽出部１３２で抽出される差分結果から、採点記号８７の記入内容を排除してコメント８８のみを分離してその記入内容を特定するようにしているので、同じペンで両者が追記されていても、コメント８８に関する分類処理に悪影響を及ぼすことがない。また、各採点記号８７と対応付けて処理結果保存サーバ４０に各コメント８８を保存するようにしたので、コメント８８を生徒などが確認する用途以外に、採点官自らが、能力分析や生徒指導に活用できるようになる。
【０１４７】
＜＜認識性能改善態様情報提示処理＞＞
図５〜図１０は、認識性能改善手法提示部１８０の処理の詳細、すなわち手書きで記入された文字や図形などの手書き入力情報の履歴を取る手法や、認識性能を向上させるための改善態様情報をユーザに提示する手法を説明する図である。
【０１４８】
本実施形態においては、文書原本８Ａへ手書きで記入された手書き入力情報が自動認識に適しているか否かを判定し、認識性能上問題のあるものについては、どのように記入すれば認識率が向上するかをユーザ自身が判断することのできるようなサポート情報（改善態様情報）を提示する。
【０１４９】
ここで、改善態様情報としては、認識性能を向上させるための修正手法をユーザ自身が具体的にまた容易に判断することのできるものであればよく、様々な提示態様を採ることができる。たとえば、何処をどう直せばいいかを示唆する情報を提示する態様を採ることができる。こうすることで、どのように記載すると認識性能がよくなるのかを簡単に判断することができる。
【０１５０】
あるいは、過去の記載の認識信頼度を提示する態様を採ることができる。こうすることで、どのように記載すると認識性能がどの程度になるかを容易に判断することができ、これを踏まえて、ユーザは、より認識性能がよくなる記載をすることができるようになる。
【０１５１】
何れの提示態様を採っても、認識に適した手書き入力情報の記入を促すことができ、結果的に、認識率を向上させることができる。
【０１５２】
なお、手書き入力情報の改善態様情報をユーザに提示するに当たっては、先ず、手書き入力情報の履歴を取っておき、それらの認識時の信頼度を参考にして、認識性能向上のために改善要求度合いのより強いものに関して改善態様情報を提示するようにする。換言すれば、一定の度合いよりも認識の困難であった手書き入力情報（難認識情報ともいう）についてのみ、改善態様情報を提示する。こうすることで、認識性能を一定の水準以上にできるようにするのである。認識性能が一定の水準以上にできればよく、必ずしも、手書き入力情報が理想的な基準情報と完全に一致していることは必要ないのである。
【０１５３】
手書き入力情報は、ほぼ確実に基準情報とのズレがあるから、過去に記入された全ての手書き入力情報について改善態様情報を提示していたのでは、認識性能との関係で、必要以上の情報を提示してしまう虞れがあるが、提示範囲を難認識情報の範囲に絞ることで、必要以上の情報提示を防止するのである。こうすることで、必要以上に矯正してしまう虞れを防止できる。
【０１５４】
なお、一般的には、ユーザによって記入癖が異なるので、提示すべき改善態様もユーザごとに異なるから、手書き入力情報の履歴を取る際には、ユーザごとに履歴を取っておくのが好ましい。
【０１５５】
＜履歴収集＞
図５〜図８は、追記情報認識履歴保持部１８２の処理の詳細、すなわち手書きで記入された文字や図形などの手書き入力情報の履歴を取る手法を説明する図である。
【０１５６】
ここで、手書き入力情報の履歴を収集しデータベースに保存しておく際には、どの時点で記入されたものを履歴として残しておくかによって、様々な履歴収集保存手法を採るこができる。
【０１５７】
たとえば、図５に示すように、通常の自動データ処理の過程で認識した手書き入力情報のデータを蓄積し保存していく第１の履歴収集保存手法を採ることが考えられる。
【０１５８】
第１の履歴収集保存手法を採る際には、手書き入力情報のみを元の文書原本８Ａから分離して保存することも考えられるし、手書き入力情報を含む所定範囲の画像情報をも一緒にして、つまり周囲の画像ごとに保存することも考えられる。手書き入力情報のみを保存する場合は、情報量が抑えられるため、保存コストが少なくて済む効果がある。周囲の画像ごとに保存する場合は、手書き入力に影響を与える問題文や解答欄や生徒の解答などの状況を把握できるため、その状況も含めた記入の癖を理解し修正できる効果がある。
【０１５９】
第１の履歴収集保存手法を採ると、通常の処理過程で履歴を取って保存していくことができるので、形状や位置や修正状況などのデータを利用することができる。また、特別な手間を掛けずに、採点法などの記入態様をチェックすることができる、しかも、認識の正誤も反映させることができる。ただし、当初は履歴が少なく、また、ユーザによる入力態様の改善も期待できないので認識率が低く、修正の手間が掛かる可能性はある。
【０１６０】
また、図６に示すように、通常の自動データ処理の過程ではなく、その処理開始前に、図７に示すような練習用答案などの練習用の文書原本８Ａに入力してもらい、その入力情報のデータを蓄積し保存しておく第２の履歴収集保存手法を採ることが考えられる。図中の実線で示した部分が、教材自動採点システム１において、第２の履歴収集保存手法に寄与する部分であり、解答者抽出部１３４による生徒特定や各データ処理部１７０_1，１７０_2におけるデータ処理結果の出力処理は不要である。
【０１６１】
この第２の履歴収集保存手法を採ると、練習用の記入情報を指定することができるから、修正を考慮しなくてよい。用意された練習用答案などに追記し、通常の自動採点処理を行なう過程で、記入形状も指定されるからである。また、図形形状や文字形状と位置を判定し、認識の正誤も含めて結果を提示できる利点もある。加えて、事前に採点法などの記入態様を練習することができるので、正しい形と位置とを確認でき、認識性能のよい状態での記入が期待でき、その結果として、実際の自動データ処理時には修正を要しない利点が得られる。また、白紙部分に記入させることもできるので、指定された記入情報に対する手書き入力情報のみを保存すればよいので、蓄積容量を低減できる。
【０１６２】
また、図８に示すように、自動データ処理には使用しなかった過去の追記済文書８Ｂ（たとえば過去の採点答案）における入力情報のデータを蓄積し保存する第３の履歴収集保存手法を採ることが考えられる。図中の実線で示した部分が、教材自動採点システム１において、第３の履歴収集保存手法に寄与する部分であり、文書原本特定部１２０による原本特定や、解答者抽出部１３４による生徒特定や、記入位置認識部１５８，１６８における記入位置特定や、各データ処理部１７０_1，１７０_2における自動採点処理や自動コメント分類処理並びにデータ処理結果の出力処理は不要である。
【０１６３】
なお、自動データ処理を行なっていないので、白紙の文書原本８Ａを付加して読み取ることで差分を抽出して、手書き入力情報のみを抽出するようにする。また、自動データ処理の全行程は行なわずに、形状認識や文字認識のみを行ない、結果を提示するだけにすればよい。
【０１６４】
この第３の履歴収集保存手法を採ると、過去の追記文書を利用できるため、はじめて自動データ処理を使用する場合でも、手書き入力情報に関して認識性能を改善させるための修正手法を提示することができ、実際の自動データ処理時には修正が少なくて済む利点が得られる。また、練習用の文書原本８Ａを作成する手間を省くことができる。ただし、結果の正誤は不明のため、正誤を踏まえた判定はできない。
【０１６５】
＜難認識情報抽出＞
また、一定の度合いよりも認識の困難であった難認識情報についてのみ、改善態様情報を提示するに当たっては、分離認識処理部１５５にて通常の認識処理を行ない、難認識追記情報抽出部１８４は、その認識処理時の信頼度、換言すれば候補情報（模範情報）に対する類似度に基づいて難認識情報を抽出する第１の手法を採ることが考えられる。
【０１６６】
この第１の手法を採れば、認識の正誤ではなく自動データ処理が認識困難としているものから抽出するので、これまでは認識が成功しているが誤認識に成り得る図形を把握でき、結果として、誤認識を予防する効果がある。この手法は、第１〜３の履歴収集保存手法全てに適用できる。
【０１６７】
ここで、信頼度や類似度は、手書き入力情報と予め定められた認識対象となる複数の基準情報（基準文字情報や基準図形情報）のそれぞれについての、たとえば筆順、画数、線分の方向性、あるいは線分間の位置関係、真円度、サイズ、傾き、穴の有無などの各図形の特徴を示す特徴量において、双方の類似する度合いを意味する。
【０１６８】
また、分離認識処理部１５５にての通常の認識処理後、難認識追記情報抽出部１８４は、記入者による認識処理結果に対する修正状態（具体的には修正の有無）に基づいて難認識情報を抽出する第２の手法を採ることが考えられる。修正があった場合、自動認識処理では正しい認識ができなかった（つまり誤認識があった）ことを意味すると言うことに基づくものである。
【０１６９】
この第２の手法を採れば、記入者による修正結果を用いるため、正確な情報を収集できる効果がある。これに対して、第１の手法では、信頼度が高くても実際は誤認識という場合があり得る。ただし、この第２の手法は、第１の履歴収集保存手法を採った場合のみ適用できる。
【０１７０】
また、図８に示すように、練習用の文書原本８Ａを使う場合において、「○」、「×」、「△」などの記入形状やその他の記入すべき基準情報を指定記入情報として設定しておき、難認識追記情報抽出部１８４は、その指定記入情報から外れるものを、換言すれば、認識が誤ったものを難認識情報として抽出する第３の手法を採ることが考えられる。つまり、難認識追記情報抽出部１８４は、記入すべき基準情報が指定されている練習用の文書原本８Ａから抽出された基準情報に対応する追記情報のうち、誤認識されたものを難認識情報として抽出するのである。
【０１７１】
この第３の手法を採れば、基準情報が示されているため、正確な情報を収集できる効果がある。ただし、この第３の手法は、第２の履歴収集保存手法を採った場合のみ適用出来る。
【０１７２】
ここで、自動認識処理時に、「認識が誤ったものを抽出」する際には、記入すべき基準情報と実際の認識結果が異なるものを抽出すればよい。
【０１７３】
＜改善態様情報提示手法＞
図１０は、認識性能情報提示部１８８における、認識性能を向上させるための改善態様情報をユーザに提示する手法を説明する図である。
【０１７４】
認識性能情報提示部１８８が改善態様情報をユーザ（記入者）に提示する際には、記入者のそれぞれに応じた改善態様情報を提示するのがよい。また、その際の提示手法としては、たとえば、図１０（Ａ）に示すように、認識性能情報提示部１８８は、入力図形や入力文字などの手書き入力情報と、形状認識時や文字認識時の画像変形処理結果とを並べて提示する第１の手法を採ることが考えられる。
【０１７５】
形状認識時や文字認識時には、入力された情報そのままで認識処理するのではなく、変形処理部１５６ａ，１６６ａ，１５７ａ，１６７ａにて縦横比やサイズなどの画像形状を修正した変形済情報を元にして認識処理を行なう。これは、基準情報の記入部分の大きさや縦横比を一定の状態にしてから認識処理を行なう場合に対応するものである。
【０１７６】
たとえば、基準情報としての「○」を表わそうとして記入された追記情報について形状認識や文字認識を行なう場合、記入された追記情報が縦長や横長であるときに、その追記情報の画像の縦横比を１対１に変形（修正）したり、斜めに（傾いて）記入されているときに回転させたり、全体の大きさを一定の大きさに修正したりして変形済情報を生成してから、この変形済情報について認識処理する場合である。
【０１７７】
よって、記入した手書き入力情報が、どのように変形された後に認識されているかを視覚化して示すことで、変形済み情報の生成によって修正される記入癖と、修正されずに残り認識に悪影響を及ぼす記入癖を区別することができるため、どのような点に注意して記入すればよいかが明確になる効果が得られる。
【０１７８】
また、図１０（Ｂ）に示すように、認識性能情報提示部１８８は、手書き入力情報に対応する理想の基準情報（たとえば採点記号８７用の基準図形やコメント８８に使われる基準文字）と難認識情報とについて、筆順、画数、線分の方向性、あるいは線分間の位置関係などの特徴量の組合せから基準情報に対する認識処理の信頼度（類似度）を求めて、その信頼度の大小を基準情報からの距離に置き換えて（対応させて）、その対応する距離の位置に難認識情報を配置して視覚的に提示する第２の手法を採ることが考えられる。
【０１７９】
この第２の手法を採れば、人の見た目でなくデータ処理から見た順位付けがなされるので、自分の記入した形状の中から認識に適するものを的確に選択できる効果がある。
【０１８０】
また、図１０（Ｃ）に示すように、追記情報認識履歴保持部１８２による履歴収集によって保存した全ての手書き入力情報について、文字や図形や線分ごとに、認識し易いものから認識し難いものに、順に並べて、傾向を視覚化して提示する、つまり認識の難易度合いを順序立てて表示する第３の手法を採ることが考えられる。認識の難易度合いは、基準情報に対する信頼度とほぼ一定の対応関係があると考えてよいので、各難認識情報の基準情報に対する信頼度を順序立てて表示することになる。
【０１８１】
この第３の手法を採れば、第２の手法と同様に、人の見た目でなくデータ処理から見た順位付けがなされるので、自分の記入した形状の中から認識に適するものを的確に選択できる効果がある。
【０１８２】
また、図１０（Ｄ）に示すように、特徴量に基づいて認識処理を行なう場合に、特徴をタイプ別に分類し提示するに当たり、誤認識のタイプと改善法を予め設定しておき、認識時の特徴量の傾向からタイプに分類し、改善法をアドバイスする第４の手法を採ることが考えられる。単に誤認識の理由を提示するに留まらず、誤認識の原因となる特徴量が何かを区別して、その改善手法を提示するのである。
【０１８３】
この第４の手法を採れば、順位付けなどの視覚化によって間接的に改善を促すのではなく直接改善方法を提示するため、記入者が注意し易くなり改善効果が向上する効果がある。
【０１８４】
また、図示を割愛するが、特徴量に基づいて認識処理を行なう場合に、特徴をタイプ別に分類し提示するに当たり、手書き入力情報ごとに理想的な特徴量を規定しておき、そこから離れているものを指摘する第５の手法を採ることが考えられる。
【０１８５】
この第５の手法を採れば、第４の手法と同様に、順位付けなどの視覚化によって間接的に改善を促すのではなく直接改善方法を提示するため、記入者が注意し易くなり改善効果が向上する効果がある。
【０１８６】
何れの提示態様においても、複数の情報を比較した提示にすれば、手書き入力情報の形状などの不適切な部分を確実に把握し、正確な図形や文字の形状などを確実に学習することができる。
【０１８７】
＜追記情報処理装置；計算機構成＞
図１１は、追記情報処理装置１０の他の構成例を示すブロック図である。ここでは、パーソナルコンピュータなどの電子計算機を利用して、追記情報処理をソフトウェアで実行するマイクロプロセッサなどから構築されるより現実的なハードウェア構成を示している。
【０１８８】
すなわち、本実施形態において、追記情報に関するデータ処理を実行する仕組みは、ハードウェア処理回路により構成することに限らず、その機能を実現するプログラムコードに基づき電子計算機（コンピュータ）を用いてソフトウェア的に実現することも可能である。
【０１８９】
よって、本発明に係る仕組みを、電子計算機（コンピュータ）を用いてソフトウェアで実現するために好適なプログラムあるいはこのプログラムを格納したコンピュータ読取可能な記憶媒体を発明として抽出することもできる。ソフトウェアにより実行させる仕組みとすることで、ハードウェアの変更を伴うことなく、処理手順などを容易に変更できる利点を享受できるようになる。
【０１９０】
電子計算機に、追記情報に関するデータ処理機能をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ（組込マイコンなど）、あるいは、ＣＰＵ（Central Processing Unit ）、論理回路、記憶装置などの機能を１つのチップ上に搭載して所望のシステムを実現するＳＯＣ（System On a Chip：システムオンチップ）、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１９１】
記録媒体は、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気などのエネルギの状態変化を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。
【０１９２】
たとえば、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクＦＤを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、ＤＶＤ（Digital Versatile Disc）を含む）、光磁気ディスク（ＭＤ（Mini Disc ）を含む）、または半導体メモリなどよりなるパッケージメディア（可搬型の記憶媒体）により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭやハードディスクなどで構成されてもよい。
【０１９３】
また、ソフトウェアを構成するプログラムは、記録媒体を用いずに、記録媒体を介して提供されることに限らず、有線あるいは無線などの通信網を介して提供されてもよい。
【０１９４】
たとえば、追記情報に関するデータ処理機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、ハードウェア処理回路にて構成する場合と同様の効果は達成される。この場合、記憶媒体から読み出されたプログラムコード自体が追記情報に関するデータ処理機能を実現する。
【０１９５】
また、コンピュータが読み出したプログラムコードを実行することで、追記情報に関するデータ処理機能が実現されるだけでなく、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（Operating Systems ；基本ソフト）などが実際の処理の一部または全部を行ない、その処理により追記情報に関するデータ処理機能が実現される場合であってもよい。
【０１９６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって追記情報に関するデータ処理機能が実現される場合であってもよい。
【０１９７】
なお、追記情報に関するデータ処理機能を実現するプログラムコードを記述したファイルとしてプログラムが提供されるが、この場合、一括のプログラムファイルとして提供されることに限らず、コンピュータで構成されるシステムのハードウェア構成に応じて、個別のプログラムモジュールとして提供されてもよい。
【０１９８】
たとえば、コンピュータシステム９００は、コントローラ部９０１と、ハードディスク装置、フレキシブルディスク（ＦＤ）ドライブ、あるいはＣＤ−ＲＯＭ（Compact Disk ROM）ドライブ、半導体メモリコントローラなどの、所定の記憶媒体からデータを読み出したり記録したりするための記録・読取制御部９０２とを有する。
【０１９９】
コントローラ部９０１は、ＣＰＵ（Central Processing Unit ）９１２、読出専用の記憶部であるＲＯＭ（Read Only Memory）９１３、随時書込みおよび読出しが可能であるとともに揮発性の記憶部の一例であるＲＡＭ（Random Access Memory）９１５、および不揮発性の記憶部の一例であるＲＡＭ（ＮＶＲＡＭと記述する）９１６を有している。
【０２００】
なお、上記において“揮発性の記憶部”とは、装置の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。
【０２０１】
また、半導体製のメモリ素子により構成することに限らず、磁気ディスクや光ディスクなどの媒体を利用して構成してもよい。たとえば、ハードディスク装置を不揮発性の記憶部として利用できる。また、ＣＤ−ＲＯＭなどの記録媒体から情報を読み出す構成を採ることでも不揮発性の記憶部として利用できる。
【０２０２】
また、コンピュータシステム９００は、ユーザインタフェースをなす機能部としての指示入力部９０３と、操作時のガイダンス画面や処理結果などの所定の情報をユーザに提示する表示出力部９０４と、各機能部との間のインタフェース機能をなすインタフェース部（ＩＦ部）９０９とを有する。
【０２０３】
なお、データ処理結果を印刷出力してユーザに提示する構成とするべく、処理結果を所定の出力媒体（たとえば印刷用紙）に出力する画像形成部９０６を設けることもできる。
【０２０４】
指示入力部９０３としては、たとえば、ユーザインタフェース部９８５の操作キー部９８５ｂを利用することができる。あるいは、キーボードやマウスなどを利用することもできる。
【０２０５】
表示出力部９０４は、表示制御部９１９と表示装置とを備える。表示装置としては、たとえば、ユーザインタフェース部９８５の操作パネル部９８５ａを利用することができる。あるいは、ＣＲＴ（Cathode Ray Tube；陰極線管）やＬＣＤ（Liquid Crystal Display；液晶）などでなるその他のディスプレイ部を利用することもできる。
【０２０６】
たとえば、表示制御部９１９が、操作パネル部９８５ａやディスプレイ部上に、ガイダンス情報や文書入力装置２０が取り込んだ全体画像などを表示させる。また、各種の情報をユーザに通知する際の表示デバイスとしても利用される。なお、表示面上にタッチパネルを有するディスプレイ部とすることで、指先やペンなどで所定の情報を入力する指示入力部９０３を構成することもできる。
【０２０７】
インタフェース部９０９としては、処理データ（画像データを含む）や制御データの転送経路であるシステムバス９９１の他、たとえば、画像形成部９０６や他のプリンタとのインタフェース機能をなすプリンタＩＦ部９９６、およびネットワークとの間の通信データの受け渡しを仲介する通信ＩＦ部９９９を有している。
【０２０８】
このような構成において、ＣＰＵ９１２は、システムバス９９１を介してシステム全体の制御を行なう。ＲＯＭ９１３は、ＣＰＵ９１２の制御プログラムなどを格納する。ＲＡＭ９１５は、ＳＲＡＭ（Static Random Access Memory ）などで構成され、プログラム制御変数や各種処理のためのデータなどを格納する。また、ＲＡＭ９１５は、所定のアプリケーションプログラムに従って演算して得たデータや外部から取得したデータなどを一時的に格納する領域を含んでいる。
【０２０９】
たとえば、追記情報に関するデータ処理機能をコンピュータに実行させるプログラムは、ＣＤ−ＲＯＭなどの記録媒体を通じて配布される。あるいは、このプログラムは、ＣＤ−ＲＯＭではなくＦＤに格納されてもよい。また、ＭＯドライブを設け、ＭＯに前記プログラムを格納してもよく、またフラッシュメモリなどの不揮発性の半導体メモリカードなど、その他の記録媒体にプログラムを格納してもよい。さらに、他のサーバなどからインターネットなどのネットワークを経由してプログラムをダウンロードして取得したり、あるいは更新したりしてもよい。
【０２１０】
なおプログラムを提供するための記録媒体としては、ＦＤやＣＤ−ＲＯＭなどの他にも、ＤＶＤなどの光学記録媒体、ＭＤなどの磁気記録媒体、ＰＤなどの光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアカードなどの半導体メモリを用いることができる。記録媒体の一例としてのＦＤやＣＤ−ＲＯＭなどには、追記情報に関するデータ処理機能を実現する際の、一部または全ての機能を格納することができる。
【０２１１】
また、ハードディスク装置は、制御プログラムによる各種処理のためのデータを格納したり、自装置で取得したデータや外部から取得したデータなどを大量に一時的に格納したりする領域を含んでいる。
【０２１２】
このような構成により、操作キー部９８５ｂを介した操作者による指令にて、前述の追記情報処理方法を実行するプログラムが記憶されているＣＤ−ＲＯＭなどの読取可能な記録媒体からＲＡＭ９１５に追記情報処理プログラムがインストールされ、また操作キー部９８５ｂを介した操作者による指令や自動処理にて追記情報処理プログラムが起動される。たとえば、教材自動採点システム１を実現する場合であれば、教材処理プログラムでは、所定色成分、具体的にはたとえば赤色成分の差分抽出結果を、採点記号８７やコメント８８の記入内容として認識し、かつ両者を分離するようにする処理ステップなどが記述されたプログラムが起動される。
【０２１３】
ＣＰＵ９１２は、この追記情報処理プログラムに従って前述の追記情報処理方法に伴う計算処理を施し、処理結果をＲＡＭ９１５やハードディスクなどの記憶装置に格納し、必要により操作パネル部９８５ａ、あるいはＣＲＴやＬＣＤなどの表示装置に出力する。追記情報処理方法を実行するプログラムが記録した記録媒体を用いることにより、既存のシステムを変えることなく、追記情報処理システムを汎用的に構築することができる。
【０２１４】
なお、このようなコンピュータを用いた構成に限らず、図２を用いて示した各機能部の処理をなす専用のハードウェアの組合せにより、追記情報に関するデータ処理機能を行なう追記情報処理装置１０を構成することもできる。
【０２１５】
また、たとえば、追記情報に関するデータ処理機能のための各機能部分の全ての処理をソフトウェアで行なうのではなく、これら機能部分の一部を専用のハードウェアにて行なう処理回路９０８を設けてもよい。ソフトウェアで行なう仕組みは、並列処理や連続処理に柔軟に対処し得るものの、その処理が複雑になるに連れ、処理時間が長くなるため、処理速度の低下が問題となる。
【０２１６】
これに対して、ハードウェア処理回路で行なうことで、高速化を図ったアクセラレータシステムを構築することができるようになる。アクセラレータシステムは、処理が複雑であっても、処理速度の低下を防ぐことができ、高いスループットを得ることができる。
【０２１７】
たとえば、追記情報に関するデータ処理機能を実現する場合であれば、処理回路９０８としては、図２に示した読取画像処理部１１０に相当する読取画像処理部９０８ａ、文書原本特定部１２０に相当する文書原本特定部９０８ｂ、追記情報抽出部１３０に相当する追記情報抽出部９０８ｃ、データ処理対象追記情報特定処理部１５０に相当するデータ処理対象追記情報特定処理部９０８ｄ、あるいはデータ処理部１７０に相当するデータ処理部９０８ｅなどをハードウェアで構成するとよい。
【産業上の利用可能性】
【０２１８】
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０２１９】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０２２０】
たとえば、歪み補正処理や途切れ補正処理などは、必ずしも必須ではない。また、採点記号８７の採点集計に当たって、各解答欄８４と採点記号８７の記入位置とを対応付ける場合に、本実施形態で説明したような採点記号８７の外接矩形と解答欄８４の領域との重なり面積を求めるのではなく、たとえばそれぞれの中心座標の距離から対応付けを行なったり、あるいは単にそれぞれの間で重なる部分があるか否かによって対応付けを行なったりすることも考えられる。
【０２２１】
また、処理対象の追記済文書８Ｂの一例として、自動採点集計処理の仕組みに利用される付加情報記入済教材８１を例に説明したが、これは一例に過ぎず、データ処理対象となる追記情報（特に手書きのもの）が含まれているものであれば、その文書の種別は問わない。たとえば、自動帳票処理の仕組みに利用される記入済帳票（特開平５−３４２２３９号公報や平６−２７４１５６号公報を参照）や個人情報管理（特にスケジュール管理ともいう）の仕組みに利用される付加情報記入済手帳（特開平５−２１６９３２号公報を参照）などであってもよい。
【０２２２】
また、先にも述べたが、処理対象の追記済文書８Ｂは、紙媒体を用いることに限定されず、最初から追記済文書８Ｂを電子データの形式で入手する態様の場合であっても、データ処理対象となる追記情報が含まれているものであれば、上述した仕組みを同様に適用することができる。
【図面の簡単な説明】
【０２２３】
【図１】本発明に係る追記情報処理において処理対象とする文書の一例である教育用教材を示す図である。
【図２】本発明に係る追記情報処理装置を備えてなる情報処理システムの一実施形態の構成例を示す図である。
【図３】教材自動採点システムにおける教材処理方法の全体概要をシステム構成図と対応付けて示した図である。
【図４】教材自動採点システムにおける全体の処理手順を示すフローチャートである。
【図５】追記情報認識履歴保持部における、第１の履歴収集保存手法を説明する図である。
【図６】追記情報認識履歴保持部における、第２の履歴収集保存手法を説明する図である。
【図７】第２の履歴収集保存手法にて使用される文書原本の一例を示す図である。
【図８】追記情報認識履歴保持部における、第３の履歴収集保存手法を説明する図である。
【図９】難認識追記情報抽出部における難認識情報抽出処理を説明する図である。
【図１０】認識性能情報提示部における改善態様情報提示手法を説明する図である。
【図１１】追記情報処理装置を、電子計算機を用いて構成する場合のハードウェア構成の一例を示した図である。
【符号の説明】
【０２２４】
１…教材自動採点システム、８Ａ…文書原本、８Ｂ…追記済文書、９…差分情報、１０…追記情報処理装置、２０…文書入力装置、３０…文書管理サーバ、４０…処理結果保存サーバ、８０…教育用教材、８１…付加情報記入済教材、８７…採点記号、８８…コメント、１１０…読取画像処理部、１２０…文書原本特定部、１２２…教材特定部、１３０…追記情報抽出部、１３２…差分抽出部、１３４…解答者抽出部、１３６…手書き情報切出部、１３８…文字認識処理部、１４０…データ処理用追記情報抽出処理部、１４２…データ処理対象追記情報抽出部、１４６…追記情報整形部、１４８…抽出線分途切れ補正部、１５０…データ処理対象追記情報特定処理部、１５４…第１データ処理用追記情報認識部、１５５…分離認識処理部、１５６…図形形状認識部、１５７…文字認識処理部、１５８…記入位置認識部、１６４…第２データ処理用追記情報認識部、１６６…図形形状認識部、１６７…文字認識処理部、１５６ａ，１６６ａ、１５７ａ，１６７ａ…変形処理部、１６８…記入位置認識部、１７０…データ処理部、１７０_1…第１データ処理部、１７０_2…第２データ処理部、１７１…ユーザ端末、１７２…採点集計部、１７４…集計結果出力部、１７６…コメント分類処理部、１７８…コメント処理結果出力、１８０…認識性能改善手法提示部、１８２…追記情報認識履歴保持部、１８４…難認識追記情報抽出部、１８８…認識性能情報提示部
【図１】
2008003739.tif 000003
【図２】
2008003739.tif 000004
【図３】
2008003739.tif 000005
【図４】
2008003739.tif 000006
【図５】
2008003739.tif 000007
【図６】
2008003739.tif 000008
【図７】
2008003739.tif 000009
【図８】
2008003739.tif 000010
【図９】
2008003739.tif 000011
【図１０】
2008003739.tif 000012
【図１１】
2008003739.tif 000013