(57)【要約】【課題】文書データの清書作業を適切に支援することのできる清書支援プログラム及び清書支援方法の提供を目的とする。【解決手段】清書対象とされた文書データの画像を表示装置に表示させる画像表示手順と、前記文書データに対する清書文字列の入力を受け付ける清書文字列入力手順と前記画像に対する文字認識結果に対して前記清書文字列をキーワードとする検索処理を実行し、検索された文字列の前記画像上における位置情報を前記文字認識結果より取得する検索手順と、前記検索手順において取得された前記位置情報に係る部分の表示態様を変更する表示態様変更手順とをコンピュータに実行させ、前記表示態様変更手順は、前記位置情報に係る部分の中で前記文字認識結果の確信度が所定値よりも低い文字に係る部分を識別可能なように表示態様の変更を行う。【選択図】図９
2010170461.tif 000002
【特許請求の範囲】
【請求項１】
清書対象とされた文書データの画像を表示装置に表示させる画像表示手順と、
前記文書データに対する清書文字列の入力を受け付ける清書文字列入力手順と
前記画像に対する文字認識結果に対して前記清書文字列をキーワードとする検索処理を実行し、検索された文字列の前記画像上における位置情報を前記文字認識結果より取得する検索手順と、
前記検索手順において取得された前記位置情報に係る部分の表示態様を変更する表示態様変更手順とをコンピュータに実行させ、
前記表示態様変更手順は、前記位置情報に係る部分の中で前記文字認識結果の確信度が所定値よりも低い文字に係る部分を識別可能なように表示態様の変更を行う清書支援プログラム。
【請求項２】
前記清書文字列を複数の部分文字列に分割する分割手順を有し、
前記検索手順は、前記部分文字列ごとに前記検索処理を実行し、該部分文字列ごとに検索された文字列の前記位置情報を取得する請求項１記載の清書支援プログラム。
【請求項３】
前記部分文字列ごとに検索された文字列の前記位置情報に基づいて、前記部分文字列ごとに検索された文字列が前記画像上において連続した文字列であるかを判定する判定手順を有し、
前記表示態様変更手順は、前記部分文字列ごとに検索された文字列が前記画像上において連続した文字列であると判定された場合に表示態様の変更を行う請求項２記載の清書支援プログラム。
【請求項４】
前記検索手順は、前記清書文字列の末尾からの一部分を利用して前記検索処理を実行する請求項１乃至３いずれか一項記載の清書支援プログラム。
【請求項５】
前記検索手順において取得された前記位置情報に係る部分の末端から所定の範囲に対する文字認識によって得られる文字列を次の入力候補として表示させる入力候補表示手順を有する請求項１乃至４いずれか一項記載の清書支援プログラム。
【請求項６】
コンピュータが実行する清書支援方法であって、
清書対象とされた文書データの画像を表示装置に表示させる画像表示手順と、
前記文書データに対する清書文字列の入力を受け付ける清書文字列入力手順と
前記画像に対する文字認識結果に対して前記清書文字列をキーワードとする検索処理を実行し、検索された文字列の前記画像上における位置情報を前記文字認識結果より取得する検索手順と、
前記検索手順において取得された前記位置情報に係る部分の表示態様を変更する表示態様変更手順とを有し、
前記表示態様変更手順は、前記位置情報に係る部分の中で前記文字認識結果の確信度が所定値よりも低い文字に係る部分を識別可能なように表示態様の変更を行う清書支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、清書支援プログラム及び清書支援方法に関し、特にテキスト以外のデータ形式で文字列を含む文書データの清書作業を支援する清書支援プログラム及び清書支援方法に関する。
【背景技術】
【０００２】
近年、多くの業務は計算機上でのデータ処理によって行われているが、帳票の受け渡し等に紙が使われることも依然として多い。例えば、銀行や保険会社等において利用される契約書等に顧客が記入する際には紙に手書きで筆記することがほとんどである。
【０００３】
手書き文字又は活字の別を問わず紙文書に書かれた文字列を計算機でデータ処理するためには、紙文書に書かれた文字列をテキスト文字列に変換する必要がある。紙文書に書かれた文字列をテキスト文字列に自動的に変換する技術としてＯＣＲ（Optical Character Recognition）技術がある。ＯＣＲ技術では、一般的に文書画像から文字列を含む行を切り出し、行を構成する文字の区切り位置を推定して、一文字ごとに文字画像を生成する。更に文字画像を認識して文字認識結果を出力することにより、文書画像からテキスト文字列を抽出する。ＯＣＲ技術により文書画像から文字列を認識する技術は様々な例があり（例えば、特許文献１）、製品も多数販売されている。
【０００４】
但し、文字認識結果には誤りがあるため修正作業が必要とされる。特に、認識対象が手書き文字の場合や、帳票画像の画質が悪い場合等には高い認識精度が得られず、修正作業が多くなる。文書画像中の文字が多い場合、文字認識結果をオペレータが目視で確認して正解か否かを判断するのは非常に大変な作業であり、誤りを見過ごす可能性も高い。したがって、文書認識システムは導入されていても実際には使われず、オペレータが全て手で入力している場合が少なくない。
【０００５】
紙文書に書かれた文字列をテキスト文字列として計算機に入力する作業は清書作業と呼ばれる。従来、清書作業においては、オペレータの作業効率を上げるため、紙文書をそのまま参照するのではなく、紙文書をスキャナ等で画像データ（以下、「文書画像」という。）に変換し、文書画像をテキスト入力領域と同一画面上に表示しながら、テキストを入力するといったことが行われている。
【０００６】
例えば、図１は、文書画像とテキスト入力画面とが同一画面上に表示された例を示す図である。同図の例では、画面の左側に文書画像が表示され、右側にテキスト入力領域が表示されている。
【０００７】
また、図２に示されるように、画面上に表示された文書画像において、入力対象の文字列の近くに入力用ウィンドウを配置してテキスト入力を行うこともある。
【０００８】
また、オペレータが実際に入力しなければならない文字数を減らすための技術も存在する。その一例が、一般に予測入力と呼ばれるもので、近年の携帯電話における文字入力機能として多くの機種に搭載されているものである。予測入力は、キーボード等によって入力された文字列の直後に連結する可能性のある単語や文字列を予測し、次の入力候補として提示するというものである。ユーザが入力したい文字列が入力候補として提示されれば、ユーザはその文字列を選択することによって文字入力操作の負担を軽減することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平７−２６２３１７号公報
【特許文献２】特開昭６１−０７４０８号公報
【特許文献３】特開平７−１６０７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、オペレータが手入力で清書する場合、例えば図１のような画面では、文書中の参照位置と入力位置が離れているため、現在どの部分を入力しているのかが分かりづらいという問題がある。一方、図２のように入力位置を文書画像の上に置いた場合は入力用ウィンドウが文書を隠すため、ウィンドウを動かす等の操作が必要とされ、煩雑であるという問題がある。
【００１１】
入力文字列が短ければ、キーワード検索機能によって文書中のどこに入力文字列が有るかを見つけることができる。図３は、キーワード検索によって入力文字列が存在する箇所が提示される例を示す図である。同図ではキーワードとして「東京都」が入力され、文書中の２箇所から「東京都」と一致する領域が検索されて点線で強調表示されている。このようなキーワード検索は、文書データをＯＣＲ技術でテキストに変換してから検索したのでは、認識誤りによって検索漏れが生ずる。そこで、特許文献３では、ＯＣＲ技術による認識結果から一文字ごとの認識候補を取得し、認識候補を参考にキーワードを検索式に変換することにより検索漏れを解消している。これは、例えば「コンピュータ」というキーワードのうち「ン」がカタカナの「ニ」や「ソ」（＝「そ」）に誤り易いという情報に基づき、「コンピュータ  ＯＲ  コニピュータ  ＯＲ  コソピュータ」のような条件式を作成するものである。但し、このような方法は、キーワードが長い場合には検索式が膨大な種類となるため実用的ではなく、あくまで短い文字列の検索に適した方法だと言える。したがって、長い文字列が入力される清書作業に特許文献３の技術をそのまま適用したのでは、実用的な性能が得られないという問題がある。
【００１２】
オペレータが手入力する場合のもう一つの問題点として、入力ミスに気付きにくいということが挙げられる。キーボードによる手入力は一般的にＯＣＲ技術による文字認識よりも誤りは少ないが、誤りが完全に無くなるわけではない。ＯＣＲ技術については認識誤りの可能性が高い箇所を検出するような技術も開示されているが（例えば、特許文献２）、オペレータによる手入力の誤りを検出する技術は開示されていない。また、特に日本語の場合は仮名漢字変換を用いて文字列を入力することが多いため、入力した文字列は部分的には日本語として成立していることが多く、ユーザが誤りに気付きにくいという面もある。
【００１３】
更に、手入力による清書作業は入力にかかる工数が大きく、オペレータの作業負担や業務コストの増加等の問題がある。予測入力は、斯かる問題を緩和させる手段の一つとして捉えられる。しかし、汎用辞書によって次の単語が予測された場合には仮名漢字変換による入力と同様に、日本語として尤もらしい文字列が提示されるために入力誤りに気付きにくいという問題がある。一方、ユーザが過去に使用した文字列を用いて予測を行う場合、つまりユーザ予測辞書によって予測された場合には、同じ文書中で使用されやすい単語が提示されるため誤りの可能性は低くなるが、同一文書においてある程度の量を入力した後でないと有効ではない。例えば図１に示した文書例では「東京都」や「外国」等の単語は複数回使われているので予測できる可能性はあるが、それ以外の単語はほとんど一回しか出現していない。したがって、ユーザ予測辞書による入力工数削減効果はほとんど期待できない。
【００１４】
本発明は、上記の点に鑑みてなされたものであって、文書データの清書作業を適切に支援することのできる清書支援プログラム及び清書支援方法の提供を目的とする。
【課題を解決するための手段】
【００１５】
そこで上記課題を解決するため、清書支援プログラムは、清書対象とされた文書データの画像を表示装置に表示させる画像表示手順と、前記文書データに対する清書文字列の入力を受け付ける清書文字列入力手順と前記画像に対する文字認識結果に対して前記清書文字列をキーワードとする検索処理を実行し、検索された文字列の前記画像上における位置情報を前記文字認識結果より取得する検索手順と、前記検索手順において取得された前記位置情報に係る部分の表示態様を変更する表示態様変更手順とをコンピュータに実行させ、前記表示態様変更手順は、前記位置情報に係る部分の中で前記文字認識結果の確信度が所定値よりも低い文字に係る部分を識別可能なように表示態様の変更を行う。
【００１６】
このような清書支援プログラムでは、文書データの清書作業を適切に支援することができる。
【発明の効果】
【００１７】
文書データの清書作業を適切に支援することができる。
【図面の簡単な説明】
【００１８】
【図１】文書画像とテキスト入力画面とが同一画面上に表示された例を示す図である。
【図２】入力対象の文字列の近くに入力用ウィンドウが配置された例を示す図である。
【図３】キーワード検索によって入力文字列が存在する箇所が提示される例を示す図である。
【図４】本実施の形態において入力位置の視認性を向上させた例を説明するための図である。
【図５】本実施の形態において入力ミスを認識させる方法を説明するための図である。
【図６】本実施の形態において入力テキスト数を削減する方法を説明するための図である。
【図７】本発明の実施の形態における清書支援装置のハードウェア構成例を示す図である。
【図８】第一の実施の形態における清書支援装置の機能構成例を示す図である。
【図９】第一の実施の形態の清書支援装置による処理手順を説明するためのフローチャートである。
【図１０】中間データを説明するための概念図である。
【図１１】中間データの構成例を示す図である。
【図１２】オンライン筆跡データから文書画像への変換例を示す図である。
【図１３】清書テキストの分割例を示す図である。
【図１４】キーワード検索部による検索結果データの例を示す図である。
【図１５】各検索結果データを対応する部分文字列の順番に並べた全ての組み合わせを説明するための図である。
【図１６】背景色を判定するためのキーワード検出領域の周囲の画素走査例を示す図である。
【図１７】背景色を変化させることによる強調表示の例を示す図である。
【図１８】文字列一致度の算出処理の処理手順を説明するためのフローチャートである。
【図１９】２番目以降の検索結果データが示すキーワード検出領域の先端位置の推定例を示す図である。
【図２０】推定位置の近傍座標が検索結果データの示すキーワード検出領域に含まれるか否かの判定結果の例を示す図である。
【図２１】文字列一致度評価部によって判定される共起関係の意味を説明するための図である。
【図２２】第二の実施の形態の清書支援装置による処理手順を説明するためのフローチャートである。
【図２３】第二の実施の形態における強調表示の第一の例を示す図である。
【図２４】第二の実施の形態における強調表示の第二の例を示す図である。
【図２５】第三の実施の形態の清書支援装置による処理手順を説明するためのフローチャートである。
【図２６】第四の実施の形態における清書支援装置の機能構成例を示す図である。
【図２７】第四の実施の形態の清書支援装置による処理手順を説明するためのフローチャートである。
【図２８】入力対象範囲の例を示す図である。
【図２９】第五の実施の形態における清書支援装置の機能構成例を示す図である。
【図３０】文字列予測部の構成例を示す図である。
【図３１】第五の実施の形態の清書支援装置による処理手順を説明するためのフローチャートである。
【図３２】強調対象とされる文字列が属する行の上下一行を除いた他の部分について背景色が変えられた例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面に基づいて本発明の実施の形態を説明する。まず、入力位置が分かりづらいという問題に対する本実施の形態における解決方法の概要を説明する。
【００２０】
図４は、本実施の形態において入力位置の視認性を向上させた例を説明するための図である。同図に示されるように、本実施の形態の清書支援装置は、文書参照画面５１０及び清書画面５２０は水平方向に配列して表示装置に表示させる。
【００２１】
文書参照画面５１０は、清書対象の文書データ（電子文書）を表示させる画面である。文書データは、テキスト形式（文字コードによって文字が記録されているデータ形式）以外のデータ形式で文字列を含むデータであり、例えば、紙文書をスキャナ等で読み込むことによって生成される画像データ（以下、「文書画像」という。））等がそれに該当する。但し、文書データ３０は、必ずしも画像データに限定されない。例えば画面上にペン入力によって筆記された筆跡が座標点列として保存されたデータ（以下、「オンライン筆跡データ」という。）等であってもよい。
【００２２】
一方、清書画面５２０は、文書データに対応するテキスト文字列を入力するための画面である。なお、本実施の形態において、「清書」とは、テキスト化（文字コード化）されていない文字列情報をテキスト化することをいう。なお、文書参照画面５１０と清書画面５２０は、同一ディスプレイ上に表示されていればよく、必ずしも水平方向の隣り合っていなくてもよい。例えば、垂直方向に配列されていてもよい。
【００２３】
同図（Ａ）では、清書画面５２０に「東京都、」と入力された例が示されている。この時点で入力テキストと同一又は類似の文字列は文書データ中に２箇所に存在する。一つ目は完全に一致する「東京都、」であり、二つ目は読点（、）が抜けた「東京都」である。本実施の形態の清書支援装置は、文書データ中において、入力テキストと同一又は類似の文字列（すなわち、入力テキストとほぼ一致（完全一致も含む。）する文字列）が存在する箇所（領域）を強調表示する。同図の例では、文書データ中の文字列の周囲が破線で囲まれると共に、実線による下線が引かれている。
【００２４】
続いて、図４（Ｂ）では「東京都、外国、」まで入力が進んだ状態が示されている。（Ａ）において強調表示された２箇所のうち２番目の箇所に続く文字列は「外国、」とは一致しない。そこで、清書支援装置は、２番目の箇所は一致しない範囲が長いため、入力テキストと対応が付かないと判断し、２番目の箇所を強調表示の対象から除外する。このように、入力テキストに対応した部分が強調表示されることにより、ユーザは文書データ中における入力位置を容易に見つけることができる。その結果、清書作業を効率化することができる。
【００２５】
次に、ユーザがテキストの入力ミスに気付きにくいという問題に対する本実施の形態における解解決方法の概要を説明する。図４では入力テキストと同一又は類似の文字列を含む領域が点線で強調されると共に、文字列には下線が表示されている。本実施の形態の清書支援装置は、当該下線を、入力テキストの中の文字と一致した部分のみに表示させる。したがって、入力ミス等によって文書データと一致しない文字が入力された場合、清書支援装置は、当該文字対して下線を表示させない。
【００２６】
図５は、本実施の形態において入力ミスを認識させるための表示例を示す図である。同図では、清書画面５２０において、「埼玉県」が誤って「彩玉県」と入力された例が示されている。この場合、清書支援装置は、文書参照画面５１０において「埼」の部分には下線を表示させない。その結果、入力テキストと一致した文字列の中に、部分的に一致しない文字が存在することをユーザに分かり易く示すことができる。但し、これはあくまで警告であって、入力ミスがあるとシステムが断言しているわけではない。しかし、入力ミスの可能性がある部分を注目させるきっかけとなるため、入力ミスを即座に発見させることが可能となる。
【００２７】
更に、本実施の形態において入力テキスト数を削減する方法の概要を説明する。図６は、本実施の形態において入力テキスト数を削減する方法を説明するための図である。
【００２８】
同図では、文書データ中の「東京都、外国、埼玉県が」までが入力テキストとほぼ一致する文字列として検索された状態が示されている。この状態において、本実施の形態の清書支援装置は、現在検索された文字列は一つだけなので、続いて入力されるテキストは「埼玉県が」に続く文字列であると推定する。そこで、清書支援装置は、「埼玉県が」に続く領域についてＯＣＲ（Optical Character Recognition）技術による文字認識を実行し、認識結果として得られた文字列を予測入力における入力候補として清書画面５２０に表示させる。その結果、ユーザは、次に入力する文字列（「転入」）を入力候補より選択すればよく、入力テキスト数を削減することができる。なお、文書データ中において検索された文字の文書画像中における位置は、特許文献１に記載された技術を利用して判定すればよい。また、文字サイズも既知である。
【００２９】
以上のような機能を実現する清書支援装置について、更に具体的に説明する。
【００３０】
図７は、本発明の実施の形態における清書支援装置のハードウェア構成例を示す図である。図７の清書支援装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００と、補助記憶装置１０２と、メモリ装置１０３と、ＣＰＵ１０４と、インタフェース装置１０５と、表示装置１０６と、入力装置１０７とを有する。
【００３１】
清書支援装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００３２】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って清書支援装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１０７はキーボード及びマウス等で構成され、様々な操作指示を入力させるために用いられる。
【００３３】
図８は、第一の実施の形態における清書支援装置の機能構成例を示す図である。同図において、清書支援装置１０は、文字認識部１１１、文書データ表示部１１２、清書テキスト入力部１１３、テキスト分割部１１４、キーワード検索部１１５、文字列一致度評価分１１６、及び文字列強調部１１７等を有する。これら各部は、プログラムがＣＰＵ１０４に実行させる処理によって実現される。
【００３４】
文字認識部１１１は、清書対象とされる文書データ３０に対してＯＣＲ技術による文字認識処理を行い、文字認識処理結果として文字認識結果データ４０を補助記憶装置１０２に生成する。文書データ３０は、文書画像又はオンライン文字筆跡データ等、テキスト形式以外のデータ形式で文字列を含むデータであり、例えば、補助記憶装置１０２に保存されている。
【００３５】
文字認識結果データ４０は、確定された文字認識結果（確定文字列）だけでなく、中間データをも含む。中間データとは、曖昧さを含んだ文字認識結果を示すデータである。すなわち、中間データは、認識された文字ごと（或いは文字の部首ごと）に、文書画像上における座標情報（位置情報）と一つ以上の認識候補等を含み、認識候補ごとに確信度を示す評価値（認識スコア）等を含む。中間データにおける認識スコアに基づいて文字認識結果が確定される。なお、文字認識結果データ４０は、確定された文字認識結果においても、確定文字列ごと及び確定文字列に含まれる文字ごとに文書画像上における座標情報と認識スコアとを含む。
【００３６】
文書データ表示部１１２は、図４等における文書参照画面５１０を表示装置１０６に表示させる。
【００３７】
清書テキスト入力部１１３は、図４等における清書画面５２０を表示装置１０６に表示させ、入力装置１０７を介して清書テキスト５０（清書文字列）の入力を受け付ける。入力装置１０７を介して入力される入力される清書テキスト５０は、メモリ装置１０３に記録される。清書テキスト入力部１１３は、メモリ装置１０３に記録された清書テキスト５０を清書画面５２０に表示させる。なお、本実施の形態において、清書テキストとは、テキスト形式の文字列データをいう。
【００３８】
テキスト分割部１１４は、清書テキスト５０を適当な長さの部分文字列に分割する。
【００３９】
キーワード検索部１１５は、分割された部分文字列ごとに文字認識結果データ４０に対するキーワード検索を行う。キーワード検索によって、文書データ３０中において部分文字列が存在する位置（座標領域）及び一致度又は確信度を示す評価値（検索スコア）等が得られる。キーワード検索の方法は特定のものに限定されない。例えば、特許文献３に記載された方法等、公知の検索方法を採用すればよい。
【００４０】
文字列一致度評価部１１５は、文字列一致度を算出する。文字列一致度とは、文字認識結果データ４０より部分文字列ごとに検索された文字列が文書画像上において連続している可能性の高さを示す評価値をいう。
【００４１】
文字列強調部１１７は、キーワード検索部１１５によって文書データ３０より検索された部分文字列の中から、文字列一致度が所定の閾値（所定値）より高い部分文字列を選択する。文字列強調部１１７は、文書データ３０において選択された部分文字列が存在する箇所（領域）を強調表示する。
【００４２】
以下、図８の清書支援装置１０の処理手順について説明する。図９は、第一の実施の形態の清書支援装置による処理手順を説明するためのフローチャートである。
【００４３】
ステップＳ１１０において、文字認識部１１１は、清書対象とされた文書データ３０を補助記憶装置１０２より取得し、文書データ３０全体に対してＯＣＲ技術による文字認識処理を実行する。文字認識部１１１は、文字認識処理の結果として中間データを含む文字認識結果データ４０を補助記憶装置１０２に生成する。
【００４４】
図１０は、中間データを説明するための概念図である。中間データは、一般的にラティスと呼ばれるデータである。同図では、（Ａ）に認識対象とされた手書きの文字列が示されている。また、（Ｂ）にラティスの概念図が示されている。（Ｂ）に示されるように、ラティスでは、認識対象の文字列が小さなグループに分割され、グループの間に遷移リンクが設けられる。例えば「木」から「な」に張られたリンク（矢印）は、当該リンクの間にある「木」と「卆」で一つの文字となることを意味する。その場合の文字認識結果が「枠」とされる。
【００４５】
図１１は、中間データの構成例を示す図である。同図では、図１０に示される文字列の中間データの具体例が示されている。同図に示されるように、ラティスでは、認識対象とされた文字列を細かくグループ化した単位ごとに一つのデータ項が割り当てられる。各データ項は、当該データ項に対応する文字又は文字の一部と座標値と等を含む。また、各データ項は、リンク先ごとに（リンク１、リンク２、リンク３等ごとに）、リンクの行き先、文字認識結果、及び認識スコア等を含む。例えば、図１１において項番１のデータ項については、リンク１のリンクの行き先は２、文字認識結果は「木」、認識スコアは２５０とされている。なお、同一の文字に対して文字認識結果（認識候補）は複数存在しうる。同一文字に対する複数の認識候補は、それぞれに対する認識スコアによって優劣を判定することが可能である。なお、中間データ（ラティス）の生成方法については、公知技術を利用すればよい。また、本実施の形態を実施するにあたり、中間データは必ずしも図１１に示される構成を有していなくてもよい。例えば、認識された文字ごとに認識候補が含まれているといった単純な構成でもよい。
【００４６】
ステップＳ１１０では、図１１に示されるような中間データに基づいて確定された確定文字列に関する情報を文字認識結果データ４０に出力される。なお、ステップＳ１１０は、ステップＳ１２０以降と連続的（同期的）に実行されてもよいし。ステップＳ１２０以降とは非同期に予め実行されていてもよい。又は、清書支援装置１０と異なる他のコンピュータにおいて実行されてもよい。
【００４７】
なお、文書データ３０がオンライン筆跡データのような座標点列であった場合は、例えば、座標点間のビットマップ座標を黒画素で埋める処理によって文書画像へ変換し、当該文書画像に対して文字認識部１１１が文字認識処理を実行すればよい。
【００４８】
図１２は、オンライン筆跡データから文書画像への変換例を示す図である。同図では、（Ａ）において２点の座標点によって示される線分が、（Ｂ）に示されるような文書画像（ラスターデータ）に変換された例が示されている。なお、変換処理の詳細については公知技術であるため、その説明は省略する。
【００４９】
続いて、文書データ表示部１１２は、文書参照画面５１０を表示装置１０６に表示させ、清書対象とされた文書データ３０の文書画像を文書参照画面５１０内に表示させる。また、清書テキスト入力部１１３は、清書画面５２０を文書参照画面５１０の水平方向に並べて表示させる（Ｓ１２０）。
【００５０】
清書作業が開始され、ユーザによって清書画面５２０に清書テキスト５０が順次入力されると、清書テキスト入力部１１３は、１文字入力されるたびに（Ｓ１３０）、入力中のテキストが確定状態か否かを判定する（Ｓ１４０）。ここで、確定状態とは、例えば、仮名漢字変換が完了した状態をいう。入力中のテキストが確定状態となると清書テキスト入力部１１３は、入力中のテキストを清書テキスト５０に追加する。
【００５１】
続いて、テキスト分割部１１４は、これまで入力された全ての清書テキスト５０を所定の分割規則に従って部分文字列に分割する（Ｓ１５０）。分割規則は様々なものを採用可能である。例えば、最後に入力された文字から一定の文字数（例えば３文字）ごとに分割してもよい。又は、句読点の直後で分割してもよい。又は、漢字、仮名、若しくは英数字等の文字種の区切りごとに分割してもよい。又は、単語辞書を用いて形態素解析技術により分割してもよい。又は、数字の場合は桁を表現するカンマで分割するようにしてもよい。更に、分割後の部分文字列の長さが８以上であれば分割後の部分文字列長が全て４以上とするといったように均等分割するようにしてもよい。なお、これらの分割規則は一例に過ぎない。
【００５２】
図１３は、清書テキストの分割例を示す図である。同図では、清書テキスト５０（「東京都、外国、埼玉県」）が句読点ごとに分割された状態が示されている。したがって、「東京都、」、「外国、」、及び「埼玉県」の三つの部分文字列に分割されている。
【００５３】
続いて、キーワード検索部１１５は、分割された部分文字列ごとに当該部分文字列をキーワードとするキーワード検索を文字認識結果データ４０に対して行い、文書画像において部分文字列と同一又は類似する文字列が存在する位置（以下、「キーワード検出領域」という。）を特定する（Ｓ１６０）。当該キーワード検索では、例えば、特許文献３に記載された技術を利用してもよい。すなわち、中間データによって各キーワードの類似キーワードを生成し、当該キーワード及び類似キーワードをＯＲ結合した検索式によって確定文字列に対する検索を行う。斯かるキーワード検索によれば、曖昧検索を実行することができる。すなわち、キーワード検索部１１５は、部分文字列と完全に一致する文字列の位置だけでなく、類似する文字列の位置をも特定することができる。但し、他の公知技術を利用して曖昧検索を行ってもよい。また、キーワードに曖昧さを持たせることなくキーワード検索を行ってもよい。この場合、文書画像においてキーワードと同一の文字列の存在位置（キーワード検出領域）が特定される。
【００５４】
なお、キーワード検索部１１５は、検索結果を検索結果データとしてメモリ装置１０３に記録する。図１４は、キーワード検索部による検索結果データの例を示す図である。同図では、「東京都」という部分文字列（キーワード）に対する検索結果データの例が示されている。
【００５５】
同図に示されるように、検索結果データは、キーワード、検索スコア、文字スコア、文字列座標、及び文字座標等の情報を含む。検索スコアは、キーワードと中間データより検索された文字列との一致度、又は検索結果の確信度を示す評価値である。本実施の形態では、文字スコアの合計値が検索スコアとされている。文字スコアは、キーワードを構成する文字ごとの一致度又は確信度を示す評価値であり、文字認識結果データ４０に含まれている確信度に基づいて生成される。
【００５６】
文字列座標は、文書画像上において、検索された文字列全体を囲む矩形領域（すなわち、キーワード検出領域）の対角線上の二つの頂点の座標値（文書画像上における座標値）である。文字座標は、検索された文字列を構成する文字毎に当該文字を囲む矩形領域の対角線上の二つの頂点の座標値である。なお、図１４では、「東京都、」の「、」は含まれていないが、これは便宜的なものである。
【００５７】
検索結果データは、部分文字列ごと（一つの部分文字列に基づいて複数のキーワードが生成される場合はキーワードごと）に生成される。また、図４（Ａ）に示されるように、一つの部分文字列について複数の検索結果が得られた場合は検索結果ごとに検索結果データが生成される。したがって、一つの部分文字列に対して複数の検索結果データが生成されうる。
【００５８】
続いて、文字列一致評価部１１６は、各検索結果データを対応する部分文字列の順番に並べた全ての組み合わせについて各テキスト検出領域が位置的に連続している可能性の高さを示す評価値（文字列一致度）を算出する（Ｓ１７０）。ここで、各検索結果データを対応する部分文字列の順番に並べた全ての組み合わせとは、図１５に示される組み合わせをいう。
【００５９】
図１５では、部分文字列「東京都、」について二つの検索結果データが出力され、部分文字列「外国、」について二つの検索結果データが出力され、「埼玉県」について一つの検索結果データが出力された例が示されている。これらの検索結果データを、それぞれの検索結果データが対応する部分文字列の順番に並べた場合、検索結果データの組み合わせは４通りとなる。この４通りが、図１５において「各検索結果データを対応する部分文字列の順番に並べた全ての組み合わせ」である。なお、算出された文字列一致度は、組み合わせごとに付与され、メモリ装置１０３に記録される。
【００６０】
続いて、文字列強調部１１７は、文字列一致度評価部１１５によって付与された文字列一致度が所定の閾値（基準値）よりも大きな組み合わせに含まれる各検索結果データに基づいて強調表示を行う位置を判定する（Ｓ１８０）。具体的には、文字列強調部１１７は、当該組み合わせに係る全ての検索結果データのキーワード検出領域（部分文字列数が３であれば、３つのキーワード検出領域）を含む最小の矩形領域を各検索結果データの文字列座標に基づいて求め、当該最小の矩形領域を強調表示を行う位置（領域）と判定する。
【００６１】
続いて、文字列強調部１１７は、ステップＳ１８０において判定された最小の矩形領域を強調表示する（Ｓ１９０）。具体的には、文字列強調部１１７は、当該最小の矩形領域の周囲に破線を描画する。また、文字列強調部１１７は、当該矩形領域の底辺に実線を描画する。但し、破線又は実線のいずれか一方のみを描画するようにしてもよい。
【００６２】
ステップＳ１３０〜Ｓ１９０は、清書作業が終了するまで繰り返される（Ｓ２１０）。
【００６３】
ところで、強調表示の方法は、破線で囲んだり下線を引いたりする方法に限定されない。例えば、強調表示させる文字列の背景色を変えるようにしてもよい。この場合、背景色は予め定められている色を用いてもよいし、文書画像の状態に応じて自動的に決定してもよい。背景色を自動的に決定する場合、まず、該当する領域の元の（現在の）背景色を求める。具体的には、該当する領域内を二値化し、各画素を白黒いずれかの画素に変換する。二値化の方法としては、例えば、「大津展之、「判別および最小２乗基準に基づく自動しきい値選定法」、電子通知学会論文誌ｖｏｌＪ６３−Ｄ  Ｎｏ．４、１９８０年４月、ｐ３４９−３６５」に記載されている公知の方法を利用すればよい。続いて、例えば、図１６に示されるように、キーワード検出領域の周囲（外接矩形）に沿って順番に画素を走査し、キーワード検出領域の外郭の画素の値を順番に求める。二値化された画像で白画素であった画素と黒画素であった画素のそれぞれの画素数と画素値の平均値を求め、画素数が多い方の値を元の背景色として判定する。
【００６４】
キーワード検出領域を強調する際は、先に求めた二値画像を参照して背景の画素（背景画素）を特定すると共に、元の背景色に対する強調色を求める。続いて、背景画素の画素値を強調色の画素値に置き換える。例えば図１６のように背景色が白である場合に強調色を灰色とすると図１７のようになる。
【００６５】
続いて、ステップＳ１７０の詳細について説明する。図１８は、文字列一致度の算出処理の処理手順を説明するためのフローチャートである。
【００６６】
ステップＳ３０１において、文字列一致度評価部１１６は、部分文字列の数が複数であるか否かを判定する。例えば、図４（Ａ）の状態は、部分文字列が一つの場合である。また、図４（Ｂ）の状態は、部分文字列が複数（二つ）の場合である。
【００６７】
部分文字列が複数の場合（Ｓ３０１でＹｅｓの場合）、文字列一致度評価部１１６は、先頭の部分文字列の検索結果データごとにキーワード検出領域に含まれる文字列の文字サイズを推定する（Ｓ３０２）。図１５の例では、検索結果データ１−１及び検索結果データ１−２について文字サイズが推定される。文字サイズの推定は、例えば、次のように行えばよい。まず、検索結果データに含まれている各文字座標に基づいて、文字ごとに高さ及び幅を求め、それぞれの最大値及び平均値を算出する。続いて、最大値と平均値との中間値を求め、当該中間値を文字サイズの推定値とする。なお、文字サイズの推定の際は、句読点のようにサイズが特殊な文字は計算対象から除くようにするとよい。そうすることで、安定的に文字サイズを推定することができる。
【００６８】
続いて、文字列一致度評価部１１６は、分割前の並び順において先頭の部分文字列の末端からと他の部分文字列の先端までの文字コード上での差分（すなわち、文字数の差分）を求める（Ｓ３０３）。例えば、図１３の場合、分割前の並び順において先頭の部分文字列は、「東京都、」であり、他の部分文字列は「外国、」及び「埼玉県」である。この場合、「東京都、」の末端から「外国、」及び「埼玉県」の先端までの文字数は、それぞれ０、３である。
【００６９】
続いて、文字列一致度評価部１１６は、文字数の差分に文字サイズを乗ずることにより、２番目以降の部分文字列に対応するキーワード検出領域の先端位置（文書画像上の座標値）を推定し、各検索結果データに付与する（Ｓ３０４）。例えば、図１５の例において「東京都、」の検索結果データ１−１に基づいて推定された文字サイズが３０ドットであるとすると、「東京都、」の終端から０×３０＝０ドット移動した位置が「外国、」の先端であり、３×３０＝９０ドット移動した位置が「埼玉県」の先端であると推定される。「東京都、」の末端は、「東京都、」の検索結果データの文字列座標によって示される矩形領域（すなわち、キーワード検出領域）の末端とすればよい。
【００７０】
なお、２番目以降の部分文字列に対応するキーワード検出領域の先端位置は、先頭の部分文字列ごとに推定される。具体的には、図１５の例では、図１９に示されるように２番目以降の検索結果データの示すキーワード検出領域の先端位置が推定される。
【００７１】
図１９は、２番目以降の検索結果データが示すキーワード検出領域の先端位置の推定例を示す図である。
【００７２】
同図では、検索データ２−１及び２−２に対して、検索結果データ１−１に基づく推定位置（ｘ２１，ｙ２１）と検索結果データ１−２に基づく推定位置（ｘ２２，ｙ２２）とが付与されている。また、検索結果データ３−１に対して、検索結果データ１−１に基づく推定位置（ｘ３１，ｙ３１）と検索結果データ１−２に基づく推定位置（ｘ３２，ｙ３２）とが付与されている。
【００７３】
続いて、文字列一致度評価部１１６は、先頭の部分文字列の各検索結果データと２番目以降の部分文字列の各検索結果データとの間の共起関係の有無を判定する（Ｓ３０５）。本実施の形態において、推定位置の近傍座標が検索結果データの示すキーワード検出領域に含まれる場合、当該推定位置の基点として利用された先頭の部分文字列の検索結果データと、当該キーワード検出領域に対応する検索結果データとは共起関係を有すると判定される。
【００７４】
推定位置の近傍座標とは、推定位置の座標値を（ｘ，ｙ）とした場合、（ｘ±α，ｙ±α）をいう（αは、例えば、文字サイズ）。したがって、図１９において、検索結果データ２−１については、（ｘ２１±α，ｙ２１±α）の座標値又は（ｘ２２±α，ｙ２２±α）の座標値が、検索結果データ２−１が示すキーワード検出領域に含まれるか否かが判定される。検索結果データ２−２及び検索結果データ３−１についても同様の判定が行われる。
【００７５】
図２０は、推定位置の近傍座標が検索結果データの示すキーワード検出領域に含まれるか否かの判定結果の例を示す図である。同図において、×が付されている推定位置は、対応する検索結果データが示すキーワード検出領域に含まれないことを示す。○が付されている推定位置は、対応する検索結果データが示すキーワード検出領域に含まれることを示す。
【００７６】
同図では、検索結果データ２−１が示すキーワード検出領域には、いずれの推定位置も含まれないことが示されている。また、検索結果データ２−２が示すキーワード検出領域には、検索結果データ１−１に基づく推定位置（ｘ２１，ｙ２１）のみが含まれることが示されている。また、検索結果データ３−１が示すキーワード検出領域には、検索結果データ１−１に基づく推定位置（ｘ３１，ｙ３１）のみが含まれることが示されている。
【００７７】
したがって、検索結果データ１−１及び検索結果データ２−２、並びに検索結果データ１−１及び検索結果データ３−１のそれぞれは共起関係が有ると判定される。すなわち、部分文字列ごとに検索された検索結果データ１−１、２−２、及び３−１が示すキーワード検出領域は、図２１に示されるように、連続した領域であると判定することができる。
【００７８】
なお、各検索結果データの文字列座標を直接比較照合することにより、各キーワード検出領域の連続性を判定するようにしてもよい。この場合、ステップＳ３０２からＳ３０４は実行されなくてもよい。
【００７９】
続いて、文字列一致度評価部１１６は、部分文字列順の検索結果データの全ての組み合わせにごとに、最初の検索結果データとの共起関係の有無に基づいて文字列一致度を算出する（Ｓ３０６）。組み合わせごとの文字列一致度の算出は、例えば、次のように行われる。まず、当該組み合わせの最初の検索結果データの検索スコアを評価値の初期値とする。続いて、当該組み合わせの２番目以降の検索結果データごとに、最初の検索結果データと共起関係を有するか否かに基づいて検索スコア又は０を評価値に加算する。すなわち、最初の検索結果データと共起関係を有する検索結果データの検索スコアのみが評価値に加算される。続いて、当該組み合わせに属する検索結果データの数（図２０の例では３）で評価値を除す。この除算の結果が文字列一致度である。
【００８０】
図２０の例では、４通りの組み合わせについてそれぞれ文字列一致度が算出される。この際、検索結果データ２−１の検索スコアは加算対象とはされない。
【００８１】
一方、部分文字列が１つである場合、文字列一致度評価部１１６は、当該部分文字列に対する一つ又は複数の検索結果データのそれぞれの検索スコアを、各検索結果データの文字列一致度として各検索結果データに付与する（Ｓ３０７）。なお、ステップＳ３０７が実行された場合、図９のステップＳ１８０では、文字列一致度が所定の閾値以上の検索結果データが示すキーワード検出領域に対して破線及び下線が描画される。
【００８２】
上述したように、第一の実施の形態によれば、文書データ３０中において清書された箇所が強調表示される。したがって、例えば、途中から１行ずれて入力してしまうといったような入力ミスを軽減することができる。その結果、清書作業におけるユーザの作業負担を軽減することができる。
【００８３】
また、本実施の形態では、清書テキスト５０は部分文字列に分割され部分文字列ごとにキーワード検索が実行される。したがって、長文となる可能性が高い清書テキスト５０に関するキーワード検索の処理効率を向上させることができる。例えば、キーワード検索として特許文献３に記載された方法を利用する場合を考える。説明の便宜上、清書テキスト５０が三つの部分文字列に分割され、それぞれについて４通りのキーワードが作成可能であるとする。この場合、仮に部分文字列に分割されないとすると、清書文字列５０について４×４×４通りのキーワードについてキーワード検索が実行される。一方、部分文字列に分割されれば、４通×３通りのキーワードについてキーワード検索が行われればよい。したがって、検索処理の処理効率を著しく向上させることができる。
【００８４】
但し、部分文字列ごとにキーワード検索が行われた場合、清書位置に対応しない箇所についてまでキーワード検出領域として判定される可能性が高くなるという副作用を伴う可能性がある。そこで、本実施の形態では、文字列一致度評価部１１５によって各キーワード検出領域の連続性が評価され、その評価結果に基づいて、各キーワード検出領域が入力位置に対応した箇所であるか否かが判定される。それにより、上記副作用が適切に抑制される。
【００８５】
なお、図９では、入力されたテキストが確定状態となったタイミングでステップＳ１５０以降の処理が実行される例について説明したが、それ以外のタイミングをステップＳ１５０以降を実行するきっかけとしてもよい。例えば、スペースが入力されたタイミングでもよいし、一定時間ごとにステップＳ１５０が実行されてもよい。
【００８６】
次に、第二の実施の形態について説明する。第二の実施の形態では第一の実施の形態と異なる点について説明する。
【００８７】
図２２は、第二の実施の形態の清書支援装置による処理手順を説明するためのフローチャートである。図２２中、図９と同一ステップには同一ステップ番号を付し、その説明は適宜省略する。
【００８８】
図２２ではステップＳ１８５が追加されている。ステップＳ１８５において、文字列強調部１１７は、文字列一致度評価部１１５によって付与された文字列一致度が所定の閾値（基準値）よりも大きな組み合わせに含まれる各検索結果データの中から、文字スコアが所定の閾値より低い文字の文字座標を取得する。
【００８９】
続くステップＳ１９０において強調表示を行う際に、文字列強調部１１７は、ステップＳ１８５において取得された文字座標の領域については強調表示される他の部分と識別可能なように表示態様を変化させる（強調表示の属性を変更する又は強調表示の対象から除外する）。本実施の形態では、当該領域は下線の描画対象から除外される。
【００９０】
図２３は、第二の実施の形態における強調表示の第一の例を示す図である。同図では、「埼玉県」の中の「埼」が「彩」に誤って入力された例が示されている。この場合、「彩玉県」に対する検索結果データでは、「彩」の文字スコアが著しく低くなる。したがって、ステップＳ１８５において、「彩」の文字スコアは所定の閾値より低いと判定される。その結果、「彩」の領域は下線の描画対象から除外される。
【００９１】
なお、部分的に一致しない部分の表示態様は、他の方法によって変化させるようにしてもよい。図２４は、第二の実施の形態における強調表示の第二の例を示す図である。同図では、誤った文字が入力された「埼」の領域を除いて背景色が変化された例が示されている。
【００９２】
上述したように、第二の実施の形態によれば、強調表示された箇所の中に、部分的に一致しない文字が存在することをユーザに分かり易く示すことができる。
【００９３】
次に、第三の実施の形態について説明する。第三の実施の形態では第一の実施の形態と異なる点について説明する。図２５は、第三の実施の形態の清書支援装置による処理手順を説明するためのフローチャートである。図２５中、図９と同一ステップには同一ステップ番号を付し、その説明は適宜省略する。
【００９４】
図２５では、ステップＳ１５０がステップＳ１５５に置き換えられている。ステップＳ１５５において、テキスト分割部１１４は、清書テキスト５０の末尾からの一部分を部分文字列に分割する。すなわち、第三の実施の形態では、これまで入力された全ての清書テキスト５０ではなく、末尾からの一部分のみが分割対象とされる。分割対象とする部分は、例えば、最大文字数（例えば、４０文字）の範囲内で、最後の文字から遡って所定数文字（例えば、２０文字）を超えた位置で最初に見つかった句読点の直後から最後の文字までの範囲とされる。又は、ステップＳ１４０において新たに確定状態であると判定されたテキストのみを分割対象としてもよい。更に、他の方法によって分割対象の部分を決定してもよい。
【００９５】
清書テキスト５０の末尾の一部分のみ分割対象とされることにより、ステップＳ１６０以降において処理対象とする部分文字列数を削減することができる。したがって、清書テキスト５０が非常に長文の場合に、計算コストを削減することができる。また入力テキストの途中を編集した場合に編集した位置の周辺のみを強調表示することができるため、利便性を向上させることもできる。
【００９６】
次に、第四の実施の形態について説明する。図２６は、第四の実施の形態における清書支援装置の機能構成例を示す図である。図２６中、図７と同一部分には同一符号を付し、その説明は省略する。
【００９７】
同図において、清書支援装置１０ａは、入力位置判定部１１８、入力対象範囲推定部１１９、入力対象範囲文字認識部１２０、推定文字列候補生成部１２１、予測文字列表示部１２２、及び予測文字列選択部１２３等を更に有する。
【００９８】
入力位置判定部１１８は、現在の入力位置（清書位置）を求める。例えば、図６の例であれば、「埼玉県が」の領域の末端の座標値が入力位置と判定される。なお、「埼玉県が」の末端の位置は、「埼玉県が」の検索結果データの文字列座標に基づいて判定すればよい。
【００９９】
入力対象範囲推定部１１９は、入力位置判定部１１８によって判定された入力位置に基づいて、文書画像において次に清書される文字列を含む領域（以下、「入力対象範囲」という。）を推定する。例えば、図６の例では、「埼玉県が」に続く「転入」を含む領域が入力対象領域と判定される。
【０１００】
入力対象範囲文字認識部１２０は、入力対象範囲に対してＯＣＲ技術による文字認識処理を実行する。例えば、図６の例では、「転入」を含む領域に対して文字認識が実行される。なお、当該文字認識処理の処理結果は、文字認識部１１１による処理結果と同様に、文字認識の確定結果ではなく、複数の認識候補を含むようにするとよい。
【０１０１】
推定文字列候補生成部１２１は、入力対象範囲文字認識部１２０より出力される認識候補に基づいて、入力位置に続いて入力されると推定される文字列候補のリスト（以下、「推定文字列候補リスト」という。）を生成する。
【０１０２】
予測文字列表示部１２２は、推定文字列候補リストの中から入力テキストを選択させるためのポップアップウィンドウ５３０を図６に示されるように清書画面５２０上に表示させる。
【０１０３】
予測文字列選択部１２３は、ポップアップウィンドウ５３０において選択された文字列を、新たな入力テキストとして清書テキスト５０に追加する。
【０１０４】
以下、図２６の清書支援装置１０ａの処理手順について説明する。図２７は、第四の実施の形態の清書支援装置による処理手順を説明するためのフローチャートである。図２７中、図９と同一ステップには同一ステップ番号を付し、その説明は適宜省略する。
【０１０５】
図２７では、ステップＳ１９１〜Ｓ２０２が追加されている。ステップＳ１９１において、入力位置判定部１１８は、現在の入力位置を判定する。具体的には、入力位置判定部１１８は、文書画像中において、文字列一致度評価部１１７によって算出された文字列一致度が所定の閾値より高い領域（すなわち、強調表示の対象とされる領域）の末端の位置を現在の入力位置と判定する。
【０１０６】
続いて、入力対象範囲推定部１１９は、入力位置判定部１１８によって判定された入力位置に基づいて入力対象範囲を推定する（Ｓ１９２）。例えば、横書きの場合であれば、入力対象範囲推定部１１９は、入力位置から右方向に所定数文字分の矩形領域を特定する座標値（例えば、当該矩形領域の対角線上の二つの頂点の座標値）を算出する。上記で説明した文字列一致度評価部１１５による文字サイズの推定方法と同じ方法によって入力位置の直前のキーワード検出領域の１文字分の文字サイズを推定し、当該文字サイズに基づいて所定数文字分の矩形領域を判定すればよい。例えば、Ｎ文字分の領域は、入力位置から右に文字サイズのＮ倍の幅を有し、上下方向に文字サイズの２倍の高さを有する領域を求めればよい。
【０１０７】
図２８は、入力対象範囲の例を示す図である。同図において、「埼玉県」を囲む矩形領域は直前のキーワード検出領域である。「埼玉県」の右に隣接する破線の矩形領域は入力対象範囲である。当該入力対象範囲は、高さ方向の中心が直前のキーワード検出領域の高さ方向の中心と一致するように設定されている。なお、入力対象範囲内の矢印は、文字サイズの幅を示す。したがって、同図では、３文字分を入力対象範囲とした例に相当する。
【０１０８】
なお、サイズが固定の矩形領域を入力対象範囲としてもよい。
【０１０９】
また、文書画像中の文字列が縦書きか横書きかの区別は、検索結果データの文字座標に基づいて、各文字が縦横いずれの方向に並んでいるかに基づいて判断すればよい。
【０１１０】
入力対象範囲文字認識部１２０は、入力対象範囲に対して文字認識処理を実行し、一つ以上の認識候補を出力する（Ｓ１９３）。なお、入力対象範囲文字認識部１２０は、改めて文字認識を実行しなくてもよい。例えば、文字認識結果データ４０に基づいて入力対象範囲に対する認識候補を出力してもよい。
【０１１１】
続いて、推定文字列候補生成部１２１は、入力対象範囲文字認識部１２０より出力される認識候補を含むリストを推定文字列候補リストとしてメモリ装置１０３に生成する（Ｓ１９４）。
【０１１２】
続いて、予測文字列表示部１２２は、推定文字列候補リストの中から入力テキストを選択させるためのポップアップウィンドウ５３０を図６に示されるように清書画面５２０上に表示させる（Ｓ２０１）。
【０１１３】
ポップアップウィンドウ５３０において推定文字列候補リストの中から入力テキストが選択されると（Ｓ２０２でＹｅｓ）、予測文字列選択部１２３は、選択された文字列を新たな入力テキストとして清書テキスト５０に追加する（Ｓ１９７）。ステップＳ１９７に続いて、ステップＳ１５０以降が繰り返し実行される。
【０１１４】
一方、ポップアップウィンドウ５３０において推定文字列候補リストの中から入力テキストが選択されない場合は（Ｓ２０２でＮｏ）、ステップＳ２１０に進む。
【０１１５】
上述したように、第四の実施の形態によれば、入力対象範囲に対する清書テキストの入力候補が当該入力対象範囲に対する文字認識結果に基づいてポップアプウィンドウ５３０上に提示される。したがって、提示された入力候補内に正しい文字列が存在する場合は、選択操作を行うだけで、当該文字列を入力することができる。その結果、清書作業の作業負担の軽減及び効率化を実現させることができる。特に、文字認識の精度が高い場合は、選択操作の連続により清書作業が行われうる。
【０１１６】
なお、第四の実施の形態に第二又は第三の実施の形態を組み合わせてもよい。すなわち、図２７においてステップＳ１８５やＳ１５５が実行されてもよい。特に、第二の実施の形態と組み合わされる場合、ポップアップウィンドウ５３０において誤った候補（誤っている可能性が高い候補）が選択されたとしても、誤っている部分（文字）をユーザに通知することができる。
【０１１７】
次に、第五の実施の形態について説明する。図２９は、第五の実施の形態における清書支援装置の機能構成例を示す図である。図２９中、図２６と同一部分には同一符号を付し、その説明は省略する。
【０１１８】
同図において、清書支援装置１０ｂは、文字列予測部１２４及び予測文字列統合部１２５を更に有する。
【０１１９】
文字列予測部１２４は、公知の予測入力技術を利用して、清書テキスト５０の末尾の文字列（単語）に続いて入力される可能性の高い文字列候補のリスト（以下、「予測文字列候補リスト」という。）を生成する。
【０１２０】
予測文字列統合部１２５は、文字列予測部１２４によって生成される予測文字列候補リストと推定文字列候補生成部１２１によって生成される推定文字列候補リストとを統合する。
【０１２１】
図３０は、文字列予測部の構成例を示す図である。同図において、文字列予測部１２４は、単語入力部１２４１、単語学習部１２４２、汎用辞書１２４３、及びユーザ予測辞書１２４４等を含む。
【０１２２】
単語予測部１２４１は、既に入力済の文字列（本実施の形態では清書テキスト５０）と汎用辞書１２４３及びユーザ予測辞書１２４４とに基づいて、続いて入力される可能性のある文字列（予測文字列）を生成する。単語学習部１２４２は、ユーザによって入力が確定された文字列（本実施の形態では、予測文字列選択部１２３が選択を受け付けた文字列、又は清書テキスト入力部１１３が入力確定を受け付けた文字列）を直前の文字列を関連付けてユーザ予測辞書１２４４に記録する。汎用辞書１２４３には、予め、共に使われる可能性の高い単語が相互の接続関係と共に記憶されている。なお、汎用辞書１２４３及びユーザ予測辞書１２４４の構成方法を含む文字列予測機能については「増井俊之、「ペンを用いた高速文章入力手法」．近代科学社、インタラクティブシステムとソフトウェアＩＶ：日本ソフトウェア科学会ＷＩＳＳ’９６．ｐｐ．５１−６０、１９９６年１２月」に一例が示されている。
【０１２３】
以下、図２９の清書支援装置１０ｂの処理手順について説明する。図３１は、第五の実施の形態の清書支援装置による処理手順を説明するためのフローチャートである。図３１中、図２７と同一ステップには同一ステップ番号を付し、その説明は適宜省略する。
【０１２４】
図３１では、ステップＳ１９５及びＳ１９６が追加されている。ステップＳ１９５において、文字列予測部１２４は、公知の予測入力技術を利用して、清書テキスト５０の末尾の文字列（単語）に続いて入力される可能性の高い文字列候補のリスト（予測文字列候補リスト）をメモリ装置１０３に生成する。続いて、予測文字列統合部１２５は、メモリ装置１０３に生成されている推定文字列候補リストと予測文字列候補リストとを統合し、統合結果をメモリ装置１０３に記録する（Ｓ１９６）。
【０１２５】
ここで、文字列予測部１２４によって生成される予測文字列候補リストは、それまでに入力されたテキストから得られる文字列のリストであり、同一の文字列が何度も使われなければ有効な予測はできない。したがって、推定文字列候補生成部１２１によって生成される推定文字列候補リストの方が続いて入力される文字列に合致する可能性が高いと考えられる。よって、統合結果では、推定文字列候補リストに含まれる文字列を上位に並べ、その後に予測文字列候補リストに含まれる文字列を並べるようにするとよい。但し、推定文字列候補リストに含まれる文字列において認識スコア（文字認識の確信度）が所定値より低いものは、予測文字列候補リストに含まれる文字列よりも後に並べるようにしてもよい。そうすることで、信頼度の高い文字列を優先して入力候補として提示することができる
続くステップＳ２０１において、予測文字列表示部１２２は、統合された文字列候補リストをポップアップウィンドウ５３０に表示させる。
【０１２６】
上述したように、第五の実施の形態によれば、文字認識された文字列に加え、予測入力機能によって予測された文字列も入力候補として提示される。したがって、文字認識の精度が低い場合であっても、適切な入力候補を提示することができる。その結果、清書作業の作業負担の軽減及び効率化を実現させることができる。
【０１２７】
ところで、第一から第五の実施の形態において、文字列強調部１１７は、強調対象とされる文字列が属する行の上下一行を除いた他の部分について背景色を変化させるようにしてもよい。
【０１２８】
図３２は、強調対象とされる文字列が属する行の上下一行を除いた他の部分について背景色が変えられた例を示す図である。
【０１２９】
同図では、図５に示したように「東京都、外国、彩玉県」が入力され、「埼」のみミスタイプされた場合の文書参照画面５１０の表示例が示されている。図５では、強調表示の方法として、背景色が変えられ、正しい部分には下線が引かれている。
【０１３０】
更に、「東京都、外国、埼玉県」が属する行の上下一行を除いた外側の部分についても背景色がグレイとされている。このように、現在清書中の箇所から少し離れた領域に影を付けることで、現在清書している領域をより強調させて表示させることができる。
【０１３１】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【０１３２】
以上の説明に関し、更に以下の項を開示する。
（付記１）
清書対象とされた文書データの画像を表示装置に表示させる画像表示手順と、
前記文書データに対する清書文字列の入力を受け付ける清書文字列入力手順と
前記画像に対する文字認識結果に対して前記清書文字列をキーワードとする検索処理を実行し、検索された文字列の前記画像上における位置情報を前記文字認識結果より取得する検索手順と、
前記検索手順において取得された前記位置情報に係る部分の表示態様を変更する表示態様変更手順とをコンピュータに実行させ、
前記表示態様変更手順は、前記位置情報に係る部分の中で前記文字認識結果の確信度が所定値よりも低い文字に係る部分を識別可能なように表示態様の変更を行う清書支援プログラム。
（付記２）
前記清書文字列を複数の部分文字列に分割する分割手順を有し、
前記検索手順は、前記部分文字列ごとに前記検索処理を実行し、該部分文字列ごとに検索された文字列の前記位置情報を取得する付記１記載の清書支援プログラム。
（付記３）
前記部分文字列ごとに検索された文字列の前記位置情報に基づいて、前記部分文字列ごとに検索された文字列が前記画像上において連続した文字列であるかを判定する判定手順を有し、
前記表示態様変更手順は、前記部分文字列ごとに検索された文字列が前記画像上において連続した文字列であると判定された場合に表示態様の変更を行う付記２記載の清書支援プログラム。
（付記４）
前記検索手順は、前記清書文字列の末尾からの一部分を利用して前記検索処理を実行する付記１乃至３いずれか一項記載の清書支援プログラム。
（付記５）
前記検索手順において取得された前記位置情報に係る部分の末端から所定の範囲に対する文字認識によって得られる文字列を次の入力候補として表示させる入力候補表示手順を有する付記１乃至４いずれか一項記載の清書支援プログラム。
（付記６）
前記入力候補表示手順は、前記清書文字列の末尾の文字列に続いて入力されると予測される文字列をも次の入力候補として表示させる付記５記載の清書支援プログラム。
（付記７）
コンピュータが実行する清書支援方法であって、
清書対象とされた文書データの画像を表示装置に表示させる画像表示手順と、
前記文書データに対する清書文字列の入力を受け付ける清書文字列入力手順と
前記画像に対する文字認識結果に対して前記清書文字列をキーワードとする検索処理を実行し、検索された文字列の前記画像上における位置情報を前記文字認識結果より取得する検索手順と、
前記検索手順において取得された前記位置情報に係る部分の表示態様を変更する表示態様変更手順とを有し、
前記表示態様変更手順は、前記位置情報に係る部分の中で前記文字認識結果の確信度が所定値よりも低い文字に係る部分を識別可能なように表示態様の変更を行う清書支援方法。
（付記８）
前記清書文字列を複数の部分文字列に分割する分割手順を有し、
前記検索手順は、前記部分文字列ごとに前記検索処理を実行し、該部分文字列ごとに検索された文字列の前記位置情報を取得する付記７記載の清書支援方法。
（付記９）
前記部分文字列ごとに検索された文字列の前記位置情報に基づいて、前記部分文字列ごとに検索された文字列が前記画像上において連続した文字列であるかを判定する判定手順を有し、
前記表示態様変更手順は、前記部分文字列ごとに検索された文字列が前記画像上において連続した文字列であると判定された場合に表示態様の変更を行う付記８記載の清書支援方法。
（付記１０）
前記検索手順は、前記清書文字列の末尾からの一部分を利用して前記検索処理を実行する付記７乃至９いずれか一項記載の清書支援方法。
（付記１１）
前記検索手順において取得された前記位置情報に係る部分の末端から所定の範囲に対する文字認識によって得られる文字列を次の入力候補として表示させる入力候補表示手順を有する付記７乃至１０いずれか一項記載の清書支援方法。
（付記１２）
前記入力候補表示手順は、前記清書文字列の末尾の文字列に続いて入力されると予測される文字列をも次の入力候補として表示させる付記１１記載の清書支援方法。
【符号の説明】
【０１３３】
１０          清書支援装置
１００        ドライブ装置
１０１        記録媒体
１０２        補助記憶装置
１０３        メモリ装置
１０４        ＣＰＵ
１０５        インタフェース装置
１０６        表示装置
１０７        入力装置
１１１        文字認識部
１１２        文書データ表示部
１１３        清書テキスト入力部
１１４        テキスト分割部
１１５        キーワード検索部
１１６        文字列一致度評価分
１１７        文字列強調部
１１８        入力位置判定部
１１９        入力対象範囲推定部
１２０        入力対象範囲文字認識部
１２１        推定文字列候補生成部
１２２        予測文字列表示部
１２３        予測文字列選択部
１２４        文字列予測部
１２５        予測文字列統合部
１２４１      単語入力部
１２４２      単語学習部
１２４３      汎用辞書
１２４４      ユーザ予測辞書
Ｂ            バス
【図１】
2010170461.tif 000003
【図２】
2010170461.tif 000004
【図３】
2010170461.tif 000005
【図４】
2010170461.tif 000006
【図５】
2010170461.tif 000007
【図６】
2010170461.tif 000008
【図７】
2010170461.tif 000009
【図８】
2010170461.tif 000010
【図９】
2010170461.tif 000011
【図１０】
2010170461.tif 000012
【図１１】
2010170461.tif 000013
【図１２】
2010170461.tif 000014
【図１３】
2010170461.tif 000015
【図１４】
2010170461.tif 000016
【図１５】
2010170461.tif 000017
【図１６】
2010170461.tif 000018
【図１７】
2010170461.tif 000019
【図１８】
2010170461.tif 000020
【図１９】
2010170461.tif 000021
【図２０】
2010170461.tif 000022
【図２１】
2010170461.tif 000023
【図２２】
2010170461.tif 000024
【図２３】
2010170461.tif 000025
【図２４】
2010170461.tif 000026
【図２５】
2010170461.tif 000027
【図２６】
2010170461.tif 000028
【図２７】
2010170461.tif 000029
【図２８】
2010170461.tif 000030
【図２９】
2010170461.tif 000031
【図３０】
2010170461.tif 000032
【図３１】
2010170461.tif 000033
【図３２】
2010170461.tif 000034