(57)【要約】【課題】  文書からの文字認識の修正処理において、修正作業者の修正作業の操作の負担が大きく、どの部分をどのように修正したいかを簡単に指示することができない。【解決手段】  紙文書を撮像し、撮像した画像において、文字が配置されている領域を文字認識し、認識結果の文字列から対象とする文字列を抽出し、抽出した文字列のデータと当該文字列の属性データとを表示し、表示したデータと紙文書と、の少なくとも何れかに対する指示位置を取得し、表示手段が表示している文字列のデータを修正するとき、取得した指示位置に基づいて異なる修正処理を行う。【選択図】  図３
2017199288.tif 000002
【特許請求の範囲】
【請求項１】
紙文書を撮像する撮像手段と、
前記撮像手段が撮像した画像において、文字が配置されている領域を文字認識する認識手段と、
前記認識手段による認識結果の文字列から対象とする文字列を抽出する抽出手段と、
前記抽出手段が抽出した文字列のデータと当該文字列の属性データとを表示する表示手段と、
前記表示手段が表示したデータと、前記紙文書と、の少なくとも何れかに対する指示位置を取得する取得手段と、
前記表示手段が表示している文字列のデータを修正するとき、前記取得手段が取得した指示位置に基づいて異なる修正処理を行う修正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記取得手段で取得した指示位置が、前記表示手段が文字列のデータを表示した位置の場合、前記修正手段において、
前記撮像手段が、撮像する画像の解像度を上げるように設定を変更して前記紙文書を再撮像し、
前記認識手段が、前記再撮像した画像において、少なくとも当該文字列の認識元の領域を再度文字認識し、
前記表示手段が、前記指示位置に表示されていた文字列に換えて、再度文字認識した結果の文字列を表示することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像手段は、焦点距離の設定を変更することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記撮像手段は、撮影方向の設定を変更することを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記取得手段で取得した指示位置が、前記紙文書の文字領域の位置の場合、前記修正手段において、
前記紙文書における指示位置の領域を前記認識手段が認識した文字列を、該文字列の対応する属性データと並べて表示されていた文字列に換えて、前記表示手段が表示することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記表示手段は、投影を行うことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
紙文書を撮像手段に撮像させる工程と、
前記撮像手段が撮像した画像において、文字が配置されている領域を文字認識する認識工程と、
前記認識工程で認識した結果の文字列から対象とする文字列を抽出する抽出工程と、
前記抽出した文字列のデータと当該文字列の属性データとを表示手段に表示させる工程と、
前記表示手段が表示したデータと、前記紙文書と、の少なくとも何れかに対する指示位置を取得する取得工程と、
前記表示手段が表示している文字列のデータを修正するとき、前記取得工程で取得した指示位置に基づいて異なる修正処理を行う修正工程と、
を備えることを特徴とする画像処理方法。
【請求項８】
紙文書を撮像する撮像工程と、
前記撮像工程で撮像した画像において、文字が配置されている領域を文字認識する認識工程と、
前記認識工程で認識した結果の文字列から対象とする文字列を抽出する抽出工程と、
前記抽出した文字列のデータと当該文字列の属性データとを表示手段に表示させる工程と、
前記表示手段が表示したデータと、前記紙文書と、の少なくとも何れかに対する指示位置を取得する取得工程と、
前記表示手段が表示している文字列のデータを修正するとき、前記取得工程で取得した指示位置に基づいて異なる修正処理を行う修正工程と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字認識の修正を支援する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
ＯＣＲ（光学式文字認識）を用いて紙面文書を認識し、電子的な文字データを得るという情報抽出処理は、紙の文書の電子処理を可能とする、非常に重要な技術である。例えば、企業において請求書や納品書といった紙面文書と、企業のシステムを連携することで会計処理や税金還付の処理を自動化するといったことが可能となる。しかし、ＯＣＲをはじめとした認識技術は認識内容を保証することが難しく、人手による認識結果の確認や、修正といった作業が必要であった。そこで、修正の負担を軽減する手法が提案されている。たとえば、特許文献１では誤認識された文字をユーザが修正する際に、同じ文字に対しても修正を反映させることでユーザの負担を軽減させる方法が提案されている。
【０００３】
一方、従来はスキャナを用いて文書を読み取り、マウスやキーボードなどの指示装置を用いて操作をすることが一般的だったが、近年ではスキャナなどの接触型の読み取り装置の代わりにカメラなどで撮影し、プロジェクタで投影をする装置が提案されている。特許文献２では原稿台上に上向きに文書を置き、原稿台上部に取りつけられた撮像装置を用いて、文書を非接触で読み取り、読み取った電子データを投影装置により投影する装置構成が提案されている。このような装置構成を用いることで、文書の読み取り作業と確認修正作業とを一連の作業として行うことが可能となり、ＯＣＲ技術の適用の幅を広げることができる。たとえば、対面による商談の場において、机上に置かれた書類などを読み取って電子化した結果を、すぐに投影して確認できるようになるので、商談にかかる時間を短縮することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−２０４９２
【特許文献２】特開２０１５−４１２３３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の方法ではキーボードなどの指示装置を用いて修正内容の文字を指示することが必要である。作業スペースやハードウェア構成の制限によりハードウェアキーボードを用意できず、ソフトウェアキーボードの文字の入力自体に負担がある場合に、修正作業者の操作の負担が大きい。また、修正作業者がどの部分をどのように修正したいかを簡単に指示することができない。
【０００６】
本発明は上記の課題に鑑みてなされたものであり、簡単に文字認識結果の修正作業を行える画像処理装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は以下の構成を備える。即ち、紙文書を撮像する撮像手段と、前記撮像手段が撮像した画像において、文字が配置されている領域を文字認識する認識手段と、前記認識手段による認識結果の文字列から対象とする文字列を抽出する抽出手段と、前記抽出手段が抽出した文字列のデータと当該文字列の属性データとを表示する表示手段と、前記表示手段が表示したデータと、前記紙文書と、の少なくとも何れかに対する指示位置を取得する取得手段と、前記表示手段が表示している文字列のデータを修正するとき、前記取得手段が取得した指示位置に基づいて異なる修正処理を行う修正手段。
【発明の効果】
【０００８】
本発明によれば、撮影装置と投影装置を含む構成により、文字認識結果を修正する際、修正作業者が簡単に修正作業を行えるように支援することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施形態における画像処理装置を使用したときの外観を示す例
【図２】実施形態におけるハードウェア構成の例
【図３】実施形態における処理の全体の流れを示すフローチャート
【図４】実施形態における確認・修正処理を示すフローチャート
【図５】実施形態における文書画像、抽出結果の例
【図６】実施形態におけるＵＩ表示の例
【図７】実施形態における再撮影処理時の画角を示す例
【図８】実施形態における再撮影処理時の効果を示す例
【図９】実施形態におけるＵＩ表示の例
【図１０】実施形態におけるＵＩ操作のタッチ判定を説明する例
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照して説明する。
【００１１】
＜第１の実施形態＞
はじめに、図１を用いて本実施形態における画像処理装置（以下、「文書処理装置」、「撮影投影装置」とも記載する）の処理概要を説明する。
【００１２】
作業台１０１は、ユーザが作業を行うためのテーブルやカウンターなどの作業台である。
撮影投影装置１０２は、作業台１０１と作業台上に置かれた文書１０３などを撮影し、撮影した内容やＵＩを作業台１０１へ投影表示する機能を有する画像処理装置である。作業台１０１上の文書１０３は、本人確認書類や申込書といった、紙文書であり、本画像処理装置を用いて情報抽出処理を行う対象となる文書実体である。
【００１３】
図２は本発明の実施形態における撮影投影装置１０２のハードウェア構成の一例である。
【００１４】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、各種処理のための演算や論理判断などを行い、バス２０２に接続された各種要素を制御する。
【００１５】
メモリ２０３は、プログラムメモリとデータメモリを保持する。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。このメモリはＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）であっても良いし、外部記憶装置などからプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であっても良い。あるいは、これらの組合せで実現しても構わない。
【００１６】
記憶装置２０４は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクなどの装置である。
【００１７】
撮影装置２０５はレンズと撮像素子を持ち、レンズから入射する光を撮影し画像データに現像する装置である。本実施形態では、主に作業台１０１を撮影し、文書１０３の情報を抽出するための画像データ取得に利用される。
【００１８】
入力装置２０６はユーザからの指示を入力するための装置である。ユーザは入力装置２０６を介して、当該撮影投影装置に指示を行う。入力装置２０６は、たとえば、ユーザによる机へのタッチ指示を机と指との距離により検出可能な距離センサや、ユーザのジェスチャー指示を検出可能な可視光センサにより実現することができる。その他のセンサやタッチパネルやペンやマウスなどのハードウェアを用いてもよい。
【００１９】
投影装置２０７はＵＩを表示する装置である。投影装置２０７は、たとえば、液晶表示器やレーザー表示器によるプロジェクタ装置により実現することができる。
【００２０】
図１乃至図２で説明する構成は一例であり、その他の形態で実現されてもよい。たとえば、撮影装置２０５と投影装置２０７が独立したハードウェアとして存在してもよいし、それぞれのハードウェアがＵＳＢやネットワークケーブルにより協調動作してもよい。
【００２１】
図３は本実施形態における撮影投影装置の処理の流れをフローチャートにより説明するものである。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
【００２２】
ステップＳ３０１では、撮影装置２０５は、文書１０３を含む作業台１０１を撮影し、撮像画像を生成し、ステップＳ３０２へ進む。
ステップＳ３０２では、ＣＰＵ２０１は、ステップＳ３０１で生成した撮像画像から文書１０３の領域を検出し、ステップＳ３０３へ進む。文書には文字が配置されている領域が含まれている。
【００２３】
文書領域の検出については、たとえば、紙面の辺を直線抽出により抽出し、四辺を推定する方法を用いればよい。直線抽出は、撮像画像をグレースケールへと変換し、ＳｏｂｅｌやＬａｐｌａｃｉａｎフィルタなどの公知のエッジ強調をかけ、ハフ変換や最小近似法などの公知の手法により線分を抽出すればよい。その他、画角や照明などの撮影条件が固定であれば、文書１０３が存在しない状態の作業台１０１をあらかじめ撮影しておいて、その撮影画像との画素差分をとってもよい。また、専用のセンサ装置によって検出し、撮影画像上の座標へマッピングしてもよい。
【００２４】
ステップＳ３０３では、ＣＰＵ２０１は、ステップＳ３０２で得た文書１０３の領域を文書画像として長方形形状へと補正し、ステップＳ３０４へ進む。ステップＳ３０２で得た文書１０３の領域は、撮影装置２０５と作業台１０１の位置関係により、あおりが生じ、不等辺四角形となっている。不等辺四角形を長方形形状へと補正する演算は、いわゆる逆透視変換演算を用いればよい。変換行列のパラメータについては、特開２００３−２８８５８８（特許文献３）に開示されているように、逆透視変換の演算式に４頂点の座標を与える事で、得られる連立方程式を解くことにより抽出できる。また、撮影装置２０５が常に台に対して一定の角度であれば、あらかじめ逆透視変換のパラメータを与えておけばよい。
【００２５】
ステップＳ３０４では、ＣＰＵ２０１は、ステップＳ３０３で得た文書画像に対して、文字認識処理をおこなって認識文字列を得て、ステップＳ３０５へ進む。
【００２６】
ステップＳ３０５では、ＣＰＵ２０１は、ステップＳ３０４で得た文字認識結果から、あらかじめ決められたルールに従い、所望の属性を持つ文字列情報を抽出し、ステップＳ３０６へ進む。所望の属性の文字列情報とは、たとえば免許証や住民票の氏名、住所といった属性に対する個別の内容や、申込書の記載内容といった、ある特定の意味を示す情報である。
【００２７】
属性に対応する文字列情報を得る方法としては、レイアウトが固定された文書であれば、文書中の特定の座標に存在する文字列を取得すればよい。レイアウトを特定できない場合は、文書の認識結果の中から、正規表現や辞書によって候補となる文字列を絞り込んでもよいし、属性を示す名称の文字列を検索して、その近傍から文字列を特定してもよい。文字認識結果が複数の候補があった場合や、属性名称の近傍検索により複数検索された場合は、それぞれを候補文字列として抽出する。複数の候補文字列は、ルールにより候補順序や信頼度を決定してもよいし、文字認識の確からしさにより順序を決定してもよい。本手法は一例であり、目的となる文字列とその座標が取得できれば、その他の方法を用いてもよい。文書１０３の例では、”氏名”という属性は、”山田  太郎”という文字列情報を持つことが分かるようになる。
【００２８】
ステップＳ３０６では、ＣＰＵ１０１は、ステップＳ３０５で得た文字列情報について、ユーザに修正支援ＵＩを提示し、ユーザの入力に基づいて修正を行い、所望の属性に対する文字列情報を確定する。図６を用いて後述するように、文字認識と抽出とをした結果を修正し、確定する。ステップＳ３０６の処理の詳細については、図４のフローチャートを用いて後述する。
【００２９】
図５（ａ）の文書画像５０１は、文書１０３として住民票を作業台１０１上に置き、ステップＳ３０１乃至ステップＳ３０３までの処理の結果得られた文書画像の例である。
本実施形態では、住民票から世帯主の氏名（以下、氏名属性とする）と住所（以下、住所属性とする）を抽出することを目的とする。文書画像５０１の例では、氏名属性５０２の“山田  太郎”という文字列と、住所属性５０３の“東京都大田区下丸子ＸＸＸ”という文字列が正しい値として期待される。
【００３０】
ステップＳ３０５の情報抽出の方法の例として、“世帯主”という文字列を文書中から抽出し、その右方向の近傍領域に存在する文字列を氏名属性として抽出する。そして“住所”という文字列を文書中から抽出し、その右方向の近傍領域に存在する文字列を住所属性として抽出する。
【００３１】
図５（ｂ）の情報抽出結果５０４は、文書画像５０１に対して、ステップＳ３０４とステップＳ３０５の処理の結果得られた抽出結果をツリー構造で示した図である。抽出結果をルートとして、その下に氏名属性、住所属性の各属性、その下に複数個の候補、その下に文字列とその値、矩形座標とその値が文書左上原点としたＸ、Ｙ座標、Ｗ（幅）、Ｈ（高さ）サイズの表記で格納されている。
抽出結果５０４では、氏名属性の第一候補５０５として、文字列“山田  大郎”、矩形座標Ｘ、Ｙ、Ｗ、Ｈが抽出されている。同様に、住所属性として、３つの候補５０６、５０７、５０８が抽出されている。
【００３２】
以下、文書画像５０１と情報抽出結果５０４をステップＳ３０６への入力の例とし、図４のフローチャートを用いて処理の説明を行う。
【００３３】
ステップＳ４０１では、ＣＰＵ２０１は、撮影投影装置１０２でＵＩ表示を行うために投影映像領域に対する文書１０３の相対座標を求め、ステップＳ４０２へ進む。本実施形態では説明のため、便宜上作業台１０１の面と投影装置２０７の投影領域、ステップＳ３０１での文書撮影の領域は一致するとする。すなわち、作業台１０１の面の２次元座標と、ステップＳ３０１で取得した撮影画像上の座標と、投影装置２０７で投影する投影画面上の座標は一致する。
【００３４】
そのため、ステップＳ３０１の時点から作業台１０１上の文書１０３の位置が変化していなければ、ステップＳ３０２で文書検出により得られた撮影画像上の文書領域座標をそのまま用いることができる。ステップＳ３０１の時点から作業台１０１上の文書１０３の位置が移動している場合は、再度ステップＳ３０１とステップＳ３０２と同様の処理を行うことで文書の位置を特定する。
【００３５】
実際は、撮影装置２０５の文書撮影の領域と、投影装置２０７の投影領域は異なっているため、座標変換が必要となる。座標変換の方法としては、あらかじめ撮影投影装置１０２の撮影装置２０５と投影装置２０７の位置関係がわかっていれば、幾何変換のパラメータを持たせておいて適宜マッピングすればよい。その他、投影装置２０７で位置合わせのためのマーカーを投影し、撮影装置２０５で撮影、認識することで座標を合わせてもよい。この方法は一例であり、その他の方法を用いてもよい。
【００３６】
ステップＳ４０２では、ＣＰＵ２０１は、確認・修正支援のためのＵＩを表示・更新し、ステップＳ４０３へ進む。
【００３７】
ＵＩの基本構成は、文書１０３を表示のＵＩ部品としてそのまま使用し、作業台１０１のその他のスペースに抽出結果と修正フィールド、確認・修正完了を指示する完了ボタンが存在する。これは一例であり、その他のＵＩ部品があってもよいし、ＵＩ部品を省略し、ジェスチャーなどのユーザ操作により入力させてもよい。
【００３８】
図６（ａ）はここでのＵＩの表示例である。文書６０１は文書１０３の実体である。その右側のスペースに情報抽出結果５０４の氏名属性を持つ第一候補５０５の文字列がＵＩ表示６０２として投影装置２０７により投影されている。住所属性を持つ第一候補５０６の文字列がＵＩ表示６０３として同様に投影されている。ＵＩ表示６０２、６０３は修正入力のための入力フィールドも兼ねている。完了ボタン６０４は、確認・修正作業の完了を伝えるＵＩ部品として投影されている。破線矩形６０５は、氏名属性の確認・修正する現在の選択状態を示すハイライト表示である。ここでは情報抽出結果５０４の信頼度から確認が必要な項目としてあらかじめ氏名属性値が修正対象として選択されている状態を示しているが、最初は未選択状態であってもよい。破線矩形６０６は、現在選択されている氏名属性の紙面上の矩形座標、すなわち第一候補５０５の矩形座標を示すハイライト表示であり、文書６０１の紙の上に重畳して投影されている。
【００３９】
ステップＳ４０３では、ＣＰＵ２０１は、ユーザからの入力を待機し、ユーザからの操作があればその操作内容を取得し、ステップＳ４０４へ進む。本実施形態の説明では、ユーザからの操作は作業台上のいずれの箇所を指によりタッチする操作をユーザ操作とし、そのタッチ座標（指示位置）を取得する。これは一例であり、マウス操作や、別途入力センサを用いた押下操作、その他ジェスチャーを用いた操作であってもよい。
【００４０】
ステップＳ４０４では、ＣＰＵ２０１は、ステップＳ４０３で得た操作内容を元にＵＩ処理の分岐を行う。現在選択されている属性以外の入力フィールド、すなわち住所属性のＵＩ表示６０３がタッチされ選択されれば、ステップＳ４０５へ進み、ステップＳ４０５では修正対象属性を住所属性に変更しステップＳ４０２へ進む。現在選択されている属性の修正文字列として、文書６０１の特定の文字列がタッチされ選択されれば、ステップＳ４１２へ進み、タッチされた位置の文字列を取得し、ステップＳ４１３では、修正対象の属性の文字列情報をステップＳ４１２で取得した文字列へと修正し、ステップＳ４０２へ進む。ステップＳ４１２、Ｓ４１３の処理の詳細については後述する。
【００４１】
現在選択されている属性の入力フィールド、すなわち氏名属性のＵＩ表示６０２がタッチされれば、ステップＳ４０６へ進む。
【００４２】
本例では、氏名属性の正しい値として“山田  太郎”を得たいが、氏名属性第一候補５０５は、抽出矩形座標は正解であるが、文字列が文字認識の誤認識により“山田  大郎”となっている。ユーザはこれを修正するために、氏名属性の抽出結果６０２の入力フィールドをタッチしたとして、以下説明を続ける。
【００４３】
ステップＳ４０６では、ＣＰＵ２０１は、文字入力モードに変更し、ステップＳ４０７へ進む。入力フィールドがタッチされた状態で文字入力モードに移行することはＰＣなどで一般的な動作であり、ハードウェアキーボードを備えない携帯端末ではソフトウェアキーボードを表示することで文字入力が可能な状態となる。本実施形態の説明も同様にソフトウェアキーボードを用いる。これは一例であり、音声などその他の方法で文字入力をさせてもよい。
【００４４】
ステップＳ４０７乃至ステップＳ４１０ではユーザの文字入力修正の意図があると推定する。すなわち文字認識結果が誤認識で、修正操作を必要としていると解釈し、再度文字列を撮影し、認識を行う。
ステップＳ４０７では、ＣＰＵ２０１は、修正対象である氏名属性の第一候補５０５の矩形座標を取得し、ステップＳ４０８へ進む。図６（ａ）のハイライト表示６０６で示された領域がこれに相当する。
【００４５】
ステップＳ４０８では、ＣＰＵ２０１は、撮影装置２０５の撮影条件の設定を行い、ステップＳ４０９へ進む。ステップＳ４０７で取得した文字領域に対して、ステップＳ３０１より好適な条件で撮影を行う。本実施形態では、光学ズームを用いて焦点距離を長く、すなわち望遠ズームを行うことで対象文字列の解像度を向上させる。
【００４６】
図７は、撮影画角のイメージである。本実施形態では、前述の通りステップＳ３０１での撮影画角は作業台１０１と一致しているので、これと同じ面７０１が撮影画角である。破線で示した画角７０２は、ステップＳ４０８で設定した焦点距離の画角である。レンズの繰り出し距離などを無視すれば、焦点距離が２倍になれば、文字列あたりの解像度は４倍となる。
【００４７】
ステップＳ４０９では、撮影装置２０５は、撮影を行い、撮影画像を取得し、ステップＳ４１０へ進む。画角７０２が領域６０６を含むように撮影を行う。
ステップＳ４１０では、ＣＰＵ２０１は、撮影画像から文字領域を抽出し、ステップＳ４１１へ進む。
ステップＳ４０７で取得した文字領域と、ステップＳ４０９で撮影した撮影画像の座標を合わせ、文字領域を抽出する。撮影角度による歪みがある場合は、それもここで補正を行う。
【００４８】
図８が抽出した文字領域の画像例である。文字領域画像８０１は、ステップＳ３０１で取得した撮影画像から対象文字列を抽出した文字領域画像、文字領域画像８０２はステップＳ４１０で取得した文字領域画像の例である。文字領域画像８０１では解像度の不足から“太”の文字の点となる一部画素が欠けているが、文字領域画像８０２ではきちんと取得できている。
【００４９】
ステップＳ４１１では、ＣＰＵ２０１は、ステップＳ４１０で取得した文字領域画像８０２に対して文字認識を行い、ステップＳ４０２へ進む。文字領域画像８０２は文字認識するための十分な解像度を持っているため、文字認識に成功し、“山田  太郎”の文字列が取得できた。
【００５０】
ステップＳ４０２では、ＣＰＵ２０１は、ステップＳ４１１で取得した文字認識結果を基に修正ＵＩを更新し、ステップＳ４０３へ進む。
本実施形態では説明のためにフローチャートによる逐次的な処理として表現しているが、ユーザによる入力はステップＳ４０７乃至ステップＳ４１１の間も並行してユーザからの入力処理を受け付けてもよい。
【００５１】
図６（ｂ）はここでの修正ＵＩの表示の例である。
ソフトウェアキーボード６０７が、ステップＳ４０６により表示されている。修正候補提示６０８が、ステップＳ４１１で取得された新しい文字認識結果である。この候補が正しい場合は、ユーザはこれをタッチすることで修正操作を完了することができる。ステップＳ４１１で取得した認識結果が正しくない場合は、ユーザはソフトウェアキーボード６０７を用いて正しい文字を入力し修正操作を完了する。支援候補提示後もソフトウェアキーボード６０７によるユーザからの文字入力操作が続いた場合は、再度撮影設定を変更してステップＳ４０７乃至ステップＳ４１１の処理を行い、追加で修正候補を提示してもよい。
すべての修正操作が終われば、ユーザは完了ボタン６０４をタッチし、確認・修正処理を完了する。
【００５２】
また、撮影装置２０５がさらにパン・チルトなどの機構を備え、本撮影投影装置から撮影向きを制御できる場合は、修正対象の矩形座標を画角の中心に変更することで、さらに焦点距離の延長が可能となり、対象文字列周辺の解像度をあげることが可能となる。その他、焦点距離以外の設定を変更し、より文字認識に好適な条件を設定して再撮影してもよい。例えば、フォーカスを対象の矩形座標に合わせることや、矩形座標内のコントラストが最大となるように露出を調整することが考えられる。さらに撮影装置２０５のレンズの歪みや絞りに対する光学性能といった情報を加味して設定を変更してもよい。
【００５３】
以上説明したとおり、本撮影投影装置を用いて帳票からの情報抽出を行った場合、誤認識結果の修正時に、再度文書撮影、文字認識処理を簡単に行うことができ、正解となる文字列を候補としてＵＩ提示する可能性を高め、ユーザはより少ない操作によって修正操作を完了することが可能となる。
【００５４】
ステップＳ４１２，ステップＳ４１３について詳述する。
本撮影投影装置では、属性の候補文字列の箇所が誤っていた場合、正しい文字列をタッチすることで、ステップＳ４１２、ステップＳ４１３の処理によりタッチした箇所を属性の文字列として変更することが可能である。
【００５５】
図９は、ユーザが図６の修正ＵＩに対して、住所属性のＵＩ表示６０３をタッチし、フローチャートＳ４０５の処理により修正対象が住所属性へと変更した修正ＵＩの例である。現在の修正対象属性が住所属性であることを示すハイライト表示９０１が投影装置２０７により表示されている。また、住所属性の文字列として第１候補５０６の文字列“神奈川件川崎市中原区ＹＹＹ”がＵＩ表示６０３に、その矩形座標がハイライト表示９０２として投影装置２０７により投影されている。
【００５６】
前述したステップＳ３０５の処理では、住所属性は“住所”の文字列の右方向近傍の文字列を住所属性として取得している。
【００５７】
抽出結果５０４の住所属性の候補５０６、５０７、５０８ではその条件を満たす文字列としてそれぞれ、“神奈川県川崎市中原区ＹＹＹ”、“東京都大田区下丸子ＸＸＸ”、“神奈川県川崎市多摩区ＺＺＺ”がこの条件に合致するとして、取得されている。ここで、複数条件が合致した場合の優先度は特に設定していないため候補順は不定となり、本来取得したかった住所属性５０３が第２候補５０７となっている。
【００５８】
そこでユーザは文書６０１上の文字列領域９０３をタッチすることで修正操作を行い、ステップＳ４１２、ステップＳ４１３の処理により正しい値へと変更することが可能である。正しい値とは、住民票６０１から住所属性として取得したかった文字列である。
【００５９】
しかし、文書６０１の文字が小さい場合や行間が狭い場合に、ユーザが意図した文字領域９０３ではなく、隣接する領域がタッチされたと判定してしまう可能性がある。本実施形態では、対象属性の候補となる矩形領域に対してタッチ判定エリアを広げる事で、修正操作を支援する。
【００６０】
例えば、図１０（ａ）は、本実施形態を用いない場合の文書６０１上での各文字列のタッチ判定エリアを破線で示した図である。ユーザが文字領域９０３を意図してタッチ操作し、タッチ座標が１００１であった場合、文字領域９０３のタッチ判定エリア１００２ではなく、タッチ判定エリア１００３が押されたと判定されてしまう。
【００６１】
図１０の（ｂ）は本実施形態での各文字列のタッチ判定エリアを破線で示した図である。住所属性の候補である５０６、５０７、５０８と対応する文字領域のタッチ判定のエリアを拡張した状態を、それぞれタッチ判定エリア１００６、１００５、１００７で示している。これによると、先ほどと同じ位置１００１をタッチしても、目的の文字領域９０３のタッチ判定エリア１００４をタッチしたと判定され、正しい文字列が対象属性の文字列として修正される。
【００６２】
本説明では対象属性の候補文字列に対して同様にタッチ判定エリアを拡大したが、候補の順序などに重みをつけて拡大してもよい。その他、別途辞書情報や解析結果を用いてタッチ判定エリアを拡大してもよい。例えば、抽出結果では候補文字列として取得されなかった値でも、住所であれば一般地名辞書を用いて住所らしさの値を算出し、住所らしさの値が高い場合にタッチ判定エリアを拡大してもよい。
【００６３】
またタッチ操作のヒットエリアを拡げること限定されるものではなく、マウス操作のクリックエリアや、ジェスチャー操作時の選択判定の閾値を広げてもよい。
【００６４】
以上説明したとおり、本撮影投影装置を用いて帳票からの情報抽出を行った場合、抽出位置誤りの修正時に、候補となる領域に重みをつけることで正解らしい文字列の入力を容易にし、ユーザの入力の間違いを減らすことが可能となる。
【００６５】
＜その他の実施形態＞
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００６６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６７】
２０１  ＣＰＵ
２０２  バス
２０３  メモリ
２０４  記憶装置
２０５  撮影装置
２０６  入力装置
２０７  投影装置
【図１】
2017199288.tif 000003
【図２】
2017199288.tif 000004
【図３】
2017199288.tif 000005
【図４】
2017199288.tif 000006
【図５】
2017199288.tif 000007
【図６】
2017199288.tif 000008
【図７】
2017199288.tif 000009
【図８】
2017199288.tif 000010
【図９】
2017199288.tif 000011
【図１０】
2017199288.tif 000012