(57)【要約】【課題】  撮影画像中の文字列の関連情報を表示させたい場合、ユーザーにとっての重要度とは無関係な順番で文字列の関連情報が表示されると、ユーザーは必要な文字列の関連情報が表示されるまで待たなければならなかった。【解決手段】  画像から複数抽出された文字列画像の重要度順に、文字列画像を文字認識して得られた文字情報の関連情報を画像に表示させることにより、ユーザーにとって必要な関連情報が表示されるまでの時間を短くする。【選択図】  図３
2013254438.tif 000002
【特許請求の範囲】
【請求項１】
画像から文字列画像を複数抽出する抽出手段と、
複数の前記文字列画像の重要度を獲得する獲得手段と、
前記文字列画像の重要度順に、当該文字列画像を文字認識して得られた文字情報の関連情報を前記画像に重畳して表示させる表示手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記獲得手段では、前記文字列画像の画像特徴量を用いて前記重要度を獲得することを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記獲得手段では、前記文字列画像のレイアウト情報を用いて前記重要度を獲得することを特徴とする請求項１記載の画像表示装置。
【請求項４】
前記獲得手段では、前記文字列画像のエッジ量に基づいて前記重要度を算出して獲得することを特徴とする請求項１記載の画像表示装置。
【請求項５】
前記獲得手段では、前記文字列画像のレイアウト情報から得られる領域に含まれる前記文字列画像の、画像特徴量を用いて獲得した前記重要度に基づいて、前記領域に含まれる前記文字列画像の重要度を調整して獲得することを特徴とする請求項１記載の画像表示装置。
【請求項６】
前記獲得した重要度と前記文字列画像への参照情報とを対応づけて保持する保持手段を更に備え、
前記表示手段は、前記保持手段を参照して重要度順に前記文字列画像を文字認識して得られた文字情報の関連情報を前記画像とともに表示させることを特徴とする請求項１乃至５何れか１項に記載の画像表示装置。
【請求項７】
前記抽出手段で前記画像と重複した画像を含む新規画像から前記文字列画像とは異なる新規文字列画像を抽出した場合、
前記獲得手段は、前記新規文字列画像のレイアウト情報を用いて、当該新規文字列画像の前記重要度を獲得することを特徴とする請求項３記載の画像表示装置。
【請求項８】
前記表示手段は、前記文字列画像の重要度と前記新規文字列画像の重要度とを統合した重要度順に当該文字列画像と当該新規文字列画像とを文字認識して得られた文字情報の関連情報を前記画像に表示させることを特徴とする請求項７記載の画像表示装置。
【請求項９】
前記保持手段は、文字列画像への参照情報と対応させて前記画像での当該文字列画像の位置情報を保持することを特徴とする請求項６記載の画像表示装置。
【請求項１０】
前記表示手段は、前記保持手段に保持された位置情報を参照して前記文字列画像の近傍に前記関連情報を表示させることを特徴とする請求項９記載の画像表示装置。
【請求項１１】
前記文字情報の関連情報は、当該文字情報を翻訳した翻訳文字列であることを特徴とする請求項１記載の画像表示装置。
【請求項１２】
前記保持手段は、前記文字列画像が既に前記表示手段で表示されたか否かを保持しており、
前記表示手段は、前記表示手段で未表示の前記文字列画像を前記重要度順に文字認識して得られた文字情報の関連情報を前記画像に表示させることを特徴とする請求項６記載の画像表示装置。
【請求項１３】
画像から文字列画像を複数抽出する抽出工程と、
複数の前記文字列画像の重要度を獲得する獲得工程と、
前記文字列画像の重要度順に前記文字列画像を文字認識して得られた文字情報の関連情報を前記画像に重畳して表示させる表示工程と、
を備えることを特徴とする画像表示方法。
【請求項１４】
コンピュータを
画像から文字列画像を複数抽出する抽出手段と、
複数の前記文字列画像の重要度を獲得する獲得手段と、
前記文字列画像の重要度順に前記文字列画像を文字認識して得られた文字情報の関連情報を前記画像に重畳して表示させる表示手段と、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる文字列の情報を抽出し、関連情報を表示する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオカメラは、単に風景や人物などの画像を撮影するだけでなく、画像中の文字情報を記録するために用いられるケースが増えてきている。
また、撮影した画像を活用するために、画像から文字情報を抽出し、認識や翻訳等、文字情報をユーザーが利用しやすい形態に変換することも多い。
その為の技術として、特許文献１には、風景などを撮影した画像中の文字を抽出する方法が開示されている。
また、特許文献２には、撮影した画像を表示する際に、撮影画像に含まれる文字列の翻訳結果によって元の文字列部分が置き替わるように、翻訳結果を重畳表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２３２０６
【特許文献２】特開２０１０−１０３６９４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザーが、前述の撮影画像中の文字列の翻訳表示を目的として、駅や空港の時刻表のようにたくさんの文字列を含む対象を撮影する場合がある。文字列の抽出や認識、翻訳処理が高速ではない場合、すべての文字列の翻訳結果が表示されるには、文字列数に比例する時間だけ待たなくてはならない。
【０００５】
この場合、文字列の抽出や認識、翻訳が終了した文字列から順に情報を表示していくことで、ユーザーの待ち時間を軽減することができる。しかし、前述の時刻表の例では、ユーザーにとって翻訳が必要な文字列は一部の未知言語の文字列に限られる。そのため、抽出や認識、翻訳などの処理を配置上の順番で実行し、処理が終了した文字列から順に情報を表示されると、ユーザーは、必要な未知言語の文字列の翻訳結果が表示される順番になるまで待たなければならなかった。
【０００６】
本発明は上記の課題に鑑みてなされたものであり、撮影画像中から抽出した文字列に対し、文字列の重要度に基づいて文字列の処理順を決定することにより、ユーザにとって有用な文字列の関連情報が表示されるまでの時間を短くすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像表示装置は、以下の構成を備える。即ち、画像から文字列画像を複数抽出する抽出手段と、複数の前記文字列画像の重要度を獲得する獲得手段と、前記文字列画像の重要度順に前記文字列画像を文字認識して得られた文字情報の関連情報を前記画像に表示させる表示手段。
【発明の効果】
【０００８】
本発明によれば、撮影画像から抽出した文字列の重要度を評価することにより、ユーザーが求める文字列についての関連情報を早く表示することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置１００の外観を示す図。
【図２】図１の装置１００の内部構成を示す図。
【図３】装置１００の動作の例を示すフローチャート。
【図４】装置１００の認識処理動作の例を示すフローチャート。
【図５】図３のフローチャート処理ステップＳ３０１〜Ｓ３０９の詳細を説明する為の図。
【図６】文字認識部２０８が持つ認識処理キューの例を示す図。
【図７】図３のフローチャート処理ステップＳ３１０〜Ｓ３１５の詳細を説明する為の図。
【図８】文字認識部２０８が持つ認識処理キューの更新例を示す図。
【図９】図３、図４の処理のタイミングチャートの例を示す図。
【図１０】装置１００の表示装置１０２に表示される情報の例を示す図。
【発明を実施するための形態】
【００１０】
［実施形態１］
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【００１１】
図１は、本実施形態の画像処理装置１００の外観を示す図である。図１（ａ）は装置１００を表面から、図１（ｂ）は装置１００を裏面から見た図である。撮像装置１０１は実世界の風景を画像データとして得る。たとえば撮像装置１０１は、レンズと撮像素子で構成される。表示部１０２は、撮像装置１０１で得られた画像データをユーザーが視覚的に確認できるよう表示する。たとえば表示部１０２は液晶ディスプレイである。インターフェース１０３はユーザーが装置１００に対し撮影開始、終了などの操作を行うインターフェースである。
【００１２】
撮像装置１０１は、被写体を時間的に連続する画像として、すなわち動画として撮影できる。また、撮影中の動画は、直ちに表示部１０２に表示される。更に、装置１００では、撮影した画像に含まれる文字列の内容を認識し、認識した内容の翻訳結果などの関連する情報を取得する。そして、同撮影画像の認識した文字列に付随するように関連する情報を表示する機能を有する。
【００１３】
画像処理装置１００のハードウェア構成を説明する。ＣＰＵは、各種演算処理、論理判断等、実行プログラムを実行する。ＣＰＵはバスを介してバスに接続された各デバイスを制御する。処理プログラムや入出力データはＲＡＭ上に展開されて処理される。記憶装置には、処理対象となる画像データや処理済みの電子ファイルを記憶する。
【００１４】
尚、ＣＰＵはプログラムを実行することで各種の手段として機能することが可能である。なお、ＣＰＵと協調して動作するＡＳＩＣなどの制御回路がこれらの手段として機能してもよい。また、ＣＰＵと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、ＣＰＵは単一のものである必要はなく、複数であってもよい。この場合、複数のＣＰＵは分散して処理を実行することが可能である。また、複数のＣＰＵは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、ＣＰＵがプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。
【００１５】
本実施形態の効果的な状況は、たとえば、日本語に習熟していないユーザーが、風景中の未知日本語単語を撮影するだけで、その英訳情報を撮影画像の表示画面内から得られるというものである。
【００１６】
以降、本実施形態では、装置１００で撮影した画像を表示部１０２で見る際に、表示部１０２内に表示されている日本語の文字列を英語に翻訳して表示する機能について説明する。これはあくまで一例であって、他の言語をさらに他の言語へと翻訳する、翻訳ではなく補助データや派生データのような関連情報を付加するなどであってもよい。
【００１７】
図２は、図１の装置１００の機能構成を示す図である。撮影画像取得部２０１は図１の撮像装置１０１に、表示部２０２は図１の表示部１０２に相当する。
【００１８】
本実施形態では、撮影画像処理部２０３は以下３つの機能を有するものとする。
【００１９】
（１）撮影画像取得部２０１から送られてくる画像データを、以降の処理に適切な画像データへと補正する機能。
（２）撮影画像取得部２０１から送られてくる毎秒一定数、たとえば毎秒５枚の画像に対し、更に表示や文字列抽出部２０５以降の処理に適切な画像を選別する機能。
（３）（２）により選別された結果の連続画像内で同一被写体の移動がある場合、その移動量を算出する機能。
【００２０】
（１）は具体的には、表示部２０２への表示に最適となるようなぼけ補正等のフィルタ処理や解像度変換等である。
【００２１】
（２）は具体的には、ユーザーが装置１００を静止した状態で撮影された画像を特定する機能である。観察対象を確定させてから認識処理を行うためである。これは、たとえば撮影画像中のぼけ量の小ささから特定することができる。又は、連続入力された複数の撮影画像間で、内容の差分が無くなった最初あるいは中間など任意時点の画像として特定することができる。さらには、モーションセンサーなどユーザーの動きを検知可能なデバイスを備え、その入力を使って画像を特定してもよい。
【００２２】
（３）の方法としては、連続で入力された複数の撮影画像のそれぞれ連続する２枚の片方をシフトして一致させるという作業を、シフト量を変えながら繰り返し、一致量が極大となるシフト量を移動量とする方法がある。あるいは、複数の画像で共通となる特徴点を抽出し、同特徴点同士の距離を移動量とする方法を用いてもよい。特徴点の検出は具体的には、Ｈａｒｒｉｓ作用素を作用させて得られた画像上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素値が局所極大になる（当該９画素の中で当該画素の画素値が最大になる）点を局所特徴点として抽出する。尚、局所特徴点を抽出可能な方法であれば、上述のＨａｒｒｉｓ作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも適用可能である。さらには、前記モーションセンサーのようなデバイスから得られる動き量を用いて移動量を求めてもよい。
【００２３】
図２に戻り、表示制御部２０４は、撮影画像処理部２０３で生成された補正画像を、表示部２０２に表示する際の制御を行う。表示制御部２０４は更に、後述の関連情報作成部２０９が生成した付加情報を、ユーザーがその内容を視覚的に確認できるよう、前記補正画像上に重畳して表示させる機能を有する。
【００２４】
文字列抽出部２０５は、撮影画像処理部２０３より入力された画像中から、文字列とみなされる物体を検出、特定する機能を有す。撮影画像中から文字列を検出するには公知技術を用いればよい。例えば特許文献１（特開２００９−１２３２０６）では以下方法が開示されている。入力画像からエッジ画像を生成し、エッジ画像から連結画素塊（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ  以後  ＣＣと呼ぶ）を生成する。ＣＣの大きさなどの特徴量から文字らしいと推定される候補ＣＣの座標位置をハフ変換した結果、直線に並ぶ近傍の候補ＣＣ群を文字列と判定する。抽出された各文字列には、文字列に対する認識処理の為の画像データおよび位置情報が付与される。
【００２５】
文字列重要度算出部２０６は、文字列抽出部２０５により複数抽出された文字列のそれぞれに対し、ユーザーにとっての重要度に基づくスコアを、その画像的特徴から算出して獲得し、その値を各文字列に付加情報として与える。本実施形態では、日本語単語の英訳を目的としているため、日本語単語がユーザーにとって重要度が高いと考える。一般的に日本語文字の多くを占める漢字は、英語アルファベット文字よりも線構造が複雑でエッジ量が多い。このことを利用し、対象文字列のエッジ量に比例するような重要度を算出すればよい。これはあくまで一例であって、逆に英語を他言語に翻訳するケースでは、アルファベットの形状的特徴である、文字の上下位置の揃いや円状ループの多さなどを利用してもよい。その他、被写体の種類・条件を利用して、別の画像的特徴量、たとえば色や大きさ等から重要度を算出してもよい。
【００２６】
更に、文字列重要度算出部２０６は、後述の文字列レイアウト的特徴に基づく重要度の加点を、対象文字列に対して行う。本処理内容の詳細ついては、具体的に図３のフローチャートを用いて説明する。
【００２７】
文字列レイアウト解析部２０７は、画像中の文字列の分布・配置から特定のレイアウトを有しているか否かを判定する。本実施形態では、文字列が表形式のレイアウトを有しているか否かの判定を行う。表形式レイアウトの判定は、各文字列をひとつのブロックとして縦横それぞれに射影を取り、縦横両方に射影の山と谷が規則的にあらわれるとき表形式レイアウトと判定すればよい。あるブロックの存在する範囲を１、それ以外を０とし、対象範囲内の各ブロックに対して加算して射影を取っている。画面内の文字列にほぼ等しい傾きがある場合は、それらの傾きに沿って縦横の軸をとるようにするとよい。
【００２８】
文字認識部２０８は、文字列抽出部２０５で抽出された文字列の画像データに対し、公知の文字認識処理を行って文字コード列（文字情報）を得る。認識対象として複数の文字列がある場合、文字認識部２０８は文字列重要度算出部２０６により付与された重要度の高い順に認識処理を行うものとする。この認識順制御の為に、文字認識部２０８は、付与された重要度の高い順に認識対象文字列を並べた文字列処理キューを持つものとする。
【００２９】
関連情報作成部２０９は、文字認識部２０８から入力された文字コード列（文字情報）に対し、その内容に関連する情報を作成し、表示制御部２０４へと出力する。本実施形態における関連情報とは、認識された日本語文字コード列に対する英訳文字のコード列である。具体的には、関連情報作成部２０９内に、日本語単語と英単語の対応付けを行うデータベースエントリを有しておき、入力された日本語の文字コード列に対応する英語の文字コード列を出力するようにすればよい。これはあくまで一例であって、他の言語に対する翻訳結果であってもよいし、翻訳ではない別のデータを出力するようにしてもよい。出力された関連情報は、対応する元の文字列の位置情報と組み合わされて、表示制御部２０４に渡される。
【００３０】
続いて、装置１００の処理手順の例を図３のフローチャートを用いて説明する。このフローチャートは、ＣＰＵが制御プログラムを実行することにより実現される。
【００３１】
まずステップＳ３０１では、撮影画像処理部２０３から最初の画像が入力される。これは前述のとおり、ユーザーが装置１００を用いて撮影を開始し、最初に静止した状態で撮影された画像に相当する。静止した状態で撮影された画像とは、静止画でも良いし、動画の中から前述の撮影画像処理部２０３の機能により、静止した状態で撮影された画像を特定したものでもよい。あるいは、ユーザーが認識処理対象の画像であることを明示するために、インターフェース１０３で指定するようにしてもよい。本実施形態のステップＳ３０１で入力される画像の例を図５（ａ）に示す。
【００３２】
ステップＳ３０２では、文字列抽出部２０５が画像中の文字列を抽出する。本実施形態では図５（ｂ）のように９個の文字列が抽出されている。また、抽出された文字列にはそれぞれの文字列の重心位置を示す位置情報が各々付与されるものとする。付与される位置情報は、文字列の左上の位置や外接矩形を特定する情報であってもよい。
【００３３】
ステップＳ３０３では、文字列重要度算出部２０６が、ステップＳ３０２で抽出された９個の文字列に対し、画像的特徴に基づく各文字列の重要度を算出する。本実施形態では、比較的に線数の多い日本語の文字列を重要と判定するために、文字列範囲内のエッジ量を面積で正規化した値を画像特徴量として用いるが、他の画像的特徴を用いてもよい。図５（ｃ）に各文字列に付与された重要度のスコアの例を示す。
【００３４】
ステップＳ３０４では、文字列レイアウト解析部２０７が、ステップＳ３０２で抽出された文字列の分布・配置が特定のレイアウトを有しているか否かを判断するために、レイアウト的な特徴（レイアウト情報）を解析する。本実施形態では、文字列が表形式のレイアウトを有しているかを解析する為に、各文字列をブロックとするヒストグラムを縦横に作成する。図５（ｄ）にヒストグラムの例を示す。なお、文字列抽出部２０５の処理中、文字列に傾きがあることが検出された場合は、その傾きに沿って縦横の軸を設定してヒストグラムを作成してもよい。
【００３５】
ステップＳ３０５では、ステップＳ３０４で解析された結果、文字列が特定のレイアウトを有しているか否かを調べる。本実施形態では、上記ヒストグラムを調べて、規則性のある山−谷の連続性が縦横ともに検出された場合、表形式レイアウトであると判定する。表形式レイアウトと判定された場合はステップＳ３０６に進む。されない場合はステップＳ３０９に進む。
【００３６】
ステップＳ３０６では、ステップＳ３０４で表形式レイアウトを解析する際に得られた情報を用いて、表の文字列を縦横にグループ化する。そして横のグループである行、縦のグループである列のそれぞれ内部で、文字列の重要度の総和を求める。本実施形態では、図５（ｄ）のヒストグラムの山のひとつを挟む範囲を横、縦のグループとして、各々行、列としている。各行または列グループ毎に重要度を加算した様子を図５（ｅ）に示す。
【００３７】
ステップＳ３０７では、ステップＳ３０６で作成した各行または列の重要度において、相対的に有意なピークを持つ重要行または重要列があるかどうかを調べる。本実施形態では、隣りとの重要度の差が５０以上ある行または列を、有意なピークを持つと判定する。図５（ｅ）の例では、各行の重要度は１５６、１８４、１６５であり、３つに大きな差は無いため重要行は無しと判断する。各列の重要度は９５、２４０、１６０であり、中央の列５０１が有意なピークを持つ重要列であると考える。なお、本実施形態はあくまで一例であり、別の方法で重要列を特定してもよい。重要行または重要列があった場合、ステップＳ３０８に進む。それ以外の場合、ステップＳ３０９に進む。
【００３８】
ステップＳ３０８では、重要行または重要列に含まれている文字列に、重要度の加算を行う。本実施形態では重要度を＋１００するものとする。図５（ｆ）では、中央の列が重要列と判定されたため、その中に含まれる３つの文字列の重要度スコアが図５（ｃ）と比べてそれぞれ＋１００されている。
【００３９】
ステップＳ３０９では、ステップＳ３０３およびステップＳ３０８により各文字列に付与された重要度スコアの順に、各文字列に対する文字認識処理が行われる認識処理キューを作成する。図６に、図５（ｆ）のとおりに重要度を付与された文字列から作成された認識処理キューの例を示す。図６の６０１〜６０９は認識処理キュー内の各エントリを示す。エントリは重要度の値６１１、文字認識処理への入力となる文字列画像データへの参照情報６１２、画像内での文字列の位置情報６１３、および文字列を検出した画像のＩＤ６１４で構成される。なお、本実施形態では認識処理キューは文字認識部２０８内にあり、最初は空の状態である。ステップＳ３０９の処理によって、例えば、図６に示す内容が認識処理キューに挿入されるものとする。図６では、文字列はすべて最初の画像から抽出されたものであるため、画像のＩＤにはすべて１が入っている。
【００４０】
文字認識部２０８は、認識処理キューの先頭にある文字列エントリから順に認識処理を開始する。図４を用いて、認識処理とその結果に基づく処理のフローチャートを説明する。なお、図４の処理は、図３の処理とは非同期に実行されるものとする。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現される。
【００４１】
図４のステップＳ４０１では、認識処理キュー内に未処理の文字列があるか否かを判断する。未処理の文字列がある場合はステップＳ４０２に進む。未処理の文字列が無い場合は、ステップＳ４０１に戻って、新たな未処理文字列が認識処理キューに入力されるのを待つ。本実施形態では図３のステップＳ３０９の処理により図６のとおりに認識処理キューが充填されているので、ステップＳ４０２に進む。
【００４２】
ステップＳ４０２では、認識処理キュー内の未処理文字列エントリにおいて、先頭のエントリを対象に、文字認識処理を実行し、認識結果として文字コード列を得る。たとえば、図６のエントリ６０１の例では、”富良野”に相当する３文字の文字コード列が得られる。なお、認識処理が実行されたエントリには、認識処理実行済のフラグを付けて後で未処理エントリと区別するものとする。
【００４３】
ステップＳ４０３では、関連情報作成部２０９が、ステップＳ４０２で得られた認識結果の文字コード列を入力とし、対応する関連情報を取得する。本実施形態では、入力の日本語文字列に対する英訳文字列が結果となる。具体的には、関連情報作成部２０９が保持するデータベース情報から、日本語文字列”富良野”とその英訳”Ｆｕｒａｎｏ”の対応づけを得ることによって、”Ｆｕｒａｎｏ”を出力として得る。文字認識処理の誤認識を考慮したうえで、対応する英訳文字列を得られるようにしてもよい。そのために、たとえば、入力文字列の誤認識パターンを用意し、そのいずれかに対応する英訳文字列が得られるようにしてもよい。また、英訳の必要が無い文字列が入力された場合は、そのままの文字列が得られるようにしても、あるいは英訳必要無しとしてヌル文字列が得られるようにしてもよい。ステップＳ４０３で取得された英訳文字列は、同文字列の位置情報および画像ＩＤとの組み合わせで、表示制御部２０４に入力される。
【００４４】
ステップＳ４０４では、表示制御部２０４が、ステップＳ４０３で取得された文字列を画像情報に変換する。具体的には、文字コード情報をフォントデータによって描画し文字列画像化する。
【００４５】
ステップＳ４０５では、表示制御部２０４が、ステップＳ４０４で作成された画像情報である文字列画像を、撮影画像上の適切な位置に重畳する。そしてこの重畳結果の画像を表示部２０２に出力する。ここで適切な位置とは、撮影画像内の元の文字列と、重畳される関連情報の文字列画像の対応づけがユーザーにとって容易であるような位置であることが望ましい。このために、ステップＳ４０３で入力された元の文字列の位置情報を用いる。また、現在表示中の撮影画像と、関連情報の元となる文字列を抽出した撮影画像が異なる場合、両画像間の移動量を考慮して表示位置を決定するものとする。このケースに関しては後の例で説明する。
【００４６】
表示方法の例としては、関連情報の文字列画像を元の文字列の近傍に表示するようにすればよい。その場合、ステップＳ４０４で小さなサイズに文字列画像化すればよい。図１０に、図８の認識処理キュー先頭２つの文字列”富良野”、”帯広”に対し、関連情報である英訳結果”Ｆｕｒａｎｏ”、”Ｏｂｉｈｉｒｏ”を撮影画像上の各々の近傍に重畳表示した例を示す。これはあくまで一例であって、元の文字列を置き替えるようなサイズで文字列を上書きするように表示するようにしてもよい。この場合、ステップＳ４０３で表示制御部２０４に入力される元の文字列の位置情報としては、元の文字列の外接矩形の情報が適切となる。
【００４７】
さて、図３のステップＳ３０１〜Ｓ３０９の処理、および図４のステップＳ４０１〜Ｓ４０５の処理の繰り返しの結果、装置１００の表示部１０２では、ユーザーが撮影中の画像に、内部の文字列の関連情報の翻訳結果の一部あるいは全部が重畳された状態にある。前述のとおり、図３の処理と図４の処理は非同期に実行可能である。そこで本実施形態では、認識処理キューの文字列がすべて認識済となる前に、ユーザーが装置１００を動かした場合を説明する。この際ユーザーは、最初の撮影範囲外にある文字列が撮影範囲内に入るように装置１００を動かしたものとして、図３のステップＳ３１０以降の処理の具体例を説明する。
【００４８】
ステップＳ３１０では、撮影画像処理部２０３から新規の画像が文字列抽出部２０５に入力されたかどうかを調べる。入力された場合はステップＳ３１１に進む。入力されない場合はステップＳ３１０に戻って、新規の画像が入力されるのを待つことになる。ここで新規の画像とは、ユーザーが装置１００を持つ角度を変えるなどして、最初の画像における撮影範囲外にある文字列が新たな撮影範囲内に入るよう撮影された画像を指す。具体的には、撮影画像処理部２０３の機能（２）によって選別された画像であるとする。図７（ａ）に新規画像の例を示す。新規の画像は、最初の画像と重複した画像を含んでいる。図７（ａ）は、図５（ａ）の画像に比べ、”２１”  ”トマム”  ”９：５５”の３つの文字列を新規に含んでいる。撮影画像処理部２０３では更に機能（３）によって、図５（ａ）にあった９個の文字列が、図７（ａ）で（Ｘｍ，Ｙｍ）の移動量だけ移動していることを検出しているものとする。
【００４９】
ステップＳ３１１では、文字列抽出部２０５が、入力された新規画像内に新規文字列があるか否かを調べる。新規文字列がある場合はステップＳ３１２に進み、無い場合はステップＳ３１０に戻る。新規文字列の有無は、たとえば次のようにして調べることができる。まず、新規画像に対しステップＳ３０２と同等の処理により、中の文字列をそれぞれ抽出する。図７（ｂ）は、新規画像である図７（ａ）から抽出される１２個の文字列の例である。次に、最初の画像から得られた文字列の位置情報と、新規画像から得られた文字列の位置情報を比較する。この比較の際には前記移動量（Ｘｍ，Ｙｍ）を考慮するものとする。そして両画像間で一致する位置を持つ文字列を、新規画像から抽出された文字列の集合から除去する。この結果新規画像に新規に追加された文字列のみを特定することができる。図７（ｂ）の場合、文字列７０１〜７０３が新規文字列として特定される。
【００５０】
ステップＳ３１２では、ステップＳ３１１で特定された新規文字列画像に対し、ステップＳ３０３と同じ処理により各重要度を付与する。図７（ｃ）に各文字列に付与された重要度の例を示す。
【００５１】
ステップＳ３１３では、ステップＳ３１１で特定された新規文字列が各々、最初の画像で特定された重要行または重要列に含まれるか否かを調べる。含まれる場合はステップＳ３１４に、含まれない場合、あるいは重要行または重要列が特定されていない場合はステップＳ３１５に進む。文字列が重要行に含まれるかどうかは、同重要行を前記（Ｘｍ，Ｙｍ）移動させたうえで、同行を左右に拡張し、文字列が拡張した範囲に含まれることで判定する。重要列の場合も同様に、上下に拡張した範囲に含まれることで判定する。図７（ｄ）に、図５（ｅ）の重要列５１０を下方向に拡張した範囲に、文字列７０２が含まれていることを示す。
【００５２】
ステップＳ３１４では、ステップＳ３１３で重要行または重要列に含まれる文字列が特定された場合、同文字列の重要度に前述ステップＳ３０８で加算されたものと同じスコアを加算する。図７（ｄ）に、文字列７０２の重要度が＋１００加算され１４９となった様子を示す。
【００５３】
ステップＳ３１５では、ステップＳ３１２およびステップＳ３０４により重要度スコアを付与された各新規文字列に対し、ステップＳ３０９で説明した認識処理キューのエントリを作成する。このとき、追加された新規文字列のエントリと、既存文字列のエントリが、その重要度順に並ぶよう、新規文字列のエントリを認識処理キューに挿入する。既存文字列の重要度より、新規文字列の重要度が高ければ、認識処理の優先順位が変わる。ステップＳ３０９で作成された図６の認識処理キューに対し、図７（ｄ）の３つの新規文字列に対するエントリ８０１、８０２、８０３を追加した様子を図８に示す。本実施形態では、画像ＩＤ２から抽出された新規文字列“トマム”、“９：５５”、“２１”が、統合した重要度に従って既存文字列の認識処理キューに割り込んでいる。ステップＳ３１５の処理が終了すると、再びステップＳ３１０に進んでさらに新規の画像が入力されるのを待つ。
【００５４】
最後に、図９のタイミングチャートを用いて図３および図４の処理タイミングを例示し、本実施形態の効果を説明する。
【００５５】
図９の時点９０１は、ユーザーが装置１００を用いた撮影を開始し、図３のステップＳ３０１にて最初の撮影画像が入力されるタイミングである。時点９０２は、最初の撮影範囲外にある文字列が撮影範囲内に入るようにユーザー装置１００を動かした結果、図３のステップＳ３１０として新規の画像が入力されるタイミングである。たとえば、時点９０１、９０２のタイミングで入力される撮影画像の例はそれぞれ図５（ａ）、図７（ａ）となる。
【００５６】
時点９０１を開始タイミングとして、図３のステップＳ３０１以降の処理が開始される。図９の矢印９１１はステップＳ３０２に相当する文字列抽出の時間を示し、図９の矢印９１２は、ステップＳ３０３〜Ｓ３０８に相当する文字列重要度算出の時間を示している。矢印９１２で示される時間には、文字認識部２０８に重要度順で並べた認識処理キューを作成する時間が含まれる。この結果、時点９１２の終了タイミングで図６の認識処理キューが作成されるものとする。
【００５７】
認識処理キューが作成されたので、文字認識部２０８は図４のステップＳ４０２以降の処理を開始する。なお、開始から文字列重要度算出の終了まで、文字認識部２０８は図４のステップＳ４０１で認識処理キューへの文字列エントリ挿入を待っているものとする。
【００５８】
図９の矢印９２１は、認識処理キューの未処理文字列エントリ１個目の処理時間を示す。矢印９２１で示される時間には図４のステップＳ４０２〜ステップＳ４０５の処理時間を含むものとする。すなわち矢印９２１で示される時間は、図６の文字列エントリ６０１に対し、文字認識、関連情報である翻訳文字列の取得、重畳情報作成および撮影画像への重畳表示を行う為の時間である。図９の矢印９２２で示される時間は、認識処理キューの次の未処理の文字エントリ６０２の処理時間である。矢印９２２で示される時間の終了時点で表示装置１０２に表示される撮影画像および関連情報重畳の例を図１０（ａ）に示す。取得された文字列”富良野”の英訳結果”Ｆｕｒａｎｏ”、および取得された関連情報であり文字列”帯広”の英訳結果”Ｏｂｉｈｉｒｏ”が、それぞれ重畳表示１００１、１００２として重畳されている。
【００５９】
同様に矢印９２３で示される時間は、認識処理キューの次の未処理文字エントリ６０３の処理時間である。ここで同処理時間中にユーザーが装置１００を動かし、タイミング９０２で新規画像が入力される。これにともなって図３のステップＳ３１０以降の処理が再開される。一方、図４のステップＳ４０２〜Ｓ４０５の処理は非同期に継続され、矢印９２３で示される時間の終了時には３個目の重畳情報が表示制御部２０４に出力される。その結果、矢印９２３で示される時間の終了時点で表示装置１０２に表示される撮影画像および関連情報重畳の例を図１０（ｂ）に示す。図１０（ａ）で撮影画像範囲外にある３つの文字列が図１０（ｂ）に含まれており、その結果図１０（ａ）にあった文字列は上に移動している。重畳表示１００１、１００２および矢印９２３で示される時間の終了時に追加される新たな重畳表示１００３は、前述の移動量に合わせて上に移動している。同表示は、両画像間の移動量を撮影画像処理部２０３より取得した表示制御部２０４が、各重畳表示の位置情報に同移動量を加算することにより作成される。
【００６０】
一方、新規画像の入力によって再開された図３のフローチャートの処理で、図９の矢印９１３で示される時間はステップＳ３１１における新規文字列抽出の時間である。矢印９１４で示される時間はステップＳ３１２〜Ｓ３１４の新規文字列に対する重要度抽出の時間である。矢印９１４で示される時間の終了時、ステップＳ３１５にて新規文字列が認識処理キューの適切な順番に未処理文字列エントリとして追加される。更新後の認識処理キューは図８となる。
【００６１】
ここで、図９の矢印９２３で示される時間に続いて矢印９２４で示される時間で処理される未処理文字エントリは、図８のエントリ８０１、すなわち新規文字列である”トマム”を対象とするエントリである。その結果矢印９２４で示される時間の終了時点で表示装置１０２に表示されるのは、図１０（ｃ）に示すように同文字列の英訳情報の重畳表示１００４を含む撮影画像である。
【００６２】
これは、図５（ａ）の最初の画像のレイアウトから判定された重要列に、“トマム”が含まれていたため、重要度が加算された結果である。“トマム”はユーザーにとっての英訳対象であるが、仮名文字であるためエッジ量が少なく、同文字列自体の重要度スコアは４９と小さい。もしレイアウトから重要列だと判定された結果の加点が無ければ、図８の認識処理キューにおいて重要度５１を持つエントリ６０６よりも後ろに挿入されていたことになる。この場合、矢印９２４で示される時間の終了時点で表示される撮影画像に重畳表示１００４は含まれないことになる。加えて、エントリ６０４の文字列”９：２８”を認識し、翻訳不可としてユーザーにとって不要な文字列が重畳表示されるか、表示不要として認識処理時間だけを消費する結果となる。最終的に、ユーザーにとって重要となる”トマム”の文字列エントリが処理されて重畳表示が得られるのは矢印９２８で示される時間の終了時となってしまう。
【００６３】
図９のタイミングチャートはあくまでも一例である。たとえば、５個目の文字列の認識中に新規画像が入力された場合であっても、”トマム”の文字列エントリは、認識処理キューでは８０１の位置に挿入される。その結果、６個目の認識対象として未処理（未表示）の８０１が処理されることになり、ユーザーにとって重要となる文字列が優先的に処理されることになる。
【００６４】
また、図９に示した各処理時間は１例である。もし、文字列の重要度を考慮せずに認識処理順を決めてしまうと、特に１個の文字列を認識し関連情報を重畳表示するまでの時間が長い場合に、ユーザーが重要とする文字列の表示までの待ち時間が長くなってしまう。本実施形態のように、文字列の重要度順を考慮して認識処理順を決めると、ユーザーが重要とする文字列の表示の待ち時間を軽減することができる。特に、撮影画像中により文字列数が多い場合に、ユーザーの待ち時間を減らす効果が大きくなる。
【００６５】
以上説明したように、本実施形態によれば、撮影画像中から抽出した文字列に対し、画像的特徴に基づく重要度に、レイアウト的特徴に基づく重要度を加点して認識処理順を決定する。この処理順は、ユーザーが重要とする文字列に対して優先的に認識文字列の関連情報が表示されるように決定される。ここで更に、新規撮影された画像中に追加された新規文字列がある場合、その重要度の加点を、以前の撮影画像のレイアウト特徴に基づいて行う。その結果、前記新規文字列の認識処理順が適切に設定され、ユーザーが重要とする文字列に対し、認識文字列の関連情報が表示されるまでの時間を短縮する効果がある。
【００６６】
［実施形態２］
実施形態２でも、実施形態１と同様に、撮影画像中から抽出した文字列に対し、画像的特徴に基づく重要度に、レイアウト的特徴に基づく重要度を加点して認識処理順を決定する。
【００６７】
本実施形態では、実施形態１の装置１００に外部との通信装置を追加し、図４のステップＳ４０３の認識文字列の関連情報取得の際に、同通信装置を用いて外部から関連情報を取得する。その他、本実施形態２に係る画像処理装置を含んだシステム構成は、図１に示す構成と同じである。この場合、１個の文字列を認識し関連情報を重畳表示するまでに通信時間を要することとなる。この時間が長い場合、ユーザーが重要とする文字列の表示までの待ち時間が長くなってしまう。文字列の重要度順を考慮して認識処理順を決めると、ユーザーが重要とする文字列の表示の待ち時間を軽減することができる。特に、撮影画像中により文字列数が多い場合に、ユーザーの待ち時間を減らす効果が大きくなる。
【００６８】
以上、実施形態２においても、撮影画像中から抽出した文字列に対し、画像的特徴に基づく重要度に、レイアウト的特徴に基づく重要度を加点して認識処理順を決定する。この処理順は、ユーザーが重要とする文字列に対して優先的に認識文字列の関連情報が表示されるように決定される。ここで更に、新規撮影された画像中に追加された新規文字列がある場合、その重要度の加点を、以前の撮影画像のレイアウト特徴に基づいて行う。その結果、前記新規文字列の認識処理順が適切に設定され、ユーザーが重要とする文字列に対し、認識文字列の関連情報が表示されるまでの時間を短縮する効果がある。
【００６９】
［実施形態３］
実施形態１，２では、ユーザーが最初の撮影範囲外にある文字列を含むようにカメラやビデオを動かした場合に、新規撮影された画像が入力されるとした。一方、例とした駅の時刻表などでは、カメラやビデオを動かさなくても、機械式あるいは液晶表示などの表示内容の変化によって、撮影対象の文字列自体が変更される場合がありうる。このような場合に対応する為、撮影範囲が変わらなくても、対象文字列に変更があったことが検知されたら新規画像が入力されたと判定し、前記図３および図４のフローチャートの処理を実行するようにしてもよい。
【００７０】
以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。
【００７１】
本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００７２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013254438.tif 000003
【図２】
2013254438.tif 000004
【図３】
2013254438.tif 000005
【図４】
2013254438.tif 000006
【図５】
2013254438.tif 000007
【図６】
2013254438.tif 000008
【図７】
2013254438.tif 000009
【図８】
2013254438.tif 000010
【図９】
2013254438.tif 000011
【図１０】
2013254438.tif 000012