(57)【特許請求の範囲】
【請求項１】
光学的に取得された画像を変換元画像として入力する画像入力手段と、
入力された変換元画像を二値化処理する二値化処理手段と、
二値化された画像から文字矩形を抽出する文字矩形抽出手段と、
前記文字矩形の密度を求めこの密度が最大となる文章領域を抽出する最大密度領域抽出手段と、
前記最大密度領域抽出手段で抽出された文章領域に基づいて文字行を抽出する文字行抽出手段と、
前記文字行の分布から変換元画像の透視歪みを検出する透視歪み検出手段と、
前記透視歪みを補正して変換先画像を生成するための逆透視変換行列を算出する逆透視変換行列算出手段と、
前記逆透視変換行列を用いて前記変換元画像を補正して前記変換先画像とする補正手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記透視歪み検出手段は、
前記文字行抽出手段により抽出された１つの文字行又は一対の文字行の領域を示す変換元四辺形領域を推定する変換元四辺形領域推定手段と、
この変換元四辺形領域を用いて変換先画像の矩形領域を推定する変換先矩形領域推定手段と
を備え、
前記逆透視変換行列算出手段は、変換元四辺形領域と変換先矩形領域とを用いて前記逆透視変換行列を算出する
ようにされた請求項１に記載の画像処理装置。
【請求項３】
前記文字行抽出手段は、
入力された変換元画像を二値化処理する二値化処理手段と、
二値化された画像から文字矩形を抽出する文字矩形抽出手段と、
予め設定された結合条件に従って隣接する前記文字矩形同士を連結する文字矩形連結手段と、
文字矩形を連結してなる連結文字矩形から連結誤り部分を検出して該連結誤り部分を棄却する連結誤り部分棄却手段と、
前記連結文字矩形を統合する連結文字矩形統合手段と
を備えた請求項１に記載の画像処理装置。
【請求項４】
前記変換先画像に含まれる文字を文字認識する文字認識手段と、
前記変換先画像と文字認識結果とを関連付けて構造化する構造化手段と、
構造化したデータを記憶する記憶手段と
を更に備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
光学的に取得された画像を変換元画像として入力する画像入力ステップと、
入力された変換元画像を二値化処理する二値化処理ステップと、
二値化された画像から文字矩形を抽出する文字矩形抽出ステップと、
前記文字矩形の密度を求めこの密度が最大となる文章領域を抽出する最大密度領域抽出ステップと、
抽出された前記文章領域に基づいて文字行を抽出する文字行抽出ステップと、
前記文字行の分布から変換元画像の透視歪みを検出する透視歪み検出ステップと、
前記透視歪みを補正して変換先画像を生成するための逆透視変換行列を算出する逆透視変換行列算出ステップと、
前記逆透視変換行列を用いて前記変換元画像を補正して前記変換先画像とする補正ステップとを備えたことを特徴とする画像処理方法。
【請求項６】
前記透視歪み検出ステップは、
前記文字行抽出ステップで抽出された１つの文字行又は一対の文字行の領域を示す変換元四辺形領域を推定する変換元四辺形領域推定ステップと、
この変換元四辺形領域を用いて変換先画像の矩形領域を推定する変換先矩形領域推定ステップとを備え、
前記逆透視変換行列算出ステップは、変換元四辺形領域と変換先矩形領域とを用いて前記逆透視変換行列を算出する
ようにされた請求項５に記載の画像処理方法。
【請求項７】
前記文字行抽出ステップは、
入力された変換元画像を二値化処理する二値化処理ステップと、
二値化された画像から文字矩形を抽出する文字矩形抽出ステップと、
予め設定された結合条件に従って隣接する前記文字矩形同士を連結する文字矩形連結ステップと、
文字矩形を連結してなる連結文字矩形から連結誤り部分を検出して該連結誤り部分を棄却する連結誤り部分棄却ステップと、
前記連結文字矩形を統合する連結文字矩形統合ステップと
を備えた請求項５に記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラなどの画像入力機器により光学的に取得された被写体の画像から、擬似的な正面画像を取得し、文字認識処理を行う画像処理装置、画像処理方法に関する。
【０００２】
【従来の技術】
近年のデジタル機器の発展により、例えば展示会会場などに展示される展示パネルや掲示されたポスター、看板などに書かれた文字を、デジタルカメラなどで撮影し、その画像にＯＣＲをかけて文字認識し、テキストデータとして記録する、ということが可能となっている。このように文字を撮影しようとする場合には、できる限り正面から撮影するのが望ましい。斜め方向から撮影した画像では、撮影した画像内の文字に透視歪み（射影歪み）が発生し、文字認識に用いる辞書データとの類似度が低下してしまい、結果として文字認識率が低下してしまうためである。
【０００３】
しかし、展示会会場などでは、被写体としてのパネルが高所や遠方に設けられていたり、近くにあっても人込みがあったりすることにより、正面から撮影することが困難な場合がある。このため、斜め方向から撮影した画像を補正し、擬似的な正面画像を取得する方法が提案されている。例えば、特開平9−289611号公報には、撮影の際に被写体面と撮像面とがなす角度と被写体までの距離を測定し、その後擬似的な正面画像に自動的に変換するデジタルカメラが提案されている。
【０００４】
しかし、この装置では、撮像面と被写体面が水平方向にずれた場合に生じる台形に歪んだ矩形領域に補正対象が限定されるため、撮影時にガイドに従って撮像面と被写体面との垂直方向の傾きを合わせる必要が生じる。
別の提案として、特開2000−293627号公報には、複数枚の撮影画像の中から最も正面で撮影された画像を選択し、逆透視変換により補正することで擬似的な正面画像を取得する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
しかし、この手法では、複数枚の撮影が常に必要になり利用者の負担が増加する他、これらの方法は被写体においてパネルなどの矩形の領域を定義するための線分が存在する場合のみに処理が制限されてしまうという問題がある。
このように、従来の装置においては、斜め方向から撮影した画像について、垂直方向、水平方向の両方向同時に撮影位置がずれている場合や、画面内にパネルなどの矩形の領域を定義する線分が存在しない場合には、自動的に擬似的な正面画像を得ることが出来ないという問題があった。
【０００６】
この発明は、上記のような従来技術の問題を解消するためになされたものであり、撮影した画像の撮影位置や種類を問わず、自動的に擬似的な正面画像を得ることのできる画像処理装置及び方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本出願の第１の発明に係る画像処理装置は、光学的に取得された画像を変換元画像として入力する画像入力手段と、入力された変換元画像を二値化処理する二値化処理手段と、二値化された画像から文字矩形を抽出する文字矩形抽出手段と、前記文字矩形の密度を求めこの密度が最大となる文章領域を抽出する最大密度領域抽出手段と、前記最大密度領域抽出手段で抽出された文章領域に基づいて文字行を抽出する文字行抽出手段と、前記文字行の分布から変換元画像の透視歪みを検出する透視歪み検出手段と、前記透視歪みを補正して変換先画像を生成するための逆透視変換行列を算出する逆透視変換行列算出手段と、前記逆透視変換行列を用いて前記変換元画像を補正して前記変換先画像とする補正手段とを備えたことを特徴とする。
【０００８】
この第１の発明によると、画像入力手段より入力された変換元画像から文字行が文字行抽出手段により抽出される。この文字行の分布から変換元画像の透視歪みが検出される。検出された透視歪みに基づいて逆透視変換行列が逆透視変換行列算出手段において算出され、この逆透視変換行列に基づいて前記変換元画像が補正されて変換先画像とされる。文字行の分布に基づいて透視歪みが検出されるため、変換元画像が、垂直方向、水平方向の両方向同時に撮影位置がずれている場合であっても、擬似的な正面画像を得ることができ、また、パネルなどの矩形領域を定義する線分が存在しない場合であっても、自動的に擬似的な正面画像を得ることが出来る。
【０００９】
前記透視歪み検出手段は、前記文字行抽出手段により抽出された１つの文字行又は一対の文字行の領域を示す変換元四辺形領域を推定する変換元四辺形領域推定手段と、この変換元四辺形領域を用いて変換先画像の矩形領域を推定する変換先矩形領域推定手段とを備え、前記逆透視変換行列算出手段は、変換元四辺形領域と変換先矩形領域とを用いて前記逆透視変換行列を算出するようにすることができる。
【００１０】
前記第１の発明において、前記文字行抽出手段は、入力された変換元画像を二値化処理する二値化処理手段と、二値化された画像から文字矩形を抽出する文字矩形抽出手段と、予め設定された結合条件に従って隣接する前記文字矩形同士を連結する文字矩形連結手段と、文字矩形を連結してなる連結文字矩形から連結誤り部分を検出して該連結誤り部分を棄却する連結誤り部分棄却手段と、前記連結文字矩形を統合する連結文字矩形統合手段とを備えるようにすることができる。
【００１１】
上記目的を達成するため、本出願の第２の発明に係る画像処理方法は、光学的に取得された画像を変換元画像として入力する画像入力ステップと、入力された変換元画像を二値化処理する二値化処理ステップと、二値化された画像から文字矩形を抽出する文字矩形抽出ステップと、前記文字矩形の密度を求めこの密度が最大となる文章領域を抽出する最大密度領域抽出ステップと、抽出された前記文章領域に基づいて文字行を抽出する文字行抽出ステップと、前記文字行の分布から変換元画像の透視歪みを検出する透視歪み検出ステップと、前記透視歪みを補正して変換先画像を生成するための逆透視変換行列を算出する逆透視変換行列算出ステップと、前記逆透視変換行列を用いて前記変換元画像を補正して前記変換先画像とする補正ステップとを備えたことを特徴とする。
【００１２】
【発明の実施の形態】
〔第１の実施の形態〕
次に、本発明の第１の実施の形態に係る画像処理装置を、図面に基づいて説明する。
（全体構成）
図１は、本実施の形態に係る画像処理装置のハードウエア構成を示すブロック図である。
本実施の形態に係る画像処理装置は、例えば、通常のパーソナルコンピュータ（ＰＣ）に本実施の形態に係るコンピュータプログラムを読み込むことにより構成することができる。すなわち、本実施の形態に係る画像処理装置１は、ＣＰＵ１１により全体の制御がなされるように構成される。ＣＰＵ１１は、ＲＯＭ１２に格納されたコンピュータプログラムに従って後述する各種のデータ処理を行う。ＲＯＭ１２には、コンピュータプログラムの他、各種データ処理を行うためのテーブル等が記憶される。
【００１３】
また、ＲＡＭ１３は、ＲＯＭ１２に格納されたプログラムをロードしたり、データ処理を行うための作業領域を提供したりするための記憶装置である。
ハードディスクドライブ（ＨＤＤ）１４は、ＲＡＭ１３の代替記憶装置として機能する他、補正された画像データ等を記憶する記憶部として機能する記憶装置であり、Ｉ／Ｆ１９を介してＣＰＵと接続されている。
【００１４】
画像処理装置１は、デジタルカメラ等の画像入力装置からの画像データを入力するためのインターフェース（Ｉ／Ｆ）１６を備えており、また、この画像データを記憶するための画像メモリ１７を備えている。
また、画像処理装置１は、表示制御部１８と、表示部１９とを備えている。
表示部１９は、例えばＣＲＴや液晶ディスプレイなどであり、表示制御部１８は、画像データをＣＰＵ１１からの命令に基づき処理して、表示部１９にデジタルカメラの撮影画像等を表示させる。
【００１５】
（ソフトウエア構成）
図２は、図１に示すハードウエア構成をソフトウエア上の機能別にブロック図として示したものである。すなわち、画像処理装置１は、画像入力部３１、文字行抽出部３２、透視歪み検出部３３、画像補正部３４、文字認識部３５、画像構造化部３６、構造化データ記憶部３７とから大略構成される。画像入力部３１は、デジタルカメラ等からの画像データを画像処理装置１に入力するための部分であり、インターフェース１６、画像メモリ１７がこの役割を果たしている。この入力された画像データが、後述するように画像補正部３４で補正されて、これにより斜め方向から撮影された画像が擬似的な正面画像に変換される。以下では、この変換前の画像を「変換元画像」と、変換後の画像を「変換先画像」と称する。
【００１６】
文字行抽出部３２以降の機能は、ＣＰＵ１１及びＲＯＭ１２に格納されたプログラムにより達成されるものである。文字行抽出部３２は、画像入力部３１により入力された変換元画像データの中から、文字の連なりとしての文字行を抽出する部分である。
【００１７】
透視歪み検出部３３は、文字行抽出部３２で抽出した文字行の分布状況に基づいて透視歪みを検出し、この透視歪みを補正する逆透視変換行列Ｈを算出する部分である。
画像補正部３４は、算出された逆透視変換行列により、画像入力部で入力された変換元画像を補正して、これを変換先画像とする。
文字認識部３５は、この変換先画像に対して公知の文字認識装置を用いて文字認識を行う部分である。
【００１８】
画像構造化部３６は、変換先画像と文字認識結果とを関連付けて構造化した構造化データを作成する部分である。変換先画像を、擬似正面画像内の文字を文字認識した結果と関連付けて、構造化し記憶することで、画像内の文字情報の活用や画像の検索などが容易になる。
構造化データ記憶部３６は、この構造化データを記憶する部分であり、例えばＲＡＭ１３がこの役割を果たす。
【００１９】
（文字行抽出部３２）
図３は、文字行抽出部３２の処理動作を示すフローチャートである。
最初にＳ１で、公知の二値化処理手法を用いて、入力された画像を白と黒の二値のデータへと変換する。以降、この二値化データを入力画像とする。
続くＳ２では、黒連結成分の抽出処理を行う。ここで黒連結成分とは、連結された複数の黒画素の塊のことである。例えば、平仮名の「こ」からは、第１画（上の横棒）と第２画（下の横棒）により２つの黒連結成分が抽出される、平仮名の「め」からは、第１画と第２画とが一体化されているので、１つの黒連結成分だけが抽出される。
次にＳ３にて、文字矩形の抽出を行う。ここで文字矩形とは、黒連結成分のまとまりに外接する矩形のことである。図４は、このＳ３における文字矩形の抽出の手順の詳細を示したものである。最初に、Ｓ２で抽出された黒連結成分の外接矩形を抽出する（Ｓ３−１）。次に、この外接矩形の併合処理を行う（Ｓ３−２）。すなわち、２つの外接矩形が一定の併合条件を満たすときには、両外接矩形を併合して新しい外接矩形を生成する。併合条件としては、１つの外接矩形が別の外接矩形を内包する、２つの文字矩形が一定の割合以上交差している、などの条件を用いる。こうして併合された外接矩形が文字矩形として扱われる。図５は、Ｓ３で抽出される文字矩形の１例を示している。
【００２０】
Ｓ３の文字矩形の抽出が完了すると、次はＳ４において文字行の抽出処理が行われる。すなわち、Ｓ３で抽出された文字矩形のうち、直線状に並んでいると判定されるものを連結して、この連結されたものを文字行として抽出するものである。この文字行の抽出処理の手順の詳細を図６に示す。まず、Ｓ４−１において、文字矩形を連結する。各文字矩形の中心位置同士の距離を求め、特定の閾値内にある文字矩形を順に連結していく。このとき、他の保持矩形と連結済みの文字矩形とは連結しないものとする。
【００２１】
続いて、Ｓ４−１における連結手順において、連結の誤りが生じた部分（連結誤り部分）の棄却処理を行う（Ｓ４−２）。例えば、図８（ａ）のように、別の行の文字矩形に誤って連結することが生じ得る。この処理では、ある文字矩形の中心点Ｃｉと、この文字矩形とＳ４−１で連結された前後の文字矩形の中心点Ｃｉ−１、Ｃｉ＋１とがある場合、線分ＣｉＣｉ−１と線分ＣｉＣｉ＋１とがなす角度θｉを求め、一定の範囲を外れた角度で連結している部分を連結誤り部分として棄却する（図８（ｂ））。
【００２２】
次に、Ｓ４−３において、このＳ４−２での棄却により不連続となった文字矩形の連結部（連結文字矩形）を統合処理する。統合処理に際しては、一定の結合条件を設定しておき、この結合条件に基づき、連結文字矩形同士を結合させていく。結合条件としては、例えば、（１）連結文字矩形同士の傾きの差が閾値以下であること、（２）一方の連結文字矩形の端にある文字矩形と、もう一方の連結文字矩形の端にある文字矩形とを結ぶ線分の傾きと、各連結文字矩形の傾きとの差が閾値以下である、などの条件を組み合わせて用いる。このようにして、図７（ａ）に示すような不連続な連結文字矩形同士が、同図（ｂ）に示すように統合される。こうして文字行の抽出が完了する。なお、各文字行は、文字行を構成する各文字矩形の４隅及び中心点の座標、大きさ（縦幅、横幅）、文字行の長さ、傾きなどの属性を持つ。また文字行の傾きに基づいて、縦書きの文書か横書きの文書かが判定される。例えば、文字行の傾きが所定の閾値以上である場合には縦書きと、所定の閾値未満の場合には横書きと判定し、このデータも文字行の属性として記憶される。
【００２３】
（透視歪み検出部３３）
図９は、透視歪み検出部３３の機能を更に詳細に示す機能ブロック図である。透視歪み検出部３３は、変換元四辺形領域推定部３３ａ、変換先矩形領域推定部３３ｂ、逆透視変換行列算出部３３ｃ、逆透視変換行列評価部３３ｄとを備えている。
変換元四辺形領域３３ａは、透視的に歪んだ変換元画像において、文字を囲う四辺形領域を推定する。詳細な推定の手順は後述する。この以下では、この推定された四辺形領域を「変換元四辺形領域」と称する。
【００２４】
変換先矩形領域推定部３３ｂは、変換元四辺形領域推定部３３ａにおいて推定された変換元四辺形領域に基づいて、この変換元四辺形領域に対応する変換先画像内の矩形領域を推定する部分である。詳細な推定の手順は後述する。以下では、この推定された矩形領域を、「変換先矩形領域」と称する。
【００２５】
逆透視変換行列算出部３３ｃは、変換元四辺形領域を変換先矩形領域に変換するための逆透視変換行列Ｈを算出する部分である。逆透視変換行列Ｈの算出方法の概要を図１０に基づいて説明する。
逆透視変換行列Ｈと、変換元四辺形領域４１中の画素Ｐ（ｘ、ｙ）と、変換先矩形領域４２中の画素Ｐ´（ｘ´、ｙ´）との関係は、以下の式により表わされる。
【００２６】
【数１】
0003866600.tif 000002
【００２７】
この逆透視変換行列のパラメータｃ１−ｃ８を、例えば図１０に示すような変換元四辺形領域４１の四隅の座標Ｐ１（ｘ１、ｙ１）〜Ｐ４（ｘ４、ｙ４）、変換先矩形領域４２の四隅の座標Ｐ１´（ｘ１´、ｙ１´）〜Ｐ４´（Ｘ４´、ｙ４´）を式（１．１）に代入することで得られる連立方程式を解くことにより算出することができる。なお、逆透視変換については、「テレビジョン画像工学ハンドブック」（テレビジョン学会編、オーム社）の４６２頁に詳述されている。
【００２８】
逆透視変換行列評価部３３ｄは、逆透視変換行列算出部３３ｃで算出された逆透視変換行列により、正しく透視歪みの補正ができるか否かを評価値を用いて評価する部分である。評価の結果が評価値を満たしていれば、その逆透視変換行列を採用し、評価値を満たさない場合には、この評価の結果に基づき、再度変換元四辺形領域推定部３３ａにより、新たな変換元四辺形領域を推定し、評価値を満たす逆透視変換行列が得られるまで繰り返す。詳細な手順は後述する。
（変換元四辺形領域推定部３３ａ）
【００２９】
次に、変換元四辺形領域推定部３３ａにおける変換元四辺形領域の推定処理の詳細を、図１１に基づいて説明する。
まず、変換元四辺形領域１１ａを設定する際の基準となる基準文字行を選択する（Ｓ３３１）。
文字行抽出部３２で抽出された文字行の集合の中から、横書きの属性を持つ任意の２つの文字行をピックアップし、この２つの文字行を基準文字行として評価値Ｖを計算する。
この評価値Ｖは、文字行の長さの平均をＬ、文字行同士の間隔をＩ、文字行に含まれる文字矩形の高さの分散をＨ、文字行内の各文字矩形において、近接する文字矩形の中心を結んだ線分のなす角度の平均をＡとした場合、次の式で表わされる。
【００３０】
【数２】
Ｖ＝（ｗ１＊Ｌ＋ｗ２＊Ｉ）／（ｗ３＊Ｈ＋ｗ４＊Ａ）
（ただし、ｗ１−ｗ４は重み係数）
【００３１】
この評価値Ｖは、Ｌ、Ｉが大きくなるほど、大きくなる。この評価値Ｖを、すべての文字行の組合せに対して計算し、評価値Ｖが最大となるような一対の文字行を選択する。
なお、評価値Ｖが特定の閾値以上となる一対の文字行が存在しない場合には、文字行の長さなどを基づいて１つだけ文字行を選択し、これを基準文字行とする。
【００３２】
Ｓ３３１で基準文字行が選択されると、次は変換元四辺形領域の上辺、下辺の推定手順に移行する（Ｓ３３２）。
この手順は、基準文字行が一対の文字行の場合と、１つの文字行である場合とで、処理方法が異なっている。
基準文字行が一対の文字行の場合には、図１２に示すように、一対の文字行４３，４４のそれぞれに近似する直線ＬＯ，ＬＵを、Ｈｏｕｇｈ変換や最小自乗法などの公知の手法により求める。
基準文字行が１つの文字行である場合には、図１３に示すように、基準文字行としての当該１つの文字行の上方、下方に接する直線を求め、これをＬＵ，ＬＯとする。
【００３３】
続くＳ３３３では、変換元四辺形領域の左辺ＬＬ，右辺ＬＲを推定する。図１４は、この左辺ＬＬ、右辺ＬＲの推定処理の詳細を示すフローチャートである。この手順は、基準文字行が２つの場合でも（図１２）１つの場合でも（図１３）略同一であるので、ここでは、基準文字行が２つであるものとして説明する。
このステップでは、図１５に示すように、左辺ＬＬ、右辺ＬＲを、回転基準点ＰＬ（ｘＬ、ｙＬ）、ＰＲ（ｘＲ、ｙＲ）を中心に回転させることにより設定している。
具体的には、まず、回転基準点ＰＬ、ＰＲの有無を確認し（Ｓ３３３−１）、無い場合には、回転基準点ＰＬ、ＰＲを定義する（Ｓ３３３−２）。
【００３４】
ＰＬ、ＰＲの定義は、以下のようにして行う。まず、画像の縦方向に平行な２本の直線ＬＬＯ、ＬＲＯを定義する。直線ＬＬＯ、ＬＲＯは、基準文字行が２つあるときは、基準文字行のいずれか１つに接するように定義される。次に、この直線ＬＬＯ，ＬＲＯと、直線ＬＯ，ＬＵとの交点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）、Ｐ３（ｘ３、ｙ３）、Ｐ４（ｘ４、ｙ４）を求める。そして、この交点Ｐ１とＰ４の中点、交点Ｐ２とＰ３の中点をそれぞれＰＬ（ｘＬ、ｙＬ）、ＰＲ（ｘＲ、ｙＲ）として定義する。
【００３５】
次に、直線ＬＬ、ＬＲを、回転基準点ＰＬ，ＰＲを中心に回転させて（Ｓ３３３−３）これにより、直線ＬＬ、ＬＲが画面縦方向（具体的には直線ＬＬＯ，ＬＲＯ）と為す角度θＬ、θＲを変化させて、交点Ｐ１〜Ｐ４を更新する。
これにより、左辺ＬＬ、ＬＲが決定される。
【００３６】
（変換先矩形領域推定部３３ｂ）
次に、変換先矩形領域推定部３３ｂの機能を、図１６に示すフローチャートに基づいて説明する。
まず、変換元四辺形領域の各辺の長さｈ１、ｈ２（縦方向の辺の長さ、図１０参照）、ｗ１、ｗ２（横方向の辺の長さ、図１０参照）を計算する（Ｓ３３４）。
次に、変換元四辺形領域の縦横比ｗ／ｈを計算する（Ｓ３３５）。
【００３７】
続いて、変換先矩形領域の幅ｗ´、高さｈ´（図１０参照）を推定し、その縦横比ｗ´／ｈ´を計算する（Ｓ３３６）。
ｗ´、ｈ´の推定は、次のようにして行われる。
max(ｗ１、ｗ２)＞max（ｈ１，ｈ２）のときは、ｗ´、ｈ´は次の式により推定される。
【００３８】
【数２】
ｗ´＝max（ｗ１、ｗ２）
ｈ´＝max（ｈ１，ｈ２）×（min（ｗ１、ｗ２）／max（ｗ１、ｗ２））
【００３９】
一方、max(ｗ１、ｗ２)＜max（ｈ１，ｈ２）のときは、ｗ´、ｈ´は次の式により推定される。
【数３】
ｗ´＝max（ｗ１、ｗ２）×（min（ｈ１、ｈ２）／max（ｈ１、ｈ２））
ｈ´＝max（ｈ１，ｈ２）
【００４０】
次に、変換後矩形領域の四隅の座標Ｐ１´（ｘ１´、ｙ１´）、Ｐ２´（ｘ２´、ｙ２´）、Ｐ３´（ｘ３´、ｙ３´）、Ｐ４´（ｘ４´、ｙ４´）を、以下のようにして決定する。
Ｐ１´（ｘ１´、ｙ１´）＝（ｘ１、ｙ１）
Ｐ２´（ｘ２´、ｙ２´）＝（ｘ１＋ｗ´、ｙ１）
Ｐ３´（ｘ３´、ｙ３´）＝（ｘ１＋ｗ´、ｙ１＋ｈ´）
Ｐ４´（ｘ４´、ｙ４´）＝（ｘ１、ｙ１＋ｈ´）
【００４１】
（逆透視変換行列算出部３３ｃ）
こうして変換元四辺形領域、変換先矩形領域が推定されると、逆透視変換行列算出部３３ｃは、この推定の結果に基づいて、上述の〔数１〕の要領により、逆透視変換行列Ｈを算出する。
【００４２】
（逆透視変換行列評価部３３ｄ）
次に、逆透視変換行列評価部３３ｄでの処理の詳細を、図１７に示すフローチャートに基づいて説明する。
まず、変換元画像中の、基準文字行の部分の画像のみを取り出した部分画像を作成し、これを基準文字行画像とする（Ｓ３３ｄ−１）。次に、この基準文字行画像を、逆透視変換行列算出部３３ｃで求めた逆透視変換行列Ｈで逆透視変換する（３３ｄ−２）。そして、この逆透視変換後の画像中に含まれる文字に対し、文字認識を実行する（Ｓ３３ｄ−３）。文字認識処理手法には公知のものを使用することができ、例えば、次のような手順で文字認識を行い、評価値Ｖを計算することができる。
１．基準文字行画像の黒連結画素全体に外接矩形を検出する。
２．この外接矩形を１文字単位で切り分ける。
３．各文字と文字認識辞書との類似度を計算する。
４．各文字の類似度を平均したものを評価値Ｖとする。
【００４３】
そして、この算出された評価値Ｖを判定し、最適な値と判断されれば、その逆透視変換行列Ｈを採択し、画像補正部３４に渡す（Ｓ３３ｄ−６）。評価基準を満たさない場合には、変換元四辺形領域推定部３３ａにて、再度四辺形領域の左辺ＬＬ、右辺ＬＲの設定を行わせる。最適の逆透視変換行列Ｈか否かの判定においては、総当りで処理してその評価値Ｖが最大となる行列Ｈを選択するようにしてもよいし、公知のアルゴリズムである山登り法などの手法を用いて計算コストを削減してもよい。
【００４４】
上述の図１７では、基準文字行画像に文字認識を実行し、その結果に基づいて、逆透視変換行列Ｈの適否を判断していたが、図１８に示すように、白画素連結数の計算を行い（Ｓ３３ｄ−３´）、連結数の評価を示す評価値Ｖ２を算出し（Ｓ３３ｄ−４´）、この評価値Ｖ２に基づいて逆透視変換行列Ｈの適否を判定するようにしてもよい。ここで最大白画素連結数とは、画像を垂直方向に１列ずつ分割し、各列において連結している白画素数の最大値を表わす。図１８において、Ｓ３３ｄ−３´、Ｓ３３ｄ−４´以外のステップは図１７と共通であるので、図１７と同一の符号を付してその説明は省略する。
【００４５】
図１９（ａ）は、正しく透視歪みの補正がされた場合の変換先画像、及び位置と最大白画素連結数との関係を示すグラフを、同図（ｂ）は正しく透視歪みの補正がされなかった場合の変換先画像、及び位置と最大白画素連結数との関係を示すグラフを示している。図１９中のグラフに示すように、前者と後者とでは、最大白画素連結数の分布が異なってくる。このため、画像の垂直方向の各列における最大白画素連結数の平均及び分散、又は最大白画素連結数が閾値を超えた列の数などを用いて評価値Ｖ２を算出する。
なお、図１７に示すような文字認識による方法と、図１８に示すような最大白画素連結数による判断方法とを併用するようにしてもよい。
【００４６】
〔第２の実施の形態〕
次に、本発明の第２の実施の形態を、図２０に基づいて説明する。
図２０は、この第２の実施の形態のソフトウエア構成を示すブロック図である。
第１の実施の形態と同一の部分については同一の番号を付し、その説明は省略する。
この第２の実施の形態の画像処理装置は、画像入力部３１より入力された変換元画像の中から、さらに画像を選択する画像選択部３８を備えており、この画像選択部３８で選択された画像を、文字行抽出部３２、透視歪み検出部３３、画像補正部３４の処理の対象とする。そして、この画像補正部３４により補正された変換先画像、及び補正前の変換先画像とは、画像表示部３９において表示される。
【００４７】
また、本実施の形態の画像処理装置は、この画像表示部３９で表示された画像を目視で評価し、補正誤りを起こした変換先画像に対して手動で透視歪みを補正する手動補正部４０を備えている。手動補正部としては、変換元画像中の変換元四辺形領域の四隅の座標値を数値入力するキーボード、マウスなどの入力装置が採用できる。
【００４８】
この手動歪み補正部４０での処理の詳細を、図２１のフローチャートにより説明する。
まず、画像表示部３９に、画像補正部３４で補正された変換先画像を表示させ、オペレータに表示された画像を目視させる。オペレータは、表示内容に基づき、画像補正結果が正しいか否かを判定する（Ｓ１１）。
正しいと判定された場合には、その変換先画像を文字認識部３５へ渡す。一方、目視の結果、正しく補正されたものでない（補正誤りがある）と判定された場合には、その透視歪みの補正を手動歪み補正部４０により行う。まず、オペレータにより、変換元四辺形領域の四隅の座標が指定される（Ｓ１２）。
この四隅の座標の指定により、変換元四辺形領域の形状が決定されるので、次のＳ１３において、この変換元四辺形領域のデータに基づいて、第１の実施の形態で説明したのと同一の手法により変換先矩形領域が推定され（Ｓ１３）、続いて逆透視変換行列Ｈが算出される（Ｓ１４）。
【００４９】
そして、この算出された逆透視変換行列Ｈに基づき画像の補正がなされる（Ｓ１５）。この補正結果としての変換先画像が画像表示部３９に表示されるので、オペレータは、再度この表示画像を目視により判定し（Ｓ１６）、正しく補正されていると判定される場合には、その補正結果を文字認識部３５に渡す（Ｓ１７）。補正されていないと判定される場合には、Ｓ１２に戻って同様の手順を繰り返す。
【００５０】
この第２の実施の形態によれば、デジタルカメラなどで撮影した画像から認識したい任意の画像を画像選択部３８により選択して処理するため、入力データの大きさを小さくすることができ、処理時間が短縮化される。また、もともと歪んでいない変換元画像を無理に透視歪み補正してしまい、文字認識精度が逆に悪化させてしまうことを防ぐことができる。
また、補正誤りの画像についても簡単な操作により手動で補正し、正しい補正画像で入力できるため、構造化データ記憶部３７に格納されるデータの信頼性を向上させることができる。
【００５１】
〔第３の実施の形態〕
次に、本発明の第３の実施の形態を、図２２乃至図２６に基づいて説明する。本実施の形態では、図２２に示すように、文字行抽出部３２において、文字矩形の抽出（Ｓ３）の後、文字行の抽出（Ｓ４）に移行する前に、文字矩形密度が最大となるような文章領域を抽出し（Ｓ５）、この抽出結果に基づいて文字行の抽出を行うようにしている点が、第１の実施の形態（図３参照）と異なる。
この文章領域の抽出処理の詳細を、図２３に基づいて説明する。まず、Ｓ３で抽出された多数の文字矩形の高さ・幅の平均・分散を算出する（Ｓ５−１）。次に、この結果に基づいて、文章領域サイズを設定するとともに（Ｓ５−２）、文章領域の位置を設定する（Ｓ５−３）。続いて、設定された文章領域内の文字矩形密度の算出する（Ｓ５−４）。ここでの密度は、例えば以下のような式により求められる。
密度＝（文章領域内の文字矩形の面積の和）／（文章領域の面積）
このようにして、この密度が最大となるような文章領域を選択して終了する（Ｓ５−５）。
【００５２】
また、本実施の形態では、透視歪み検出部３４での処理内容が第１の実施の形態と異なっている。すなわち、第１の実施の形態では、図９に示すように、まず変換元四辺形領域、変換先矩形領域を推定し、この推定結果に基づいて逆透視変換行列Ｈを算出し、この行列Ｈを逆透視変換行列評価部３３ｄにおいて評価するようにしていた。そして、評価の結果が基準を満たさない場合に、再度変換元四辺形領域推定部３３ａに戻り、同じ手順をループ的に繰り返す、ということを行っている。これに対し、本実施の形態では、この逆透視変換行列の評価やループの手順を行わず、大きく分けて２つのステップ（図２５に示すＳ１００、Ｓ２００）により最適な逆透視変換がなされるようにしている。また、図２４に示すように、変換先画像の文字間の余白に描くことのできる直線（以下、「文字間余白曲線」という）に基づいて、変換元四辺形領域の適否が判断される。
【００５３】
すなわち、図２５に示すように、この実施の形態では、最初に基準文字行のみに基づいて推定される「初期変換元四辺形領域」を推定する（Ｓ２１）。この初期変換元四辺形推定領域の推定手順を図２６で更に詳細に説明する。まず、初期変換元四辺形領域を設定する際の基準となる基準文字行を変換元画像上で選択する（Ｓ２１−１）。次に、この基準文字行に基づいて、初期変換元四辺形領域の上辺・右辺を推定する（Ｓ２１−２）。続いて、初期変換元四辺形領域の左辺・右辺を画面に垂直な線に設定する（Ｓ２１−３）。
【００５４】
図２５に戻って、推定された初期変換元四辺形領域に基づいて、変換先矩形領域を推定し（Ｓ２２）、次いでこの初期変換元四辺形領域及び変換先矩形領域に基づき、逆透視変換行列Ｈを算出する（Ｓ２３）。そして、この行列Ｈにより、実際に変換元画像を逆透視変換して変換先画像を取得する（Ｓ２４）。そして、この変換先画像の文章領域内において、文字間余白直線（図２４）を推定する（Ｓ２５）。そして、変換先画像の左側、右側のそれぞれにおいて、文字間余白直線の傾きの平均値を算出し、この算出値に基づいて、変換元四辺形領域の左辺、右辺を推定する（Ｓ２６）。こうして新たに推定された変換元四辺形領域に基づき、新たな変換先矩形領域を推定し（Ｓ２７）、さらにこの変換元推定領域、変換先矩形領域に基づき逆透視変換行列Ｈも新たに算出され（Ｓ２８）、逆透視変換がなされる（Ｓ２９）。この図２５に示す手順では、Ｓ１００においてまず変換元四辺形領域の上辺、下辺方向を基準文字行のみに基づいて確定し、続くＳ２００において、一旦仮に取得した変換先画像の文字間余白直線を推定することにより、変換元四辺形領域の左辺、右辺も確定する、という手順をとっている。このため、同じ手順を何度も繰り返す必要がなく、短時間で擬似正面画像を得ることができる。
【００５５】
以上、横書きの文章に関する画像処理の例を示したが、本発明は縦書きの文章にも適用可能であることはいうまでもない。この場合、図１１に示す変換元四辺形領域の推定の処理は、まず変換元四辺形領域の右辺、左辺を推定し、その後、変換元四辺形領域の上辺、下辺を推定することになり、Ｓ３３３がＳ３３２に先行して実行されることになる。
また、上記の実施の形態ではパーソナルコンピュータ（ＰＣ）を利用して画像処理装置を構成しているが、ＰＣ以外でも、例えばカメラ付き携帯電話やＰＤＡなどによっても実現可能である。
【００５６】
【発明の効果】
以上説明したように、本発明によれば、垂直、水平方向の両方向にずれて撮影したような場合でも、擬似正面画像を自動的に得られることがから、画像撮影位置の自由性を高めることができる。また、一枚の撮影画像のみで擬似正面画像に変換できるため、撮影時の負担を最小限に抑えることが出来る。さらに、パネルの一部の文章など、画像中に矩形領域を示す明確な線分が存在しない様々な撮影対象に対して適応することが可能になる。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態に係る画像処理装置のハードウエア構成を示すブロック図である。
【図２】  本発明の第１の実施の形態に係る画像処理装置の機能を示す機能ブロック図である。
【図３】  図２に示す文字行抽出部３２での処理の詳細を示すフローチャートである。
【図４】  図３に示すＳ３（文字矩形の抽出）での処理を更に詳細に示すフローチャートである。
【図５】  図３に示すＳ３（文字矩形の抽出）で抽出された文字矩形の例を示す。
【図６】  図３に示すＳ４（文字行の抽出）での処理を更に詳細に示すフローチャートである。
【図７】  図３に示すＳ４（文字行の抽出）における不連続な文字矩形連結誤り部分の棄却処理を概念的に示した図である。
【図８】  図３に示すＳ４（文字行の抽出）における不連続な連結文字矩形の統合処理を概念的に示した図である。
【図９】  図２に示す透視歪み検出部３３の詳細な構成を示すブロック図である。
【図１０】  透視歪み検出部３３での処理を概念的に示した図である。
【図１１】  図９に示す変換元四辺形領域推定部３３ａでの処理の詳細を示すフローチャートである。
【図１２】  図１１に示すＳ３３２（変換元四辺形領域の上辺・下辺の推定）の手順を概念的に示した図である。
【図１３】  図１１に示すＳ３３２（変換元四辺形領域の上辺・下辺の推定）の手順を概念的に示した図である。
【図１４】  図１１に示すＳ３３３（変換元四辺形領域の左辺・右辺の推定）の手順を更に詳細に示すフローチャートである。
【図１５】  図１５のフローチャートに示す手順を概念的に示したものである。
【図１６】  図９に示す変換先矩形領域推定部３３ｂでの処理の詳細を示すフローチャートである。
【図１７】  図９に示す逆透視変換行列評価部３３ｄにおける処理の詳細の一例を示すフローチャートである。
【図１８】  図９に示す逆透視変換行列評価部３３ｄにおける処理の詳細の他の例を示すフローチャートである
【図１９】  図１８に関連して、最大白画素連結数の変化と画像の歪み具合との関連を示す図である。
【図２０】  本発明の第２の実施の形態に係る画像処理装置のソフトウエア構成を示す機能ブロック図である。
【図２１】  図２０に示す手動歪み補正部４０での処理の詳細を示すフローチャートである。
【図２２】  本発明の第３の実施の形態に係る画像処理装置における文字行抽出部３２での処理の詳細を示すフローチャートである。
【図２３】  図２２のＳ５（文章領域抽出）での処理を更に詳細に示すフローチャートである。
【図２４】  文字間余白直線の一例を概念的に示す。
【図２５】  本発明の第３の実施の形態に係る画像処理装置におけるデータ処理の手順の詳細を示すフローチャートである。
【図２６】  図２５のＳ２１（初期変換元四辺形領域推定）の手順の詳細を示すフローチャートである。
【符号の説明】
１１・・・Ｉ／Ｆ、  １２・・・ＲＯＭ、  １３・・・ＲＡＭ、  １４・・・ＨＤＤ、  １５・・・Ｉ／Ｆ、  １６・・・Ｉ／Ｆ、  １７・・・画像メモリ、  １８・・・表示制御部、  １９・・・表示部、  ２０・・・Ｉ／Ｆ、  ３１・・・画像入力部、  ３２・・・文字行抽出部、  ３３・・・透視歪み検出部、  ３４・・・画像補正部、  ３５・・・文字認識部、３６・・・画像構造化部、  ３７・・・構造化データ記憶部、３３ａ・・・変換元四辺形領域推定部、３３ｂ・・・変換先矩形領域推定部、  ３３ｃ・・・逆透視変換行列算出部、  ３３ｄ・・・逆透視変換行列評価部、  ４１・・・変換元四辺形領域、  ４２・・・変換先矩形領域、ＬＯ・・・上辺直線、  ＬＵ・・・下辺直線・・・、  ＬＬ・・・左辺直線、  ＬＲ・・・右辺直線  Ｐ１−Ｐ４・・・交点
【図１】
0003866600.tif 000003
【図２】
0003866600.tif 000004
【図３】
0003866600.tif 000005
【図４】
0003866600.tif 000006
【図５】
0003866600.tif 000007
【図６】
0003866600.tif 000008
【図７】
0003866600.tif 000009
【図８】
0003866600.tif 000010
【図９】
0003866600.tif 000011
【図１０】
0003866600.tif 000012
【図１１】
0003866600.tif 000013
【図１２】
0003866600.tif 000014
【図１３】
0003866600.tif 000015
【図１４】
0003866600.tif 000016
【図１５】
0003866600.tif 000017
【図１６】
0003866600.tif 000018
【図１７】
0003866600.tif 000019
【図１８】
0003866600.tif 000020
【図１９】
0003866600.tif 000021
【図２０】
0003866600.tif 000022
【図２１】
0003866600.tif 000023
【図２２】
0003866600.tif 000024
【図２３】
0003866600.tif 000025
【図２４】
0003866600.tif 000026
【図２５】
0003866600.tif 000027
【図２６】
0003866600.tif 000028