(57)【要約】【課題】画像内の文字や図形の包含矩形を効率的かつ精度良く抽出する。【解決手段】画像１００は入力される風景写真や街中の写真などの正解データ作成対象画像。ネット状グリッド構築処理２００は画像にネット状グリッドを構築する。包含矩形抽出処理３００は各文字や各図形の包含矩形を抽出する。付帯情報入力処理５００は画像情報、文字フォント、文字コード、図形名称などの付帯情報を入力する。判定処理７００は同一ネット状グリッド内のすべての文字や図形について処理が終了したか否かを判定する。判定処理８００は画像内のすべてのネット状グリッドについて処理が終了したか否かを判定する。【選択図】  図１
2004355184.tif 000002
【特許請求の範囲】
【請求項１】
画像内に存在する文字や図形を包含する四角形状の包含矩形を抽出する文字・図形領域抽出装置であって、
文字や図形が描かれている看板の枠線など、画像内の直線または特徴的な点をハフ変換やパターンマッチングなどの画像処理技術により取得し、該直線または特徴的な点に基づき文字や図形の包含矩形を抽出する際の基準となるネット状グリッドを構築する手段と、
マウスまたはキーボード等の入力デバイスによって操作されるポインタに前記ネット状グリッドに沿ったガイド線を重畳させて表示し、該ポインタを用いて指定された包含矩形の頂点に基づき文字や図形の包含矩形を抽出する手段と、
を備えたことを特徴とする文字・図形領域抽出装置。
【請求項２】
請求項１に記載の文字・図形領域抽出装置において、
前記入力デバイスを用いて複数の点が入力され、該点に基づいて前記ネット状グリッドを構築する手段を備えたことを特徴とする文字・図形領域抽出装置。
【請求項３】
請求項１または２に記載の文字・図形領域抽出装置において、
画像内に複数の異なるネット状グリッドを構築し、各ネット状グリッドの領域内では該ネット状グリッドに沿ったガイド線をポインタに重畳させて表示する手段を備えたことを特徴とする文字・図形領域抽出装置。
【請求項４】
請求項１から３のいずれかに記載の文字・図形領域抽出装置において、
各文字や図形の文字コード、文字フォント、図形名称、または画像情報などの付帯情報をマウスまたはキーボード等の入力デバイスを用いて入力する手段を備えたことを特徴とする文字・図形領域抽出装置。
【請求項５】
画像内に存在する文字や図形を包含する四角形状の包含矩形を抽出する文字・図形領域抽出方法であって、
文字や図形が描かれている看板の枠線など、画像内の直線または特徴的な点をハフ変換やパターンマッチングなどの画像処理技術により取得し、該直線または特徴的な点に基づき文字や図形の包含矩形を抽出する際の基準となるネット状グリッドを構築する過程と、
マウスまたはキーボード等の入力デバイスによって操作されるポインタに前記ネット状グリッドに沿ったガイド線を重畳させて表示し、該ポインタを用いて指定された包含矩形の頂点に基づき文字や図形の包含矩形を抽出する過程と、
を備えたことを特徴とする文字・図形領域抽出方法。
【請求項６】
請求項５に記載の文字・図形領域抽出方法において、
前記入力デバイスを用いて複数の点が入力され、該点に基づいて前記ネット状グリッドを構築する過程を備えたことを特徴とする文字・図形領域抽出方法。
【請求項７】
請求項５または６に記載の文字・図形領域抽出方法において、
画像内に複数の異なるネット状グリッドを構築し、各ネット状グリッドの領域内では該ネット状グリッドに沿ったガイド線をポインタに重畳させて表示する過程を備えたことを特徴とする文字・図形領域抽出方法。
【請求項８】
請求項５から７のいずれかに記載の文字・図形領域抽出方法において、
各文字や図形の文字コード、文字フォント、図形名称、または画像情報などの付帯情報をマウスまたはキーボード等の入力デバイスを用いて入力する過程を備えたことを特徴とする文字・図形領域抽出方法。
【請求項９】
請求項５〜８のいずれかに記載の文字・図形領域抽出方法における処理手順をコンピュータで実行可能に構成したことを特徴とする文字・図形領域抽出プログラム。
【請求項１０】
請求項５〜８のいずれかに記載の文字・図形領域抽出方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像内に存在する文字や図形を包含する四角形状の外接矩形領域（包含矩形）を、マウスまたはキーボード等の入力デバイスを用いて抽出する装置および方法に関するものである。
【０００２】
【従来の技術】
文字認識や図形認識技術の開発には、認識対象画像内に存在する文字や図形の文字コード、文字フォント、図形名称、文字や図形の位置、文字や図形の包含矩形形状、画像情報など、各種情報が集約されたデータ（以下、正解データと呼称）が必要となる。この正解データは、認識用のテンプレート（以下、辞書と呼称）を作成する際に学習データとして使用される場合や、認識結果の正誤性能を測定する際に用いられる場合があり、文字認識・図形認識技術の開発を進める際に重要なものである。
【０００３】
正解データの中で、位置と包含矩形形状は該矩形の４つの頂点座標により記述され、従来は市販の画像処理ソフトなどを用い（例えば、非特許文献１、２参照）、以下の手順によりこの座標を抽出していた。
【０００４】
Ｓ１．認識対象画像を市販画像処理ソフトに読み込み、表示する。
【０００５】
Ｓ２．市販画像処理ソフトに標準装備されていることの多い矩形領域抽出ツールを使用し、包含矩形の４つの頂点を人手でマウスクリックすることにより該矩形を抽出する。
【０００６】
Ｓ３．市販画像処理ソフトに標準装備されていることの多いマウスポインタ位置表示機能を使用し、４つの頂点の座標を人手で読み取り、記録する。
【０００７】
【非特許文献１】
画像処理ソフトウェア：発売元：Ｐａｉｎｔ  Ｓｈｏｐ  Ｐｒｏ，Ｊａｓｃ  Ｓｏｆｔｗａｒｅ社
【０００８】
【非特許文献２】
画像処理ソフトウェア：発売元：Ｐｈｏｔｓｈｏｐ，Ａｄｏｂｅ社
【０００９】
【発明が解決しようとする課題】
画像内の文字や図形各々に矩形形状の外枠があらかじめ付いている場合、従来方法により包含矩形の４つの頂点座標を精度良く抽出することが可能であるが、文字や図形の大部分には外枠が付いていない。
【００１０】
このような場合、まず文字や図形がその上に書かれている看板など、矩形形状を持ち外枠が明確な物体の４辺をはじめに抽出し、次にこの４辺を基準として、すなわちこれらを平行移動させることにより、文字や図形の包含矩形の４辺を定め、各辺の交わった頂点座標を抽出することになる。この作業には非常に大きな手間がかかることになる。
【００１１】
また、画像は原理的に透視投影変換されているため、文字や図形の包含矩形の４辺と、これらが書かれている看板などの４辺の対応する辺同士は完全に平行ではなく、直線の傾きは若干異なっているため、精度の高い包含矩形形状の抽出も困難であった。
【００１２】
本発明の目的は、上記の課題を解決した文字・図形領域抽出装置、方法、プログラムおよび記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
本発明は、文字や図形の包含矩形を効率的かつ精度良く抽出するため、以下の機能を備えた装置、方法、プログラムおよび記録媒体を特徴とする。
【００１４】
・画像読み込みと表示機能。
【００１５】
・ネット状グリッドを自動構築する機能。
【００１６】
・ネット状グリッドの微調整機能。
【００１７】
・マウスポインタにネット状グリッドに沿ったガイド線を付与する機能。
【００１８】
・４つの頂点の指定により、包含矩形形状を決定する機能。
【００１９】
・矩形形状情報の自動出力機能。
【００２０】
・上記１〜６の基本機能に加え、使用目的による拡張機能としての画像情報、文字フォント、文字コード、図形名称などの付帯情報入力機能。
【００２１】
（１）画像内に存在する文字や図形を包含する四角形状の包含矩形を抽出する文字・図形領域抽出装置であって、
文字や図形が描かれている看板の枠線など、画像内の直線または特徴的な点をハフ変換やパターンマッチングなどの画像処理技術により取得し、該直線または特徴的な点に基づき文字や図形の包含矩形を抽出する際の基準となるネット状グリッドを構築する手段と、
マウスまたはキーボード等の入力デバイスによって操作されるポインタに前記ネット状グリッドに沿ったガイド線を重畳させて表示し、該ポインタを用いて指定された包含矩形の頂点に基づき文字や図形の包含矩形を抽出する手段と、
を備えたことを特徴とする文字・図形領域抽出装置。
【００２２】
（２）上記の（１）に記載の文字・図形領域抽出装置において、
前記入力デバイスを用いて複数の点が入力され、該点に基づいて前記ネット状グリッドを構築する手段を備えたことを特徴とする文字・図形領域抽出装置。
【００２３】
（３）上記の（１）または（２）に記載の文字・図形領域抽出装置において、
画像内に複数の異なるネット状グリッドを構築し、各ネット状グリッドの領域内では該ネット状グリッドに沿ったガイド線をポインタに重畳させて表示する手段を備えたことを特徴とする文字・図形領域抽出装置。
【００２４】
（４）上記の（１）から（３）のいずれかに記載の文字・図形領域抽出装置において、
各文字や図形の文字コード、文字フォント、図形名称、または画像情報などの付帯情報をマウスまたはキーボード等の入力デバイスを用いて入力する手段を備えたことを特徴とする文字・図形領域抽出装置。
【００２５】
（５）画像内に存在する文字や図形を包含する四角形状の包含矩形を抽出する文字・図形領域抽出方法であって、
文字や図形が描かれている看板の枠線など、画像内の直線または特徴的な点をハフ変換やパターンマッチングなどの画像処理技術により取得し、該直線または特徴的な点に基づき文字や図形の包含矩形を抽出する際の基準となるネット状グリッドを構築する過程と、
マウスまたはキーボード等の入力デバイスによって操作されるポインタに前記ネット状グリッドに沿ったガイド線を重畳させて表示し、該ポインタを用いて指定された包含矩形の頂点に基づき文字や図形の包含矩形を抽出する過程と、
を備えたことを特徴とする文字・図形領域抽出方法。
【００２６】
（６）上記の（５）に記載の文字・図形領域抽出方法において、
前記入力デバイスを用いて複数の点が入力され、該点に基づいて前記ネット状グリッドを構築する過程を備えたことを特徴とする文字・図形領域抽出方法。
【００２７】
（７）上記の（５）または（６）に記載の文字・図形領域抽出方法において、
画像内に複数の異なるネット状グリッドを構築し、各ネット状グリッドの領域内では該ネット状グリッドに沿ったガイド線をポインタに重畳させて表示する過程を備えたことを特徴とする文字・図形領域抽出方法。
【００２８】
（８）上記の（５）から（７）のいずれかに記載の文字・図形領域抽出方法において、
各文字や図形の文字コード、文字フォント、図形名称、または画像情報などの付帯情報をマウスまたはキーボード等の入力デバイスを用いて入力する過程を備えたことを特徴とする文字・図形領域抽出方法。
【００２９】
（９）上記の（５）〜（８）のいずれかに記載の文字・図形領域抽出方法における処理手順をコンピュータで実行可能に構成したことを特徴とする文字・図形領域抽出プログラム。
【００３０】
（１０）上記の（５）〜（８）のいずれかに記載の文字・図形領域抽出方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。
【００３１】
【発明の実施の形態】
本発明の実施の形態を、図を参照して詳細に説明する。
【００３２】
図１に本実施形態の処理手順を示す。１００は撮影装置または画像読取装置で入力される風景写真や街中の写真などの正解データ作成対象画像、２００は画像１００にネット状グリッド（画像に含まれる文字や図形の包含矩形を抽出する際の基準となる座標系）を構築する処理、３００は各文字や各図形の包含矩形を抽出する処理、４００は包含矩形抽出処理３００により抽出された包含矩形をディスプレイや記憶装置に出力された包含矩形形状情報、５００は画像情報、文字フォント、文字コード、図形名称などの付帯情報の入力処理、６００は付帯情報入力処理５００により入力された付帯情報、７００は同一ネット状グリッド内のすべての文字や図形について処理が終了したか否かを判定する処理、８００は画像内のすべてのネット状グリッドについて処理が終了したか否かを判定する処理である。
【００３３】
画像１００は、その中に文字や図形を含む画像であり、例えば風景写真や街中の写真などである。画像１００の例として、「神奈川県横須賀市」という文字列が書かれた看板写真画像を図２に示す。
【００３４】
ネット状グリッド構築処理２００は、画像処理技術によって取得された文字や図形が描かれている看板の枠線などの直線または特徴的な点、あるいはマウスまたはキーボード等の入力デバイスを用いて人手により入力された基準点にもとづき、ネット状グリッドを自動構築する処理である。
【００３５】
ここで、看板の枠線などの直線を画像内から検出し、これを基にしてグリッド状ネットを作成する方法を説明する。直線を検出する方法としては、従来から良く知られている方法として、ハフ（Ｈｏｕｇｈ）変換や、パターンマッチング（参考文献［１］）がある。
【００３６】
参考文献１「画像処理標準テキストブック、画像情報教育振興協会、ｐｐ．１８７−１９０」
Ｈｏｕｇｈ変換により抽出された複数の垂直方向の直線の交点と、複数の水平方向の直線の交点をそれぞれ消失点とすることにより、ネット状グリッドを作成することができる。図３に例を示す。図３の２０１，２０２，２０３，２０４は抽出された直線であり、垂直方向の直線２０１と２０２の交点から消失点２０５が、水平方向の直線２０３と２０４の交点からもう１つの消失点２０６が求まる。
【００３７】
また、本実施形態では人手によりネット状グリッド構築用の基準点を入力する方法を以下に示す。図４に基準点の例を示す。図４の例では、看板に存在する枠線の左上、左下、右下、右上の４つの頂点を基準点２０７，２０８，２０９，２１０としている。図４の枠線のような物がない場合、すなわち、基準点が明確でない場合、例えば「県」という文字に含まれる「目」の部分の左上、左下、右下、右上の４つの頂点を基準点とすることが可能である。この基準点は、お互いの距離が大きいほど精度良くネット状グリッドを構築できるため好ましい。また、一度基準点を入力した後でも、入力デバイスを用いてその位置を微修正することが可能である。また、基準点は４点だけでなく、より精度の高いネット状グリッドを構築するために５点以上入力することも可能であるが、本実施形態では基準点を４点として説明する。また、写真画像内に複数の看板が写っているような場合、ネット状グリッドも複数存在することとなり、各ネット状グリッドについてそれぞれ異なる基準点を入力する。
【００３８】
次に、入力された基準点に基づき、ネット状グリッドを自動構築する。この処理例を図５に示す。図５の２０７，２０８，２０９，２１０は４つの基準点であり、これらの点の座標から、簡単な幾何計算により、ネット状グリッドの消失点２１１，２１２を求めることが可能である。
【００３９】
求めた消失点を始点とする等角度間隔のグリッド線を、図２の看板写真画像に重畳させて表示した例を図６に示す。このグリッド線は任意に非表示とすることも可能である。また、一度消失点を算出してネット状グリッドを構築した後も、入力デバイスを用いて基準点位置を微修正し、グリッドを構築し直すことも可能である。
【００４０】
次に、図１の包含矩形抽出処理３００は、文字や図形の包含矩形の４頂点を、入力デバイスを用いて人手により指定することにより、該包含矩形を抽出する処理である。効率的かつ精度良く包含矩形を抽出するため、ネット状グリッドに沿った２本のガイド線をマウスポインタに発生させる。該ガイド線を参考にしてマウスポインタを包含矩形の４つの頂点に移動させることにより、効率的かつ精度良く該頂点を指定することが可能である。ガイド線付きマウスポインタの例を図７に示す。
【００４１】
この場合、包含矩形形状情報４００は、包含矩形抽出処理３００により抽出された包含矩形の４つの頂点座標である。
【００４２】
付帯情報入力処理５００は、必要に応じ、画像サイズや色数などの画像情報、文字フォント、文字コード、図形名称、各文字や図形が属するネット状グリッド、各文字や図形が属する文字列や図形列、写真撮影場所、写真撮影時間などに関する付帯情報を人手により入力する処理である。これら情報の入力は包含矩形の抽出処理と同時に入力デバイスにより行わる。
【００４３】
付帯情報６００は、付帯情報入力処理５００により入力された各付帯情報であり、テキストファイル、ＣＳＶファイルなど任意に指定した形式のファイルで出力される。
【００４４】
同一ネット状グリッド内処理終了判定処理７００は、１つのネット状グリッド内すべての文字や図形が処理されたか否か、人手による判定結果入力を実行する処理である。まだ処理されていない文字や図形が存在する場合、包含矩形抽出処理３００へ戻って包含矩形抽出処理３００と付帯情報入力処理５００が繰り返し実行される。
【００４５】
処理終了判定処理８００は、画像内のすべてのネット状グリッドについて処理が終了したか否か人手による判定結果入力を実行する処理である。まだ処理が終わっていないネット状グリッドが存在する場合、ネット状グリッド基準点入力処理２００へ戻り、ネット状グリッド構築処理２００と包含矩形抽出処理３００と付帯情報入力処理５００が繰り返し実行される。
【００４６】
以上に説明してきた処理により、画像内の文字や図形の包含矩形を効率的かつ精度良く抽出することが可能となる。
【００４７】
図８は、本発明の実施の形態としての、文字・図形領域抽出装置の構成を示し、各部は図１の処理機能をソフトウェア構成で実現するコンピュータ構成とする。図８において、画像入力部１は風景写真や街中の写真などの正解データ作成対象画像を入力する撮影装置または画像読取装置。ネット状グリッド構築部２は画像入力部１から入力された画像に対してネット状グリッドを構築する。包含矩形抽出部３は画像に含まれる各文字や各図形の包含矩形形状情報を抽出する。付帯情報入力部４は抽出された包含矩形形状情報に対する画像情報、文字フォント、文字コード、図形名称などの付帯情報の入力処理をする。情報出力部５は包含矩形抽出部３により抽出された包含矩形情報および付帯情報入力部４で入力された付帯情報をディスプレイや記憶装置に出力する。判定入力部６は同一ネット状グリッド内のすべての文字や図形について処理が終了したか否かの判定入力、および画像内のすべてのネット状グリッドについて処理が終了したか否かの判定入力に応じて、ネット状グリッド構築部２および包含矩形抽出部３での実行を指令する。
【００４８】
なお、本発明は、２次元画像を用いて画像に写った３次元物体の形状や運動を求める３次元情報復元技術における、幾何学的キャリブレーションに利用することができる。３次元情報復元は、カメラやビデオによる３次元情報から２次元情報への投影の過程を正確に求める必要があり、カメラモデルやその各種パラメータのキャリブレーションが行われる。このキャリブレーション方法の１つに、消失点の性質を利用した方法があり、以下に挙げるような様々な従来研究が存在する。
【００４９】
（ａ）新技術コミュニケーションズ、コンピュータビジョン、ｐｐ．４２
（ｂ）Ｃａｐｒｉｌｅ  ａｎｄ  Ｖ．Ｔｏｒｒｅ，Ｕｓｉｎｇ  ｖａｎｉｓｈｉｎｇ  ｐｏｉｎｔｓ  ｆｏｒ  ｃａｍｅｒａ  ｃａｌｉｂｒａｔｉｏｎ，ＩＪＣＶ，Ｖｂｌ．４，ｐｐ．１２７−１４０．１９９０。
【００５０】
（ｃ）Ｗ．Ｃｈｅｎ  ａｎｄ  Ｂ．Ｃ．Ｊｉａｎｇ，３−Ｄ  ｃａｍｅｒａ  ｃａｌｉｂｒａｔｉｏｎ  ｕｓｉｎｇ  ｖａｎｉｓｈｉｎｇ  ｐｏｉｎｔ  ｃｏｎｓｅｐｔ，ＰＲ，Ｖｏｌ．２４，ｐｐ．５７−６７．１９９１。
【００５１】
これら従来手法は、平行線を描いた物体を用意し、これを撮影した画像を解析することにより消失点を自動抽出しているが、本発明では人手による判定と入力で、看板の外枠や文字内部の矩形などさまざまな手がかりを用いて消失点を抽出することができる。本発明により抽出した消失点を従来手法に適用することで、簡易かつ効率的なキャリブレーションが可能となる。
【００５２】
さらに、本発明は、カメラやビデオで撮影された画像や映像に対し、歪み補正や回転補正などの編集に用いることもできる。
【００５３】
また、本発明は、図１等に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００５４】
【発明の効果】
以上説明してきたように、本発明は、文字や図形の包含矩形を抽出する際、包含矩形の基準となる座標系（ネット状グリッド）を構築し、これに沿ったガイド線を付与したマウスポインタを移動させて包含矩形の頂点を指定することとしたため、画像内の文字や図形の包含矩形を効率的かつ精度良く抽出することができる。これにより文字認識や図形認識技術開発のための正解データを効率良く作成することができる。
【００５５】
また、本発明では人手により抽出される消失点は、２次元画像からの３次元情報復元におけるカメラモデルとそのパラメータのキャリブレーション手法に利用することができる。
【００５６】
さらに、本発明は、カメラやビデオで撮影された画像や映像に対し、歪み補正や回転補正などの編集に利用することができる。
【図面の簡単な説明】
【図１】本発明の実施形態を示す処理手順。
【図２】実施形態における看板写真画像の例。
【図３】実施形態におけるネット状グリッドの作成例。
【図４】実施形態におけるネット状グリッド基準点の例。
【図５】実施形態におけるネット状グリッド構築処理例。
【図６】実施形態におけるネット状グリッドの例。
【図７】実施形態におけるガイド線付きマウスポインタの例。
【図８】本発明の実施形態を示す装置構成図。
【符号の説明】
１…画像入力部
２…ネット状グリッド構築部
３…包含矩形抽出部
４…付帯情報入力部
５…情報出力部
６…判定入力部
【図１】
2004355184.tif 000003
【図２】
2004355184.tif 000004
【図３】
2004355184.tif 000005
【図４】
2004355184.tif 000006
【図５】
2004355184.tif 000007
【図６】
2004355184.tif 000008
【図７】
2004355184.tif 000009
【図８】
2004355184.tif 000010