(57)【要約】【課題】  デジカメ等で撮影された、斜めから見た文書画像の指定範囲を、歪みを考慮して拡大／縮小を可能にする。複数箇所の頂点の位置を変更、修正しなければならない欠点を解決する。【解決手段】  画像や指定範囲を表示する手段、指定範囲を変更する手段、指定範囲の変更に伴い、歪みの特徴を示す位置情報から新たな指定位置を取得する手段を有し、斜めから見た文書画像の指定範囲を変更すると指定位置取得手段により得られた新たな指定位置を表示する。【選択図】  図６
2008077578.tif 000002
【特許請求の範囲】
【請求項１】
斜めから見た文書画像の指定範囲を変更する画像処理装置であって、画像や指定範囲を表示する手段、指定範囲を変更する手段、指定範囲の変更に伴い、歪みの特徴を示す位置情報から新たな指定位置を取得する手段を有し、指定位置取得手段により得られた新たな指定位置を表示することを特徴とする画像処理装置。
【請求項２】
歪みの特徴は消失点であり、行方向と行と垂直な方向の一方もしくは両方を用いて新たな指定位置を取得する請求項１に記載の画像処理装置。
【請求項３】
消失点を自動的に求めるように構成された請求項２に記載の画像処理装置。
【請求項４】
指定範囲の変更は、一辺もしくは一頂点の位置を変更することで実施する請求項１に記載の画像処理装置。
【請求項５】
斜めから見た文書画像の指定範囲を変更する画像処理方法であって、画像や指定範囲を表示する工程、指定範囲を変更する工程、指定範囲の変更に伴い、歪みの特徴を示す位置情報から新たな指定位置を取得する工程を有し、指定位置取得工程により得られた新たな指定位置を表示することを特徴とする画像処理方法。
【請求項６】
歪みの特徴は消失点であり、行方向と行と垂直な方向の一方もしくは両方を用いて新たな指定位置を取得する請求項５に記載の画像処理方法。
【請求項７】
消失点を自動的に求めるように構成された請求項６に記載の画像処理方法。
【請求項８】
指定範囲の変更は、一辺もしくは一頂点の位置を変更することで実施する請求項５に記載の画像処理方法。
【請求項９】
請求項５〜８のいずれかに記載の画像処理方法をコンピュータによって実現させるためのコンピュータ実行可能プログラム。
【請求項１０】
請求項５〜８のいずれかに記載の画像処理方法をコンピュータによって実現させるためのコンピュータ読取可能なプログラムを格納する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影された画像の歪み補正に係わる画像処理装置方法、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
これまで、イメージスキャナ等から読み取った文書画像を文字認識する場合、行方向の射影を用いて行切り出しを行う際、文書に傾きがあると行の切り出し精度が低下するため、傾き量を自動的に求め、補正することで精度向上を行うようにしている。
【０００３】
一方、近年、デジタルカメラ等の普及が目覚しく、撮像素子の解像度も向上したため、文字認識に使用することも可能になってきた。デジタルカメラ等で撮影された画像は、イメージスキャナで読み取った場合と異なり三次元の歪み、すなわち遠近の歪みが発生する。
【０００４】
特開２００２−３３４３２７では、文書画像内の小さな画素の塊を取り出し、隣接した画素塊をまとめていくことで細長い画素の塊とし、取り出されたいくつかの細長い塊を文字行束としてから遠近歪みを補正するように構成されている。
【０００５】
また、特開２００１−１３４７５１では、同一の被写体に視差をつけて撮影し、その違いから斜め撮影による歪みを補正するように構成されている。
【０００６】
また、特開２００２−５７８７９では、撮影された画像に対し、補正のための二組の線分を外挿し、これらの線分の交点を算出して得られた変換式により歪みを補正するように構成されている。
【特許文献１】特開２００２−３３４３２７号公報
【特許文献２】特開２００１−１３４７５１号公報
【特許文献３】特開２００２−５７８７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
撮影された画像の一部分を文字認識させる場合、オペレータがその範囲を指定するが、遠近歪みが存在する場合、矩形による範囲指定では、指定させたい範囲外の行や周りの画像が含まれてしまうため、台形状に指定できるようにするが、指定範囲を変更しようとすると、複数箇所の頂点の位置を変更、修正しなければならない欠点があった。
【０００８】
本発明は上記の課題を解決するためになされたもので、撮影された文書画像の範囲指定を簡単な操作で正確に変更できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、画像や指定範囲を表示する手段、指定範囲を変更する手段、指定範囲の変更に伴い、歪みの特徴を示す位置情報から新たな指定位置を取得する手段を有し、斜めから見た文書画像の指定範囲を変更すると指定位置取得手段により得られた新たな指定位置を表示する。
【００１０】
遠近歪みのある文書画像の求められた消失点を利用して、歪んだままの画像に最適な範囲指定を行うインターフェイスを提供することである。
【発明の効果】
【００１１】
本発明の請求項１〜４記載の実施形態により、遠近歪みを含んだ文書画像に範囲指定後、指定範囲の修正に必要な操作が少なくて済む効果がある。特にポインティングデバイス等の操作に制限があり、表示装置の大きさや解像度が小さい装置上では、何度も表示を変えたり位置の指定を調整したりする必要がなくなり、わずかな操作で指定が容易になる効果がある。
【発明を実施するための最良の形態】
【００１２】
［第１の実施形態］
図１は本発明を実施するための画像処理装置の構成を示すブロック図である。１０１はＲＯＭ１０２に格納されている制御プログラムに従って本装置全体の制御を行うＣＰＵ、１０２はＣＰＵ１０１が実行する後述するフローチャートに示す処理等本装置の制御プログラム等を格納するＲＯＭ、１０３は文書画像等を記憶するＲＡＭ、１０４は磁気ディスク等の外部記憶装置であり、１０５はディスプレイ、１０６はキーボード、１０７はマウス等のポインティングデバイスである。１０８はデジタルカメラ等を接続できる周辺機器インターフェイスである。
【００１３】
本発明は汎用的なコンピュータでも実施可能であり、その場合、媒体等で提供される制御プログラムを外部記憶装置１０４に記憶し、オペレータの指示等によりＣＰＵ１０１で実行するように構成されてもよい。また、１０９はネットワークインターフェースであり、図示しない遠隔地に存在する装置と通信し、プログラムやデータなどを読み込んだり、書き込んだりする。
【００１４】
また、ディスプレイ１０５などがインターフェイスを介して接続された構成でもよい。
【００１５】
画像は周辺機器インターフェイス１０８、あるいは外部記憶装置１０４に保存されているあらかじめ読み取られたもの、あるいは、他の画像入力装置からネットワークインターフェース１０９を介して受信されたものなどである。また、デジタルカメラのように、図示しない光学入力部から光電変換回路を通じて記憶装置に直接画像を記録するようになっていてもよい。
【００１６】
オペレータは、入力された文書画像をディスプレイ１０５に表示し、１０７のポインティングデバイスなどを用いて、文書領域を手動で指定する。この場合、まずに四角形を範囲指定したい領域の近傍に表示し、その後各頂点の位置を移動することにより、範囲指定するように構成される。その他の手段で指定してもよい。
【００１７】
あるいはあらかじめ文書領域を自動的に抽出する手段を用いて領域を決定し、その結果を表示するように構成されていてもよい。
【００１８】
指定範囲を変更する場合の処理を図５のフローチャートを用いて説明する。
【００１９】
Ｓ５０１で指定範囲の文書画像に対応する遠近歪みの消失点を求める。
【００２０】
Ｓ５０２で変更する指定範囲が水平方向の辺か垂直方向の辺かを判断し、水平方向であれば、Ｓ５０３で、水平方向（横書きなら行方向）の消失点を中心にした放射線となるように、指定範囲の水平方向の辺をポインティングデバイスの動きに従い変更する。また垂直方向の辺も消失点に向かって延長する。
【００２１】
一方、垂直方向の辺であれば、Ｓ５０４で垂直方向の消失点を中心にした放射線となるように、指定範囲の垂直方向の辺を変更する。また、水平方向の辺も消失点に向かって延長する。
【００２２】
変更するのが頂点の場合、Ｓ５０５でその頂点から延びた２辺を同時にＳ５０３またはＳ５０４の操作と同様に変更する。
【００２３】
次に、遠近歪み補正のための消失点を求める処理を図２のフローチャートを用いて説明する。
【００２４】
Ｓ２０１で、Ｓ２０２以降の処理が所定回数行われたかの判断を行う。所定回数以下ならＳ２０２に進む。
【００２５】
Ｓ２０２では文書画像の中から検知位置を決定する。これは事前に決めた方法で決定すればよく、ランダムに決めてもあるいは等間隔としてもよい。
【００２６】
Ｓ２０３で、決定された検知位置での行方向を決定する。例えば画素塊を抽出し、それぞれの画素塊の間隔を求め、左右方向の画素塊同士が近ければ行方向は水平方向とし、上下方向の画素塊同士が近ければ垂直方向とする。
【００２７】
Ｓ２０４で、検知位置付近に後述する処理を行うための検知窓を設定する。検知窓の大きさは事前に決定しておく。
【００２８】
Ｓ２０５で検知窓に含まれる画素を行方向に射影し、行射影を取り出す。射影の大きさから文字サイズを推定することが可能なので、検知窓の大きさを推定された文字サイズで変更してもよい。最初に設定された検知窓に対し行方向に隣接した検知窓を設定する。新たな検知窓からも行射影を取り出し、元の行射影との連続性を確認する。行射影の連続性を確認しながら両方の検知窓を行方向にずらし、できる限り両検知窓を離して配置する。
【００２９】
Ｓ２０６では、２つの検知窓から抽出された行射影の位置と行高さを記憶する。
【００３０】
図３は、検知窓とそこから抽出される行射影の様子を示したものである。撮影された文書画像３０１に対し、検知窓３０２、３０３を取る。検知窓に文字行が含まれると行射影３０４が抽出される。
【００３１】
すべての検知位置で処理が終了したら、記憶した行射影の位置と高さから、Ｓ２０７で１組の検知窓の、同一行と判断された行高さと位置の変化から、遠近歪みの消失点となる位置を決定する。行は遠方になるほど高さが小さくなっていくため、同一行の２つ以上行射影上部の座標から、行射影上部の座標位置を示す一次式が求まる。同様に行射影下部の座標から同様に一次式が求まる。両一次式の交差する点が消失点となる。同一行の射影上部の座標が３点以上あれば、最小自乗法などにより一次式が求まる。１組の検知窓に複数の行射影が存在し、しかも複数の検知窓の組みを用いているので、平均値などを使用して消失点の位置の精度を向上することができる。
【００３２】
Ｓ２０８では、行と垂直方向の消失点を決定する。同一検知窓内の行であっても、遠方の行の高さが小さくなることを利用して、同一検知窓内の行高さの変化から、行と垂直方向の消失点までの距離を求めることができる。これは、行高さと位置の示す一次式を求め、行高さが０となる位置を求めればよい。Ｓ２０７で、既に行方向の消失点が求まっているため、３次元上に原稿が存在する面が特定できている。行と垂直方向の消失点までの距離により、原稿が存在する行方向の消失点からの距離が決定され、既に求められている行の傾きから水平方向からのずれ量が決定される。その結果、行に垂直方向の消失点も決定される。
【００３３】
図６は文書画像に対し範囲を指定し、その下辺の範囲を下方向に拡大した状態を表す、本実施形態を動作させたディスプレイ１０５を表した図である。下辺を元の指定位置から下に移動することで、指定範囲を拡大している。その際、消失点１を中心として時計方向に線が回転するように下辺を移動する。また、左右の辺についても消失点２に向かうように辺を伸ばす。
【００３４】
以上説明したように、本実施形態により、指定範囲に係わる消失点を自動的に求めることで、遠近の歪みに応じた範囲指定が行われ、矩形による指定のように範囲指定外の領域が入ることもなく、また４頂点を操作する時のように何度も範囲指定の操作をする必要がなくなる効果がある。
【００３５】
なお、上記実施例では、本発明を実施するための最低限の構成要件で説明を行っているが、例えば汎用コンピュータに、本発明を実施する処理を行うプログラム等のデータを外部から提供し、あるいは、あらかじめ外部記憶１０７に記憶しておき、ＲＡＭ１０３に格納するように構成されていてもよい。また、あらかじめ外部記憶１０７に記憶した入力画像を処理するように構成されていてもよい。
【００３６】
図４は本発明に係る画像処理装置で読みだし可能な各種データ処理プログラムを格納する記憶媒体のメモリマップを説明する図である。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態に係る画像処理装置のブロック図である。
【図２】実施形態１に係る遠近歪み画像を自動的に補正する処理を説明するフローチャートである。
【図３】実施形態１に係る検知窓とそこから抽出される行射影を説明する図である。
【図４】本発明に係る画像処理装置で読みだし可能な各種データ処理プログラムを格納する記憶媒体のメモリマップを説明する図である。
【図５】実施形態１に係る指定範囲を変更する処理を説明するフローチャートである。
【図６】実施形態１に係る指定範囲変更時のディスプレイ上の表示を説明する図である。
【符号の説明】
【００３８】
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  外部記憶装置
１０５  ディスプレイ
１０６  キーボード
１０７  ポインティングデバイス
１０８  周辺機器インターフェイス
１０９  ネットワークインターフェース
【図１】
2008077578.tif 000003
【図２】
2008077578.tif 000004
【図３】
2008077578.tif 000005
【図４】
2008077578.tif 000006
【図５】
2008077578.tif 000007
【図６】
2008077578.tif 000008