(57)【要約】【課題】画像データを解析し、従来技術に比べてより簡易な手法にて各領域の位置情報を取得可能とすることができる画像解析装置及びプログラムを提供する。【解決手段】OCRソフトで領域識別し、その領域データの枠線を描画して表示されたものをスクリーンキャプチャして、枠線を抽出し、その枠線の座標値を算出することで、OCRソフトで領域識別をした領域データの座標値を求めることができるので、従来技術に比べてより簡易な手法にて各領域の位置情報を取得可能とすることができる画像解析装置及びプログラムの提供を実現することができる。【選択図】図１
2010178105.tif 000002
【特許請求の範囲】
【請求項１】
カラー原稿に含まれる領域の位置情報を取得する画像解析装置であって、
前記カラー原稿に含まれる領域は、領域の属性に応じた枠線により他の領域と区別されて表現されており、
前記カラー原稿を読み取ることにより生成された画像データを入力する入力手段と、
入力された前記画像データから所定の枠線を抽出する抽出手段と、
抽出された前記枠線をトレースすることにより、前記領域の位置情報を取得する取得手段とを備え、
前記取得手段は、前記枠線をトレースすべき方向が複数方向存在する場合、それまでトレースした軌跡に応じてトレースすべき方向を決定する決定手段を備えたことを特徴とする画像解析装置。
【請求項２】
前記領域は、文字領域、表領域、及び画像領域を含み、
前記入力手段で入力された文字領域もしくは前記表領域のみを前記抽出手段で抽出された枠線の色、太さ、及び前記取得手段で取得した位置情報により判別する判別手段を備えたことを特徴とする請求項１記載の画像解析装置。
【請求項３】
前記枠線が他の枠線と重複し、かつ途切れている場合に、前記枠線を補完する補完手段を備えたことを特徴とする請求項２記載の画像解析装置。
【請求項４】
画像データに含まれる領域の位置情報を取得するためのプログラムであって、
コンピュータに、
前記画像データから所定の領域の枠線を抽出する手順、
抽出された前記枠線をトレースすることにより、前記領域の位置情報を取得する手順、
前記枠線をトレースすべき方向が複数方向存在する場合、それまでトレースした軌跡に応じてトレースする方向を決定する手順、
を実行させることを特徴とするプログラム。
【請求項５】
前記領域は、文字領域、表領域、及び画像領域を含み、前記コンピュータに、前記文字領域もしくは前記表領域のみを前記枠線の色、太さ、位置により判別する手順を実行させることを特徴とする請求項４記載のプログラム。
【請求項６】
前記コンピュータに、前記枠線が他の枠線と重複し、かつ途切れている場合に補完する手順を実行させることを特徴とする請求項５記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原稿に含まれる領域の座標データを取得するための画像解析装置及びプログラムに関する。
【背景技術】
【０００２】
従来技術として、入力された画像データに対して、OCR(Optical Character Reader:光学式文字読み取り装置)ソフトで領域識別をした結果の領域枠線の座標データを自動で取得するための画像処理方式がある。
この種の画像処理の技術の一例が特許文献１，２に開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところで、このOCRソフトを利用する際の前処理として、レイアウト抽出処理がある。一般的に知られているOCRソフトでは、入力された文書画像データを用いて、文字、図・写真などの非文字、表、罫線などの各要素属性値で領域識別(レイアウト抽出)し、その結果を枠線として入力された画像データに上書きする。
【０００４】
PC(Personal Computer)などの電子計算機における内部処理では、矩形領域の座標データなどを格納したベクトルデータが格納されていれば、直接座標データを取得することができる。
しかし一方で、座標データが描画データとして表現されている場合（ビットマップ等）は、矩形領域の座標データを取得することができない。この場合、ユーザはマウス等のポインタを用いて座標を指定しなければならないが、多数の領域が存在する場合、大変煩雑な処理となる。
【０００５】
ここで図９は、特定色だけの画像データを示す図であり、図１０は、従来方式による枠線抽出処理結果を示す図である。
図９において、一部（右側短辺）が欠けた矩形A（例えば、１ｍｍ幅の青色線）の下側の長辺に矩形Aより小さい矩形B（例えば、０．５ｍｍ幅の青色線）が重なった状態が示されている。
矩形Aの欠けた部分は、表の領域を表す枠線と重畳した部分であり、無色となっているため、欠けて見える。
図９で示す画像データに対して特許文献１に記載の技術だけで枠線(輪郭線とも言う)で包囲された領域を抽出すると、本来図１１に示す結果が得られなければならないところ、図１０のように矩形A及び矩形Bの下部分が統合された枠線で包囲された領域の抽出結果になってしまう。特許文献２に記載の技術を用いても図１０と同様の結果になる。
【０００６】
これは、特許文献１に記載の技術では画素の連結成分を見て矩形領域を決定しているためである。図９に示した図形は、矩形Aの画素と矩形Bの画素とが連結している(接触している)ため、矩形Aと矩形Bとが一体化しているものとして見なされる。その結果、図１１に示すように意図通りの矩形領域が得られなくなる。
【０００７】
ここで、領域識別が施された画像データが印刷出力されてしまうと、線種によって領域の種類を認識することはできるが、当然、各領域の位置情報を保存することはできない。したがって、画像データが印字された原稿を読み取って画像データを入力したとしても、各領域の位置情報を取得するためには、入力された画像データに対して再度領域識別を施さなくてはならなかった。
【０００８】
そこで本願発明は、画像データを解析し、従来技術に比べてより簡易な手法にて各領域の位置情報を取得可能とすることができる画像解析装置及びプログラムを提供すること目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１記載の発明は、カラー原稿に含まれる領域の位置情報を取得する画像解析装置であって、前記カラー原稿に含まれる領域は、領域の属性に応じた枠線により他の領域と区別されて表現されており、前記カラー原稿を読み取ることにより生成された画像データを入力する入力手段と、入力された前記画像データから所定の枠線を抽出する抽出手段と、抽出された前記枠線をトレースすることにより、前記領域の位置情報を取得する取得手段とを備え、前記取得手段は、前記枠線をトレースすべき方向が複数方向存在する場合、それまでトレースした軌跡に応じてトレースすべき方向を決定する決定手段を備えたことを特徴とする。
【００１０】
請求項２記載の発明は、請求項１記載の発明において、前記領域は、文字領域、表領域、及び画像領域を含み、前記入力手段で入力された文字領域もしくは前記表領域のみを前記枠線の色、太さにより判別する判別手段を備えたことを特徴とする。
【００１１】
請求項３記載の発明は、請求項２記載の発明において、前記枠線が他の枠線と重複し、かつ途切れている場合に、前記枠線を補完する補完手段を備えたことを特徴とする。
【００１２】
請求項４記載の発明は、画像データに含まれる領域の位置情報を取得するためのプログラムであって、コンピュータに、前記画像データから所定の領域の枠線を抽出する手順、抽出された前記枠線をトレースすることにより、前記領域の位置情報を取得する手順、前記枠線をトレースすべき方向が複数方向存在する場合、それまでトレースした軌跡に応じてトレースする方向を決定する手順、を実行させることを特徴とする。
【００１３】
請求項５記載の発明は、請求項４記載の発明において、前記領域は、文字領域、表領域、及び画像領域を含み、前記コンピュータに、前記文字領域もしくは前記表領域のみを前記枠線の色、太さにより判別する手順を実行させることを特徴とする。
【００１４】
請求項６記載の発明は、請求項５記載の発明において、前記コンピュータに、前記枠線が他の枠線と重複し、かつ途切れている場合に補完する手順を実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、OCRソフトで領域を識別し、その領域のデータの枠線を描画して表示されたものをスクリーンキャプチャして、枠線を抽出するか、または手書きで書き込まれた枠線の座標値を算出することで、OCRソフトで領域識別をした領域データの座標値を求めることができるので、従来技術に比べてより簡易な手法にて各領域の位置情報を取得可能とすることができる画像解析装置及びプログラムの提供を実現することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る画像解析装置の一実施の形態を示すハードウェア構成図である。
【図２】図１に示した画像解析装置の機能ブロック図の一例である。
【図３】本発明に係る画像解析装置に用いられる全体処理フローの一例である。
【図４】本発明に係る画像解析装置に用いられる特定色抽出処理フローの一例である。
【図５】入力原稿画像データの一例である。
【図６】図５に示した入力画像データの領域識別結果の枠線が描画された画像データの一例である。
【図７】図５に示した入力原稿画像データを、特定色の枠線だけで示した画像データの一例である。
【図８】図５に示した入力原稿画像データを、特定色だけで示した画像データの一例である。
【図９】特定色だけの画像データを示す図である。
【図１０】従来方式による枠線抽出処理結果を示す図である。
【図１１】本発明に係る画像解析装置による抽出結果を示す図である。
【図１２】Ｘ方向またはＹ方向が一致する線の説明図である。
【図１３】途切れた箇所を補完して閉じた矩形になった状態を示す図である。
【図１４】（ａ）〜（ｄ）は、矩形領域における頂点を示す図である。
【図１５】画素トレースの一例を示す図である。
【図１６】画素トレースの一例を示す図である。
【図１７】座標データの一例を示す図である。
【発明を実施するための形態】
【００１７】
＜特  徴＞
本発明では、OCRソフトで領域識別し、その領域データの枠線を描画して表示されたものをスクリーンキャプチャして、枠線を抽出し、その枠線の座標値を算出することで、図１１に示すようにOCRソフトで領域識別をした領域データの座標値を求まることができる。
また、本発明では、図９に示した、上下で途切れた矩形Bの短辺の途切れた部分の間隔を求め、その長さにより、途切れた箇所を補完して、図１３に示すような閉じた矩形を生成する。
【００１８】
しかし、枠線の途切れた箇所を補完しただけでは連結成分による領域の抽出ができないため、連結成分の抽出に変わる抽出方法により、図１０の領域１及び領域２を抽出する。
ここで、枠線の途切れた箇所を補完しただけでは領域の抽出ができないのは、連結成分が複数の領域を形成する枠線の重複部分であるためである。つまり、領域が部分的に重複している場合には、領域を区別する枠線が重複しており、かかる場合、全ての領域を包含する外接矩形が一領域として抽出されてしまう。したがって、枠線の途切れた箇所を補完しただけでは、領域を正確に抽出することができない。
具体的には、矩形領域は、図１４（ａ）〜（ｄ）にて示す頂点をそれぞれ1つずつ持っていて、かつ交差点を持たないことを特徴としている。これらの特徴を矩形パターンとする。この矩形パターンに一致するよう、画素の連結成分をトレースする(図１５参照。)。図１５において□は未トレースの画素を示し、■はトレース済みの画素を示す。トレースする順序は、図１５において、左上から下方向、左上から右方向、もしくは同時に進行してもかまわない。
【００１９】
図１５及び図１６は、図１３に示した二つの枠線を画素で表した模式図である。
図１６において、左上の画素から右方向及び下方向に同時にトレースを行った状態を示す。
画素をトレースする順番が交差点（◆の位置）に到達したとき、◆の直前の画素の位置から、トレースする方向を決定していく。図１６の場合、◆の直前のトレース済みの画素（■）の位置は◆の左側にあるため、次にトレースする画素は右隣の画素になる。
【００２０】
＜定  義＞
構成の説明に先立って、本実施形態における変数を以下のように定義する。
図５に示すSiは、入力原稿画像データ（例えば、モノクロデータ）の一例である。
図６に示すSrは、図５に示した入力画像データの領域識別結果の枠線が描画された画像データの一例である。L1は文字「報告書」を囲む線（例えば、青色線）、L2は文字領域（この場合、青色線）、L3は図領域（赤色線）、L4は文字領域（青色線）、L5は表領域（緑色線）、L6は文字領域（青色線）をそれぞれ示す。
図７に示すSvは、図５に示した入力原稿画像データを、特定色（本実施形態の場合、青色、赤色、緑色）の枠線だけで示した画像データである。
【００２１】
ここで、枠線の色に対応する特定色のカラーマップを Vn(R,G,B) とする。
特定の画素に対する座標値を S*(X,Y) とする(*はSiまたはSrまたはSvのいずれかである。)。
Sr(X,Y)のカラーマップを Sr(R,G,B)とする。
【００２２】
＜構  成＞
図１は、本発明を適用した画像解析装置の一実施の形態を示すハードウェア構成図である。
同図に示す画像解析装置は、主にCPU(Central Processing Unit：中央処理装置)101、入力画像メモリ部104、領域情報格納部106、画像処理部107、スキャナ部102、外部記憶部103、表示部105、及び通信制御部108で構成されている。
入力画像メモリ部104、領域情報格納部106、画像処理部107は、ROM(read-only memory)、RAM(random-access memory)で構成されている。
通信制御部108はネットワーク網109に接続されている。外部記憶部103は、CD(Compact Disc)/DVD(Digital Versatile Disc)/メモリカード110やハードディスク111に接続されている。
【００２３】
CPU101は、画像解析装置全体の制御を行う。スキャナ部102は、原稿または、外部記憶部103から原稿ファイルを読み取る。入力画像メモリ部104は、スキャナ部102が読み取った入力画像を記憶する。表示部105は、入力画像をプレビュー表示する。画像処理部107は、文字抽出処理・判定処理を行う。領域情報格納部106は、抽出・判定結果の領域情報を格納する。処理結果の情報を前述の外部記憶部に記憶する。また、通信制御部108を介して、ネットワーク網109から入力画像を取り寄せたり、処理結果の情報を配信したりする。
【００２４】
図２は、図１に示した画像解析装置の機能ブロック図の一例である。
図２に示す制御手段220は、抽出手段200、取得手段201、決定手段202、判別手段203、及び補完手段204を備える。
抽出手段200は、画像データから所定の領域の枠線を抽出する。
取得手段201は、抽出された枠線をトレースすることにより、領域の位置情報を取得する。
決定手段202は、枠線をトレースすべき方向が複数方向存在する場合、それまでトレースした軌跡に応じてトレースする方向を決定する。
【００２５】
ここで、領域は、文字領域、表領域、画像領域を含んでいる。
判別手段203は、文字領域もしくは表領域のみを枠線の色、太さにより判別する。
補完手段204は、枠線が他の枠線と重複し、かつ途切れている場合に、枠線を補完する。
（原稿を読み取って画像データを入力する）入力手段205は、図１のスキャナ部102に対応し、記憶手段206は、図１の外部記憶部103に対応する。
【００２６】
制御手段220は、図１のCPU101に対応する。
表示手段207は、図１の表示部105に対応し、通信制御手段208は、図１の通信制御部108に対応する。
画像処理手段209は、図１の画像処理部107に対応し、情報格納手段210は、図１の領域情報格納部106に対応する。
【００２７】
図５に例示した原稿画像には文字要素と、図形などの非文字と、表とから構成されているものとする。
この原稿画像でOCRソフトを用いて領域識別(レイアウト認識)を行うと、図６のような結果になる。枠線L1,L2,L4,L6(例えば青色線)が文字領域、枠線L3(例えば赤色線)が非文字領域、枠線L5(例えば緑色線)が表領域である。ただし、OCRソフトによっては枠線の色が変わることがあるが、ここではすべて前述通りの配色とする。図６にすべての枠線だけの画像を表示したものが図７である。
【００２８】
図３は、本発明に係る画像解析装置に用いられる全体処理フローの一例である。
処理がスタートすると(ステップF201)、ステップF202の入力画像データSiでは、ファイル読み込み、スキャナによるスキャンデータ、ネットワーク経由などの入力手段によって得られたカラー画像の画像データをカラー画像データとして入力する。
ステップF203ではOCRソフトによって領域識別をした結果の領域枠線を描画した画像データを読み込む。
ステップF204において、Srからユーザが指定した特定色Vn(R,G,B)を抽出し、特定色だけの画像データSvを生成する。
特定色抽出処理は、特許文献２記載の方法で特定色を抽出する処理である。特定色(例えば青色の枠線L1,L2,L4,L6)だけの画像データの例示が図８である。
【００２９】
図４は、本発明に係る画像解析装置に用いられる特定色抽出処理フローの一例である。
特定色抽出処理については、図４の特定色抽出処理フローに沿って説明する。
まず、ユーザが特定色のカラーマップ値Vn(R,G,B)を決め、範囲内にあるすべての画素に対して特定色の有無を調べるループで処理する(ステップF302)。
特定色Vn(R,G,B)にSiの特定の座標値Si(X,Y)のカラーマップSi(R,G,B)を引いた値Vo(R,G,B)を求める(ステップF303)。
【００３０】
ここで、ステップF303について補足する。
V1, Siの値を以下のように定め、
V1(255, 255, 255)
Si (128, 128, 128)
V1 − Si ＝ Vo  とすると、
次の数式（１）〜（３）でVoが求まる。
R : 255 − 128 ＝127      ・・・（１）
G : 255 − 128 ＝127      ・・・（２）
B : 255 − 128 ＝127      ・・・（３）
【００３１】
よって、Vo(127, 127, 127) となる。
但し、特定色Vn(R,G,B)のn は序数である。
【００３２】
Vo(R,G,B)とSr(R,G,B)とが一定の範囲内で一致するか否かの判定をする(ステップF304)。
【００３３】
ここで、ステップF304について補足する。
ステップF304 は、色の誤差を吸収するための処理である。
判定例を以下に示す。
Vo(127, 127, 127)及び
Sr(128, 128,128)について判定する。
範囲の閾値を5としたとき、
Vo            .Vo
-5      Sr    +5
R : 122 ≦ 128 ≦ 132  となるので、一致した
G : 122 ≦ 128 ≦ 132  となるので、一致した
B : 122 ≦ 128 ≦ 132  となるので、一致した
最終判定 :  一致した
但し、「Vo」は負の閾値を示し、「.Vo」は正の閾値を示す。
【００３４】
また、これとは別に
Vo(125,100, 127)及び
Sr(128, 128, 128)について判定する。
範囲の閾値を5としたとき、
Vo              .Vo
-5      Sr      +5
R : 120 ≦ 128 ≦ 130  となるので、一致した
G : .95 ≦ 128 ≦ 105  となるので、一致せず(範囲外) 
B : 122 ≦ 128 ≦ 132  となるので、一致した
最終判定 :  一致せず
【００３５】
範囲内で一致したものであれば、特定色だけの画像データSvの座標(X,Y)に当該画素で描画する(ステップF305)。
以上の処理で、特定色のみの画像データが出力される(ステップF306)。
【００３６】
図２に戻って、ステップF205において、特定色だけの画像データSvから線抽出処理で線を抽出する。線抽出処理には参考技術[特開２００１−２９１０９７号公報参考]または、図４に示した方法を用いて、線を抽出することとする。
ステップF206では、抽出した線の太さBを算出する。
それぞれの線がX方向またはY方向が一致する線を取り出す(ステップF207)。
【００３７】
ここで、図１２は、Y方向で一致した線を楕円（線１、線２）で囲んだものである。なお、楕円は説明の便宜からつけたものである。また、説明の便宜から、線１及び線２の太さをBとし、Y方向の基準線上では一致するものの、Y方向の基準線に平行な線上では一致していないものとする（基準線は説明の便宜上記載した線であり、実際の画像データに含まれない。）。
線１と線２との間隔が太さBと一致するか否かの判定を行う(ステップF208)。
線１と線２との間隔と太さBとが一致するのであれば(ステップF208/Yes)、線１と線２との間隔の画素を補完してつなぎ合わせて閉じた矩形になるようにする(ステップF209)。
これらの特徴を含むパターンを矩形パターンとする。この矩形パターンに一致するよう、画素の連結成分をトレースする。ここで、トレースとは、線（枠線）を構成する画素を順次追跡することをいう(図１５)。トレースする順序は下方向、右方向、同時進行でもかまわない。
【００３８】
図１６でトレース対象の画素(■)が交差点（◆）に到達したとき、直前の画素(■)の向きから、トレースする方向を決定していく。図１６の場合、直前の画素(■)のトレースは右方向であるため、トレース対象の画素(□)の次は右方向へトレースすることになる。
以上の一連のトレース処理(ステップF210)を経て、矩形領域であるか否かの判定を行う(ステップF211)。
矩形領域の判定処理には、頂点の形状が図１４（ａ）〜（ｄ）のすべてに一致しており、かつ前述したトレースの結果閉じた矩形であること、をすべて満たしていれば、矩形領域として判断する。つまり、（枠）線が欠けている部分は、他の（枠）線により分断されていないのに欠けている部分は補完すべきでない、と判断することになる。したがって、図１２に示すような、Ｙ方向の基準線上では線１及び線２が一致するものの、Ｙ方向の基準線に平行な線（右側の線）上では線１及び線２が一致しないので、閉じた矩形となるような補完はおこなわない。
矩形領域として判断した枠線に対して、座標データの算出を行う(ステップF212)。座標データの算出には、参考技術[特許文献１]に開示された矩形抽出処理で座標データを抽出することとする。
【００３９】
座標データについては、原稿画像データの左上を原点(0,0)とし、領域1の座標データは(Xs,Ys,Xe,Ye)から構成される(図１７)。
以上の処理を行うことで、枠線の座標値を取り出すことができる。
【００４０】
＜プログラム及び記憶媒体＞
以上で説明した本発明にかかる画像解析装置は、コンピュータで画像解析処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。
【００４１】
画像データに含まれる領域の位置情報を取得するためのプログラムであって、
コンピュータに、
(1)画像データから所定の領域の枠線を抽出する手順、
(2)抽出された枠線をトレースすることにより、領域の位置情報を取得する手順、
(3)枠線をトレースすべき方向が複数方向存在する場合、それまでトレースした軌跡に応じて辿る方向を決定する手順、
を実行させるプログラムが挙げられる。
【００４２】
また、上記構成に加え、
領域は、文字領域、表領域、及び画像領域を含み、コンピュータに、
(4)文字領域もしくは表領域のみを枠線の色、太さ、位置により判別する手順を実行させるプログラムであってもよい。
【００４３】
さらに、上記構成に加え、コンピュータに、
(5)枠線が他の枠線と重複し、かつ途切れている場合に補完する手順を実行させるプログラムであってもよい。
【００４４】
これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明にかかる画像解析装置を実現することができる。
【００４５】
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（CD Recordable）、ＤＶＤ（Digital Versatile Disk）などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤ（Hard Disc Drive）が挙げられる。
【００４６】
なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施
【符号の説明】
【００４７】
１０１    ＣＰＵ
１０２    スキャナ部
１０３    外部記憶部
１０４    入力画像メモリ部
１０５    表示部
１０６    領域情報格納部
１０７    画像処理部
１０８    通信制御部
１０９    ネットワーク
１１０    ＣＤ/ＤＶＤ
１１１    ハードディスク
【先行技術文献】
【特許文献】
【００４８】
【特許文献１】特許第２９４８８４０号公報
【特許文献２】特開２００３−２９５８４７号公報
【図１】
2010178105.tif 000003
【図２】
2010178105.tif 000004
【図３】
2010178105.tif 000005
【図４】
2010178105.tif 000006
【図５】
2010178105.tif 000007
【図６】
2010178105.tif 000008
【図７】
2010178105.tif 000009
【図８】
2010178105.tif 000010
【図９】
2010178105.tif 000011
【図１０】
2010178105.tif 000012
【図１１】
2010178105.tif 000013
【図１２】
2010178105.tif 000014
【図１３】
2010178105.tif 000015
【図１４】
2010178105.tif 000016
【図１５】
2010178105.tif 000017
【図１６】
2010178105.tif 000018
【図１７】
2010178105.tif 000019