(57)【特許請求の範囲】
【請求項１】
一定のタイミングで入力され一定の文字幅を有する文字列が記載された一定面積の文字列記載領域を含むTV画像の座標点毎に定線幅領域の存在確率を抽出する定線幅抽出フィルタ処理と、
該座標点おける該文字列記載領域の存在確率として、該座標点を囲む該文字列記載領域相当の矩形領域内で該定線幅領域の存在確率の総和を求める矩形領域内累積フィルタ処理と、
該文字列記載領域の存在確率のピーク値を基に、該文字列記載領域の候補位置を代表する座標点として検出する候補座標点検出処理と、
を有することを特徴とする画像認識方法。
【請求項２】
請求項１において、
該定線幅抽出フィルタ処理が、水平方向帯域フィルタ処理と垂直方向ローパスフィルタ処理との組合せによる処理であることを特徴とする画像認識方法。
【請求項３】
請求項２において、
該水平方向帯域フィルタ処理の前に垂直方向のサブサンプリングを行ない、該垂直方向ローパスフィルタ処理の前に水平方向のサブサンプリングを行なうことを特徴とする画像認識方法。
【請求項４】
請求項１において、
該矩形領域内累積フィルタ処理が、水平方向矩形フィルタ処理と垂直方向矩形フィルタ処理との組合せによる処理であることを特徴とする画像認識方法。
【請求項５】
請求項１において、
該候補座標点検出処理が、
該文字列記載領域の存在確率が最大となる最大ピーク座標点を検出する最大ピーク座標点検出処理と、
該最大ピーク座標点を基にピーク領域を特定するピーク領域特定処理と、
該ピーク領域内の該文字列記載領域の存在確率を零にするピーク領域消去処理と、
を繰り返すことにより、複数の該候補座標点を検出することを特徴とする画像認識方法。
【請求項６】
請求項５において、
該ピーク領域特定処理が、該最大ピーク座標点におけるピーク領域の垂直方向及び水平方向の幅を特定することを特徴とする画像認識方法。
【請求項７】
請求項５において、
該候補座標点のいずれかが所定の要件を満たすか否かを判定し、該所定の要件を満たすと判定したとき、該文字列の文字認識を行なうために該TV画像を取り込む画像取込タイミング決定処理をさらに有することを特徴とした画像認識方法。
【請求項８】
請求項７において、
該所定の要件が、該候補座標点、該候補座標点における該文字列記載領域の存在確率、及び該候補座標点における該ピーク領域の垂直方向及び水平方向の幅に基づき算出される値が所定の閾値以上であることを規定した要件であることを特徴とする画像認識方法。
【請求項９】
請求項７において、
該所定の要件が、該候補座標点、該候補座標点における該文字列記載領域の存在確率、該候補座標点における該ピーク領域の垂直方向及び水平方向の幅、及び他の候補座標点との相対位置関係に関する要件であることを特徴とした画像認識方法。
【請求項１０】
請求項１において、
該候補座標点検出処理が、画像を複数のサブ領域に分割して該サブ領域毎のピーク座標点を検出することにより、複数の候補座標点を検出することを特徴とする画像認識方法。
【請求項１１】
請求項２において、
該定線幅抽出フィルタ処理が、該水平方向帯域フィルタ処理及び該垂直方向ローパスフィルタ処理に加え、エッジ抑制フィルタ処理を組合せた処理であることを特徴とする画像認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像認識方法に関し、特に一定のタイミングで入力され一定の文字幅を有する英数字などの文字列が記載された一定面積の文字列記載領域を含むTV画像から文字列記載領域の候補位置を検出する画像認識方法に関するものである。
【０００２】
【従来の技術】
TV画像から英数字文字列記載領域の候補位置を検出する画像認識方法を実現した従来技術としては例えば特開平9-147049号に記載のものが挙げられる。
この従来技術の処理の概略を図13を用いて説明する。
【０００３】
まず、画像入力部11において移動物体の画像が入力される。次に、平滑化・水平方向二次微分処理部12が、入力画像に対して暈し処理と水平方向の二次微分処理を組み合わせた処理を施し、画像中の文字領域を浮立たせる。
次いで、2値化処理部13、領域分割処理（ラベリング）部14、領域特徴処理部15、及び領域関係処理部16により各処理が施され、英数文字列領域抽出部17が英数字文字列記載領域らしい位置、すなわち候補位置を抽出（検出）する。
【０００４】
このような従来技術は、移動物体を撮影したTV画像から移動物体の一部である英数字文字列記載領域を抽出する場合に用いることができる。そして、抽出された英数字文字列記載領域について文字列認識処理を行なうことが可能となる。このときの移動物体進入の検出から英数字文字列認識に至るまでの処理の流れを図14に示す。
【０００５】
同図において、まず、移動物体進入の検出（同S10）を行い、移動物体進入を移動物体通過センサ等のセンサが検知してセンサ反応を示すと（同S20）、画像を取り込み（同S30）、取り込んだ画像についての英数字文字列記載領域抽出を行なう（同S40）。そして、抽出された英数字文字列記載領域について文字列の認識処理を行なう（同S50）。
【０００６】
ステップS20においてセンサ反応が無い場合、及びステップS50における文字列の認識処理後は、移動物体進入の検出（同S10）に戻る。
図15において、（１）は連続して入力されるTV画像の画像入力開始のタイミング、（２）はセンサの反応タイミング、及び（３）は文字列認識処理のタイミングを示した図である。
【０００７】
同図（１）において矢印で示した各画像入力の開始タイミングの間隔は33m秒である。従って、例えば、n番目の画像入力は33m秒後のn+1番目の画像入力開始までには完了している。
また、同図（２）における矢印は、センサが移動物体の進入をタイミングtで検知したことを示している。この検知タイミングtに基づき、画像入力(n+1)までに入力が完了している画像入力(n)を文字列認識用の画像として取り込み、この画像に対して文字列認識処理が行われる。
【０００８】
なお、同図（３）に示す文字列認識処理タイミングは、英数字文字列記載領域抽出処理を行なった後、抽出した領域の文字列認識処理を行なうものである。
【０００９】
【発明が解決しようとする課題】
上述の従来技術は、取り込んだ画像の中から確実に英数字文字列記載領域の位置を抽出することを主たる目的としており、取り込んだ画像に英数字文字列記載領域を有する移動物体が含まれていることを前提としている。このため、時間的な制約は特にない。
【００１０】
一方、TVカメラの連続キャプチャ機能を十分に活用すれば、センサを用いずに移動物体の進入事象を画像から検出できるであろうことは、容易に推測できる。また、各入力画像について、文字列認識処理用の取込画像として適切か否かを次の画像の入力開始までに判断することができれば、画像の取込タイミングを入力画像から決定することも可能であると考えられる。
【００１１】
これは、図16に示す如く、（１）連続して入力されるTV画像の画像入力タイミング、（２）画像取込タイミング決定処理のタイミング、及び（３）文字列認識処理のタイミングのような関係になる。
同図（１）における矢印は、図15（１）と同様に各画像入力の開始タイミングを示すものであり、画像入力の開始間隔は33m秒である。
【００１２】
また、図16（２）に示す如く、画像の取込タイミングを決定するため、各入力画像について画像取込を行なうか否かの決定タイミングも、同図（１）の画像入力間隔である33m秒以内に行なう必要がある。
同図は、n+1番目の入力画像について画像取込を行なうと決定する場合の例を示しており、この入力画像が取り込まれ、同図（３）に示す如く文字列認識処理が開始される。
【００１３】
このように、入力画像から画像取込タイミングを決定するためには、1つの入力画像で、すなわち高速（例えば、33m秒以内）で英数字文字列記載領域が存在するか否かの判定及び画像を取り込むか否かの決定を行なう必要がある。
この場合、1つの入力画像に英数字文字列記載領域が存在するか否かの判定を行うためには、まず、入力画像に対する英数字文字列記載領域の候補位置抽出処理を行い、抽出した候補位置において英数字文字列記載領域が存在するか否かの判定を行えばよい。
【００１４】
しかしながら、図13に示した従来技術による英数字文字列記載領域の候補位置抽出処理は、上述の如く、２値化、ラベリング、領域統合処理等の複雑な処理が必要であり、また、入力画像の状態によって処理時間が大きく変動するため、各入力画像についての英数字文字列記載領域抽出処理を確実に画像入力間隔（33m秒）以内に行なうことは難しい。
【００１５】
従って図13に示した従来の英数字文字列記載領域抽出処理は、移動物体通過センサ等のセンサを用いずに入力画像から画像取込のタイミングを決定するような場合には適していない。
そこで本発明は、一定のタイミングで入力され一定の文字幅を有する文字列が記載された一定面積の文字列記載領域を含むTV画像から文字列記載領域の候補位置を検出する画像認識方法において、文字列記載領域の候補位置を一定時間内で高速に検出することを課題とする。
【００１６】
【課題を解決するための手段】
〔１〕上記の課題を解決するため、本発明に係る画像認識方法では、一定のタイミングで入力され一定の文字幅を有する文字列が記載された一定面積の文字列記載領域を含むTV画像の座標点毎に定線幅領域の存在確率を抽出する定線幅抽出フィルタ処理と、該座標点おける該文字列記載領域の存在確率として、該座標点を囲む該文字列記載領域相当の矩形領域内で該定線幅領域の存在確率の総和を求める矩形領域内累積フィルタ処理と、該文字列記載領域の存在確率のピーク値を基に、該文字列記載領域の候補位置を代表する座標点として検出する候補座標点検出処理と、を有することを特徴としている。
【００１７】
上記の本発明の原理を、図１に示す画像認識の流れに沿って以下に説明する。一定の文字幅を有する文字列が記載された一定面積の文字列記載領域を含むTV画像が一定のタイミングで入力されると（ステップS100）、まず、定線幅抽出フィルタ処理（同S110）により入力されたTV画像の座標点毎に定線幅領域の存在確率を示す特徴量を抽出する。
【００１８】
この定線幅抽出フィルタ処理（同S110）を式で表すと、以下の様になる。
【００１９】
【数１】
0003877929.tif 000002
【００２０】
式（１）において、PL(x,y)は、座標点(x,y)における定線幅領域の存在確率を示す値であり、SA(x)は、xを0〜255の範囲内に抑える処理である。また、P(x,y)は、座標点(x,y)における画素（ピクセル）を示しており、h(i,j)は、定線幅領域の存在確率を抽出するためのフィルタ係数である。さらに、Bは不要な出力を抑えるためのスレシホールド係数である。
【００２１】
ここで、上記の定線幅領域の存在確率を示す特徴量について図２を用いて説明する。
例えば、同図（１）に示す如く数字の「１」は、定線幅が縦に連続している。同図（２）は同図（１）の一部を拡大してドット表示した例であるが、この時、文字幅はドット４つ分に相当している。
【００２２】
ここで、左右に４つ連続するドットが上下に連続するとき出力が最大となるフィルタの出力を各座標点（ドット）について求めると、例えば、座標点▲１▼又は▲２▼においてはフィルタの出力が大きな値となり、座標点▲３▼又は▲４▼においては小さな値となる。このようなフィルタの出力を各座標点における定線幅領域の存在確率として扱うことができる。
【００２３】
次に、矩形領域内累積フィルタ処理（同S120）により、各座標点を囲む該文字列記載領域に相当する矩形領域内で該定線幅領域の存在確率の総和を求める。
この総和は、各矩形領域内に定線幅領域が如何に集中しているかを示す値であり、該座標点の周囲に該文字列記載領域が存在する可能性の高さを示す存在確率として扱うことができる。これは、文字列記載領域が定線幅領域を多く含む領域であるため、実際の文字列記載領域内の座標点では該総和が大きな値を示す筈であるためである。
【００２４】
また、矩形領域内累積フィルタ処理（同S120）を式で表すと、以下の様になる。
【００２５】
【数２】
0003877929.tif 000003
【００２６】
この式（２）において、PP(x,y)は、座標点(x,y)における文字列記載領域の存在確率であり、PL(x,y)は、式（１）で求めた座標点(x,y)における定線幅領域の存在確率を示す値である。
図３は、ある座標点P(x,y)における文字列記載領域の存在確率PP(x,y)を求めるための、矩形領域内累積フィルタ処理を説明するための図である。図示の如く、文字列記載領域の存在確率PP(x,y)は、座標点P(x,y)の周辺の水平方向及び垂直方向の幅がそれぞれPW及びPHとなる矩形領域について、まず水平方向領域PW内の定線幅領域の存在確率を累積し、さらに、垂直方向領域PH内でも定線幅領域の存在確率を累積することによって求めることができる。
【００２７】
このように、矩形領域内の定線幅領域の存在確率の累積処理を画像に含まれる座標点毎に行なうが、最初の座標点について周囲の矩形領域内の総和を求める計算を終えてしまえば、次の座標点以降は、最初に求めた総和に対し、新たに領域に加わった座標点についてのデータの加算及び領域から外れた座標点についてのデータの減算を行なえばよいだけである。
【００２８】
このようにして求められた該文字列記載領域の存在確率を各座標点毎に示すと、確率分布行列が得られ、ピークとなる座標点を該文字列記載領域の候補位置を代表する座標点として検出することができる。
次に、候補座標点検出処理では、この文字列記載領域の存在確率がピーク値となる座標点を該文字列記載領域の候補位置を代表する座標点として検出する（同S140）。なお、ステップS131〜S136は複数の候補位置を検出する際の処理であり、同S150及びS160は候補位置検出後の処理であるが、これらの処理については後述する。
【００２９】
このように本発明では、一般的なフィルタ処理とピーク検出処理のみによって該文字列記載領域の候補位置を検出することが可能となる。このようなフィルタ処理は、２値化、ラベリング、領域統合処理等のような複雑な処理ではないため、候補位置の検出を図15（１）及び図16（１）に示した隣接する画像入力タイミング間隔（33m秒）内で高速に行うことが可能となる。
【００３０】
〔２〕また、本発明に係る画像認識方法は、上記の本発明〔１〕において、該定線幅抽出フィルタ処理が、水平方向帯域フィルタ処理と垂直方向ローパスフィルタ処理との組合せによる処理であってもよい。
すなわち、一定の文字幅を有する文字列が例えば英数字から成る場合には、定線幅が垂直方向に連続する部分が多いため、水平方向帯域フィルタ処理を用いて水平方向の定線幅領域の存在確率を抽出した後、垂直方向ローパスフィルタ処理を用いて、水平方向の定線幅領域が垂直に連続している成分を抽出する。
【００３１】
一般的に、ドットの白黒を“０”と“１”で表現するとき、ドット間隔をサンプリング周波数fsとすると“０１０１０１・・・”のようなドットが連続する場合に、図４に点線で示す如くfs/２でピークの応答を示すことが知られている。
同様に、“００１００１００１・・・”の様に周期「３」の場合は、同図に一点鎖線で示す如くfs/3でピークの応答を示す。この様に、周期が長くなる程、応答がピークを示す周波数は低くなる。
【００３２】
なお、例えば３〜５ドットの定線幅部分は、“１１１”，“１１１１”，“１１１１１”のようなドットの連続で表わされるが、これは、このような成分を持つ正弦波が１波分存在しているものとして扱うことができる。この場合、周期は「６」〜「１０」となり、fs/6〜fs/10（同図にfs/6のみ実線で示す。）でピークの応答を示すことになる。
【００３３】
このため、例えば水平方向に３〜５ドットの定線幅領域の存在確率を抽出するためには、fs/6近辺の周波数帯域の成分のみを抽出する帯域フィルタを用いることができる。
また、ドットが“１１１１１１１１・・・”の様に連続する場合は、周波数成分が低いため、水平方向定線幅領域の垂直方向の連続性はローパスフィルタを用いて抽出することができる。
【００３４】
これにより、図１に示す該定線幅抽出フィルタ処理は、水平方向帯域フィルタ処理と垂直方向ローパスフィルタ処理との二次元フィルタ処理で構成することができる。
これは、式（１）におけるフィルタ係数h(i,j)を例えば以下の様にすることを意味する。
【００３５】
【数３】
0003877929.tif 000004
【００３６】
〔３〕また、本発明に係る画像認識方法は、上記の本発明〔２〕において、該水平方向帯域フィルタ処理の前に垂直方向のサブサンプリングを行ない、該垂直方向ローパスフィルタ処理の前に水平方向のサブサンプリングを行なってもよい。
【００３７】
すなわち、水平方向帯域フィルタ処理の前には、垂直方向サブサンプリングにより垂直方向の画像の間引きを行なうことができ、該垂直方向ローパスフィルタ処理の前には、水平方向サブサンプリングにより水平方向の画像の間引きを行なうことができる。
【００３８】
画像のサブサンプリングを行なう場合の対象画像の変遷例を図５に示す。同図（１）の原画像を垂直方向に１／２のサブサンプリングを行なったときの様子が同図（２）に示されており、さらに水平方向に１／２のサブサンプリングを行なったときの様子が同図（３）に示されている。
【００３９】
このように、画像領域データの縮小を行なうことにより、一層処理の高速化が可能となる。
〔４〕また、本発明に係る画像認識方法は、上記の本発明〔１〕において、該矩形領域内累積フィルタ処理が、水平方向矩形フィルタ処理と垂直方向矩形フィルタ処理との組合せによる処理であってもよい。
【００４０】
すなわち、図１に示す矩形領域内累積フィルタ処理（ステップS120）は、該文字列記載領域の水平方向の幅に相当する一次元フィルタ処理である水平方向矩形フィルタ処理と、該文字列記載領域の垂直方向の幅に相当する一次元フィルタ処理である垂直方向矩形フィルタ処理とで構成することができる。
【００４１】
なお、矩形フィルタ処理とは、インパルス応答が[1,1,1,1,1,,,1]であるようなフィルタ処理である。
〔５〕また、本発明に係る画像認識方法は、上記の本発明〔１〕において、該候補座標点検出処理が、該文字列記載領域の存在確率が最大となる最大ピーク座標点を検出する最大ピーク座標点検出処理と、該最大ピーク座標点を基にピーク領域を特定するピーク領域特定処理と、該ピーク領域内の該文字列記載領域の存在確率を零にするピーク領域消去処理と、を繰り返すことにより、複数の該候補座標点を検出してもよい。
【００４２】
すなわち、候補座標点検出処理は、図１におけるステップS120によって求められた各座標点における文字列記載領域の存在確率から、まず、該文字列記載領域の存在確率が最大となる最大ピーク座標点を求め、これを第一ピーク座標点（第一候補座標点）として検出する（ステップS131）。
【００４３】
次に、この第一ピーク座標点、すなわち該最大ピーク座標点から垂直方向及び水平方向に該文字列記載領域の存在確率が所定の値以下又は谷になるまで座標点を探索し、探索した座標点が辺に含まれるような矩形領域をピーク領域として特定し、該ピーク領域における文字列記載領域の存在確率を零にすることにより、ピーク領域の消去を行なう。このピーク領域特定処理及びピーク領域の消去処理は、図1においてはステップS132のピーク周辺塗潰しの中で行われる。
【００４４】
この様子を、上述の矩形領域内累積フィルタ処理を対象画像に対して行なった結果得られる三次元表示例である図６と共に説明する。図中、x座標及びy座標は、入力画像平面上の座標を示し、z座標は文字列記載領域の存在確率を示すものである。
【００４５】
まず、文字列記載領域の存在確率が最大となるピーク位置はPK1である。そこで、候補座標点検出処理はPK1のxy平面上の座標点を最大ピーク座標点検出処理により検出し記憶しておく。
次に、ピーク領域特定処理により、垂直方向（y軸方向）及び水平方向（x軸方向）に文字列記載領域の存在確率が所定の値以下または谷になるまでピーク領域を探索する。
【００４６】
さらに、ピーク領域消去処理により、ピーク領域内の各座標点における文字列記載領域の存在確率を零にすることによって、頂点PK1を有する山が消去され（ピーク周辺塗潰し）、次のピーク座標点検出に備える。
図６の頂点PK1のピーク領域を説明するため、このピーク領域をxy平面上に投影した図を簡略化したものが、図７である。
【００４７】
同図において、ピーク座標点PK1から垂直方向の探索により、A及びBの２点が求まり、また、水平方向の探索によりC及びDの２点が求まる。このようにして検出された幅Hp及びWpで囲まれた矩形領域がピーク領域である。
上述の処理により、第一候補座標周辺のピーク領域が消去できるので、次の最大ピーク座標点（第二ピーク座標点）を検出すれば（ステップS133）、これは第二候補座標点となる。第二候補座標点についても第一候補座標点の場合と同様に、ピーク領域の探索及びピーク領域の消去を行なう（同S134）。
【００４８】
図６の例では、第二ピーク座標点はPK2であり、第二候補座標点として点PL2のxy平面上の座標点が検出された後、PK1の場合と同様に頂点PK2を有する山が消去され、次のピーク座標点検出処理に備える。
このように、各候補座標点内の最大ピーク座標点検出処理、ピーク領域特定処理、及びピーク領域消去処理を処理を繰り返すことにより、予め定めた複数の該候補座標点を検出することができる。
【００４９】
例えば、候補座標点を３つ検出すると予め定めておけば、図１に示すステップS135及びS136までの処理を行なうことにより、図６に示す３つのピーク点PK1〜PK3の座標点を、順次候補座標点として検出することができる。
〔６〕また、本発明に係る画像認識方法は、上記の本発明〔５〕において、該ピーク領域特定処理が、該最大ピーク座標点におけるピーク領域の垂直方向及び水平方向の幅を特定してもよい。
【００５０】
すなわち、該ピーク領域特定処理は、該最大ピーク座標点から垂直方向の探索により求めた2つの探索点の座標からピーク領域の垂直方向の幅を特定することができ、また、水平方向の探索により求めた2つの探索点の座標からピーク領域の水平方向の幅を特定することができる。
【００５１】
これは、図７における、２点AB間の距離をピーク領域の垂直方向の幅Hpとして検出し、２点CD間の距離をピーク領域の水平方向の幅Wpとして特定することである。
〔７〕また、本発明に係る画像認識方法は、上記の本発明〔５〕において、該候補座標点のいずれかが所定の要件を満たすか否かを判定し、該所定の要件を満たすと判定したとき、該文字列の文字認識を行なうために該TV画像を取り込む画像取込タイミング決定処理をさらに有してもよい。
【００５２】
すなわち、図１における候補座標点検出（ステップS140）の後、画像取込要件判定により該候補座標点が所定の要件を満たすか否かを判定し（同S150）、いずれかの候補座標点が所定の要件を満たす時点を該TV画像の画像取込タイミングとして決定する（同S160）。
【００５３】
このように、候補座標点が所定の要件を満たすタイミングで画像が取り込まれるため、該文字列の文字認識の対象となる文字列記載領域が含まれる画像の取込がより確実になる。
また、このような入力画像からの画像取込タイミング決定は、従来、図14のステップS20において移動物体通過センサ等のセンサ反応に基づいて行っていた画像取込タイミング決定に代って使用できる。
【００５４】
〔８〕また、本発明に係る画像認識方法は、上記の本発明〔７〕において、該所定の要件が、該候補座標点、該候補座標点における該文字列記載領域の存在確率、及び該候補座標点における該ピーク領域の垂直方向及び水平方向の幅に基づき算出される値が所定の閾値以上であることを規定した要件であってもよい。
【００５５】
すなわち、画像取込タイミング決定処理は、該候補座標点、該候補座標点における該文字列記載領域の存在確率、及び該候補座標点における該ピーク領域の垂直方向及び水平方向の幅から該文字列記載領域の存在の確実性を示す値を算出し、この値を予め求めた閾値と比較し、該閾値以上となることを要件として画像取込タイミングを決定することができる。
【００５６】
この場合、算出した値が該閾値以上であればほぼ確実に該候補座標点に文字列記載領域が存在していることになる。
例えば、該候補位置の座標点を(x,y)、該文字列記載領域の存在確率をVp、ピーク領域の垂直方向の幅をHp、ピーク領域の水平方向の幅をWpとし、該文字列記載領域の存在の確実性を示す値PRjは下記の式（４）で求めることができる。
【００５７】
【数４】
0003877929.tif 000005
【００５８】
なお、係数α1,α2,α3,α4,α5、及びβは統計的に求まる値である。画像取込要件判定処理においては、PRjが予め統計的に求まっている閾値以上の場合に該候補位置に該文字列記載領域が存在すると判定する。
〔９〕また、本発明に係る画像認識方法は、上記の本発明〔７〕において、該所定の要件が、該候補座標点、該候補座標点における該文字列記載領域の存在確率、該候補座標点における該ピーク領域の垂直方向及び水平方向の幅、及び他の候補座標点との相対位置関係に関する要件であってもよい。
【００５９】
すなわち、画像取込タイミング決定処理は、該候補位置の座標点、該候補位置における該文字列記載領域の存在確率、及び該候補位置における該ピーク領域の垂直方向及び水平方向の幅、及び他の候補位置との相対位置関係が、それぞれについて規定された要件を満足するときをもって画像取込タイミングとすることができる。
【００６０】
〔１０〕また、本発明に係る画像認識方法は、上記の本発明〔１〕において、該候補座標点検出処理が、画像を複数のサブ領域に分割して該サブ領域毎のピーク座標点を検出することにより、複数の候補座標点を検出してもよい。
すなわち、該候補座標点検出処理は、画像を複数のサブ領域に分割して該サブ領域毎のピーク座標点を検出することにより、該文字列記載領域の存在確率の値が大きいピーク座標点から順に複数の候補座標点を検出することができる。
【００６１】
〔１１〕また、本発明に係る画像認識方法は、上記の本発明〔２〕において、該定線幅抽出フィルタ処理が、該水平方向帯域フィルタ処理及び該垂直方向ローパスフィルタ処理に加え、エッジ抑制フィルタ処理を組合せた処理であってもよい。
【００６２】
すなわち、該定線幅抽出フィルタ処理は、該水平方向帯域フィルタ処理及び該垂直方向ローパスフィルタ処理の組合せに加え、エッジ抑制フィルタ処理を行うことにより、垂直方向の縁取りとなっている部分（垂直エッジ部分）のフィルタ出力を抑制することができる。
【００６３】
上述の説明における、式（１）の定線幅抽出フィルタ処理では、垂直エッジ部分や垂直方向の輝度変化の少ない部分については、垂直方向の連続性があるために、垂直方向ローパスフィルタ処理によってある程度の出力が発生してしまう。これを抑制するため、エッジ抑制フィルタ処理を加えた定線幅抽出フィルタ処理を式で表わすと、次式のようになる。
【００６４】
【数５】
0003877929.tif 000006
【００６５】
なお、式（５）における、係数（255-|P(x+m,y)-P(x-m,y)|）は、座標点（x,y）から水平方向に±mの距離に位置する2点の輝度差が大きい時は、垂直エッジ部分が存在しているものとして出力を抑制するための係数である。
これにより、文字列の定線幅領域の存在確率をより的確に抽出することが可能となる。
【００６６】
【発明の実施の形態】
本発明に係る画像認識方法の実施例を図８を用いて以下に説明する。
まず、一定の文字幅を有する英数字文字列が記載された一定面積の英数字文字列記載領域を含むTV画像が一定のタイミングで入力される（ステップS100）。入力画像に対し、垂直方向サブサンプリング処理（同S111）を行なった後、水平方向帯域フィルタ処理（同S112）を行なうと、水平方向の定線幅領域の存在確率の出力が強調され、水平方向の縁取りとなっている水平エッジ部分や水平方向の輝度変化の少ない部分での出力が抑えられる。
【００６７】
さらに、水平方向サブサンプリング処理（同S113）を行なった後、垂直方向ローパスフィルタ処理（同S114）を行なうと、定線幅領域が垂直方向に連続する部分の出力が強調される。
以上の処理結果に対し、水平方向矩形フィルタ処理（同S121）及び垂直方向矩形フィルタ処理（同S122）を行なうと、座標毎に英数字文字列記載領域相当の矩形領域内の定線幅領域の存在確率の累積が文字列記載領域の存在確率として求められる。
【００６８】
その後、先の説明の如くピーク座標点の検出、ピーク領域探索、及びピーク領域消去処理の繰返しからなるステップS131〜S136により、第三ピーク座標点までの３点のピーク座標点を候補座標点として求め、候補座標点の検出（同S140）が完了する。
【００６９】
次に、候補座標点が所定の画像取込要件を満たすか否かを判定し（同S150）、いずれかの候補座標点が所定の画像取込要件を満たした時点を以って画像取込タイミングを決定する（同S160）。
なお、画像取込要件判定処理（同S150）においては、上述の式（４）に用いる各係数及び、式（４）の演算結果と比較するための閾値THprを予め試験的に求めておき、画像取込要件として、PRj≧THprを満たすか否かを判定することができる。
【００７０】
また、画像取込要件判定処理（同S150）においては、候補座標点(x,y)、該候補座標点における文字列記載領域の存在確率PP(x,y)、及び該候補座標点におけるピーク領域の垂直方向の幅Hp及び水平方向の幅Wp、及び他の候補座標点との相対位置関係が、以下の▲１▼〜▲４▼の条件を全て満たすことを画像取込要件として判定しても良い。
▲１▼  候補座標点(x,y)が検出領域内に存在する。
▲２▼  英数字文字列記載領域の存在確率PP(x,y)が規定値以上である。
▲３▼  右下に別の候補座標点が存在しない。
▲４▼  ピーク領域の垂直方向の幅Hp及び水平方向の幅Wpがそれぞれ規定値を満たす。
【００７１】
図９に示すような入力画像を例に、上記の画像取込要件を説明する。まず、同図の例では、連続する入力画像で候補座標点としてピーク座標点PK1〜PK3が検出されており、この３つの候補座標点が矢印に示す方向に移動している途中のある時点における画像である。
【００７２】
ここで、同図に示す如く、x軸方向に幅Dx、y軸方向に幅Dyの入力画像の左側の幅Wxを持つ領域及び下側の幅Wyを持つ領域を領域検出領域と定めておくと、同図では、候補座標点PK1〜PK3は該検出領域に達していないので、条件▲１▼を満たさない。従って、同図については画像取込要件を満足する候補座標点がないので、画像取込は行われない。
【００７３】
そして、図中の矢印の方向にそのまま候補座標点PK1〜PK3が移動して行くものと仮定すると候補座標点PK2は、いずれ検出領域に達する。候補座標点PK2が検出領域に達した時点の画像は条件▲１▼を満たしている。
しかしながら、候補座標点PK2における文字列記載領域の存在確率PP(x,y)が条件▲２▼を満たしていたとしても、この時点においても候補座標点PK2の右下には候補座標点PK1が存在するため、条件▲３▼は満たさない。従って、この時点でも画像取込要件を満足する候補座標点がないので、画像取込は行われない。
【００７４】
さらに、候補座標点PK1〜PK3が移動すると仮定すると、候補座標点PK1が検出領域に達した入力画像が得られる時点がくる筈である。この時点では、候補座標点PK1は条件▲１▼を満たしており、条件▲３▼も満たしている。従って、もし、条件▲２▼及び▲４▼を満たしているならば、このときの入力画像は画像取込の要件を満足することになり、画像が取込まれる。
【００７５】
次に、英数字文字列記載領域が移動する物体の一部であるとき、移動物体を撮影したTV画像から英数字文字列記載領域を抽出し、さらに英数字文字列記載領域の文字列認識処理を行なう英数字文字列認識処理に本発明を用いる場合の処理の流れの一例を英数字文字列認識処理例（１）として図10に示す。
【００７６】
同図において、まず、移動物体進入の検出処理（同S10）を入力画像から行っている。ステップS20において、移動物体の進入があると判断された場合、画像取込が行われ（同S30）、取り込んだ画像についての英数字文字列記載領域抽出処理（同S40）の後、抽出された英数字文字列記載領域についての英数字文字列認識処理が実施される（同S50）。
【００７７】
なお、ステップS20において、移動物体の進入がない場合には、入力画像から英数字文字列記載領域の検出が行われ（同S21）、画像取込タイミングか否かの判定が行われる（同S22）。同図においては、処理内容を省略しているが、ステップS21及びS22の部分に本発明が用いられている。
【００７８】
なお、同図におけるステップS10〜S30までは、入力画像単位の処理であり、ステップS40及びS50は取込画像単位の処理である。ステップS40及びS50は、図13におけるステップS40及びS50と同様であっても構わない。
図10の処理例は、移動物体進入が検出されたタイミングで取り込む画像中に英数字文字列記載領域が存在する確率が高い場合に、移動物体進入の検出ができなくても英数字文字列記載領域を含む画像が存在している場合の取りこぼしを防止することを目的にしたものである。
【００７９】
また、別の処理例として、図11に英数字文字列認識処理例（２）を示す。同図においては、ステップS20で移動物体の進入がある場合に、入力画像から英数字文字列記載領域の検出が行われ（同S21）、画像取込タイミングか否かの判定が行われる（同S22）。この場合も、ステップS21及びS22に本発明が用いられている。
【００８０】
これは、単に、移動物体の進入が検出された時点ではなく、できる限り認識処理に適した画像を取り込むべく、画像取込タイミングをステップS22において決定するものである。
ステップS22において、画像取込タイミングであると判定された場合、ステップS30で画像取込が行われ、取り込んだ画像について、英数字文字列記載領域詳細抽出（ステップS41）が行われ、ステップS42において英数字文字列記載領域が存在すると判定された時のみ英数字文字列認識（同S50）が実施される。
【００８１】
図11においては、図10の場合と異なり、ステップS20において移動物体の進入が検出されない場合には、処理がステップS10に戻されるようなフローを示しているが、移動物体の進入の検出の有無を問わず、ステップS21及びS22を行うフローにすることも可能である。
【００８２】
また、図12に示すように、画像取込（ステップS30）の後、本発明による英数字文字列記載領域候補検出（同S31）を行い、予め候補位置を絞った上で英数字文字列記載領域詳細抽出（同S41）を行えば、ステップS41に要する時間を短縮することが可能であり、英数字文字列認識（同S50）及び英数字文字列認識結果出力（同S51）が完了するまでの画像認識処理全体の処理時間を短縮する結果となる。
【００８３】
なお、本発明は英数字の文字列記載領域のみに限定されるものではなく、その他の種類の文字による文字列記載領域であっても適用可能である。
【００８４】
【発明の効果】
以上説明したように、本発明に係る画像認識方法によれば、定線幅抽出フィルタ処理によりTV画像の座標点毎に定線幅領域の存在確率を抽出し、矩形領域内累積フィルタ処理により、該座標点おける該文字列記載領域の存在確率として、該座標点を囲む該文字列記載領域相当の矩形領域内で定線幅領域の存在確率の総和を求め、候補座標点検出処理により、該文字列記載領域の存在確率を基に、該文字列記載領域の該候補位置を代表する座標点として検出するため、文字列記載領域の候補位置を一定時間内で高速に検出することができる。
【図面の簡単な説明】
【図１】本発明に係る画像認識方法による画像取込タイミング決定処理の流れ概要を示した処理フロー図である。
【図２】本発明に係る画像認識方法における定線幅領域を説明するための図である。
【図３】本発明に係る画像認識方法における矩形領域内累積フィルタ処理を説明するための図である。
【図４】一般的なドットパターンの周波数特性を示したグラフ図である。
【図５】一般的な画像のサブサンプリングを行なう場合の対象画像の変遷図である。
【図６】本発明に係る画像認識方法における矩形領域内累積フィルタ処理の結果を示す三次元グラフ図である。
【図７】本発明に係る画像認識方法におけるピーク座標点及びピーク領域を説明するための図である。
【図８】本発明に係る画像認識方法の実施例を示した処理フロー図である。
【図９】本発明に係る画像認識方法における画像取込要件判定の説明図である。
【図１０】本発明を用いた英数字文字列認識処理例（１）を示すフローチャート図である。
【図１１】本発明を用いた英数字文字列認識処理例（２）を示すフローチャート図である。
【図１２】本発明の画像取込後の処理への応用例を示すフローチャート図である。
【図１３】従来技術による英数字文字列記載領域抽出処理の流れを示すフローチャート図である。
【図１４】従来の英数字文字列認識処理の流れを示すフローチャート図である。
【図１５】従来の画像取込タイミング決定例を説明するためのタイムチャート図である。
【図１６】入力画像からの画像取込タイミング決定例を説明するためのタイムチャート図である。
【符号の説明】
PK1,PK2,PK3  最大ピーク座標点
PH  英数字文字列記載領域の垂直方向幅（高さ）
PW  英数字文字列記載領域の水平方向幅
Hp  ピーク領域の垂直方向幅（高さ）
Wp  ピーク領域の水平方向幅
図中、同一符号は同一又は相当部分を示す。
【図１】
0003877929.tif 000007
【図２】
0003877929.tif 000008
【図３】
0003877929.tif 000009
【図４】
0003877929.tif 000010
【図５】
0003877929.tif 000011
【図６】
0003877929.tif 000012
【図７】
0003877929.tif 000013
【図８】
0003877929.tif 000014
【図９】
0003877929.tif 000015
【図１０】
0003877929.tif 000016
【図１１】
0003877929.tif 000017
【図１２】
0003877929.tif 000018
【図１３】
0003877929.tif 000019
【図１４】
0003877929.tif 000020
【図１５】
0003877929.tif 000021
【図１６】
0003877929.tif 000022