(57)【特許請求の範囲】
【請求項１】
移動する対象物体を固定されたカメラで撮影した画像から当該対象物体上の表示情報を自動で読み取る画像処理方法であって、
前記カメラで時系列に撮影された複数の画像毎に、予め設定された表示情報に係る配置情報に基づいて読取り対象となる表示情報を探索し、該探索された表示情報を含む所定範囲の画像領域に係る画像情報及び位置情報を記憶部に記憶する探索段階と、
記憶された前記画像領域の各々の位置情報に基づいて、前記画像中を移動する前記対象物体の微小時間の移動経路である直線に沿って該位置情報を修正して、前記複数の画像毎における当該画像領域の座標を夫々求める位置修正段階と、
求められた前記画像領域の各々の座標に基づいて前記画像領域の画像情報を座標変換して位置合わせを行う位置合わせ段階と、
位置合わせされた前記各画像情報を重ね合わせて重ね合わせ画像を生成し、該重ね合わせ画像に基づいて前記表示情報に対する高解像度処理を行う高解像度化画像処理段階とを含むことを特徴とする画像処理方法。
【請求項２】
前記表示情報が文字又は記号を含み、
前記探索段階では、前記複数の画像の各々において、前記文字又は記号の配置に係るレイアウト情報に基づいて前記表示情報を探索し、該探索された表示情報を含む前記画像領域を記憶することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記位置修正段階では、前記対象物体の移動が等速直線運動であるとして、前記各画像領域の位置情報が該等速直線上に沿った移動量が等しい位置に修正されることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記位置修正段階で求められた前記画像領域の座標が前記対象物体の移動経路から所定値を超えてずれているとき、前記位置合わせ段階において当該画像領域を位置合わせ処理の対象から除くことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理方法。
【請求項５】
前記高解像度化画像処理段階で得られた高解像度化画像に基づいて、前記表示情報に含まれる前記文字又は記号の認識を行う文字認識処理段階を含むことを特徴とする請求項２乃至４のいずれか一項に記載の画像処理方法。
【請求項６】
移動する対象物体を固定されたカメラで撮影した画像から当該対象物体上の表示情報を自動で読み取る画像処理装置であって、
前記カメラで時系列に撮影された複数の画像を記憶する記憶手段と、
予め記憶された表示情報に係るレイアウト情報に基づいて、前記記憶手段から読み出された前記複数の画像毎に、前記表示情報を探索し、該探索された表示情報を含む所定範囲の画像領域に係る画像情報及び位置情報を前記記憶手段に記憶する探索手段と、
記憶された前記画像領域の各々の位置情報に基づいて、前記画像中を移動する前記対象物体の微小時間の移動経路である直線に沿って該位置情報を修正して、前記複数の画像毎における当該画像領域の座標を夫々求める位置修正手段と、
求められた前記画像領域の各々の座標に基づいて前記画像領域の画像情報について座標変換して位置合わせを行う位置合わせ手段と、
位置合わせされた前記各画像情報を重ね合わせて重ね合わせ画像を生成し、該重ね合わせ画像に基づいて前記表示情報に対する高解像度処理を行う高解像度化画像処理手段と、
を有することを特徴とする画像処理装置。
【請求項７】
前記表示情報が文字又は記号を含み、
前記探索手段は、前記複数の画像の各々において、前記文字又は記号の配置に係るレイアウト情報に基づいて前記表示情報を探索し、該探索された表示情報を含む前記画像領域を記憶することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記位置修正段階では、前記対象物体の移動が等速直線運動であるとして、前記各画像領域の位置情報を該等速直線上に沿った移動量が等しい位置に修正することを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記位置修正手段で求められた前記画像領域の座標が前記対象物体の移動経路から所定値を超えてずれているとき、前記位置合わせ手段は、当該画像領域を位置合わせ処理の対象から除くことを特徴とする請求項６乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記高解像度化画像処理手段で得られた高解像度化画像に基づいて、前記表示情報に含まれる前記文字又は記号の認識を行う文字認識処理手段を含むことを特徴とする請求項７乃至９のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像中の文字や記号を自動で読み取り可能にする画像処理方法および画像処理装置に関し、特に、抽出された複数枚の画像から高解像度で文字や記号を読み取ることができる画像処理に関する。
【０００２】
【従来の技術】
従来から、例えば、学校や会社などにおいて、建物の出入り口にカメラを設置しておき、出入りする人物の身体に付けられた名札の文字を読み取ることが行われている。この読み取られた名札の文字に基づいて、建物への人の出入を管理するシステムが設置されていた。
【０００３】
また、製品生産工場などの製造現場において、出荷物をベルトコンベア上に流して仕分けする際、現場に設置されているカメラにより、ベルトコンベア上を流れ移動している荷物の映像を撮影し、その映像から荷物に貼られているシールの文字を読み取ることで、移動する各荷物を自動的に送り先ごとに仕分けする物流監視システムなどが使用されている。
【０００４】
映像中で移動している文字や記号を読み取る技術を、例えば、図１に示されるような、ベルトコンベア２、照明装置３、カメラ４、認識装置５、そしてモニタを備えた物流監視システムを用いて説明する。
生産工場などにおいて、ベルトコンベア２の傍らに設置されているカメラ４によって、移動する出荷物１の映像を撮影し、認識装置５でその映像から出荷物１に貼られているラベル７の文字を読み取り、出荷物１を送り先などに仕分けするというように、出荷物１の物流監視が行われている。
【０００５】
映像中のラベル７における文字や記号を読み取る方法は、例えば、テンプレートマッチング（テレビジョン学会編、「画像工学  −画像のエレクトロニクス−」、pp.132-133）と呼ばれる画像処理方法を用いていた。この技術は、物体中の文字が書かれている部分を、予め「辞書」として持っている文字のテンプレートと照合させ、辞書のテンプレートと最も類似しているものを読み取り、その結果を出力している。
【０００６】
この技術による読み取り方法では、カメラ４と出荷物４とが離れているため、ラベル７に書かれている文字が小さくなると、文字自体が潰れてしまい、他の文字と似通ったものとなり、読み取ったときの文字認識が困難になる。その結果、ある程度大きく映っている文字を対象とせざるを得ない。そのため、この技術により、ラベル７上の文字や記号を読み取る場合、文字や記号を大きく撮影する必要があり、カメラ４の撮影範囲が限定されることとなる。しかし、例えば、物流監視システムにおいては、ベルトコンベア２上を移動する出荷物１には、様々な大きさのものがあることや、出荷物１の種類によっては貼られたラベル７の位置が異なるなどの理由により、確実にラベル７を検出できるようにするために、カメラ４の撮影範囲をできるだけ広くとる必要性がでてくる。
【０００７】
そこで、この技術を用いてより広い範囲を監視するためには、例えば、特開平１１−２８４９８１号公報に見られるように、広い範囲を複数の領域に分け、複数台のカメラを用いて各カメラに各領域を割り当てるようにすることが開示されている。しかし、この手法では、カメラ台数が増加するばかりでなく、その増加に伴って照明装置、処理装置等の周辺機器も増えるため、コスト面や設置場所の確保などの問題があった。
【０００８】
【発明が解決しようとする課題】
以上述べたように、従来技術による読み取り方法では、「カメラの台数」と「文字や記号の読み取り可能範囲」とにトレードオフの関係があった。そのため、少ないカメラ台数で広い範囲を撮影した場合、対象となる文字や記号の解像度が低くなり、文字や模様の情報が不足するため、一部分が潰れたり欠けたりして、それらを読み取ることができないという問題がある。
【０００９】
この問題を解決するために、画像処理により画像の解像度を上げる高解像度化技術が開発（例えば、青木ら、「複数のディジタル画像からの超解像度処理」、第２回画像センシングシンポジウム、pp.65-70）されている。この高解像度化技術は、映像中の複数枚の画像を用い、各画像の画素の情報を足し合わせることで、高い解像度かつ鮮明な画像を生成するというものである。
【００１０】
ここで、高解像度化技術における高解像度化処理の原理を以下に説明する。
高解像度化とは、画像形成過程をモデル化し、その逆問題を解くことで形成された画像の原因となる高精細な画像を推定することである。具体的には、例えば、以下のような解法により高解像度画像を生成する。
Ｆ(X、Y)を理想的な高解像度画像とし、Ｆ(X、Y)を座標変換することによって得られるｋ番目のフレームにおける高解像度画像をＦk(X、Y)とする。つまり、座標変換式を
Ｘ＝Ｘk(x、y)、Ｙ＝Ｙk(x、y)                            …(1)
とすると、ｋ番目のフレームにおける高解像度画像は
Ｆk(X、Y)＝Ｆ(Ｘk(x、y)、Ｙk(x、y))                     …(2)
となる。
【００１１】
ｋ番目の低解像度の観測画像をＧk(i、j)とおくと、
【００１２】
【数１】
0004509423.tif 000002
【００１３】
ここで、ｗ(i、j:x、y)はＣＣＤ各画素の空間位置や開口特性によって定まる窓関数（ＰＳＦ）である。ここ整数値(i、j)に対して
ｗ(i、j;x、y)＝1、  i−0.5＜x＜i＋0.5、j−0.5＜y＜j＋0.5
＝0、  その他                                …(4)
であることを仮定する。これは各受光素子が正方形であり、隙間無く画像面を覆っていることを意味している。なお、ｗ(i、j;x、y)が別の形の関数であっても、以下の議論は成立する。(2)式及び(3)式より
【００１４】
【数２】
0004509423.tif 000003
【００１５】
ここで、ｘk(X、Y)、ｙk(X、Y)は(1)式の座標変換の逆変換である。また、(δ(x、y)／δ(X、Y))は変数変換のヤコビアン(各場所毎に面積が何倍になっているかを表すスケールファクタ)であり、
ｗk(i、j;X、Y)
＝ｗ(i、j:ｘk(X、Y)、ｙk(X、Y))(δ(x、y)／δ(X、Y))  …(6)
とおくと
【００１６】
【数３】
0004509423.tif 000004
【００１７】
が得られる。この式はｋ番目のフレームとして観測される画像Ｇk(i、j)と高解像度の理想画像Ｆ(X、Y)の関係を表す。観測画像Ｇk(i、j)が与えられたときに、その基となる高解像度の理想画像Ｆ(X、Y)を求めたいというのが解くべき問題である。この(7)式自身はＦ(X、Y)が任意に高解像度(X、Yが任意の実数)であっても成立するが、あまり解像度が高いと未知数の数が多すぎ、解が一意に定まらない。そこで、Ｆ(X、Y)が整数格子上でのみ値を持つ離散的な画像Ｈ(I、J)から先に定義した窓関数ｗ(I、J;X、Y)を使って
【００１８】
【数４】
0004509423.tif 000005
【００１９】
で表されるものと仮定する。するとＦ(X、Y)は階段関数となり、未知数の数は整数格子点の数に削減される。なお、画像の離散表現は別の方法も有り得るが、任意の窓関数に対してこの議論は成り立つ。
【００２０】
【数５】
0004509423.tif 000006
【００２１】
ここで、(11)式を最小二乗の意味で最適に満たす高解像度画像Ｈ(I、J)を求めればよい。つまり、次の評価関数
【００２２】
【数６】
0004509423.tif 000007
【００２３】
を最小にするようなＨ(I、J)を求めればよい。
以上のような処理により、高解像度化画像が生成される。
しかしながら、このような高解像度化技術では、各画像の各画素を対応づけ画素値を重ね合わせることで、高解像度化画像を生成していくため、１画素以下の精度で各画像の位置を合わせる必要があり、各画像のうち１枚でもその位置がずれていると、鮮明な高解像度画像は得られない。このため、各画像の位置合わせが重要となる。しかし、対象の画像自体が低解像度になっている場合、画像中の対象の大きさが小さいため厳密に位置合わせを行うことは難しい。
【００２４】
そこで、本発明は、映像中を移動している対象物体の動きに合わせて、読み取りの対象物体の各画像で切り出された位置を拘束することで、画像全体を通して厳密な位置合わせを可能とし、高解像度をより向上する画像処理装置及び画像処理方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
以上の課題を解決するために、本発明では、移動する対象物体を固定されたカメラで撮影した画像から当該対象物体上の表示情報を自動で読み取る画像処理方法において、前記カメラで時系列に撮影された複数の画像毎に、予め設定された表示情報に係る配置情報に基づいて読取り対象となる表示情報を探索し、該探索された表示情報を含む所定範囲の画像領域に係る画像情報及び位置情報を記憶部に記憶する探索段階と、記憶された前記画像領域の各々の位置情報に基づいて、前記画像中を移動する前記対象物体の微小時間の移動経路である直線に沿って該位置情報を修正して、前記複数の画像毎における当該画像領域の座標を夫々求める位置修正段階と、求められた前記画像領域の各々の座標に基づいて前記画像領域の画像情報を座標変換して位置合わせを行う位置合わせ段階と、位置合わせされた前記各画像情報を重ね合わせて重ね合わせ画像を生成し、該重ね合わせ画像に基づいて前記表示情報に対する高解像度処理を行う高解像度化画像処理段階とを含めた。
【００２６】
そして、前記表示情報が文字又は記号を含み、前記探索段階では、前記複数の画像の各々において、前記文字又は記号の配置に係るレイアウト情報に基づいて前記表示情報を探索し、該探索された表示情報を含む前記画像領域を記憶するようにした。さらに、前記対象物体の移動が等速直線運動であるとして、前記各画像領域の位置情報が該等速直線上に沿った移動量が等しい位置に修正され、前記位置修正段階で求められた前記画像領域の座標が前記対象物体の移動経路から所定値を超えてずれているときには、前記位置合わせ段階において当該画像領域を位置合わせ処理の対象から除くようにした。さらに、前記高解像度化画像処理段階で得られた高解像度化画像に基づいて、前記表示情報に含まれる前記文字又は記号の認識を行う文字認識処理段階を含むこととした。
【００２７】
また、本発明では、上述した画像処理方法に対応して、移動する対象物体を固定されたカメラで撮影した画像から当該対象物体上の表示情報を自動で読み取る画像処理装置において、前記カメラで時系列に撮影された複数の画像を記憶する記憶手段と、予め記憶された表示情報に係るレイアウト情報に基づいて、前記記憶手段から読み出された前記複数の画像毎に、前記表示情報を探索し、該探索された表示情報を含む所定範囲の画像領域に係る画像情報及び位置情報を前記記憶手段に記憶する探索手段と、記憶された前記画像領域の各々の位置情報に基づいて、前記画像中を移動する前記対象物体の微小時間の移動経路である直線に沿って該位置情報を修正して、前記複数の画像毎における当該画像領域の座標を夫々求める位置修正手段と、求められた前記画像領域の各々の座標に基づいて前記画像領域の画像情報について座標変換して位置合わせを行う位置合わせ手段と、位置合わせされた前記各画像情報を重ね合わせて重ね合わせ画像を生成し、該重ね合わせ画像に基づいて前記表示情報に対する高解像度処理を行う高解像度化画像処理手段とを備えることとした。
【００２８】
【発明の実施の形態】
以下、本発明について、高解像度化技術を用いた文字認識処理装置に適用した場合の実施形態を説明する。
〔第１の実施形態〕
図１に示されるように、固定されたカメラ４によって、ベルトコンベア２上に載せられて移動する荷物１を撮影すると、モニタ６に映し出される荷物１に係る画像は、ベルトコンベアの移動に従って画面中を移動していくとする。ここで、対象である移動する荷物１に係る画像を含む複数枚の各画像から文字らしい領域を、例えば、対象中の文字列の配置情報により切り出す。切り出した文字領域の位置には、荷物１の振動などによって多少の誤差を含むため、各画像間での誤差が累積され全体として大きなずれが発生する。
【００２９】
そこで、本実施形態では、映像中を移動している対象の動きを、微小時間において何らかの運動で表現し、例えば、ベルトコンベア２上の荷物１の運動は、微小時間においては「等速直線運動」で表されるとし、読み取りの対象である荷物１に貼られているラベル７に係る各画像で切り出された位置が「等速直線運動」をするように対象の位置を拘束することで、画像全体を通して厳密な位置合わせを行うことができるようにした。このような位置合わせ処理により、良好な高解像度化処理が行うことができ、対象中の文字や記号の解像度を高くできるため、ラベル７に書かれた文字や記号を容易に読み取ることができる。
【００３０】
第１の実施形態による位置合わせ処理を含む文字認識処理装置のブロック構成を図２に示す。
文字認識処理装置１０には、カメラ４などの画像入力装置から得られるアナログ映像入力信号、又は画像記録装置からの出力などのディジタル映像入力信号が供給される。入力信号がアナログ映像信号である場合には、そのアナログ映像信号をＡ／Ｄ変換部１１でディジタル信号に変換した後に、或いは入力信号が画像記録装置からの出力などのディジタル映像信号である場合には、そのディジタル信号のまま入力される画像制御部１２を有する。そして、画像制御部１２で入力された画像を記憶する第１画像記憶部１３と、対象探索部１５や位置合わせ処理部１６で処理された結果を記憶する第２画像記憶部１４と、与えられたレイアウトに基づき、移動している対象を探索する対象探索部１５と、各時刻での画像における対象の位置を合わせる位置合わせ処理部１６と、各時刻での対象の位置を合わせた結果から高解像度化処理を行う高解像度化処理部１７と、高解像度化した画像に対して文字列や記号の読み取りを行う文字認識部１８を備えている。
【００３１】
以下、第１の実施形態に係る文字認識処理装置１０の動作について、ブロック毎に詳細に説明する。
・入力された画像のＡ／Ｄ変換
カメラ４などの画像入力装置から得られるアナログ映像をＡ／Ｄ変換部１１によりディジタル化し、後段の画像制御部１２へ出力する。ただし、入力映像がディジタル映像の場合は、Ａ／Ｄ変換部１１のない構成となる。
・Ａ／Ｄ変換された画像の制御
画像制御部１２は、Ａ／Ｄ変換部１１からの出力画像又は画像記録装置などからの出力画像によるディジタル映像信号を制御し、第１画像記憶部１３に画像を記憶するとともに、後段の対象探索部１５に送る。
・画像の記憶
第１画像記憶部１３には、画像制御部１２に入力されたディジタル映像信号に係る画像データを記憶する。また、ある程度の時間の画像データを記憶できるだけのメモリ容量を持っているため、後段の対象探索部１５で処理を行っている間も入力される画像データを記憶することができる。
・処理結果の記憶
第２画像記憶部１４には、対象探索部１５や位置合わせ処理部１６で処理された結果を記憶する。なお、第２画像記憶部１４を第１画像記憶部１３と別に示したが、記憶部としての構成としては、一つのものでもよく、説明の便宜上、個別の構成として示した。
・認識対象の探索
対象探索部１５では、画像制御部１２から送られた映像信号による画像に対象となる画像が含まれているかどうかを探す。
【００３２】
先ず、画像制御部１２から入力され、ある時刻ｔのタイミングで撮影された画像に、対象が存在するかどうかを調べる。具体的には、入力された画像に対して２値化、ラベリング処理を行うことで、図３（ａ）のように文字らしい部分を検出する。同図中では、文字らしい部分を、丸形状又は楕円形状で示した。次に、例えば、図３（ｂ）に示されるような、名札のように、予め、対象の文字列などの配置関係を示すレイアウト情報を与える。このとき、レイアウト情報は、どんな文字又は記号であるかは必要なく、それらの配置関係を判別することができる程度のものである。
【００３３】
その文字らしい部分の配置がレイアウト情報と類似している所定範囲の領域を見つける。レイアウト情報との類似度が、ある閾値以下の場合は、「対象なし」を表す信号を画像制御部１２に送り、画像制御部１２は、第１画像記憶部１３に記憶している次の時刻の画像を対象探索部１５へ出力し、次いで、対象探索部１５は、その画像に対して探索を行う。
【００３４】
その画像について、レイアウト情報との類似度がある閾値以上の場合は、類似していると判断し、図３（ａ）に示されるように、次の時刻における所定範囲を有する領域Ｐの四隅の座標(ｘ1、ｙ1)、(ｘ2、ｙ2)、(ｘ3、ｙ3)、(ｘ4、ｙ4)と、領域Ｐに係る画像データとを第２画像記憶部１４へ出力し記憶する。これと同時に、「対象あり」を表す信号を画像制御部１２に送る。
【００３５】
このようにして、画像制御部１２は、第１画像記憶部１３に記憶している時刻ｔが時刻ｔ0から時刻ｔn-1までであれば、各時刻の画像を対象探索部１５に順次入力する。そして、対象探索部１５では、順次入力される画像について順次探索処理を行う。ここで、入力される画像の枚数ｎは、高解像度化処理部１７で用いる枚数である。
【００３６】
次に、時刻ｔ1〜ｔn-1における対象の位置を追跡する。具体的には、例えば、時刻ｔ0で検出した対象の四隅の座標(ｘ10、ｙ10)、(ｘ20、ｙ20)、(ｘ30、ｙ30)、(ｘ40、ｙ40)から検出した領域ｐ0をテンプレートとしたテンプレートマッチングにより対象の追跡を実現する。追跡により得られた各時刻ｔiでの対象領域ｐiの四隅の座標(ｘ1i、ｙ1i)、(ｘ2i、ｙ2i)、(ｘ3i、ｙ3i)、(ｘ4i、ｙ4i)と、領域ｐiに係る画像データを第２画像記憶部１４へ出力し記憶していく。ここで、処理枚数がｎであれば、ｉ＝０〜（ｎ−１）である。
【００３７】
図４に、探索処理によって得られた対象領域の具体例を、ｎ＝４の場合について示した。対象領域が、ｐ0〜ｐ3の四角枠で示される。
以上の処理を、処理枚数分ｎだけ繰り返すことにより、各時刻における対象領域の四隅の座標が求まる。この四隅の座標を基に、後段の位置合わせ処理部１６で各画像の対象領域について位置合わせを行う。
・各画像の位置合わせ処理
対象探索部１５での処理が終了すると、第２画像記憶部１４に記憶された各時刻の画像と各画像での対象領域の四隅の座標が、位置合わせ処理部１６に順次入力される。入力された時刻ｔ0から時刻ｔn-1までのｎ枚の画像における対象の位置合わせを行う。
【００３８】
先ず、ｎ枚の画像のある一枚を取り出し、ある大きさに拡大した画像(以下基準画像と呼ぶ)を作成する。その画像に対応するように、残りの（ｎ−１）枚の画像の位置を合わせるための射影変換を求める。拡大する大きさが、高解像度化処理により生成される画像の大きさとなる。
一般に、２枚の画像間で４点の対応関係が与えられると、２枚の画像を結び付ける射影変換が定まる。そこで、ｍ番目(ｍ＜ｎ)の入力画像における４頂点を(ｘm1、ｙm1)、(ｘm2、ｙm2)、(ｘm3、ｙm3)、(ｘm4、ｙm4)とし、基準画像における座標を(ｘM1、ｙM1)、(ｘM2、ｙM2)、(ｘM3、ｙM3)、(ｘM4、ｙM4)とし、基準画像をｍ番目の入力画像に変換する射影変換は、
ｘmi＝(a1・ｘMi＋a2・ｙMi＋a3)／(a7・ｘMi＋a8・ｙMi＋a9)
ｙmi＝(a4・ｘMi＋a5・ｙMi＋a6)／(a7・ｘMi＋a8・ｙMi＋a9)
（４頂点であるので、i＝1、2、3、4）                …(13)
となる。
【００３９】
対象探索部１５で求められた各画像の四隅の座標を、(13)式に代入する。このことにより、変換係数ａ1〜ａ9の９個の未知数に対して８個の線形方程式を与えることになるが、(13)式は、ａ1〜ａ9を定数倍しても変化しないスケール不変性があるので、例えば、ａ9＝1であるという制約を与えれば、解が一意的に定まる。以上の処理により、基準画像をｍ番目の入力画像に変換する射影変換が求められる。この逆変換をｍ番目の入力画像に施せば、基準画像と位置が合うことになる。
【００４０】
ここで、実際には、各画像の対象領域の解像度が低いため、求まった対象領域の位置には、誤差を含んでいる。そこで、対象物体の運動に対応して、位置合わせを修正する。移動している対象物体は、微小時間の間隔で見た場合、決められた所定の運動をしていると見ることができる。その運動を満足するように、各時刻で検出された対象領域の位置を修正してやることにより、対象領域の位置合わせを厳密に行うことができる。
【００４１】
具体的には、例えば、図４のように、時刻ｔ0〜ｔ3での各逆射影変換による対象領域ｐ0〜ｐ3の位置が表されている場合、図５に示されるように、微小時間における対象領域の運動を所定の運動に当て嵌める。例えば、対象物体の運動が等速直線運動と見なす。図５においては、破線Ｌによる矢印のように運動しているとする。同図は、対象物体の運動をモニタ６上の画面で見た状態で示している。
【００４２】
先ず、各時刻での対象領域の四隅の位置に対応する点のうち、領域ｐ0〜ｐ3の左上の点が領域を代表する位置であるとして、それらの座標を、図５中に丸印で示されるように、(ｘ10、ｙ10)、(ｘ11、ｙ11)、(ｘ12、ｙ12)、(ｘ13、ｙ13)とする。そこで、図６に示すように、図５に丸印で示されるような各対象領域の代表位置について、対象物体の運動を表す直線Ｌ上に並ぶように修正する。図示のように、各座標は、(ｘm10、ｙm10)、(ｘm11、ｙm11)、(ｘm12、ｙm12)、(ｘm13、ｙm13)に修正される。しかし、ここでは、各座標が直線Ｌ上に位置されたに過ぎず、まだ等速運動に修正されていない。
【００４３】
次に、各座標が、図７のように直線Ｌで示される等速運動をしているとするために、各時間間隔の移動量が等しくなるように修正される。修正された後の各座標は、図７に示されるように、(ｘM10、ｙM10)、(ｘM11、ｙM11)、(ｘM12、ｙM12)、(ｘM13、ｙM13)となって、対象領域ｐ0〜ｐ3が、直線Ｌに沿った等速直線運動となるように、各領域の座標が修正される。
【００４４】
このように、各時刻の座標を全体の運動により拘束することで、各時刻の画像間で生じる誤差を累積することがないため、大きなずれのない厳密な位置合わせを可能とする。また、対象の運動により拘束せずに、四隅の点の対応のみで射影変換を求める場合も含む。
以上のように、各時刻ｔ0〜ｔ3での対象の位置を合わせ、重ね合わした画像をつくり、その画像を高解像度化処理部１７へ出力する。
・重ね合わされた画像の高解像度化処理
高解像度化処理部１７では、位置合わせ処理部１６で生成されたｎ枚の画像に対して高解像度化処理を行う。ここで行う高解像度化とは、画像形成過程をモデル化し、その逆問題を解くことで形成された画像の原因となる高精細な画像を推定することであり、具体的には、前述の(1)乃至(12)式による高解像度化処理である。(12)式で表される評価関数を最小にするようなＨ(I、J)が求められる。このような処理により生成された高解像度化画像が、を文字認識部１８に出力される。
・高解像度化画像からの文字認識
文字認識処理部１８は、高解像度化処理部１７から出力された画像を用いて文字認識を行う。
【００４５】
具体的には、例えば、文字レイアウトに含まれる可能性のある文字(漢字、数字、アルファベットなど)の大きさや位相の異なるパターンを認識するために、予め辞書として用意しておく。そこで、高解像度化処理を施された画像中の文字と辞書画像とのテンプレートマッチングを行い、マッチング度が高いものを文字などの認識結果として出力する。テンプレートマッチングの方法としては、入力画像（Ｘ、Ｙ）におけるｉ番目の画素Ｘi、Ｙiについて、(14)式の計算を行い、マッチング度Ｍが小さいほど似通った領域であるとする。ただし、Ｍ≧０である。
【００４６】
【数７】
0004509423.tif 000008
【００４７】
以上の処理による文字などの認識結果を、ベルトコンベア２の下流において別途用意されている仕分け装置に出力する。その仕分け装置によって、対象物体である荷物１の仕分けを自動で行うことや、モニタ６に出力して作業員が荷物１の仕分けをすることなどのように、物流監視システムを構築できる。
〔第２の実施形態〕
第２の実施形態による文字認識処理装置１０のブロック構成を図８に示す。
【００４８】
図２に示された第１の実施形態による文字認識処理装置１０において、位置合わせ処理部１６の後段に、画像選択処理部１９を加えたものである。第１の実施形態では、対象が発見された時刻ｔ0からｔn-1までの各時刻での画像であるｎ枚の入力画像を用い高解像度化処理を行っている。
しかし、入力されたｎ枚の画像には、位置合わせがうまく行えていない画像など高解像度化処理に不適な画像も含まれている可能性が高い。そのような画像を高解像度化処理に用いた場合、悪い影響を与えることがある。
【００４９】
そこで、第２の実施形態では、ｎ枚の画像から位置ずれの大きい画像を除去することにより、良好な高解像度化が得られるようにした。
具体的には、例えば、上述した高解像度化処理における(12)式に示すテンプレートマッチングを、位置合わせを行った各画像と基準画像との間で行う、マッチング度Ｍの値が大きい画像ほど、位置ずれが大きいと考えられる。よって、画像選択処理部１９によりマッチング度を計算し、その値が閾値より大きい画像を除去した後で、比較的位置ずれが少ない画像に基づいて高解像度化処理を行う。
【００５０】
従って、高解像度化処理において、処理に不適当な画像を処理対象から取り除くことにより、一層精度の高い処理を行うことができる。
これまで、物流監視システムを例にして説明してきたが、これに限られず、建物への人の出入チェックシステムなど、移動する物に付けられている対象情報を認識する必要があるようなところに、本実施形態による複数画像を用いた高解像度化画像処理を適用することができる。
【００５１】
対象情報についても、文字又は記号だけでなく、物体中の特定形状などによる図形でもよい。この場合には、高解像度化処理部の後段にある文字認識部の代わりに、図形認識部を置く。
本実施形態による高解像度化処理を適用した文字認識処理装置の動作として、探索対象とする物体が等速直線運動に従って移動している例を挙げて説明したが、探索対象物体がカメラで撮影される範囲内で、決まった経路で移動することが把握されているならば、その経路を探索対象の運動としてそれに拘束するように各対象領域を修正するようにしてもよい。
【００５２】
また、これまで、カメラで撮影された画面内において、一つの対象物体の探索を行う例を説明したが、同時に２以上の対象物体を探索することもでき、この場合には、各対象物体のそれぞれの運動を予め決定しておくことにより、各対象物体について、一つのカメラによる撮影画像に基づいて広範囲の監視を実現することができる。
【００５３】
さらに、カメラによって撮影された画面が揺らいでいるような場合、対象物体が止まっていても、決まった経路として各対象領域を停止運動に拘束することで、より鮮明な高解像度化画像を作成することができる。
（付記１）  移動する対象物体を撮影した映像から当該対象物体に係る対象情報を自動で読み取る画像処理方法であって、
前記映像における時系列の複数の画像毎に、前記対象情報を含む所定範囲の画像領域を探索する探索段階と、
探索された各々の前記画像領域の位置を、前記対象物体の移動に合った位置に修正して、各画像領域の位置合わせを行う位置合わせ段階と、
位置合わせされた前記各画像領域を重ね合わせて高解像度処理を行う高解像度化画像処理段階とを含むことを特徴とする画像処理方法。
（付記２）  前記対象情報が文字又は記号を含み、
前記探索段階では、前記画像の各々において、前記文字又は記号に係るレイアウト情報に基づいて前記画像領域を探索することを特徴とする付記１に記載の画像処理方法。
（付記３）  前記位置合わせ段階では、前記対象物体が微小時間毎に移動しているとし、前記画像領域の位置を前記時間に対応する前記対象物体の移動位置に従って修正し位置合わせを行うことを特徴とする付記１又は２に記載の画像処理方法。
（付記４）  前記位置合わせ段階では、前記対象物体の移動が等速直線運動であるとして、前記各画像領域の位置を該等速直線上の位置に修正して位置合わせを行うことを特徴とする付記３に記載の画像処理方法。
（付記５）  前記位置合わせ段階では、前記画像領域の位置が前記対象物体の移動位置から所定値を超えてずれているとき、当該画像領域を位置合わせ処理の対象から除くことを特徴とする付記１乃至４のいずれか一つに記載の画像処理方法。
（付記６）  前記高解像度化画像に基づいて前記文字又は記号情報の認識を行う文字認識処理段階を含むことを特徴とする付記２乃至５のいずれか一つに記載の画像処理方法。
（付記７）  移動する対象物体を撮影した映像から当該対象物体に係る対象情報を自動で読み取る画像処理装置であって、
前記映像における時系列の複数の画像毎に、前記対象情報を含む所定範囲の画像領域を探索する探索手段と、
探索された各々の前記画像領域の位置を、前記対象物体の移動に合った位置に修正して、各画像領域の位置合わせを行う位置合わせ手段と、
位置合わせされた前記各画像領域を重ね合わせて高解像度処理を行う高解像度化画像処理手段とを有することを特徴とする画像処理装置。
（付記８）  前記対象情報が文字又は記号を含み、
前記探索手段は、前記画像の各々において、前記文字又は記号に係るレイアウト情報に基づいて前記画像領域を探索することを特徴とする付記７に記載の画像処理装置。
（付記９）  前記位置合わせ手段は、前記対象物体が微小時間毎に移動しているとし、前記画像領域の位置を前記時間に対応する前記対象物体の移動位置に従って修正し位置合わせを行うことを特徴とする付記７又は８に記載の画像処理装置。
（付記１０）  前記位置合わせ手段は、前記対象物体の移動が等速直線運動であるとして、前記各画像領域の位置を該等速直線上の位置に修正して位置合わせを行うことを特徴とする付記９に記載の画像処理装置。
（付記１１）  前記位置合わせ手段には、前記画像領域の位置が前記対象物体の移動位置から所定値を超えてずれているとき、当該画像領域を位置合わせ処理の対象から除く画像選択手段を備えたことを特徴とする付記７乃至１０のいずれか一つに記載の画像処理装置。
（付記１２）  前記高解像度化画像に基づいて前記文字又は記号情報の認識を行う文字認識処理手段を有することを特徴とする付記８乃至１１のいずれか一つに記載の画像処理装置。
【００５４】
【発明の効果】
本発明の効果は、映像中の文字や記号を含む移動している対象の各時刻での位置を、対象の運動により拘束することで厳密に合わせることができるため、高解像度化処理が良好に行え、自動で文字や記号を読み取ることができる。
それにより、カメラの撮影範囲を広げることができ、例えば、物流監視システムに適用した場合、複数台のベルトコンベアを１台のカメラでの監視が可能となり、システムの大幅なコストダウンにつながる。
【図面の簡単な説明】
【図１】物流監視システムの概略構成を示す図である。
【図２】第１の実施形態を適用した文字認識処理装置に係るブロック構成を示した図である。
【図３】レイアウト情報による認識対象の探索を説明する図である。
【図４】モニタに映し出された各時刻での認識対象の位置を示した図である。
【図５】微少時間における認識対象の運動を修正するための該対象画像の代表点を特定した状態を説明する図である。
【図６】各対象画像の代表点を直線上に並べ、認識対象の運動による画像位置の修正について説明する図である。
【図７】認識対象が等速直線運動となるように、各対象画像を各時間の移動量が等しくなるように修正した状態を示す図である。
【図８】第２の実施形態を適用した文字認識処理装置に係るブロック構成を示した図である。
【符号の説明】
１…荷物
２…ベルトコンベア
３…照明装置
４…カメラ
５…認識装置
６…モニタ
７…ラベル
１０…文字認識処理装置
１１…Ａ／Ｄ変換器
１２…画像制御部
１３…第１画像記憶部
１４…第２画像記憶部
１５…対象探索部
１６…位置合わせ処理部
１７…高解像度化処理部
１８…文字認識部
１９…画像選択処理部
【図１】
0004509423.tif 000009
【図２】
0004509423.tif 000010
【図３】
0004509423.tif 000011
【図４】
0004509423.tif 000012
【図５】
0004509423.tif 000013
【図６】
0004509423.tif 000014
【図７】
0004509423.tif 000015
【図８】
0004509423.tif 000016