(57)【特許請求の範囲】
【請求項１】
時系列画像を入力する画像入力手段と、
移動物体の移動量を求める移動量検出手段と、
を具備し、
前記移動量検出手段は、
前記時系列画像の中から第１の時間間隔で原寸の大きさである原寸画像を抽出し、
前記抽出された前記原寸画像中の領域が、時間的に次に抽出された前記原寸画像中でどの位置に移動したかを探索し、前記探索領域毎に第１の評価値を求め、
前記時系列画像の中の前記各原寸画像を所定の縮小率で縮小して縮小画像をそれぞれ生成し、
前記時系列の縮小画像の中から、前記第１の時間間隔と前記縮小率に基づいて前記原寸画像の移動量と前記縮小画像の移動量とが同じなるように決められた第２の時間間隔で、前記縮小画像を抽出し、
前記抽出された前記縮小画像中の領域が、時間的に次に抽出された前記縮小画像中でどの位置に移動したかを探索し、前記探索領域毎に第２の評価値を求め、
前記第１の評価値と前記第２の評価値の和が最も良くなる領域間の移動量を前記移動量とする、
ことを特徴とする移動量検出装置。
【請求項２】
前記移動量検出手段は、
前記第１の評価値と前記第２の評価値として、前記領域内の各点の濃淡情報、または、色情報について算出される、差分の絶対値和、差分の自乗和、相関値のいずれかを用いる、
ことを特徴とする請求項１記載の移動量検出装置。
【請求項３】
前記移動量検出手段は、
前記各原寸画像を異なる複数の縮小率で縮小して、前記各原寸画像について複数の縮小画像を生成し、
前記複数の縮小画像毎に前記第２の評価値をそれぞれ求め、
前記第１の評価値と複数の前記第２の評価値の和が最も良くなる領域間の移動量を前記移動量とする、
ことを特徴とする請求項１記載の移動量検出装置。
【請求項４】
時系列画像を入力する画像入力ステップと、
移動物体の移動量を求める移動量検出ステップと、
を具備し、
前記移動量検出ステップは、
前記時系列画像の中から第１の時間間隔で原寸の大きさである原寸画像を抽出し、
前記抽出された前記原寸画像中の領域が、時間的に次に抽出された前記原寸画像中でどの位置に移動したかを探索し、前記探索領域毎に第１の評価値を求め、
前記時系列画像の中の前記各原寸画像を所定の縮小率で縮小して縮小画像をそれぞれ生成し、
前記時系列の縮小画像の中から、前記第１の時間間隔と前記縮小率に基づいて前記原寸画像の移動量と前記縮小画像の移動量とが同じなるように決められた第２の時間間隔で、前記縮小画像を抽出し、
前記抽出された前記縮小画像中の領域が、時間的に次に抽出された前記縮小画像中でどの位置に移動したかを探索し、前記探索領域毎に第２の評価値を求め、
前記第１の評価値と前記第２の評価値の和が最も良くなる領域間の移動量を前記移動量とする、
ことを特徴とする移動量検出方法。
【請求項５】
前記移動量検出ステップは、
前記第１の評価値と前記第２の評価値として、前記領域内の各点の濃淡情報、または、色情報について算出される、差分の絶対値和、差分の自乗和、相関値のいずれかを用いる、
ことを特徴とする請求項４記載の移動量検出方法。
【請求項６】
前記移動量検出ステップは、
前記各原寸画像を異なる複数の縮小率で縮小して、前記各原寸画像について複数の縮小画像を生成し、
前記複数の縮小画像毎に前記第２の評価値をそれぞれ求め、
前記第１の評価値と複数の前記第２の評価値の和が最も良くなる領域間の移動量を前記移動量とする、
ことを特徴とする請求項４記載の移動量検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、時系列画像を利用して移動量を算出する移動量検出装置に係り、特に高速撮影が可能なセンサによって撮影された画像から領域の移動量を高精度に検出可能な移動量検出装置及びその方法に関する。
【０００２】
【従来の技術】
従来、外界の情報をコンピュータに入力する手段としてはＣＣＤカメラが利用されることがほとんどであり、カメラからコンピュータへのデータの転送はＮＴＳＣ規格に合わせて１秒間に３０フレームの速度で行なわれていた。この為、計算機の能力が上がっても画像の取り込み速度がネックとなり、画像情報に基づいた高速な機器の制御を実現することは困難であった。
【０００３】
これに対して、感度可変素子を利用した新しいタイプのセンサを提案されている（特開平６−１３９３６１号）。
【０００４】
この素子には画像処理回路が搭載されており、簡単な画像処理を行なった結果を１秒間に１００枚程度の割合で出力することが可能となっている。
【０００５】
しかし、チップに搭載されているのはアナログの処理回路であり、処理可能な演算は比較的簡単なものである。
【０００６】
例えば、ジェスチャー入力型インタラクティブゲーム（画像ラボ：１９９８年３月号）は、３２画素×３２画素の人工網膜チップを利用して対象物体の動きを求めているが、得られる動き情報は精度、個数とも複雑な画像処理に利用するには不十分である。
【０００７】
また、スマート・ビジョン・センサが開発されている（画像ラボ：１９９７年１２月号）。
【０００８】
このセンサはデジタル回路を使って画像を処理しており、領域のラベリングや重心計算などの簡単な画像処理を高速に行なうことができる。しかし、このセンサはライン毎の並列処理性能に重点がおかれており、２次元に広がる領域内の動き情報を高速に精度良く求めることは困難である。
【０００９】
これに対して、超並列・超高速視覚情報処理システム（応用物理学会誌第６７巻第１号：石川他著）は、デジタル処理を行なう回路をセンサに搭載して２次元画像内の領域を１秒間に１０００枚の速度で追跡することが可能である。しかし、このシステムは近傍演算のみですべての画像処理をおこなうように設計されているため、対象物体の複雑さや速度が増すと十分な精度の演算結果を得ることが出来ない可能性がある。
【００１０】
今後はさらに前記のようなデジタル処理回路を搭載したセンサの開発が進むと考えられ、１秒間に１０００枚以上の速度でカラーや濃淡の画像を処理した結果を出力できるようになると考えられる。
【００１１】
このような事実を鑑みて、われわれは画像を高速に取り込むと同時に処理することが可能なセンサに搭載可能である。時系列画像から高速に安定して領域の移動量を検出するための手法を提案する。
【００１２】
【発明が解決しようとする課題】
本発明は前記のような点に鑑みなされたもので、高速画像入力が可能なセンサで道路などの背景と移動物体を撮影した際に、その画像中の各領域の移動量を高精度に検出することのできる移動量検出装置及びその方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、時系列画像を入力する画像入力手段と、移動物体の移動量を求める移動量検出手段と、を具備し、前記移動量検出手段は、前記時系列画像の中から第１の時間間隔で原寸の大きさである原寸画像を抽出し、前記抽出された前記原寸画像中の領域が、時間的に次に抽出された前記原寸画像中でどの位置に移動したかを探索し、前記探索領域毎に第１の評価値を求め、前記時系列画像の中の前記各原寸画像を所定の縮小率で縮小して縮小画像をそれぞれ生成し、前記時系列の縮小画像の中から、前記第１の時間間隔と前記縮小率に基づいて前記原寸画像の移動量と前記縮小画像の移動量とが同じなるように決められた第２の時間間隔で、前記縮小画像を抽出し、前記抽出された前記縮小画像中の領域が、時間的に次に抽出された前記縮小画像中でどの位置に移動したかを探索し、前記探索領域毎に第２の評価値を求め、前記第１の評価値と前記第２の評価値の和が最も良くなる領域間の移動量を前記移動量とする、ことを特徴とする移動量検出装置である。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
【００２０】
図１は本発明の一実施形態に係る移動量検出装置１０の構成を示すブロック図である。
【００２１】
移動量検出装置１０は、時系列画像を利用して領域の移動量を検出するものであり、画像入力部１２、画像蓄積部１４、移動量検出部１６を有する。
【００２２】
画像入力部１２は、背景及び移動物体の撮影により得られる時系列画像を入力する。この画像入力部１２から入力された時系列画像は画像蓄積部１４に与えれる。ここで、画像入力部１２は、固定または移動するセンサを用いて各種の物体を撮影することによって得られる時系列画像を数百〜数千枚／秒の割合で高速に入力する。また、ここで画像として入力される物体は、自動車、道路及び看板などであり、これらの対象を検出するために特別な色や印などを付加する必要はない。
【００２３】
画像蓄積部１４は、画像入力部１２から得られる時系列入力画像を複数枚蓄積し、必要に応じて移動量検出部１６に画像を与える。
【００２４】
移動量検出部１６は、画像蓄積部１４から転送された画像を必要に応じて利用し、それぞれの画像を格子状に分割した後、各格子領域が時系列画像間でどのように移動したかを検出する。
【００２５】
次に、移動量検出装置１０の動作を説明する。
【００２６】
図２は、本装置１０によって実現される移動量検出方法を説明するための図である。ここでは、道路上を走行している自動車を移動物体として、これを走行中の自動車や道路横の鉄塔などに搭載したカメラで撮影した場合を想定する。
【００２７】
図２（ａ）は、時刻ｔのときに得られた入力画像、同図（ｂ）は時刻ｔ−１のときに得られた入力画像である。これらの入力画像は、画像入力部１２から時系列で順次得られる。
【００２８】
一般的な画像処理では、画像入力部１２からビデオレートの３０枚／秒の割合で画像が得られるので、画像間での物体の移動量が大きく、高速に移動する物体を追跡する場合には、非常に広い探索領域を設定する必要がある。
【００２９】
しかし、ここで扱う画像入力部１２は、１秒間に１０００枚程度の画像を高速に取得することが可能であり、このように高速に画像を取得できれば物体追跡の為の探索領域も小さくすることが可能である。
【００３０】
例えば、１／１０００秒で１画素程度移動する物体を撮影した場合、ビデオレートでこの物体を撮影すると探索領域は±３３画素以上必要となる。しかし、１秒間に１０００枚の画像を獲得できれば探索領域は±２画素以下で済み、探索処理を非常に高速に行なうことが可能となる。
【００３１】
以下の説明では、連続する時系列画像間での物体の移動量が２画素以下である場合を考える。
【００３２】
なお、上記のように連続した時間の中から１／１０００秒毎に画像を抽出することを、時間方向のサンプリングとする。
【００３３】
画像蓄積部１４
画像入力部１２から高速に入力された画像は、まず画像蓄積部１４に蓄積される。
【００３４】
画像蓄積部１４では図３に示すように、まず、入力画像そのものの画像（以下、原寸画像という）を蓄積する。そして、これらの画像を縮小率２-Mで縮小した縮小画像を生成する。ここで、この原寸画像の縮小が、いわゆる空間方向の変形となる。Ｍは、自然数であり、原寸画像の大きさや画像処理の能力やメモリー量に併せて設定する。原寸画像の縮小方法としては、原寸画像をＮ×Ｎ画素の格子状の領域に分割し、１／２に縮小した画像を生成する場合には、各画素の大きさは原寸画像と同じでＮ／２×Ｎ／２画素の画像を作成する。
【００３５】
そして、最後にこれら縮小画像を蓄積する。
【００３６】
なお、縮小率を２-Mとすれば高速な画像縮小が可能であるが、画像処理の能力やメモリー量が許せば縮小率を任意の値に設定することも可能である。
【００３７】
移動量検出部１６
移動量検出部１６では、図４に示した手順で処理を行なう。
【００３８】
(1) 基本方法
まず、画像をＮ×Ｎ画素の格子状の領域に分割し、各分割領域内のエッジの強さや密度などを求める。
【００３９】
次に、エッジの特徴をもとに各領域が時系列間で対応づけ可能かどうかを評価する。実際には、閾値処理によって、領域内に強いエッジ成分が少ない領域に関しては対応付けが不可能であると判断して対応探索候補から外す。
【００４０】
次に、対応探索候補となった領域が時系列画像間でどのように移動したかを求める。
【００４１】
ここでは、時系列画像間での物体の移動量が２画素以下の場合について考えているので、探索領域は図５のようになる。ここで、対象となる物体がさらに高速である場合は探索領域が広くなることもある。移動量が２画素以下の場合は、各格子領域は時系列画像間で±２画素の探索領域内で対応の評価値が最も良い領域に移動したと考える。ここで、評価値は領域内の各点の濃淡情報や色情報の差分の絶対値和や自乗和または相関値などを用いることが可能である。
【００４２】
例えば、領域の明るさの自乗和を評価値とする場合は以下の値が最小となる領域を対応領域とする。
【００４３】
【数１】
0004124861.tif 000002
ここで、最小となる評価値が閾値以下であれば、対応が取れているとして、対応付けられた領域間の移動量を算出する。
【００４４】
最後に、連続した数回の処理で得られた微小時間の移動量、すなわち、微小移動量を足し合わせることによって、ビデオレート（１／３０秒毎）などの１／１０００秒よりも長い時間間隔での移動量を算出する。
【００４５】
(2) 縮小画像の利用方法
大まかな流れは上記のようになるが、短い時間間隔で局所的な探索を繰り返して長い時間の移動量を得る場合は、ノイズの影響などを受ける可能性が大きくなる。
【００４６】
そこで、本実施形態では図６に示すように、画像蓄積部１４で蓄積した１／２縮小画像や１／４縮小画像などを利用してより安定に領域の移動量を算出する。なお、検出対象となる物体は等速度で移動していると仮定する。
【００４７】
▲１▼縮小画像の利用方法の着眼点
ここで、例えば、図６に示したように画像を１／２縮小画像、１／４縮小画像に対して縮小していない原寸画像と同様に移動量を求めた場合を考える。
【００４８】
１／２縮小画像の時刻ｔと時刻ｔ＋１の間の移動量は、対応付けが正確に行われたとすれば、原寸画像で得られる移動量の１／２になるはずである。
【００４９】
同様に、１／４縮小画像では、得られる移動量も原寸画像で得られる移動量の１／４になると考えられる。
【００５０】
▲２▼縮小画像と原寸画像との関係
ここで、上記とは視点を変えて、１／２縮小画像に対しては、時刻ｔから時刻ｔ＋２までに移動した量を算出することによって得られる移動量の大きさは、原寸画像で求めた移動量と同じになるはずである。
【００５１】
同様に、１／４縮小画像の場合は、時刻ｔと時刻ｔ＋４の間で移動量を求めれば、原寸画像で求めた移動量と同じ大きさになるはずである。
【００５２】
▲３▼縮小画像と原寸画像との実際の利用方法
上記のように縮小画像と原寸画像との関係は明らかになったが、実際にこれら関係をどのように利用するかが問題となる。このために、ここで、(1) 基本方法における「評価値」を使用する。すなわち、縮小画像の所定の時刻の評価値と、原寸画像の所定の時刻の評価値を求め、ここから両者を関係付ける。そして、最も本発明の特徴となるのが、どの時刻の評価値を採用するかである。すなわち、その特徴は、原寸画像で求めた移動量と同じ大きさの移動量になる縮小画像の時刻の評価値を採用することである。
【００５３】
具体的には、１／２縮小画像に対しては、原寸画像で求めた移動量と同じ大きさになる時刻ｔと時刻ｔ＋２の画像の間で求められた評価値Ｈ２を用いる。
【００５４】
同様に、１／４縮小画像に対しては、時刻ｔと時刻ｔ＋４の画像の間で求められた評価値Ｈ４を用いる。
【００５５】
そして、これらを原寸画像で求められた評価値Ｈ１に足し込むことによって、各領域の移動量を評価値の和が最小になる移動量として安定に求めることが可能となる。
【００５６】
すべての縮小率の画像に対して、同じ大きさの領域の対応をとった場合、図７に示すように１／４縮小画像の領域は等価的に１６倍の大きさの領域となり、１／２縮小画像の領域は等価的に４倍の大きさの領域となる。
【００５７】
そこで、領域Ａの移動量を求めるときには、１／４縮小画像の時刻ｔと時刻ｔ＋４の対応から得られる評価値Ｈ４と、１／２−ａ縮小画像の時刻ｔと時刻ｔ＋２の対応から得られる評価値Ｈ２と、原寸画像のＡ領域の評価値Ｈ１を足し併せることによって、最適な移動量を求めることが可能となる。
【００５８】
同様に、領域Ｂに対しては、１／４縮小画像の評価値Ｈ４と，１／２−ｂ縮小画像の評価値Ｈ２と，原寸画像の領域Ｂの評価値Ｈ１を足し併せればよい。
【００５９】
さらに、移動物体の等速性が仮定できる場合には１／８や１／１６に縮小した画像なども利用可能である。
【００６０】
ここで述べた手法は、移動物体が等速度で移動しているという仮定が必要であるが、１／１０００秒間隔などの高速で画像を撮影した場合には局所的な等速性の仮定が殆どの場合は成り立つと考えられる。
【００６１】
ここで、画像の縮小は、対応付けのための窓領域のサイズを大きくすることと等価であり、この処理は複数の大きさの窓を用いて、最適な大きさの窓で処理した結果から得られる移動量の情報を引き出すことが可能となり、より安定な移動量の算出を可能にする。
【００６２】
したがって、これらの画像で得られた移動量を足し込むことによって安定に移動量を算出することが可能となる。一般には、画像を縮小すると移動量も小さくなるが、ここでは時間方向の解像度も同時に変えることによって解像度に関係なく移動量を一定にすることを可能とした。画像の縮小は、分割領域のサイズを大きくすることと等価であり、この処理は複数の空間解像度の画像から得られる移動量を足し込むことに相当し、より安定な移動量の算出を可能にする。
【００６３】
なお、移動量検出装置１０をパソコンで実現する場合には、高速ビデオカメラである画像入力部１２をパソコンに接続し、画像蓄積部１４、移動量検出部１６の機能を実現するプログラムをパソコンのハードディスク．ＦＤ，ＣＤ−ＲＯＭ，ＤＶＤに記録させておけば良い。
【００６４】
【発明の効果】
以上説明したように本発明によれば、高速に得られる時系列画像から動き情報を求める場合に、短い時間間隔の画像間で近傍探索により微小移動量を求めるとともに、複数の時間間隔と解像度の画像群から得られる微小移動量を足し込むことによって長い時間間隔の画像間での領域の移動量を安定に求めることを可能とする。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る移動量検出装置１０の構成を示すブロック図である。
【図２】移動物体検出の説明図である。
【図３】画像蓄積部１４のフローチャートである。
【図４】移動量検出部１６のフローチャートである。
【図５】近傍探索領域の説明図である。
【図６】サブサンプリング間隔の説明図である。
【図７】１／４縮小画像の評価値と，１／２縮小画像の評価値と，原寸画像の評価値を足し併せた状態の図である。
【符号の説明】
１０    移動量検出装置
１２    画像入力部
１４    画像蓄積部
１６    移動量検出部
【図１】
0004124861.tif 000003
【図２】
0004124861.tif 000004
【図３】
0004124861.tif 000005
【図４】
0004124861.tif 000006
【図５】
0004124861.tif 000007
【図６】
0004124861.tif 000008
【図７】
0004124861.tif 000009