(57)【特許請求の範囲】
【請求項１】
撮像手段で撮像した動画像から所定画素でのオプティカルフローを算出し、算出された各画素からのオプティカルフローに基づいて判断出力を行なう動画像処理方法において、
抑制のピークが周辺視野にあり、視野の中心付近では速度ベクトルの方向選択性がなく、かつ、オプティカルフローが拡大する方向にあるベクトル和と、オプティカルフローが収縮する方向にあるベクトル和との差分を算出するニューラルネットモデルを用いて判断出力を行なうことを特徴とする動画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、視覚情報を用いて行動の制御を行なうための動画像処理方法に係り、詳しくは、オプティカルフローをトリガとして行動の制御を行なうための動画像処理方法に関する。
【０００２】
【従来の技術】
視覚情報は行動の制御において重要な役割を果たしている。なかでもオプティカルフロー（画像の各部分（画素）毎の移動ベクトルの分布）が行動のトリガとなっている例は、数多く報告されている。（例えば、Ｌｅｅ，Ｄ．Ｎ．，Ｒｅｄｄｉｓｈ，Ｐ．Ｅ．，（１９８１）  Ｐｌｕｍｍｅｔｉｎｇ  ｇａｎｎｅｔｓ：ａ  ｐａｒａｄｉｇｍ  ｏｆ  ｅｃｏｌｏｇｉｃａｌ  ｏｐｔｉｃｓ．  Ｎａｔｕｒｅ２９３：２９３−２９４、Ｈａｔｓｏｐｏｕｌｏｓ，Ｎ．，Ｇａｂｂｉａｎｉ，Ｆ．，Ｌａｕｒｅｎｔ，Ｇ．，（１９９５）  Ｅｌｅｍｅｎｔａｒｙ  ｃｏｍｐｕｔａｔｉｏｎ  ｏｆ  ｏｂｊｅｃｔ  ａｐｐｒｏａｃｈ  ｂｙ  ａ  ｗｉｄｅ−ｆｉｅｌｄ  ｖｉｓｕａｌ  ｎｅｕｒｏｎ．  Ｓｃｉｅｎｃｅ２７０：１０００−１００３）
【０００３】
例えば、ハエは着陸時に、オプティカルフローがトリガとなって着陸姿勢をとることが、次に示す文献で知られている。Ｂｏｒｓｔ，Ａ．  （１９８６）  Ｔｉｍｅ  ｃｏｕｒｓｅ  ｏｆ  Ｈｏｕｓｅｆｌｉｅｓ’Ｌａｎｄｉｎｇ  Ｒｅｓｐｏｎｓｅ．Ｂｉｏｌ．Ｃｙｂｅｒｎ．５４：３７９−３８３．
【０００４】
この行動の従来の処理モデルは、視野中心に対して、オプティカルフローが拡大する方向にあるベクトル和から収縮方向にあるベクトル和の差分をとるものである。Ｂｏｒｓｔ，Ａ．  （１９９０）  Ｈｏｗ  ｄｏ  ｆｌｉｅｓ  ｌａｎｄ？  ＢｉｏＳｃｉｅｎｃｅ４０：２９２−２９９．
【０００５】
なお、動画像からオプティカルフローを求める方法は、特開平２−３００８６６号公報、特開平３−９４８８号公報、ならびに、テレビジョン画像情報工学ハンドブック等に記載されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、本願発明者が、ハエの着陸行動を実験解析したところ、従来の処理モデルでは説明のできない結果が得られた。図４はハエの行動実験を示す説明図である。図４に示すように、ハエＦを固定し、白と黒との縦縞模様（ストライプパターン）の動パターンＰをハエＦを中心として回転させ、ハエＦの肢の動きを高速度ビデオカメラで記録することで、縦縞模様を回転してからハエＦが着陸行動を開始するまでの反応速度を計測した。縦縞が表わす空間波長は２０度であり、回転の角速度は５００度／秒である。なお、回転に際し、ハエから３０度，６０度，１２０度，１８０度の範囲のみ見えるようにし、各測定毎に見せる領域以外をマスクした。
【０００７】
図５は視野角に対するハエの着陸行動の反応時間を示すグラフである。図５において、横軸は視野角を、縦軸は反応時間を示している。また、複数回の測定結果に基づく反応時間の平均値を実線または点線で接続するとともに、各視野角における反応時間の測定結果の標準偏差の範囲をＩ字状に示している。
【０００８】
両眼が見える状態では、縦縞模様の回転によって生ずるオプティカルフローは、ハエが実際に着陸する際に得るオプティカルフローとは違うが、どの場合でも（縦縞模様が右回転でも左回転でも）着陸行動が確認された。特に、両眼が見える状態では、視野角を１２０度以上にすると反応時間が急激に遅くなった。
【０００９】
黒色ラッカー等で左眼を覆い、右眼だけ見える状態にして実験した場合、図４中に矢印ａで示す右回転で着陸行動が確認された。右眼だけ見える状態で縦縞模様を右回転させた際のオプティカルフローは、ハエが実際の情景に基づいて着陸行動をとるときのオプティカルフローに近いものとなる。右眼だけ見える状態で縦縞模様を右回転させた場合、視野角が広がっても反応時間が急激に遅くなることはなかった。右眼だけ見える状態で縦縞模様を左回転させた場合、視野角が１２０度以下の範囲では、左回転の刺激に対しても着陸行動が確認された。右眼だけ見える状態で縦縞模様を左回転させた場合の反応時間は、右眼だけ見える状態で縦縞模様を右回転させた場合の反応時間よりも遅かった。
【００１０】
この実験結果から、視野中心を境に、拡大方向（縦縞がハエに近づく方向）のオプティカルフローのベクトル和と、収縮方向（縦縞がハエから遠ざかる方向）のオプティカルフローのベクトル和との差分をとる従来のモデルでは、抑制成分が弱いことによって、回転刺激に応答することが説明される。また、刺激範囲が視野の中心に近づくにつれて反応時間が短縮されることから、抑制のピークが周辺視野に位置していると考えられる。
【００１１】
しかしながら、従来のモデルでは、片眼で１２０度以下の範囲を刺激した場合、左右どちらの回転方向にも応答したことの説明がつかない。この結果は、中心に近い視野では方向選択性が低いことを示唆している。
【００１２】
図６は実験結果から推定した速度ベクトルに対する受容野特性を示すグラフである。これは従来のモデルと異なり、視野の中心付近では、両方向の速度ベクトルが興奮性で入力され、また、抑制のピークは周辺に位置する。
【００１３】
この発明は上述の実験結果ならびにその解析結果からハエの視覚処理を推測して得た知見に基づいてなされたもので、視覚情報を用いて行動の制御を行なうための動画像処理装置および動画像処理方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
前記課題を解決するためこの発明に係る動画像処理方法は、撮像手段で撮像した動画像から所定画素でのオプティカルフローを算出し、算出された各画素からのオプティカルフローに基づいて判断出力を行なう動画像処理方法において、抑制のピークが周辺視野にあり、視野の中心付近では速度ベクトルの方向選択性がなく、かつ、オプティカルフローが拡大する方向にあるベクトル和とオプティカルフローが収縮する方向にあるベクトル和との差分を算出するニューラルネットモデルを用いて判断出力を行なうことを特徴とする。
【００１６】
この発明に係る動画像処理方法は、簡易な構成のニューラルネットによって動画像から障害物への接近等を判断することが可能となる。
【００１７】
【発明の実施の形態】
以下この発明の実施の形態を添付図面に基づいて説明する。図１はこの発明に係る動画像処理装置を用いて構成した車両用自動制動装置のブロック構成図である。車両用自動制動装置１は、この発明に係る動画像処理装置１０と、車両用自動運転制御手段２０とからなる。動画像処理装置１０は、ビデオカメラ等の撮像手段１１と、撮像手段１１で撮像した動画像の各画素の輝度データに基づいてオプティカルフローを演算するオプティカルフロー算出手段１２と、オプティカルフロー算出手段１２から供給されるオプティカルフローに基づいて停止指令信号等を出力するニューラルネット状況判断手段１３とからなる。
【００１８】
撮像手段１１は、車両の、例えば進行方向の情景を撮像して、動画像を出力する。オプティカルフロー算出手段１２は、グラジェント法（時空間勾配法）を用いてオプティカルフローを演算する。ニューラルネット状況判断手段１３は、オプティカルフローに基づいて障害物へ接触するまでの時間を推定し、告知信号等を出力する。車両用自動運転制御手段２０は、ニューラルネット状況判断手段１３の出力に基づいて、警報発生のための演算や、自動ブレーキのための演算を行なう。
【００１９】
図２はニューラルネット状況判断手段の構成図である。ニューラルネット状況判断手段１３は、入力層、中間層および出力層からなる３層構造のニューラルネットを用いて構成している。入力層からは各画素のオプティカルフロー出力が出力され、これが２つのニューロンからなる中間層にそれぞれパラメータにより興奮性接続または抑制性接続されている。このパラメータは後述の学習によって決定される。中間層は、１つのニューロンからなる出力層に接続され、この出力層から近接判断信号が出力される。具体的には、オプティカルフローに基づいて障害物へ接触するまでの時間を推定し、告知信号を出力する。
【００２０】
図２に示した３層構造のニューラルネットにより、種々の障害物への種々のモードによる接近、例えば直進，右折，左折による障害物への接近を表わす映像を用い、映像の開始時間をＸ（０）、障害物への接触時間をＸ（Ｔ）、出力がある閾値（停止出力）を示した時間をＸ（ｔ）とした場合、ｙ（ｔ）＝Ｘ（Ｔ）−Ｘ（ｔ）が正でかつ最小になるように山登り法によって前述のパラメータを学習させる。
【００２１】
パラメータの学習は、種々の速度、距離、方向における障害物への接近映像を１４場面用い、約１０万回の試行を行なった。このときの中間層の受容野特性（Ｗ00、Ｗ01）を図３に示す。なお、図３において縦軸のＷ（ｋ）は数１で表わされ、パラメータを示す。
【００２２】
【数１】
0003886618.tif 000002
【００２３】
学習の結果、このニューラルネットモデルでは、次の特性が生じた。（１）極性が逆の速度ベクトルの和をとる。（２）抑制のピークが周辺視野にある。（３）視野の中心付近では速度ベクトルの方向選択性がない。
【００２４】
よって、上述の（１）〜（３）の特性を有することによって、簡単な構成のニューラルネットによって動画像から障害物への接近を判断することが可能となる。
【００２５】
なお、本実施の形態では、撮像手段１１を車両の前方に設け、前方にある障害物への接近を判断して警報を発したり、ブレーキを自動的に作動させる応用例を示したが、例えば撮像手段を車両の後方に配置するとともに、後方車両への警告灯を配置し、後方車両が必要以上接近した場合には後方車両への警告灯を点灯させることで、後方車両に対して注意を促すようなシステムに応用することもできる。
【００２６】
【発明の効果】
以上説明したようにこの発明に係る動画像処理方法は、抑制のピークが周辺視野にあり、視野の中心付近では速度ベクトルの方向選択性がなく、かつ、オプティカルフローが拡大する方向にあるベクトル和とオプティカルフローが収縮する方向にあるベクトル和との差分を算出するニューラルネットモデルを用いることによって、簡単な構成のニューラルネットによって動画像から障害物への接近を判断することが可能となる。
【図面の簡単な説明】
【図１】この発明に係る動画像処理装置を用いて構成した車両用自動制動装置のブロック構成図
【図２】ニューラルネット状況判断手段の構成図
【図３】中間層の受容野特性を示すグラフ
【図４】ハエの行動実験を示す説明図
【図５】視野角に対するハエの着陸行動の反応時間を示すグラフ
【図６】実験結果から推定した速度ベクトルに対する受容野特性を示すグラフ
【符号の説明】
１…車両用自動制動装置、１０…動画像処理装置、１１…撮像手段、１２…オプティカルフロー算出手段、１３…ニューラルネット状況判断手段、２０…車両用自動運転制御手段。
【図１】
0003886618.tif 000003
【図２】
0003886618.tif 000004
【図３】
0003886618.tif 000005
【図４】
0003886618.tif 000006
【図５】
0003886618.tif 000007
【図６】
0003886618.tif 000008