(57)【特許請求の範囲】
【請求項１】
配列状に設けられた複数のフォトダイオードにより構成され、フレーム画像を所定の時間間隔ごとに取得するフォトダイオードアレイと、
前記複数のフォトダイオードに対応して配列状に設けられた複数の記憶素子により構成され、前記フォトダイオードアレイにより取得される前記フレーム画像を記憶するメモリアレイと、
前記フォトダイオードアレイにより取得される前記フレーム画像と、前記メモリアレイに記憶されている前記フレーム画像とを用いて、動物体の移動方向及び移動速度を示す動き信号を生成して出力する処理回路と、
を備え、
前記処理回路は、
第１フレームの第１位置にある１つの画素の輝度と第２フレームの前記第１位置にある１つの画素の輝度及び前記第１位置の上下左右に隣接する第２位置にある４つの画素の輝度の夫々との差分と、前記第１フレームと前記第２フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部と、
前記第２フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第２位置にある前記４つの画素の前記輝度の夫々とに基づいて、前記第１位置と前記第２位置との間の仮想的な４つの画素の輝度を示す中間輝度を生成する中間輝度生成部と、
を備え、
前記動物体検出部は、
前記第２フレームとして現在選択されているフレームと前記第１フレームから離れる方向に隣接するフレームを次の第２フレームとして選択して、前記第１フレームから１フレームずつ離れるフレームを前記第２フレームとして順次選択しながら、動物体の移動方向及び移動速度を検出するとともに、
前記第１フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第１位置にある前記１つの画素の前記輝度及び前記中間輝度の夫々との差分と、前記第１フレームと前記第２フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出すること、
を特徴とする動物体検出装置。
【請求項２】
配列状に設けられた複数のフォトダイオードにより構成され、フレーム画像を所定の時間間隔ごとに取得するフォトダイオードアレイと、
前記複数のフォトダイオードに対応して配列状に設けられた複数の記憶素子により構成され、前記フォトダイオードアレイにより取得される前記フレーム画像を記憶するメモリアレイと、
前記フォトダイオードアレイにより取得される前記フレーム画像と、前記メモリアレイに記憶されている前記フレーム画像とを用いて、動物体の移動方向及び移動速度を示す動き信号を生成して出力する処理回路と、
を備え、
前記処理回路は、
第１フレームの第１位置にある１つの画素の輝度と第２フレームの前記第１位置にある１つの画素の輝度及び前記第１位置の上下左右に隣接する第２位置にある４つの画素の輝度の夫々との差分と、前記第１フレームと前記第２フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部を備え、
前記動物体検出部は、
前記第２フレームとして現在選択されているフレームと前記第１フレームから離れる方向に隣接するフレームを次の第２フレームとして選択して、前記第１フレームから１フレームずつ離れるフレームを前記第２フレームとして順次選択しながら、動物体の移動方向及び移動速度を検出するとともに、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第１位置の近傍にある画素の輝度の夫々との差分に基づいて画素毎の移動方向を検出し、
前記処理回路は、
前記動物体検出部により検出される前記画素毎の移動方向に基づいて、動物体の奥行き方向の移動方向を検出する奥行き方向検出部を更に備え、
前記奥行き方向検出部は、
前記画素毎の移動方向に基づいて、前記動物体が二次元方向において拡大しているか縮小しているかを判断し、前記動物体が縮小している場合には、前記動物体が手前から奥に移動していると判定し、前記動物体が拡大している場合には、前記動物体が奥から手前に移動していると判定すること、
を特徴とする動物体検出装置。
【請求項３】
請求項１に記載の動物体検出装置であって、
前記動物体検出部は、
前記第１フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第１位置の近傍にある画素の輝度の夫々との差分に基づいて画素毎の移動方向を更に検出し、
前記処理回路は、
前記動物体検出部により検出される前記画素毎の移動方向に基づいて、動物体の奥行き方向の移動方向を検出する奥行き方向検出部を更に備え、
前記奥行き方向検出部は、
前記画素毎の移動方向に基づいて、前記動物体が二次元方向において拡大しているか縮小しているかを判断し、前記動物体が縮小している場合には、前記動物体が手前から奥に移動していると判定し、前記動物体が拡大している場合には、前記動物体が奥から手前に移動していると判定すること、
を特徴とする動物体検出装置。
【請求項４】
請求項２又は３に記載の動物体検出装置であって、
前記処理回路は、
前記第１フレームの前記第１位置にある前記１つの画素をぼかした場合の輝度である予測輝度をぼけフィルタによって生成する予測輝度生成部を更に備え、
前記奥行き方向検出部は、
前記第１フレームの前記第１位置にある前記１つの画素の前記輝度を前記予測輝度から減算した第１の差分と、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度を前記第２フレームの前記第１位置にある前記１つの画素の前記輝度から減算した第２の差分とを乗じた評価値を生成し、
前記評価値が負の値である場合には、前記動物体が合焦位置に近づく方向に移動していると判定し、前記評価値が正の値である場合には、前記動物体が合焦位置から離れる方向に移動していると判定すること、
を特徴とする動物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレームにおける各画素の輝度の変化に基づいて、動物体の移動方向および移動速度を検出する動物体検出装置および動物体検出方法に関する。
【背景技術】
【０００２】
物体の移動方向、移動速度等の動きを検出する方式として、ブロックマッチング法を利用したものが知られている。このような方式においては、所定のフレームレートで撮像された複数のフレーム間で、フレームを適切なサイズに分割したブロック単位での画像の動きを検出することにより、動物体を検出することが行われている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２５０２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このようにブロックマッチング法を用いて動物体を検出する場合、ブロックサイズの制御が重要となる。例えば、ブロックサイズを大きくしすぎると、ブロック内に複数の動きが混在し、ブロック単位での動きを検出することが難しくなる。また、例えば、ブロックサイズを小さくしすぎると、関係のないブロックとマッチングされる可能性が高まり、動きの検出精度が低下してしまう。そして、適切なブロックサイズは検出対象の動物体により異なるため、ブロックサイズを適応的に制御するための複雑な処理が必要となる。
【０００５】
また、動物体の検出精度を高めるためには、フレームレートを高めることが有効であるが、フレームレートを高めることにより、１フレームの間の物体の移動距離が小さくなり、検出可能な移動速度の下限が高くなってしまう。つまり、例えば、１フレームの間の移動距離が１画素未満の場合、物体の移動速度を求めることができないこととなる。このような場合、動物体に応じてフレームレートを低くすることも考えられるが、制御が複雑になるとともに、高速に移動する物体の検出精度が低下してしまうこととなる。
【０００６】
本発明は上記課題を鑑みてなされたものであり、ブロックサイズ制御等の複雑な処理を必要とせず、固定フレームレートで動物体を高精度に検出することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の動物体検出装置は、配列状に設けられた複数のフォトダイオードにより構成され、フレーム画像を所定の時間間隔ごとに取得するフォトダイオードアレイと、前記複数のフォトダイオードに対応して配列状に設けられた複数の記憶素子により構成され、前記フォトダイオードアレイにより取得される前記フレーム画像を記憶するメモリアレイと、前記フォトダイオードアレイにより取得される前記フレーム画像と、前記メモリアレイに記憶されている前記フレーム画像とを用いて、動物体の移動方向及び移動速度を示す動き信号を生成して出力する処理回路と、を備え、前記処理回路は、第１フレームの第１位置にある１つの画素の輝度と第２フレームの前記第１位置にある１つの画素の輝度及び前記第１位置の上下左右に隣接する第２位置にある４つの画素の輝度の夫々との差分と、前記第１フレームと前記第２フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部と、前記第２フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第２位置にある前記４つの画素の前記輝度の夫々とに基づいて、前記第１位置と前記第２位置との間の仮想的な４つの画素の輝度を示す中間輝度を生成する中間輝度生成部と、を備え、前記動物体検出部は、前記第２フレームとして現在選択されているフレームと前記第１フレームから離れる方向に隣接するフレームを次の第２フレームとして選択して、前記第１フレームから１フレームずつ離れるフレームを前記第２フレームとして順次選択しながら、動物体の移動方向及び移動速度を検出するとともに、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第１位置にある前記１つの画素の前記輝度及び前記中間輝度の夫々との差分と、前記第１フレームと前記第２フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出することとする。
【００１５】
また、前記動物体検出部は、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度と前記第２フレームの前記第１位置の近傍にある画素の輝度の夫々との差分に基づいて画素毎の移動方向を更に検出し、前記処理回路は、前記動物体検出部により検出される前記画素毎の移動方向に基づいて、動物体の奥行き方向の移動方向を検出する奥行き方向検出部を更に備え、前記奥行き方向検出部は、前記画素毎の移動方向に基づいて、前記動物体が二次元方向において拡大しているか縮小しているかを判断し、前記動物体が縮小している場合には、前記動物体が手前から奥に移動していると判定し、前記動物体が拡大している場合には、前記動物体が奥から手前に移動していると判定することとする。
【００１６】
さらに、前記処理回路は、前記第１フレームの前記第１位置にある前記１つの画素をぼかした場合の輝度である予測輝度をぼけフィルタによって生成する予測輝度生成部を更に備え、前記奥行き方向検出部は、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度を前記予測輝度から減算した第１の差分と、前記第１フレームの前記第１位置にある前記１つの画素の前記輝度を前記第２フレームの前記第１位置にある前記１つの画素の前記輝度から減算した第２の差分とを乗じた評価値を生成し、前記評価値が負の値である場合には、前記動物体が合焦位置に近づく方向に移動していると判定し、前記評価値が正の値である場合には、前記動物体が合焦位置から離れる方向に移動していると判定することとしてもよい。
【発明の効果】
【００１７】
ブロックサイズ制御等の複雑な処理を必要とせず、固定フレームレートで動物体を高精度に検出することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態であるイメージセンサを含んで構成される動物体検出システムの構成を示す図である。
【図２】イメージセンサのハードウェア構成の一例を示す図である。
【図３】イメージセンサの処理回路により実現される機能の構成を示す図である。
【図４】上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。
【図５】２枚のフレームを用いて上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。
【図６】左右の移動方向を検出する動作の概略を示す図である。
【図７】２枚のフレームを用いて上下左右の移動方向を検出する動作の概略を示す図である。
【図８】小数精度により物体の移動速度を検出する動作の概略を示す図である。
【図９】検出間隔制御により物体の移動速度を検出する動作の概略を示す図である。
【図１０】物体の奥行き方向における距離を検出する動作の概略を示す図である。
【図１１】物体の拡大・縮小に基づいて奥行きの移動方向を検出する動作の概略を示す図である。
【図１２】奥行きの移動方向と評価値δx,yとの関係を示す図である。
【図１３】イメージセンサにおける処理の流れを示すフローチャートである。
【図１４】小数精度判定の処理の流れを示すフローチャートである。
【図１５】検出間隔制御処理の流れを示すフローチャートである。
【図１６】奥行きの距離を検出する処理の流れを示すフローチャートである。
【図１７】奥行きの移動方向を検出する処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１９】
＝＝システム構成＝＝
図１は、本発明の一実施形態であるイメージセンサを含んで構成される動物体検出システムの構成を示す図である。動物体検出システム１は、イメージセンサ（動物体検出装置）１０、及び光学レンズ１５を含んで構成されている。イメージセンサ１０は、光学レンズ１５から受光する画像を所定のフレームレートで撮像し、複数のフレームの情報に基づいて物体の移動方向や移動速度等を検出する回路である。また、光学レンズ１５の焦点は固定されている。
【００２０】
＝＝ハードウェア構成＝＝
図２は、イメージセンサ１０のハードウェア構成の一例を示す図である。イメージセンサ１０は、制御回路２１、フォトダイオードアレイ（以後「ＰＤアレイ」と称する）２２、メモリアレイ２３、処理回路２４、水平シフトレジスタ２５、及び垂直シフトレジスタ２６，２７を備えている。
【００２１】
制御回路２１は、イメージセンサ１０の全体を制御する回路であり、各種の処理を制御するための制御信号を出力する。ＰＤアレイ２２は、配列状に設けられた複数のフォトダイオードにより構成されており、光学レンズ１５から受光する画像を画素ごとのアナログ画像信号に変換して出力する。なお、ＰＤアレイ２２で撮像される１枚の画像のことをフレームといい、フレームの生成間隔のことをフレームレートという。本実施形態においては、例えば１０００フレーム／秒程度の非常に高いフレームレートであることとする。
【００２２】
そして、制御回路２１の制御により、水平シフトレジスタ２５にはＰＤアレイ２２の列を指定するデータが設定され、垂直シフトレジスタ２６にはＰＤアレイ２２の行を指定するデータが設定される。つまり、ＰＤアレイ２２で撮像されたフレームのアナログ画像信号のうち、水平シフトレジスタ２５及び垂直シフトレジスタ２６で指定される画素のアナログ画像信号が読み出され、処理回路２４に送信される。
【００２３】
また、メモリアレイ２３は、配列状に設けられた複数の記憶素子により構成されており、ＰＤアレイ２２で取得された過去数フレームの画像信号を記憶する。そして、処理回路２４は、ＰＤアレイ２２から出力される最新フレームと、メモリアレイ２３に記憶されている過去数フレームとを用いて、物体の移動方向や移動速度等を示す動き信号を生成して出力する。なお、処理回路２４は、ＰＤアレイ２２及びメモリアレイ２３からフレームを行単位で読み出し、複数列の画素に対する処理を並列に行うことにより高速な処理を可能としている。
【００２４】
なお、ＰＤアレイ２２が本発明のフレーム取得部に該当し、メモリアレイ２３が本発明のフレーム記憶部に該当する。
【００２５】
＝＝機能構成＝＝
図３は、イメージセンサ１０の処理回路２４により実現される機能の構成を示す図である。処理回路２４は、動物体検出部３１、中間輝度生成部３２、奥行き方向検出部３３、及び予測輝度生成部３４を備えている。
【００２６】
動物体検出部３１は、光学レンズ１５から見た上下左右方向における物体の移動方向及び移動速度を検出する。また、中間輝度生成部３２は、隣接する２つの画素の輝度に基づいて、これら２つの画素の間の輝度である中間輝度を生成する。つまり、中間輝度生成部３２により生成される中間輝度は、隣接する２つの画素の間に位置する仮想的な画素の輝度を示すものである。なお、動物体検出部３１は、中間輝度生成部３２により生成される中間輝度を用いることにより、１フレームの間の移動距離が１画素未満の物体の移動速度を検出することができる。
【００２７】
奥行き方向検出部３３は、光学レンズ１５から見た奥行き方向における物体の移動方向を検出する。また、予測輝度生成部３４は、物体の動作により生じる各画素の輝度の変化を予測する。
【００２８】
＝＝上下左右の動き検出＝＝
まず、イメージセンサ１０における、物体の上下左右方向（二次元方向）における動きの検出について説明する。
【００２９】
（１）動きの有無の検出
はじめに、上下左右方向における動きがあるかどうかを検出する動作について説明する。図４は、上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。図において、ｘ軸およびｙ軸はフレーム内の画素位置を示す座標であり、ｘ軸の正方向が右方向、ｘ軸の負方向が左方向、ｙ軸の正方向が上方向、ｙ軸の負方向が下方向を示している。また、ｆ軸はフレームの時系列を示しており、正方向が新しいフレーム、負方向が古いフレームを示している。なお、フレームｆにおける位置（ｘ，ｙ）にある画素を画素（ｘ，ｙ）と表し、画素（ｘ，ｙ）の輝度をｌf;x,yと表すこととする。
【００３０】
次式（１）は、画素（ｘ，ｙ）に動きがあるかどうかを判定するための評価値ｄ（ｘ，ｙ）を求めるための式である。
【数１】
0005424496.tif 000002
【００３１】
イメージセンサ１０の動物体検出部３１は、式（１）に示すように、フレームｆの画素（ｘ，ｙ）の輝度ｌf;x,yと、前後Ｎフレームの輝度ｌf-k;x,yとの差分に基づいて評価値ｄを求める。そして、動物体検出部３１は、評価値ｄが所定の閾値以上であれば、画素（ｘ，ｙ）に動きがあると判定する。
【００３２】
また、イメージセンサ１０で必要となるメモリサイズの削減や、回路規模の削減等のために、評価値ｄを求めるために必要なフレームを２枚とすることもできる。図５は、２枚のフレームを用いて上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。そして、次式（２）が、その際の評価値ｄを求めるための式である。
【数２】
0005424496.tif 000003
【００３３】
式（２）に示すように、動物体検出部３１は、フレームｆの画素（ｘ，ｙ）の輝度ｌf;x,yと、その一つ前のフレームｆ−１の画素（ｘ，ｙ）の輝度ｌf-1;x,yとの差分により、評価値ｄを求めることとしてもよい。
【００３４】
（２）移動方向の検出
次に、物体の上下左右方向における移動方向を検出する動作について説明する。図６は、左右の移動方向を検出する動作の概略を示す図である。図６（ａ）に示すように、１フレームごとに画素を１つずつ右にずらして輝度の差分を求めることにより、右方向への移動を検出することができる。また、図６（ｂ）に示すように、１フレームごとに画素を１つずつ左にずらして輝度の差分を求めることにより、左方向への移動を検出することができる。また、同様に、１フレームごとに画素を１つずつ上にずらして輝度の差分を求めることにより、上方向への移動を検出することができ、１フレームごとに画素を１つずつ下にずらして輝度の差分を求めることにより、下方向への移動を検出することができる。
【００３５】
次式（３）〜（６）は、このような上下左右方向への移動を検出するための評価値ｍup，ｍdown，ｍright，ｍleftを求めるための式である。
【数３】
0005424496.tif 000004
【００３６】
式（３）に示すように、イメージセンサ１０の動物体検出部３１は、フレームｆの画素（ｘ，ｙ）の輝度ｌf;x,yと、前後Ｎフレームの輝度ｌf-k;x,y-kとの輝度との差分により、上方向への移動を検出するための評価値ｍupを生成する。同様に、動物体検出部３１は、式（４）〜（６）に示すように、下方向への移動を検出するための評価値ｍdown、右方向への移動を検出するための評価値ｍright、左方向への移動を検出するための評価値ｍleftを生成する。
【００３７】
ここで、物体がある方向に移動したとすると、その方向の評価値は他の方向の評価値よりも小さくなる。したがって、動物体検出部３１は、これらの評価値ｍup，ｍdown，ｍright，ｍleftと、前述した評価値ｄとに基づいて、評価値が最小である方向に物体が移動していると判定することができる。
【００３８】
なお、動物体検出部３１は、上下方向の移動と左右方向の移動とを別々に判定することとしてもよい。例えば、次式（７）に示すように、動物体検出部３１は、評価値ｍup，ｍdownと、評価値ｄとで行列Ｍverticalを作成し、上下方向についてはＭverticalの要素が最小の方向に移動していると判定することができる。また、次式（８）に示すように、動物体検出部３１は、評価値ｍleft，ｍrightと、評価値ｄとで行列Ｍhorizontalを作成し、左右方向についてはＭhorizontalの要素が最小の方向に移動していると判定することができる。
【数４】
0005424496.tif 000005
【００３９】
また、イメージセンサ１０で必要となるメモリサイズの削減や、回路規模の削減等のために、評価値ｍup，ｍdown，ｍright，ｍleftを求めるために必要なフレームを２枚とすることもできる。図７は、２枚のフレームを用いて上下左右の移動方向を検出する動作の概略を示す図である。そして、次式（９）〜（１２）が、その際の評価値ｍup，ｍdown，ｍright，ｍleftを求めるための式である。
【数５】
0005424496.tif 000006
【００４０】
動物体検出部３１は、図７（ａ）及び式（９）に示すように、フレームｆ−１の画素（ｘ，ｙ）の輝度ｌf-1;x,yと、フレームｆの画素（ｘ，ｙ）の上側に隣接する画素（ｘ，ｙ＋１）の輝度ｌf;x,y＋１との差分により、評価値ｍupを求めることができる。同様に、動物体検出部３１は、図７（ｂ）〜（ｄ）及び式（１０）〜（１２）に示すように、評価値ｍdown，ｍright，ｍleftを求めることができる。
【００４１】
＝＝移動速度検出＝＝
次に、イメージセンサ１０における、物体の上下左右方向における移動速度の検出について説明する。物体の移動速度は、物体の移動距離を移動に要した時間で割ることにより求めることができる。本実施形態のイメージセンサ１０のフレームレートは、毎秒１０００フレーム程度の非常に高いものとなっている。そのため、物体が１フレームの間に移動する距離が１画素未満である場合も考えられる。このような場合に、単純に連続する２つのフレーム間における画素単位の移動距離をもとに移動速度を検出することとすると、移動速度の検出精度が低下してしまうこととなる。そこで、イメージセンサ１０においては、「小数精度判定」および「検出間隔制御」という２つの方法を用いることにより物体の移動速度の検出を行っている。
【００４２】
（１）小数精度判定
まず、小数精度判定による物体の移動速度の検出について説明する。図８は、小数精度により物体の移動速度を検出する動作の概略を示す図である。前述したように、１フレームの間では、物体が１画素移動していない場合がある。そこで、図８（ａ）に示すように、フレームｆの画素（ｘ，ｙ）の輝度と、フレームｆの画素（ｘ，ｙ＋１）の輝度とに基づいて、画素（ｘ，ｙ）と画素（ｘ，ｙ＋１）との間の仮想的な画素の輝度、すなわち小数精度の画素の輝度を求める。そして、小数精度の画素の輝度と、１つ前のフレームｆ−１の画素（ｘ，ｙ）の輝度と差分を求めることにより、上方向に１／２画素移動していることを検出することができる。同様に、図８（ｂ）〜（ｄ）に示すように、下方向に１／２画素、右方向に１／２画素、左方向に１／２画素移動していることを検出することができる。
【００４３】
次式（１３）〜（１６）が、上下左右方向に１／２画素移動していることを検出するための評価値ｍup1/2，ｍdown1/2，ｍright1/2，ｍleft1/2を求めるための式である。
【数６】
0005424496.tif 000007
【００４４】
式（１３）に示すように、イメージセンサ１０の中間輝度生成部３２は、フレームｆの位置（ｘ，ｙ）にある画素の輝度ｌf;x,yと、位置（ｘ，ｙ）の上側に隣接する位置（ｘ，ｙ＋１）にある画素の輝度ｌf;x,y＋１とに基づいて、画素（ｘ，ｙ）と画素（ｘ，ｙ＋１）との間の小数精度の画素の輝度（ｌf;x,y＋１＋ｌf;x,y）／２を求める。そして、動物体検出部３１は、小数精度の画素の輝度と、フレームｆの１つ前のフレームｆ−１の位置（ｘ，ｙ）にある画素の輝度ｌf-1;x,yとの差分により、評価値ｍup1/2を生成する。同様に、式（１４）〜（１６）に示すように、中間輝度生成部３２は、画素（ｘ，ｙ）の下側１／２画素の輝度、右側１／２画素の輝度、左側１／２画素の輝度を生成し、動物体検出部３１は、評価値ｍdown1/2，ｍright1/2，ｍleft1/2を生成する。
【００４５】
そして、動物体検出部３１は、フレームｆ−１とフレームｆとの間に、評価値ｍup1/2，ｍdown1/2，ｍright1/2，ｍleft1/2が最小の方向に、物体が１／２画素移動していると判断し、物体の移動速度を算出する。このように、小数精度の画素の輝度を用いることにより、１フレーム間の移動距離が１画素未満の物体の移動速度の検出精度を向上させることができる。
【００４６】
なお、本実施形態においては、式（１３）〜（１６）に示すように、隣接画素の輝度を平均することにより、１／２画素の位置における中間輝度を求めることとしたが、中間輝度は１／２画素の位置に限らず、隣接画素の間の位置であればよい。つまり、隣接画素の輝度に対する重み付けを変更することにより、隣接画素の間の様々な位置における中間輝度を生成することができる。例えば、隣接する画素の一方の画素の輝度に１／３を乗じた値と、他方の画素の輝度に２／３を乗じた値とを加算することにより、１／３画素の位置における中間輝度を求めることが可能である。
【００４７】
また、本実施形態においては、フレームｆにおいて画素（ｘ，ｙ）の上下左右の中間輝度を生成し、その中間輝度とフレームｆ−１の画素（ｘ，ｙ）の輝度との差分により、評価値を得ることとしているが、フレームの順序関係は逆であってもよい。つまり、フレームｆ−１において画素（ｘ，ｙ）の上下左右の中間輝度を生成し、その中間輝度とフレームｆの画素（ｘ，ｙ）の輝度との差分により、評価値を得ることとしてもよい。
【００４８】
（２）検出間隔制御
次に、検出間隔制御による物体の移動速度の検出について説明する。図９は、検出間隔制御により物体の移動速度を検出する動作の概略を示す図である。前述したように、動物体検出部３１は、フレームｆ（請求項１：第１フレーム）の位置（ｘ，ｙ）（請求項１：第１位置）にある画素の輝度ｌf;x,yと、次のフレームｆ＋１の位置（ｘ，ｙ）の上下左右に隣接する位置にある画素の輝度との差分に基づいてｍup，ｍdown，ｍright，ｍleftを求めることにより、１フレームの間に１画素分移動する物体の移動方向を検出することができる。つまり、動物体検出部３１は、この物体がフレームｆとフレームｆ＋１との間に１画素移動したものとして、移動速度を検出することができる。
【００４９】
さらに、動物体検出部３１は、フレームｆの位置（ｘ，ｙ）にある画素の輝度ｌf;x,yと、フレームｆ＋１の次のフレームであり、フレームｆと隣接しないフレームｆ＋２（請求項１：第２フレーム）の位置（ｘ，ｙ）の上下左右に隣接する位置（請求項１：第２位置）にある画素の輝度との差分に基づいてｍup，ｍdown，ｍright，ｍleftを求めることにより、２フレームの間に１画素分移動する物体の移動方向を検出することができる。そして、動物体検出部３１は、この物体がフレームｆとフレームｆ＋２との間に１画素移動したものとして、移動速度を検出することができる。
【００５０】
同様に、動物体検出部３１は、３フレーム以上のフレームで１画素移動する物体の移動速度を検出することができる。このように、フレームレートは変更せずに、移動速度を検出する際に用いるフレームの間隔を変更することにより、１フレーム間の移動距離が１画素未満の物体の移動速度を検出することが可能となる。
【００５１】
なお、本実施形態においては、フレームｆの画素（ｘ，ｙ）の輝度と、フレームｆ＋１の画素（ｘ，ｙ）の隣接画素の輝度との差分により、評価値を得ることとしているが、フレームの順序関係は逆であってもよい。つまり、フレームｆ＋１の画素（ｘ，ｙ）の輝度と、フレームｆの画素（ｘ，ｙ）の隣接画素の輝度との差分により、評価値を得ることとしてもよい。フレームｆ＋２、フレームｆ＋３についても同様である。
【００５２】
また、図８及び式（１３）〜（１６）に示した小数精度判定を行う場合においても、検出間隔制御を行うことが可能である。例えば、フレームｆ＋２において、画素（ｘ，ｙ）の上下左右の中間輝度を生成し、その中間輝度とフレームｆの画素（ｘ，ｙ）の輝度との差分により、評価値を得ることもできる。
【００５３】
＝＝奥行きの動き検出＝＝
次に、イメージセンサ１０における、物体の奥行きの動き検出について説明する。
【００５４】
（１）奥行きの距離検出
動物体検出システム１における光学レンズ１５は固定焦点であるため、合焦位置までの距離は定まっている。そこで、本実施形態では、焦点外れの程度を判定することにより、物体までの距離を検出することとしている。
【００５５】
まず、イメージセンサ１０の予測輝度生成部３４は、ある画素（ｘ，ｙ）について、現在のフレームｆから将来のフレームｆ＋ｋの間に焦点外れの程度が増大すると仮定し、将来のフレームｆ＋ｋの画素（ｘ，ｙ）の予測輝度ｌp;x,yを生成する。なお、予測輝度ｌp;x,yは、ローパスフィルタ等のぼけフィルタを用いることにより生成することができる。例えば、次式（１７）に示すように、対象画素（ｘ，ｙ）の上下左右の画素との平均を取るフィルタ係数ｄを用いて求めることができる。
【数７】
0005424496.tif 000008
【００５６】
そして、奥行き方向検出部３３は、将来のフレームｆ＋ｋに至った際に、次式（１８）により、評価値δx,yを生成する。
【数８】
0005424496.tif 000009
【００５７】
予測が正しく焦点外れの程度が増大すれば、輝度ｌf;x,yに対する輝度ｌp;x,y及び輝度ｌf+k;x,yの増減方向は同一となるためδx,yは正の値となり、予測が外れて合焦の程度が増大すれば、輝度ｌf;x,yに対する輝度ｌp;x,y及び輝度ｌf+k;x,yの増減方向が逆になるためδx,yは負の値となる。なお、奥行き方向検出部３３は、動物体検出部３１により検出された画素（ｘ，ｙ）における物体の移動速度に応じてｋの値を定めることができる。例えば、物体の移動速度が、３フレームの間に１画素移動する速さであればｋの値を３とすることができる。このようにｋの値を定めることにより検出精度を高めることができる。
【００５８】
そして、図１０は、物体の奥行き方向における距離を検出する動作の概略を示す図である。図１０（ａ）に示すように、光学レンズ１５から見て物体が遠ざかる場合、合焦位置よりも手前にある間は、徐々に合焦の程度が増大していくため評価値δx,yは負の値となっている。そして、物体が合焦位置を過ぎると、徐々に焦点外れの度合いが増大していくため評価値δx,yは正の値となる。したがって、奥行き方向検出部３３は、評価値δx,yが負から正に変わる際（ゼロ交差する際）に、物体が合焦位置にあると判断し、その物体までの距離を求めることができる。
【００５９】
また、図１０（ｂ）に示すように、光学レンズ１５から見て物体が近づく場合においても、奥行き方向検出部３３は、評価値δx,yが負から正に変わる際（ゼロ交差する際）に、物体が合焦位置にあると判断し、その物体までの距離を求めることができる。
【００６０】
（２）奥行き方向検出
また、奥行き方向検出部３３は、奥行きの移動方向、つまり、物体が光学レンズ１５から見て手前から奥に移動しているか、奥から手前に移動しているかを検出することができる。図１１は、物体の拡大・縮小に基づいて奥行きの移動方向を検出する動作の概略を示す図である。奥行き方向検出部３３は、動物体検出部３１により検出された画素ごとの移動方向に基づいて、物体が二次元方向において拡大しているか縮小しているかを判断する。図１１（ａ）に示すように、物体が拡大している場合、奥行き方向検出部３３は、物体が光学レンズ１５に近づいていると判定する。また、図１１（ｂ）に示すように、物体が縮小している場合、奥行き方向検出部３３は、物体が光学レンズ１５から遠ざかっていると判定する。
【００６１】
さらに、前述した評価値δx,yを用いることにより、合焦位置との関係についても検出することができる。図１２は、奥行きの移動方向と評価値δx,yとの関係を示す図である。つまり、図１２（ａ）に示すように、物体が合焦位置へ近づく場合、評価値δx,yは負の値となっている。したがって、物体が拡大しており、かつ、δx,yが負の値である場合は、奥行き方向検出部３３は、合焦位置よりも奥にある物体が近づいていると判定することができる。また、物体が縮小しており、かつ、δx,yが負の値である場合は、奥行き方向検出部３３は、合焦位置よりも手前にある物体が遠ざかっていると判定することができる。
【００６２】
また、図１２（ｂ）に示すように、物体が合焦位置から遠ざかる場合、評価値δx,yは正の値となっている。したがって、物体が拡大しており、かつ、δx,yが正の値である場合は、奥行き方向検出部３３は、合焦位置よりも手前にある物体が近づいていると判定することができる。また、物体が縮小しており、かつ、δx,yが正の値である場合は、奥行き方向検出部３３は、合焦位置よりも奥にある物体が遠ざかっていると判定することができる。
【００６３】
＝＝処理説明＝＝
次に、イメージセンサ１０における処理の流れについて説明する。図１３は、イメージセンサ１０における処理の流れを示すフローチャートである。まず、イメージセンサ１０におけるフレームレートが決定され（Ｓ１３０１）、決定されたフレームレートでの撮像が開始される。そして、動物体検出部３１は、複数フレームの同じ位置（ｘ，ｙ）の画素を選択し（Ｓ１３０２）、フレーム間で輝度の絶対差分を求め、評価値ｄ（ｘ，ｙ）を生成する（Ｓ１３０３）。
【００６４】
そして、イメージセンサ１０では、物体の移動方向および移動速度を検出するための評価値を求めるために、次の４つの処理うちの何れかの処理が選択される。１つ目の処理では、動物体検出部３１は、前述したように対象とする画素（ｘ，ｙ）の上下左右の画素を選択し（Ｓ１３０４）、式（３）〜（６）または（９）〜（１２）に示したように、フレーム間で輝度の絶対差分を求め、評価値ｍup，ｍdown，ｍright，ｍleftを生成する（Ｓ１３０５）。
【００６５】
２つ目の処理では、前述した小数精度判定の処理が行われる（Ｓ１３０６）。図１４は、小数精度判定の処理の流れを示すフローチャートである。まず、中間輝度生成部３２が、対象とする画素（ｘ，ｙ）の上下左右１／２画素の輝度を生成する（Ｓ１４０１）。そして、動物体検出部３１は、式（１３）〜（１６）に示したように、フレーム間で輝度の絶対差分を求め、評価値ｍup1/2，ｍdown1/2，ｍright1/2，ｍleft1/2を生成する（Ｓ１４０２）。
【００６６】
３つ目の処理では、前述した検出間隔制御の処理が行われる（Ｓ１３０７）。図１５は、検出間隔制御処理の流れを示すフローチャートである。まず、動物体検出部３１は、選択フレームとしてフレームｆとフレームｆ＋１とを選択し、フレームｆ＋１の位置（ｘ，ｙ）の上下左右に隣接する位置にある画素を選択する（Ｓ１５０１）。そして、動物体検出部３１は、フレームｆの位置（ｘ，ｙ）にある画素の輝度と、フレームｆ＋１の位置（ｘ，ｙ）の上下左右に隣接する位置にある画素の絶対差分を求め、評価値ｍup，ｍdown，ｍright，ｍleftを生成する（Ｓ１５０２）。
【００６７】
そして、動物体検出部３１は、フレームｆ＋１の次のフレームであるフレームｆ＋２を選択フレームとして選択する（Ｓ１５０３）。そして、動物体検出部３１は、新たに選択されたフレームｆ＋２と、フレームｆとを用いて、評価値ｍup，ｍdown，ｍright，ｍleftを生成する（Ｓ１５０１〜Ｓ１５０３）。なお、フレームｆに対していくつ先のフレームまで対象とするかは予め定められており、動物体検出部３１は、対象フレームの処理が終了するまで、繰り返し処理を実行する（Ｓ１５０１〜Ｓ１５０４）。
【００６８】
４つ目の処理では、小数精度処理（Ｓ１３０６）と検出間隔制御処理（Ｓ１３０７）とを組み合わせた処理が実行される（Ｓ１３０８）。
【００６９】
このように、評価値ｄと、評価値ｍup，ｍdown，ｍright，ｍleft又は評価値ｍup1/2，ｍdown1/2，ｍright1/2，ｍleft1/2とが生成されると、動物体検出部３１は、物体が上下左右の何れの方向に移動しているかを検出し（Ｓ１３０９）、物体の移動速度を検出する（Ｓ１３１０）。
【００７０】
そして、イメージセンサ１０では、物体の奥行き方向における距離または移動方向を検出するために、次の３つの処理のうちの何れかの処理が選択される。１つ目の処理では、前述した奥行きの距離を検出する処理が行われる（Ｓ１３１１）。図１６は、奥行きの距離を検出する処理の流れを示すフローチャートである。まず、予測輝度生成部３４が、ぼけフィルタにより予測輝度ｌp;x,yを生成する（Ｓ１６０１）。そして、奥行き方向検出部３３は、予測輝度ｌp;x,yと、実際の輝度ｌf+k;x,yとに基づいて評価値δx,yを生成する（Ｓ１６０２）。そして、評価値δx,yの正・負の判定により合焦位置にあるかどうかを判定することにより、奥行き方向の距離を検出する（Ｓ１６０３）。
【００７１】
２つ目の処理では、前述した奥行きの移動方向を検出する処理が行われる（Ｓ１３１２）。図１７は、奥行きの移動方向を検出する処理の流れを示すフローチャートである。まず、奥行き方向検出部３３は、動物体検出部３１により検出された上下左右方向における画素毎の移動方向に基づいて、物体の拡大率を算出する（Ｓ１７０１）。そして、奥行き方向検出部３３は、物体が拡大している場合には、物体が光学レンズ１５に近づいていることを検出し、物体が縮小している場合には、物体が光学レンズ１５から遠ざかっていることを検出する（Ｓ１７０２）。
【００７２】
３つ目の処理では、奥行き距離検出処理（Ｓ１３１３）と奥行き方向検出処理（Ｓ１３１４）とを組み合わせた処理が実行される。この場合、奥行き方向検出部３３は、物体の拡大率と評価値δx,yとを用いて、物体の奥行きの移動方向とともに、物体が合焦位置の手前にあるか奥にあるかを検出することができる。
【００７３】
以上、本実施形態のイメージセンサ１０について説明した。前述したように、イメージセンサ１０では、小数精度の画素の輝度である中間輝度を生成することにより、１フレーム間の移動距離が１画素未満の物体の移動方向及び移動速度を検出することができる。
【００７４】
また、イメージセンサ１０では、中間輝度を用いて移動方向及び移動速度を検出する際に、同一画素（ｘ，ｙ）の輝度値の差ｄ（ｘ，ｙ）を評価値として用いることにより、物体が移動していないことを検出することができる。
【００７５】
また、イメージセンサ１０では、移動方向及び移動速度の検出間隔を制御することにより、１フレーム間の移動距離が１画素未満の物体の移動方向及び移動速度を検出することができる。
【００７６】
また、イメージセンサ１０では、移動方向及び移動速度の検出間隔を制御する場合においても、同一画素（ｘ，ｙ）の輝度値の差ｄ（ｘ，ｙ）を評価値として用いることにより、物体が移動していないことを検出することができる。
【００７７】
また、イメージセンサ１０では、中間輝度を用いて移動方向及び移動速度を検出する場合においても、検出間隔を制御することにより、移動方向及び移動速度の検出可能範囲を広くすることができる。
【００７８】
また、イメージセンサ１０では、画素毎の移動方向に基づいて物体の拡大・縮小を判定することにより、物体の奥行き方向の移動方向を検出することができる。
【００７９】
さらに、イメージセンサ１０では、予測輝度ｌp;x,yと実際の輝度ｌf+k;x,yとに基づいた評価値δｘ，ｙを求めることにより、物体が合焦位置に近づいているか、合焦位置から遠ざかっているかを検出することができる。
【００８０】
このように、イメージセンサ１０では、各画素の輝度に基づいて物体の移動方向及び移動速度の検出処理が行われるため、ブロックサイズ制御等の複雑な処理が不要である。また、イメージセンサ１０では、フレームレートを変更することなく動物体を高精度に検出することができる。
【００８１】
なお、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【００８２】
例えば、本実施形態においては、イメージセンサ１０において検出処理を行う各部３１〜３５は回路により実現されることとしたが、メモリに格納されたプログラムをプロセッサが実行することにより実現されることとしてもよい。
【符号の説明】
【００８３】
１  動物体検出システム                  １０  イメージセンサ（動物体検出装置）
１５  光学レンズ                        ２１  制御回路
２２  フォトダイオードアレイ            ２３  メモリアレイ
２４  処理回路                          ２５  水平シフトレジスタ
２６，２７  垂直シフトレジスタ          ３１  動物体検出部
３２  中間輝度生成部                    ３３  奥行き方向検出部
３４  予測輝度生成部
【図１】
0005424496.tif 000010
【図２】
0005424496.tif 000011
【図３】
0005424496.tif 000012
【図４】
0005424496.tif 000013
【図５】
0005424496.tif 000014
【図６】
0005424496.tif 000015
【図７】
0005424496.tif 000016
【図８】
0005424496.tif 000017
【図９】
0005424496.tif 000018
【図１０】
0005424496.tif 000019
【図１１】
0005424496.tif 000020
【図１２】
0005424496.tif 000021
【図１３】
0005424496.tif 000022
【図１４】
0005424496.tif 000023
【図１５】
0005424496.tif 000024
【図１６】
0005424496.tif 000025
【図１７】
0005424496.tif 000026