"フレーム画像を所定の時間間隔ごとに取得するフレーム取得部と、前記フレーム取得部により取得される第1フレームの第1位置にある画素の輝度と、前記第1フレームの前記第1位置に隣接する第2位置にある画素の輝度とに基づいて、前記第1位置と前記第2位置との間の輝度を示す中間輝度を生成する中間輝度生成部と、前記フレーム取得部により取得される第2フレームの前記第1位置にある画素の輝度と前記中間輝度との差分と、前記第1フレームと前記第2フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部と、を備えることを特徴とする動物体検出装置。請求項1に記載の動物体検出装置であって、前記中間輝度生成部は、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第1フレームの前記第1位置の上側に隣接する画素の輝度とに基づいた前記中間輝度である上側輝度と、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第1フレームの前記第1位置の下側に隣接する画素の輝度とに基づいた前記中間輝度である下側輝度と、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第1フレームの前記第1位置の右側に隣接する画素の輝度とに基づいた前記中間輝度である右側輝度と、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第1フレームの前記第1位置の左側に隣接する画素の輝度とに基づいた前記中間輝度である左側輝度と、を生成し、前記動物体検出部は、前記上側輝度、前記下側輝度、前記右側輝度、及び前記左側輝度の夫々と前記第2フレームの前記第1位置にある前記画素の前記輝度との差分と、前記第1フレームと前記第2フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出すること、を特徴とする動物体検出装置。請求項1又は2に記載の動物体検出装置であって、前記動物体検出部は、前記第2フレームの前記第1位置にある前記画素の前記輝度と、前記第1フレームの前記中間輝度及び前記第1位置にある前記画素の前記輝度との差分と、前記第1フレームと前記第2フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出すること、を特徴とする動物体検出装置。請求項1~3の何れか一項に記載の動物体検出装置であって、前記第1フレームと前記第2フレームとの間のフレーム数が可変であることを特徴とする動物体検出装置。フレーム画像を所定の時間間隔ごとに取得するフレーム取得部と、前記フレーム取得部により取得される第1フレームの第1位置にある画素の輝度と、前記フレーム取得部により取得される前記第1フレームと隣接しない第2フレームの前記第1位置に隣接する第2位置にある画素の輝度との差分と、前記第1フレームと前記第2フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部と、を備えることを特徴とする動物体検出装置。請求項5に記載の動物体検出装置であって、前記動物体検出部は、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第2フレームの前記第1位置の上下左右に隣接する各画素の輝度との差分と、前記第1フレームと前記第2フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出すること、を特徴とする動物体検出装置。請求項5又は6に記載の動物体検出装置であって、前記動物体検出部は、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第2フレームの前記第1位置にある前記画素の前記輝度及び前記第2位置にある前記画素の前記輝度との差分と、前記第1フレームと前記第2フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出すること、を特徴とする動物体検出装置。請求項5~7の何れか一項に記載の動物体検出装置であって、前記第2フレームは前記第1フレームと隣接しない範囲で可変であることを特徴とする動物体検出装置。フレーム画像を所定の時間間隔ごとに取得するフレーム取得部と、前記フレーム取得部により取得される第1フレームの第1位置にある画素の輝度と、前記フレーム取得部により取得される第2フレームの前記第1位置の近傍にある画素の輝度との差分に基づいて画素毎の移動方向を検出する動物体検出部と、前記動物体検出部により検出される前記画素毎の移動方向に基づいて、動物体の奥行き方向の移動方向を検出する奥行き方向検出部と、を備えることを特徴とする動物体検出装置。請求項9に記載の動物体検出装置であって、前記第1フレームの前記第1位置にある前記画素をぼかした場合の輝度である予測輝度を生成する予測輝度生成部を更に備え、前記奥行き方向検出部は、前記第1フレームの前記第1位置にある前記画素の前記輝度と前記予測輝度との差分と、前記第1フレームの前記第1位置にある前記画素の前記輝度と前記第2フレームの前記第1位置にある画素の輝度との差分とに基づいて前記動物体が合焦位置に近づく方向に移動しているか離れる方句に移動しているかを検出すること、を特徴とする動物体検出装置。このようにブロックマッチング法を用いて動物体を検出する場合、ブロックサイズの制御が重要となる。例えば、ブロックサイズを大きくしすぎると、ブロック内に複数の動きが混在し、ブロック単位での動きを検出することが難しくなる。また、例えば、ブロックサイズを小さくしすぎると、関係のないブロックとマッチングされる可能性が高まり、動きの検出精度が低下してしまう。そして、適切なブロックサイズは検出対象の動物体により異なるため、ブロックサイズを適応的に制御するための複雑な処理が必要となる。また、動物体の検出精度を高めるためには、フレームレートを高めることが有効であるが、フレームレートを高めることにより、1フレームの間の物体の移動距離が小さくなり、検出可能な移動速度の下限が高くなってしまう。つまり、例えば、1フレームの間の移動距離が1画素未満の場合、物体の移動速度を求めることができないこととなる。このような場合、動物体に応じてフレームレートを低くすることも考えられるが、制御が複雑になるとともに、高速に移動する物体の検出精度が低下してしまうこととなる。本発明は上記課題を鑑みてなされたものであり、ブロックサイズ制御等の複雑な処理を必要とせず、固定フレームレートで動物体を高精度に検出することを目的とする。上記目的を達成するため、本発明の動物体検出装置は、フレーム画像を所定の時間間隔ごとに取得するフレーム取得部と、前記フレーム取得部により取得される第1フレームの第1位置にある画素の輝度と、前記第1フレームの前記第1位置に隣接する第2位置にある画素の輝度とに基づいて、前記第1位置と前記第2位置との間の輝度を示す中間輝度を生成する中間輝度生成部と、前記フレーム取得部により取得される第2フレームの前記第1位置にある画素の輝度と前記中間輝度との差分と、前記第1フレームと前記第2フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部と、を備えることとする。そして、前記中間輝度生成部は、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第1フレームの前記第1位置の上側に隣接する画素の輝度とに基づいた前記中間輝度である上側輝度と、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第1フレームの前記第1位置の下側に隣接する画素の輝度とに基づいた前記中間輝度である下側輝度と、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第1フレームの前記第1位置の右側に隣接する画素の輝度とに基づいた前記中間輝度である右側輝度と、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第1フレームの前記第1位置の左側に隣接する画素の輝度とに基づいた前記中間輝度である左側輝度と、を生成し、前記動物体検出部は、前記上側輝度、前記下側輝度、前記右側輝度、及び前記左側輝度の夫々と前記第2フレームの前記第1位置にある前記画素の前記輝度との差分と、前記第1フレームと前記第2フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出することとすることができる。また、前記動物体検出部は、前記第2フレームの前記第1位置にある前記画素の前記輝度と、前記第1フレームの前記中間輝度及び前記第1位置にある前記画素の前記輝度との差分と、前記第1フレームと前記第2フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出することとしてもよい。なお、前記第1フレームと前記第2フレームとの間のフレーム数が可変であることとしてもよい。また、本発明の動物体検出装置は、フレーム画像を所定の時間間隔ごとに取得するフレーム取得部と、前記フレーム取得部により取得される第1フレームの第1位置にある画素の輝度と、前記フレーム取得部により取得される前記第1フレームと隣接しない第2フレームの前記第1位置に隣接する第2位置にある画素の輝度との差分と、前記第1フレームと前記第2フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出する動物体検出部と、を備えることとする。そして、前記動物体検出部は、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第2フレームの前記第1位置の上下左右に隣接する各画素の輝度との差分と、前記第1フレームと前記第2フレームとの時間間隔とに基づいて動物体の移動方向及び移動速度を検出することとすることができる。また、前記動物体検出部は、前記第1フレームの前記第1位置にある前記画素の前記輝度と、前記第2フレームの前記第1位置にある前記画素の前記輝度及び前記第2位置にある前記画素の前記輝度との差分と、前記第1フレームと前記第2フレームとの前記時間間隔とに基づいて動物体の移動方向及び移動速度を検出することとしてもよい。なお、前記第2フレームは前記第1フレームと隣接しない範囲で可変であることとしてもよい。また、本発明の動物体検出装置は、フレーム画像を所定の時間間隔ごとに取得するフレーム取得部と、前記フレーム取得部により取得される第1フレームの第1位置にある画素の輝度と、前記フレーム取得部により取得される第2フレームの前記第1位置の近傍にある画素の輝度との差分に基づいて画素毎の移動方向を検出する動物体検出部と、前記動物体検出部により検出される前記画素毎の移動方向に基づいて、動物体の奥行き方向の移動方向を検出する奥行き方向検出部と、を備えることとする。さらに、前記動物体検出装置は、前記第1フレームの前記第1位置にある前記画素をぼかした場合の輝度である予測輝度を生成する予測輝度生成部を更に備え、前記奥行き方向検出部は、前記第1フレームの前記第1位置にある前記画素の前記輝度と前記予測輝度との差分と、前記第1フレームの前記第1位置にある前記画素の前記輝度と前記第2フレームの前記第1位置にある画素の輝度との差分とに基づいて前記動物体が合焦位置に近づく方向に移動しているか離れる方句に移動しているかを検出することとしてもよい。ブロックサイズ制御等の複雑な処理を必要とせず、固定フレームレートで動物体を高精度に検出することができる。==システム構成==図1は、本発明の一実施形態であるイメージセンサを含んで構成される動物体検出システムの構成を示す図である。動物体検出システム1は、イメージセンサ動物体検出装置10、及び光学レンズ15を含んで構成されている。イメージセンサ10は、光学レンズ15から受光する画像を所定のフレームレートで撮像し、複数のフレームの情報に基づいて物体の移動方向や移動速度等を検出する回路である。また、光学レンズ15の焦点は固定されている。==ハードウェア構成==図2は、イメージセンサ10のハードウェア構成の一例を示す図である。イメージセンサ10は、制御回路21、フォトダイオードアレイ以後PDアレイと称する22、メモリアレイ23、処理回路24、水平シフトレジスタ25、及び垂直シフトレジスタ26,27を備えている。制御回路21は、イメージセンサ10の全体を制御する回路であり、各種の処理を制御するための制御信号を出力する。PDアレイ22は、配列状に設けられた複数のフォトダイオードにより構成されており、光学レンズ15から受光する画像を画素ごとのアナログ画像信号に変換して出力する。なお、PDアレイ22で撮像される1枚の画像のことをフレームといい、フレームの生成間隔のことをフレームレートという。本実施形態においては、例えば1000フレーム/秒程度の非常に高いフレームレートであることとする。そして、制御回路21の制御により、水平シフトレジスタ25にはPDアレイ22の列を指定するデータが設定され、垂直シフトレジスタ26にはPDアレイ22の行を指定するデータが設定される。つまり、PDアレイ22で撮像されたフレームのアナログ画像信号のうち、水平シフトレジスタ25及び垂直シフトレジスタ26で指定される画素のアナログ画像信号が読み出され、処理回路24に送信される。また、メモリアレイ23は、配列状に設けられた複数の記憶素子により構成されており、PDアレイ22で取得された過去数フレームの画像信号を記憶する。そして、処理回路24は、PDアレイ22から出力される最新フレームと、メモリアレイ23に記憶されている過去数フレームとを用いて、物体の移動方向や移動速度等を示す動き信号を生成して出力する。なお、処理回路24は、PDアレイ22及びメモリアレイ23からフレームを行単位で読み出し、複数列の画素に対する処理を並列に行うことにより高速な処理を可能としている。なお、PDアレイ22が本発明のフレーム取得部に該当し、メモリアレイ23が本発明のフレーム記憶部に該当する。==機能構成==図3は、イメージセンサ10の処理回路24により実現される機能の構成を示す図である。処理回路24は、動物体検出部31、中間輝度生成部32、奥行き方向検出部33、及び予測輝度生成部34を備えている。動物体検出部31は、光学レンズ15から見た上下左右方向における物体の移動方向及び移動速度を検出する。また、中間輝度生成部32は、隣接する2つの画素の輝度に基づいて、これら2つの画素の間の輝度である中間輝度を生成する。つまり、中間輝度生成部32により生成される中間輝度は、隣接する2つの画素の間に位置する仮想的な画素の輝度を示すものである。なお、動物体検出部31は、中間輝度生成部32により生成される中間輝度を用いることにより、1フレームの間の移動距離が1画素未満の物体の移動速度を検出することができる。奥行き方向検出部33は、光学レンズ15から見た奥行き方向における物体の移動方向を検出する。また、予測輝度生成部34は、物体の動作により生じる各画素の輝度の変化を予測する。==上下左右の動き検出==まず、イメージセンサ10における、物体の上下左右方向二次元方向における動きの検出について説明する。1動きの有無の検出はじめに、上下左右方向における動きがあるかどうかを検出する動作について説明する。図4は、上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。図において、x軸およびy軸はフレーム内の画素位置を示す座標であり、x軸の正方向が右方向、x軸の負方向が左方向、y軸の正方向が上方向、y軸の負方向が下方向を示している。また、f軸はフレームの時系列を示しており、正方向が新しいフレーム、負方向が古いフレームを示している。なお、フレームfにおける位置x,yにある画素を画素x,yと表し、画素x,yの輝度をlfxyと表すこととする。次式1は、画素x,yに動きがあるかどうかを判定するための評価値dx,yを求めるための式である。イメージセンサ10の動物体検出部31は、式1に示すように、フレームfの画素x,yの輝度lfxyと、前後Nフレームの輝度lfkxyとの差分に基づいて評価値dを求める。そして、動物体検出部31は、評価値dが所定の閾値以上であれば、画素x,yに動きがあると判定する。また、イメージセンサ10で必要となるメモリサイズの削減や、回路規模の削減等のために、評価値dを求めるために必要なフレームを2枚とすることもできる。図5は、2枚のフレームを用いて上下左右方向における動きがあるかどうかを検出する動作の概略を示す図である。そして、次式2が、その際の評価値dを求めるための式である。式2に示すように、動物体検出部31は、フレームfの画素x,yの輝度lfxyと、その一つ前のフレームf-1の画素x,yの輝度lf1xyとの差分により、評価値dを求めることとしてもよい。2移動方向の検出次に、物体の上下左右方向における移動方向を検出する動作について説明する。図6は、左右の移動方向を検出する動作の概略を示す図である。図6aに示すように、1フレームごとに画素を1つずつ右にずらして輝度の差分を求めることにより、右方向への移動を検出することができる。また、図6bに示すように、1フレームごとに画素を1つずつ左にずらして輝度の差分を求めることにより、左方向への移動を検出することができる。また、同様に、1フレームごとに画素を1つずつ上にずらして輝度の差分を求めることにより、上方向への移動を検出することができ、1フレームごとに画素を1つずつ下にずらして輝度の差分を求めることにより、下方向への移動を検出することができる。次式3~6は、このような上下左右方向への移動を検出するための評価値mup,mdown,mright,mleftを求めるための式である。式3に示すように、イメージセンサ10の動物体検出部31は、フレームfの画素x,yの輝度lfxyと、前後Nフレームの輝度lfkxykとの輝度との差分により、上方向への移動を検出するための評価値mupを生成する。同様に、動物体検出部31は、式4~6に示すように、下方向への移動を検出するための評価値mdown、右方向への移動を検出するための評価値mright、左方向への移動を検出するための評価値mleftを生成する。ここで、物体がある方向に移動したとすると、その方向の評価値は他の方向の評価値よりも小さくなる。したがって、動物体検出部31は、これらの評価値mup,mdown,mright,mleftと、前述した評価値dとに基づいて、評価値が最小である方向に物体が移動していると判定することができる。なお、動物体検出部31は、上下方向の移動と左右方向の移動とを別々に判定することとしてもよい。例えば、次式7に示すように、動物体検出部31は、評価値mup,mdownと、評価値dとで行列Mverticalを作成し、上下方向についてはMverticalの要素が最小の方向に移動していると判定することができる。また、次式8に示すように、動物体検出部31は、評価値mleft,mrightと、評価値dとで行列Mhorizontalを作成し、左右方向についてはMhorizontalの要素が最小の方向に移動していると判定することができる。また、イメージセンサ10で必要となるメモリサイズの削減や、回路規模の削減等のために、評価値mup,mdown,mright,mleftを求めるために必要なフレームを2枚とすることもできる。図7は、2枚のフレームを用いて上下左右の移動方向を検出する動作の概略を示す図である。そして、次式9~12が、その際の評価値mup,mdown,mright,mleftを求めるための式である。動物体検出部31は、図7a及び式9に示すように、フレームf-1の画素x,yの輝度lf1xyと、フレームfの画素x,yの上側に隣接する画素x,y1の輝度lfxy1との差分により、評価値mupを求めることができる。同様に、動物体検出部31は、図7b~d及び式10~12に示すように、評価値mdown,mright,mleftを求めることができる。==移動速度検出==次に、イメージセンサ10における、物体の上下左右方向における移動速度の検出について説明する。物体の移動速度は、物体の移動距離を移動に要した時間で割ることにより求めることができる。本実施形態のイメージセンサ10のフレームレートは、毎秒1000フレーム程度の非常に高いものとなっている。そのため、物体が1フレームの間に移動する距離が1画素未満である場合も考えられる。このような場合に、単純に連続する2つのフレーム間における画素単位の移動距離をもとに移動速度を検出することとすると、移動速度の検出精度が低下してしまうこととなる。そこで、イメージセンサ10においては、小数精度判定および検出間隔制御という2つの方法を用いることにより物体の移動速度の検出を行っている。1小数精度判定まず、小数精度判定による物体の移動速度の検出について説明する。図8は、小数精度により物体の移動速度を検出する動作の概略を示す図である。前述したように、1フレームの間では、物体が1画素移動していない場合がある。そこで、図8aに示すように、フレームfの画素x,yの輝度と、フレームfの画素x,y1の輝度とに基づいて、画素x,yと画素x,y1との間の仮想的な画素の輝度、すなわち小数精度の画素の輝度を求める。そして、小数精度の画素の輝度と、1つ前のフレームf-1の画素x,yの輝度と差分を求めることにより、上方向に1/2画素移動していることを検出することができる。同様に、図8b~dに示すように、下方向に1/2画素、右方向に1/2画素、左方向に1/2画素移動していることを検出することができる。次式13~16が、上下左右方向に1/2画素移動していることを検出するための評価値mup12,mdown12,mright12,mleft12を求めるための式である。式13に示すように、イメージセンサ10の中間輝度生成部32は、フレームf請求項1:第1フレームの位置x,y請求項1:第1位置にある画素の輝度lfxyと、位置x,yの上側に隣接する位置x,y1請求項1:第2位置にある画素の輝度lfxy1とに基づいて、画素x,yと画素x,y1との間の小数精度の画素の輝度lfxy1lfxy/2を求める。そして、動物体検出部31は、小数精度の画素の輝度と、フレームfの1つ前のフレームf-1請求項1:第2フレームの位置x,yにある画素の輝度lf1xyとの差分により、評価値mup12を生成する。同様に、式14~16に示すように、中間輝度生成部32は、画素x,yの下側1/2画素の輝度、右側1/2画素の輝度、左側1/2画素の輝度を生成し、動物体検出部31は、評価値mdown12,mright12,mleft12を生成する。そして、動物体検出部31は、フレームf-1とフレームfとの間に、評価値mup12,mdown12,mright12,mleft12が最小の方向に、物体が1/2画素移動していると判断し、物体の移動速度を算出する。このように、小数精度の画素の輝度を用いることにより、1フレーム間の移動距離が1画素未満の物体の移動速度の検出精度を向上させることができる。なお、本実施形態においては、式13~16に示すように、隣接画素の輝度を平均することにより、1/2画素の位置における中間輝度を求めることとしたが、中間輝度は1/2画素の位置に限らず、隣接画素の間の位置であればよい。つまり、隣接画素の輝度に対する重み付けを変更することにより、隣接画素の間の様々な位置における中間輝度を生成することができる。例えば、隣接する画素の一方の画素の輝度に1/3を乗じた値と、他方の画素の輝度に2/3を乗じた値とを加算することにより、1/3画素の位置における中間輝度を求めることが可能である。また、本実施形態においては、フレームfにおいて画素x,yの上下左右の中間輝度を生成し、その中間輝度とフレームf-1の画素x,yの輝度との差分により、評価値を得ることとしているが、フレームの順序関係は逆であってもよい。つまり、フレームf-1において画素x,yの上下左右の中間輝度を生成し、その中間輝度とフレームfの画素x,yの輝度との差分により、評価値を得ることとしてもよい。2検出間隔制御次に、検出間隔制御による物体の移動速度の検出について説明する。図9は、検出間隔制御により物体の移動速度を検出する動作の概略を示す図である。前述したように、動物体検出部31は、フレームf請求項5:第1フレームの位置x,y請求項5:第1位置にある画素の輝度lfxyと、次のフレームf1の位置x,yの上下左右に隣接する位置にある画素の輝度との差分に基づいてmup,mdown,mright,mleftを求めることにより、1フレームの間に1画素分移動する物体の移動方向を検出することができる。つまり、動物体検出部31は、この物体がフレームfとフレームf1との間に1画素移動したものとして、移動速度を検出することができる。さらに、動物体検出部31は、フレームfの位置x,yにある画素の輝度lfxyと、フレームf1の次のフレームであり、フレームfと隣接しないフレームf2請求項5:第2フレームの位置x,yの上下左右に隣接する位置請求項5:第2位置にある画素の輝度との差分に基づいてmup,mdown,mright,mleftを求めることにより、2フレームの間に1画素分移動する物体の移動方向を検出することができる。そして、動物体検出部31は、この物体がフレームfとフレームf2との間に1画素移動したものとして、移動速度を検出することができる。同様に、動物体検出部31は、3フレーム以上のフレームで1画素移動する物体の移動速度を検出することができる。このように、フレームレートは変更せずに、移動速度を検出する際に用いるフレームの間隔を変更することにより、1フレーム間の移動距離が1画素未満の物体の移動速度を検出することが可能となる。なお、本実施形態においては、フレームfの画素x,yの輝度と、フレームf1の画素x,yの隣接画素の輝度との差分により、評価値を得ることとしているが、フレームの順序関係は逆であってもよい。つまり、フレームf1の画素x,yの輝度と、フレームfの画素x,yの隣接画素の輝度との差分により、評価値を得ることとしてもよい。フレームf2、フレームf3についても同様である。また、図8及び式13~16に示した小数精度判定を行う場合においても、検出間隔制御を行うことが可能である。例えば、フレームf2において、画素x,yの上下左右の中間輝度を生成し、その中間輝度とフレームfの画素x,yの輝度との差分により、評価値を得ることもできる。==奥行きの動き検出==次に、イメージセンサ10における、物体の奥行きの動き検出について説明する。1奥行きの距離検出動物体検出システム1における光学レンズ15は固定焦点であるため、合焦位置までの距離は定まっている。そこで、本実施形態では、焦点外れの程度を判定することにより、物体までの距離を検出することとしている。まず、イメージセンサ10の予測輝度生成部34は、ある画素x,yについて、現在のフレームf請求項5:第1フレームから将来のフレームfk請求項5:第2フレームの間に焦点外れの程度が増大すると仮定し、将来のフレームfkの画素x,yの予測輝度lpxyを生成する。なお、予測輝度lpxyは、ローパスフィルタ等のぼけフィルタを用いることにより生成することができる。例えば、次式17に示すように、対象画素x,yの上下左右の画素との平均を取るフィルタ係数dを用いて求めることができる。そして、奥行き方向検出部33は、将来のフレームfkに至った際に、次式18により、評価値δxyを生成する。予測が正しく焦点外れの程度が増大すれば、輝度lfxyに対する輝度lpxy及び輝度lfkxyの増減方向は同一となるためδxyは正の値となり、予測が外れて合焦の程度が増大すれば、輝度lfxyに対する輝度lpxy及び輝度lfkxyの増減方向が逆になるためδxyは負の値となる。なお、奥行き方向検出部33は、動物体検出部31により検出された画素x,yにおける物体の移動速度に応じてkの値を定めることができる。例えば、物体の移動速度が、3フレームの間に1画素移動する速さであればkの値を3とすることができる。このようにkの値を定めることにより検出精度を高めることができる。そして、図10は、物体の奥行き方向における距離を検出する動作の概略を示す図である。図10aに示すように、光学レンズ15から見て物体が遠ざかる場合、合焦位置よりも手前にある間は、徐々に合焦の程度が増大していくため評価値δxyは負の値となっている。そして、物体が合焦位置を過ぎると、徐々に焦点外れの度合いが増大していくため評価値δxyは正の値となる。したがって、奥行き方向検出部33は、評価値δxyが負から正に変わる際ゼロ交差する際に、物体が合焦位置にあると判断し、その物体までの距離を求めることができる。また、図10bに示すように、光学レンズ15から見て物体が近づく場合においても、奥行き方向検出部33は、評価値δxyが負から正に変わる際ゼロ交差する際に、物体が合焦位置にあると判断し、その物体までの距離を求めることができる。2奥行き方向検出また、奥行き方向検出部33は、奥行きの移動方向、つまり、物体が光学レンズ15から見て手前から奥に移動しているか、奥から手前に移動しているかを検出することができる。図11は、物体の拡大縮小に基づいて奥行きの移動方向を検出する動作の概略を示す図である。奥行き方向検出部33は、動物体検出部31により検出された画素ごとの移動方向に基づいて、物体が二次元方向において拡大しているか縮小しているかを判断する。図11aに示すように、物体が拡大している場合、奥行き方向検出部33は、物体が光学レンズ15に近づいていると判定する。また、図11bに示すように、物体が縮小している場合、奥行き方向検出部33は、物体が光学レンズ15から遠ざかっていると判定する。さらに、前述した評価値δxyを用いることにより、合焦位置との関係についても検出することができる。図12は、奥行きの移動方向と評価値δxyとの関係を示す図である。つまり、図12aに示すように、物体が合焦位置へ近づく場合、評価値δxyは負の値となっている。したがって、物体が拡大しており、かつ、δxyが負の値である場合は、奥行き方向検出部33は、合焦位置よりも奥にある物体が近づいていると判定することができる。また、物体が縮小しており、かつ、δxyが負の値である場合は、奥行き方向検出部33は、合焦位置よりも手前にある物体が遠ざかっていると判定することができる。また、図12bに示すように、物体が合焦位置から遠ざかる場合、評価値δxyは正の値となっている。したがって、物体が拡大しており、かつ、δxyが正の値である場合は、奥行き方向検出部33は、合焦位置よりも手前にある物体が近づいていると判定することができる。また、物体が縮小しており、かつ、δxyが正の値である場合は、奥行き方向検出部33は、合焦位置よりも奥にある物体が遠ざかっていると判定することができる。==処理説明==次に、イメージセンサ10における処理の流れについて説明する。図13は、イメージセンサ10における処理の流れを示すフローチャートである。まず、イメージセンサ10におけるフレームレートが決定されS1301、決定されたフレームレートでの撮像が開始される。そして、動物体検出部31は、複数フレームの同じ位置x,yの画素を選択しS1302、フレーム間で輝度の絶対差分を求め、評価値dx,yを生成するS1303。そして、イメージセンサ10では、物体の移動方向および移動速度を検出するための評価値を求めるために、次の4つの処理うちの何れかの処理が選択される。1つ目の処理では、動物体検出部31は、前述したように対象とする画素x,yの上下左右の画素を選択しS1304、式3~6または9~12に示したように、フレーム間で輝度の絶対差分を求め、評価値mup,mdown,mright,mleftを生成するS1305。2つ目の処理では、前述した小数精度判定の処理が行われるS1306。図14は、小数精度判定の処理の流れを示すフローチャートである。まず、中間輝度生成部32が、対象とする画素x,yの上下左右1/2画素の輝度を生成するS1401。そして、動物体検出部31は、式13~16に示したように、フレーム間で輝度の絶対差分を求め、評価値mup12,mdown12,mright12,mleft12を生成するS1402。3つ目の処理では、前述した検出間隔制御の処理が行われるS1307。図15は、検出間隔制御処理の流れを示すフローチャートである。まず、動物体検出部31は、選択フレームとしてフレームfとフレームf1とを選択し、フレームf1の位置x,yの上下左右に隣接する位置にある画素を選択するS1501。そして、動物体検出部31は、フレームfの位置x,yにある画素の輝度と、フレームf1の位置x,yの上下左右に隣接する位置にある画素の絶対差分を求め、評価値mup,mdown,mright,mleftを生成するS1502。そして、動物体検出部31は、フレームf1の次のフレームであるフレームf2を選択フレームとして選択するS1503。そして、動物体検出部31は、新たに選択されたフレームf2と、フレームfとを用いて、評価値mup,mdown,mright,mleftを生成するS1501~S1503。なお、フレームfに対していくつ先のフレームまで対象とするかは予め定められており、動物体検出部31は、対象フレームの処理が終了するまで、繰り返し処理を実行するS1501~S1504。4つ目の処理では、小数精度処理S1306と検出間隔制御処理S1307とを組み合わせた処理が実行されるS1308。このように、評価値dと、評価値mup,mdown,mright,mleft又は評価値mup12,mdown12,mright12,mleft12とが生成されると、動物体検出部31は、物体が上下左右の何れの方向に移動しているかを検出しS1309、物体の移動速度を検出するS1310。そして、イメージセンサ10では、物体の奥行き方向における距離または移動方向を検出するために、次の3つの処理のうちの何れかの処理が選択される。1つ目の処理では、前述した奥行きの距離を検出する処理が行われるS1311。図16は、奥行きの距離を検出する処理の流れを示すフローチャートである。まず、予測輝度生成部34が、ぼけフィルタにより予測輝度lpxyを生成するS1601。そして、奥行き方向検出部33は、予測輝度lpxyと、実際の輝度lfkxyとに基づいて評価値δxyを生成するS1602。そして、評価値δxyの正負の判定により合焦位置にあるかどうかを判定することにより、奥行き方向の距離を検出するS1603。2つ目の処理では、前述した奥行きの移動方向を検出する処理が行われるS1312。図17は、奥行きの移動方向を検出する処理の流れを示すフローチャートである。まず、奥行き方向検出部33は、動物体検出部31により検出された上下左右方向における画素毎の移動方向に基づいて、物体の拡大率を算出するS1701。そして、奥行き方向検出部33は、物体が拡大している場合には、物体が光学レンズ15に近づいていることを検出し、物体が縮小している場合には、物体が光学レンズ15から遠ざかっていることを検出するS1702。3つ目の処理では、奥行き距離検出処理S1313と奥行き方向検出処理S1314とを組み合わせた処理が実行される。この場合、奥行き方向検出部33は、物体の拡大率と評価値δxyとを用いて、物体の奥行きの移動方向とともに、物体が合焦位置の手前にあるか奥にあるかを検出することができる。以上、本実施形態のイメージセンサ10について説明した。前述したように、イメージセンサ10では、小数精度の画素の輝度である中間輝度を生成することにより、1フレーム間の移動距離が1画素未満の物体の移動方向及び移動速度を検出することができる。また、イメージセンサ10では、中間輝度を用いて移動方向及び移動速度を検出する際に、同一画素x,yの輝度値の差dx,yを評価値として用いることにより、物体が移動していないことを検出することができる。また、イメージセンサ10では、移動方向及び移動速度の検出間隔を制御することにより、1フレーム間の移動距離が1画素未満の物体の移動方向及び移動速度を検出することができる。また、イメージセンサ10では、移動方向及び移動速度の検出間隔を制御する場合においても、同一画素x,yの輝度値の差dx,yを評価値として用いることにより、物体が移動していないことを検出することができる。また、イメージセンサ10では、中間輝度を用いて移動方向及び移動速度を検出する場合においても、検出間隔を制御することにより、移動方向及び移動速度の検出可能範囲を広くすることができる。また、イメージセンサ10では、画素毎の移動方向に基づいて物体の拡大縮小を判定することにより、物体の奥行き方向の移動方向を検出することができる。さらに、イメージセンサ10では、予測輝度lpxyと実際の輝度lfkxyとに基づいた評価値δx,yを求めることにより、物体が合焦位置に近づいているか、合焦位置から遠ざかっているかを検出することができる。このように、イメージセンサ10では、各画素の輝度に基づいて物体の移動方向及び移動速度の検出処理が行われるため、ブロックサイズ制御等の複雑な処理が不要である。また、イメージセンサ10では、フレームレートを変更することなく動物体を高精度に検出することができる。なお、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。例えば、本実施形態においては、イメージセンサ10において検出処理を行う各部31~35は回路により実現されることとしたが、メモリに格納されたプログラムをプロセッサが実行することにより実現されることとしてもよい。"