(57)【要約】【課題】露光時間の異なる撮像素子を用いて撮像された画像の動きを、より精度よく検出することができるようにする。【解決手段】複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成し、注目画素の値、並びに、注目画素と露光時間が異なる画素を含む周辺画素であって、注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得し、注目画素および周辺画素のそれぞれの露光時間を取得し、注目画素と周辺画素との間の距離である画素間距離、取得された画素値、取得された露光時間に基づいて撮像画素像の被写体の注目画素における移動速度を算出し、移動速度に基づいて、被写体の単位時間当たりの動き量を特定する。【選択図】図３
2013020584.tif 000002
【特許請求の範囲】
【請求項１】
複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、
注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、
前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、
前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、
前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部と
を備える画像処理装置。
【請求項２】
前記周辺画素は、
前記近似式に含まれる変数に応じた数の画素であって、前記注目画素と同一のフレームの画像の画素とされる
請求項１に記載の画像処理装置。
【請求項３】
前記周辺画素は、
前記近似式に含まれる変数に応じた数の画素であって、前記注目画素とは異なるフレームの画像の画素とされる
請求項１に記載の画像処理装置。
【請求項４】
前記移動速度算出部は、
前記注目画素の値および前記周辺画素の値を、それぞれ前記近似式と前記被写体の移動速度に基づいて定まる値を前記露光時間によって積分する第１の数式により表したとき、
前記第１の数式と、前記画素間距離とを用いて定式化された前記被写体の移動速度を表す第２の数式に、前記注目画素および前記周辺画素の観測値を代入することで前記移動速度を算出する
請求項１に記載の画像処理装置。
【請求項５】
近似式生成部が、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成し、
画素値取得部が、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得し、
露光時間取得部が、前記注目画素および前記周辺画素のそれぞれの露光時間を取得し、
速度算出部が、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出し、
動き量特定部が、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定するステップ
を含む画像処理方法。
【請求項６】
コンピュータを、
複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、
注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、
前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、
前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、
前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置として機能させる
プログラム。
【請求項７】
請求項６に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、露光時間の異なる撮像素子を用いて撮像された画像の動きを、より精度よく検出することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置に用いられる撮像素子としては、ＣＣＤ等の固体撮像素子が使用されている。しかし、固体撮像素子を用いた撮像装置では、銀塩方式の撮像装置の場合に比べて、入射光量に対するダイナミックレンジが狭い。撮像装置のダイナミックレンジが狭いと、撮影した画像に黒つぶれや白とびが発生するという問題がある。
【０００３】
そこで、従来より、ダイナミックレンジを拡大することができる撮像装置として、異なる露光量の複数の画像信号を用いてダイナミックレンジの広い画像を合成するものが知られている。従来の撮像装置では、撮像素子の１フレーム目の撮影で得られる画像信号とその時の露光量に基づいて、適正露光量を求める。そして、これに基づいて２フレーム目の撮像素子による撮影を、適正露光量またはオーバー露光、アンダー露光によって行う。そして、１フレーム目と２フレーム目の画像信号をメモリに記憶し、メモリに記憶した１フレーム目と２フレーム目の画像信号を合成することによって、１枚のダイナミックレンジの拡大された画像を生成する。
【０００４】
全画素が２つの画素グループに分割され、２つの画素グループごとに１フレームで異なる露光時間の映像信号を読み出し可能であり、２つの画素グループの露光時間が１フレームごとに入れ替えられるようにした撮像素子を用いる技術も提案されている（例えば、特許文献１参照）。
【０００５】
また、例えば、ビデオカメラ等における手振れ補正機能を実現する場合など、画像の動き量の検出が重要である。従来、動き量は、時間的に連続した２枚の画像を用いて検出されていた。このように動き量を検出する場合、例えば、特許文献１のように２枚の画像で、異なる露光時間が設定されると、検出精度が落ちるなどの弊害がある。
【０００６】
そこで、ダイナミックレンジを拡大することができる撮像装置における動き量の検出精度を高めるために、複数の画素群をひとつの高解像度画素群として一回ごとに異なる撮像条件で連続して複数回撮像することも提案されている（例えば、特許文献２参照）。
【０００７】
特許文献２の技術では、撮像素子の画素群ごとに異なる露光時間にて一回露光で撮像することが可能であり、例えば、Ａ面画素群とＢ面画素群とで同時に露光を開始し、Ｂ面画素群の露光終了後にＡ面画素群の露光を終了することが可能とされている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２２１４２３号公報
【特許文献２】特開２０１０−２１９９４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、例えば、特許文献２の技術において動き量を検出する場合、注目画素の動きが露光時間の異なる画素に向かうものである場合、やはり検出精度が落ちるなど問題があった。例えば、ブロックマッチング方式や勾配法を用いた動き検出を行う場合、長時間露光の画素と短時間露光の画素との間での差分抽出が困難である。
【００１０】
本技術はこのような状況に鑑みて開示するものであり、露光時間の異なる撮像素子を用いて撮像された画像の動きを、より精度よく検出することができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面は、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置である。
【００１２】
前記周辺画素は、前記近似式に含まれる変数に応じた数の画素であって、前記注目画素と同一のフレームの画像の画素とされるようにすることができる。
【００１３】
前記周辺画素は、前記近似式に含まれる変数に応じた数の画素であって、前記注目画素とは異なるフレームの画像の画素とされるようにすることができる。
【００１４】
前記移動速度算出部は、前記注目画素の値および前記周辺画素の値を、それぞれ前記近似式と前記被写体の移動速度に基づいて定まる値を前記露光時間によって積分する第１の数式により表したとき、前記第１の数式と、前記画素間距離とを用いて定式化された前記被写体の移動速度を表す第２の数式に、前記注目画素および前記周辺画素の観測値を代入することで前記移動速度を算出するようにすることができる。
【００１５】
本技術の一側面は、近似式生成部が、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成し、画素値取得部が、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得し、露光時間取得部が、前記注目画素および前記周辺画素のそれぞれの露光時間を取得し、速度算出部が、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出し、動き量特定部が、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定するステップを含む画像処理方法である。
【００１６】
本技術の一側面は、コンピュータを、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置として機能させるプログラムである。
【００１７】
本技術の一側面においては、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により画像が撮像され、前記撮像された画像の被写体を構成する画素の値を近似する近似式が生成され、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値が取得され、前記注目画素および前記周辺画素のそれぞれの露光時間が取得され、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度が算出され、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量が特定される。
【発明の効果】
【００１８】
本技術によれば、露光時間の異なる撮像素子を用いて撮像された画像の動きを、より精度よく検出することができる。
【図面の簡単な説明】
【００１９】
【図１】本技術を適用した撮像装置の一実施の形態に係る構成例を示すブロック図である。
【図２】図１の撮像素子の受光面の構成例を示す図である。
【図３】図１の動き量検出部の詳細な構成例を示すブロック図である。
【図４】動き量を検出するための画素の例を示す図である。
【図５】画素位置と露光時間の関係を説明する図である。
【図６】動き量検出処理の例を説明するフローチャートである。
【図７】動き量を検出するための画素の別の例を示す図である。
【図８】画素位置と露光時間の関係の別の例を説明する図である。
【図９】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２１】
図１は、本技術を適用した撮像装置の一実施の形態に係る構成例を示すブロック図である。この撮像装置１１は、例えば、デジタルカメラ（デジタルスチルカメラ）として構成される。
【００２２】
図１の撮像装置１１は、操作部２１、撮像部４１、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)５４、動き量検出部５５、補正部５７、表示制御部６０、および表示部６１により構成される。
【００２３】
操作部２１は、例えば、レリーズ・スイッチ３１および後述する表示部６１に重畳されたタッチパネルなどにより構成され、ユーザによって操作される。操作部２１は、ユーザの操作に応じた操作信号を、撮像装置１１の必要なブロックに供給する。
【００２４】
撮像部４１は、そこに入射する光を受光して光電変換することにより被写体を撮像し、その結果得られる撮影画像をＳＤＲＡＭ５４に供給して、（一時的に）記憶させる。
【００２５】
ここで、撮像部４１は、撮像レンズ５１、撮像素子５２、およびカメラ信号処理部５３により構成されており、撮像レンズ５１は、撮像素子５２の受光面に被写体の像を結像させる。
【００２６】
撮像素子５２は、例えば、ＣＣＤ(Charge Coupled Devices)センサ、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどで構成される。撮像素子５２は、その受光面に結像された被写体の像（光）を、光電変換することでアナログの画像信号として、カメラ信号処理部５３に供給する。なお、撮像素子５２の詳細な構成例については後述する。
【００２７】
カメラ信号処理部５３は、撮像素子５２から供給されたアナログの画像信号に対して、例えばガンマ補正処理や白バランス処理などを行う。その後、カメラ信号処理部５３は、そのアナログの画像信号をＡ／Ｄ(Analog/Digital)変換し、その結果得られるデジタルの画像信号（撮像画像）をＳＤＲＡＭ５４に供給して記憶させる。
【００２８】
ＳＤＲＡＭ５４は、カメラ信号処理部５３（撮像部４１）から供給された撮像画像を記憶する。
【００２９】
動き量検出部５５は、撮像部４１で撮像された撮像画像を、ＳＤＲＡＭ５４から読み出す。動き量検出部５５は、ＳＤＲＡＭ５４から読み出した撮像画像について、後述するように動き量を検出する。
【００３０】
補正部５７は、動き量検出部５５から供給された撮像画像の動き量に基づいて、同じく、動き量検出部５５から供給されたその撮像画像を補正し、補正後の撮像画像を表示制御部６０に供給する。
【００３１】
表示制御部６０は、補正部５７から供給された撮像画像を表示部６１に供給して表示させる。
【００３２】
表示部６１は、表示制御部６０の制御に従い、撮像画像などを表示する。表示部６１としては、例えば、ＬＣＤ(Liquid Crystal Display)などを採用することができる。
【００３３】
図２は、図１の撮像素子５２の詳細な構成例であり、受光面の構成例を示す図である。同図に示されるように、撮像素子の撮像面には、露光時間が長い画素と、露光時間の短い画素が規則的に配列されている。なお、露光時間が長い画素は、光電変換されて得られた電荷を長時間蓄積することになるので長蓄画素と称することとし、図中「Ｌｘ（ｘは自然数）」の記号で表されている。また、露光時間が短い画素は、光電変換されて得られた電荷を短時間蓄積することになるので短蓄画素と称することとし、図中「Ｓｘ（ｘは自然数）」の記号で表されている。
【００３４】
図２の例では、２５（＝５×５）個の画素が正方形状に配置されており、長蓄画素と短蓄画素がそれぞれ交互に配置されている。この例では、長蓄画素が１３個、短蓄画素が１２個配置されている。
【００３５】
撮像装置１１は、図２に示されるような撮像素子５２を用いることで、ダイナミックレンジの広い画像を撮像することができるようになされている。
【００３６】
図３は、図１の動き量検出部５５の詳細な構成例を示すブロック図である。同図に示されるように、動き量検出部５５は、画素値取得部１０１、露光時間取得部１０２、近似式生成部１０３、速度算出部１１１、動き量特定部１１２を有する構成とされている。
【００３７】
画素値取得部１０１は、撮像素子５２の受光面の複数の画素のそれぞれについて画素値を取得する。
【００３８】
露光時間取得部１０２は、撮像素子５２の受光面の複数の画素のそれぞれについて設定された露光時間を取得する。
【００３９】
近似式生成部１０３は、撮像された画像における被写体の輝度値であって、所定の位置の画素の輝度値（画素値）を近似する数式を生成するようになされている。
【００４０】
速度算出部１１１は、近似式生成部１０３により生成された近似式、画素値取得部１０１により取得された画素値、それらの画素の画素間の距離、露光時間取得部１０２により取得された露光時間に基づいて、被写体が動く速度を算出する。
【００４１】
動き量特定部１１２は、速度算出部１１１により算出された速度に基づいて、単位時間当たりの被写体の動き量を特定する。
【００４２】
次に、動き量検出部５５による動き量の検出の例について詳細に説明する。
【００４３】
いま、動き量を特定すべき画素（以下、適宜、注目画素と称する）として、例えば、図２に示される画素の中の１つの短蓄画素に注目し、注目画素から距離ｌだけはなれた２つの画素を考える。
【００４４】
例えば、図４に示されるように、注目画素をＰx0とし、注目画素から距離ｌだけはなれた２つの画素を、Ｐx0-l、および、Ｐx0+1とする。なお、図４の横軸が画素の位置を表しており、注目画素の位置がｘ0とされている。ここでは説明を簡単にするために、注目画素から水平方向（ｘ軸方向）に距離ｌだけはなれた２つの画素を想定することとする。ここで、距離ｌは、各画素間の距離に等しいものとすると、画素Ｐx0-lは、図２において注目画素の左側に隣接する長蓄画素となり、画素Ｐx0+1は、図２において注目画素の右側に隣接する長蓄画素となる。
【００４５】
また、長蓄画素の露光時間をｓ1とし、短蓄画素の露光時間をｓ2とし、各フレームにおいて長蓄画素と短蓄画素が同時に露光開始されるものとする。例えば、１フレームの時間をｓ0で表すと、図５に示されるようになる。
【００４６】
図５は、注目画素と注目画素に隣接する画素の露光のタイミングを説明する図である。なお、同図の横軸は時間を表している。
【００４７】
図５に示されるように、短蓄画素である注目画素Ｐx0と、長蓄画素である画素Ｐx0-l、および、画素Ｐx0-lとは、フレーム開始時刻ｔ0において、同時に露光開始される。そして、短蓄画素である注目画素Ｐx0は時刻ｔ0から時間ｓ2が経過したとき、露光終了され、長蓄画素である画素Ｐx0-l、および、画素Ｐx0-lとは、時刻ｔ0から時間ｓ1が経過したとき、露光終了される。次のフレームにおいても各画素が同様に露光開始、露光終了される。
【００４８】
いま撮像画像の被写体を構成する画素の輝度値（画素値）を式（１）に示される一次式で近似できるものとする。
【００４９】
【数１】
2013020584.tif 000003
・・・（１）
【００５０】
なお、式（１）におけるｙは輝度値を表しており、ｘは画素位置を表している。すなわち、変数ａが正の数であるとした場合、式（１）により、被写体を構成する画素の輝度が画面の右側に向かって徐々に高くなるような撮像画像が近似されることになる。
【００５１】
また、撮像画像の被写体は、画面内を水平方向に速度ｖxで等速移動しているものとすると、時間ｔだけ後の画素値は、式（２）によって近似されることになる。
【００５２】
【数２】
2013020584.tif 000004
・・・（２）
【００５３】
撮像素子の画素値は、当該画素が受光した光に対応する輝度値を露光時間で積分したものと考えることができるので、注目画素Ｐx0において時刻ｔ0から時間ｓ2かけて蓄積された電荷に対応する画素値を、Ｐx0，t0，s2と表記すると、式（３）が成立する。
【００５４】
【数３】
2013020584.tif 000005
・・・（３）
【００５５】
ここで、時刻ｔにおける位置ｘの画素値を露光時間ｓで割った値を式（４）に示されるように定義する。
【００５６】
【数４】
2013020584.tif 000006
・・・（４）
【００５７】
そうすると、式（３）と式（４）より、式（５）が導出される。
【００５８】
【数５】
2013020584.tif 000007
・・・（５）
【００５９】
式（５）と同様に、注目画素に隣接する画素Ｐx0-l、および、画素Ｐx0-lについても、それぞれ式（６）および式（７）が導出される。
【００６０】
【数６】
2013020584.tif 000008
・・・（６）
【００６１】
【数７】
2013020584.tif 000009
・・・（７）
【００６２】
さらに、式（５）、式（６）、および式（７）から、式（８）および式（９）を導出することができる。
【００６３】
【数８】
2013020584.tif 000010
・・・（８）
【００６４】
【数９】
2013020584.tif 000011
・・・（９）
【００６５】
式（８）と式（９）を用いて変数ａを消去することで、式（１０）によって被写体の速度ｖxを算出することが可能となる。
【００６６】
【数１０】
2013020584.tif 000012
・・・（１０）
【００６７】
例えば、近似式生成部１０３が式（１）および式（２）を生成する。速度算出部１１１が式（１０）において、画素間の距離ｌ、画素値取得部１０１により取得された画素値（すなわち観測値）、および、露光時間取得部１０２により取得された露光時間に基づいて各値を代入し、被写体の速度ｖxを算出する。そして、動き量特定部１１２が、算出された被写体の速度ｖxに基づいて、単位時間当たりの被写体の動き量を特定する。
【００６８】
このようにして動き量が検出（特定）される。
【００６９】
次に、図６のフローチャートを参照して、動き量検出部５５による動き量検出処理の例について説明する。
【００７０】
ステップＳ２１において、注目画素が設定される。
【００７１】
ステップＳ２２において、近似式生成部１０３は、撮像された画像における被写体の輝度値であって、所定の位置の画素の輝度値（画素値）を近似する数式（近似式）を生成する。このとき、例えば、式（１）に示されるような近似式が生成される。
【００７２】
ステップＳ２３において、画素値取得部１０１は、撮像素子５２の受光面の複数の画素であって、注目画素を含む複数の画素の画素値を取得する。このとき、例えば、図４を参照して上述したように、３つの画素の画素値が取得される。取得された画素値は、速度算出部１１１に供給される。
【００７３】
ステップＳ２４において、露光時間取得部１０２は、ステップＳ２３で画素値が取得された各画素の露光時間を取得する。このとき、例えば、短蓄画素である注目画素の露光時間をｓ2と、長蓄画素である他の画素の露光時間をｓ1とが取得される。取得された露光時間は、速度算出部１１１に供給される。
【００７４】
ステップＳ２５において、ステップＳ２３で画素値が取得された各画素間の距離（例えば、図４の距離ｌ）が取得される。なお、各画素間の距離は、予め設定され、速度算出部１１１によって自動的に取得されるようにしてもよい。
【００７５】
ステップＳ２６において、速度算出部１１１は、ステップＳ２２で生成された近似式、ステップＳ２３で取得された画素値、ステップＳ２４で取得された露光時間、ステップＳ２５で取得された画素間の距離に基づいて被写体の速度ｖxを算出する。このとき、例えば、式（１０）に各値が代入され、速度ｖxが算出される。
【００７６】
ステップＳ２７において、動き量特定部１１２は、ステップＳ２６の処理で算出された被写体の速度ｖxに基づいて、単位時間当たりの被写体の動き量を特定する。
【００７７】
このようにして、動き量検出処理が実行される。
【００７８】
なお、ここでは、同一フレーム内に存在する３つの画素（画素Ｐx0、画素Ｐx0-l、および、画素Ｐx0+1）を用いて被写体の動き量を特定する例について説明したが、２つのフレームにまたがって存在する３つの画素を用いて被写体の動き量を特定することも可能である。
【００７９】
例えば、図７に示されるように、短蓄画素である注目画素をＰx0，t0，s2とし、注目画素と同一のフレーム（時刻ｔ0のフレーム）の長蓄画素であって、注目画素から距離ｌだけはなれた１つの画素を、Ｐx0+1，t0，s1とする。また、注目画素とは異なるフレーム（時刻ｔ0＋ｓ0のフレーム）の短蓄画素であって、注目画素と同じ位置の画素を、Ｐx0，t0+s0，s2とする。なお、各画素の長蓄画素の露光時間をｓ1とし、短蓄画素の露光時間をｓ2とし、各画素には、画素位置、フレームの時刻、露光時間が添え字記号として付されている。
【００８０】
図７の横軸は画素位置を表し、縦軸は時間を表している。また、ここでは説明を簡単にするために、注目画素から水平方向（ｘ軸方向）に距離ｌだけはなれた１つの画素を想定することとする。ここで、距離ｌは、各画素間の距離に等しいものとすると、画素Ｐx0+1，t0，s1は、図２において注目画素の右側に隣接する長蓄画素となる。また、フレーム長（時間）がｓ0であるものとすると、画素Ｐx0，t0+s0，s2は、１フレーム後における注目画素と同一の画素となる。
【００８１】
これらの画素を用いて式（５）乃至式（７）に対応する式を生成する。
【００８２】
すなわち、式（５）に対応して式（１１）が生成される。
【００８３】
【数１１】
2013020584.tif 000013
・・・（１１）
【００８４】
また、式（６）に対応して式（１２）が生成される。
【００８５】
【数１２】
2013020584.tif 000014
・・・（１２）
【００８６】
さらに、式（７）に対応して式（１３）が生成される。
【００８７】
【数１３】
2013020584.tif 000015
・・・（１３）
【００８８】
さらに、式（１１）、式（１２）、および式（１３）から、式（１４）および式（１５）を導出することができる。
【００８９】
【数１４】
2013020584.tif 000016
・・・（１４）
【００９０】
【数１５】
2013020584.tif 000017
・・・（１５）
【００９１】
式（１４）と式（１５）を用いて変数ａを消去することで、式（１６）によって被写体の速度ｖxを算出することが可能となる。
【００９２】
【数１６】
2013020584.tif 000018
・・・（１６）
【００９３】
また、以上においては、撮像素子の画素として露光時間の異なる２種類の画素が存在することを前提とした例について説明したが、撮像素子の画素として露光時間の異なる３種類の画素が存在する場合であっても本技術を適用することができる。
【００９４】
例えば、図８に示されるように、露光時間ｓ1、露光時間ｓ2、露光時間ｓ3の３種類の露光時間を有する画素が存在するものとする。図８は、注目画素と注目画素に隣接する画素の露光のタイミングを説明する図である。なお、同図の横軸は時間を表している。
【００９５】
なお、ここでは、注目画素は、Ｐx0，s2とされ、注目画素から水平方向に距離ｌだけ離れた画素Ｐx0-l，s1、および、画素Ｐx0+l，s1を考える。距離ｌが、各画素間の距離に等しいものとすると、画素Ｐx0-l，s1は、図２において注目画素の左側に隣接する画素となり、画素Ｐx0+l，s1は、図２において注目画素の右側に隣接する画素となる。
【００９６】
図８に示されるように、露光時間がｓ2である注目画素Ｐx0，s2、露光時間がｓ1である画素Ｐx0-l，s1、および、露光時間がｓ3である画素Ｐx0+l，s1は、フレーム開始時刻ｔ0において、同時に露光開始される。そして、注目画素Ｐx0は時刻ｔ0から時間ｓ2が経過したとき、露光終了され、画素Ｐx0-lは、時刻ｔ0から時間ｓ1が経過したとき、露光終了され、画素Ｐx0+lは、画素Ｐx0-lは、時刻ｔ0から時間ｓ3が経過したとき、露光終了される。次のフレームにおいても各画素が同様に露光開始、露光終了される。
【００９７】
これらの画素を用いて式（５）乃至式（７）に対応する式を生成する。
【００９８】
すなわち、式（５）に対応して式（１７）が生成される。
【００９９】
【数１７】
2013020584.tif 000019
・・・（１７）
【０１００】
また、式（６）に対応して式（１８）が生成される。
【０１０１】
【数１８】
2013020584.tif 000020
・・・（１８）
【０１０２】
さらに、式（７）に対応して式（１９）が生成される。
【０１０３】
【数１９】
2013020584.tif 000021
・・・（１９）
【０１０４】
さらに、式（１７）、式（１８）、および式（１９）から、式（２０）および式（２１）を導出することができる。
【０１０５】
【数２０】
2013020584.tif 000022
・・・（２０）
【０１０６】
【数２１】
2013020584.tif 000023
・・・（２１）
【０１０７】
式（２０）と式（２１）を用いて変数ａを消去することで、式（２２）によって被写体の速度ｖxを算出することが可能となる。
【０１０８】
【数２２】
2013020584.tif 000024
・・・（２２）
【０１０９】
このように、本技術によれば、露光時間の異なる撮像素子を用いて撮像された画像の動きを、より精度よく検出することができる。また、従来の勾配法やブロックマッチングなどとは異なり、１フレーム内の画素を用いた動き量の検出が可能となる。
【０１１０】
以上においては、画面内の水平方向の動き量のみを検出する例について説明したが、同様にして画面内の垂直方向の動き量も検出することが可能である。斜め方向の動き量は、水平方向の動きベクトルと垂直方向の動きベクトルに基づいて特定することができるので、本技術により画面内の全ての方向の動き量を検出することが可能である。
【０１１１】
また、以上においては、撮像画像の被写体を構成する画素の輝度値（画素値）を一次式（式（１））で近似できる場合の例について説明したが、２次式以上の次数の式で近似されるようにしてもよい。この場合、近似式における変数が増えるので、必要に応じて画素値取得部１０１が取得する画素値の数を増やすようにすればよい。
【０１１２】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図９に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１１３】
図９において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１４】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１１５】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１１６】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１１７】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１１８】
なお、この記録媒体は、図９に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１１９】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２０】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２１】
なお、本技術は以下のような構成も取ることができる。
【０１２２】
（１）  複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、
注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、
前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、
前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、
前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部と
を備える画像処理装置。
（２）  前記周辺画素は、
前記近似式に含まれる変数に応じた数の画素であって、前記注目画素と同一のフレームの画像の画素とされる
（１）に記載の画像処理装置。
（３）  前記周辺画素は、
前記近似式に含まれる変数に応じた数の画素であって、前記注目画素とは異なるフレームの画像の画素とされる
（１）に記載の画像処理装置。
（４）  前記移動速度算出部は、
前記注目画素の値および前記周辺画素の値を、それぞれ前記近似式と前記被写体の移動速度に基づいて定まる値を前記露光時間によって積分する第１の数式により表したとき、
前記第１の数式と、前記画素間距離とを用いて定式化された前記被写体の移動速度を表す第２の数式に、前記注目画素および前記周辺画素の観測値を代入することで前記移動速度を算出する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  近似式生成部が、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成し、
画素値取得部が、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得し、
露光時間取得部が、前記注目画素および前記周辺画素のそれぞれの露光時間を取得し、
速度算出部が、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出し、
動き量特定部が、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定するステップ
を含む画像処理方法。
（６）  コンピュータを、
複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、
注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、
前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、
前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、
前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置として機能させる
プログラム。
（７）  ６に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１２３】
１１  デジタルカメラ，  ４１  撮像部，  ５１  撮像レンズ，  ５２  撮像素子，  ５３  カメラ信号処理部，  ５４  ＳＤＲＡＭ，  ５５  動き量検出部，  ５７  補正部，  ６０  表示制御部，  ６１  表示部，  １０１  画素取得部，  １０２  露光時間取得部，  １０３  近似式生成部，  １１１  速度算出部，  １１２  動き量特定部
【図１】
2013020584.tif 000025
【図２】
2013020584.tif 000026
【図３】
2013020584.tif 000027
【図４】
2013020584.tif 000028
【図５】
2013020584.tif 000029
【図６】
2013020584.tif 000030
【図７】
2013020584.tif 000031
【図８】
2013020584.tif 000032
【図９】
2013020584.tif 000033