(57)【要約】  処理時間を抑えて高精度の動き検出処理を行うことを目的として、本発明に係る撮像装置（１）は、被写体の画像を時系列に取得する撮像部と、該撮像部により取得された画像間の動きベクトルを解像度の異なる２階層以上の画像を用いて検出できる階層的動き検出部（１４）と、該撮像部により取得された画像を複数の部分領域に分割し、各該部分領域に設定された検出用画素における画素値の時間変化を検出する画素値変化検出部と、該画素値変化検出部により検出された時間変化が大きい検出用画素を含む部分領域ほど、階層的動き検出部（１４）における階層数が多くなるように設定する階層的動き検出設定部（１５）とを備える撮像装置（１）である。
2016185598.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像を時系列に取得する撮像部と、
該撮像部により取得された画像間の動きベクトルを解像度の異なる２階層以上の画像を用いて検出できる階層的動き検出部と、
該撮像部により取得された前記画像を複数の部分領域に分割し、各該部分領域に設定された検出用画素における画素値の時間変化を検出する画素値変化検出部と、
該画素値変化検出部により検出された前記時間変化が大きい前記検出用画素を含む前記部分領域ほど、前記階層的動き検出部における階層数が多くなるように設定する階層的動き検出設定部とを備える撮像装置。
【請求項２】
前記撮像部および前記画素値変化検出部が、撮像素子に備えられる回路である請求項１に記載の撮像装置。
【請求項３】
前記画素値変化検出部が、前記撮像部により取得された１フレーム前の画像を記憶する記憶回路と、該記憶回路に記憶されている１フレーム前の画像と現在の画像との差分を前記時間変化として演算する演算回路とを備える請求項１に記載の撮像装置。
【請求項４】
前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出部における動き検出処理が行われないように設定する請求項１から請求項３のいずれかに記載の撮像装置。
【請求項５】
前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出部における動き検出処理の探索範囲を広げるように設定する請求項１から請求項４のいずれかに記載の撮像装置。
【請求項６】
時系列に取得された画像間の動きベクトルを解像度の異なる２階層以上の画像を用いて検出できる階層的動き検出回路と、
１フレーム前に取得された画像を記憶する記憶回路と、
該記憶回路に記憶されている１フレーム前の画像と現在の画像との差分を演算する演算回路と、
該演算回路により算出された前記差分が大きい検出用画素を含む部分領域ほど多くなるように、前記階層的動き検出回路における階層数を設定する階層的動き検出設定回路とを備える画像処理装置。
【請求項７】
前記階層的動き検出設定回路は、前記演算回路により演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出回路における動き検出処理が行われないように設定する請求項６に記載の画像処理装置。
【請求項８】
前記階層的動き検出設定回路は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出回路における動き検出処理の探索範囲を広げるように設定する請求項６または請求項７に記載の画像処理装置。
【請求項９】
時系列に取得された２枚の画像の差分を演算する演算ステップと、
該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、
該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとを含む画像処理方法。
【請求項１０】
前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については除外して動きベクトルを検出する請求項９に記載の画像処理方法。
【請求項１１】
前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が大きいほど探索範囲を広げて動きベクトルを検出する請求項９または請求項１０に記載の画像処理方法。
【請求項１２】
時系列に取得された２枚の画像の差分を演算する演算ステップと、
該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、
該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラム。
【請求項１３】
時系列に取得された２枚の画像の差分を演算する演算ステップと、
該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、
該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体に関するものである。
【背景技術】
【０００２】
低解像度変換した画像間で動きを検出した後、その動き検出結果を引き継いで高解像度画像においてさらに高精度の動き検出を行う画像処理方法が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５８０６１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の画像処理方法では、全ての画像について、解像度の異なる複数の画像を生成し、低解像度画像から高解像度画像へと動き検出結果を階層的に伝搬させながら動き検出処理を繰り返すため、処理時間がかかる。
本発明は、上述した事情に鑑みてなされたものであって、処理時間を抑えて高精度の動き検出処理を行うことができる撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
本発明の一態様は、被写体の画像を時系列に取得する撮像部と、該撮像部により取得された画像間の動きベクトルを解像度の異なる２階層以上の画像を用いて検出できる階層的動き検出部と、該撮像部により取得された前記画像を複数の部分領域に分割し、各該部分領域に設定された検出用画素における画素値の時間変化を検出する画素値変化検出部と、該画素値変化検出部により検出された前記時間変化が大きい前記検出用画素を含む前記部分領域ほど、前記階層的動き検出部における階層数が多くなるように設定する階層的動き検出設定部とを備える撮像装置である。【０００６】
本態様によれば、撮像部により時系列に取得された画像の複数の部分領域毎に検出用画素における画素値の時間変化が画素値変化検出部により検出され、検出された画素値の時間変化の大きさに基づいて、その検出用画素を含む部分領域の動き検出処理の階層数が設定される。画素値の時間変化が小さければ、その検出用画素を含む部分領域についてはより高解像度の階層の画像による動き検出処理が行われ、画素値の時間変化が大きければ、その検出用画素を含む部分領域についてはより低解像度の階層の画像から高解像度の階層の画像へと動き検出結果が階層的に伝搬されながら動き検出処理が繰り返される。【０００７】
すなわち、検出用画素の画素値の時間変化が小さい部分領域については、より低解像度の画像を用意することなく、高解像度の画像を用いて動き検出処理を行うことができ、処理時間を短縮することができる。一方、検出用画素の画素値の時間変化が大きい部分領域については、より低解像度の画像からの動き検出処理を引き継ぐことにより、動き検出を階層的に行って、高精度の動き検出を行うことができる。【０００８】
上記態様においては、前記撮像部および前記画素値変化検出部が、撮像素子に備えられる回路であってもよい。
このようにすることで、撮像素子に備えられる撮像回路により画像が取得される際に、同じく撮像素子に備えられる画素値変化検出回路が、検出用画素における画素値の時間変化を検出して出力するので、簡易な構成の画像処理回路によって、処理時間を短縮し、かつ高精度の動き検出を行うことができる。【０００９】
また、上記態様においては、前記画素値変化検出部が、前記撮像部により取得された１フレーム前の画像を記憶する記憶回路と、該記憶回路に記憶されている１フレーム前の画像と現在の画像との差分を前記時間変化として演算する演算回路とを備えていてもよい。
このようにすることで、撮像部により取得された画像が記憶回路に記憶され、次のフレームの画像が撮像部により取得されたときに、記憶回路から読み出された１フレーム前の画像と現在の画像との差分が、演算回路によって検出用画素の画素値の時間変化として演算される。特殊な撮像素子を用いることなく、演算によって画素値の時間変化を得ることができ、処理時間を短縮し、かつ高精度の動き検出を行うことができる。【００１０】
また、上記態様においては、前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出部における動き検出処理が行われないように設定してもよい。
このようにすることで、検出用画素の画素値の時間変化が所定の閾値以下の場合には、当該画素値を含む部分領域についての階層的動き検出部による動き検出処理が行われないので、動きの小さい部分における無駄な動き検出処理が防止され、処理時間をさらに短縮することができる。【００１１】
また、上記態様においては、前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出部における動き検出処理の探索範囲を広げるように設定してもよい。
このようにすることで、検出用画素の画素値の時間変化が小さいほど探索範囲は狭くて済むので、処理時間を短縮することができる。【００１２】
また、本発明の他の態様は、時系列に取得された画像間の動きベクトルを解像度の異なる２階層以上の画像を用いて検出できる階層的動き検出回路と、１フレーム前に取得された画像を記憶する記憶回路と、該記憶回路に記憶されている１フレーム前の画像と現在の画像との差分を演算する演算回路と、該演算回路により算出された前記差分が大きい検出用画素を含む部分領域ほど多くなるように、前記階層的動き検出回路における階層数を設定する階層的動き検出設定回路とを備える画像処理装置である。【００１３】
本態様によれば、時系列に取得された１フレーム前の画像が記憶回路に記憶され、現在の画像が取得されたときに演算回路によって２つの画像の差分が演算される。そして、演算された差分が大きい検出用画素を含む部分領域ほど、多くの動き検出処理の階層数が階層的動き検出設定回路によって設定される。画素値の差分が小さければ、その検出用画素を含む部分領域についてはより高解像度の階層の画像による動き検出処理が行われ、画素値の時間変化が大きければ、その検出用画素を含む部分領域についてはより低解像度の階層の画像から高解像度の階層の画像へと動き検出結果が階層的に伝搬されながら動き検出処理が繰り返される。これにより、処理時間を短縮することができるとともに、高精度の動き検出を行うことができる。【００１４】
上記態様においては、前記階層的動き検出設定回路は、前記演算回路により演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出回路における動き検出処理が行われないように設定してもよい。
また、上記態様においては、前記階層的動き検出設定回路は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出回路における動き検出処理の探索範囲を広げるように設定してもよい。【００１５】
また、本発明の他の態様は、時系列に取得された２枚の画像の差分を演算する演算ステップと、該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとを含む画像処理方法である。【００１６】
上記態様においては、前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については除外して動きベクトルを検出してもよい。
また、上記態様においては、前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が大きいほど探索範囲を広げて動きベクトルを検出してもよい。【００１７】
また、本発明の他の態様は、時系列に取得された２枚の画像の差分を演算する演算ステップと、該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラムである。【００１８】
また、本発明の他の態様は、時系列に取得された２枚の画像の差分を演算する演算ステップと、該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体である。
【発明の効果】
【００１９】
本発明によれば、処理時間を抑えて高精度の動き検出処理を行うことができるという効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る撮像装置を示す模式図である。
【図２】図１の撮像装置に備えられる撮像素子の構造を模式的に示す図である。
【図３】図２の撮像素子における検出用画素の配置を説明する図である。
【図４】図１の撮像装置による階層的動き検出処理のイメージを示す図である。
【図５Ａ】図２の撮像素子の各検出用画素における画素値の時間変化量の分布例を示す図である。
【図５Ｂ】図５Ａの各検出用画素の画素値の時間変化量と動き検出の設定との関係を示す図である。
【図５Ｃ】図５Ｂによる設定に基づく部分領域毎の動き検出の相違を示す図である。
【図６Ａ】図５Ａの変形例を示す図である。
【図６Ｂ】図６Ａの各検出用画素の画素値の時間変化量と動き検出の設定との関係を示す図である。
【図６Ｃ】図６Ｂによる設定に基づく部分領域毎の動き検出の相違を示す図である。
【図７】図２の撮像素子の変形例を示す図である。
【図８】図２の撮像素子の他の変形例を示す図である。
【図９】図２の撮像素子のさらに他の変形例を示す図である。
【図１０】図２の撮像素子のさらに他の変形例を示す図である。
【図１１】図１の撮像装置の変形例を示す模式図である。
【図１２】図１の撮像装置の他の変形例を示す模式図である。
【図１３】図１２の撮像装置に備えられる画像処理装置による画像処理方法を説明するフローチャートである。
【発明を実施するための形態】
【００２１】
本発明の一実施形態に係る撮像装置１について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、被写体からの光を集光する光学系２と、該光学系２により集光された光を撮影して画像を取得する撮像素子３と、該撮像素子３により取得された画像を処理する画像処理装置４とを備えている。
【００２２】
撮像素子３は、図２に示されるように、３層構造を備えている。
表面の第１層５は、光電変換素子６ａ，６ｂを２次元的に配列してなるＰＤ層である。各光電変換素子６ａ，６ｂは、被写体からの光を受けて、該光の強度に応じた大きさを有する電流信号を出力するようになっている。
【００２３】
第１層５の下層に配置されている第２層７は、読み出し回路８を備えるＲＯ層である。ＲＯ層は、ＰＤ層の各光電変換素子６ａ，６ｂからの電流信号を電圧信号に変換し、該電圧信号と該光電変換素子６ａ，６ｂに対応する画素のアドレスとを対応づけた画像信号を出力するようになっている。第１層５および第２層７により撮像部３ａが構成されている。
第２層７の下層に配置されている第３層９は、特定の読み出し回路８により読み出された画素値の時間変化を検出する動き検出回路（画素値変化検出部）１０を備えている。
【００２４】
各光電変換素子６ａ，６ｂは画素を構成し、図３に示されるように、そのうちの所定間隔をあけた複数の画素が検出用画素ＭＶ１からＭＶ９として機能するようになっている。図３に示す例では、光電変換素子６ａ，６ｂは縦横に配列され、検出用画素ＭＶ１からＭＶ９は、説明を簡単にするために、縦方向および横方向に４画素毎に配置されている。本実施形態においては、図５Ｃに示されるように、各光電変換素子６ａ，６ｂを含む４行４列の１６個の画素を部分領域Ｑ１からＱ９として定義している。
【００２５】
動き検出回路１０は、各検出用画素ＭＶ１からＭＶ９から出力された電圧信号を微分器によって微分情報に変換し、微分情報により電圧信号が増加傾向または減少傾向に変化しているときにパルス列を発生させ、所定の閾値以上の振幅値を有するパルスの単位時間当たりの数を対応する検出用画素ＭＶ１からＭＶ９のアドレスとともに出力するようになっている。すなわち、本実施形態においては、撮像素子３からは、被写体の画像信号と、４画素毎に配置された複数の検出用画素ＭＶ１からＭＶ９におけるパルス数およびアドレスとが出力されるようになっている。
【００２６】
画像処理装置４は、撮像素子３から出力された被写体の画像信号を蓄積する画像蓄積部１１と、該画像蓄積部１１に蓄積された画像信号にデモザイキング処理を施すデモザイキング部１２と、デモザイキング処理が施された画像信号に圧縮符号化処理を施す圧縮符号化部１３と、撮像素子３から出力されたパルス数に基づいて後述する階層的動き検出部１４において用いられる階層数を設定する階層的動き検出切替部（階層的動き検出設定部）１５とを備えている。
【００２７】
デモザイキング部１２では、入力された画像信号がベイヤ配列等の場合に、画素補間されるとともに、カラー化されるようになっている。
圧縮符号化部１３は、階層的動き検出部１４を備えている。
【００２８】
階層的動き検出部１４は、図４に示されるように、階層的動き検出切替部１５から送られてくる階層数に応じた段階数だけ入力された画像信号に縮小処理を行い、最も低解像度の画像において動き検出処理を開始し、その動き検出結果を引き継いで順次高解像度の画像における動き検出処理を行うようになっている。図４に示す例では、階層数１から４の場合が示されており、例えば、階層数４の場合には、デモザイキング部１２から入力されてきた高解像度の元画像を３段階縮小処理した最も低解像度の画像において動き検出処理を開始し、２段階縮小画像、１段階縮小画像、元画像へと動き検出結果の動きベクトルを伝搬しながらそれぞれ動き検出処理を施すようになっている。階層数３から１の場合も同様である。
【００２９】
階層的動き検出切替部１５は、検出用画素ＭＶ１からＭＶ９の画素値の時間変化が所定の閾値より大きいか否かによって、該検出用画素ＭＶ１からＭＶ９を含む部分領域Ｑ１からＱ９の階層的動き検出部１４による動き検出処理における階層数を切り替えるようになっている。
例えば、図５Ａに示されるように１２×１２個の画素のうち、４画素毎に配置された９個の検出用画素ＭＶ１からＭＶ９について撮像素子３から出力された画素値の時間変化をその大きさによって、図５Ｂに示されるように分類する。
【００３０】
すなわち、階層的動き検出切替部１５は、
検出用画素ＭＶ１，ＭＶ２，ＭＶ４，ＭＶ８，ＭＶ９：閾値Ｔｈ１以下、
検出用画素ＭＶ３，ＭＶ６：閾値Ｔｈ１より大きく閾値Ｔｈ２以下、
検出用画素ＭＶ５：閾値Ｔｈ２より大きく閾値Ｔｈ３以下、
検出用画素ＭＶ７：閾値Ｔｈ３より大きい
場合には、図５Ａに示されるように階層数を切り替えるようになっている。
【００３１】
これにより、図５Ａおよび図５Ｃに示されるように、検出用画素ＭＶ１，ＭＶ２，ＭＶ４，ＭＶ８，ＭＶ９を含む部分領域Ｑ１，Ｑ２，Ｑ４，Ｑ８，Ｑ９については階層数Ｒ＝０、検出用画素ＭＶ３，ＭＶ６を含む部分領域Ｑ３，Ｑ６については階層数Ｒ＝１、検出用画素ＭＶ５を含む部分領域Ｑ５については階層数Ｒ＝２、検出用画素ＭＶ７を含む部分領域Ｑ７についてはＲ＝３と設定するようになっている。
【００３２】
階層数Ｒ＝０と設定された部分領域Ｑ１，Ｑ２，Ｑ４，Ｑ８，Ｑ９については、動きベクトルが存在しない静止領域として扱い、そもそも動き検出処理を行わないようになっている。階層数Ｒ＝１と設定された部分領域Ｑ３，Ｑ６については、最高解像度の元画像のみを用いて動き検出処理が行われるようになっている。また、階層数Ｒ＝２と設定された部分領域Ｑ５については、最高解像度の元画像および１段階縮小された低解像度画像を用いて動き検出処理が行われるようになっている。さらに、階層数Ｒ＝３と設定された部分領域Ｑ７については、最高解像度の元画像、１段階縮小画像および２段階縮小画像を用いて動き検出処理が行われるようになっている。
【００３３】
このように構成された本実施形態に係る撮像装置１の作用について以下に説明する。
本実施形態に係る撮像装置１を用いて被写体の撮影を行うと、撮像部３ａによって画像信号が取得されるとともに、間隔をあけて配列された複数の検出用画素ＭＶ１からＭＶ９によって、当該検出用画素ＭＶ１からＭＶ９に対応する位置の画素値の時間変化が検出用画素ＭＶ１からＭＶ９のアドレスとともに取得される。
【００３４】
撮像部３ａにより取得された画像信号は、画像処理装置４内の画像蓄積部１１に蓄積された後、デモザイキング部１２に送られてデモザイキング処理が施される。デモザイキング処理が施された画像信号は、圧縮符号化部１３に送られて圧縮符号化処理が施される。
圧縮符号化部１３における圧縮符号化処理においては、階層的動き検出部１４において動き検出処理が行われ、画像の動きベクトルが求められる。
【００３５】
この場合において、本実施形態に係る撮像装置１によれば、階層的動き検出部１４における動き検出処理が、撮像部３ａから出力された検出用画素ＭＶ１からＭＶ９の画素値の時間変化の大きさに応じて、階層的動き検出切替部１５により切り替えられる。
すなわち、検出用画素ＭＶ１からＭＶ９の画素値の時間変化が所定の閾値Ｔｈ１以下である検出用画素ＭＶ１，ＭＶ２，ＭＶ４，ＭＶ８，ＭＶ９を含む部分領域Ｑ１，Ｑ２，Ｑ４，Ｑ８，Ｑ９については、階層的動き検出切替部１５において、階層数Ｒ＝０と設定され、階層的動き検出部１４においては動き検出処理が行われない。これにより、動き検出処理に要する処理時間を大幅に短縮することができる。
【００３６】
また、検出用画素ＭＶ１からＭＶ９の画素値の時間変化が閾値Ｔｈ１より大きい検出用画素ＭＶ３，ＭＶ５，ＭＶ６，ＭＶ７を含む部分領域Ｑ３，Ｑ５，Ｑ６，Ｑ７については時間変化の大きさに応じて階層数をＲ＝１からＲ＝３の間で切り替えるようになっている。
このようにすることで、全ての領域にわたる画素について、同等の高い階層数で動き検出処理していた従来の場合と比較して、時間変化の小さい部分領域Ｑ１，Ｑ２，Ｑ４，Ｑ８，Ｑ９についてはより少ない階層数で動き検出処理を行うことができ、動き検出処理に要する処理時間を大幅に短縮することができるという利点がある。そして、時間変化の大きい部分領域Ｑ３，Ｑ５，Ｑ６，Ｑ７についてのみ、より多い階層数で動き検出処理を行って、高精度に動きベクトルを検出することができるという利点がある。
【００３７】
なお、本実施形態においては、検出用画素ＭＶ１からＭＶ９の画素値の時間変化の大きさに応じて動き検出処理における階層数を切り替えることとしたが、これに加えて、階層的動き検出部１４の探索範囲を切り替えることにしてもよい。
すなわち、図６Ａから図６Ｃに示されるように、検出用画素ＭＶ１からＭＶ９の画素値の時間変化の大きさに応じて、閾値により分類し、検出用画素ＭＶ１，ＭＶ２，ＭＶ４，ＭＶ８，ＭＶ９を含む部分領域Ｑ１，Ｑ２，Ｑ４，Ｑ８，Ｑ９については探索範囲：±０画素、検出用画素ＭＶ３，ＭＶ６を含む部分領域Ｑ３，Ｑ６については探索範囲±８画素、検出用画素ＭＶ５を含む部分領域Ｑ５については探索範囲：±１６画素、検出用画素ＭＶ７を含む部分領域Ｑ７については探索範囲±３２画素と設定するようになっている。
【００３８】
図６Ｂにおいては、最高解像度の画像を用いた動き検出処理における探索範囲を例示したが、より低解像度の画像を用いた動き検出処理においては、縮小率を考慮して対応する探索範囲を設定すればよい。
【００３９】
また、本実施形態においては、画像信号を出力する画素とは別に検出用画素を配置した例を示したが、図７に示されるように、検出用画素が両者を兼用することにしてもよい。
すなわち、同一露光で信号を分岐してもよいし、時分割で兼用するようにしてもよい。時分割の場合には、取得された画像信号は画像メモリに転送して保持し、再露光できるようにすればよい。
【００４０】
また、動き検出のＳ／Ｎ比およびアンダーサンプリングによる折り返しを低減するために、検出用画素の信号を加算平均するようにしてもよい。検出用画素が離間している場合、開口の帯域に対してサンプリング周期が低いという現象が起こり、結果として、高周波のパターンの動きを低周波のパターンの動きとして検出してしまう折り返し（エイリアシング）が生じる。これを防ぐために、図８に示されるように、隣接する検出用画素の信号を統合し加算平均処理を行った後に階層的動き検出切替部１５に送ることにすればよい。
【００４１】
また、検出用画素が画像信号取得を兼用する場合には、図９に示されるように、複数の隣接する画素の信号を統合して加算平均した後に階層的動き検出切替部１５に送ることにしてもよい。
また、ＰＤ層がカラーのベイヤ配列の場合には、部分領域毎に同色（例えば、Ｇチャネル）の画素の加算平均を行い、その結果に応じて、動き検出処理を切り替えることにしてもよい。
【００４２】
また、図１０に示されるように、画像信号取得用の光電変換素子６ａが配列された第１層１６とは別に、検出用画素の光電変換素子６ｂが配列された第３層１７を備える撮像素子３を採用してもよい。シリコン基板が薄い場合に長波長の光が透過することが知られており、これを利用して、第１層１６および第２層７を透過した光の一部を第３層１７に到達させることができる。これにより、第１層１６の全ての画素からの画像信号を画像形成用に利用することができる。
【００４３】
また、本実施形態においては、圧縮符号化部１３において行われる階層的動き検出処理について説明したが、これに代えて、図１１に示されるように、合成処理部１９によるフレーム間の画像合成処理に先立って、位置合わせ処理部２０により行われる画像間の位置合わせ処理のために、階層的動き検出部１４において動き検出処理を行うことにしてもよい。
【００４４】
また、本実施形態においては、検出用画素の画素値の時間変化を撮像部３ａから直接出力させることとしたが、これに代えて、図１２に示されるように、時系列的に取得された２枚の画像の差分を算出する差分算出部１８を設け、該差分算出部１８から出力された特定の検出用画素における差分値を画素値の時間変化として、差分値の大きさに基づいて、階層的動き検出切替部１５が、動き検出処理における階層数を部分領域毎に切り替えることにしてもよい。
【００４５】
このようにすることで、撮像部３ａとして検出用画素の画素値の時間変化を出力する特殊なものを用いることなく、後段の画像処理において実施することが可能となる。
すなわち、本発明は、時系列に取得された画像を記憶する画像蓄積部（記憶回路）１１と、時系列に取得された画像の差分値を演算する差分算出部（演算回路）１８とを備える画素値変化検出部２１と、差分値が大きいほど階層数を多くするように切り替える階層的動き検出切替部（階層的動き検出設定回路）１５と、切り替えられた階層数で、部分領域ごとに動き検出処理を行う階層的動き検出部（階層的動き検出回路）１４とを備える画像処理装置４として概念することができる。
【００４６】
そして、このように構成された画像処理装置４を用いた画像処理方法は、図１３に示されるように、撮像素子３から画像信号が入力される画像入力ステップＳ１と、該画像入力ステップＳ１により入力された画像信号を画像蓄積部１１に記憶する画像記憶ステップＳ２と、既に画像蓄積部１１に記憶されている１フレーム前の画像を読み出す画像読出ステップＳ３と、入力された現フレームの画像と読み出した１フレーム前の画像との差分を差分算出部１８において演算する差分演算ステップ（演算ステップ）Ｓ４とを備えている。
【００４７】
また、差分が演算されたときに、ｎ＝１にリセットし（ステップＳ５）、ｎ＝１からｎ＝ｍまで、ｍ個の検出用画素に対応する差分値Ｐｎを各閾値Ｔｈ１からＴｈ４と比較する（ステップＳ６からＳ１２）。まず、差分値Ｐｎが閾値Ｔｈ１以下であるか否かが判定され（ステップＳ６）、閾値Ｔｈ１以下である場合には、ｎ番目の検出用画素の階層数Ｒｎ＝０とし（階層数設定ステップＳ７）、ｎ＝ｍか否かを判定する（ステップＳ１５）。
【００４８】
差分値Ｐｎが閾値Ｔｈ１以下ではない場合には、差分値Ｐｎが閾値Ｔｈ２以下であるか否かが判定され（ステップＳ８）、閾値Ｔｈ２以下である場合には、ｎ番目の検出用画素の階層数Ｒｎ＝１とし（階層数設定ステップＳ９）、ｎ＝ｍか否かを判定する（ステップＳ１５）。
差分値Ｐｎが閾値Ｔｈ２以下ではない場合には、差分値Ｐｎが閾値Ｔｈ３以下であるか否かが判定され（ステップＳ１０）、閾値Ｔｈ３以下である場合には、ｎ番目の検出用画素の階層数Ｒｎ＝２とし（階層数設定ステップＳ１１）、ｎ＝ｍか否かを判定する（ステップＳ１５）。
【００４９】
差分値Ｐｎが閾値Ｔｈ３以下ではない場合には、差分値Ｐｎが閾値Ｔｈ４以下であるか否かが判定され（ステップＳ１２）、閾値Ｔｈ４以下である場合には、ｎ番目の検出用画素の階層数Ｒｎ＝３とし（階層数設定ステップＳ１３）、ｎ＝ｍか否かを判定する（ステップＳ１５）。
差分値Ｐｎが閾値Ｔｈ４以下ではない場合には、ｎ番目の検出用画素の階層数Ｒｎ＝４とし（階層数設定ステップＳ１４）、ｎ＝ｍか否かを判定する（ステップＳ１５）
ｎ＝ｍではない場合には、ｎをインクリメントして（ステップＳ１６）、ステップＳ６からの工程を繰り返す（階層的動き検出ステップＳ１７）。ｎ＝ｍである場合には処理を終了する。
【００５０】
このように、本実施形態に係る画像処理装置４および画像処理方法によれば、階層的動き検出処理における階層数を、時系列に取得した画像間の差分値に応じて部分領域毎に切り替えて画像間の動きベクトルを検出するので、全ての領域について同じ階層数の動き検出処理を行う従来の場合と比較して、処理時間を短縮することができるとともに、高精度の動き検出を行うことができるという利点がある。
【００５１】
なお、本実施形態に係る画像処理方法は、上記のように回路からなる画像処理装置４によって実行される場合の他、コンピュータにより実行することができる画像処理プログラムによっても実施することができる。この場合、ＣＰＵ等のプロセッサが画像処理プログラムを実行することで、本実施形態に係る画像処理方法が実施される。
【００５２】
具体的には記憶媒体に記憶された画像処理プログラムが読み出され、読み出された画像処理プログラムがＣＰＵ等のプロセッサにより実行される。ここで、記憶媒体は、プログラムやデータ等を格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ハードディスクドライブあるいはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。
【符号の説明】
【００５３】
１  撮像装置
３  撮像素子
３ａ  撮像部
４  画像処理装置
１０  動き検出回路（画素値変化検出部）
１１  画像蓄積部（記憶回路）
１４  階層的動き検出部（階層的動き検出回路）
１５  階層的動き検出切替部（階層的動き検出設定部、階層的動き検出設定回路）
１８  差分算出部（演算回路）
２１  画素値変化検出部
Ｓ４  差分演算ステップ（演算ステップ）
Ｓ７，Ｓ９，Ｓ１１，Ｓ１３，Ｓ１４  階層数設定ステップ
Ｓ１７  階層的動き検出ステップ
ＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４，ＭＶ５，ＭＶ６，ＭＶ７，ＭＶ８，ＭＶ９  検出用画素
Ｑ１，Ｑ２，Ｑ３，Ｑ４，Ｑ５，Ｑ６，Ｑ７，Ｑ８，Ｑ９  部分領域
【図１】
2016185598.tif 000003
【図２】
2016185598.tif 000004
【図３】
2016185598.tif 000005
【図４】
2016185598.tif 000006
【図５Ａ】
2016185598.tif 000007
【図５Ｂ】
2016185598.tif 000008
【図５Ｃ】
2016185598.tif 000009
【図６Ａ】
2016185598.tif 000010
【図６Ｂ】
2016185598.tif 000011
【図６Ｃ】
2016185598.tif 000012
【図７】
2016185598.tif 000013
【図８】
2016185598.tif 000014
【図９】
2016185598.tif 000015
【図１０】
2016185598.tif 000016
【図１１】
2016185598.tif 000017
【図１２】
2016185598.tif 000018
【図１３】
2016185598.tif 000019
【手続補正書】
【提出日】平成29年11月7日(2017.11.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
また、図１０に示されるように、画像信号取得用の光電変換素子６ａが配列された第１層５とは別に、検出用画素の光電変換素子６ｂが配列された第３層１７を備える撮像素子３を採用してもよい。シリコン基板が薄い場合に長波長の光が透過することが知られており、これを利用して、第１層５および第２層７を透過した光の一部を第３層１７に到達させることができる。これにより、第１層５の全ての画素からの画像信号を画像形成用に利用することができる。
【国際調査報告】
2016185598.tif 000020
2016185598.tif 000021
2016185598.tif 000022
2016185598.tif 000023