(57)【要約】【課題】静止画像または動画像の１つのフレームから動き量を検出する。【解決手段】特徴量検出部１０１は、入力画像内のオブジェクトの動き方向に、入力画像を一次微分した特徴を検出する。相関検出部１０２は、入力画像内のオブジェクトの画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関を検出する。動き量検出部１０３は、相関検出部１０２により検出された相関に応じて、入力画像内のオブジェクトの動き量を検出する。本発明は、画像処理装置に適用できる。【選択図】      図３７
2004302872.tif 000002
【特許請求の範囲】
【請求項１】
画像データ内のオブジェクトの動き方向に、前記画像データを一次微分した特徴を検出する特徴検出手段と、
前記画像データ内の前記オブジェクトの画素の中の少なくとも注目画素の前記特徴と、前記注目画素に対して前記動き方向に沿って配される対応画素の前記特徴との相関を検出する相関検出手段と、
前記相関検出手段により検出された前記相関に応じて、前記画像データ内の前記オブジェクトの動き量を検出する動き量検出手段と
を含むことを特徴とする画像処理装置。
【請求項２】
前記特徴検出手段は、前記動き方向に沿って隣接する画素の画素値の差分である隣接画素差分値を算出し、算出された前記隣接画素差分値の内の負の値である前記隣接画素差分値を、正の値に変換することにより、前記特徴を検出し、
前記動き量検出手段は、前記相関検出手段により検出された前記相関が最大である前記対応画素と前記注目画素との距離に応じて前記画像データ内の前記オブジェクトの動き量を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴検出手段は、前記動き方向に沿って前記画像データにソーベルフィルタの処理を適用することにより、前記特徴を検出し、
前記動き量検出手段は、前記相関検出手段により検出された前記相関が最小である前記対応画素と前記注目画素との距離に応じて前記画像データ内の前記オブジェクトの動き量を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
画像データ内のオブジェクトの動き方向に、前記画像データを一次微分した特徴を検出する特徴検出ステップと、
前記画像データ内の前記オブジェクトの画素の中の少なくとも注目画素の前記特徴と、前記注目画素に対して前記動き方向に沿って配される対応画素の前記特徴との相関を検出する相関検出ステップと、
前記相関検出ステップにおいて検出された前記相関に応じて、前記画像データ内の前記オブジェクトの動き量を検出する動き量検出ステップと
を含むことを特徴とする画像処理方法。
【請求項５】
画像データ内のオブジェクトの動き方向に、前記画像データを一次微分した特徴を検出する特徴検出ステップと、
前記画像データ内の前記オブジェクトの画素の中の少なくとも注目画素の前記特徴と、前記注目画素に対して前記動き方向に沿って配される対応画素の前記特徴との相関を検出する相関検出ステップと、
前記相関検出ステップにおいて検出された前記相関に応じて、前記画像データ内の前記オブジェクトの動き量を検出する動き量検出ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項６】
画像データ内のオブジェクトの動き方向に、前記画像データを一次微分した特徴を検出する特徴検出ステップと、
前記画像データ内の前記オブジェクトの画素の中の少なくとも注目画素の前記特徴と、前記注目画素に対して前記動き方向に沿って配される対応画素の前記特徴との相関を検出する相関検出ステップと、
前記相関検出ステップにおいて検出された前記相関に応じて、前記画像データ内の前記オブジェクトの動き量を検出する動き量検出ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像から動き量を検出する画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
動画像から、いわゆるブロックマッチングにより動き量を検出する技術が画像処理において広く利用されている。
【０００３】
また、第１のブロック切り出し部から入力される基準ブロックと、第２のブロック切り出し部から順次入力される検査ブロックとの類似の程度を示す評価値（誤差）を演算するとともに、基準ブロックと検査ブロックの位置の差に相当する動きベクトルを演算し、評価値の最小値Ｓｍｉｎおよび対応する動きベクトルを記憶し、２番目に小さい評価値Ｓ１を記憶し、評価値の差分Ｓｍｉｎ−Ｓ１を演算し、差分Ｓｍｉｎ−Ｓ１が所定の閾値よりも大きくないと判定した場合、第１のブロック切り出し部および第２のブロック切り出し部に、切り出すブロックのサイズを拡大させるようにしているものもある（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２０００−１０２０１４号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来は、動き量を検出するためには、動画像が必要とされた。静止画像または動画像の１つのフレームから動き量を検出することはできなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、静止画像または動画像の１つのフレームから動き量を検出することができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理装置は、画像データ内のオブジェクトの動き方向に、画像データを一次微分した特徴を検出する特徴検出手段と、画像データ内のオブジェクトの画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関を検出する相関検出手段と、相関検出手段により検出された相関に応じて、画像データ内のオブジェクトの動き量を検出する動き量検出手段とを含むことを特徴とする。
【０００８】
特徴検出手段は、動き方向に沿って隣接する画素の画素値の差分である隣接画素差分値を算出し、算出された隣接画素差分値の内の負の値である隣接画素差分値を、正の値に変換することにより、特徴を検出し、動き量検出手段は、相関検出手段により検出された相関が最大である対応画素と注目画素との距離に応じて画像データ内のオブジェクトの動き量を検出するようにすることができる。
【０００９】
特徴検出手段は、動き方向に沿って画像データにソーベルフィルタの処理を適用することにより、特徴を検出し、動き量検出手段は、相関検出手段により検出された相関が最小である対応画素と注目画素との距離に応じて画像データ内のオブジェクトの動き量を検出するようにすることができる。
【００１０】
本発明の画像処理方法は、画像データ内のオブジェクトの動き方向に、画像データを一次微分した特徴を検出する特徴検出ステップと、画像データ内のオブジェクトの画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関を検出する相関検出ステップと、相関検出ステップにおいて検出された相関に応じて、画像データ内のオブジェクトの動き量を検出する動き量検出ステップとを含むことを特徴とする。
【００１１】
本発明の記録媒体のプログラムは、画像データ内のオブジェクトの動き方向に、画像データを一次微分した特徴を検出する特徴検出ステップと、画像データ内のオブジェクトの画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関を検出する相関検出ステップと、相関検出ステップにおいて検出された相関に応じて、画像データ内のオブジェクトの動き量を検出する動き量検出ステップとを含むことを特徴とする。
【００１２】
本発明のプログラムは、画像データ内のオブジェクトの動き方向に、画像データを一次微分した特徴を検出する特徴検出ステップと、画像データ内のオブジェクトの画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関を検出する相関検出ステップと、相関検出ステップにおいて検出された相関に応じて、画像データ内のオブジェクトの動き量を検出する動き量検出ステップとを含むことを特徴とする。
【００１３】
本発明の画像処理装置および方法、記録媒体、並びにプログラムにおいては、画像データ内のオブジェクトの動き方向に、画像データを一次微分した特徴が検出され、画像データ内のオブジェクトの画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関が検出される。そして、相関に応じて、画像データ内のオブジェクトの動き量が検出される。
【００１４】
画像処理装置は、単独の装置であっても良く、画像処理を行うブロックであってもよい。
【００１５】
【発明の実施の形態】
図１は、本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【００１６】
図１で構成が示される画像処理装置においては、静止画像または動画像である入力画像の動き方向が検出され、動き方向が水平方向になるように入力画像が補正される。そして、動き方向に隣接する画素の画素値の差分値である、入力画像のオブジェクトの動き方向に一次微分した特徴量が検出される。
【００１７】
さらに、注目している画素の特徴量と動き方向に所定の距離の対応画素の特徴量との相関が検出され、検出された相関が最大である対応画素と注目画素との距離に応じてオブジェクトの動き量が検出される。
【００１８】
すなわち、図１で構成が示される画像処理装置は、動き方向検出部１、動き方向修正部２、特徴量検出部３、および動き量検出部４を含む。
【００１９】
さらに、動き方向検出部１は、アクティビティ演算部１１およびアクティビティ評価部１２を含む。動き方向修正部２は、アフィン変換部１３を含む。
【００２０】
特徴量検出部３は、差分演算部１４、差分評価部１５、中間画像作成部１６、中間画像作成部１７、フレームメモリ１８、符号反転部１９、およびフレームメモリ２０を含む。
【００２１】
さらに、動き量検出部４は、相関検出部２１および相関評価部２２を含む。
【００２２】
図１で構成が示される画像処理装置において、静止画像または動画像である入力画像は、動き方向検出部１および動き方向修正部２に供給される。
【００２３】
動き方向検出部１は、入力画像を取得して、取得した入力画像から動き方向を検出する。
【００２４】
動いている対象物を撮像したとき、対象物の画像には動きボケが生じる。これは、対象物の画像を撮像するカメラまたはビデオカメラのイメージセンサの働きによるものである。
【００２５】
すなわち、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサは、露光時間（シャッタ時間）において、画素毎に入射された光を連続的に電荷に変換し、さらに電荷を１つの画像値に変換する。撮像の対象物が静止しているとき、露光している期間において、対象物の同じ部位の画像（光）が１つの画素値に変換される。このように撮像された画像には、動きボケは含まれていない。
【００２６】
これに対して、対象物が動いているとき、露光している期間において、１つの画素に入射される対象物の部位の画像が変化し、対象物の異なる部位の画像が１つの画素値に変換されてしまう。逆に言えば、対象物の１つの部位の画像が複数の画素値に射影される。これが動きボケである。
【００２７】
動きボケは、対象物の動き方向に生じる。
【００２８】
動きボケが生じている部分（動きボケを含む領域）の動き方向に並んでいる画素の画素値のそれぞれに注目すると、動き方向に並んでいる画素の画素値には、対象物のほぼ同じ範囲の部位の画像が射影されている。従って、動きボケが生じている部分の、動き方向に並んでいる画素の画素値の変化は、より少なくなっていると言える。
【００２９】
動き方向検出部１は、このような入力画像における画素の画素値の変化、すなわちアクティビティを基に、動き方向を検出する。
【００３０】
より具体的には、動き方向検出部１のアクティビティ演算部１１は、予め定めた方向毎に、各方向に並んでいる画素の画素値の変化（アクティビティ）を演算する。例えば、アクティビティ演算部１１は、予め定めた方向毎に、各方向に対応して位置する画素の画素値の差分をアクティビティとして演算する。アクティビティ演算部１１は、演算した画素値の変化を示す情報をアクティビティ評価部１２に供給する。
【００３１】
アクティビティ評価部１２は、アクティビティ演算部１１から供給された、予め定めた方向毎の画素の画素値の変化の中の、最小の画素値の変化を選択し、選択した画素値の変化に対応する方向を動き方向とする。
【００３２】
動き方向検出部１は、このように検出した動き方向を示す動き方向情報を動き方向修正部２に供給する。
【００３３】
動き方向修正部２は、動き方向検出部１から供給された動き方向情報を基に、動き方向が画像の水平方向となるように入力画像を変換する。
【００３４】
例えば、動き方向修正部２のアフィン変換部１３は、動き方向検出部１から供給された動き方向情報を基に、動き方向情報で示される動き方向が画像の水平方向となるように入力画像をアフィン変換する。
【００３５】
動き方向修正部２は、動き方向が画像の水平方向となるように変換された入力画像を特徴量検出部３に供給する。
【００３６】
特徴量検出部３は、動き方向修正部２から供給された画像の特徴量を検出する。
【００３７】
すなわち、特徴量検出部３の差分演算部１４は、入力画像の画素から１つの画素を選択することにより、注目している注目画素とする。そして、特徴量検出部３の差分演算部１４は、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより差分値を求める。
【００３８】
差分演算部１４は、入力画像の画素を順に注目画素として、差分値を求める。すなわち、差分演算部１４は、入力画像の全ての画素に対して、差分値を求める。差分演算部１４は、差分値に対応する注目画素の位置を示す情報（差分値の画面上の位置を示す位置情報）と共に、このように演算された差分値を差分評価部１５に供給する。
【００３９】
差分評価部１５は、差分値が０以上であるか否かを判定し、０以上である差分値を、差分値の画面上に位置を示す位置情報と共に、中間画像作成部１６に供給し、０未満である差分値を、差分値の画面上の位置を示す位置情報と共に、中間画像作成部１７に供給する。
【００４０】
中間画像作成部１６は、差分値の画面上に位置を示す位置情報と共に、差分評価部１５から供給された０以上である差分値を基に、差分値からなる中間画像を作成する。すなわち、中間画像作成部１６は、位置情報で示される画面上の位置の画素に、差分評価部１５から差分値が供給された０以上である差分値を設定し、差分評価部１５から差分値が供給されなかった位置の画素に０を設定して、中間画像を作成する。中間画像作成部１６は、このように作成した中間画像（以下、非反転中間画像と称する。）をフレームメモリ１８に供給する。
【００４１】
中間画像作成部１７は、差分値の画面上に位置を示す位置情報と共に、差分評価部１５から供給された０未満（負の値）である差分値を基に、差分値からなる中間画像を作成する。すなわち、中間画像作成部１７は、位置情報で示される画面上の位置の画素に、差分評価部１５から差分値が供給された０未満である差分値を設定し、差分評価部１５から差分値が供給されなかった位置の画素に０を設定して、中間画像を作成する。中間画像作成部１６は、このように作成した中間画像を符号反転部１９に供給する。
【００４２】
符号反転部１９は、中間画像作成部１７から供給された中間画像の画素に設定されている、０未満である差分値の符号を反転する。中間画像の画素に設定されている０である値の符号は、反転されない。すなわち、符号反転部１９は、中間画像作成部１７から供給された中間画像の画素に設定されている、０未満である差分値を選択し、選択した０未満である差分値を、差分値と同じ絶対値の０を超える値に変換する。例えば、−１５である差分値は、符号が反転され、１５に変換される。符号反転部１９は、このように符号が反転された中間画像（以下、反転中間画像と称する。）をフレームメモリ２０に供給する。
【００４３】
フレームメモリ１８は、０以上である差分値と０とからなる非反転中間画像を、特徴量として動き量検出部４に供給する。フレームメモリ２０は、符号が反転され０を超える値とされた差分値と０とからなる反転中間画像を、特徴量として動き量検出部４に供給す。
【００４４】
なお、特徴量検出部３は、入力画像全体に対する特徴量を検出することができる。
【００４５】
また、特徴量検出部３は、入力画像の所定の範囲の特徴量を検出することができる。例えば、特徴量検出部３は、動いている対象物の画像（オブジェクト）を検出し、動いている対象物の画像の特徴量を検出することができる。さらに例えば、特徴量検出部３は、動いている対象物の画像に属する画素から注目している画素である注目画素を選択し、注目画素の特徴量を検出することができる。
【００４６】
動き量検出部４は、特徴量検出部３から供給された特徴量を基に、動きを検出する。すなわち、動き量検出部４は、入力画像内の対象物の画像（オブジェクト）の画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関を検出し、検出された相関に応じて、入力画像内の対象物の画像（オブジェクト）の動き量を検出する。
【００４７】
動き量検出部４の相関検出部２１は、特徴量検出部３のフレームメモリ１８から供給された、特徴量としての、非反転中間画像と、特徴量検出部３のフレームメモリ２０から供給された、特徴量としての、反転中間画像との相関を検出する。相関検出部２１は、検出された相関を相関評価部２２に供給する。
【００４８】
より詳細に説明すれば、例えば、動き量検出部４の相関検出部２１は、特徴量検出部３のフレームメモリ１８から供給された、０以上である差分値と０とからなる非反転中間画像に対して、特徴量検出部３のフレームメモリ２０から供給された、符号が反転され０を超える値とされた差分値と０とからなる反転中間画像を、画素を単位として、画面の水平方向に移動させる（ずらす（シフトさせる））。すなわち、相関検出部２１は、反転中間画像を構成する画素の画面上の位置を水平方向に移動させる。
【００４９】
反転中間画像（の画素）を、画面上の水平方向に移動させることによって、非反転中間画像の画素と、反転中間画像の画素との画面上の位置の関係が変化する。例えば、移動前に、非反転中間画像の注目画素に対応する画面上の位置にある、反転中間画像の対応画素は、移動後において、移動量だけ、非反転中間画像の注目画素に対応する位置から離れることになる。より具体的には、反転中間画像を右に２０画素移動したとき、反転中間画像の対応画素は、非反転中間画像の注目画素に対応する位置から右に２０画素離れる。逆に言えば、移動後に、非反転中間画像の注目画素に対応する画面上の位置にある、反転中間画像の対応画素は、移動前において、注目画素に対応する位置から移動量だけ離れている。
【００５０】
相関検出部２１は、非反転中間画像と、移動された反転中間画像との、対応する位置の画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。
【００５１】
例えば、相関検出部２１は、非反転中間画像に対して、反転中間画像を、画面の左方向に７０画素乃至画面の右方向に７０画素の範囲で、１画素ずつ画面の水平方向に移動させ（ずらして）、移動させた位置毎（移動量毎）に、非反転中間画像および移動された反転中間画像について、画面上の同じ位置となる画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。
【００５２】
例えば、非反転中間画像に対して反転中間画像を、画面の左方向に移動するとき、移動量を負（マイナス）で表す。非反転中間画像に対して反転中間画像を、画面の右方向に移動するとき、移動量を正（プラス）で表す。相関検出部２１は、−７０画素乃至＋７０画素の移動量毎に、非反転中間画像および移動された反転中間画像について、画面上の同じ位置となる画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。
【００５３】
相関検出部２１は、移動量に対応する相関値を動き検出部２２に供給する。すなわち、相関検出部２１は、移動量と相関値との組を動き検出部２２に供給する。
【００５４】
相関評価部２２は、相関に応じて、入力画像内の対象物の画像の動き量を検出する。具体的には、相関評価部２２は、相関検出部２１から供給された相関のうち、最大の（最も強い）相関に対応する移動量を動き量とする。
【００５５】
例えば、相関評価部２２は、相関検出部２１から供給された相関値である、差分の絶対値の和の内、最小の値を選択し、選択された最小の値に対応する移動量を動き量に設定する。
【００５６】
相関評価部２２は、検出された動き量を出力する。
【００５７】
図２乃至図１１は、本発明の原理を説明する図である。
【００５８】
図２において、撮像の対象物である、白い前景オブジェクト５１は、他の撮像の対象物である、黒い背景オブジェクト５２の前（カメラ５３側）に配置され、図中の左側から右側に移動する。
【００５９】
この場合に、ＣＣＤまたはＣＭＯＳセンサなどのイメージセンサを有するカメラ５３が、所定の露光時間（シャッタ時間）で、背景オブジェクト５２と共に、前景オブジェクト５１を撮像する。
【００６０】
ここで、カメラ５３が出力する静止画像または動画像の１フレームに注目する。
【００６１】
背景オブジェクト５２は、黒いので、例えば、カメラ５は、背景オブジェクト５２の画像に対して０である画素値を出力する。前景オブジェクト５１は、白いので、例えば、カメラ５は、前景オブジェクト５１の画像に対して２５５である画素値を出力する。
【００６２】
図３は、カメラ５３のシャッタが開いた瞬間（露光を開始した瞬間）における位置に、前景オブジェクト５１が静止しているとき、カメラ５３が出力する静止画像の画素値を示す図である。
【００６３】
図４は、カメラ５３のシャッタが閉じる瞬間（露光を終了する瞬間）における位置に、前景オブジェクト５１が静止しているとき、カメラ５３が出力する静止画像の画素値を示す図である。
【００６４】
図５で示されるように、前景オブジェクト５１の画像の動き量は、カメラ５３のシャッタが開いた瞬間から、カメラ５３のシャッタが閉じる瞬間までに、前景オブジェクト５１の画像が移動した距離である。すなわち、図３で示される前景オブジェクト５１の画像の位置から、図４で示される前景オブジェクト５１の画像の位置までの距離は、動き量である。
【００６５】
図６は、背景オブジェクト５２の前を移動する前景オブジェクト５１をカメラ５３で撮像したときに、カメラ５３から出力される静止画像の画素値を示す図である。カメラ５３のイメージセンサは、露光時間（シャッタ時間）において、画素毎に対象物の画像（光）を連続的に電荷に変換し、さらに電荷を１つの画像値に変換するので、前景オブジェクト５１の画像は、複数の画素の画素値に射影される。図３または図４で示される画像の画素値の最大値に比較して、図６で示される画像の画素値の最大値は小さくなる。
【００６６】
図６で示される画素値のスロープの幅は、背景オブジェクト５２の画像の幅に対応する。
【００６７】
図６で示される画像の個々の画素について、右隣の画素との差分値を計算し、差分値を画素に設定すると、図７で示される、差分値からなる画像が得られる。
【００６８】
すなわち、図６で示される画像の画素から１つの画素が選択され、注目している注目画素とされる。そして、注目画素の画素値から、注目画素の右隣の画素の画素値が引き算されることにより差分値が求められる。差分値は、注目画素に対応する位置の画素に設定される。図６で示される画像の画素が順に注目画素とされ、図７で示される差分値からなる画像が求められる。
【００６９】
図３で示される、カメラ５３のシャッタが開いた瞬間における、前景オブジェクト５１の位置に対して１画素左側に、符号が負（マイナス）である差分値が現れ、図４で示される、カメラ５３のシャッタが閉じる瞬間における、前景オブジェクト５１の位置に対して１画素左側に、符号が正（プラス）である差分値が現れる。
【００７０】
図８は、図７で示される差分値の画像の内、符号が負（マイナス）である差分値を抽出して生成した画像を示す図である。
【００７１】
図９は、図７で示される差分値の画像の内、符号が正（プラス）である差分値を抽出して生成した画像を示す図である。
【００７２】
図１０は、図８で示される、抽出されて生成された画像の内、符号が負（マイナス）である差分値の符号を反転した値からなる画像を示す図である。すなわち、図１０で示される画像の値は、図８で示される符号が負（マイナス）である差分値を、差分値と同じ絶対値であって、符号が正（プラス）である値に変換されたものである。
【００７３】
図１０で示される、符号が負（マイナス）である差分値の符号を反転した値の位置と、図９で示される、符号が正（プラス）である差分値の位置とを比較すると、図１１で示されるように、符号が負（マイナス）である差分値の符号を反転した値の位置と符号が正（プラス）である差分値の位置との距離は、動き量と同じである。また、符号が負（マイナス）である差分値の符号を反転した値は、符号が正（プラス）である差分値とほぼ同じである。
【００７４】
従って、図１０で示される、符号が負（マイナス）である差分値の符号を反転した値と、図９で示される、符号が正（プラス）である差分値とのマッチングをとると、例えば、マッチングしたときの、符号が正（プラス）である差分値を基準とした、符号が負（マイナス）である差分値の符号を反転した値の移動量は、動き量と同じである。
【００７５】
例えば、符号が正（プラス）である差分値を基準として、符号が負（マイナス）である差分値の符号を反転した値が水平方向に移動され、その移動量毎に、負である差分値を反転した値と正である差分値との相関が検出され、最大の（最も強い）相関が検出される。最大の相関が検出されたときの移動量は、動き量と同じである。
【００７６】
より具体的には、例えば、符号が正（プラス）である差分値を基準として、符号が負（マイナス）である差分値の符号を反転した値が水平方向に移動され、その移動量毎に、負である差分値を反転した値と正である差分値との相関として、画素毎に、反転した値から正の差分値が引き算される。そして、引き算した結果の内の最小の値、すなわち最大の相関が検出される。検出された最大の相関に対応する移動量は、動き量と同じである。
【００７７】
以上のように、静止画像または動画像の１フレームから、露光時間（シャッタ時間）において、対象物の画像が移動した量である動き量を検出することができる。
【００７８】
すなわち、特徴量検出部３の差分演算部１４は、入力画像の画素から１つの画素を選択して、注目画素とし、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより、例えば、図７で示される差分値を演算する。差分評価部１５は、差分の符号を基に、正の差分値と負の差分値とに分類する。
【００７９】
中間画像作成部１６は、分類された正の差分値から、例えば、図９で示される正の差分値からなる非反転中間画像を作成する。中間画像作成部１７は、分類された負の差分値から、例えば、図８で示される負の差分値からなる中間画像を作成する。符号反転部１９は、負の差分値からなる中間画像の負の画素値の符号を反転することにより、例えば、図１０で示される反転中間画像を作成する。
【００８０】
動き量検出部４は、図１１で示されるように、相関が最も強い非反転中間画像と反転中間画像との移動量を求めて、求められた移動量を動き量とする。
【００８１】
特徴量検出部３が、動いている対象物の画像（オブジェクト）を検出し、動いている対象物の画像の特徴量を検出したとき、動き量検出部４は、特徴量を基に相関を検出し、検出された相関に応じて、入力画像内の対象物の画像（オブジェクト）の動き量を検出する。
【００８２】
また、特徴量検出部３が、動いている対象物の画像に属する画素から注目している画素である注目画素を選択し、注目画素の特徴量を検出したとき、動き量検出部４は、注目画素の特徴量と、注目画素に対して動き方向に沿って配される対応画素の特徴量との相関を検出し、検出された相関に応じて、入力画像内の対象物の画像の動き量を検出する。
【００８３】
図１２は、動き量の検出の処理を説明するフローチャートである。
【００８４】
ステップＳ１１において、動き方向検出部１および動き方向修正部２は、静止画像または動画像である入力画像を取得し、ステップＳ１２に進む。
【００８５】
ステップＳ１２において、動き方向検出部１１のアクティビティ演算部１１は、ステップＳ１１の処理により取得された入力画像の画素について、アクティビティを演算し、ステップＳ１３に進む。
【００８６】
例えば、アクティビティ演算部１１は、入力画像の画素のうち、注目している画素である注目画素を選択する。アクティビティ演算部１１は、注目画素の周辺の所定の数の周辺画素を抽出する。例えば、アクティビティ演算部１１は、注目画素を中心とした、縦×横が５×５の画素からなる周辺画素を抽出する。
【００８７】
そして、アクティビティ演算部１１は、抽出した周辺画素から、予め定めた画像上の方向に対応するアクティビティを検出する。
【００８８】
図１３乃至図２１は、画面の水平方向を基準として、０度乃至９０度の範囲の角度に対するアクティビティを検出するとき、差分が算出される画素の例を示す図である。図１３乃至図２１において、図面の横方向である空間方向Ｘは、例えば、画面の水平方向を示し、図面の縦方向である空間方向Ｙは、例えば、画面の垂直方向を示す。
【００８９】
以下の説明において、横方向の画素の１列の並びを行と称し、縦方向の画素の１列の並びを列と称する。
【００９０】
例えば、図１３で示されるように、アクティビティ演算部１１は、５×５の周辺画素について、画面上の上下方向（垂直）に隣接する画素の画素値の差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、９０度の角度（画面の垂直方向）に対する、アクティビティを検出する。
【００９１】
例えば、２０組の、画面上の上下方向に隣接する２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が２０で割り算され、その結果（商）が、９０度の角度に対するアクティビティに設定される。
【００９２】
例えば、図１４で示されるように、アクティビティ演算部１１は、５×５の周辺画素について、最も下の行の画素であって、最も左側の画素乃至左から４番目の画素のそれぞれの画素値と、それぞれの画素に対して、４画素上側であって、１画素右側の画素の画素値との差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、７６度の角度（ｔａｎ−１（４／１））に対する、アクティビティを検出する。
【００９３】
例えば、４組の、右上方向であって、上下方向に４画素、および左右方向に１画素離れた位置にある２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が４で割り算され、その結果（商）が、７６度の角度に対するアクティビティに設定される。
【００９４】
例えば、図１５で示されるように、アクティビティ演算部１１は、５×５の周辺画素について、最も下の行の画素であって、最も左側の画素乃至左から４番目の画素のそれぞれの画素値と、それぞれの画素に対して、３画素上側であって、１画素右側の画素の画素値との差分を算出し、下から２番目の行の画素であって、最も左側の画素乃至左から４番目の画素のそれぞれの画素値と、それぞれの画素に対して、３画素上側であって、１画素右側の画素の画素値との差分を算出し、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、７２度の角度（ｔａｎ−１（３／１））に対する、アクティビティを検出する。
【００９５】
例えば、８組の、右上方向であって、上下方向に３画素、および左右方向に１画素離れた位置にある２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が８で割り算され、その結果（商）が、７６度の角度に対するアクティビティに設定される。
【００９６】
例えば、図１６で示されるように、アクティビティ演算部１１は、５×５の周辺画素について、最も下の行の画素であって、最も左側の画素乃至左から４番目の画素のそれぞれの画素値と、それぞれの画素に対して、２画素上側であって、１画素右側の画素の画素値との差分を算出し、下から２番目の行の画素であって、最も左側の画素乃至左から４番目の画素のそれぞれの画素値と、それぞれの画素に対して、２画素上側であって、１画素右側の画素の画素値との差分を算出し、さらに、下から３番目の行の画素であって、最も左側の画素乃至左から４番目の画素のそれぞれの画素値と、それぞれの画素に対して、２画素上側であって、１画素右側の画素の画素値との差分を算出し、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、６３度の角度（ｔａｎ−１（２／１））に対する、アクティビティを検出する。
【００９７】
例えば、１２組の、右上方向であって、上下方向に２画素、および左右方向に１画素離れた位置にある２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が１２で割り算され、その結果（商）が、６３度の角度に対するアクティビティに設定される。
【００９８】
例えば、図１７で示されるように、アクティビティ演算部１１は、５×５の周辺画素について、画面上の右上方向に隣接する画素の画素値の差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、４５度の角度に対する、アクティビティを検出する。
【００９９】
例えば、１６組の、画面上の右上方向に隣接する２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が１６で割り算され、その結果（商）が、４５度の角度に対するアクティビティに設定される。
【０１００】
例えば、図１８で示されるように、アクティビティ演算部１１は、５×５の周辺画素について、最も下の行の画素であって、最も左側の画素乃至左から３番目の画素のそれぞれの画素値と、それぞれの画素に対して、１画素上側であって、２画素右側の画素の画素値との差分を算出し、下から２番目の行の画素であって、最も左側の画素乃至左から３番目の画素のそれぞれの画素値と、それぞれの画素に対して、１画素上側であって、２画素右側の画素の画素値との差分を算出し、さらに、下から３番目の行の画素であって、最も左側の画素乃至左から３番目の画素のそれぞれの画素値と、それぞれの画素に対して、１画素上側であって、２画素右側の画素の画素値との差分を算出し、さらにまた、下から４番目の行の画素であって、最も左側の画素乃至左から３番目の画素のそれぞれの画素値と、それぞれの画素に対して、１画素上側であって、２画素右側の画素の画素値との差分を算出し、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、２７度の角度（ｔａｎ−１（１／２））に対する、アクティビティを検出する。
【０１０１】
例えば、１２組の、右上方向であって、上下方向に１画素、および左右方向に２画素離れた位置にある２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が１２で割り算され、その結果（商）が、２７度の角度に対するアクティビティに設定される。
【０１０２】
例えば、図１９で示されるように、アクティビティ演算部１１は、５×５の周辺画素について、最も下の行の画素であって、最も左側の画素および左から２番目の画素のそれぞれの画素値と、それぞれの画素に対して、１画素上側であって、３画素右側の画素の画素値との差分を算出し、下から２番目の行の画素であって、最も左側の画素および左から２番目の画素のそれぞれの画素値と、それぞれの画素に対して、１画素上側であって、３画素右側の画素の画素値との差分を算出し、さらに、下から３番目の行の画素であって、最も左側の画素および左から２番目の画素のそれぞれの画素値と、それぞれの画素に対して、１画素上側であって、３画素右側の画素の画素値との差分を算出し、さらにまた、下から４番目の行の画素であって、最も左側の画素および左から２番目の画素のそれぞれの画素値と、それぞれの画素に対して、１画素上側であって、３画素右側の画素の画素値との差分を算出し、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、１８度の角度（ｔａｎ−１（１／３））に対する、アクティビティを検出する。
【０１０３】
例えば、８組の、右上方向であって、上下方向に１画素、および左右方向に３画素離れた位置にある２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が８で割り算され、その結果（商）が、１８度の角度に対するアクティビティに設定される。
【０１０４】
例えば、図２０で示されるように、アクティビティ演算部１１は、５×５の周辺画素について、最も左側の列の画素であって、最も下側の画素乃至下から４番目の画素のそれぞれの画素値と、それぞれの画素に対して、１画素上側であって、４画素右側の画素の画素値との差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、１４度の角度（ｔａｎ−１（１／４））に対する、アクティビティを検出する。
【０１０５】
例えば、４組の、右上方向であって、上下方向に１画素、および左右方向に４画素離れた位置にある２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が４で割り算され、その結果（商）が、１４度の角度に対するアクティビティに設定される。
【０１０６】
例えば、図２１で示されるように、アクティビティ演算部１１は、５×５の周辺画素について、画面上の水平方向に隣接する画素の画素値の差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、０度の角度（画面の水平方向）に対する、アクティビティを検出する。
【０１０７】
例えば、２０組の、画面上の左右方向に隣接する２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が２０で割り算され、その結果（商）が、０度の角度に対するアクティビティに設定される。
【０１０８】
アクティビティ演算部１１は、同様の処理で、画面の水平方向を基準として、９０度乃至１８０度の範囲の角度に対するアクティビティを検出することができるので、その説明は省略する。９０度乃至１８０度の範囲の角度に対するアクティビティを検出する場合、左上方向に位置する画素の画素値の差分を基に、アクティビティが算出される。
【０１０９】
このように検出されたアクティビティは、注目画素に対するアクティビティとされる。
【０１１０】
なお、検出されたアクティビティを、周辺画素に対するアクティビティとするようにしてもよい。
【０１１１】
また、周辺画素は、縦×横が５×５の画素からなると説明したが、５×５の画素に限らず、所望の範囲の画素とすることができる。周辺画素の数が多い場合、角度の分解能が向上する。
【０１１２】
アクティビティ演算部１１は、例えば、以上の１８の方向に対応するアクティビティを示す情報をアクティビティ評価部１２に供給する。
【０１１３】
図１２に戻り、ステップＳ１３において、アクティビティ評価部１２は、ステップＳ１２の処理において算出された、所定の方向に対応するアクティビティを基に、最小のアクティビティを選択し、選択された方向を動き方向とすることにより、動き方向を求めて、ステップＳ１４に進む。
【０１１４】
ステップＳ１４において、動き方向修正部２は、ステップＳ１３の処理において求められた動き方向を基に、動き方向が画像の水平方向となるように入力画像を変換する。例えば、ステップＳ１４において、動き方向修正部２のアフィン変換部１３は、ステップＳ１３の処理において求められた動き方向を基に、動き方向が画像の水平方向となるように入力画像をアフィン変換する。より具体的には、例えば、アフィン変換部１３は、画面の水平方向を基準として、動き方向が１８度の角度であるとき、入力画像を時計方向に１８度回動するようにアフィン変換する。
【０１１５】
ステップＳ１５において、特徴量検出部３の差分演算部１４は、ステップＳ１４の処理において、動き方向が画面の水平方向となるように変換された入力画像の各画素について、水平方向に隣接する画素との画素値の差分値を演算する。
【０１１６】
例えば、ステップＳ１５において、差分演算部１４は、入力画像の画素から１つの画素を選択することにより、注目している注目画素とする。そして、差分演算部１４は、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより差分値を求める。
【０１１７】
ステップＳ１６において、特徴量検出部３の差分評価部１５は、差分値の符号を基に、差分値を振り分ける。すなわち、差分評価部１５は、０以上である差分値を中間画像作成部１６に供給し、０未満である差分値を中間画像作成部１７に供給する。この場合において、差分評価部１５は、差分値の画面上に位置を示す位置情報と共に、差分値を中間画像作成部１６または中間画像作成部１７に供給する。
【０１１８】
ステップＳ１７において、特徴量検出部３の中間画像作成部１６は、ステップＳ１６の処理で振り分けられた、０以上である差分値（正の差分値）を基に、正の差分値からなる中間画像を生成する。すなわち、ステップＳ１７において、中間画像作成部１６は、位置情報で示される画面上の位置の画素に正の差分値を設定し、差分値が供給されなかった位置の画素に０を設定することにより、中間画像を作成する。
【０１１９】
このように、ステップＳ１７の処理において、非反転中間画像が生成される。
【０１２０】
ステップＳ１８において、特徴量検出部３の中間画像作成部１７は、ステップＳ１６の処理で振り分けられた、０未満である差分値（負の差分値）を基に、負の差分値からなる中間画像を生成する。すなわち、ステップＳ１８において、中間画像作成部１７は、位置情報で示される画面上の位置の画素に負の差分値を設定し、差分値が供給されなかった位置の画素に０を設定することにより、中間画像を作成する。
【０１２１】
ステップＳ１９において、特徴量検出部３の符号反転部１９は、ステップＳ１８の処理で生成された負の差分値からなる中間画像の負の差分値の符号を反転する。すなわち、ステップＳ１９において、負の中間画像の画素に設定されている、負の差分値が、同じ絶対値の正の値に変換される。
【０１２２】
このように、ステップＳ１９において、反転中間画像が生成される。
【０１２３】
ステップＳ２０において、動き量検出部４は、相関の検出の処理を実行する。ステップＳ２０の処理の詳細は、図２２のフローチャートを参照して、後述する。
【０１２４】
ステップＳ２１において、相関評価部２２は、ステップＳ２０の処理で検出された相関のうち、最も強い相関を選択し、ステップＳ２２に進む。例えば、ステップＳ２１において、画素値の差分の絶対値の和である相関値のうち、最小の相関値が選択される。
【０１２５】
ステップＳ２２において、相関評価部２２は、ステップＳ２１の処理で選択された、最も強い相関を得たときの移動量を動き量に設定して、ステップＳ２３に進む。例えば、ステップＳ２２において、画素値の差分の絶対値の和である相関値のうち、選択された最小の相関値に対応して、後述するステップＳ５３の処理により記憶されている、反転中間画像の移動量が動き量に設定される。
【０１２６】
ステップＳ２３において、動き量検出部４は、ステップＳ２０の処理において検出した動き量を出力して、処理は終了する。
【０１２７】
図２２は、ステップＳ２０の処理に対応する、相関の検出の処理を説明するフローチャートである。
【０１２８】
ステップＳ５１において、動き量検出部４の相関検出部２１は、ステップＳ１９の処理で生成された、反転中間画像の画素の位置を、画素を単位として水平方向に移動する。
【０１２９】
ステップＳ５２において、相関検出部２１は、非反転中間画像と、ステップＳ５１の処理において、画素の位置が移動された反転中間画像との相関を検出する。例えば、ステップＳ５２において、非反転中間画像の画素の画素値と、画面上で対応する位置の、反転中間画像の画素の画素値との差分が算出され、算出された差分の絶対値の和が相関値として検出される。相関検出部２１は、ステップＳ５１の処理における反転中間画像の画素の移動量と共に、検出された相関を示す相関情報を相関評価部２２に供給する。
【０１３０】
ステップＳ５３において、相関評価部２２は、ステップＳ５１の処理における反転中間画像の画素の移動量と共に、ステップＳ５２の処理において検出された相関を記憶する。例えば、相関評価部２２は、ステップＳ５１の処理における反転中間画像の画素の移動量と共に、画素値の差分の絶対値の和である相関値を記憶する。
【０１３１】
ステップＳ５４において、相関検出部２１は、全ての移動量に対する相関を検出したか否かを判定し、まだ相関を検出していない移動量があると判定された場合、ステップＳ５１に戻り、次の移動量に対する相関を検出する処理を繰り返す。
【０１３２】
例えば、ステップＳ５４において、相関検出部２１は、画面の左方向に７０画素乃至画面の右方向に７０画素の範囲で、反転中間画像の画素を移動したときの相関を全て検出したか否かを判定する。
【０１３３】
ステップＳ５４において、全ての移動量に対する相関を検出したと判定された場合、処理は終了する。
【０１３４】
このように、相関検出部２１は、相関を検出することができる。
【０１３５】
以上のように、図１に構成を示す画像処理装置は、静止画像または動画像の１つのフレームから、動き量を検出することができる。
【０１３６】
なお、全画面を処理対象とすることで、例えば、手振れにより発生した全画面の動きを検出することができる。
【０１３７】
また、画面中の一部分に動きボケが含まれ、他の部分に動きボケが含まれていないとき、動きボケを含む領域を抽出して、抽出した領域を処理の対象とすることで、動き量を検出することができる。
【０１３８】
なお、画像に同じ模様の繰り返しパターンが多く含まれていても、処理の対象となる画像の領域の動き量および動き方向が一定であれば、正確に動き量を検出することができる。
【０１３９】
図２３乃至図３６は、動き量の検出の結果の例を示す図である。図２３は、動きボケを含まない画像の表示例を示すディスプレー上に表示した中間調画像の写真である。図２４は、図２３で示される画像の左上側の画像（図２３において、×印で示す位置の画像）を拡大した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【０１４０】
図２５は、図２３で示される画像に、水平方向に７画素の動きを付加した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。図２６は、図２５で示される画像の左上側の画像（図２５において、×印で示す位置の画像）を拡大した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【０１４１】
図２７は、図２５で示される画像の、水平方向に隣接する画素の画素値の差分値に１２８を加算した値からなる差分画像の表示例を示すディスプレー上に表示した中間調画像の写真である。差分値に１２８を加算したのは、負の差分値の画素を表示するためである。図２８は、図２７で示される差分画像の左上側の画像（図２７において、×印で示す位置の画像）を拡大した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【０１４２】
図２９は、図２７で示される差分画像の差分値のうち、１２８以上の差分値（０または正の差分値に相当する）からなる中間画像（非反転画像）の表示例を示すディスプレー上に表示した中間調画像の写真である。図２９で示される中間画像において、１２８未満の差分値に対応する画素には０が設定されている。図３０は、図２９で示される非反転画像の左上側の画像（図２９において、×印で示す位置の画像）を拡大した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【０１４３】
図３１は、図２７で示される差分画像の差分値のうち、１２８未満の差分値（負の差分値に相当する）からなる中間画像の表示例を示すディスプレー上に表示した中間調画像の写真である。図３１で示される画像において、１２８以上の差分値に対応する画素には０が設定されている。図３２は、図３０で示される中間画像の左上側の画像（図３１において、×印で示す位置の画像）を拡大した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【０１４４】
図３３は、図３１で示される中間画像を反転した反転画像の表示例を示すディスプレー上に表示した中間調画像の写真である。すなわち、図３３で示される反転画像は、図３１で示される中間画像において、１２８未満の差分値が設定された画素について、画素値と１２８との差の絶対値に、１２８を加算した結果を画素に設定することにより得られる。図３４は、図３３で示される反転画像の左上側の画像（図３３において、×印で示す位置の画像）を拡大した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【０１４５】
図２９で示される非反転画像と、図３３で示される反転画像との相関が最も強くなる距離が７画素なので、７画素である動き量が検出される。
【０１４６】
図３５は、検出された動き量を基に、図２５で示される画像から動きボケを除去した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。図３６は、図３５で示される動きボケを除去した画像の左上側の画像（図３５において、×印で示す位置の画像）を拡大した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【０１４７】
図３７は、本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。図１に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。
【０１４８】
図３７で構成が示される画像処理装置においては、静止画像または動画像である入力画像の動き方向が検出され、動き方向が水平方向になるように入力画像が変換される。そして、入力画像にソーベルフィルタの処理が適用されることにより、入力画像のオブジェクトの動き方向に一次微分した特徴量が検出される。
【０１４９】
さらに、注目している画素の特徴量と動き方向に所定の距離の対応画素の特徴量との相関が検出され、検出された相関が最大である（もっと強い）対応画素と注目画素との距離に応じてオブジェクトの動き量が検出される。
【０１５０】
すなわち、図３７で構成が示される画像処理装置は、動き方向検出部１、動き方向修正部２、特徴量検出部１０１、相関検出部１０２、および動き量検出部１０３を含む。
【０１５１】
特徴量検出部１０１は、１次微分特徴量演算部１２１を含む。相関検出部１０２は、相関係数演算部１２２を含む。さらに、動き量検出部１０３は、最小値探索部１２３を含む。
【０１５２】
動き方向修正部２は、動き方向が画像の水平方向となるように変換された入力画像を特徴量検出部１０１に供給する。
【０１５３】
特徴量検出部１０１は、動き方向修正部２から供給された画像の特徴量を検出する。
【０１５４】
特徴量検出部１０１の１次微分特徴量演算部１２１は、例えば、式（１）で示されるソーベルオペレータを入力画像に適用することにより、入力画像を１次微分し、その結果を特徴量とする。
【数１】
2004302872.tif 000003
2004302872.tif 000004
【０１５５】
なお、式（１）で示されるソーベルオペレータは、画像の水平方向のエッジを抽出するソーベルオペレータの一例である。
【０１５６】
すなわち、例えば、１次微分特徴量演算部１２１は、縦×横が３×３の画素を入力画像から順に抽出し、抽出された３×３の画素の画素値からなる行列に、式（１）で示されるソーベルオペレータを乗算することにより、１次微分した結果を示す値を算出する。１次微分特徴量演算部１２１は、１次微分した結果を示す値を、抽出された３×３の画素の中央の画素の位置に対応する画素に設定する。１次微分特徴量演算部１２１は、入力画像の各画素を順次抽出して、上述した処理を繰り返すことにより、入力画像を１次微分した画像（以下、１次微分画像と称する）を生成する。
【０１５７】
１次微分画像は、いわゆる、エッジ抽出画像の一種である。
【０１５８】
特徴量検出部１０１は、１次微分画像を相関検出部１０２に供給する。
【０１５９】
相関検出部１０２は、特徴量検出部１０１から供給された１次微分画像の画素を、画素を単位として、画面の水平方向に移動させて、シフト画像を生成する。相関検出部１０２は、シフト画像と１次微分画像との相関を検出する。
【０１６０】
例えば、相関係数演算部１２２は、特徴量検出部１０１から供給された１次微分画像の画素を、画面の左方向に７０画素乃至画面の右方向に７０画素の範囲で、１画素ずつ画面の水平方向に移動させ、それぞれの移動量に対応するシフト画像を生成する。
【０１６１】
より具体的には、例えば、相関検出部１０２は、１次微分画像から、注目画素を中心とする所定の領域の画素を抽出して、相関を検出するための１次微分画像とする。また、相関検出部１０２は、１次微分画像から、注目画素から水平方向に所定の距離だけ離れた画素を中心とする所定の領域の画素を抽出して、シフト画像とする。
【０１６２】
相関係数演算部１２２は、それぞれの移動量に対応するシフト画像と特徴量検出部１０１から供給された１次微分画像との相関を、それぞれ検出する。例えば、相関係数演算部１２２は、式（２）で示される演算により、相関係数Ｃｏｒｒを算出する。
Ｃｏｒｒ＝Ｃｏｖｘｙ／ｓｘｓｙ                                ・・・（２）
【０１６３】
式（２）において、Ｃｏｖｘｙは、１次微分画像およびシフト画像の共分散を示し、ｓｘは、１次微分画像の標準偏差を示し、ｓｙは、シフト画像の標準偏差を示す。
【０１６４】
１次微分画像の標準偏差ｓｘは、式（３）で算出される。式（３）において、ｘｉは、１次微分画像の画素の画素値を示し、ｘａｖは、１次微分画像の画素の画素値の平均値を示す。式（３）において、Ｎは、画素の数を示す。
【数２】
2004302872.tif 000005
2004302872.tif 000006
【０１６５】
シフト画像の標準偏差ｓｙは、式（４）で算出される。式（４）において、ｙｉは、シフト画像の画素の画素値を示し、ｙａｖは、シフト画像の画素の画素値の平均値を示す。式（４）において、Ｎは、画素の数を示す。
【数３】
2004302872.tif 000007
2004302872.tif 000008
【０１６６】
１次微分画像およびシフト画像の共分散Ｃｏｖｘｙは、式（５）で算出される。
Ｃｏｖｘｙ＝（１／Ｎ）Σ（ｘｉ−ｘａｖ）（ｙｉ−ｙａｖ）            ・・・（５）
【０１６７】
なお、式（３）乃至式（５）の適用の対象となる、１次微分画像の画素またはシフト画像の画素は、比較の対象が存在する画素である。
【０１６８】
すなわち、式（３）により、標準偏差ｓｘを算出するとき、１次微分画像の画素のうち、シフト画像において、対応する位置に画素が存在する画素が算出の対象となる。同様に、式（４）により、標準偏差ｓｙを算出するとき、シフト画像の画素のうち、１次微分画像において、対応する位置に画素が存在する画素が算出の対象となる。また、式（５）により、共分散Ｃｏｖｘｙを算出するとき、１次微分画像の画素のうち、シフト画像において、対応する位置に画素が存在する画素、およびシフト画像の画素のうち、１次微分画像において、対応する位置に画素が存在する画素が算出の対象となる。
【０１６９】
相関係数演算部１２２は、移動量に対応する相関値である相関係数Ｃｏｒｒを動き量検出部１０２に供給する。すなわち、相関係数演算部１２２は、移動量と相関係数Ｃｏｒｒとの組を動き量検出部１０２に供給する。
【０１７０】
動き検出部１０３は、相関に応じて、入力画像内の対象物の画像の動き量を検出する。すなわち、動き検出部１０３は、相関検出部１０２から供給された相関のうち、最小の（最も弱い）相関に対応する移動量を動き量とする。
【０１７１】
例えば、最小値探索部１２３は、相関検出部１０２から供給された、相関を示す相関係数Ｃｏｒｒのうち最小の相関係数Ｃｏｒｒを探索する。そして、最小値探索部１２３は、探索された最小の相関係数Ｃｏｒｒに対応する移動量を動き量とする。
【０１７２】
動き検出部１０３は、検出された動き量を出力する。
【０１７３】
このように、図３７で示される画像処理装置は、静止画像または動画像の１フレームから動き量を検出することができる。
【０１７４】
図３８は、図３７で示される画像処理装置による動き量の検出の処理を説明するフローチャートである。ステップＳ１０１乃至ステップＳ１０４の処理は、それぞれ図１２のステップＳ１１乃至ステップＳ１４の処理と同様なので、その説明は省略する。
【０１７５】
ステップＳ１０５において、特徴量検出部１０１は、ステップＳ１０４の処理において、動き方向が水平方向となるように変換された入力画像の特徴量を検出し、ステップＳ１０６に進む。すなわち、ステップＳ１０５において、特徴量検出部１０１の１次微分特徴量演算部１２１は、式（１）で示されるソーベルオペレータを入力画像に適用することにより、入力画像を１次微分して、１次微分画像Ｘを生成することにより、特徴量を検出する。
【０１７６】
ステップＳ１０６において、相関検出部１０２および動き量検出部１０３は、変数を初期化し、ステップＳ１０７に進む。すなわち、ステップＳ１０６において、相関検出部１０２および動き量検出部１０３は、相関係数が演算される移動量を示す変数ｉに−６９を設定し、最小の相関係数を示す変数ｍｉｎに１．０を設定し、最小の相関係数に対応する移動量を示す変数Ｖ０に−６９を設定する。
【０１７７】
ステップＳ１０７において、相関検出部１０２および動き量検出部１０３は、相関係数が演算される移動量を示す変数ｉが７０未満であるか否かを判定し、変数ｉが７０未満であると判定された場合、変数ｉで示される移動量に対する相関係数を演算するので、ステップＳ１０８に進み、相関検出部１０２は、ステップＳ１０５の処理により作成された１次微分画像Ｘを移動し（シフトし）、シフト画像を作成し、ステップＳ１０９に進む。すなわち、ステップＳ１０８において、相関検出部１０２の相関係数演算部１２２は、１次微分画像Ｘを水平方向（右側）にｉ画素シフトし（変数ｉで示される数の画素だけ右側に１次微分画像Ｘの画素を移動させ）、シフト画像Ｙを作成する。
【０１７８】
ステップＳ１０９において、相関検出部１０２は、１次微分画像Ｘとシフト画像Ｙとの相関係数を求めて、相関係数を変数Ｃｏｒｒに代入し、ステップＳ１１０に進む。すなわち、ステップＳ１０９において、相関係数演算部１２２は、式（２）で示される演算を１次微分画像Ｘおよびシフト画像Ｙに適用することにより、相関係数を求めて、相関係数を変数Ｃｏｒｒに代入する。
【０１７９】
ステップＳ１１０において、動き量検出部１０３の最小値探索部１２３は、ステップＳ１０９の処理により相関係数が代入された変数Ｃｏｒｒが変数ｍｉｎ未満であるか否かを判定し、変数Ｃｏｒｒが変数ｍｉｎ未満であると判定された場合、変数Ｃｏｒｒに代入された相関係数が最小なので、ステップＳ１１１に進み、変数ｍｉｎに変数Ｃｏｒｒの値を設定し、変数Ｖ０に変数ｉの値を設定し、ステップＳ１１２に進む。
【０１８０】
ステップＳ１１０において、変数Ｃｏｒｒが変数ｍｉｎ以上であると判定された場合、変数Ｃｏｒｒに代入された相関係数が最小ではないので（変数ｍｉｎに設定されている相関係数が最小であるので）、ステップＳ１１１の処理はスキップされ、手続きは、ステップＳ１１２に進む。
【０１８１】
ステップＳ１１２において、相関検出部１０２および動き量検出部１０３は、変数ｉをインクリメントして（変数ｉに１を加算して）、ステップＳ１０７に戻り、処理を繰り返す。
【０１８２】
ステップＳ１０７において、変数ｉが７０未満でないと判定された場合、全ての移動量に対する相関係数が計算されたので、ステップＳ１１３に進む。
【０１８３】
すなわち、ステップＳ１０７乃至ステップＳ１１２の処理が、繰り返されることにより、−６９画素乃至６９画素のそれぞれの移動量に対する相関係数が算出される。
【０１８４】
ステップＳ１１３において、動き量検出部１０３の最小値探索部１２３は、ステップＳ１１１の処理により、最小の相関係数に対する移動量が設定された変数Ｖ０を動き量として出力して、処理は終了する。すなわち、−６９画素乃至６９画素のそれぞれの移動量に対する相関係数のうち、最小の相関係数に対応する移動量が動き量として出力される。
【０１８５】
このように、図３８のフローチャートを参照して説明した処理により、静止画像または動画像の１フレームから動き量を検出することができる。
【０１８６】
また、図３７で示される画像処理装置および図３８のフローチャートで示される処理によれば、より精度の良い動き量の推定（検出）が可能になる。また、図３７で示される画像処理装置および図３８のフローチャートで示される処理によれば、従来の手法に比較して、より少ない演算量で動き量を検出することができるので、より迅速に動き量を検出することができるようになる。
【０１８７】
図３９乃至図４２は、図３７で示される画像処理装置または図３８のフローチャートで示される処理の結果の画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【０１８８】
図３９は、動きボケを含まない画像の表示例を示すディスプレー上に表示した中間調画像の写真である。図４０は、図３９で示される動きボケを含まない画像に、水平方向に１０画素の動きを付加した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【０１８９】
図４１は、図４０で示される画像に、式（１）で示されるソーベルオペレータを適用することにより、図４０で示される画像を１次微分した結果の画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【０１９０】
図４２は、図４１で示される画像の、移動量に対する相関係数Ｃｏｒｒを示す図である。図４２で示される例において、移動量が１０画素であるとき、相関係数Ｃｏｒｒは、最小となるので、この場合、１０画素である動き量が検出される。すなわち、図３７で示される画像処理装置または図３８のフローチャートで示される処理によって、図４０で示される画像の動き量が１０画素であることが検出された。
【０１９１】
このように、画素値から相関を検出し、強い相関に対する移動量を求めるようにした場合には、動き量を検出することができる。
【０１９２】
また、画像データ内のオブジェクトの動き方向に、画像データを一次微分した特徴を検出し、画像データ内のオブジェクトの画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関を検出し、検出された相関に応じて、画像データ内のオブジェクトの動き量を検出するようにした場合には、静止画像または動画像の１つのフレームから動き量を検出することができる。
【０１９３】
なお、動画像の１つのフレームから動き量を検出すると説明したが、１つのフィールドから動き量を検出するようにしてもよいことは勿論である。
【０１９４】
また、選択した注目画素の周辺についてのみ、動き量を検出するようにしてもよい。
【０１９５】
なお、動き方向検出部１が動き方向を検出すると説明したが、動き方向を外部から取得するようにしてもよい。例えば、動き方向修正部２は、ユーザの操作に対応した、動き方向を示す情報を取得し、これに基づいて、入力画像を変換するようにしてもよい。
【０１９６】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１９７】
図４３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３には、ＣＰＵ２０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ２０１、ＲＯＭ２０２、およびＲＡＭ２０３は、バス２０４により相互に接続されている。
【０１９８】
ＣＰＵ２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。ＣＰＵ２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ２０１は、処理の結果得られた画像や音声等を出力部２０７に出力する。
【０１９９】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクなどで構成され、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部２０９は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。
【０２００】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０２０１】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク２１１、光ディスク２１２、光磁気ディスク２１３、或いは半導体メモリ２１４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０２０２】
一連の処理をさせるプログラムが格納されている記録媒体は、図４３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２１１（フレキシブルディスクを含む）、光ディスク２１２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）を含む）、光磁気ディスク２１３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）（商標）を含む）、若しくは半導体メモリ２１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０２０３】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０２０４】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０５】
【発明の効果】
以上のように、本発明によれば、動き量を検出することができる。
【０２０６】
また、本発明によれば、静止画像または動画像の１つのフレームから動き量を検出することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】撮像の対象物の例を説明する図である。
【図３】カメラ５３のシャッタが開いた瞬間における位置に、前景オブジェクト５１が静止していると仮定したとき、カメラ５３が出力する静止画像の画素値を示す図である。
【図４】カメラ５３のシャッタが閉じる瞬間における位置に、前景オブジェクト５１が静止していると仮定したとき、カメラ５３が出力する静止画像の画素値を示す図である。
【図５】動き量を説明する図である。
【図６】背景オブジェクト５２の前を移動する前景オブジェクト５１をカメラ５３で撮像したときに、カメラ５３から出力される静止画像の画素値を示す図である。
【図７】図６で示される静止画像の画素の画素値の差分値を示す図である。
【図８】図７で示される差分値の内の、符号が負である差分値を抽出した画像を示す図である。
【図９】図７で示される差分値の内の、符号が正である差分値を抽出した画像を示す図である。
【図１０】符号が負である差分値の符号を反転した値からなる画像を示す図である。
【図１１】図９で示される画像および図１０で示される画像と、動き量との関係を示す図である。
【図１２】動き量の検出の処理を説明するフローチャートである。
【図１３】アクティビティを検出するとき、差分が算出される画素の例を示す図である。
【図１４】アクティビティを検出するとき、差分が算出される画素の例を示す図である。
【図１５】アクティビティを検出するとき、差分が算出される画素の例を示す図である。
【図１６】アクティビティを検出するとき、差分が算出される画素の例を示す図である。
【図１７】アクティビティを検出するとき、差分が算出される画素の例を示す図である。
【図１８】アクティビティを検出するとき、差分が算出される画素の例を示す図である。
【図１９】アクティビティを検出するとき、差分が算出される画素の例を示す図である。
【図２０】アクティビティを検出するとき、差分が算出される画素の例を示す図である。
【図２１】アクティビティを検出するとき、差分が算出される画素の例を示す図である。
【図２２】相関の検出の処理を説明するフローチャートである。
【図２３】動きボケを含まない画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図２４】動きボケを含まない画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図２５】動きボケを付加した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図２６】動きボケを付加した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図２７】差分画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図２８】差分画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図２９】０または正の差分値に相当する１２８以上の差分値からなる非反転画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図３０】０または正の差分値に相当する１２８以上の差分値からなる非反転画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図３１】負の差分値に相当する１２８未満の差分値からなる中間画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図３２】負の差分値に相当する１２８未満の差分値からなる中間画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図３３】負の差分値に相当する１２８未満の差分値からなる中間画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図３４】負の差分値に相当する１２８未満の差分値からなる中間画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図３５】動きボケを除去した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図３６】動きボケを除去した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図３７】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図３８】動き量の検出の処理を説明するフローチャートである。
【図３９】動きボケを含まない画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図４０】動きボケを付加した画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図４１】１次微分した結果の画像の表示例を示すディスプレー上に表示した中間調画像の写真である。
【図４２】移動量に対する相関係数の例を示す図である。
【図４３】一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
１  動き方向検出部，  ２  動き方向修正部，  ３  特徴量検出部，  ４  動き量検出部，  １１  アクティビティ演算部，  １２  アクティビティ評価部，１３  アフィン変換部，  １４  差分演算部，  １５  差分評価部，  １６  中間画像作成部，  １７  中間画像作成部，  １８  フレームメモリ，  １９  符号反転部，  ２０  フレームメモリ，  ２１  相関検出部，  ２２  相関評価部，  １０１  特徴量検出部，  １０２  相関検出部，  １０３  動き量検出部，  １２１  １次微分特徴量演算部，  １２２  相関係数演算部，  １２３  最小値探索部，  ２０１  ＣＰＵ，  ２０２  ＲＯＭ，  ２０３  ＲＡＭ，  ２０８  記憶部，  ２１１  磁気ディスク，  ２１２  光ディスク，  ２１３  光磁気ディスク，  ２１４  半導体メモリ
【図１】
2004302872.tif 000009
【図２】
2004302872.tif 000010
【図３】
2004302872.tif 000011
【図４】
2004302872.tif 000012
【図５】
2004302872.tif 000013
【図６】
2004302872.tif 000014
【図７】
2004302872.tif 000015
【図８】
2004302872.tif 000016
【図９】
2004302872.tif 000017
【図１０】
2004302872.tif 000018
【図１１】
2004302872.tif 000019
【図１２】
2004302872.tif 000020
【図１３】
2004302872.tif 000021
【図１４】
2004302872.tif 000022
【図１５】
2004302872.tif 000023
【図１６】
2004302872.tif 000024
【図１７】
2004302872.tif 000025
【図１８】
2004302872.tif 000026
【図１９】
2004302872.tif 000027
【図２０】
2004302872.tif 000028
【図２１】
2004302872.tif 000029
【図２２】
2004302872.tif 000030
【図２３】
2004302872.tif 000031
【図２４】
2004302872.tif 000032
【図２５】
2004302872.tif 000033
【図２６】
2004302872.tif 000034
【図２７】
2004302872.tif 000035
【図２８】
2004302872.tif 000036
【図２９】
2004302872.tif 000037
【図３０】
2004302872.tif 000038
【図３１】
2004302872.tif 000039
【図３２】
2004302872.tif 000040
【図３３】
2004302872.tif 000041
【図３４】
2004302872.tif 000042
【図３５】
2004302872.tif 000043
【図３６】
2004302872.tif 000044
【図３７】
2004302872.tif 000045
【図３８】
2004302872.tif 000046
【図３９】
2004302872.tif 000047
【図４０】
2004302872.tif 000048
【図４１】
2004302872.tif 000049
【図４２】
2004302872.tif 000050
【図４３】
2004302872.tif 000051