(57)【要約】【課題】  画像内に複数の動きが存在するのか、あるいは、縞模様等の繰り返しパターンが存在するのか画像情報に基づいて適切に判定することが可能な画像処理装置等を提供すること。【解決手段】  画像処理装置１０が、過去画像における複数のサンプリングポイントの有効性を判定するとともに、有効なサンプリングポイントの個数が第1の所定値以上かどうかを判定する有効性判定部１１０と、上記個数が第1の所定値以上の場合、上記過去画像における上記複数のサンプリングポイントの画像信号値と、上記所定時点の画像である対象画像における上記複数のサンプリングポイントに対応する検索範囲内の画像信号値との差異を示す差異情報を生成する差異情報生成部１２０と、上記個数が第1の所定値以上の場合、上記差異情報に基づき、画像全体の動きを示す全体動きベクトルを決定する動きベクトル決定部１３０とを含んで構成される。【選択図】      図１
2006343949.tif 000002
【特許請求の範囲】
【請求項１】
所定時点よりも前の時点の画像である過去画像における複数のサンプリングポイントの有効性を画像情報に基づいて判定するとともに、前記過去画像における有効なサンプリングポイントの個数が第1の所定値以上かどうかを判定する有効性判定部と、
前記個数が第1の所定値以上の場合、前記過去画像における前記複数のサンプリングポイントの画像信号値と、前記所定時点の画像である対象画像における前記複数のサンプリングポイントに対応する検索範囲内の画像信号値との差異を示す差異情報を前記画像情報に基づいて生成する差異情報生成部と、
前記個数が第1の所定値以上の場合、画像全体の動きを示す全体動きベクトルを前記差異情報に基づいて決定する動きベクトル決定部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記差異情報生成部は、前記有効性判定部によって有効と判定された前記過去画像における少なくとも１つのサンプリングポイントの画像信号値と、当該サンプリングポイントに対応した前記対象画像におけるサンプリングポイントに対応する検索範囲内の画像信号値との差異を示す情報を前記差異情報として生成することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記差異情報生成部は、
前記過去画像における前記少なくとも１つのサンプリングポイントの画像信号値と、当該サンプリングポイントに対応した前記対象画像におけるサンプリングポイントに対応する検索範囲内の画像信号値との差分値に基づいてサンプリングポイントごとに差異の度合いに応じて異なる値を設定することにより、サンプリングポイントごとの相関値を示す相関情報を生成する相関情報生成部と、
前記相関情報の極値となるサンプリングポイントに関する情報を前記相関情報に基づいて前記差異情報として生成する極値判定部と、
を含むことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記動きベクトル決定部は、
複数の極値が存在し、かつ、当該複数の極値のうち前記相関値が最大の極値の相関値と比較対象となる極値の相関値との差分値が第２の所定値以下かどうかを前記差異情報に基づいて判定し、
当該判定結果が真の場合は当該複数の極値となった前記対象画像におけるサンプリングポイントの動きベクトルのうち、直前の全体動きベクトルとの差分値が最も小さい動きベクトルを前記全体動きベクトルとして決定し、
当該判定結果が偽の場合は前記相関値が最大の極値となった前記対象画像におけるサンプリングポイントの動きベクトルを前記全体動きベクトルとして決定することを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれかに記載の画像処理装置において、
前記有効性は、動き検出に有効であることを示し、
前記有効性判定部は、前記サンプリングポイントを含む所定範囲内の各画素に所定の差異がある場合に当該サンプリングポイントを有効なサンプリングポイントであると判定することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記有効性判定部は、前記所定範囲内の所定の画素を基準点として設定するとともに、当該基準点における画像信号値と、当該所定範囲内の他の画素における画像信号値との差分値が第３の所定値以下となる画素数が第４の所定値以下となる場合に前記所定の差異があると判定することを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれかに記載の画像処理装置において、
前記動きベクトル決定部は、前記個数が前記第1の所定値未満の場合、前記全体動きベクトルとして、画像全体の動きがないことを示す情報を設定することを特徴とする画像処理装置。
【請求項８】
請求項１〜７のいずれかに記載の画像処理装置において、
手ぶれ補正部を含み、
前記画像情報は、撮像された動画像を示す情報であって、
前記手ぶれ補正部は、前記全体動きベクトルに基づき、前記画像情報を補正することを特徴とする画像処理装置。
【請求項９】
請求項１〜８のいずれかに記載の画像処理装置を有する電子機器。
【請求項１０】
コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
所定時点よりも前の時点の画像である過去画像における複数のサンプリングポイントの有効性を画像情報に基づいて判定するとともに、前記過去画像における有効なサンプリングポイントの個数が第1の所定値以上かどうかを判定する有効性判定部と、
前記個数が第1の所定値以上の場合、前記過去画像における前記複数のサンプリングポイントの画像信号値と、前記所定時点の画像である対象画像における前記複数のサンプリングポイントに対応する検索範囲内の画像信号値との差異を示す差異情報を前記画像情報に基づいて生成する差異情報生成部と、
前記個数が第1の所定値以上の場合、画像全体の動きを示す全体動きベクトルを前記差異情報に基づいて決定する動きベクトル決定部として機能させることを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載のプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。
【請求項１２】
所定時点よりも前の時点の画像である過去画像における複数のサンプリングポイントを画像情報に基づいて設定し、
前記過去画像における複数のサンプリングポイントの有効性を判定し、
有効なサンプリングポイントの個数が第1の所定値以上かどうかを判定し、
前記個数が第1の所定値以上の場合、前記過去画像における前記複数のサンプリングポイントにおける画像信号値と、前記所定時点の画像である対象画像における前記複数のサンプリングポイントに対応する検索範囲内の画像信号値との差異を示す差異情報を前記画像情報に基づいて生成し、
前記個数が第1の所定値以上の場合、画像全体の動きを示す全体動きベクトルを前記差異情報に基づいて決定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に含まれる動きを判定する画像処理装置、電子機器、プログラム、情報記憶媒体および画像処理方法に関する。
【背景技術】
【０００２】
画像処理装置が、画像情報に基づいて動画像に含まれる動きを判定する場合、画像内に複数の動きが存在するのか、あるいは、縞模様等の繰り返しパターンが存在するのか判定することは困難である。
【０００３】
例えば、特許文献１では、時間的に連続するフレーム間の相関を表す累積加算テーブルを作成し、相関の高い場所（累積加算テーブル内での極値）が複数存在する場合に画像内に複数の動きが存在すると判定する動きベクトル検出装置が記載されている。
【０００４】
また、例えば、特許文献２では、累積加算テーブル内に相関の高い場所（累積加算テーブル内での極値）が複数存在し、かつ、これらの極値の値が近い場合に画像内に縞模様等の繰り返しパターンが存在すると判定する動きベクトル検出装置が記載されている。
【特許文献１】特開２００４−２０６６３８号公報
【特許文献２】特開２００３−７８８０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１、２の手法を組み合わせたとしても、画像処理装置が、累積加算テーブル内に複数の極値が存在する場合、画像内に複数の動きが存在するのか、あるいは、縞模様等の繰り返しパターンが存在するのか判定することは困難である。
【０００６】
本発明の目的は、画像内に複数の動きが存在するのか、あるいは、縞模様等の繰り返しパターンが存在するのか画像情報に基づいて適切に判定することが可能な画像処理装置、電子機器、プログラム、情報記憶媒体および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係る画像処理装置は、所定時点よりも前の時点の画像である過去画像における複数のサンプリングポイントの有効性を画像情報に基づいて判定するとともに、前記過去画像における有効なサンプリングポイントの個数が第1の所定値以上かどうかを判定する有効性判定部と、
前記個数が第1の所定値以上の場合、前記過去画像における前記複数のサンプリングポイントの画像信号値と、前記所定時点の画像である対象画像における前記複数のサンプリングポイントに対応する検索範囲内の画像信号値との差異を示す差異情報を前記画像情報に基づいて生成する差異情報生成部と、
前記個数が第1の所定値以上の場合、画像全体の動きを示す全体動きベクトルを前記差異情報に基づいて決定する動きベクトル決定部と、
を含むことを特徴とする。
【０００８】
また、本発明に係る電子機器は、上記画像処理装置を有することを特徴とする。
【０００９】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
所定時点よりも前の時点の画像である過去画像における複数のサンプリングポイントの有効性を画像情報に基づいて判定するとともに、前記過去画像における有効なサンプリングポイントの個数が第1の所定値以上かどうかを判定する有効性判定部と、
前記個数が第1の所定値以上の場合、前記過去画像における前記複数のサンプリングポイントの画像信号値と、前記所定時点の画像である対象画像における前記複数のサンプリングポイントに対応する検索範囲内の画像信号値との差異を示す差異情報を前記画像情報に基づいて生成する差異情報生成部と、
前記個数が第1の所定値以上の場合、画像全体の動きを示す全体動きベクトルを前記差異情報に基づいて決定する動きベクトル決定部として機能させることを特徴とする。
【００１０】
また、本発明に係る情報記憶媒体は、コンピュータ読み取り可能な情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。
【００１１】
また、本発明に係る画像処理方法は、所定時点よりも前の時点の画像である過去画像における複数のサンプリングポイントを画像情報に基づいて設定し、
前記過去画像における複数のサンプリングポイントの有効性を判定し、
有効なサンプリングポイントの個数が第1の所定値以上かどうかを判定し、
前記個数が第1の所定値以上の場合、前記過去画像における前記複数のサンプリングポイントにおける画像信号値と、前記所定時点の画像である対象画像における前記複数のサンプリングポイントに対応する検索範囲内の画像信号値との差異を示す差異情報を前記画像情報に基づいて生成し、
前記個数が第1の所定値以上の場合、画像全体の動きを示す全体動きベクトルを前記差異情報に基づいて決定することを特徴とする。
【００１２】
本発明によれば、画像処理装置等は、過去画像における複数のサンプリングポイントの有効性を判定し、有効なサンプリングポイントが多い場合に差異情報に基づいて画像全体の動きを決定することができる。
【００１３】
また、本発明によれば、画像処理装置等は、有効なサンプリングポイントが少ない場合には差異情報に基づく動き検出を行わないことにより、縞模様等の繰り返しパターンが存在することを適切に判定することができる。
【００１４】
さらに、画像処理装置等は、現在の画像ではなく、過去画像を用いて有効性を判定することにより、例えば、画像処理の対象となる対象画像が読み込まれる前のフレームメモリに過去画像が読み込まれた時点で有効性を判定し、対象画像が読み込まれた時点で動き検出を行うことができるため、有効性を判定する場合であっても効率的に画像処理することができる。
【００１５】
また、前記画像処理装置、前記電子機器、前記プログラムおよび前記情報記憶媒体において、前記差異情報生成部は、前記有効性判定部によって有効と判定された前記過去画像における少なくとも１つのサンプリングポイントの画像信号値と、当該サンプリングポイントに対応した前記対象画像におけるサンプリングポイントに対応する検索範囲内の画像信号値との差異を示す情報を前記差異情報として生成してもよい。
【００１６】
また、前記画像処理方法は、前記有効性判定部によって有効と判定された前記過去画像における少なくとも１つのサンプリングポイントの画像信号値と、当該サンプリングポイントに対応した前記対象画像におけるサンプリングポイントに対応する検索範囲内の画像信号値との差異を示す情報を前記差異情報として生成してもよい。
【００１７】
これによれば、画像処理装置等は、動きの決定に適したサンプリングポイントの画像信号値を用いることができるため、画像内に複数の動きが存在する場合であっても適切に検出することができる。
【００１８】
また、前記画像処理装置、前記電子機器、前記プログラムおよび前記情報記憶媒体において、前記差異情報生成部は、
前記過去画像における前記少なくとも１つのサンプリングポイントの画像信号値と、当該サンプリングポイントに対応した前記対象画像におけるサンプリングポイントに対応する検索範囲内の画像信号値との差分値に基づいてサンプリングポイントごとに差異の度合いに応じて異なる値を設定することにより、サンプリングポイントごとの相関値を示す相関情報を生成する相関情報生成部と、
前記相関情報の極値となるサンプリングポイントに関する情報を前記相関情報に基づいて前記差異情報として生成する極値判定部と、
を含んでもよい。
【００１９】
また、前記画像処理方法は、前記差異情報を生成する際に、
前記過去画像における前記少なくとも１つのサンプリングポイントの画像信号値と、当該サンプリングポイントに対応した前記対象画像におけるサンプリングポイントに対応する検索範囲内の画像信号値との差分値に基づいてサンプリングポイントごとに差異の度合いに応じて異なる値を設定することにより、サンプリングポイントごとの相関値を示す相関情報を生成し、
前記相関情報の極値となるサンプリングポイントに関する情報を前記相関情報に基づいて前記差異情報として生成してもよい。
【００２０】
これによれば、画像処理装置等は、例えば、複数の極値を検出することにより、画像内に複数の動きが存在することを判定することができる。
【００２１】
また、前記画像処理装置、前記電子機器、前記プログラムおよび前記情報記憶媒体において、前記動きベクトル決定部は、
複数の極値が存在し、かつ、当該複数の極値のうち前記相関値が最大の極値の相関値と比較対象となる極値の相関値との差分値が第２の所定値以下かどうかを前記差異情報に基づいて判定し、
当該判定結果が真の場合は当該複数の極値となった前記対象画像におけるサンプリングポイントの動きベクトルのうち、直前の全体動きベクトルとの差分値が最も小さい動きベクトルを前記全体動きベクトルとして決定し、
当該判定結果が偽の場合は前記相関値が最大の極値となった前記対象画像におけるサンプリングポイントの動きベクトルを前記全体動きベクトルとして決定してもよい。
【００２２】
また、前記画像処理方法は、複数の極値が存在し、かつ、当該複数の極値のうち前記相関値が最大の極値の相関値と比較対象となる極値の相関値との差分値が第２の所定値以下かどうかを前記差異情報に基づいて判定し、
当該判定結果が真の場合は当該複数の極値となった前記対象画像におけるサンプリングポイントの動きベクトルのうち、直前の全体動きベクトルとの差分値が最も小さい動きベクトルを前記全体動きベクトルとして決定し、
当該判定結果が偽の場合は前記相関値が最大の極値となった前記対象画像におけるサンプリングポイントの動きベクトルを前記全体動きベクトルとして決定してもよい。
【００２３】
これによれば、画像処理装置等は、複数の動きが存在しないか、あるいは、存在するとしても動きの差が大きい場合は最も大きな動きベクトルを全体動きベクトルとして決定し、複数の動きが存在し、かつ、動きの差が小さい場合は直前の全体動きベクトルとの差分値が最も小さい動きベクトルを全体動きベクトルとして決定することができる。
【００２４】
これにより、画像処理装置等は、例えば、全体動きベクトルに応じて手ぶれの影響等を補正する場合、手ぶれの影響等を適切に補正することができる。
【００２５】
また、前記画像処理装置、前記電子機器、前記プログラムおよび前記情報記憶媒体において、前記有効性は、動き検出に有効であることを示し、
前記有効性判定部は、前記サンプリングポイントを含む所定範囲内の各画素に所定の差異がある場合に当該サンプリングポイントを有効なサンプリングポイントであると判定してもよい。
【００２６】
また、前記画像処理方法において、前記有効性は、動き検出に有効であることを示し、
前記画像処理方法では、前記サンプリングポイントを含む所定範囲内の各画素に所定の差異がある場合に当該サンプリングポイントを有効なサンプリングポイントであると判定してもよい。
【００２７】
また、前記画像処理装置、前記電子機器、前記プログラムおよび前記情報記憶媒体において、前記有効性判定部は、前記所定範囲内の所定の画素を基準点として設定するとともに、当該基準点における画像信号値と、当該所定範囲内の他の画素における画像信号値との差分値が第３の所定値以下となる画素数が第４の所定値以下となる場合に前記所定の差異があると判定してもよい。
【００２８】
また、前記画像処理方法は、前記所定範囲内の所定の画素を基準点として設定するとともに、当該基準点における画像信号値と、当該所定範囲内の他の画素における画像信号値との差分値が第３の所定値以下となる画素数が第４の所定値以下となる場合に前記所定の差異があると判定してもよい。
【００２９】
これによれば、画像処理装置等は、サンプリングポイントごとの所定範囲を構成する各画素の画像信号値の差異に基づいて動き検出の有効性を判定することができる。
【００３０】
また、前記画像処理装置、前記電子機器、前記プログラムおよび前記情報記憶媒体において、前記動きベクトル決定部は、前記個数が前記第1の所定値未満の場合、前記全体動きベクトルとして、画像全体の動きがないことを示す情報を設定してもよい。
【００３１】
また、前記画像処理方法は、前記動きベクトルを決定する際に、前記個数が前記第1の所定値未満の場合、前記全体動きベクトルとして、画像全体の動きがないことを示す情報を設定してもよい。
【００３２】
これによれば、画像処理装置等は、有効なサンプリングポイントが少ない場合、画像全体の動きがないことを示す情報を設定することにより、誤って動きを検出することを防止することができる。
【００３３】
また、前記画像処理装置および前記電子機器は、手ぶれ補正部を含み、
前記画像情報は、撮像された動画像を示す情報であって、
前記手ぶれ補正部は、前記全体動きベクトルに基づき、前記画像情報を補正してもよい。
【００３４】
また、前記プログラムおよび前記情報記憶媒体は、手ぶれ補正部としてコンピュータを機能させ、
前記画像情報は、撮像された動画像を示す情報であって、
前記手ぶれ補正部は、前記全体動きベクトルに基づき、前記画像情報を補正してもよい。
【００３５】
また、前記画像処理方法において、前記画像情報は、撮像された動画像を示す情報であって、
前記全体動きベクトルに基づき、前記画像情報を補正してもよい。
【００３６】
これによれば、画像処理装置等は、全体動きベクトルに応じて手ぶれの影響を適切に補正することができる。
【発明を実施するための最良の形態】
【００３７】
以下、本発明を画像処理装置に適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００３８】
図１は、本実施例における画像処理装置１０の機能ブロック図である。
【００３９】
画像処理装置１０は、画像入力装置２０から入力された画像情報に含まれる手ぶれの影響を補正し、補正した画像情報を画像出力装置３０に出力する装置である。
【００４０】
画像入力装置２０としては、例えば、デジタルカメラ、デジタルビデオカメラ等の撮像装置、画像情報を記憶するサーバー、画像情報を中継する通信装置等が該当する。また、画像出力装置３０としては、例えば、プロジェクタ、デジタルカメラ、デジタルビデオカメラ、画像情報を記憶するサーバー、画像情報を中継する通信装置等が該当する。また、画像処理装置１０、画像入力装置２０および画像出力装置３０は、電子機器（例えば、プロジェクタ、プロジェクションＴＶ、液晶ＴＶ、ＰＣ等の画像表示装置、デジタルカメラ、デジタルビデオカメラ等の画像記憶装置等）として一体化されてもよい。なお、画像記録装置は、手ぶれ補正機能を有してもよいし、手ぶれを補正しないで撮像時の動き情報を画像情報に付加する機能を有してもよい。
【００４１】
また、画像処理装置１０は、過去画像における複数のサンプリングポイントの動き検出に対する有効性を判定するとともに、有効なサンプリングポイントの個数が第1の所定値以上かどうかを判定する有効性判定部１１０と、当該個数が第1の所定値以上の場合、差異情報を生成する差異情報生成部１２０と、画像全体の動きを示す全体動きベクトルを決定する動きベクトル決定部１３０と、全体動きベクトルに基づき、画像情報を補正する手ぶれ補正部１４０と、画像情報等の種々の情報を記憶する記憶部１９０とを含んで構成されている。
【００４２】
また、差異情報生成部１２０は、過去画像における有効なサンプリングポイントの輝度値と、当該サンプリングポイントに対応した対象画像における検索範囲内の画素の輝度値との差分値に基づき、サンプリングポイントごとに差異の度合いに応じて異なる値を設定することにより、サンプリングポイントごとの相関値を示す相関情報を生成する相関情報生成部１２２と、相関情報に基づき、相関情報の極値となるサンプリングポイントに関する情報を差異情報として生成する極値判定部１２４とを含んで構成されている。
【００４３】
なお、これらの各部は、例えば、以下のハードウェアを用いて構成してもよい。
【００４４】
図２は、本実施例における画像処理装置１０のハードウェアブロック図である。
【００４５】
例えば、有効性判定部１１０、差異情報生成部１２０、動きベクトル決定部１３０および手ぶれ補正部１４０としては、例えば、ＣＰＵ９１０、画像処理回路９２０等、記憶部１９０としては、例えば、ＲＡＭ９３０、ＲＯＭ９４０等を用いて実装できる。
【００４６】
なお、これらの各部はシステムバス９００を介して相互に情報をやりとりすることが可能である。また、これらの各部は、その一部または全部を、回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。
【００４７】
さらに、有効性判定部１１０等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体４０からプログラムを読み取って有効性判定部１１０等の機能をコンピュータに実装してもよい。
【００４８】
このような情報記憶媒体４０としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００４９】
また、情報記憶媒体４０に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。
【００５０】
次に、手ぶれの影響の含まれる画像を補正する手順について説明する。
【００５１】
図３は、画像の手ぶれ補正を示す概略図である。
【００５２】
まず、画像処理装置１０は、所定時点（例えば、最新時点等）における画像（例えば、フレーム単位またはフィールド単位の画像）である対象画像３１０を、所定時点より前の時点における画像である過去画像３００と比較し、対象画像３１０の矢印で示す全体動きベクトルを決定する。
【００５３】
そして、画像処理装置１０は、全体動きベクトルに基づいて対象画像３１０内の破線で囲まれる領域を主要画像３２０として決定する。
【００５４】
そして、画像処理装置１０は、主要画像３２０を元の画像の大きさに拡大して補正画像３３０を生成する。
【００５５】
なお、主要画像３２０の生成および画像の拡大については、例えば、特願２００４−３７９２１６号に記載された手法を採用してもよい。
【００５６】
以上の手順により、画像処理装置１０は、全体動きベクトルを決定することにより、手ぶれの影響を軽減した画像を生成することができる。
【００５７】
次に、全体動きベクトル決定までの処理の流れについて具体的に説明する。
【００５８】
図４は、本実施例における全体動きベクトル決定までの処理の流れを示すフローチャートである。また、図５は、本実施例における過去画像３００と対象画像３１０におけるサンプリングポイントＲｋ、ｒＲｋと基準点Ｔｋを示す模式図である。また、図６は、本実施例におけるサンプリングポイントＲｋの有効性判定の処理の流れを示すフローチャートである。
【００５９】
有効性判定部１１０は、画像情報に基づき、過去画像３００において、複数のサンプリングポイントを設定し、各サンプリングポイントの有効性を判定する（ステップＳ１）。なお、サンプリングポイントは、例えば、画像の小領域における動きベクトルを検出するための画素である。また、動きの検出対象は画像全体であってもよいし、画像全体よりは小さい領域（例えば、画像の外周部の数画素を除外した領域等）であってもよい。
【００６０】
ここで、図６を用いて複数のサンプリングポイントの有効性を判定する処理手順について説明する。
【００６１】
有効性判定部１１０は、有効なサンプリングポイントの個数ＣＲを０に設定する（ステップＳ１１）。
【００６２】
そして、有効性判定部１１０は、全サンプリングポイントの判定処理が終了したかどうかを判定し（ステップＳ１２）、終了していない場合、基準点Ｔｋの輝度値との差が少ない輝度値を有する画素数を示すＣＫを０に設定する（ステップＳ１３）。
【００６３】
なお、図５に示すように、有効性判定部１１０は、例えば、過去画像３００のサンプリングポイントＲｋを含む検索範囲Ｓｐｋを設定し、検索範囲Ｓｐｋ内の所定の画素を基準点Ｔｋとして設定する。図５では、サンプリングポイントＲｋと基準点Ｔｋは異なる位置にあるが、同じ位置であってもよい。
【００６４】
また、有効性判定部１１０は、対象画像３１０のサンプリングポイントｒＲｋを含む検索範囲Ｓｎｋを設定する。なお、検索範囲Ｓｐｋと検索範囲Ｓｎｋは画像の座標において同じ位置にあり、同じ大きさを有する。画像処理装置１０は、検索範囲Ｓｐｋと検索範囲Ｓｎｋを同じ位置等に設定することにより、当該範囲における動きの変化を適切に捉えることができる。
【００６５】
有効性判定部１１０は、ＣＫを０に設定した後、検索範囲Ｓｐｋ内の全画素の判定を終了したかどうかを判定し（ステップＳ１４）、終了していない場合は検索範囲Ｓｐｋ内の対象画素を設定する（ステップＳ１８）。なお、有効性判定部１１０は、例えば、検索範囲Ｓｐｋ内の左上の画素から右下の画素まで順番に対象画素として設定する。
【００６６】
有効性判定部１１０は、対象画素の輝度値と基準点Ｔｋの輝度値との差分値（差分の絶対値）がα（第３の所定値）以下かどうかを判定する（ステップＳ１９）。なお、ここで、αとしては、例えば、各画素が取り得る輝度範囲のうちの１％の値を採用してもよい。具体的には、例えば、輝度範囲が０〜２００の場合、α＝２である。
【００６７】
この判定結果が真の場合、すなわち、対象画素の輝度値と基準点Ｔｋの輝度値との差が小さい場合、有効性判定部１１０は、ＣＫに１を加える（ステップＳ２０）。なお、この判定結果が偽の場合、すなわち、対象画素の輝度値と基準点Ｔｋの輝度値との差が大きい場合、ＣＫの値は変化しない。
【００６８】
有効性判定部１１０は、サンプリングポイントＲｋに関する検索範囲Ｓｐｋの全画素の判定を終了した場合（ステップＳ１４）、ＣＫがβ（第４の所定値）以下かどうかを判定する（ステップＳ１５）。なお、ここで、βとしては、例えば、検索範囲Ｓｐｋの短いほうの辺を構成する画素数等を採用してもよい。具体的には、例えば、検索範囲Ｓｐｋが横１６画素、縦９画素の場合、β＝９である。
【００６９】
この判定結果が真の場合、すなわち、検索範囲Ｓｐｋの各画素の輝度値の差が大きい場合、有効性判定部１１０は、当該サンプリングポイントＲｋは有効であると判定し、ＣＲに１を加え（ステップＳ１６）、当該サンプリングポイントＲｋが有効であることを示す情報を記憶部１９０に記憶する（ステップＳ１７）。
【００７０】
なお、この判定結果が偽の場合、すなわち、検索範囲Ｓｐｋの各画素の輝度値の差が小さい場合、有効性判定部１１０は、当該サンプリングポイントＲｋは無効であると判定し、ＣＲの値は変化しない。
【００７１】
有効性判定部１１０は、ステップＳ１３〜Ｓ２０の処理を全サンプリングポイントに対して実行する。
【００７２】
そして、有効性判定部１１０は、全サンプリングポイントに対する有効性判定処理が終了した場合、図４のステップＳ２以降の処理を実行する。
【００７３】
有効性判定部１１０は、全サンプリングポイントに対する有効性判定処理が終了した時点のＣＲがγ（第１の所定値）以上かどうかを判定する（ステップＳ２）。なお、有効性判定部１１０は、γとして、例えば、全サンプリングポイント数の半数以上の数値を採用してもよい。具体的には、例えば、サンプリングポイントが１０個の場合、γは５である。すなわち、有効性判定部１１０は、ＣＲがγ以上の場合、有効なサンプリングポイントが多いため、適切な動きベクトルを検出できると判定する。
【００７４】
相関情報生成部１２２は、ＣＲがγ以上の場合、ステップＳ１７で記憶部１９０に記憶された情報に基づき、有効なサンプリングポイントの輝度値を用いて相関情報を生成する（ステップＳ３）。より具体的には、相関情報生成部１２２は、過去画像３００における有効なサンプリングポイントの輝度値と、当該有効なサンプリングポイントと同じ位置にある対象画像３１０におけるサンプリングポイントの輝度値との差分値に基づき、サンプリングポイントごとに差異の度合いに応じて異なる値を設定することにより、サンプリングポイントごとの相関値を示す相関情報を生成する。
【００７５】
そして、極値判定部１２４は、相関情報に基づき、相関情報の極値となるサンプリングポイントに関する情報を差異情報として生成する（ステップＳ４）。なお、差異情報は、例えば、極値の個数、極値の位置、極値の相関値を示す情報を含む。
【００７６】
また、差異情報生成部１２０は、相関情報、差異情報を生成する具体的な手法として、例えば、上述した特開２００４−２０６６３８号に記載された手法を採用してもよい。
【００７７】
動きベクトル決定部１３０は、差異情報に基づき、極値が複数存在しているかどうかを判定する（ステップＳ５）。
【００７８】
そして、動きベクトル決定部１３０は、極値が複数存在している場合、各極値の相関値が類似しているかどうかを判定する（ステップＳ６）。より具体的には、動きベクトル決定部１３０は、最大の相関値を有する極値の相関値と、その他の極値の相関値との差分の絶対値がσ（第２の所定値）以下の場合、類似していると判定し、少なくとも１つの極値がこの条件を満たさない場合は類似していないと判定する。
【００７９】
動きベクトル決定部１３０は、複数の極値が存在し、かつ、当該複数の極値のうち相関値が最大の極値の相関値と比較対象となる全ての極値の相関値との差分値がσ以下の場合、全体動きベクトルとして、直前（例えば、１フレーム前）の全体動きベクトルとの差分値が最も小さくなる動きベクトルを有する極値の動きベクトルを設定する（ステップＳ７）。
【００８０】
また、動きベクトル決定部１３０は、複数の極値が存在しない場合、あるいは、複数の極値が存在するが、当該複数の極値のうち相関値が最大の極値の相関値と比較対象となる全ての極値の相関値との差分値がσを超える極値が少なくとも１つ存在する場合、全体動きベクトルとして、相関値が最大の極値の動きベクトルを設定する（ステップＳ８）。
【００８１】
また、動きベクトル決定部１３０は、ＣＲがγ未満の場合、有効なサンプリングポイントが少ないと判定し、全体動きベクトルとして、画像全体の動きがないことを示す情報（例えば、０等）を設定する（ステップＳ９）。
【００８２】
以上のように、本実施例によれば、画像処理装置１０は、過去画像３００における複数のサンプリングポイントの有効性を判定し、有効なサンプリングポイントが多い場合に差異情報に基づいて画像全体の動きを決定することができる。これにより、画像処理装置１０は、動きの決定に適したサンプリングポイントの輝度値を用いることができるため、画像内に複数の動きが存在する場合であっても適切に検出することができる。
【００８３】
また、本実施例によれば、画像処理装置１０は、サンプリングポイントごとの検索範囲を構成する各画素の画像信号値の差異に基づいて有効性を判定することにより、一様領域や繰り返し領域等の動き検出に適さないサンプリングポイントを除外して有効なサンプリングポイントのみを用いて画像の動きを検出することができる。
【００８４】
また、本実施例によれば、画像処理装置１０は、有効なサンプリングポイントが少ない場合には、縞模様等の繰り返しパターンが存在すると判定することができる。また、この場合、画像処理装置１０は、差異情報に基づく動き検出を行わずに画像全体に動きがないことを示す情報を全体動きベクトルとして設定することにより、効率的に画像処理を実行できる上、誤って動きを検出することを防止することができる。
【００８５】
さらに、画像処理装置１０は、現在の画像ではなく、過去画像３００を用いて有効性を判定することにより、例えば、対象画像が読み込まれる前のフレームメモリに過去画像３００が読み込まれた時点で有効性を判定し、対象画像が読み込まれた時点で動き検出を行うことができるため、有効性を判定する場合であっても効率的に画像処理を実行できる。
【００８６】
しかも、本実施例によれば、画像処理装置１０は、従来のようにヒストグラムを生成することなく、画像の動きを分析することができるため、より効率的に画像処理を実行できる。
【００８７】
また、本実施例によれば、画像処理装置１０は、複数の極値を検出することにより、画像内に複数の動きが存在することを判定することができる。
【００８８】
また、本実施例によれば、画像処理装置１０は、画像内に複数の動きが存在しないか、あるいは、存在するとしても動きの差が大きい場合は最も大きな動きベクトルを全体動きベクトルとして決定する。
【００８９】
この場合、画像処理装置１０は、最も大きな動きベクトルを全体動きベクトルとして決定し、手ぶれ補正を行うことにより、手ぶれによる極端な揺れを補正することができる。
【００９０】
また、画像処理装置１０は、画像内に複数の動きが存在し、かつ、動きの差が小さい場合は直前の全体動きベクトルとの差分値が最も小さい動きベクトルを全体動きベクトルとして決定することができる。
【００９１】
この場合、画像処理装置１０は、直前の全体動きベクトルとの差分値が最も小さい動きベクトルを全体動きベクトルとして決定することにより、手ぶれ補正を行う場合の補正量の変化が少なくなるため、補正後の画像に含まれる画像の揺れを少なくすることができる。
【００９２】
以上のように、画像処理装置１０は、全体動きベクトルを適切に決定することができるため、例えば、全体動きベクトルに応じて手ぶれの影響等を補正する場合、手ぶれの影響等を適切に補正することができる。これにより、画像の観察者は、手ぶれの影響等による不快な画像の揺れを感じることなく、快適に画像を観察することができる。
【００９３】
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【００９４】
例えば、上述した実施例では、画像処理装置１０は、輝度値を用いたが、例えば、ＲＧＢ値等の画像信号値を用いて画像処理を実行してもよい。
【００９５】
また、上述した実施例では、画像処理装置１０は、有効と判定したサンプリングポイントの画像信号値のみを用いたが、例えば、画像内の全てのサンプリングポイントの画像信号値を用いて画像処理を実行してもよい。
【００９６】
また、上述した実施例では、画像処理装置１０は、差異として差分値を用いたが、例えば、比率等を用いてもよい。
【００９７】
また、上述した画像処理装置１０の機能は、例えば、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。
【図面の簡単な説明】
【００９８】
【図１】本実施例における画像処理装置の機能ブロック図である。
【図２】本実施例における画像処理装置のハードウェアブロック図である。
【図３】画像の手ぶれ補正を示す概略図である。
【図４】本実施例における全体動きベクトル決定までの処理の流れを示すフローチャートである。
【図５】本実施例における過去画像と対象画像におけるサンプリングポイントと基準点を示す模式図である。
【図６】本実施例におけるサンプリングポイントの有効性判定の処理の流れを示すフローチャートである。
【符号の説明】
【００９９】
１０  画像処理装置、４０  情報記憶媒体、１１０  有効性判定部、１２０  差異情報生成部、１２２  相関情報生成部、１２４  極値判定部、１３０  動きベクトル決定部、１４０  手ぶれ補正部、３００  過去画像、３１０  対象画像
【図１】
2006343949.tif 000003
【図２】
2006343949.tif 000004
【図３】
2006343949.tif 000005
【図４】
2006343949.tif 000006
【図５】
2006343949.tif 000007
【図６】
2006343949.tif 000008