(57)【要約】【課題】本発明は、画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置に関し、例えばビデオ信号の画質調整等に利用して、従来に比してより的確に誘目領域を検出することができるようにする。【解決手段】本発明は、撮像結果の各部で検出される動きベクトルをズーム操作による成分とパン、チルトによる成分とに分離して、それぞれ誘目領域である確からしさを示す誘目度を検出し、これらの誘目度から総合的に誘目度を検出する。【選択図】        図１
2008053775.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号を処理して、カメラマンが撮影を意図したと考えられる誘目領域を検出する画像処理方法において、
前記ビデオ信号の各部の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出した動きベクトルから、少なくとも前記ビデオ信号による画面の中央を間に挟んで対向する前記画面の周辺部分の２箇所について、前記周辺部分の動きを代表する代表値をそれぞれ検出する代表値検出ステップと、
前記代表値からズーム操作による動き成分を検出するズームによる動き成分検出ステップと、
前記ズーム操作による動き成分に基づいて、前記ビデオ信号の各部におけるズーム操作による動き成分を検出するズームによる誘目度検出ステップと、
前記動きベクトル検出ステップで検出した各部の動きベクトルから、前記ズームによる誘目度検出ステップで検出した対応する動き成分を排除する動きベクトル補正ステップと、
前記代表値からパン、チルトによる動き成分を検出するパン、チルトによる動き成分検出ステップと、
前記動きベクトル補正ステップで計算した各部の動きベクトルから、前記パン、チルトによる動き成分を減算して各部のパン、チルトによる動き成分を検出するパン、チルトによる誘目度検出ステップと、
前記ズームによる誘目度検出ステップと、前記パン、チルトによる誘目度検出ステップとの計算値を各部でそれぞれ加算して、前記誘目領域である確からしさを示す誘目度を前記各部で計算する総合の誘目度検出ステップとを有する
ことを特徴とする画像処理方法。
【請求項２】
前記代表値検出ステップは、
前記周辺部分毎に、前記動きベクトルのヒストグラムを作成し、最も分布の大きな動きベクトルを前記代表値に設定する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記ズームによる動き成分検出ステップは、
前記代表値から逆相成分を検出して前記ズーム操作による動き成分を検出する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記パン、チルトによる動き成分検出ステップは、
前記代表値から同相成分を検出して前記パン、チルトによる動き成分を検出する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記ズームによる誘目度検出ステップは、
前記各部の前記ビデオ信号の画面における位置を変数とした、前記ズーム操作による動き成分の補間演算処理により、前記ビデオ信号の各部におけるズーム操作による動き成分を検出する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記総合の誘目度検出ステップで計算した前記誘目度を平滑化する平滑化ステップを有する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項７】
ビデオ信号を処理して、カメラマンが撮影を意図したと考えられる誘目領域を検出する画像処理方法のプログラムにおいて、
前記ビデオ信号の各部の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出した動きベクトルから、少なくとも前記ビデオ信号による画面の中央を間に挟んで対向する前記画面の周辺部分の２箇所について、前記周辺部分の動きを代表する代表値をそれぞれ検出する代表値検出ステップと、
前記代表値からズーム操作による動き成分を検出するズームによる動き成分検出ステップと、
前記ズーム操作による動き成分に基づいて、前記ビデオ信号の各部におけるズーム操作による動き成分を検出するズームによる誘目度検出ステップと、
前記動きベクトル検出ステップで検出した各部の動きベクトルから、前記ズームによる誘目度検出ステップで検出した対応する動き成分を排除する動きベクトル補正ステップと、
前記代表値からパン、チルトによる動き成分を検出するパン、チルトによる動き成分検出ステップと、
前記動きベクトル補正ステップで計算した各部の動きベクトルから、前記パン、チルトによる動き成分を減算して各部のパン、チルトによる動き成分を検出するパン、チルトによる誘目度検出ステップと、
前記ズームによる誘目度検出ステップと、前記パン、チルトによる誘目度検出ステップとの計算値を各部でそれぞれ加算して、前記誘目領域である確からしさを示す誘目度を前記各部で計算する総合の誘目度検出ステップとを有する
ことを特徴とする画像処理方法のプログラム。
【請求項８】
ビデオ信号を処理して、カメラマンが撮影を意図したと考えられる誘目領域を検出する画像処理方法のプログラムを記録した記録媒体において、
前記画像処理方法は、
前記ビデオ信号の各部の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出した動きベクトルから、少なくとも前記ビデオ信号による画面の中央を間に挟んで対向する前記画面の周辺部分の２箇所について、前記周辺部分の動きを代表する代表値をそれぞれ検出する代表値検出ステップと、
前記代表値からズーム操作による動き成分を検出するズームによる動き成分検出ステップと、
前記ズーム操作による動き成分に基づいて、前記ビデオ信号の各部におけるズーム操作による動き成分を検出するズームによる誘目度検出ステップと、
前記動きベクトル検出ステップで検出した各部の動きベクトルから、前記ズームによる誘目度検出ステップで検出した対応する動き成分を排除する動きベクトル補正ステップと、
前記代表値からパン、チルトによる動き成分を検出するパン、チルトによる動き成分検出ステップと、
前記動きベクトル補正ステップで計算した各部の動きベクトルから、前記パン、チルトによる動き成分を減算して各部のパン、チルトによる動き成分を検出するパン、チルトによる誘目度検出ステップと、
前記ズームによる誘目度検出ステップと、前記パン、チルトによる誘目度検出ステップとの計算値を各部でそれぞれ加算して、前記誘目領域である確からしさを示す誘目度を前記各部で計算する総合の誘目度検出ステップとを有する
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【請求項９】
ビデオ信号を処理して、カメラマンが撮影を意図したと考えられる誘目領域を検出する画像処理装置において、
前記ビデオ信号の各部の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出した動きベクトルから、少なくとも前記ビデオ信号による画面の中央を間に挟んで対向する前記画面の周辺部分の２箇所について、前記周辺部分の動きを代表する代表値をそれぞれ検出する代表値検出部と、
前記代表値からズーム操作による動き成分を検出するズームによる動き成分検出部と、
前記ズーム操作による動き成分に基づいて、前記ビデオ信号の各部におけるズーム操作による動き成分を検出するズームによる誘目度検出部と、
前記動きベクトル検出部で検出した各部の動きベクトルから、前記ズームによる誘目度検出部で検出した対応する動き成分を排除する動きベクトル補正部と、
前記代表値からパン、チルトによる動き成分を検出するパン、チルトによる動き成分検出部と、
前記動きベクトル補正部で計算した各部の動きベクトルから、前記パン、チルトによる動き成分を減算して各部のパン、チルトによる動き成分を検出するパン、チルトによる誘目度検出部と、
前記ズームによる誘目度検出部と、前記パン、チルトによる誘目度検出部との計算値を各部でそれぞれ加算して、前記誘目領域である確からしさを示す誘目度を前記各部で計算する総合の誘目度検出部とを有する
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理回路に関し、例えばビデオ信号の画質調整等に利用することができる。本発明は、撮像結果の各部で検出される動きベクトルをズーム操作による成分とパン、チルトによる成分とに分離して、それぞれ誘目領域である確からしさを示す誘目度を検出し、これらの誘目度から総合的に誘目度を検出することにより、従来に比してより的確に誘目領域を検出することができるようにする。
【背景技術】
【０００２】
従来、各種画像処理では、２次元の映像内に含まれる物理的特徴に基づいて、カメラマンが撮影を意図した被写体が写っている領域（以下、誘目領域と呼ぶ）を特定する方法が種々に提案されている。
【０００３】
ここでこのような物理的特徴は、２次元の映像内に含まれる色、形、テクスチャ、空間周波数等であり、例えば特開２００６−１４８３８６号公報には、撮像回路までの距離の変化を判定して誘目領域を検出する方法が提案されている。
【０００４】
しかしながら従来手法による誘目領域の検出にあっては、実用上未だ不十分な問題がある。
【特許文献１】特開２００６−１４８３８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は以上の点を考慮してなされたもので、従来に比してより的確に誘目領域を検出することができる画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理回路を提案しようとするものである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため請求項１の発明は、ビデオ信号を処理して、カメラマンが撮影を意図したと考えられる誘目領域を検出する画像処理方法に適用して、前記ビデオ信号の各部の動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトル検出ステップで検出した動きベクトルから、少なくとも前記ビデオ信号による画面の中央を間に挟んで対向する前記画面の周辺部分の２箇所について、前記周辺部分の動きを代表する代表値をそれぞれ検出する代表値検出ステップと、前記代表値からズーム操作による動き成分を検出するズームによる動き成分検出ステップと、前記ズーム操作による動き成分に基づいて、前記ビデオ信号の各部におけるズーム操作による動き成分を検出するズームによる誘目度検出ステップと、前記動きベクトル検出ステップで検出した各部の動きベクトルから、前記ズームによる誘目度検出ステップで検出した対応する動き成分を排除する動きベクトル補正ステップと、前記代表値からパン、チルトによる動き成分を検出するパン、チルトによる動き成分検出ステップと、前記動きベクトル補正ステップで計算した各部の動きベクトルから、前記パン、チルトによる動き成分を減算して各部のパン、チルトによる動き成分を検出するパン、チルトによる誘目度検出ステップと、前記ズームによる誘目度検出ステップと、前記パン、チルトによる誘目度検出ステップとの計算値を各部でそれぞれ加算して、前記誘目領域である確からしさを示す誘目度を前記各部で計算する総合の誘目度検出ステップとを有するようにする。
【０００７】
また請求項７の発明は、ビデオ信号を処理して、カメラマンが撮影を意図したと考えられる誘目領域を検出する画像処理方法のプログラムに適用して、前記ビデオ信号の各部の動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトル検出ステップで検出した動きベクトルから、少なくとも前記ビデオ信号による画面の中央を間に挟んで対向する前記画面の周辺部分の２箇所について、前記周辺部分の動きを代表する代表値をそれぞれ検出する代表値検出ステップと、前記代表値からズーム操作による動き成分を検出するズームによる動き成分検出ステップと、前記ズーム操作による動き成分に基づいて、前記ビデオ信号の各部におけるズーム操作による動き成分を検出するズームによる誘目度検出ステップと、前記動きベクトル検出ステップで検出した各部の動きベクトルから、前記ズームによる誘目度検出ステップで検出した対応する動き成分を排除する動きベクトル補正ステップと、前記代表値からパン、チルトによる動き成分を検出するパン、チルトによる動き成分検出ステップと、前記動きベクトル補正ステップで計算した各部の動きベクトルから、前記パン、チルトによる動き成分を減算して各部のパン、チルトによる動き成分を検出するパン、チルトによる誘目度検出ステップと、前記ズームによる誘目度検出ステップと、前記パン、チルトによる誘目度検出ステップとの計算値を各部でそれぞれ加算して、前記誘目領域である確からしさを示す誘目度を前記各部で計算する総合の誘目度検出ステップとを有するようにする。
【０００８】
また請求項８の発明は、ビデオ信号を処理して、カメラマンが撮影を意図したと考えられる誘目領域を検出する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法は、前記ビデオ信号の各部の動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトル検出ステップで検出した動きベクトルから、少なくとも前記ビデオ信号による画面の中央を間に挟んで対向する前記画面の周辺部分の２箇所について、前記周辺部分の動きを代表する代表値をそれぞれ検出する代表値検出ステップと、  前記代表値からズーム操作による動き成分を検出するズームによる動き成分検出ステップと、前記ズーム操作による動き成分に基づいて、前記ビデオ信号の各部におけるズーム操作による動き成分を検出するズームによる誘目度検出ステップと、前記動きベクトル検出ステップで検出した各部の動きベクトルから、前記ズームによる誘目度検出ステップで検出した対応する動き成分を排除する動きベクトル補正ステップと、前記代表値からパン、チルトによる動き成分を検出するパン、チルトによる動き成分検出ステップと、前記動きベクトル補正ステップで計算した各部の動きベクトルから、前記パン、チルトによる動き成分を減算して各部のパン、チルトによる動き成分を検出するパン、チルトによる誘目度検出ステップと、前記ズームによる誘目度検出ステップと、前記パン、チルトによる誘目度検出ステップとの計算値を各部でそれぞれ加算して、前記誘目領域である確からしさを示す誘目度を前記各部で計算する総合の誘目度検出ステップとを有するようにする。
【０００９】
また請求項９の発明は、ビデオ信号を処理して、カメラマンが撮影を意図したと考えられる誘目領域を検出する画像処理回路に適用して、前記ビデオ信号の各部の動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部で検出した動きベクトルから、少なくとも前記ビデオ信号による画面の中央を間に挟んで対向する前記画面の周辺部分の２箇所について、前記周辺部分の動きを代表する代表値をそれぞれ検出する代表値検出部と、前記代表値からズーム操作による動き成分を検出するズームによる動き成分検出部と、前記ズーム操作による動き成分に基づいて、前記ビデオ信号の各部におけるズーム操作による動き成分を検出するズームによる誘目度検出部と、前記動きベクトル検出部で検出した各部の動きベクトルから、前記ズームによる誘目度検出部で検出した対応する動き成分を排除する動きベクトル補正部と、前記代表値からパン、チルトによる動き成分を検出するパン、チルトによる動き成分検出部と、前記動きベクトル補正部で計算した各部の動きベクトルから、前記パン、チルトによる動き成分を減算して各部のパン、チルトによる動き成分を検出するパン、チルトによる誘目度検出部と、前記ズームによる誘目度検出部と、前記パン、チルトによる誘目度検出部との計算値を各部でそれぞれ加算して、前記誘目領域である確からしさを示す誘目度を前記各部で計算する総合の誘目度検出部とを有するようにする。
【００１０】
請求項１、請求項７、請求項８又は請求項９の構成によれば、パン、チルトによる動き成分と、ズーム操作による動き成分とが混在する場合でも、画面の周辺部分で検出される動きベクトルの代表値から、ズーム操作による動き成分と、パン、チルトによる動き成分とが分離され、このズーム操作による動き成分からズーム操作による各部の動き成分が検出され、この検出結果を用いてパン、チルトによる各部の動き成分が検出される。ここでこのようにして検出されるズーム操作による各部の動き成分にあっては、画面中央部分程、すなわち動きが小さい部位程、誘目領域である可能性が高いと言える。またパン、チルトによる各部の動き成分にあっては、カメラの動きに追従している部位程、すなわち動きが小さい部位程、誘目領域である可能性が高いと言える。これによりズーム操作による各部の動き成分と、パン、チルトによる各部の動き成分とから、誘目領域である確からしさを示す誘目度を求めるようにして、従来に比してより的確に誘目領域を検出することができる。
【発明の効果】
【００１１】
本発明によれば、従来に比してより的確に誘目領域を検出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１３】
（１）実施例の構成
図２は、本発明の実施例１の画像処理回路を示すブロック図である。この画像処理回路１は、誘目領域検出部２でビデオ信号Ｓ１から誘目領域を検出し、この誘目領域の検出結果に基づいて画像処理部３でビデオ信号Ｓ１を画像処理して出力信号Ｓ２を出力する。なおここでこの画像処理部３における画像処理は、例えば誘目領域を抽出するキー信号、マスクの生成、誘目領域を主体とした画質の補正等、種々の画像処理を広く適用することができる。
【００１４】
誘目領域検出部２において、フレームメモリ（ＦＭ）４は、ビデオ信号Ｓ１を１フレームの期間だけ遅延させて出力し、続く動きベクトル算出部５は、この１フレームだけ遅延したビデオ信号と、元のビデオ信号Ｓ１とを入力して画素毎に動きベクトルｖ１を検出する。なおここでこの動きベクトルの検出は、動きベクトル検出ブロック単位で実行してもよい。また輝度信号のみを用いて動きベクトルｖ１を検出するようにしてもよい。またブロックマッチング法、勾配法等、種々の動きベクトル検出手法を広く適用することができる。
【００１５】
誘目領域検出部２は、この動きベクトルｖ１を用いて誘目領域である可能性を示す誘目度を検出し、この誘目度を所定のしきい値で判定して誘目領域を検出する。
【００１６】
ここで図３（Ａ）及び（Ｂ）に示すように、カメラマンがズームアップ操作した場合、誘目領域をズームアップして撮影する場合であると考えられ、この場合、誘目領域は、画面中央に存在する場合が殆どである。この場合、画面の中央部程、動きベクトルが小さく、画面周辺部に向かうに従って動きベクトルが大きくなる。従ってこの場合、動きベクトルが小さい部位程、誘目領域である可能性が高いと言える。
【００１７】
またこれとは逆に、ズームダウンの場合、それまでズームアップしていた誘目領域をズームダウンして撮影する場合が多く、この場合も、動きベクトルが小さい部位程、誘目領域である可能性が高いと言える。
【００１８】
また図４（Ａ）に示すように、カメラマンがカメラをパンする場合、所望する被写体を追跡する場合が殆どである。従ってこの場合、撮像結果において、カメラの動きに追従して動く領域程、誘目領域である可能性が高いと言え、図４（Ｂ）に示すように、動き量が小さい部分程、誘目領域である可能性が高いと言える。従って動きベクトルの大きさを用いて、誘目領域である可能性を示す誘目度を表すことができる。このことは、図５（Ａ）及び（Ｂ）に示すように、複数人が画枠に捕らえられている場合でも言え、このような場合でも、動きベクトルの絶対値の大きさを用いて誘目度を表すことができる。
【００１９】
またこれによりカメラがチルト操作された場合も、動き量が小さい部分程、誘目領域である可能性が高いと言え、動きベクトルの絶対値の大きさを用いて誘目度を表すことができる。
【００２０】
これらにより何らズームの操作が実行されていない場合には、背景に対する相対的な動きの大きさにより誘目度を検出することができるのに対し、ズーム操作に関しては、画面中央部からの距離により誘目度を表すことができる。
【００２１】
しかしながら実際の撮像結果では、パン、チルト、ズームの操作が組み合わされる場合もある。従ってズーム操作の有無により区別することなく、誘目度を求めることが必要になる。そこでこの実施例では、画面周辺部は、誘目領域でない可能性が高いことに注目し、この画面周辺部で検出される動きベクトルｖ１を基準にして、誘目度を検出する。
【００２２】
ここで図６に示すように、静止した背景の前を被写体が一定速度で移動し、この被写体を追跡するように、単純にカメラがパンしているものとする。この場合、カメラの動きが動きベクトルｖｐに相当するものである場合、図６（Ａ）に示すように、撮像結果では、カメラの動きに対応する動きベクトル−ｖｐが背景で検出されることになる。ここで画面の左端の一定領域、画面の右端の一定領域でそれぞれ検出される動きベクトルをｖ１Ｌ、ｖ１Ｒとし、背景の動きベクトルをvppan とすると、次式により示すように、これら動きベクトルｖ１Ｌ、ｖ１Ｒの平均値により背景の動きベクトルをvppan を表すことができる。
【００２３】
【数１】
2008053775.tif 000003
【００２４】
ここで、背景に対する相対的な動きベクトルを表すと、図７（Ｂ）に示すように、この場合、誘目領域で動きベクトルｖｐが検出されることになる。そこでこの実施例では、パンに関して、背景に対する相対的な動きベクトルの大きさを誘目度と定義し、この定義に従って次式により示すように、各画素の誘目度ro panを定義する。
【００２５】
【数２】
2008053775.tif 000004
【００２６】
これに対してチルトしている場合も同様のことが言え、同様に、各画素の動きベクトルｖ１を処理することにより、誘目度を検出することができる。なおこの場合、画面の左端の一定領域、画面の右端の一定領域でそれぞれ検出される動きベクトルｖ１Ｌ、ｖ１Ｒに代えて、画面の上端の一定領域、画面の下端の一定領域でそれぞれ検出される動きベクトルを用いるようにしてもよい。
【００２７】
これに対して図８に示すように、単にカメラがズームしている場合、図９（Ａ）に示すように、撮像結果の左端領域、右端領域から、ズームの速度に応じた値であって、符号が異なる動きベクトルｖｚ、−ｖｚが検出されることになる。なおここでこの図９を用いた説明においては、説明の簡略化のために、水平方向についてのみ説明する。ここでこの左端、右端から検出される動きベクトルｖｚ、−ｖｚは、ズーム速度を画面の両端を基準にして表していることになる。従って次式により示すように、この動きベクトルｖｚ、−ｖｚの絶対値をズームによる動きベクトルvzoom とする。
【００２８】
【数３】
2008053775.tif 000005
【００２９】
この場合、画面中央部分程、誘目領域であることから、画面上の位置を変数とした補間演算処理により、各画素のズームによる誘目度ro zoomを定義する。具体的に、この実施例は、この補間演算処理に直線補間の処理を適用して、図９（Ｂ）及び（Ｃ）に示すように、画面の横幅をh width とおき、画面の左端からの距離をh pos とおくと、このhの部位における誘目度ro zoomを、h width ／２≧h pos のとき、次式で表す。
【００３０】
【数４】
2008053775.tif 000006
【００３１】
またh width ／２＜h pos のとき、誘目度ro zoomを次式で表す。
【００３２】
【数５】
2008053775.tif 000007
【００３３】
なおここでこの誘目度ro zoomを計算する補間演算処理は、直線補間に限らず、種々の補間演算処理を適用することができ、例えば画面の中央からの距離を変数に設定し、２次曲線を用いて補間演算処理して誘目度ro zoomを計算するようにしてもよい。
【００３４】
これら（１）〜（５）式による誘目度ro pan、ro zoomの定義を基礎として、実際には、被写体の動きに忠実に追従してカメラを操作することは困難であり、また実際の撮像結果では、図１０に示すように、ズームの処理とパン、チルトの操作が組み合わされることにより、この実施例では、以下に説明するようにして誘目度を検出する。なおここで図１０は、画面の左端及び右端でそれぞれ動きベクトルｖａ及びｖｂが検出され、画面中央で動きベクトルｖｃが検出された場合である。
【００３５】
すなわち誘目領域検出部２において、ヒストグラム算出部６は、動きベクトル算出部５で検出された動きベクトルｖ１を入力し、フレーム単位で、画面の周辺部で検出される動きベクトルｖ１を選択的に使用してヒストグラムを算出する。またこの算出したヒストグラムから最も分布の大きな動きベクトルを検出して動きベクトルｖ１の代表値に設定し、この代表値を誘目度算出部７に通知する。これによりヒストグラム算出部６は、ビデオ信号Ｓ１から画面周辺部の動きベクトルを検出して誘目度算出部７に通知する。
【００３６】
具体的に、この実施例では、図１１に示すように、画面の左端の一定幅の領域ＡＲ１、画面の右端の一定幅の領域ＡＲ２でそれぞれ動きベクトルｖ１のヒストグラムを算出し、それぞれ最も分布の大きな動きベクトルを代表値に設定する。なお代表値は、画面の左右端の動きをそれぞれ表すものであれば、種々の処理により選択した動きベクトルを適用することができ、例えば各領域の動きベクトルｖ１の平均値を適用するようにしてもよく、また平均値と最も分布の大きな動きベクトルとの加重平均値を適用するようにしてもよい。また画面の左右端の一定幅の領域に代えて、上下端の一定幅の領域で代表値を検出してもよく、画面の４つのコーナーのうちで、対角線方向に対向する２つのコーナー部分から代表値を検出するようにしてもよい。
【００３７】
誘目度算出部７は、このヒストグラム算出部６で求められた代表値を用いて、各画素の動きベクトルｖ１を処理することにより、画素毎に、誘目度を計算する。またこの誘目度を画像処理部３の処理に適したしきい値で判定し、誘目領域であるか否かを示す誘目領域信号Ｓ３を生成し、この誘目領域信号Ｓ３を誘目領域の検出結果として画像処理部３に出力する。
【００３８】
ここで図１は、この誘目度算出部７の処理手順を示すフローチャートである。誘目度算出部７は、ビデオ信号Ｓ１のフレーム毎に、この図１の処理手順を実行する。すなわち誘目度算出部７は、ヒストグラム算出部６から、１フレーム分、各部の代表値を取得すると、この処理手順を開始してステップＳＰ１からステップＳＰ２に移る。ここで誘目度算出部７は、取得した画面の各部の代表値を、ズームによる成分と、パン、チルトによる成分とに分離する。
【００３９】
ここで図１１に示す背景から検出される動きベクトルｖａ、ｖｂは、上述したパン、チルトによる背景の動きベクトルｖｐ、ズームによる端部の動きベクトルｖｚを用いて、次式により表すことができる。
【００４０】
【数６】
2008053775.tif 000008
【００４１】
なおここでα１、α２は、背景の揺らぎ、ばらつき等による成分であるが、このα１、α２は、ヒストグラム算出部６で代表値を求めることにより値０と見なすことができる。そこでα１、α２をほぼ値０とみなして、この（６）式をベクトルｖｐ、ｖｚについて解けば、次式の関係式を得ることができる。
【００４２】
【数７】
2008053775.tif 000009
【００４３】
誘目度算出部７は、この（７−１）式の関係式を使用して各部で検出した動きベクトルの代表値を平均値化し、これらの代表値の同相成分を検出してパン、チルトによる背景の動きベクトルｖｐを検出する。また（７−１）式の関係式を使用して各部で検出した動きベクトルの代表値を処理し、これら代表値の逆相成分を検出してズームによる端部の動きベクトルｖｚを検出する。
【００４４】
誘目度算出部７は、続いてステップＳＰ３に移り、ステップＳＰ２で検出したズームによる端部の動きベクトルｖｚを用いて、各画素のズームによる誘目度ro zoomを計算する。なおここでｒは、各画素の画面中央からの距離である。
【００４５】
【数８】
2008053775.tif 000010
【００４６】
また同時に、次式の演算処理を実行して、各画素で検出される動きベクトルｖ１のズーム操作による動き成分を検出する。なお次式においては、符号ｘ及びｙのサフィクスにより各値のＸ方向成分及びＹ方向成分を示す。従って誘目度算出部７は、この（９）式の演算処理により、画面中央からのＸ方向及びＹ方向の距離に応じて、画面の左右端で検出されたズーム操作による動きをＸ方向成分、Ｙ方向成分毎に直線補間して、各画素のズーム操作による動きを計算する。
【００４７】
【数９】
2008053775.tif 000011
【００４８】
なお（８）式の演算処理は、この（９）式の演算処理と、この（９）式で求めた動きベクトルｖ１ zoom を、端部の動きベクトルｖｚから減算して絶対値化する演算処理をまとめて実行する演算式である。従ってこのステップＳＰ３における処理では、直接、（８）式の演算処理によりズーム操作による誘目度ro zoomを検出する代わりに、この（９）式の演算処理を実行して求めた各画素のズーム操作によるベクトルｖ１ zoom （ｖ１ zoomx  、ｖ１ zoomy  ）を端部で検出されるズーム操作による動きベクトルｖｚから減算して絶対値化するようにして、（８）式の演算処理による各画素のズームによる誘目度ro zoomを計算するようにしてもよい。
【００４９】
続いて誘目度算出部７は、ステップＳＰ４に移り、次式の演算処理により、ステップＳＰ３で求めた各画素ベクトルｖ１ zoom （ｖ１ zoom x 、ｖ１ zoomy ）を対応する各画素の動きベクトルｖ１から減算し、各画素のパン、チルトによる動きベクトルｖ０を計算する。これらによりこの実施例では、各部で検出した動きベクトルｖ１をズーム操作による動き成分と、パン、チルトによる動き成分とに分離してそれぞれ誘目度を検出していることになる。なおこの場合、（８）式により示す演算処理をＸ方向成分及びＹ方向成分毎に実行して、計算したＸ方向成分及びＹ方向成分によるベクトルを対応する各画素の動きベクトルｖ１に加算し、各画素のパン、チルトによる動きベクトルｖ０を計算するようにしてもよい。また（９）式の演算処理においては、直線補間に代えて、２次曲線による補間演算処理等を適用するようにしてもよい。またＸ成分、Ｙ成分を重み付けして誘目度を検出するようにして、パン操作とチルト操作とで各部の動きに対する誘目度の変化を異ならせるようにしてもよい。なおここで誘目度ro zoom、ro panの単純加算に代えて、重み付け加算して総合の誘目度を計算してもよく、撮影モードに応じて重み付け加算する際の重み付け係数を切り換えるようにしてもよい。
【００５０】
【数１０】
2008053775.tif 000012
【００５１】
またこの計算した各画素の動きベクトルｖ０と、（７−１）式を用いて計算したパン、チルトによる背景の動きベクトルｖｐを用いて、次式の演算処理を実行し、パン、チルトによる誘目度ro panを計算する。
【００５２】
【数１１】
2008053775.tif 000013
【００５３】
また続いてステップＳＰ５に移り、ステップＳＰ３、ステップＳＰ４で計算した誘目度ro zoom、ro panを画素毎に加算して総合の誘目度Ｒ１を計算し、ステップＳＰ６に移ってこの処理手順を終了する。
【００５４】
誘目度算出部７は、この計算した誘目度ｒ１を絶対値化した後、所定のしきい値で判定して誘目領域信号Ｓ３を生成する。
【００５５】
（２）実施例の動作
以上の構成において、この画像処理回路１では（図２）、動きベクトル算出部５において、画素単位で、ビデオ信号Ｓ１の各部における動きベクトルｖ１が検出される。ビデオ信号Ｓ１は、ヒストグラム算出部６において、画面中央を間に挟んで対向する左端及び右端の各領域ＡＲ１、ＡＲ２（図１１）で検出された動きベクトルｖ１から、この各領域ＡＲ１、ＡＲ２の動きを代表する代表値が検出される。ここでこの左端及び右端の各領域ＡＲ１、ＡＲ２の動きを代表する動きベクトルは、背景である可能性が高いと言え、またパン、チルトの場合には、各部で検出された動きベクトルｖ１のうちで、動きの小さい部位程、誘目領域である可能性が高いと言える。またズームの場合には、画面中央の部位程、誘目領域である可能性が高いと言える。しかしながら実際の撮像結果では、パン、チルト、ズームの操作が組み合わされることから、単に画面中央、動きの小さい部分を誘目領域にしたのでは、誤って誘目領域を検出する恐れがある。
【００５６】
そこでこの実施例では、この左端及び右端で検出された代表値からズーム操作による動き成分と、パン、チルト操作による動き成分が検出される（図１、ステップＳＰ２）。
【００５７】
またこのズーム操作による動き成分を用いて、ビデオ信号Ｓ１の各部におけるズーム操作による動きが検出され、またズーム操作による誘目度が検出される（図１、ステップＳＰ３）。
【００５８】
またこの各部におけるズーム操作による動きにより、各部で検出された動きベクトルｖ１からズーム操作による動き成分が排除された後、代表値から検出されたパン、チルト操作による動き成分との相対的な動き量により、パン、チルト操作による誘目度が検出される。またズーム操作による誘目度にパン、チルト操作による誘目度が足し合わされて、総合の誘目度が検出され、この総合の誘目度をしきい値で判定して、誘目領域であるか否かを示す誘目領域信号Ｓ３が生成される。この画像処理回路１では、誘目領域信号Ｓ３に基づいてビデオ信号Ｓ１が画像処理される。
【００５９】
これによりこの画像処理回路１では、２次元の映像内に含まれる色、形、テクスチャ、空間周波数等によっては、誘目領域を検出困難な場合でも、動きベクトルを用いて、誘目領域を検出することができ、従来に比してより的確に誘目領域を検出することができる。またこのとき撮像結果の各部で検出される動きベクトルをズーム操作による成分とパン、チルトによる成分とに分離して、それぞれ誘目度を検出して総合的に誘目度を検出することにより、従来に比してより的確に誘目領域を検出することができる。
【００６０】
より具体的に、この実施例では、ヒストグラム算出部６において、代表値を検出する領域毎にヒストグラムを作成し、このヒストグラムで最も分布の大きな動きベクトルを代表値に設定する。従って例えば図５に示すように、画面に多数の移動体が存在し、その一部が代表値を検出する領域に存在する場合でも、さらには例えば背景の木々のこずえが風により揺らいでいる場合でも、確実に、これらの領域から背景の動きを検出することができ、これにより誘目領域の検出精度を向上することができる。
【００６１】
またこの代表値から逆相成分を検出してズーム操作による動き成分を検出し、また代表値から同相成分を検出してパン、チルトによる動き成分を検出し、これにより簡易な演算処理によりズーム操作による動き成分、パン、チルトによる動き成分を検出して、全体として簡易な構成により従来に比してより的確に誘目領域を検出することができる。
【００６２】
また各部のズーム操作による動き成分にあっては、代表値から検出される画面周囲の動きを基準にして、画面における位置を変数とした補間処理により検出し、これにより簡易な操作で各部におけるズーム操作による動きを検出して、全体として簡易な構成により従来に比してより的確に誘目領域を検出することができる。
【００６３】
（３）実施例の効果
以上の構成によれば、撮像結果の各部で検出される動きベクトルをズーム操作による成分とパン、チルトによる成分とに分離して、それぞれ誘目領域である確からしさを示す誘目度を検出し、これらの誘目度から総合的に誘目度を検出することにより、従来に比してより的確に誘目領域を検出することができる。
【００６４】
また代表値を検出する領域毎にヒストグラムを作成し、このヒストグラムで最も分布の大きな動きベクトルを代表値に設定することにより、背景の動きを確実に検出して誘目領域の検出精度を向上することができる。
【００６５】
またこの代表値から逆相成分を検出してズーム操作による動き成分を検出し、及び又は代表値から同相成分を検出してパン、チルトによる動き成分を検出することにより、簡易な演算処理によりズーム操作による動き成分、パン、チルトによる動き成分を検出することができ、その分、全体として簡易な構成により従来に比してより的確に誘目領域を検出することができる。
【００６６】
また代表値から検出される画面周囲の動きを基準にして、画面における位置を変数とした補間処理により各部のズーム操作による動き成分を検出することにより、簡易な操作で各部におけるズーム操作による動きを検出し、その分、全体として簡易な構成により従来に比してより的確に誘目領域を検出することができる。
【実施例２】
【００６７】
図１２は、図２との対比により本発明の実施例２の画像処理回路を示すブロック図である。この画像処理回路１１において、図２について上述した画像処理回路１と同一の構成は対応する符号を付して示し、重複した説明は省略する。
【００６８】
この画像処理回路１１は、誘目領域検出部１２でビデオ信号Ｓ１の誘目度Ｓ４を検出し、画像処理部１３側でこの誘目度Ｓ４をしきい値で判定して誘目領域信号を生成する。画像処理部１３は、この誘目領域信号に基づいて、実施例１について上述した画像処理部３と同様にビデオ信号Ｓ１を画像処理する。
【００６９】
また誘目領域検出部１２は、実施例１について上述したと同様にして、ヒストグラム算出部６で求めた代表値を用いて動きベクトルｖ１を処理して、誘目度Ｓ５を検出する。誘目度算出部１７は、誘目度Ｓ５を直接出力する点を除いて、実施例１の誘目度算出部７と同一に構成される。
【００７０】
この誘目領域検出部１２は、画像処理部１３に出力する誘目度Ｓ４をフレームメモリ１８を介して１フレームの期間だけ遅延させる。またこの１フレーム遅延した誘目度Ｓ４と、この誘目度算出部１７から出力される誘目度Ｓ５とを、乗算回路１９、２０、加算回路２１により重み付け加算して誘目度Ｓ４を生成する。これにより誘目領域検出部１２は、誘目度を平滑化して出力し、誘目領域の検出を安定化する。なお図１２において、破線で示すように、動きベクトル算出部５で求められる動きベクトルｖ１を基準にしたフレームメモリ１８のアドレッシングにより、フレームメモリ１８に保持した誘目度Ｓ４を動き補正して、移動する部位毎に、また背景毎に、誘目度を平滑化するようにしてもよい。このようにすれば、１フレーム前の異動する前の対応する位置の値と重み付けをすることにより、一段と精度よく誘目度を平滑化処理して、検出精度を向上することができる。
【００７１】
なお、例えば風景モード、ポートレートモード、スポーツモード等の撮影モードにより、誘目領域検出部１２における重み付け係数１−Ｋ、Ｋを切り換えるようにして、平滑処理に係る時定数を可変するようにしてもよい。具体的に、風景モード、ポートレートモードでは時定数を長くし、スポーツモードでは時定数を短くする等である。
【００７２】
この実施例によれば、誘目度を平滑化して出力することにより、誘目領域の検出を安定化することができる。
【実施例３】
【００７３】
なお上述の実施例においては、単に、動きベクトルを用いて誘目領域を検出する場合について述べたが、本発明はこれに限らず、シーンチェンジ検出により、動きベクトルの検出等を中止する構成を設け、さらにシーンチェンジ検出により誘目領度を１フレーム前の値に前置ホールドするようにしてもよい。このようにすればカメラワークの終了等による動きベクトルの消失に左右されないようにして、安定に誘目度を検出することができる。
【００７４】
また上述の実施例においては、単に、動きベクトルを用いて誘目領域を検出する場合について述べたが、本発明はこれに限らず、２次元の映像内に含まれる色、形、テクスチャ、空間周波数等の物理的特徴を用いて誘目領域を検出する手法と組み合わせて、誘目領域を検出するようにしてもよい。なおこの場合、各手法で検出される誘目領域信号の論理和演算により全体の誘目領域信号を生成する場合等、これらの手法の組み合わせには種々の構成を適用することができる。また撮影のモードによって、誘目領域の検出手法を切り換えるようにしてもよい。またさらに各手法で検出される誘目度を重み付け加算してこれらの手法を組み合わせるようにして、撮影のモードによって、重み付け係数を切り換えるようにしてもよい。
【００７５】
また上述の実施例においては、ビデオ信号を画像処理する場合について述べたが、本発明はこれに限らず、誘目領域を検出してフォーカス制御する場合等にも広く適用することができる。
【産業上の利用可能性】
【００７６】
本発明は、例えばビデオ信号の画質調整等に利用することができる。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施例１の画像処理回路における処理手順を示すフローチャートである。
【図２】本発明の実施例１の画像処理回路を示すブロック図である。
【図３】ズーム操作における動きベクトルの説明に供する平面図である。
【図４】パン操作における動きベクトルの説明に供する平面図である。
【図５】移動物体が多数存在する場合の、パン操作における動きベクトルの説明に供する平面図である。
【図６】パン操作における前提の説明に供する略線図である。
【図７】パン操作における誘目度の説明に供する平面図である。
【図８】ズーム操作における前提の説明に供する略線図である。
【図９】ズーム操作における誘目度の説明に供する平面図である。
【図１０】実際の撮像結果における動きベクトルを示す平面図である。
【図１１】代表値の検出領域を示す平面図である。
【図１２】本発明の実施例２の画像処理回路を示すブロック図である。
【符号の説明】
【００７８】
１、１１……画像処理回路、２、１２……誘目領域検出部、３、１３……画像処理部、４、１８……フレームメモリ、５……動きベクトル算出部、６……ヒストグラム算出部、７、１７……誘目度算出部、１９、２０……乗算回路、２１……加算回路
【図１】
2008053775.tif 000014
【図２】
2008053775.tif 000015
【図３】
2008053775.tif 000016
【図４】
2008053775.tif 000017
【図５】
2008053775.tif 000018
【図６】
2008053775.tif 000019
【図７】
2008053775.tif 000020
【図８】
2008053775.tif 000021
【図９】
2008053775.tif 000022
【図１０】
2008053775.tif 000023
【図１１】
2008053775.tif 000024
【図１２】
2008053775.tif 000025
【手続補正書】
【提出日】平成19年10月26日(2007.10.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
ここで図６に示すように、静止した背景の前を被写体が一定速度で移動し、この被写体を追跡するように、単純にカメラがパンしているものとする。この場合、カメラの動きが動きベクトルｖｐに相当するものである場合、図６に示すように、撮像結果では、カメラの動きに対応する動きベクトル−ｖｐが背景で検出されることになる。ここで画面の左端の一定領域、画面の右端の一定領域でそれぞれ検出される動きベクトルをｖ１Ｌ、ｖ１Ｒとし、背景の動きベクトルをvppan とすると、次式により示すように、これら動きベクトルｖ１Ｌ、ｖ１Ｒの平均値により背景の動きベクトルをvppan を表すことができる。