(57)【要約】【課題】主要なオブジェクトを抽出する。【解決手段】注目オブジェクト抽出部１は、動きベクトル計算部１２により入力された画像の動きベクトルを計算し、カメラ動き推定部１４によりカメラ動きの有無を推定する。カメラ動き推定部１４により、カメラ動きがあったと推定されると、注目オブジェクト抽出部１は、領域抽出部１５によって動きベクトルの大きさが所定の閾値以下である領域を注目オブジェクトの候補として抽出する。【選択図】　図１
2004078432.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像の動きベクトルを計算する動きベクトル計算手段と、
上記動きベクトルをもとにカメラ動きがあったか否かを推定するカメラ動き推定手段と、
上記カメラ動き推定手段において、カメラ動きがあったと推定された場合、動きベクトルの大きさが閾値としてのオブジェクト判別値以下である領域を注目オブジェクトの候補として抽出する領域抽出手段と
を有することを特徴とするオブジェクト抽出装置。
【請求項２】
上記カメラ動き推定手段は、動きベクトルの方向ごとに上記動きベクトルの個数を集計し、集計結果と閾値としての動き方向判別値とを比較してカメラ動きがあったか否かを推定することを特徴とする請求項１記載のオブジェクト抽出装置。
【請求項３】
上記カメラ動き推定手段は、上記集計結果が動き方向判別値以上である場合、この方向を向いた動きベクトルの大きさのばらつきを計算し、ばらつきと閾値としての方向性判別値とを比較し、カメラ動きがあったか否かを推定する推定手段を更に備えることを特徴とする請求項２記載のオブジェクト抽出装置。
【請求項４】
上記領域抽出手段により領域が抽出されると、この領域の特性を示す値を算出し、この値をもとに上記注目オブジェクトを特定する領域特定手段を有することを特徴とする請求項１記載のオブジェクト抽出装置。
【請求項５】
上記領域特定手段において算出される領域の特性を示す値は、領域の重心、面積、アクティビティであることを特徴とする請求項４記載のオブジェクト抽出装置。
【請求項６】
上記動きベクトル計算手段によって計算された動きベクトルと複数種類のカメラ動きに対応した動きベクトルのパターンとを適合させる適合手段と、
上記適合手段において適合したカメラ動きの種類をもとに上記注目オブジェクトが含まれる領域を注目領域として推定する注目領域推定手段とを有し、
上記領域抽出手段は、上記注目領域内で注目オブジェクトを抽出することを特徴とする請求項１記載のオブジェクト抽出装置。
【請求項７】
上記カメラ動きの種類は、パン、チルト、回り込み、前後移動等の撮影時のカメラ操作であることを特徴とする請求項６記載のオブジェクト抽出装置。
【請求項８】
入力された画像の動きベクトルを計算する動きベクトル計算工程と、
上記動きベクトルをもとにカメラ動きがあったか否かを推定するカメラ動き推定工程と、
上記カメラ動き推定工程において、カメラ動きがあったと推定された場合、動きベクトルの大きさが閾値としてのオブジェクト判別値以下である領域を注目オブジェクトの候補として抽出する領域抽出工程と
を有することを特徴とするオブジェクト抽出方法。
【請求項９】
上記カメラ動き推定工程は、動きベクトルの方向ごとに上記動きベクトルの個数を集計し、集計結果と閾値としての動き方向判別値とを比較してカメラ動きがあったか否かを推定することを特徴とする請求項８記載のオブジェクト抽出方法。
【請求項１０】
上記カメラ動き推定工程は、上記集計結果が動き方向判別値以上である場合、この方向を向いた動きベクトルの大きさのばらつきを計算し、ばらつきと閾値としての方向性判別値とを比較し、カメラ動きがあったか否かを推定する推定工程を更に備えることを特徴とする請求項９記載のオブジェクト抽出方法。
【請求項１１】
上記領域抽出工程により領域が抽出されると、この領域の特性を示す値を算出し、この値をもとに上記注目オブジェクトを特定する領域特定工程を有することを特徴とする請求項８記載のオブジェクト抽出方法。
【請求項１２】
上記領域抽出工程において算出された領域の特性を示す値は、領域の重心、面積、アクティビティであることを特徴とする請求項１１記載のオブジェクト抽出方法。
【請求項１３】
上記動きベクトル計算工程によって計算された動きベクトルと複数種類のカメラ動きに対応した動きベクトルのパターンとを適合させる適合工程と、
上記適合工程において適合したカメラ動きの種類をもとに上記注目オブジェクトが含まれる領域を注目領域として推定する注目領域推定工程とを有し、
上記領域抽出工程は、上記注目領域内で注目オブジェクトを抽出することを特徴とする請求項８記載のオブジェクト抽出方法。
【請求項１４】
上記カメラ動きの種類は、パン、チルト、回り込み、前後移動等の撮影時のカメラ操作であることを特徴とする請求項１３記載のオブジェクト抽出方法。
【請求項１５】
テロップが表示される領域を判定するテロップ領域判定工程を有し、
上記カメラ動き推定工程は、上記テロップ領域を除いた範囲で動きベクトルの方向ごとの集計を行うことを特徴とする請求項８記載のオブジェクト抽出方法。
【請求項１６】
テロップが表示される領域を判定するテロップ領域判定手段を有し、
上記カメラ動き推定手段は、上記テロップ領域を除いた範囲で動きベクトルの方向ごとの集計を行うことを特徴とする請求項８記載のオブジェクト抽出装置。
【請求項１７】
入力された画像の動きベクトルを計算する動きベクトル計算手段と、
上記動きベクトルをもとにカメラ動きがあったか否かを推定するカメラ動き推定手段と、
上記カメラ動き推定手段において、カメラ動きがあったと推定された場合、動きベクトルの大きさが閾値としてオブジェクト判別値以下である領域を注目オブジェクトの候補として抽出する領域抽出手段と
を有することを特徴とする画像表示装置。
【請求項１８】
上記カメラ動き推定手段は、動きベクトルの方向ごとに上記動きベクトルの個数を集計し、集計結果と閾値としての動き方向判別値とを比較してカメラ動きがあったか否かを推定することを特徴とする請求項１７記載の画像表示装置。
【請求項１９】
上記カメラ動き推定手段は、上記集計結果が動き方向判別値以上である場合、この方向を向いた動きベクトルの大きさのばらつきを計算し、ばらつきと閾値としての方向性判別値とを比較し、カメラ動きがあったか否かを推定する推定手段を更に備えることを特徴とする請求項１８記載の画像表示装置。
【請求項２０】
上記領域抽出手段により領域が抽出されると、この領域の特性を示す値を算出し、この値をもとに上記注目オブジェクトを特定する領域特定手段を有することを特徴とする特徴とする請求項１７記載の画像表示装置。
【請求項２１】
上記領域特定手段において算出される領域の特性を示す値は、領域の重心、面積、アクティビティであることを特徴とする請求項２０記載の画像表示装置。
【請求項２２】
上記動きベクトル計算手段によって計算された動きベクトルと複数種類のカメラ動きに対応した動きベクトルのパターンとを適合させる適合手段と、
上記適合手段において適合したカメラ動きの種類をもとに上記注目オブジェクトが含まれる領域を注目領域として推定する注目領域推定手段とを有し、
上記領域抽出手段は、上記注目領域内で注目オブジェクトを抽出することを特徴とする請求項１７記載の画像表示装置。
【請求項２３】
上記カメラ動きの種類は、パン、チルト、回り込み、前後移動等の撮影時のカメラ操作であることを特徴とする請求項２２記載の画像表示装置。
【請求項２４】
テロップが表示される領域を判定するテロップ領域判定手段を有し、
上記カメラ動き推定手段は、上記テロップ領域を除いた範囲で動きベクトルの方向ごとの集計を行うことを特徴とする請求項１７記載の画像表示装置。
【請求項２５】
入力された画像を表示するメイン表示部と、
注目オブジェクトを表示する少なくとも一つのサブ表示部と
有することを特徴とする請求項１７記載の画像表示装置。
【請求項２６】
注目オブジェクトを拡大する画像拡大手段を有し、
サブ表示部は、拡大した注目オブジェクトを表示することを特徴とする請求項２５記載の画像表示装置。
【請求項２７】
注目オブジェクトの周囲を枠で囲む枠描画手段を有し、
上記サブ表示部は、注目オブジェクトの周囲が枠で囲まれた画像を表示することを特徴とする請求項２５記載の画像表示装置。
【請求項２８】
複数のサブ表示部を上記メイン表示部の周囲に配置し、画像の内容に応じて、注目画像を表示するサブ表示部を選択する表示部選択手段を有することを特徴とする請求項２５記載の画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】画像に表示されるオブジェクトを抽出するオブジェクト抽出装置、オブジェクト抽出方法、および画像表示装置に関する。
【０００２】
【従来の技術】
画像には、人物や物体などの複数のオブジェクトが表示される。従来、画像からオブジェクトを抽出する場合、特開平１２−２２２５８４号公報に記載のように、画像とともにオブジェクトの特徴を示す値を記録し、この値をもとにオブジェクトの抽出を行う方法がある。また、特開平９−２１２６４８号公報に記載のように、オプティカルフローを基にカメラ動きや画像の三次元構造を推定し、背景とオブジェクトを抽出する方法もある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した方法は、単に画像からオブジェクトを抽出する技術であり、カメラマンが注目し、撮像している主要なオブジェクトを抽出することはできない。
【０００４】
本発明は、上記課題に鑑みてなされたものであって、画像から主要なオブジェクトを抽出するオブジェクト抽出装置、オブジェクト抽出方法および画像表示装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の課題を解決するため、本発明にかかるオブジェクト抽出装置は、入力された画像の動きベクトルを計算する動きベクトル計算手段と、動きベクトルをもとにカメラ動きがあったか否かを推定するカメラ動き推定手段と、カメラ動き推定手段において、カメラ動きがあったと推定された場合、動きベクトルの大きさが閾値としてのオブジェクト判別値以下である領域を注目オブジェクトの候補として抽出する領域抽出手段とを有する。
【０００６】
また、本発明にかかるオブジェクト抽出方法は、入力された画像の動きベクトルを計算する動きベクトル計算工程と、動きベクトルをもとにカメラ動きがあったか否かを推定するカメラ動き推定工程と、カメラ動き推定工程において、カメラ動きがあったと推定された場合、動きベクトルの大きさが閾値としてのオブジェクト判別値以下である領域を注目オブジェクトの候補として抽出する領域抽出工程とを有する。
【０００７】
また、本発明にかかる画像表示装置は、入力された画像の動きベクトルを計算する動きベクトル計算手段と、動きベクトルをもとにカメラ動きがあったか否かを推定するカメラ動き推定手段と、カメラ動き推定手段において、カメラ動きがあったと推定された場合、動きベクトルの大きさが閾値としてオブジェクト判別値以下である領域を注目オブジェクトの候補として抽出する領域抽出手段とを有する。
【０００８】
【発明の実施の形態】
画像には、人物や物体などの複数のオブジェクトが表示される。画像に表示される複数のオブジェクトのうち、画像の主要部となるオブジェクト（以下、注目オブジェクトと呼ぶ）は、常にカメラの視野に収まるように撮影される。このため、注目オブジェクトは、画像内においてほとんど動きがないということが起こる。本発明を適用した画像表示装置は、動きベクトルを計算し、動きベクトルの大きさが所定の閾値より小さい領域を注目オブジェクトの表示される領域として選択することを特徴としている。
【０００９】
図１は、人物を注目オブジェクトとしたときの画像の例である。図１に示すように、注目オブジェクトは、画面の中心に配置されている。そして、注目オブジェクトが左に移動すると、カメラの視野も注目オブジェクトとともに左に移動する。また、注目オブジェクトが右に移動すると、カメラの視野も注目オブジェクトとともに右に移動する。
【００１０】
カメラの視野が注目オブジェクトとともに移動すると、図２に示すように、注目オブジェクト以外の物体や人物（以下、非注目オブジェクトと呼ぶ）および背景は、カメラの視野が移動した分だけ逆方向に移動する。
【００１１】
そのため、画像の動きベクトルを求めると、注目オブジェクトの動きベクトルは小さくなり、非注目ベクトルや背景の動きベクトルは大きくなる。本発明を適用した画像表示装置は、この原理を利用して、動きベクトルの小さい領域を注目オブジェクトとして特定する。なお、以下の説明ではカメラの視野の移動をカメラ動きと呼び、動きベクトルの方向を動き方向と呼ぶ。
【００１２】
図３は、注目オブジェクトを抽出する注目オブジェクト抽出部１の概略構成を示す機能ブロック図である。注目オブジェクト抽出部１は、１フレーム前の画像を記憶する遅延バッファ１１、動きベクトルを算出する動きベクトル計算部１２、テロップ領域の除去を行うテロップ領域除去部１３、カメラ動きがあるか否かを推定するカメラ動き推定部１４、動きベクトルの大きさが小さい領域を抽出する領域抽出部１５、複数の領域から注目オブジェクトが表示される領域を特定する領域選択部１６とを有する。
【００１３】
遅延バッファ１１は、入力画像を格納し、１フレーム前の入力画像を動きベクトル計算部１２に出力する。動きベクトル計算部１２は、入力画像と１フレーム前の入力画像と複数のブロックに分割し、ブロックごとの動きベクトルを計算し、テロップ領域除去部１３に出力する。
【００１４】
テロップ領域除去部１３は、動きベクトル計算部１２から出力された動きベクトルのうち、動きベクトルの大きさがゼロに近いブロックを選択し、このブロックの動きベクトルの大きさが所定時間以上継続したとき、このブロックの存在する領域をテロップ領域であると判定する。
【００１５】
カメラ動き推定部１４は、動きベクトルの方向をもとにカメラの撮像方向が移動したか否かを推定する。カメラ動き推定部１４は、動きベクトルを動き方向ごとに分類し、集計をとる。カメラ動き推定部１４は、ある動き方向の集計結果（動きベクトルの個数）が閾値以上であると、カメラ動きの方向はその動き方向と逆の方向であると推定する。
【００１６】
領域抽出部１５は、カメラ動き推定部１４の推定結果を入力し、カメラ動きがあった場合には、注目オブジェクトの抽出を開始する。領域抽出部１５は、動きベクトルの大きさが小さいブロックを抽出し、抽出したブロックを構成するブロックにラベリング処理を行う。ブロックは、ラベリング処理が施されることにより、割り付けられた番号ごとに画像を複数の領域を分類することができる。
【００１７】
領域選択部１６は、領域抽出部１５によってラベリングされた領域の中から注目オブジェクトを選択する。領域選択部１６は、領域抽出部１５によって一つの領域が選択された場合には、その領域を注目オブジェクトであると決定する。
【００１８】
また、領域選択部１６は、領域抽出部１５によって複数の領域が選択された場合には、ラベリングされた領域の面積、重心、アクティビティを計算し、これらの値をもとに最も注目オブジェクトらしい領域を注目オブジェクトとして選択する。
【００１９】
次に、図４を参照して、注目オブジェクト抽出部１の動作を説明する。注目オブジェクト抽出部１は、入力画像を読み込み（ステップＳ１）、入力画像は遅延バッファ１１と動きベクトル計算部１２に供給される。遅延バッファ１１は、入力画像を蓄積し、１フレーム前の入力画像を動きベクトルに出力する。動きベクトル計算部１２は、入力画像と遅延バッファ１１から出力される１フレーム前の入力画像とをブロックに分割し、ブロックごとの動きベクトルを計算する（ステップＳ２）。
【００２０】
テロップ領域除去部１３は、テロップ領域と判定されたブロックを除去するための処理である。テロップ領域の判定には、種々の方法がある。例えば、動きベクトル計算部１２から出力された動きベクトルのうち、動きベクトルの大きさがゼロに近いブロックを選択し、選択したブロックの動きベクトルの大きさが所定時間以上変化しないとき、このブロックの存在する領域をテロップ領域であると判定する方法が挙げられる（ステップＳ３）。
【００２１】
カメラ動き推定部１４は、動きベクトルを用いてカメラの撮像方向が移動したか否かを推定する。動きベクトルの方向とは、例えば、右向き、左向き、上向き、下向き、外向き、内向きの６方向である。カメラ動き推定部１４は、動きベクトルの方向ごとに集計をとり、ある方向の集計結果が動き有無判別値以上であると、その方向と逆の方向にカメラ動きがあったものと推定する（ステップＳ５；ＹＥＳ）。また、動きベクトルの方向ごとに集計をとったとき、全ての方向の集計結果が動き有無判別値を超えないならば、カメラ動きがないと推定し（ステップＳ５；ＮＯ）、注目オブジェクトの抽出処理を完了する。
【００２２】
領域抽出部１５には、動きベクトルの大小を判定するための閾値として、オブジェクト判別値が設定されている。領域抽出部１５は、カメラ動き推定部１４からの推定結果を入力し、カメラ動きがあった場合には（ステップＳ５；ＹＥＳ）、オブジェクト判別値と動きベクトルの大きさとを比較して、動きベクトルの大きさがオブジェクト判別値より小さいブロックを選択する。
【００２３】
次いで、領域抽出部１５は、選択したブロックにラベリング処理を施す。ラベリング処理とは、ブロックに番号をつける処理である。領域抽出部１５は、選択したブロックが隣接する場合には、隣接するブロックに同一の番号をつける。また、領域抽出部１５は、選択したブロックが離間している場合には、離間したブロックに異なる番号をつける。このラベリング処理によって、隣接したブロックは、一つの領域として分類され、離間したブロックは、異なる領域として分類される（ステップＳ７）。領域抽出部１５は、ラベリング処理を終了すると、ラベリング処理が施された画像データを領域選択部１６に出力する。
【００２４】
領域選択部１６は、領域抽出部１５が一つの領域を抽出した場合（ステップＳ８；ＮＯ）、この領域を注目オブジェクトとしてサブ表示装置に出力する。また、領域選択部１６は、領域抽出部１５が複数の領域を抽出した場合（ステップＳ８；ＹＥＳ）、領域ごとに面積、重心、アクティビティなどの領域の特性を示す値を計算する（ステップＳ９）。
【００２５】
領域選択部１６は、ステップＳ９で算出した面積、重心、アクティビティを使用して複数の領域のなかで最も注目オブジェクトらしい領域を選択する。注目オブジェクトの選択のためのいくつかの条件を例示する。例えば、領域選択部１６は、面積の大きい領域を注目オブジェクトが表示される可能性の高い領域とする。これは、注目オブジェクトの表示される領域は、他のオブジェクトの表示される領域と比較して、面積が大きい可能性が高いためである。
【００２６】
また、領域選択部１６は、アクティビティの高い領域を注目オブジェクトの表示される可能性の高い領域とする。カメラの焦点は、注目オブジェクトに合わせられている場合が多く、画像が鮮明になり、注目オブジェクトのアクティビティが高くなるためである。
【００２７】
また、領域選択部１６は、カメラの撮像方向が左に移動しているときは、画面の真ん中から右側に重心が位置する領域を注目オブジェクトが表示された可能性の高い領域とし、カメラの撮像方向が右に移動しているときは、画面の真ん中から左側に重心が位置する領域を注目オブジェクトが表示された可能性の高い領域であるとする。これは、カメラマンの構図のとり方に基づいた選択方法であり、カメラマンは、図５に示すように、注目オブジェクトが左に移動しているときは、画面の真ん中から右側に注目オブジェクトを配置し、注目オブジェクトが右に移動しているときは、画面の真ん中から左側に注目オブジェクトを配置する傾向があるためである。
【００２８】
領域選択部１６は、面積に基づく選択結果、重心に基づく選択結果、アクティビティに基づく選択結果を総合し、最も注目オブジェクトらしい領域を選択する（ステップＳ１０）。
【００２９】
このように、注目オブジェクト抽出部１は、注目オブジェクトとともにカメラの視野が変化したとき、画像の動きベクトルを算出して、動きベクトルの値の小さい領域を注目オブジェクトの表示領域として選択する。
【００３０】
また、注目オブジェクト抽出部１は、注目オブジェクトの選択方法として動きベクトルの他に、領域の面積、重心、アクティビティなどの値を参照して、注目オブジェクトを特定する。
【００３１】
次に、他の方法を用いた注目オブジェクト抽出部２について説明する。この注目オブジェクト抽出部２は、カメラ動きの方向をもとに注目オブジェクトの表示される注目領域を推定し、その範囲内で注目オブジェクトを探索することを特徴としている。
【００３２】
図６は、注目オブジェクト抽出部２の構成を示している。注目オブジェクト抽出部２は、カメラ動きの方向を検出するカメラ動き検出部２１、カメラ動きの方向を基に注目領域を推定し、注目領域内で動きベクトルの大きさが小さい領域を抽出する領域抽出部２２、領域抽出部２２によって抽出された領域の中で注目オブジェクトが表示される領域を選択する領域選択部２３とを有する。
【００３３】
カメラ動き検出部２１は、入力画像を複数のブロックから構成される大ブロックに分割し、大ブロックの動き方向が、パン、チルト、回り込み、前後移動のいずれに適合するかを比較しカメラ動きを推定する。大ブロックの動き方向は、大ブロックを構成するブロックの動き方向を集計することにより算出される。
【００３４】
以下、図７を参照してカメラ動き検出部２１の動作を詳しく説明する。カメラ動き検出部２１は、画像を４つの大ブロックに分割する（ステップＳ２０）。カメラ動き検出部２１は、大ブロックを構成するブロックの動きベクトルの動き方向を上向き、下向き、右向き、左向き、外向き、中心向きの６方向に分類し、動き方向ごとにブロックの個数を集計する（ステップＳ２１）。カメラ動き検出部２１は、カメラ動きがあったか否かを判別するための閾値として、動き方向判別値が設定されている。カメラ動き検出部２１は、ブロックの集計結果が動き方向判別値以上であるとき（ステップＳ２２；ＹＥＳ）、集計結果が動き方向判別値以上であった動きベクトルの大きさを読み出し、この動きベクトルの大きさのばらつきを計算する（ステップＳ２３）。カメラ動き検出部２１には、動きベクトルの大きさに一定の規則性があるか否かを判定する閾値として方向性判定値が設定されている。カメラ動き検出部２１は、ばらつきが方向性判定値以下であるとき（ステップＳ２４；ＹＥＳ）、この大ブロックでカメラ動きがあったと判定する（ステップＳ２５）。
【００３５】
また、カメラ動き検出部２１は、ステップＳ２２で動きベクトルの集計をとったとき、集計結果が動き方向判別値以下であるとき（ステップＳ２２；ＮＯ）、その大ブロックでの動きはないと判定し（ステップＳ２７）、処理を中止する。また、カメラ動き検出部２１は、ステップＳ２４において、動きベクトルの値のばらつきが方向性判定値以下であるとき（ステップＳ２４；ＮＯ）、その大ブロックでの動きはないと判定し（ステップＳ２７）、処理を終了する。
【００３６】
カメラ動き検出部２１は、すべての大ブロックで動き方向が判定されたか否かを判定する（ステップＳ２６）。カメラ動き検出部２１は、すべての大ブロックで動き方向が判定されると（ステップＳ２６；ＹＥＳ）、ステップＳ２８に処理を移行する。また、動き方向が判定されないブロックが存在すると（ステップＳ２６；ＮＯ）、カメラ動き検出部２１は、カメラ動きはなかったものとして処理を終了する。
【００３７】
次いで、カメラ動き検出部２１は、入力した画像のカメラ動きの種類を検出する。カメラ動きの種類は、図８に示すように、パン、チルト、回り込み、前後移動の４パターンある。カメラ動き検出部２１は、４つの大ブロックの動き方向がいずれのカメラ動きに適合するかを一種類づつ比較していく。
【００３８】
カメラ動き検出部２１は、まず、カメラ動きの種類はパンであるか否かを判定する。パンとは、カメラを固定したまま水平方向に移動する物体を撮像する撮像方法である。パンで撮像した場合、動きベクトルの方向は、水平方向右向きもしくは水平方向左向きになる。カメラ動き検出部２１は、動きベクトルがパンのパターンに適合すると（ステップＳ２８；ＹＥＳ）、カメラ動きは、パンであると特定する（ステップＳ２９）。
【００３９】
また、ステップＳ２８において、動きベクトルがパンのパターンに適合しない場合（ステップＳ２８；ＮＯ）、カメラ動き検出部２１は、カメラ動きの種類がチルトである否かを判定する。チルトとは、カメラを固定したまま上下方向に移動する物体を撮像する撮像方法である。チルトで撮像した場合、動きベクトルの方向は、垂直方向上向きもしくは垂直方向下向きになる。カメラ動き検出部２１は、動きベクトルがチルトのパターンに適合すると（ステップＳ３０；ＹＥＳ）、カメラ動きは、チルトであると特定する（ステップＳ３１）。
【００４０】
ステップＳ３１において、動きベクトルがチルトのパターンに適合しない場合（ステップＳ３１；ＮＯ）、カメラ動き検出部２１は、カメラ動きの種類が回り込みであるか否かを判定する。回り込みとは、物体の周囲を回り込むようにカメラを移動させながら、物体を撮像する撮像方法である。回り込みで撮像した場合、動きベクトルの方向は、水平方向左向きもしくは水平方向右向きになる。回り込みの動きベクトルの方向とパンの動きベクトルの方向は、同一であるが動きベクトルの動き量が異なる。カメラ動き検出部２１は、動きベクトルが回り込みのパターンに適合すると（ステップＳ３２；ＹＥＳ）、カメラ動きは回り込みであると特定する（ステップＳ３３）。
【００４１】
ステップＳ３２において、動きベクトルが回り込みのパターンに適合しない場合（ステップＳ３２；ＮＯ）、カメラ動き検出部２１は、カメラ動きの種類が前後移動であるか否かを判定する。前後移動は、前後に動く物体を追いかけて撮像した状態である。手前に移動する物体を引いて撮像した場合、動きベクトルの方向は画面中心方向を向かう。また、奥に移動する物体を追って撮像した場合、動きベクトルの方向は画面の中心から画面の外側に向かう。カメラ動き検出部２１は、動きベクトルが前後移動のパターンに適合すると（ステップＳ３４；ＹＥＳ）、カメラ動きは前後移動であると特定する（ステップＳ３５）。また、動きベクトルが前後移動のパターンに適合しない場合（ステップＳ３４；ＮＯ）、カメラ動きはないと判定する（ステップＳ３６）。カメラ動き検出部２１は、以上のような手順でカメラ動きの有無およびカメラ動きの種類を検出し、検出結果を領域抽出部２２に出力する。
【００４２】
領域抽出部２２は、動き方向推定部によって推定されたカメラの撮像方向の移動方向をもとに、注目オブジェクトが表示される注目領域を推定し、注目領域の中で動きベクトルの値が閾値より小さいブロックを抽出する。注目領域は、カメラが移動している間常に撮影されている領域であり、注目領域の選択方法はカメラ動きの種類ごとに決められている。図９は、カメラ動きの種類と注目領域との関係を示している。カメラ動きが右方向へのパンであるとき、動きベクトルは左方向を向く。このときの注目領域は、画面の右側３分の２となる。また、カメラ動きが左方向のパンでするときの注目領域は、画面の左側３分の２となる。
【００４３】
カメラ動きが下方向のチルトの場合、動きベクトルは下方向を向く。このときの注目領域は、画面の下側３分の２となる。また、カメラ動きが上方向のチルトの場合、動きベクトルは上方向を向く。このときの注目領域は、画面の上側３分の２となる。
【００４４】
カメラ動きが回り込みの場合、注目領域は、画面の上下左右４分の１の領域を削った残りの領域となる。また、カメラ動きが前後移動の場合、注目領域は、画面の上下左右４分の１の領域を削った残りの領域となる。
【００４５】
領域抽出部２２は、カメラ動き検出部２１の検出結果をもとに注目領域を特定し、注目領域の中で動きベクトルの大きさがオブジェクト判別値以下であるマクロブロックを検索する。領域抽出部２２は、動きベクトルの大きさがオブジェクト判別値以下であるブロックにラベリング処理を行い、画像を領域に分割する。なお、ラベリング処理については、既に上述しているため、その説明を省略する。
【００４６】
領域選択部２３は、上述した注目オブジェクト抽出部２の領域選択部２３と同様の機能を有し、領域抽出部２２によって抽出された領域の面積、重心、アクティビティを算出し、この値を基に最も注目オブジェクトらしい領域を選択する。
【００４７】
以上のように、注目オブジェクト抽出部２は、カメラ動きの方向を推定し、この推定結果をもとに注目オブジェクトの表示される注目領域を推定する。そして、注目オブジェクト抽出部２は、注目領域で最も注目オブジェクトらしい領域を選択する。
【００４８】
次に、注目オブジェクト抽出部３１を適用した例について説明する。図１０は、注目オブジェクト抽出部３１を適用した画像表示装置３の構成を示す図である。画像表示装置３は、入力画像から注目オブジェクトを抽出する注目オブジェクト抽出部３１と、注目オブジェクトを拡大する拡大画像作成部３２、入力画像を表示するメイン表示装置３３と、注目オブジェクトを表示するサブ表示装置３４とを有する。
【００４９】
注目オブジェクト抽出部３１は、注目オブジェクトの表示される領域を抽出する。拡大画像作成部３２は、注目オブジェクトの拡大画像を作成し、作成した拡大画像をサブ表示装置３４に出力する。拡大画像作成部３２は、線形補間する処理によって拡大画像を作成してもよいし、その他の処理によって拡大画像を作成してもよい。また、拡大率は、固定であってもよいし、ユーザが指定してもよい。
【００５０】
メイン表示装置３３は入力画像をそのまま表示し、サブ表示装置３４は拡大した注目オブジェクトを表示する。メイン表示装置３３とサブ表示装置３４は、同時に見える位置に配置される。
【００５１】
このように、画像表示装置３は、入力画像の主要部である注目オブジェクトを抽出し、この注目オブジェクトを拡大した拡大画像をサブ表示装置３４に出力する。メイン表示装置３３とサブ表示装置３４は同時に見える位置に配置されており、ユーザは、入力画像と注目オブジェクトとを同時に観賞することができる。
【００５２】
次に、注目オブジェクト抽出部４１を適用した第２の例について説明する。図１１は、注目オブジェクト抽出部４１を適用した画像表示装置４の構成を示す図である。画像表示装置４は、入力画像から注目オブジェクトを抽出する注目オブジェクト抽出部４１と、注目オブジェクトの周囲に枠を形成する枠作成部４２と、入力画像を表示するメイン表示装置４３と、注目オブジェクトを表示するサブ表示装置４４とを有する。
【００５３】
注目オブジェクト抽出部４１は、注目オブジェクトの表示される領域を抽出する。枠作成部４２は、オブジェクトの表示される領域を入力し、注目オブジェクトの周囲を枠で囲む。枠作成部４２は、注目オブジェクトの周囲を枠で囲んだ入力画像をサブ表示装置４４に出力する。
【００５４】
メイン表示装置４３は入力画像をそのまま表示し、サブ表示装置４４は注目オブジェクトの周囲を枠で囲んだ入力画像を表示する。メイン表示装置４３とサブ表示装置４４は、同時に見える位置に配置される。
【００５５】
このように画像表示装置４は、注目オブジェクトの表示される領域を抽出し、この領域に周囲を枠で囲んだ画像をサブ表示装置４４に出力する。メイン表示装置４３とサブ表示装置４４は、同時に見える位置に配置されており、ユーザは、入力画像のどの位置が注目オブジェクトかを確認しながら、入力画像を観賞することができる。
【００５６】
次に、注目オブジェクト抽出部５１を適用した第３の例について説明する。図１２は、注目オブジェクト抽出部５１を適用した画像表示装置５の構成を示す図である。画像表示装置５は、入力画像から注目オブジェクトを抽出する注目オブジェクト抽出部５１と、注目オブジェクトの表示される領域を拡大する拡大画像作成部５２と、拡大画像を表示するサブ表示装置５５を選択するモニタ選択部５３と、入力画像を表示するメイン表示装置５４と、注目オブジェクトを表示する複数のサブ表示装置５５とを有する。
【００５７】
注目オブジェクト抽出部５１は、注目オブジェクトの表示される領域を抽出する。拡大画像作成部５２は、注目オブジェクトの表示される領域を拡大し、拡大画像を作成する。拡大画像作成部５２は、注目オブジェクトの拡大画像を作成し、作成した拡大画像をモニタ選択部５３に出力する。拡大画像作成部５２は、線形補間する処理によって拡大画像を作成してもよいし、その他の処理によって拡大画像を作成してもよい。また、拡大率は、固定であってもよいし、ユーザが指定してもよい。
【００５８】
モニタ選択部５３は、注目オブジェクトの表示される位置や動きベクトルの方向をもとに注目オブジェクトを表示するサブ表示装置５５を選択する。例えば、モニタ選択部５３は、注目オブジェクトの表示される位置が画面の右側であるとき、右側のサブ表示装置５５に拡大画像を表示し、注目オブジェクトの表示される位置が画面の左側であるとき、左側のサブ表示装置５５に拡大画像を表示させるような処理を行う。また、注目オブジェクトが画面の左から右に移動している際には、左側のサブ表示装置５５から右側のサブ表示装置５５に徐々に拡大画像が移動するような処理を行う。
【００５９】
メイン表示装置５４は入力画像をそのまま表示し、サブ表示装置５５は注目オブジェクトを表示する。サブ表示装置５５は、メイン表示装置５４の周囲に配置され、モニタ選択部５３から選択されたサブ表示領域にのみ、注目オブジェクトが表示される。
【００６０】
このように、画像表示装置５は、複数のサブ表示装置５５を有し、入力画像の変化に応じて注目オブジェクトを表示するサブ表示装置５５選択し、選択したサブ表示領域に注目オブジェクトを表示する。メイン表示装置５４とサブ表示装置５５とは、同時に見える場所に配置されており、ユーザは、入力画像と注目オブジェクトを同時に観賞することができる。
【００６１】
以上説明したように、本発明を適用した注目オブジェクト抽出部は、注目オブジェクトが常にカメラに収まるように撮影される性質を利用して、注目オブジェクトの抽出を行う。
【００６２】
注目オブジェクトの抽出には、動きベクトルを使用し、動きベクトルの大きさが小さい領域を注目オブジェクトが表示される領域であると選択する。また、動きベクトルの大きさが小さい領域が複数ある場合には、領域の面積、重心、アクティビティを算出し、これらの値に基づいて注目オブジェクトが表示される領域を特定する。
【００６３】
また、注目オブジェクト抽出部は、動きベクトルをもとにカメラ動きの方向を推定し、カメラ動きの方向をもとに注目オブジェクトの表示される注目領域を推定する。注目オブジェクト抽出部は、注目領域のなかから注目オブジェクトが表示される領域を抽出する。
【００６４】
なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を含む範囲での変形・改良は、本発明に含まれるものとする。例えば、画像表示装置の表示装置は、メイン表示装置とサブ表示装置と複数表示する必要はなく、メイン表示装置に注目オブジェクトを表示するようにしてもよい。
【００６５】
また、注目オブジェクトの表示領域は、複数の画面に表示させるだけでなく、例えば、注目オブジェクトの表示領域の解像度を上げたり、注目オブジェクトの表示位置に応じて音場制御をしてもよい。
【００６６】
【発明の効果】
上述のように、本発明にかかるオブジェクト抽出装置は、入力された画像の動きベクトルを計算し、動きベクトルをもとにカメラ動きがあったか否かを推定する。オブジェクト抽出装置は、カメラ動きがあったと推定すると、動きベクトルの大きさが所定の閾値以下である領域を注目オブジェクトの候補として抽出するため、画像から主要なオブジェクトを抽出することができる。
【００６７】
また、本発明にかかるオブジェクト抽出方法は、入力された画像の動きベクトルを計算し、動きベクトルをもとにカメラ動きがあったか否かを推定する。オブジェクト抽出装置は、カメラ動きがあったと推定すると、動きベクトルの大きさが所定の閾値以下である領域を注目オブジェクトの候補として抽出するため、画像から主要なオブジェクトを抽出することができる。
【００６８】
また、本発明にかかる画像表示装置は、入力された画像の動きベクトルを計算し、動きベクトルをもとにカメラ動きがあったか否かを推定する。オブジェクト抽出装置は、カメラ動きがあったと推定すると、動きベクトルの大きさが所定の閾値以下である領域を注目オブジェクトの候補として抽出するため、画像から主要なオブジェクトを抽出することができる。
【図面の簡単な説明】
【図１】人物を注目オブジェクトとしたときの画像を示す図である。
【図２】カメラ動きと被注目オブジェクトと背景との関係を示す図である。
【図３】注目オブジェクト抽出部の概略構成を示す機能ブロック図である。
【図４】オブジェクト抽出部の動作を示す図である。
【図５】オブジェクトの移動方向に応じたカメラの構図を示す図である。
【図６】注目オブジェクト抽出部の概略構成を示す機能ブロック図である。
【図７】カメラ動き検出部の動作を示す図である。
【図８】カメラ動きと動きベクトルの関係を示す図である。
【図９】カメラ動きと注目領域の関係を示す図である。
【図１０】画像表示装置の構成を示す機能ブロック図である。
【図１１】画像表示装置の構成を示す機能ブロック図である。
【図１２】画像表示装置の構成を示す機能ブロック図である。
【符号の説明】
１　注目オブジェクト抽出部、２　注目オブジェクト抽出部、３　画像表示装置、４　画像表示装置、５　画像表示装置、１１　遅延バッファ、１２　動きベクトル計算部、１３　テロップ領域除去部、１４　カメラ動き推定部、１５　領域抽出部、１６　領域選択部、２１　カメラ動き検出部、２２　領域抽出部、２３領域選択部、３１　注目オブジェクト抽出部、３２　拡大画像作成部、３３　メイン表示装置、４１　注目オブジェクト抽出部、４２　枠作成部、４３　メイン表示装置、４４　サブ表示装置、５１　注目オブジェクト抽出部、５２　拡大画像作成部、５３　モニタ選択部、５４　メイン表示装置、５５　サブ表示装置
【図１】
2004078432.tif 000003
【図２】
2004078432.tif 000004
【図３】
2004078432.tif 000005
【図４】
2004078432.tif 000006
【図５】
2004078432.tif 000007
【図６】
2004078432.tif 000008
【図７】
2004078432.tif 000009
【図８】
2004078432.tif 000010
【図９】
2004078432.tif 000011
【図１０】
2004078432.tif 000012
【図１１】
2004078432.tif 000013
【図１２】
2004078432.tif 000014