(57)【要約】【課題】複数のカメラで異なる位置から撮影された複数の映像チャンネルのうちの一つを、視聴者が見たい被写体にあわせて次々と選択して表示する表示装置の提供。【解決手段】表示装置１０は、複数の映像チャンネルを受信し、当該映像チャンネル中の移動する被写体を認識する被写体認識部１２と、被写体認識部１２によって認識された被写体のいずれかを選択可能なように複数の映像チャンネルを表示し、ユーザが注目している被写体の選択を受け付けた場合に、選択された被写体を注目被写体して認識し、注目被写体を含む映像チャンネルを追跡映像として表示する表示部１４と、注目被写体が追跡映像からフレームアウトすることを検出するフレームイン／アウト検出部１６と、注目被写体のフレームアウトが検出された場合に、注目被写体を検索キーとして他の映像チャンネルを検索し、検出された映像チャンネルを表示部１４に表示させる映像検索部１８とを備える。【選択図】図１
2005130462.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで異なる位置から撮影された複数の映像チャンネルを含む映像情報を受信し、前記複数の映像チャンネルのうち少なくともいずれかを選択して表示する表示装置であって、
前記複数の映像チャンネルを受信し、当該映像チャンネル中の移動する被写体を認識する被写体認識部と、
前記被写体認識部によって認識された被写体のいずれかを選択可能なように、前記複数の映像チャンネルを表示し、ユーザが注目している被写体の選択を受け付けた場合に、当該選択された被写体を注目被写体として受け付ける表示部と、
前記表示部が受け付けた前記注目被写体を検索キーとして前記複数の映像チャンネルを検索し、前記注目被写体を含む映像チャンネルを追跡映像として前記表示部に優先的に表示させる映像検索部と、
前記追跡映像から前記注目被写体がフレームアウトすることを検出するフレームアウト検出部と
を備え、
前記映像検索部は、前記フレームアウト検出部が前記注目被写体の前記フレームアウトを検出する場合に、前記注目被写体を検索キーとして他の映像チャンネルを検索し、検出した映像チャンネルを前記追跡映像として前記表示部に表示させる表示装置。
【請求項２】
前記表示部は、ユーザが見たくない被写体の選択を受け付けた場合に、当該選択された被写体を表示禁止被写体として受け付け、
前記映像検索部は、前記表示部が受け付けた前記表示禁止被写体を検索キーとして前記複数の映像チャンネルを検索し、前記表示禁止被写体を含まない映像チャンネルをフィルタ済み映像として前記表示部に優先的に表示させ、
前記フィルタ済み映像に前記表示禁止被写体がフレームインすることを検出するフレームイン検出部を更に含み、
前記映像検索部は、前記フレームイン検出部が前記表示禁止被写体の前記フレームインを検出する場合に、前記表示禁止被写体を検索キーとして他の映像チャンネルを検索し、前記表示禁止被写体を含まない映像チャンネルを前記フィルタ済み映像として前記表示部に表示させる請求項１に記載の表示装置。
【請求項３】
前記フレームイン検出部は、前記表示部が表示する前記フィルタ済み映像よりも外側の範囲において、前記表示禁止被写体の前記フィルタ済み映像へのフレームインを検出する請求項２に記載の表示装置。
【請求項４】
前記フレームアウト検出部は、前記表示部における前記追跡映像の表示範囲よりも内側に設定されたフレームにおいて、前記注目被写体がはみ出すことを検出する請求項１に記載の表示装置。
【請求項５】
前記複数の映像チャンネルのそれぞれにおいて、前記注目被写体が映っているタイミングを記録した上で、当該複数の映像チャンネルを保存する映像保存部
を更に備え、
前記表示部は、前記映像保存部に記録された前記タイミングを読み出し、前記注目被写体が映っている映像チャンネルを前記複数の映像チャンネルから順次選択して再生する請求項１に記載の表示装置。
【請求項６】
前記表示部は、前記映像情報の受信から所定時間のタイムラグにより前記映像チャンネルを再生し、当該再生中に、前記注目被写体がいずれの映像チャンネルにも映っていない場合には、前記タイミングの読み出し内容から、前記注目被写体が次に映る映像チャンネルを選択して再生する請求項５に記載の表示装置。
【請求項７】
前記表示部は、前記被写体認識部によって認識された前記被写体のそれぞれに識別子を付加して表示し、当該識別子の入力を前記被写体の選択として受け付ける、請求項１に記載の表示装置。
【請求項８】
前記表示部は、前記複数の映像チャンネルのうちで音声解説が付加された映像チャンネルの一部の領域に、前記追跡映像を重ねて、かつ前記音声解説付き映像チャンネルよりも小さく表示する、請求項１に記載の表示装置。
【請求項９】
前記表示部は、前記注目被写体が少なくとも２以上の前記映像チャンネルに同時に映っている場合に、前記被写体の大きさがより大きい映像チャンネルを選択して表示する、請求項１に記載の表示装置。
【請求項１０】
前記表示部は、前記注目被写体が少なくとも２以上の前記映像チャンネルに同時に映っている場合に、前記被写体の位置がより中央に近い映像チャンネルを選択して表示する、請求項１に記載の表示装置。
【請求項１１】
前記表示部は、前記注目被写体が少なくとも２以上の前記映像チャンネルに同時に映っている場合に、前記被写体の向きがより正面を向いている映像チャンネルを選択して表示する、請求項１に記載の表示装置。
【請求項１２】
前記複数の映像チャンネルのそれぞれには予め優先度が付与されており、前記表示部は、前記注目被写体が少なくとも２以上の前記映像チャンネルに同時に映っている場合に、前記優先度が高い前記映像チャンネルを選択して表示する、請求項１に記載の表示装置。
【請求項１３】
映像検索部は、映像チャンネルのそれぞれを複数の評価項目で定期的に評価し、フレームアウト検出部が注目画像のフレームアウトを検出した場合、映像検索部は、各評価項目の合計値が高い映像チャンネルほど優先的に表示させる、請求項１に記載の表示装置。
【請求項１４】
前記映像情報は放送である、請求項１に記載の表示装置。
【請求項１５】
複数の映像チャンネルを保存する映像保存部と、
前記複数の映像チャンネルを前記映像保存部から読み出し、当該映像中の移動する被写体を認識する被写体認識部と、
前記被写体認識部によって認識された被写体のいずれかを選択可能なように、前記複数の映像チャンネルを表示し、被写体の選択を受け付けた場合に、注目被写体を含む映像チャンネルを追跡映像として優先的に表示する表示部と、
前記追跡映像から前記注目被写体がフレームアウトすることを検出するフレームアウト検出部と、
前記注目被写体のフレームアウトが検出された場合に、前記注目被写体を検索キーとして他の映像チャンネルを検索し、検出された映像を前記追跡映像として前記表示部に表示させる映像検索部と
を備える表示装置。
【請求項１６】
複数のカメラで異なる位置から撮影された複数の映像を含む映像情報を受信し、前記複数の映像のうち少なくともいずれかを選択して表示する表示装置用のプログラムであって、
前記複数の映像を受信し、当該映像中の移動する被写体を認識する被写体認識機能と、
前記被写体認識機能によって認識された被写体のいずれかを選択可能なように、前記複数の映像を表示し、被写体の選択を受け付けた場合に、注目被写体を含む映像を追跡映像として優先的に表示する表示機能と、
前記追跡映像から前記注目被写体がフレームアウトすることを検出するフレームアウト検出機能と、
前記注目被写体のフレームアウトが検出された場合に、前記注目被写体を検索キーとして他の映像を検索し、検出された映像を前記追跡映像として前記表示機能に表示させる映像検索機能と
を前記表示装置に実現させるプログラム。
【請求項１７】
複数の映像チャンネルが保存された映像保存部から、いずれかの映像チャンネルを読み出して表示する表示装置用のプログラムであって、
前記映像保存部から前記複数の映像チャンネルを読み出し、読み出した映像チャンネルに含まれる移動する被写体を認識する被写体認識機能と、
前記被写体認識機能によって認識された被写体のいずれかを選択可能なように、前記複数の映像チャンネルを表示し、被写体の選択を受け付けた場合に、注目被写体を含む映像チャンネルを追跡映像として優先的に表示する表示機能と、
前記追跡映像から前記注目被写体がフレームアウトすることを検出するフレームアウト検出機能と、
前記注目被写体のフレームアウトが検出された場合に、前記注目被写体を検索キーとして他の映像チャンネルを検索し、検出された映像を前記追跡映像として前記表示部に表示させる映像検索機能と
を前記表示装置に実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、及びプログラムに関する。特に本発明は、複数のカメラで異なる位置から撮影された複数の映像を含む映像情報を受信し、複数の映像のうち少なくともいずれかを選択して表示する表示装置、及び当該表示装置用のプログラムに関する。
【背景技術】
【０００２】
オリンピックやカーレースなど、多くの被写体が存在するイベントの映像を中継放送する場合、放送提供者は、同時に複数のカメラで異なるアングルから被写体を撮影し、放送する映像を切り替えながら、放送網を通じて同一の映像を視聴者に送出する。従来、異なる被写体を個別のアングルから撮影した複数の録画映像を再生する場合に、被写体の選択をトリガとして再生映像を切り替える技術があった（例えば、特許文献１参照。）。
【特許文献１】特許３２２７３５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
複数の被写体が存在する場合、興味の対象は視聴者毎に異なる。これに対して従来のテレビは、番組提供者の判断によって映像が切り替えられるので、視聴者毎に異なる興味対象を的確に表示できない場合が多いという課題があった。一方、放送等の映像情報のデジタル化とブロードバンド化に伴い、一つの中継について複数のアングルからの映像を同時に送出することも可能であるが、視聴者自身が映像の切り替えを行うことは、困難かつ面倒であるという課題があった。また、被写体の選択をトリガとして再生映像を切り替える技術は、被写体が複数の映像間を頻繁に移動する放送等の映像情報には不向きであった。
【０００４】
そこで本発明は、上記の課題を解決することができる表示装置、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態によると、複数のカメラで異なる位置から撮影された複数の映像を含む映像情報を受信し、複数の映像のうち少なくともいずれかを選択して表示する表示装置は、複数の映像チャンネルを受信し、当該映像チャンネル中の移動する被写体を認識する被写体認識部と、被写体認識部によって認識された被写体のいずれかを選択可能なように、複数の映像チャンネルを表示し、ユーザが注目している被写体の選択を受け付けた場合に、当該選択された被写体を注目被写体として受け付ける表示部と、表示部が受け付けた注目被写体を検索キーとして複数の映像チャンネルを検索し、注目被写体を含む映像チャンネルを追跡映像として表示部に優先的に表示させる映像検索部と、追跡映像から注目被写体がフレームアウトすることを検出するフレームアウト検出部とを備え、映像検索部は、フレームアウト検出部が注目被写体のフレームアウトを検出する場合に、注目被写体を検索キーとして他の映像チャンネルを検索し、検出した映像チャンネルを追跡映像として表示部に表示させる。
【０００６】
表示部は、ユーザが見たくない被写体の選択を受け付けた場合に、当該選択された被写体を表示禁止被写体として受け付け、映像検索部は、表示部が受け付けた表示禁止被写体を検索キーとして複数の映像チャンネルを検索し、表示禁止被写体を含まない映像チャンネルをフィルタ済み映像として表示部に優先的に表示させ、フィルタ済み映像に表示禁止被写体がフレームインすることを検出するフレームイン検出部を更に含み、映像検索部は、フレームイン検出部が表示禁止被写体のフレームインを検出する場合に、表示禁止被写体を検索キーとして他の映像チャンネルを検索し、表示禁止被写体を含まない映像チャンネルをフィルタ済み映像として表示部に表示させてもよい。
【０００７】
フレームイン検出部は、表示部が表示するフィルタ済み映像よりも外側の範囲において、表示禁止被写体のフィルタ済み映像へのフレームインを検出してもよい。
【０００８】
フレームアウト検出部は、表示部における追跡映像の表示範囲よりも内側に設定されたフレームにおいて、注目被写体がはみ出すことを検出してもよい。
【０００９】
複数の映像のそれぞれにおいて、注目被写体が映っているタイミングを記録した上で、当該複数の映像を保存する映像保存部を更に備え、表示部は、映像保存部に記録されたタイミングを読み出し、注目被写体が映っている映像を複数の映像から順次選択して再生してもよい。
【００１０】
表示部は、映像情報の受信から所定時間のタイムラグにより映像を再生し、当該再生中に、注目被写体がいずれの映像にも映っていない場合には、タイミングの読み出し内容から、注目被写体が次に映る映像を選択して再生してもよい。
【００１１】
表示部は、被写体認識部によって認識された被写体のそれぞれに識別子を付加して表示し、当該識別子の入力を被写体の選択として受け付けてもよい。
【００１２】
表示部は、複数の映像のうちで音声解説が付加された映像の一部の領域に、追跡映像を重ねて、かつ音声解説付き映像よりも小さく表示してもよい。
【００１３】
表示部は、注目被写体が少なくとも２以上の映像に同時に映っている場合に、被写体の大きさがより大きい映像を選択して表示してもよい。
【００１４】
表示部は、注目被写体が少なくとも２以上の映像に同時に映っている場合に、被写体の位置がより中央に近い映像を選択して表示してもよい。
【００１５】
表示部は、注目被写体が少なくとも２以上の映像に同時に映っている場合に、被写体の向きがより正面を向いている映像を選択して表示してもよい。
【００１６】
複数の映像には予め優先度が付与されており、表示部は、注目被写体が少なくとも２以上の映像に同時に映っている場合に、優先度が高い映像を選択して表示してもよい。
【００１７】
映像検索部は、映像チャンネルのそれぞれを複数の評価項目で定期的に評価し、フレームアウト検出部が注目画像のフレームアウトを検出した場合、映像検索部は、各評価項目の合計値が高い映像チャンネルほど優先的に表示させてもよい。
【００１８】
映像情報は放送であってもよい。
【００１９】
本発明の第２の形態によれば、複数の映像チャンネルを保存する映像保存部と、複数の映像チャンネルを映像保存部から読み出し、当該映像中の移動する被写体を認識する被写体認識部と、被写体認識部によって認識された被写体のいずれかを選択可能なように、複数の映像チャンネルを表示し、被写体の選択を受け付けた場合に、注目被写体を含む映像チャンネルを追跡映像として優先的に表示する表示部と、追跡映像から注目被写体がフレームアウトすることを検出するフレームアウト検出部と、注目被写体のフレームアウトが検出された場合に、注目被写体を検索キーとして他の映像チャンネルを検索し、検出された映像を追跡映像として表示部に表示させる映像検索部とを備える表示装置が提供される。
【００２０】
本発明の第３の形態によれば、複数のカメラで異なる位置から撮影された複数の映像を含む映像情報を受信し、複数の映像のうち少なくともいずれかを選択して表示する表示装置用のプログラムは、複数の映像を受信し、当該映像中の移動する被写体を認識する被写体認識機能と、被写体認識機能によって認識された被写体のいずれかを選択可能なように、複数の映像を表示し、被写体の選択を受け付けた場合に、注目被写体を含む映像を追跡映像として優先的に表示する表示機能と、追跡映像から注目被写体がフレームアウトすることを検出するフレームアウト検出機能と、注目被写体のフレームアウトが検出された場合に、注目被写体を検索キーとして他の映像を検索し、検出された映像を追跡映像として表示機能に表示させる映像検索機能とを表示装置に実現させる。
【００２１】
本発明の第４の形態によれば、複数の映像チャンネルが保存された映像保存部から、何れかの映像チャンネルを読み出して表示する表示装置用のプログラムは、映像保存部から複数の映像チャンネルを読み出し、読み出した映像チャンネルに含まれる移動する被写体を認識する被写体認識機能と、被写体認識機能によって認識された被写体のいずれかを選択可能なように、複数の映像チャンネルを表示し、被写体の選択を受け付けた場合に、注目被写体を含む映像チャンネルを追跡映像として優先的に表示する表示機能と、追跡映像から注目被写体がフレームアウトすることを検出するフレームアウト検出機能と、注目被写体のフレームアウトが検出された場合に、注目被写体を検索キーとして他の映像チャンネルを検索し、検出された映像を追跡映像として表示部に表示させる映像検索機能とを表示装置に実現させる。
【００２２】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００２３】
本発明によれば、被写体が複数の映像チャンネル間を次々と移動する場合に、当該被写体が映っている映像チャンネル又は当該被写体が映っていない映像チャンネルを次々と選択して画面上に表示することにより、視聴者の好みに合った映像を提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２５】
図１は、本実施形態に係る表示装置１０の機能構成の第１実施例を示す。本実施例の表示装置１０は、例えば同一の番組において異なるアングルから被写体を撮影した複数の映像チャンネル（Ａ、Ｂ、Ｃ、及びＤ）から、視聴者が注目している被写体を最もよく映している映像チャンネルを順次選択し、「追跡映像」として表示することを特長とする。表示装置１０は、例えばデジタルテレビもしくはパーソナルコンピュータである。同一の番組に複数の映像チャンネルを含む放送は本発明の映像情報の一例である。また、映像チャンネルは、本発明の映像の一例である。
【００２６】
表示装置１０は、機能構成として、複数の映像チャンネル（Ａ、Ｂ、Ｃ、及びＤ）のそれぞれに含まれる移動する被写体を認識する被写体認識部１２と、複数の映像チャンネルの少なくともいずれかを表示すると共に、被写体の選択を視聴者から受け付ける表示部１４と、視聴者が注目している画像として選択された被写体（以下、注目被写体という）が、追跡映像からフレームアウトすることを検出するフレームイン／アウト検出部１６と、追跡映像から注目被写体がフレームアウトしたことをトリガとして、注目被写体が映っている他の映像チャンネルを検索する映像検索部１８とを備える。
【００２７】
表示装置１０はさらに、表示部１４に入力された複数の映像チャンネル（Ａ、Ｂ、Ｃ、及びＤ）を保存する映像保存部１３と、表示部１４が選択を受け付けた注目被写体の外観上の特徴、すなわち形状及び色などを、映像検索部１８による映像検索時のマッチング用画像として保存するマッチング画像格納部２０とを備える。
【００２８】
映像保存部１３は、複数の映像チャンネル（Ａ、Ｂ、Ｃ、及びＤ）のそれぞれに関して、注目被写体が映っているタイミングを記録した上で保存する。注目被写体が映っているタイミングとは、例えば注目被写体がフレームインしてからフレームアウトするまでの映像のカウンター値である。表示部１４は、注目被写体が映っているタイミングを、複数の映像チャンネルのそれぞれに関して映像保存部１３から読み出し、当該読み出したタイミングに基づいて追跡映像を表示すべく、映像チャンネルを切り替えて表示してもよい。
【００２９】
また、表示部１４は、ユーザが見たくない被写体の選択を受け付けた場合に、当該選択された被写体を表示禁止被写体として受け付ける。映像検索部１８は、表示部１４が受け付けた表示禁止被写体を検索キーとして複数の映像チャンネルを検索し、表示禁止被写体を含まない映像チャンネルをフィルタ済み映像として表示部に優先的に表示する。そして、フレームイン／アウト検出部１６は、フィルタ済み映像に表示禁止被写体がフレームインすることを検出する。映像検索部１８は、フレームイン／アウト検出部が表示禁止被写体のフレームインを検出する場合に、表示禁止被写体を検索キーとして他の映像チャンネルを検索し、表示禁止被写体を含まない映像チャンネルをフィルタ済み映像として表示部１４に表示させる。これにより、表示装置１０は、注目被写体を含み、表示禁止被写体を含まない映像チャンネルを自律的に選択して表示し続けることができる。
【００３０】
表示部１４は、各映像チャンネルの画像の最大の範囲より小さい範囲をフィルタ済み映像として表示することが望ましい。そして、フレームイン／アウト検出部１６は、表示部１４が表示するフィルタ済み映像の範囲よりも外側の範囲において、表示禁止被写体のフィルタ済み映像へのフレームインを検出する。これにより、フレームイン／アウト検出部１６は、表示禁止被写体が表示部１４に表示される前にフィルタ済み映像へのフレームインを検出することができる。従って、表示禁止被写体が表示部１４に表示される前に映像チャンネルを切り替えることができる。
【００３１】
記録媒体６０は、被写体認識部１２、映像保存部１３、表示部１４、フレームイン／アウト検出部１６、映像検索部１８、及びマッチング画像格納部２０の機能を、表示装置１０に実現させるプログラムを格納する。表示装置１０は、そのようなプログラムをネットワーク経由で取得して実行してもよい。
【００３２】
以上の構成によれば、表示装置１０は、注目被写体が複数の映像チャンネル（Ａ、Ｂ、Ｃ、及びＤ）間を次々と移動する場合に、当該注目被写体が映っている映像チャンネルを次々と選択して画面上に表示することにより、注目被写体の追跡映像を表示することができる。すなわち、表示装置１０は、視聴者が見たい被写体にあわせて、複数の映像チャンネルのうちの一つを次々と選択して表示することができる。
【００３３】
図２は、複数の映像チャンネルの例を示す。本実施例において表示装置１０は、カーレースを複数の異なるカメラポジションから撮影した映像チャンネルＡ、Ｂ、Ｃ、及びＤを含む映像情報を受信する。被写体認識部１２は、映像チャンネルのそれぞれに含まれる移動する被写体を認識する。一つの映像チャンネルに同時に複数の被写体が含まれる場合には、それぞれを個別に認識する。なお、被写体が移動しているか否かは、例えば映像を背景とオブジェクトに切り分け、背景に対するオブジェクトの位置が連続的に変化するか否かによって判断できる。例えば観客席の映像である映像チャンネルＤにおいて、観客の位置は背景に対して連続的に変化しない。したがって被写体認識部１２は、観客を移動する被写体として誤って認識することがない。
【００３４】
表示部１４は、被写体認識部１２が認識した被写体のそれぞれに対して識別子を付加して表示する。識別子は例えば図中のＡ−１、Ｂ―１、・・・、Ｃ−２等である。表示部１４は、当該識別子の入力を被写体の選択として受け付ける。識別子は、リモコンやマウスを介して入力される。また、一つの映像チャンネルに、認識された被写体が一つだけ含まれている場合には、表示部１４は、当該映像チャンネルの選択を被写体の選択として受け付けてもよい。
【００３５】
表示部１４は、複数の映像チャンネルのそれぞれについて、上記の手順で被写体の選択を受け付ける。表示装置１０は、それぞれの映像チャンネルで選択された被写体を、異なるアングルから撮影された同一の注目被写体として認識する。例えば、映像チャンネルＡでＡ−１が選択され、映像チャンネルＢでＢ−２が選択され、映像チャンネルＣでＣ―１が選択された場合、表示装置１０は、Ａ−１、Ｂ−２、及びＣ−１が同一の注目被写体であると認識する。この工程において、表示装置１０は、注目被写体の外観上の特徴、すなわち形状及び色を複数の異なるアングルから取得し、マッチング画像格納部２０に格納する。
【００３６】
図３は、被写体の選択が完了した後の表示部１４の表示例である。表示部１４は、複数の映像チャンネルのうちで音声解説が付加された映像（以下、「解説付き映像」という）の一部の領域に、追跡映像を重ねて、かつ音声解説付き映像よりも小さく表示する。以下、解説付き映像の表示領域をメイン画面と呼び、当該メイン画面の一部の領域に重ねて表示される追跡映像の表示領域をサブ画面と呼ぶ。図３に示す実施例では、メイン画面に映像チャンネルＣが、サブ画面に映像チャンネルＡが表示されている。
【００３７】
表示部１４は、サブ画面において注目被写体として認識している被写体に、「注目被写体」という識別子を付加して表示してもよい。サブ画面に映っている映像チャンネルＡから注目被写体がフレームアウトした場合、当該注目被写体を映している他の映像チャンネルが、映像チャンネルＡの代わりにサブ画面に表示される。
【００３８】
図４は、表示装置１０が追跡映像を表示する動作の一例を示す。まず、被写体認識部１２は、異なるアングルから被写体を撮影した複数の映像チャンネルＡ、Ｂ、Ｃ、及びＤを放送網３０から受信する（Ｓ１０）。次に被写体認識部１２は、映像チャンネルのそれぞれにおいて、移動する被写体を認識する（Ｓ１２）。このとき被写体認識部１２は、背景映像に対して動きベクトルが所定の基準値よりも大きいオブジェクトを、移動する被写体として認識する。
【００３９】
次に、表示部１４は、被写体認識部１２が認識した被写体のそれぞれに対して識別子を付加し、選択可能なように表示する（Ｓ１４）。このとき、表示部１４は、複数の映像チャンネルＡ、Ｂ、Ｃ、及びＤを画面上に並べて表示してもよいし、映像チャンネル毎に順次表示してもよい。次に、表示部１４は、映像チャンネルのそれぞれについて、被写体が選択されたか否かを判断する（Ｓ１６）。被写体の選択は、例えばリモコン又はマウスを用いた識別子の入力である。映像チャンネルに選択可能な被写体が一つしか映っていない場合には、当該映像チャンネルの選択を被写体の選択として受け付けてもよい。
【００４０】
被写体の選択を受け付けない場合（Ｓ１６：Ｎｏ）、ステップ１２に戻る。一方、被写体の選択を受け付けた場合（Ｓ１６：Ｙｅｓ）、表示部１４は、当該選択された画像を、注目被写体のマッチング画像として、マッチング画像格納部２０に登録する（Ｓ１８）。次に、表示装置１０は、映像チャンネルのそれぞれについて、マッチング画像の登録が完了したか否かを確認する（Ｓ２０）。
【００４１】
この場合、全ての映像チャンネルについてマッチング画像が登録されたことを条件に、マッチング画像の登録が完了したと判断する。なお、選択すべき被写体が映らない映像チャンネルについては、視聴者の判断によりマッチング画像登録の対象外としてもよい。ステップ２０においてマッチング画像の登録が完了していないと判断すると（Ｓ２０：Ｎｏ）、ステップ１２に戻り、再び被写体の選択を受け付ける。
【００４２】
一方、マッチング画像の登録が完了したと判断すると（Ｓ２０：Ｙｅｓ）、表示部１４は、注目被写体が映っている映像チャンネルを次々と選択して画面上に表示することにより、注目被写体の追跡映像を表示する（Ｓ２２）。ステップ２２の詳細については、図５で後述する。次に、表示装置１０は、当該放送が終了したか否かを判断する（Ｓ２４）。放送が終了していないと判断した場合（Ｓ２４：Ｎｏ）、ステップ２２に戻り、引き続き追跡映像を表示する。一方、放送が終了したと判断した場合（Ｓ２４：Ｙｅｓ）、追跡映像の表示を終了し、本フローは終了する。
【００４３】
図５は、図４におけるステップ２２（追跡映像の表示）の詳細を示す。まず、表示部１４は、注目被写体が映っている映像チャンネルを追跡映像として表示する（Ｓ１００）。このとき、注目被写体が複数の映像チャンネルに同時に映っている場合には、表示すべき映像チャンネルを視聴者に選択させる。あるいは、注目被写体がより大きく映っている映像チャンネルを優先的に表示してもよい。
【００４４】
次に、表示部１４は、追跡映像の終了コマンドが入力されたか否かを判断する（Ｓ１０１）。終了コマンドが入力されたと判断した場合（Ｓ１０１：Ｙｅｓ）、ステップ２２を終了する。一方、終了コマンドが入力されていないと判断した場合（Ｓ１０１：Ｎｏ）、フレームイン／アウト検出部１６は、注目被写体が追跡映像からフレームアウトしたか否かを判断する（Ｓ１０２）。注目被写体がフレームアウトしていない場合（Ｓ１０２：Ｎｏ）、ステップ１００に戻り、それまでと同じ映像チャンネルを表示する。
【００４５】
一方、注目被写体がフレームアウトしたと判断した場合（Ｓ１０２：Ｙｅｓ）、映像検索部１８は、当該注目被写体のマッチング画像をマッチング画像格納部２０から読み出す（Ｓ１０３）。このとき映像検索部１８は、複数の映像チャンネルのそれぞれについて、注目被写体のマッチング画像を読み出す。次に映像検索部１８は、マッチング画像格納部２０から読み出したマッチング画像で、他の映像チャンネルを検索する（Ｓ１０４）。例えば、映像チャンネル毎のマッチング画像で、被写体認識部１２が認識した被写体とのマッチングを行う。映像検索部１８は、検索結果を表示部１４に通知する。
【００４６】
表示部１４は、映像検索部１８から受信する検索結果に基づき、注目被写体を含む映像チャンネルが有るか否かを判断する（Ｓ１０６）。注目被写体を含む映像チャンネルが有ると判断した場合（Ｓ１０６：Ｙｅｓ）、複数の映像チャンネルが該当するか否かを判断する（Ｓ１０８）。該当する映像チャンネルが複数でない、すなわち一つであると判断した場合（Ｓ１０８：Ｎｏ）、表示部１４は当該映像チャンネルを追跡映像として表示する（Ｓ１１２）。そしてステップ１０１に戻る。
【００４７】
ステップ１０８において、該当する映像チャンネルが複数であると判断した場合（Ｓ１０８：Ｙｅｓ）、映像検索部１８は、注目被写体がより大きな映像チャンネルを優先的に表示する（Ｓ１１０）。あるいは、注目被写体の位置が中央により近い映像チャンネルを優先的に表示してもよいし、注目被写体の向きがより正面を向いている映像チャンネルを優先的に表示してもよい。この場合、注目被写体の正面の向きは、ステップ１８におけるマッチング画像の登録時に登録することが望ましい。複数の映像チャンネルには予め優先度が付与されていてもよく、表示部１４は、予め付与された優先度が高い映像チャンネルを優先的に表示してもよい。
【００４８】
なお、映像検索部１８は、映像チャンネルのそれぞれを複数の評価項目で定期的に評価し、評価点が高い映像チャンネルを優先的に表示させてもよい。評価項目は、注目被写体の大きさ、映像の中央から注目被写体までの距離、注目被写体の向き、及び注目被写体が継続して映っている時間等である。例えば、映っている注目被写体が大きい映像チャンネルほど高い評価点を付与する。注目被写体の位置が映像の中央により近い映像チャンネルほど高い評価点を付与する。また、注目被写体が継続して映っている時間が長い映像チャンネルほど高い評価点を付与する。表示部１４は、評価項目毎に異なる重み付けを設定してもよい。映像検索部１８は、それぞれの評価項目を定期的に、例えば０．１秒ごとに更新する。フレームイン／アウト検出部１６が注目画像のフレームアウトを検出した場合、映像検索部１８は、各評価項目の合計点が高い映像チャンネルほど優先的に表示させる。
【００４９】
一方、ステップ１０６に於いて、注目被写体を含む映像チャンネルがない、すなわち、あらゆる映像チャンネルに撮影されない位置に注目被写体が移動したと判断した場合（Ｓ１０６：Ｎｏ）、表示装置１０は、映像チャンネルのそれぞれについて、今後の映像に関する事前のバッファリングデータが有るか否かを判断する（Ｓ１１４）。今後の映像に関するバッファリングデータは、リアルタイム中継よりも所定のタイムラグだけ遅れた映像を表示する場合において、映像の表示に先立ち映像保存部１３から読み出してもよいし、放送網３０を介して取得してもよい。
【００５０】
バッファリングデータがある場合（Ｓ１１４：Ｙｅｓ）、映像検索部１８は、注目被写体のマッチング画像で今後の映像のバッファリングデータを検索し、注目被写体が次に映る映像チャンネルを表示部１４に通知する。表示部１４は、通知された映像チャンネルを表示する（Ｓ１１６）。そしてステップ１０１に戻る。一方、バッファリングデータが無い場合（Ｓ１１４：Ｎｏ）、表示部１４は、注目被写体がフレームアウトした方向に撮影範囲を有する映像チャンネルを、注目被写体が次に映る映像チャンネルとして予測し、表示する（Ｓ１１８）。そしてステップ１０１に戻る。
【００５１】
以上の動作フローによれば、表示装置１０は、注目被写体が複数の映像チャンネル間を次々と移動する場合に、当該注目被写体が映っている映像チャンネルを次々と選択して画面上に表示することにより、注目被写体の追跡映像を表示することができる。すなわち、表示装置１０は、視聴者が見たい被写体にあわせて、複数の映像チャンネルのうちの一つを次々と選択して表示することができる。
【００５２】
図６は、表示装置１０の機能構成の第２実施例を示す。また、第１実施例と同様の構成には同一の符号を付して説明を省略する。本実施例の映像保存部１３は、例えばハードディスクレコーダである。映像保存部１３は、異なるアングルから被写体を撮影した複数の映像チャンネル（Ａ、Ｂ、Ｃ、及びＤ）を放送網３０から受信して、映像チャンネル毎に独立して記録する。被写体認識部１２は、映像保存部１３から複数の映像チャンネルを同時に読み出し、読み出した複数の映像チャンネルに含まれる移動する被写体を認識する。以降の動作及び構成は第１実施例と同様である。すなわち、表示部１４は、被写体認識部１２によって認識された被写体のいずれかを選択可能なように、複数の映像チャンネルを表示し、被写体の選択を受け付けた場合に、注目被写体を含む映像チャンネルを追跡映像として優先的に表示する。フレームイン／アウト検出部１６は、追跡映像から注目被写体がフレームアウトすることを検出する。映像検索部１８は、注目被写体のフレームアウトが検出された場合に、注目被写体を検索キーとして他の映像チャンネルを検索し、検出された映像を追跡映像として表示部１４に表示させる。このような表示装置１０によれば、映像保存部１３に保存されているマルチチャンネル映像から、視聴者が見たい注目被写体を含む映像チャンネルを次々と選択して表示することができる。記録媒体６０は、本実施例の被写体認識部１２、映像保存部１３、表示部１４、フレームイン／アウト検出部１６、映像検索部１８、及びマッチング画像格納部２０の機能を、表示装置１０に実現させるプログラムを格納する。表示装置１０は、そのようなプログラムをネットワーク経由で取得して実行してもよい。
【００５３】
図７は、表示部における追跡映像の表示範囲よりも内側に設定されたフレーム４０を示す。フレーム４０の大きさは例えばユーザが指定する。フレームイン／アウト検出部１６は、フレーム４０において、注目被写体がはみ出すことを検出する。従って、映像検索部１８は、注目被写体が表示部からはみ出す前に確実に映像チャンネルを切り替えることができる。
【００５４】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００５５】
【図１】表示装置１０の機能構成の一例を示すブロック図である。
【図２】複数の映像チャンネルの例を示す図である。
【図３】被写体の選択が完了した後の表示部１４の表示例を示す図である。
【図４】表示装置１０が追跡映像を表示する動作の一例を示すフロー図である。
【図５】図４のステップ２２の詳細を示すフロー図である。
【図６】表示装置１０の機能構成の他の例を示すブロック図である。
【図７】表示範囲よりも内側に設定されたフレームを示す。
【符号の説明】
【００５６】
１０  表示装置
１２  被写体認識部
１３  映像保存部
１４  表示部
１６  フレームイン／アウト検出部
１８  映像検索部
２０  マッチング画像格納部
３０  放送網
【図１】
2005130462.tif 000003
【図２】
2005130462.tif 000004
【図３】
2005130462.tif 000005
【図４】
2005130462.tif 000006
【図５】
2005130462.tif 000007
【図６】
2005130462.tif 000008
【図７】
2005130462.tif 000009