(57)【要約】ピクチャ・イン・ピクチャ（ＰＩＰ）ディスプレイと、プロセッサとを有するテレビジョンのようなビデオ表示装置に関わる。プロセッサは、ＰＩＰが上におかれる一次表示画像にある色／テクスチャ／イベント／挙動等のようなキューを検出する。これらキューは、一次表示画像の重要部分及び比較的重要でない部分を決定するためにプロセッサによって利用される。次にプロセッサは、ＰＩＰの表示特徴を変えることでＰＩＰが一次表示画像の重要部分をより少なく覆うか否かを決定し、より少なく覆う場合、プロセッサは、ＰＩＰの表示特徴を変える。プロセッサによって変えられ得るＰＩＰの表示特徴は、ＰＩＰの位置、大きさ、及び、透明度を含む。プロセッサは、一次表示画像の重要部分及び比較的重要でない部分を決定するために検出したキューの組み合わせを利用してもよい。プロセッサは、ＰＩＰの表示特徴の組み合わせを変えてもよい。
2004516722.tif 000002
【特許請求の範囲】
【請求項１】
一次画像と上記一次画像の上におかれるピクチャ・イン・ピクチャ（ＰＩＰ）画像を表示するよう構成されるディスプレイと、
上記ディスプレイに動作上接続され、上記一次画像に対する第１のビデオデータストリームを受信し、上記ＰＩＰに対する第２のビデオデータストリームを受信し、上記一次画像における特徴に応答してＰＩＰ表示特徴を変更するプロセッサとを有するビデオ表示装置。
【請求項２】
上記ＰＩＰ表示特徴は、上記ディスプレイでの上記ＰＩＰの位置、上記ＰＩＰの表示の大きさ、及び、上記ＰＩＰの透明度の少なくとも一つである請求項１記載のビデオ表示装置。
【請求項３】
上記プロセッサは、上記第１のビデオデータストリームの少なくとも一つのフレームを解析し、上記一次画像における特徴として上記少なくとも一つのフレームの連続的な色部分及び連続的なテクスチャ部分を検出するよう構成される請求項１記載のビデオ表示装置。
【請求項４】
上記プロセッサは、上記第１のビデオデータストリームの少なくとも一つのフレームを解析し、上記一次画像における特徴として上記少なくとも一つのフレームに人の画像があるか否かを決定するよう構成される請求項１記載のビデオ表示装置。
【請求項５】
上記プロセッサは、上記第１のビデオデータストリームの少なくとも一つのフレームを解析し、上記一次画像における特徴として上記少なくとも一つのフレームに人の画像、及び、連続的な色部分並びに連続的なテクスチャ部分の少なくとも一方があるか否かを決定するよう構成される請求項１記載のビデオ表示装置。
【請求項６】
上記プロセッサは、上記第１のビデオデータストリームの少なくとも一つのフレームを解析し、上記一次画像における特徴として上記少なくとも一つのフレームにおける挙動を決定するよう構成される請求項１記載のビデオ表示装置。
【請求項７】
上記ＰＩＰ表示特徴は、上記ＰＩＰの位置であり、上記プロセッサは、特徴が上記一次画像にあるとして、上記一次画像の上になる部分を最小化するために上記ＰＩＰの位置を変えるよう構成される請求項１記載のビデオ表示装置。
【請求項８】
上記ＰＩＰ表示特徴は、上記ＰＩＰの大きさであり、上記プロセッサは、特徴が上記一次画像にあるとして、上記一次画像の上になる部分を最小化するために上記ＰＩＰの大きさを変更するよう構成される請求項１記載のビデオ表示装置。
【請求項９】
上記ＰＩＰ表示特徴は、上記ＰＩＰの透明度であり、上記プロセッサは、特徴が上記一次画像にあるとして、上記ＰＩＰ透明度が上記一次画像の一部分を透き通るようにするよう構成される請求項１記載のビデオ表示装置。
【請求項１０】
上記ＰＩＰ表示特徴は、上記ＰＩＰの大きさ及び位置であり、上記プロセッサは、特徴が上記一次画像にあるとして上記一次画像の上になる部分を最小化するために上記ＰＩＰの上記大きさ及び上記位置を決定するよう構成される請求項１記載のビデオ表示装置。
【請求項１１】
テレビジョンである請求項１記載のビデオ表示装置。
【発明の詳細な説明】
【０００１】
本発明は、ホームテレビジョンの使用法を高める方法及び装置に関わる。特に、本発明は、下にあるビデオコンテンツの特徴に応答するピクチャ・イン・ピクチャ表示に関わる。
【０００２】
テレビジョンが、同時に一つ以上のビデオ表示をテレビジョンディスプレイに表示できることが非常に一般的である。ディスプレイは、典型的には、２つ以上の部分に分離され、ディスプレイの主部分は第１のビデオデータストリーム（例えば、所与のテレビジョンチャネル）専用である。第２のビデオデータストリームは、第１のデータストリームのディスプレイ上に差込物として示される表示ボックスにおいて同時に示される。この差込ボックスは、典型的にはピクチャ・イン・ピクチャ表示（「ＰＩＰ」）を示す。このＰＩＰは、同時に２つ以上のビデオデータストリームをモニタする機能をテレビジョン視聴者に与える。これは、例えば、コマーシャルセグメントが所与のテレビジョンチャネルで始まり、コマーシャルセグメントからの戻りを見逃したくないがコマーシャルセグメント中に更に選択されたテレビジョンチャネルを「サーフィング」することを視聴者が望むときに望ましい。他の場合では、視聴者は、他のビデオコンテンツを検索するか、別の選択されたチャネルのコンテンツを見逃すことなく他のコンテンツを見ることだけを望む場合がある。
【０００３】
いずれにしてもＰＩＰは、一次表示部分の上におかれる差込ボックスにおいて典型的に示されるといった問題を有する。上におかれるＰＩＰは、一次表示部分の一部分を覆うといった望ましくない効果を生ずる。
【０００４】
従来技術のシステムでは、ＰＩＰが下にあるビデオ画像の一部分を覆うことを回避するためにＰＩＰをどのような大きさにするかをユーザが決定することができるようＰＩＰの大きさを変更することができる。他のシステムでは、ユーザは、ＰＩＰをビデオスクリーンの予め選択された又は可変に選択可能な部分に移動することができるが、これらシステムは下にあるビデオ画像が時間とともに変化するため、ユーザが実時間で操作するには扱いにくい。
【０００５】
他のシステムでは、ＰＩＰは、ビデオ画像の一つのフレームと次のフレームとの間の検出された動きに応答して一次表示部分のある部分に自動的に位置が変えられてもよい。しかしこのシステムは、多くの場合、スクリーンの大部分が動きを有するが、どの部分がより重要或いはさほど重要でないかを判別するシステムがないといった欠点を有する。更に、多くのビデオセグメントは、動きが少ない若しくは全くないダイアログ部分を有するが、ビデオセグメントのこれら部分は、ビデオセグメントにおける主な関心域となり得る。従来技術のシステムでは、ビデオセグメントの背景部分における動きは、相当の相対運動を有しなくともまだ比較的重要な他の部分の上にＰＩＰの位置を変える可能性がある。
【０００６】
従って、本発明は、従来技術の不都合な点を克服することを目的とする。
【０００７】
本発明は、ピクチャ・イン・ピクチャ（ＰＩＰ）ディスプレイと、プロセッサとを有するテレビジョンのようなビデオ表示装置である。プロセッサは、ＰＩＰが上におかれた一次表示画像中にある色／テクスチャ／イベント／挙動等のようなキューを検出する。これらキューは、一次表示画像の重要部分と比較的重要でない部分を決定するためにプロセッサによって利用される。プロセッサは、次に、ＰＩＰの表示特徴における変化により、ＰＩＰが一次表示画像の重要部分をより少なく覆うか否かを決定し、より少なく覆う場合、プロセッサは、ＰＩＰの表示特徴を変更させる。プロセッサによって変更され得るＰＩＰの表示特徴は、ＰＩＰの位置、大きさ、及び、透明度を含む。プロセッサは、検出されたキューの組み合わせを利用して、一次表示画像の重要部分及び比較的重要でない部分を決定してもよい。プロセッサは、更に、ＰＩＰの表示特徴の組み合わせを変えてもよい。
【０００８】
以下に、添付の図面と共に上記特徴及び利点と、それら以外の特徴及び利点を示す本発明の実施例を説明する。図面は例示目的であり、本発明の範囲を表わさないことを明白に理解すべきである。本発明は、添付の図面と共に参照すると最も良く理解されるであろう。
【０００９】
以下の説明において、説明を容易にするために特定の実施例又はシステムに関してある用語を例示的に説明する。本発明に従って動作するためにプロセッサが利用し得るキューを表示する例えば、識別されたイベント／挙動を以下に説明する。従って、当業者には容易に明らかとなるように、キュー／複数のキューといった用語は、本発明を容易に適用することができる同様の色／テクスチャ／イベント／挙動を含むことを理解すべきである。
【００１０】
図１は、プロセッサ１２０に動作上接続されたディスプレイ１１０と、遠隔制御装置１３０とを有する本発明の実施例による例示的なシステム１００を示す。プロセッサ１２０と遠隔制御装置１３０は、プロセッサ１２０に動作上接続された赤外線（ＩＲ）受信器１２５、及び、遠隔制御装置１３０に動作上接続されたＩＲ送信器１３１を介して技術において公知の通りに動作上接続されている。
【００１１】
ディスプレイ１１０は、テレビジョン受信機、又は、ユーザが視聴できるようオーディオビジュアルコンテンツを再現することができる他の装置でもよい。プロセッサ１２０は、当業者に既知の通り、ディスプレイ１１０でピクチャ・イン・ピクチャ（ＰＩ）を再現するために使用できる。更に、プロセッサ１２０は、本発明に従ってＰＩＰディスプレイを提供し位置決めするために使用できる。
【００１２】
図１に示す例示的なシステムの動作を図２Ａ、図２Ｂ、図２Ｃ、及び、図３を参照して以下に説明する。遠隔制御装置１３０は、本発明による動作のためのボタンを含む。特に、遠隔制御装置１３０は、ＰＩＰボタン１３４と、スワップボタン１３２と、アクティブＰＩＰ開始ボタン１３６Ａと、アクティブＰＩＰモード選択ボタン１３６Ｂと、ＰＩＰ位置制御ボタン１３７Ａ、１３７Ｂ、１３７Ｃ、１３７Ｄとを有する。ＰＩＰボタン１３４は、ディスプレイ１１０上にＰＩＰ２１０Ａ（例えば、図２Ａ参照）を開くＰＩＰ機能を開始する。スワップボタン１３２は、ディスプレイ１１０のＰＩＰ２１０Ａ、及び、一次表示部分２１０Ｂに示される各画像をスワップする。ＰＩＰ位置制御ボタン１３７Ａ、１３７Ｂ、１３７Ｃ、１３７Ｄは、ディスプレイ１１０の選択可能な部分の上でユーザがＰＩＰ２１０Ａの位置を手動で変えることを可能にさせる。遠隔制御１３０は、技術において公知の通り、ＰＩＰ２１０Ａと一次表示部分２１０Ｂに対してビデオデータストリームを夫々選択するチャネルセレクタキー１３９Ａ、１３９Ｂと、１３８Ａ、１３８Ｂのような他の制御ボタンを有する。
【００１３】
更に、当業者に明らかとなるようにボタン１３８Ａ、１３８Ｂ、１３９Ａ、１３９Ｂは、チャネルセレクタボタンとして例示的に示されているが、ボタン１３８Ａ、１３８Ｂ、１３９Ａ、１３９Ｂは、ビデオの一つ以上の他のソースからの複数のデータストリームの中から選択してもよい。例えば、ビデオデータストリーム（例えば、ＰＩＰ２１０Ａと一次表示域２１０Ｂ）のいずれか一方のソースが放送ビデオデータストリームであり、他方のソースが記憶装置でもよい。記憶装置は、テープ記憶装置（例えば、ＶＨＳアナログテープ）、ハードドライブのようなディジタル記憶装置、光学記憶装置等、又は、ビデオデータストリームを記憶する任意の他のタイプの公知の装置でもよい。実際に、本発明の範囲から逸れることなく、ＰＩＰ２１０Ａと一次表示部分２１０Ｂのいずれかに対するビデオデータストリームの任意のソースを本発明に従って利用し得る。
【００１４】
図２Ａは、初期時間Ｔ１でのディスプレイ１１０の拡大図である。図２Ａにおいて、ディスプレイ１１０は、太陽オブジェクト２２０とトラックオブジェクト２３０のような例示的なオブジェクトを含む二次表示画像を表示するＰＩＰ２１０Ａを有して示される。更に、ディスプレイ１１０は、会話している人のオブジェクト２４０Ａ、２４０Ｂと、飛行機オブジェクト２５０のような例示的なオブジェクトを含む一次表示画像を表示する一次表示部分２１０Ｂが有して示される。更に、一次表示域２１０Ｂは、空領域２６０及び道領域２７０を有する。ＰＩＰ２１０Ａ及び一次表示部分２１０Ｂでは、以下の説明を簡略化するために上記オブジェクト及び領域だけが示されている。本発明は、図示するオブジェクトに関して説明するが、当業者は、他のピクチャ要素がいずれか一方或いは両方の表示部分に与えられてもまだ本発明の範囲内となることを明白に理解すべきである。
【００１５】
図２Ａでは、ＰＩＰ２１０Ａ中の二次ビデオ画像は、一次表示画像の会話している人のオブジェクト２４０Ａ及び２４０Ｂを覆う。図２Ｂは、時間Ｔ１の後の、ユーザがアクティブＰＩＰ開始ボタン１３６Ａを押した少し後のある時間Ｔ２におけるディスプレイ１１０の拡大図を示す。図２Ｂでは、ＰＩＰ２１０Ａは、一次表示部分２１０Ｂ上の下にある一次表示画像に関して自動的に位置が変えられる。本発明に従って動作するプロセッサ１２０がＰＩＰ２１０Ａの位置を自動的に変える。
【００１６】
図２Ｃは、時間Ｔ１の後のある時間Ｔ３における本発明の別の実施例による現発明の動作を示す。図２Ｃでは、プロセッサ１２０は、ＰＩＰ２１０Ａが例えば、図２Ａに示すように下にある一次表示画像の相当部分を覆っていることを検出したことに応答してＰＩＰ２１０Ａの大きさを変更する。当業者に容易に明らかとなるように、プロセッサ１２０は、本発明に従ってユーザがアクティブＰＩＰ開始ボタン１３６Ａを押下することに応答してＰＩＰ２１０の位置を変えるか、大きさを変更するいずれか一方或いは両方を実施し得る。更に、ＰＩＰ２１０Ａは、以下に更に説明するようにユーザがアクティブＰＩＰ開始ボタン１３６Ａを再び押下してアクティブＰＩＰ特徴の選択を取り消すまで、プロセッサ１２０によってその後連続的に位置が変えられる。
【００１７】
本発明の動作は、本発明の実施例によるフローチャート３００を示す図３に関して本願で更に説明する。図３のフローチャートに示すように、動作３１０中、ユーザは例えば、ＰＩＰボタン１３４を押下してＰＩＰを開始する。本発明の一実施例では、ＰＩＰボタン１３４によって開始されたＰＩＰは、従来のＰＩＰであり、例えば、図２Ａに示すように下にあるビデオ画像の一部分を覆う場合がある。その後、動作３２０中、ユーザはアクティブＰＩＰ開始ボタン１３６Ａを押下し、以下に更に説明するように本発明によるアクティブＰＩＰ（特徴）を開始する。他の実施例において、アクティブＰＩＰがＰＩＰボタン１３４を押下することで（例えば、動作３１０中にデフォルトＰＩＰとして）自動的に開始されてもよく、又は、ＰＩＰボタン１３４を何回か押下することの機能として動作してもよい。
【００１８】
いずれにしても、アクティブＰＩＰが開始された後、動作３３０においてプロセッサ１２０は、下にある一次表示画像（第１のビデオデータストリーム）に対して選択された入来するビデオデータストリームを解析する。プロセッサは、視聴者にとって重要或いは重要でない部分を決定するためにキュー或いは複数のキューに関して第１のビデオデータストリームを解析する。本発明による一実施例では、プロセッサ１２０は、連続的な色或いはテクスチャを有するビデオ画像の域のようなキュー或いは複数のキューを見つけるために、第１のビデオデータストリームの一つ以上の個々のフレームを解析してもよい。連続的な色或いはテクスチャのこれら域は、空、地面、道、壁等、ビデオ画像において典型的には主要となり得ない部分、つまり、比較的重要でない部分であるビデオ画像の背景部分を表わし得る。
【００１９】
これらキューを検出する公知の方法は従来技術において多数ある。本願で参照として組込む例えば、Ｊｏｈｎ  Ｃ．  Ｒｕｓｓによる「Ｔｈｅ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  Ｈａｎｄｂｏｏｋ」では、ビデオ画像の連続的な色／テクスチャ部分を検出する多数の技法が記載されている。更に、本願で参照として組み込むＣｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ｔｈｉｒｄ  Ａｓｉａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ｐｒｏｃｅｅｄｉｎｇｓ，  Ｖｏｌ．  １，  ｐａｇｅｓ  ６０７‐６１４における「Ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ  Ｕｓｉｎｇ  Ｃｏｌｏｒ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌｓ」なる名称の文書では、背景（例えば、重要でない）と前景（例えば、重要）シーンを区別するために色混合モデルを用いる方法を記載する。これら検出された連続的な色／テクスチャに基づいてビデオ画像をセグメント化する能力を参照するいわゆる、セグメンテーション方法とも呼ばれる上記方法は、公知の方法のうちの幾つかの例に過ぎない。本発明によるとプロセッサ１２０は、キューを識別し、選択されたアクティブＰＩＰモードに依存してＰＩＰ２１０Ａの適切な位置及び／又は大きさを決定するために任意のこれら公知の方法、又は、任意の他の公知の方法を適切に利用し得る。
【００２０】
プロセッサ１２０は、第１のビデオデータストリームを解析し終わり、比較的重要／重要でない一次表示画像の部分を識別した後、ＰＩＰ２１０Ａに対する適切な位置及び／又は大きさを決定する。その後、動作３４０において、プロセッサ１２０は、図２Ｂ及び図２Ｃのいずれかに示すようにＰＩＰの位置を変え及び／又は大きさを変更する。
【００２１】
ＰＩＰ２１０Ａの位置だけが変えられるモードが、ユーザがＰＩＰモード選択ボタン１３６Ｂを押下してユーザ選択によって決定されると、プロセッサ１２０は、一次表示画像２１０Ｂの上におくのに最も適当な位置をＰＩＰ２１０Ａに対して決定する。ＰＩＰ２１０Ａに対する可能な位置は、ディスプレイ１１０のどの部分にわたっても変えられ得、又は、プロセッサ１２０が中から選択し得る２つ以上の所定の位置がある。典型的には、ＰＩＰ２１０Ａに対する適切な位置は、ディスプレイ１１０の外側エッジの周りである。
【００２２】
ＰＩＰの大きさだけが変更されるモードをユーザが選択したとき、プロセッサ１２０は、一次表示画像２１０Ｂの上におくのに適切な大きさをＰＩＰ２１０Ａに対して決定する。ＰＩＰ２１０Ａに対する可能な大きさは、２つ以上の大きさの中から選ばれてもよく、且つ、ＰＩＰ２１０が上におかれる一次表示画像のコンテンツの関数としてプロセッサ１２０によって決定されてもよい。ＰＩＰ２１０Ａの位置が変えられ、更に、大きさが変更されるモードをユーザが選択したとき、プロセッサ１２０は、一次表示画像２１０Ｂの上のおくのに適切な位置及び大きさをＰＩＰ１２０Ａに対して決定する。この場合、プロセッサ１２０が利用できると判断した域の大きさに基づいてプロセッサ１２０は、ＰＩＰ２１０Ａに対する適切な大きさを決定する。
【００２３】
適切な位置が、重要でないコンテンツの大きい域を有する場合、プロセッサ１２０は、ＰＩＰ２１０Ａの大きさを大きくする。適切な位置が重要でないコンテンツの小さい域だけを有する場合、プロセッサ１２０はＰＩＰ２１０Ａの大きさを小さくする。ＰＩＰ２１０Ａに対してより多くの潜在的な大きさがある場合、プロセッサ１２０は、重要でないコンテンツの域の大きさに基づいて決定されるように、ＰＩＰ２１０Ａに対して他の大きさを選択してもよい。
【００２４】
一旦ＰＩＰ２１０Ａの位置が変えられ及び／又は大きさが変更された後、動作３５０においてプロセッサ１２０は、時間間隔にわたってその位置及び／又は大きさでＰＩＰ２１０Ａを維持する。この時間間隔は、ユーザがＰＩＰ２１０Ａ又は一次表示域２１０Ｂを視聴することを可能にするために、ＰＩＰ２１０Ａの位置を変え及び／又は大きさを変更することを頻繁に行うことによる望ましくない結果を回避することを助ける。一実施例では、プロセッサ１２０は、動作３３０に戻る前に所定の時間間隔だけ待機してもよい。他の実施例では、プロセッサ１２０は、一次表示画像においてシーン転換又は他の変化が決定されるまで待機してもよい。シーン転換のようなイベントがビデオデータストリーム中いつ起こったかを決定する従来技術において公知の方法が多数ある。プロセッサ１２０は、例えば、アクションシーケンスから会話シーケンスに映画が転換するときのような、ビデオデータストリームの画像に存在する相対運動の変化を決定してもよい。或いは、プロセッサ１２０は、多くの場合シーン転換の間に挿入されるため、ビデオデータストリームのフレーム間でブラックフレームを検出してもよい。上記及び任意の他の公知の方法は、動作３３０に戻る適切なタイミングを決定するためにプロセッサ１２０によって利用されてもよい。
【００２５】
最後に、上記説明は本発明を例示するものに過ぎない。多数の代替の実施例が添付の特許請求の範囲及び精神から逸脱することなく当業者によって発明され得る。例えば、プロセッサ１２０は、ディスプレイ１１０とは別個に示されているが、それら両方はテレビジョンのような単一の表示装置に組み合わされてもよいことは明らかである。更に、プロセッサは、本発明に従って機能する専用プロセッサ、又は、多数の機能のうちの一つの機能だけが本発明に従って機能する多目的プロセッサでもよい。更に、プロセッサは、プログラム部分を利用して動作してもよく、又は、専用の或いは多目的の集積回路を利用するハードウェア装置でもよい。
【００２６】
更に、プロセッサは、第１のビデオデータストリームの連続的な色又はテクスチャ部分のようなキューを検出するとして例示的に説明したが、これらは第１のビデオデータストリームで検出可能となり得、且つ、本発明によるプロセッサによって利用され得る多数あるキューのうちの幾つかのキューに過ぎない。例えば、映画のようなビデオシーケンスでは、人又は多数の人は、ビデオシーケンスの重要なユーザ注目域を占有する場合が多い。従って、プロセッサは、一次ビデオ表示画像の人又は複数の人をキューとして検出し、その後、人又は複数の人を遮らないようにＰＩＰの位置を変え及び／又は大きさを変更し得る。従来技術では、本発明に従って動作するためにプロセッサによって適切に利用されてもよい人、顔、人体形等のキューを検出する公知の方法が多数ある。
【００２７】
他の実施例では、本発明に従って動作するプロセッサは、所与のビデオシーケンスに典型的に存在する特定の挙動及び／又はイベントのような他のキューを検出してもよい。例えば、本願で参照として組み込む「Ｍｅｔｈｏｄ  ａｎｄ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｇｅｓｔｕｒｅ  Ｂａｓｅｄ  Ｏｐｔｉｏｎ  Ｓｅｌｅｃｔｉｏｎ」なる名称の欧州特許ＷＯ９９３２９５９は、ビデオ画像中で人の存在を識別するために人の頭を検出する方法を示す。本願で参照として組み込む「Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｔｕｎｉｎｇ  ｔｈｅ  Ｃｏｎｔｅｎｔ  ｏｆ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｅｓｅｎｔｅｄ  ｔｏ  ａｎ  Ａｕｄｉｅｎｃｅ」なる名称の米国特許出願第０９／６０３５３２（出願人番号ＵＳ０００１４９）は、ディスプレイのコンテンツを同調するために人及び観客に関する情報を検出する方法を示す。Ｐｒｏｃｅｅｄｉｎｇ  ｏｆ  ｔｈｅ  １９９８  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ｐａｇｅｓ  １２７‐１３０  Ｖｏｌ．１における「Ｄｅｔｅｃｔｉｎｇ  Ｈｕｍａｎ  Ｆａｃｅｓ  ｉｎ  Ｃｏｌｏｒ  Ｉｍａｇｅｓ」なる名称の文献、Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｓｅｃｏｎｄ  Ｗｏｒｋｓｈｏｐ  ｏｆ  Ｖｉｄｅｏ  Ｓｕｒｖｅｉｌｌａｎｃｅにおける「Ｈｙｄｒａ：  Ｍｕｌｔｉｐｌｅ  Ｐｅｏｐｌｅ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ  Ｕｓｉｎｇ  Ｓｉｌｈｏｕｔｔｅｓ」なる名称の文献、Ｓｉｘｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ｐａｇｅｓ  ６４６−６５１における「Ｆａｃｅ  Ｓｕｒｖｅｉｌｌａｎｃｅ」なる名称の文献、Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｔｈｅ  Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｓｏｃｉｅｔｙ，Ｖｏｌｕｍｅ  ２９，ｎｕｍｂｅｒ  １１，ｐａｇｅｓ  １８７７‐１８８９における「Ａｕｔｏｍａｔｉｃ  Ｈｕｍａｎ  Ｆａｃｅ  Ｌｏｃａｔｉｏｎ  ｉｎ  ａ  Ｃｏｍｐｌｅｘ  Ｂａｃｋｇｒｏｕｎｄ  Ｕｓｉｎｇ  Ｍｏｔｉｏｎ  ａｎｄ  Ｃｏｌｏｒ  Ｉｎｆｏｒｍａｔｉｏｎ」なる名称の文献、及び、ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，Ｖｏｌｕｍｅ２，ｐａｇｅｓ  ３３３‐３３９における「Ａｕｔｏｍａｔｉｃ  Ｈｉｅｒａｒｃｈｉｃａｌ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｕｓｉｎｇ  Ｔｉｍｅ‐Ｂａｓｅｄ  Ｃｏ‐Ｏｃｃｕｒｒｅｎｃｅｓ」なる名称の文献を含む全ての文献は、本願で参照として組込み、本発明による動作のためにプロセッサによって利用され得るキューのための、技術において公知の方法のうちの幾つかの方法を例示する。
【００２８】
一旦これら特定の挙動が検出されると、プロセッサはこれら挙動及び／又はイベントを遮らないようにＰＩＰの位置を変え及び／又は大きさを変更し得る。例えば、図２Ａに示す画像においてディスプレイ１１０上には、会話している人のオブジェクト２４０Ａ、２４０Ｂと飛行機オブジェクト２５０とが一次ビデオ表示画像にある。図２Ａに示す画像のような画像において、主な関心域は、画像の背景にたまたま表れた飛行機オブジェクト２５０ではなく会話している人のオブジェクト２４０Ａ、２４０Ｂである場合が多い。この場合、プロセッサは、飛行機オブジェクト２５０から会話している人のオブジェクト２４０Ａ、２４０Ｂを識別し区別するために公知の画像分類技法を利用してもよい。その後、画像の他の部分がもはや適切でない場合、プロセッサは、飛行機オブジェクト２５０をＰＩＰで覆うと決めてもよい。
【００２９】
スポーツの画像シーケンス中、選手が位置する画像の部分が典型的に重要域となり得る。これらシーケンスにおいて典型的には観客も存在することが問題となる。この場合、プロセッサは、重要な域としてある人間の形状（例えば、選手）を検出するが、他の人間の形状（例えば、観客）を無視するために、公知の形状ベース技法をキューとして利用し得る。スポーツビデオシーケンス、ニュースビデオシーケンス、アクションビデオシーケンス等のような多数のタイプのビデオシーケンスに関して、重要且つ一般的なイベント／挙動を識別することが時として可能である。イベント及び／又は挙動を識別するためにこれらキューを識別することに関して従来技術において多くのことが実施され、本発明に従って動作するプロセッサによって利用されてもよい。
【００３０】
更に、上記実施例又は他の実施例において、プロセッサは、一次ビデオ画像のどの部分が重要でどの部分が重要でないかを決定するために上記キューの組み合わせを利用してもよい。重要部分はＰＩＰによって覆われてはならず、重要でない部分はＰＩＰによって覆われてもよいことは明らかである。例えば、スポーツイベントに関して、プロセッサは、一次ビデオ画像の重要部分を決定するために、検出された人の相対的な大きさ（例えば、選手対観客）、及び／又は、検出された人の相対運動と共に人検出法を利用してもよい。上記キューの任意の２つ以上の組み合わせが本発明に従って動作するためにプロセッサによって利用されてもよいことは明らかである。
【００３１】
更に、上記発明はＰＩＰの位置及び大きさを変更することに関して例示的に説明されたが、本発明による動作のために他のＰＩＰ表示特徴も変更できることは明らかである。本願に参照として組み込む例えば、米国特許出願第０９／７３４７７８（出願人開示番号第７０１１８５号）は、ＰＩＰ透明度を与える方法を示し説明する。一次表示画像の重要部分がＰＩＰによって覆われていることをプロセッサが検出することに応答して、プロセッサは、ＰＩＰに対する他の適切な位置及び／又は大きさがもはやないことを決定することに応答してＰＩＰ透明度を与えることを決定してもよいことは明らかである。この動作モードは、単独で選択されてもよく、又は、図１に示すアクティブＰＩＰモード選択ボタン１３６Ｂを利用してユーザの適当な選択によってＰＩＰの位置を変えること及び／又は大きさを変更することと組み合わせて選択されてもよい。
【００３２】
更に、本発明は、テレビジョンディスプレイのＰＩＰに関して上記したが、本発明は、コンピュータモニタ、又は、任意の他の公知の表示装置を含む、一次画像とＰＩＰを表示することができる全ての表示装置と適切に利用され得る。
【図面の簡単な説明】
【図１】
本発明の実施例によるシステムを示す図である。
【図２Ａ】
ＰＩＰと一次表示域の両方に例示的なオブジェクトを含むディスプレイの拡大図である。
【図２Ｂ】
本発明の実施例による位置が変えられたＰＩＰと一次表示域の両方に例示的なオブジェクトを含むディスプレイの拡大図である。
【図２Ｃ】
本発明の実施例による大きさが変更されたＰＩＰと一次表示域の両方に例示的なオブジェクトを含むディスプレイの拡大図である。
【図３】
本発明の実施例による動作を示すフローチャートである。
【図１】
2004516722.tif 000003
【図３】
2004516722.tif 000004
【国際公開パンフレット】
2004516722.tif 000005
2004516722.tif 000006
2004516722.tif 000007
2004516722.tif 000008
2004516722.tif 000009
2004516722.tif 000010
2004516722.tif 000011
2004516722.tif 000012
2004516722.tif 000013
2004516722.tif 000014
2004516722.tif 000015
2004516722.tif 000016
2004516722.tif 000017
2004516722.tif 000018
2004516722.tif 000019
2004516722.tif 000020
2004516722.tif 000021
【国際公開パンフレット（コレクトバージョン）】
2004516722.tif 000022
【国際公開パンフレット（コレクトバージョン）】
2004516722.tif 000023
【国際調査報告】
2004516722.tif 000024
2004516722.tif 000025
2004516722.tif 000026
2004516722.tif 000027
2004516722.tif 000028
2004516722.tif 000029