(57)【要約】【課題】  映像表示装置が情報処理装置のアプリケーション画面と放送画面を合成して表示する際、操作画面の変化のタイミングにおいて、合成ずれの発生を抑制する。【解決手段】  映像表示装置と通信可能な情報処理装置であって、第１の映像を取得する取得手段と、前記映像表示装置に対して、前記第１の映像と、該第１の映像の表示中に第２の映像を同時に表示すべき方法を示す第１の付加情報と、前記方法で前記第２の映像の表示を開始するタイミングを示す第２の付加情報とを送信する送信手段とを備える。【選択図】  図１
2008294533.tif 000002
【特許請求の範囲】
【請求項１】
映像表示装置と通信可能な情報処理装置であって、
第１の映像を取得する取得手段と、
前記映像表示装置に対して、前記第１の映像と、該第１の映像の表示中に第２の映像を同時に表示すべき方法を示す第１の付加情報と、前記方法で前記第２の映像の表示を開始するタイミングを示す第２の付加情報とを送信する送信手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記送信手段は、前記第１の映像のフレーム毎に前記第１の付加情報と前記第２の付加情報を付加して送信することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の映像は、ＨＤＭＩ規格準拠の伝送フォーマットで前記映像表示装置に送信され、前記第１の付加情報もしくは前記第２の付加情報は、前記伝送フォーマットに含まれる制御信号データの領域に付加されることを特徴とする請求項１または２記載の情報処理装置。
【請求項４】
前記第２の付加情報は、前記第２の映像の表示を開始するフレームを示すことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記第１の映像は、前記情報処理装置で作成したアプリケーション画面であることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記第２の映像は、前記映像表示装置で受信可能なデジタル放送であることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
情報処理装置と通信可能な映像表示装置であって、
第２の映像を取得する取得手段と、
前記映像表示装置から、第１の映像と、該第１の映像の表示中に第２の映像を同時に表示すべき方法を示す第１の付加情報と、前記方法で前記第２の映像の表示を開始するタイミングを示す第２の付加情報とを受信する受信手段とを備えることを特徴とする映像表示装置。
【請求項８】
前記映像表示装置はさらに、
前記受信手段によって受信された前記第１の付加情報と前記第２の付加情報とに基づいて、前記第１の映像と前記第２の映像を合成する合成手段とを備えることを特徴とする請求項７に記載の映像表示装置。
【請求項９】
映像表示装置と通信可能な情報処理装置における情報処理方法であって、
第１の映像を取得する取得工程と、
前記映像表示装置に対して、前記第１の映像と、該第１の映像の表示中に第２の映像を同時に表示すべき方法を示す第１の付加情報と、前記方法で前記第２の映像の表示を開始するタイミングを示す第２の付加情報とを送信する送信工程とを備えることを特徴とする情報処理方法。
【請求項１０】
情報処理装置と通信可能な映像表示装置における映像表示方法であって、
第２の映像を取得する取得工程と、
前記映像表示装置から、第１の映像と、該第１の映像の表示中に第２の映像を同時に表示すべき方法を示す第１の付加情報と、前記方法で前記第２の映像の表示を開始するタイミングを示す第２の付加情報とを受信する受信工程とを備えることを特徴とする映像表示方法。
【請求項１１】
請求項９に記載の情報処理方法をコンピュータが読み込み実行することで、前記コンピュータを、情報処理装置として機能させるコンピュータプログラム。
【請求項１２】
請求項１０に記載の映像表示方法をコンピュータが読み込み実行することで、前記コンピュータを、映像表示装置として機能させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを映像表示装置に出力する情報処理装置に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ等の情報処理装置とデジタルテレビ等の映像表示装置をＨＤＭＩ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）等のインターフェースを介して接続することにより、情報処理装置からの映像コンテンツを映像表示装置で視聴する利用形態が普及している。
【０００３】
このような利用形態では、情報処理装置上のアプリケーションプログラムが作成した操作画面（以下、アプリケーション画面）は、ビデオ信号としてＨＤＭＩを介して映像表示装置に入力される。
【０００４】
映像表示装置は、アプリケーション画面をビデオ信号として入力し、ディスプレイに表示する。つまり、従来、情報処理装置が情報処理装置専用ディスプレイまたは情報処理装置内蔵のディスプレイに表示するように、映像表示装置がそのアプリケーションを表示することができる。
【０００５】
また、アプリケーション画面を映像表示装置のディスプレイに表示している間も、テレビ放送を重畳して表示する技術がある。
【０００６】
アプリケーション画面とテレビ放送を重畳して表示する例として、パーソナルコンピュータからのアプリケーション画面にテレビ放送画面（放送画面）を合成する際に、ＵＳＢインターフェースを介して放送画面の表示位置とサイズを通知する技術が開示されている。（特許文献１）
【特許文献１】特開２００６−１０８９６２号公報
【特許文献２】特開２００６−２９５３０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来例では、放送画面の表示位置やサイズをＵＳＢにより単一的に通知しているだけなので、映像表示装置側で、アプリケーション画面の変化に対応した放送画面を作成できないという問題があった。つまり、アプリケーション画面がユーザ操作等に応じて変化している過程（例えばプルダウンメニュー操作やポップアップウィンドウ起動等）において、放送画面の表示位置やサイズを変更することができず、結果として合成ずれが生じてしまうという問題があった。また、一時的に放送画面を非表示状態から表示状態または表示状態から非表示状態に変更することができなかった。
【０００８】
本発明は上記問題を解決するために為されたもので、映像表示装置が情報処理装置のアプリケーション画面と放送画面を合成して表示する際、操作画面の変化のタイミングにおいて、合成ずれの発生を抑制することが可能な情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、映像表示装置と通信可能な情報処理装置であって、第１の映像を取得する取得手段と、前記映像表示装置に対して、前記第１の映像と、該第１の映像の表示中に第２の映像を同時に表示すべき方法を示す第１の付加情報と、前記方法で前記第２の映像の表示を開始するタイミングを示す第２の付加情報とを送信する送信手段を備える。
【発明の効果】
【００１０】
映像表示装置が情報処理装置の操作画面と放送画面を合成して表示する際に、操作画面の変化のタイミングに応じた、合成画面の生成が可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら本発明の実施形態を説明する。
【００１２】
＜実施形態１＞
図１に、本実施形態における情報処理装置１００の構成例を示す。
情報処置装置１００は、映像表示装置２００と通信可能な状態であり、映像信号を生成し、ＨＤＭＩケーブル１１１を介して当該映像信号を映像表示装置２００に供給する。
【００１３】
ＣＰＵ１０１は、バス１０２を介して接続された情報処理装置１００の各処理部の制御を行う。ＣＰＵ１０１が実行するコンピュータプログラムはＲＯＭ１０３またはＨＤＤ１０７に記憶され、ＲＡＭ１０４内に設けられたメモリ領域に適宜ロードされる。
【００１４】
通信制御部１０５は、ＣＰＵ１０１の制御によりＬＡＮ等のネットワーク１０９に接続し、ネットワーク１０９上の他装置とデータ通信を実行する。
操作部１０６は、不図示のキーボード、マウス、または、リモコンからユーザ操作を受けつける。
【００１５】
グラフィック制御部１０８は、ＣＰＵ１０１によって作成されたアプリケーション画面を、内蔵するフレームバッファメモリに入力する機能を有する。
ＨＤＭＩ送信制御部１０９は、ビデオ信号、オーディオ信号、制御信号をＨＤＭＩ規格に基づいて多重し、ＨＤＭＩケーブル１１１を介して接続されている装置（本実施形態では映像表示装置２００）に伝送する機能を有する。
【００１６】
ＨＤＭＩ送信制御部１０９は、グラフィック制御部１０８のフレームバッファに入力された画面データを読み出し、ＨＤＭＩにおける映像信号として映像表示装置２００に伝送する。
【００１７】
図２に、本実施形態における映像表示装置２００の構成例を示す。
主制御部２０１は、内蔵するＦＬＡＳＨ  ＲＯＭなどに記憶されたコンピュータプログラムを実行して、映像表示装置２００全体を制御する。
【００１８】
通信制御部２０２は、ネットワーク１１０を介した外部装置との通信を制御し、受信可能な状態にする。
メモリ部２０３はＳＤＲＡＭとメモリコントローラを内蔵し、映像表示装置２００の各処理部が使用するデータをＳＤＲＡＭに記憶する。
【００１９】
チューナ２０４は、不図示のアンテナを介してデジタル放送信号を受信する。
復調部２０５は、チューナ２０４からのデジタル放送信号をストリームデータに復調する。
【００２０】
デコーダ２０７は、復調部２０５からのストリームデータ、または、ネットワークを介して受信しメモリ部２０３に記憶されたストリームデータをデコードし、ビデオ、オーディオ、セクションデータ等の種別ごとに分離してメモリ部２０３に出力する。
【００２１】
またデコーダ２０７は、メモリ部２０３に記憶されているビデオストリームをその符号化方式（例えば、ＭＰＥＧ２等）に基づいて復号し、その復号されたビデオデータをメモリ部２０３に出力する。
【００２２】
ここで、デコーダ２０７は同時に複数のビデオストリームを復号することが可能な構成になっている。例えばチューナ２０４を介して入力されるビデオと、通信制御部２０２を介して入力されるビデオを同時に復号し、それぞれ復号されたビデオデータをメモリ部２０３に出力することができる。
【００２３】
主制御部２０１は、メモリ部２０３に記憶されているセクションデータ等からグラフィックデータ（アプリケーション画面における文字図形データ）を抽出して復号し、復号されたグラフィックデータをメモリ部２０３に出力する。
【００２４】
映像制御部２０８は、メモリ部２０３内のビデオデータに対しスケール処理や合成処理を施した後、ディスプレイ２１２に出力する。
【００２５】
オーディオデコーダ２０９は、メモリ部２０３に記憶されているオーディオストリーム、または、ＨＤＭＩ受信制御部２１６から入力されるオーディオストリームをその符号化方式（例えば、ＭＰＥＧ２  ＡＡＣ）に基づいて復号する。その復号結果はオーディオ制御部２１０を介してスピーカ２１１に出力される。
【００２６】
ＨＤＭＩ受信制御部２１６は、ＨＤＭＩケーブル１１１を介して伝送される多重化されたビデオ信号、オーディオ信号、および、制御信号を分離し、映像表示装置２００内の処理部へ振り分ける。ビデオ信号はビデオキャプチャ部２１７へ、オーディオ信号はオーディオデコーダ２０９へ、制御信号は主制御部２０１へと、それぞれ振り分けられる。
【００２７】
ビデオキャプチャ部２１７は、ＨＤＭＩ受信制御部２１６からのビデオ信号を受信し、メモリ部２０３に出力する。
【００２８】
上記構成により情報処理装置１００は、アプリケーション画面をＨＤＭＩケーブル１１１を介して映像表示装置２００に出力する。また映像表示装置２００はアプリケーション画面とチューナ２０４からの放送画面とを合成してディスプレイ２１２に表示する。このような構成により、アプリケーション画面の表示中に放送画面を同時に表示することが可能になる。
【００２９】
さらに、アプリケーション画面の変化に応じて放送画面の表示方法を変更する場合は、当該変更後の表示方法を示す情報（変更情報）と、変更後のビデオフレームの伝送開始タイミングを示す情報（タイミング情報）が、映像表示装置２００に供給される。
【００３０】
映像表示装置２００は、情報処理装置１００からの変更情報に応じて変更した放送画面が最初に合成されるべきアプリケーション画面のビデオフレームを、情報処理装置１００からのタイミング情報に基づいて特定する。
【００３１】
図７に、映像表示装置２００におけるアプリケーション画面と放送画面の合成例を示す。
７０１はアプリケーション画面、７０２は放送画面であり、ともに水平画素数１９２０、垂直画素数１０８０のサイズになっている。
【００３２】
７０６はアプリケーション画面７０１と放送画面７０２が合成された合成後の画面（以下、合成画面）である。合成画面７０６では、等倍サイズのアプリケーション画面７０１に縮小された放送画面７０７が合成されている。
【００３３】
合成放送画面７０７のサイズは、例えばアプリケーション画面上の表示部品７０３、７０４、７０５に縮小放送画面７０７が重ならないように、ＣＰＵ１０１が決定する。当該決定したサイズは、変更情報として、ＨＤＭＩケーブル１１１を介して映像表示装置２００に通知される。また、ＣＰＵ１０１が表示部品７０１〜７０３の配置の変更に応じて合成放送画面７０７の表示位置を変更する場合には、変更後の合成放送画面７０７の座標情報が変更情報として映像表示装置２００に通知される。
【００３４】
図３に、本実施形態の情報処理装置１００におけるグラフィック制御部１０８およびＨＤＭＩ送信制御部１０９の構成例を示す。
【００３５】
グラフィック制御部１０８において、描画処理部３１３は、フレームバッファ３１１または３１２のいずれかにビデオデータを記憶させる。
【００３６】
フレームバッファ３１１及び３１２は、図４に示すＨＤＭＩ規格準拠の１フレームの伝送フォーマットに基づいて伝送データを記憶する。
【００３７】
図４はフレームバッファ３１１及び３１２に記憶される伝送フォーマットを示した図である。この伝送フォーマットは、図面の横方向と縦方向をそれぞれビデオフレームの水平方向と垂直方向に対応させた２次元のフォーマットとなる。４０１はビデオデータを記憶するビデオデータ部であり４０２はオーディオデータを記憶するオーディオデータ部である。４０３は同期信号データを記憶する同期信号データ部であり、４０４は制御信号データを記憶する制御信号データ部である。
【００３８】
ビデオ送出部３１４は、フレームバッファ３１１または３１２いずれかのフレームバッファから１フレームの伝送データを読み出してＨＤＭＩ送信制御部１０９に伝送データを供給する。
【００３９】
この伝送データの構成により、制御信号データ部４０４の領域に所望の情報を付加しておけば、ビデオデータ以外の制御データをＨＤＭＩ伝送することが可能である。
【００４０】
また、フレームバッファ３１１および３１２は、ダブルバッファ構成になっている。一方のフレームバッファに描画処理部３１３が伝送データを記憶している時は（バック・フレームバッファ）、他方のフレームバッファからビデオ送出部３１４は伝送データの読み出しを行う（フロント・フレームバッファ）。フロント・フレームバッファとバック・フレームバッファを適宜切り替えることにより画面の変更や動画の再生が可能である。
【００４１】
ＨＤＭＩ送信制御部１０９において、ビデオキャプチャ部３０１はグラフィック制御部１０８によって供給された伝送データからビデオデータをキャプチャする。またオ−ディオキャプチャ部３０２は伝送データからオーディオデータをキャプチャする。ＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ  Ｍｉｎｉｍｉｚｅｄ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌｉｎｇ）送信部３０３は、キャプチャされたビデオデータ並びにオーディオデータをＴＭＤＳ信号仕様（データ線３０４、３０５、３０６、クロック線３０７）に基づいて映像表示装置２００にＨＤＭＩ伝送する。
【００４２】
図５に、本実施形態における映像表示装置２００のＨＤＭＩ受信制御部２１６の構成例を示す。
ＴＭＤＳ受信部５０１は、ＨＤＭＩケーブル１１１を介して受信したＴＭＤＳ信号をビデオデータとオーディオデータと制御信号データとに分離する。
【００４３】
ＨＤＭＩケーブル１１１を介して受信したＴＭＤＳ信号は、ビデオ処理部５０２へ送られるデータ５０５と、パケット処理部５０３へ送られるデータ５０７に分離される。
【００４４】
ビデオ処理部５０２には図４に示した伝送フレーム４００におけるビデオデータが送られる。ビデオデータはビデオキャプチャ部２１７によりビデオフレームとして順次取り込まれ、更にメモリ部２０３内のキャプチャメモリへと送られる。
【００４５】
パケット処理部５０３へは図４に示した伝送フレーム４００におけるオーディオデータと制御信号データが送られる。
【００４６】
パケット処理部５０３では、オーディオデータをオーディオ処理部５０４に供給する。その後、オーディオデータは、オーディオデコーダ２０２によりデコードされ、オーディオ制御部２１０を介してスピーカ２１１に出力される。
【００４７】
また、パケット処理部５０３は制御信号データを主制御部２０１に出力する。この供給の形態としては、主制御部２０１により読み出し可能なレジスタ等により行う。主制御部２０１は必要なときに当該レジスタの値を読みに行くが、リアルタイムな処理を要する制御信号データについては割り込みにより主制御部２０１に通知する機能を有する。
【００４８】
ここで、受信した制御信号データは割り込みにより主制御部２０１に通知されるが、受信したビデオデータは主制御部２０１を介さずにビデオキャプチャ２１７、メモリ部２０３、映像制御部２０８の順に通過し処理される。
【００４９】
主制御部２０１は、取得した制御信号データと同じ伝送フレームに存在したビデオデータがどの２１７、２０３、２０８の何処で処理されているかを認識するのは次の方法による。
【００５０】
ビデオデータは、ビデオキャプチャ２１７、メモリ部２０３、映像制御部２０８で一定の遅延時間をもって処理される。
【００５１】
主制御部２０１は、割り込みにより通知された制御信号データと同じ伝送フレームに存在するビデオデータがどのタイミングで映像制御部により処理されるのかを、これらの遅延時間により把握する。
【００５２】
同様に、主制御部２０１は、割り込みにより通知された制御信号データの伝送フレームから所定フレーム数後の伝送フレームに存在するビデオデータがどのタイミングで映像制御部により処理されるのかを、上記遅延時間を前記所定フレーム数分により把握することができる。
【００５３】
ここで、オーディオデータおよび制御信号データはともに、ＨＤＭＩ規格におけるＤａｔａ  Ｉｓｌａｎｄ  Ｐｅｒｉｏｄ内で付加されるパケットデータとして伝送される。
【００５４】
図６にＨＤＭＩ規格で伝送されるパケットデータのフォーマットと本実施形態に係る制御情報との関係を示す。
【００５５】
パケットヘッダ６０１には、パケット種別を示す情報が付加される。映像表示装置２００のパケット処理部５０３はパケットヘッダ６０１内のパケット種別により、オーディオデータと制御信号データを分離する。
【００５６】
パケットボディ６０２には、パケット種別に応じた実体情報が付加される。例えば、Ｌ−ＰＣＭ等のオーディオサンプルパケットを伝送するパケットの場合は、パケットヘッダ６０１にその旨を示す値（０ｘ０１）が付加され、パケットボディ６０２には実体情報としてオーディオサンプルデータが付加される。
【００５７】
変更情報およびタイミング情報は、パケットボディ６０２に付加される。
【００５８】
図６の例では、変更内容が「放送画面のリサイズ」であることを示す情報、「放送画面の座標」、「放送画面の幅」、「放送画面の高さ」が変更情報として付加される。またフレーム数がタイミング情報として付加される。ここでのフレーム数は、変更情報とタイミング情報がパケットデータとして付された伝送フレーム４００から、当該フレーム数後の伝送フレーム４００において変更情報に対応した変更後のアプリケーション画面がビデオデータとして伝送されることを示している。
【００５９】
図８に、本実施形態における映像表示装置２００のメモリ部２０３の構成例を示す。メモリ部２０３ではアプリケーション画面と放送画面の合成を行う。
【００６０】
まず情報処理装置１００からのアプリケーション画面７０１は、ビデオキャプチャ部２１７から８０３を経由してメモリ部２０３にフレームメモリとして入力される。
【００６１】
チューナ２０４からの放送画面７０２は、ビデオデコーダ２０７から８０４を経由してメモリ部２０３にフレームメモリとして入力される。
【００６２】
変更情報６０３、タイミング情報６０４は、主制御部２０１に読み出され、主制御部２０１により映像制御コマンドに変換されて映像制御部２０８へ送られる。
【００６３】
主制御部２０１からの映像制御コマンドを取得した映像制御部２０８は、当該コマンド８０４に基づいてアプリケーション画面７０１と放送画面７０２のスケール処理８０８と合成処理８０９を実行する。
【００６４】
これにより、ＨＤＭＩ受信制御部２１６およびビデオデコーダ２０７からのビデオフレームは、スケール処理８０８と合成処理８０９により合成されてディスプレイ２１２に表示出力される。
【００６５】
尚、メモリ部２０３内のフレームメモリは所謂ダブルバッファ構成になっており、入力用のフレームメモリと出力用のフレームメモリが交互に切り替わる。
【００６６】
また、ＨＤＭＩ受信制御部２１６は１フレームの伝送フレーム４００の受信を開始してから所定時間（フレーム周期より十分短い時間）後に割り込み等のリアルタイムな通知手段により、主制御部２０１は変更情報６０３およびアプリケーション画面タイミング情報６０４を取得可能である。
【００６７】
これにより、主制御部２０１は、当該変更情報６０３およびタイミング情報６０４が付加された伝送フレーム４００のビデオデータがどのタイミングで合成処理８０９により合成されるかを特定することが可能となる。
【００６８】
同様に、タイミング情報６０４により特定される伝送フレーム４００のビデオデータがどのタイミングで合成処理８０９により合成されるかを特定することが可能となる。
【００６９】
図９に、本実施形態における、アプリケーション画面７０１の変更に応じて放送画面７０２を変更する場合のフレーム伝送の例を示す。
【００７０】
図９（ａ）の画面９０１は変更前のアプリケーション画面、画面９０２は放送画面を示し、図９（ｂ）の画面９０４および画面９０５はそれぞれ変更後のアプリケーション画面７０１および放送画面７０２を示す。
【００７１】
図９の（ｂ）では、画面９０１内の表示部品９０３が表示部品９０６に変更されたことにより表示部品９０６と画面９０２に重なりは生じてしまうため、画面９０２を画面９０５に縮小している様子を示している。
【００７２】
図９（ｃ）では、上記の変更がなされたときの情報処理装置１００からのフレーム伝送の様子を示している。９０７、９０８、９０９は伝送フレーム４００を示し、各伝送フレームのビデオデータとして画面９０１ａ、画面９０１ｂ、画面９０４ａが付加されている。
【００７３】
画面９０２ａ、画面９０２ｂ、画面９０５ａは、それぞれ画面９０１ａ、画面９０１ｂ、画面９０４ａと合成されるべき放送画面７０２を示す。
【００７４】
この例では、フレーム９０７からＮフレーム目のフレーム９０９より変更後の画面９０４ａが伝送されること、および、このタイミングで画面９０４ａと画面９０５ａが合成されれば映像表示装置２００において合成ずれが発生しないことを示している。
９１０は、変更情報およびタイミング情報が付加されたパケットデータを示す。
【００７５】
この場合のパケットデータ９１０において、変更情報には画面９０５ａの表示方法（表示位置やサイズ等）が付加され、タイミング情報にはフレーム数Ｎが付加されればよい。
【００７６】
図９に示した伝送方式により、映像表示装置２００の主制御部２０１はパケットデータ９１０から変更情報とタイミング情報を取得し、画面９０４ａと画面９０５ａの合成のタイミングを制御することができる。
【００７７】
すなわち、主制御部２０１は、パケットデータ９１０を受信後、映像制御部２０８に対して変更情報に基づく放送画面に変更するコマンドを発行する際、そのタイミングで当該変更を実行すべきかをタイミング情報に基づいて通知することができる。
【００７８】
図１０に、本実施形態における映像表示装置２００の主制御部２０１が映像制御部２０８に対して発行するコマンドの構造の例を示す。
１００１〜１００５はそれぞれ映像制御部２０８へのコマンドを示しており、例えば、図８におけるスケール処理８０８の縮小率の設定コマンド等、映像制御部２０８によるリアルタイムな映像制御のためのコマンドが付加される。
【００７９】
各コマンド１００１〜１００５をリスト構造に連結するが可能で、これにより映像制御部２０８は主制御部２０１とのインタラクションなく一連のコマンドシーケンスによるリアルタイムな映像制御を実行することができる。
【００８０】
各コマンドにはそのコマンドの実行タイミングが設定でき、コマンド発行時点からある指定フレーム後に当該コマンドが実行させることが可能な構成になっている。
【００８１】
主制御部２０１は、変更情報６０３に基づいて作成したコマンドに対して、タイミング情報６０４からのフレーム数に基づく実行タイミングを設定する。
【００８２】
これにより映像制御部２０８は、リアルタイムな映像制御のためのコマンドを実行タイミング情報とともに前もって取得することができ、合成ずれすることなく変更後のアプリケーション画面７０１と変更後の放送画面７０２を合成することが可能となる。
【００８３】
図１１に、本実施形態における情報処理装置１００の処理を説明するフローチャートを示す。
【００８４】
図１１（ａ）のステップＳ１１０１〜ステップＳ１１０４はＣＰＵ１０１によって実行される処理で、アプリケーションプログラムがアプリケーション画面を書き換える度に実行される。
【００８５】
例えば、プルダウンメニュー操作により新たにプルダウンメニューを描画する必要が生じた場合には、ステップＳ１１０１〜ステップＳ１１０４が実行される。
【００８６】
図１１（ｂ）のステップＳ１１０５〜Ｓ１１０８はグラフィック制御部１０８によって実行される。
【００８７】
ステップＳ１１０１において、ＣＰＵ１０１は、グラフィック制御部１０８のバック・フレームバッファにアプリケーション画面を出力する。
【００８８】
ステップＳ１１０２において、ＣＰＵ１０１はステップＳ１１０１で出力したアプリケーション画面に合成される放送画面に変更が必要か否かを判断し、変更が必要な場合はステップＳ１１０３へ、変更が不要な場合はステップＳ１１０４へ処理を進める。
【００８９】
変更が必要と判断される場合の例として、図９（ｂ）のように、表示部品７０５が下方に伸びたことにより放送画面７０２と重なりが生じる場合等がある。
【００９０】
このとき、ＣＰＵ１０１は表示部品７０５と放送画面７０２の重なりを生じされないために、放送画面７０２を縮小する必要があると判断する。
【００９１】
ステップＳ１１０３において、ＣＰＵ１０１フレームバッファの切替指示（フロント・フレームバッファとバック・フレームバッファの切替指示）を行う。
【００９２】
このとき同時に放送画面７０２の変更指示を行う。具体的には、放送画面の変更が有ることを示す情報とともに変更後の放送画面の表示方法（表示位置、サイズ等）が指示される。
【００９３】
例えば、図９（ｂ）の例では、放送画面７０２が表示部品７０５と重ならないような表示位置もしくはサイズが算出され、当該算出結果が変更後の放送画面の表示方法として指示される。
【００９４】
一方、ステップＳ１１０４でもフレームバッファ切替指示を行うが、ここでは放送画面の変更指示は行わない。
【００９５】
ステップＳ１１０５において、グラフィック制御部１０８は、ＣＰＵ１０１のフレームバッファ切替指示に放送画面の変更指示が伴っているか否かを判断する。
【００９６】
放送画面の変更指示がない場合はステップＳ１１０８に進み、ステップＳ１１０８でフロント・フレームバッファとバック・フレームバッファを切り替える。
【００９７】
放送画面の変更指示がある場合はステップＳ１１０６に進み、放送画面の変更指示に基づいて、変更情報とタイミング情報を作成し、バック・フレームバッファのパケットデータに設定する。
【００９８】
これにより図９のフレーム９０７に示すように変更前のアプリケーション画面７０１と変更後の放送画面情報とアプリケーション画面タイミング情報が付加されたパケットデータがＨＤＭＩ伝送される。
【００９９】
ここで、フレームバッファのパケットデータを格納するバッファはダブルバッファ構成になっており、書き込み用のバッファと伝送用のバッファを適宜切り替えることが可能となっている。
【０１００】
変更情報とタイミング情報が付加されたパケットデータが伝送された後は、再びバッファを切り替えることで１回のみ変更情報が映像表示装置２００に通知される。伝送エラーを加味して複数回変更情報を通知してもよいが、その場合は１フレーム伝送されるごとにタイミング情報６０４のフレーム数がデクリメントされる構成にすることで実現できる。
【０１０１】
ステップＳ１１０７では、ステップＳ１１０６で作成したタイミング情報に応じたフレーム数遅延後にフロント・フレームバッファとバック・フレームバッファを切り替える。
【０１０２】
図１２に、本実施形態における映像表示装置２００の処理を説明するフローチャートを示す。
【０１０３】
ステップＳ１２０１において、主制御部２０１は、変更情報６０３とタイミング情報６０４が付加されたパケットデータを受信したか否かを判断する。
【０１０４】
ステップＳ１２０２において、主制御部２０１は、受信したパケットデータの変更情報６０３とタイミング情報６０４に基づいて、映像制御部２０８へのコマンドを作成する。
【０１０５】
このとき主制御部２０１は、変更情報６０３に基づいて作成したコマンドに対して、タイミング情報６０４からのフレーム数に基づく実行タイミングを設定する。
【０１０６】
ステップＳ１２０３において、主制御部２０１はステップＳ１２０２で作成したコマンドを映像制御部２０８へ送信する。
【０１０７】
これにより映像制御部２０８は、リアルタイムな映像制御のためのコマンドを実行タイミング情報とともに前もって取得することができ、合成ずれすることなく変更後のアプリケーション画面と変更後の放送画面を合成することが可能となる。
【０１０８】
以上、実施形態１によれば、アプリケーション画面の変更に応じて放送画面の表示方法を変更する場合、変更情報とともにタイミング情報が、ＨＤＭＩケーブル１１１を介して映像表示装置２００に供給される。
【０１０９】
映像表示装置２００は、変更情報に応じて変更した放送画面が最初に合成されるべきアプリケーション画面のビデオフレームを、タイミング情報に基づいて特定する。
【０１１０】
このように、本実施形態における情報処理装置は、まず第１の映像を取得する。そして前記映像表示装置に対して、前記第１の映像と、該第１の映像の表示中に第２の映像を同時に表示すべき方法を示す第１の付加情報を送信する。また前記方法で前記第２の映像の表示を開始するタイミングを示す第２の付加情報を送信する。また映像表示装置は、第２の映像を取得する。そして映像表示装置から、第１の映像と、該第１の映像の表示中に第２の映像を同時に表示すべき方法を示す第１の付加情報を受信する。また前記方法で前記第２の映像の表示を開始するタイミングを示す第２の付加情報を受信する。
【０１１１】
これにより映像表示装置が情報処理装置の操作画面と放送画面を合成して表示する際、操作画面の変更のタイミング等において、合成ずれの発生を抑制することが可能となる。
【０１１２】
尚、本実施形態では、アプリケーション画面の変更に応じた放送画面の表示方法の変更例として、放送画面が縮小される場合を例に説明したが、他の表示方法の変更も本発明の実施形態に含まれる。
【０１１３】
例えば、放送画面を非表示状態から表示状態に変更する場合や、逆に表示状態から非表示状態に変更する場合も、変更情報としてそれを示す情報を付加すれば実現することができる。
【０１１４】
＜実施形態２＞
図１３（ａ）に、本実施形態におけるアプリケーション画面の変化に応じて放送画面を変更する場合の情報処理装置１００からのフレーム伝送の例を示す。
【０１１５】
画面１３０１は変更前のアプリケーション画面であり、画面１３０３は変更前の放送画面を示す。
【０１１６】
画面１３０２は変更後のアプリケーション画面を示し、画面１３０４〜１３０８はアプリケーション画面の変化に応じて放送画面が１３０２から１３０６へ数フレーム毎（以下、Ｍフレームとする）に順次移動する変更過程を示している。
【０１１７】
図１３（ｂ）は、上記の変更が為されたときの情報処理装置１００からのフレーム伝送の方式を示している。１３０９および１３１０〜１３１５はそれぞれ伝送フレーム４００を示し、各伝送フレームのビデオデータとして、画面１３０１ａおよび画面１３０２ａ、１３０２ｂ、１３０２ｃ、１３０２ｄ、１３０２ｅ、１３０２ｆがそれぞれ付加される。
【０１１８】
ここで、画面１３０１ａは変更前のアプリケーションを示し、画面１３０２ａ、１３０２ｂ、１３０２ｃ、１３０２ｄ、１３０２ｅは変更過程のアプリケーション画面、画面１３０２ｆは当該変更が完了したアプリケーション画面をそれぞれ示している。
【０１１９】
この例では、フレーム１３０９からＮフレーム目のフレーム１３１０からアプリケーション画面の変化が開始し、以降Ｍフレーム毎にアプリケーション画面が変化し、フレーム１３１５でその変更が完了する。
【０１２０】
したがって、映像表示装置２００側では、これら変化過程に応じて放送画面を合成するためには、前もってこれらの変化過程の情報を取得しておく必要がある。
【０１２１】
本実施形態では、アプリケーション画面の変化が始まるフレーム１３１０のＮフレーム前にあたるフレーム１３０９のパケットデータに、アプリケーション画面の変化過程に応じて放送画面を合成するために必要な制御情報を付加する。
【０１２２】
すなわち、アプリケーション画面の変化過程に応じた放送画面の変更シーケンスを示すシーケンス情報と、アプリケーション画面の変化が開始されるタイミングを示すタイミング情報をフレーム１３０９のパケットデータ１３１６に付加する。
【０１２３】
本実施形態に係る制御情報とＨＤＭＩ規格で伝送されるパケットデータのフォーマットは実施形態１と同様に図６で表される。
【０１２４】
本実施形態におけるシーケンス情報とタイミング情報はパケットボディ６０２に付加される。
【０１２５】
シーケンス情報１４０３には、変更内容が「放送画面の移動」、「放送画面の移動後の座標」、「放送画面の移動ステップ（縦方向および横方向の移動距離）」を示す情報が付加される。
【０１２６】
タイミング情報１４０４には、当該パケットデータが付加されるフレーム（図１３の例では１３０９）から何フレーム後に変化が開始するかを示すフレーム数（図１３の例ではＮ）と、変更が何フレーム毎に発生するかを示す変更周期（図１３の例ではＭ）が付加される。
【０１２７】
映像表示装置２００側では、主制御部２０１がパケットデータ１３１６からシーケンス情報１４０３とタイミング情報１４０４を取得し、アプリケーション画面の変化過程である画面１３０２ａ、１３０２ｂ、１３０２ｃ、１３０２ｄ、１３０２ｅに応じて放送画面を合成するコマンドを作成して映像制御部２０８に送信する。
【０１２８】
その際、各画面（画面１３０２ａ、１３０２ｂ、１３０２ｃ、１３０２ｄ、１３０２ｅ）ごとに合成位置を指定する合成コマンドを作成し、図１０に示したようなリスト構造に連結する。各コマンドはフレーム数Ｍ毎に実行されるよう実行タイミングが設定される。
【０１２９】
これにより映像制御部２０８は、リアルタイムな映像制御のためのコマンドを実行タイミング情報とともに前もって取得することができ、合成ずれすることなくアプリケーション画面の変化過程に応じて放送画面を合成することが可能となる。
【０１３０】
＜その他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムの１部として適用しても、１つの機器からなる装置の１部に適用してもよい。
【０１３１】
また、本発明は上記実施例を実現するための装置及び方法のみに限定されるものではない。
【０１３２】
例えば、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施例を実現するためのソフトウェアのプログラムコードを供給するものも本発明の範疇に含まれる。また、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施例を実現する場合も本発明の範疇に含まれる。
【０１３３】
この場合、前記ソフトウェアのプログラムコード自体が上記実施例の機能を実現することになる。即ち、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体も本発明の範疇に含まれる。
【０１３４】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１３５】
また、本発明は上記プログラムコードのみに従って各種デバイスを制御することにより、上記実施例の機能が実現される場合に限らない。例えば、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施例が実現される場合も本発明の範疇に含まれる。
【０１３６】
更に、コンピュータの機能拡張ボードに備わるメモリに格納された上記プログラムコードの指示に基づいて、その機能拡張ボードに備わるＣＰＵ等が実際の処理の一部または全部を行う場合なども本発明の範疇に含まれる。
【図面の簡単な説明】
【０１３７】
【図１】実施形態１における映像処理装置の構成例
【図２】実施形態１における映像表示装置の構成例
【図３】実施形態１における情報処理装置のグラフィック制御部１０８およびＨＤＭＩ送信制御部１０９の構成例
【図４】ＨＤＭＩ規格準拠の伝送フレームのフォーマット例
【図５】実施形態１における映像表示装置のＨＤＭＩ受信制御部２１６の構成例
【図６】ＨＤＭＩ規格で伝送されるパケットデータのフォーマット
【図７】実施形態１におけるアプリケーション画面と放送画面の合成例
【図８】実施形態１における映像表示装置のメモリ部２０３の構成例
【図９】（ａ）実施形態１におけるアプリケーション画面と放送画面の合成例、（ｂ）実施形態１におけるアプリケーション画面の変化に応じて放送画面を変更する例、（ｃ）実施形態１におけるアプリケーション画面の変化に応じて放送画面を変更する場合のフレーム伝送の例
【図１０】実施形態１における映像表示装置の主制御部２０１が映像制御部２０８に対して発行するコマンドの構造の例
【図１１】（ａ）実施形態１における情報処理装置のＣＰＵ１０１の処理を説明するフローチャート、（ｂ）実施形態１における情報処理装置のグラフィック制御部１０８の処理を説明するフローチャート
【図１２】実施形態１における映像表示装置の処理を説明するフローチャート
【図１３】（ａ）実施形態２におけるアプリケーション画面の変化に応じて放送画面を変更する例、（ｂ）実施形態２におけるアプリケーション画面の変化に応じて放送画面を変更する場合のフレーム伝送の方式例
【図１】
2008294533.tif 000003
【図２】
2008294533.tif 000004
【図３】
2008294533.tif 000005
【図４】
2008294533.tif 000006
【図５】
2008294533.tif 000007
【図６】
2008294533.tif 000008
【図７】
2008294533.tif 000009
【図８】
2008294533.tif 000010
【図９】
2008294533.tif 000011
【図１０】
2008294533.tif 000012
【図１１】
2008294533.tif 000013
【図１２】
2008294533.tif 000014
【図１３】
2008294533.tif 000015