(57)【特許請求の範囲】
【請求項１】
接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示システムにおいて、
接続された各画像ソースの種別を判別する画像ソース判別手段と、
前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御手段と、
前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別手段とを備え、
前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソル生成機能を有する画像ソースであると判別された場合に、前記カーソル制御手段は、前記マルチ画面制御カーソルを非表示にして、前記カーソル生成機能を有する画像ソースにカーソルを生成させる制御を行うことを特徴とするマルチ画像表示システム。
【請求項２】
前記マルチ画像表示システムと、前記カーソル生成機能を有する画像ソースとはシリアルバスで接続され、
前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像の画像ソースが、前記カーソル生成機能を有する画像ソースであると判別された場合に、前記カーソル制御手段は、前記シリアルバスを介して、前記カーソル生成機能を有する画像ソースに、カーソルの生成を要求することを特徴とする請求項１記載のマルチ画像表示システム。
【請求項３】
接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示システムにおいて、
接続された各画像ソースの種別を判別する画像ソース判別手段と、
前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御手段と、
前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別手段とを備え、
前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソルの属性情報が所定の記述言語で記述された画像ソースであると判別された場合に、前記カーソル制御手段は、前記マルチ画面制御カーソルを非表示にして、前記所定の記述言語で記述されたカーソルの属性情報に基づいて、前記所定の記述言語専用カーソルを表示する制御を行うことを特徴とするマルチ画像表示システム。
【請求項４】
接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示方法において、
接続された各画像ソースの種別を判別する画像ソース判別工程と、
前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御工程と、
前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別工程とを有し、
前記画像ソース判別工程で、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソル生成機能を有する画像ソースであると判別された場合に、前記カーソル制御工程では、前記マルチ画面制御カーソルを非表示にして、前記カーソル生成機能を有する画像ソースにカーソルを生成させる制御を行うことを特徴とするマルチ画像表示方法。
【請求項５】
前記画像ソース判別工程で、前記マルチ画面制御カーソルの表示位置に対応する画像の画像ソースが、前記カーソル生成機能を有する画像ソースであると判別された場合に、前記カーソル制御工程では、前記カーソル生成機能を有する画像ソースを接続するシリアルバスを介して、前記カーソル生成機能を有する画像ソースに、カーソルの生成を要求することを特徴とする請求項４記載のマルチ画像表示方法。
【請求項６】
接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示方法において、
接続された各画像ソースの種別を判別する画像ソース判別工程と、
前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御工程と、
前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別工程とを有し、
前記画像ソース判別工程で、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソルの属性情報が所定の記述言語で記述された画像ソースであると判別された場合に、前記カーソル制御工程では、前記マルチ画面制御カーソルを非表示にして、前記所定の記述言語で記述されたカーソルの属性情報に基づいて、前記所定の記述言語専用カーソルを表示する制御を行うことを特徴とするマルチ画像表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の画像ソースからそれぞれ入力された画像データを１つの表示装置に同時に表示することが可能なマルチ画像表示システムおよびマルチ画像表示方法に関する。
【０００２】
【従来の技術】
近年、ＤＴＶ（デジタルテレビ）、ＤＶＤ（デジタルビデオディスクなど）、ＰＣ（パーソナルコンピュータ）などから供給する画像データを大型の表示装置例えば液晶プロジェクタやプラズマディスプレイに多画面で表示させることが増している。これを受けて将来、家庭においては、この大型の表示装置をマルチメディアの中心デバイスと位置付け、各映像メディアを表示デバイスに統合表示した形態での用途が望まれている。このような背景から、画像表示システムには、複数の画像を同時に表示することができる機能が必要である。そして、現在提案されている大型表示装置では、接続された異なる複数のメディアから供給された各画像データを該表示装置の画面上に任意にレイアウトして表示する機能を設け、この機能により複数の画像データを同時に表示する。すなわち、大型表示装置をマルチ画面ビュワーとして用いることによってマルチ画像表示システムを構築している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来のマルチ画像表示システムでは、画面上に表示される画像データがＰＣの画像データであるときには、この表示する画像データの編集、切り替えに関する操作をＰＣ側のカーソルまたはマウスによる操作に移行させる必要がある。これは、カーソル発生手段およびアプリケーション制御がＰＣ内部に設けられているためである。インタラクティブ形式な統合デジィタル放送システムなどの放送画像をマルチ画面表示の一部としてレイアウト表示している場合には、放送業者が意図した解像度まで一度戻した後にこの放送画面の切り替えを行うための切り替えアクションをしなければならない。これは、現在予定されている放送画像に関しては放送事業者が意図する解像度でメニュー画面を構成するようになっており、ユーザがマルチ表示のための解像度変換を行うと、インタラクティブな選択を行うことができないなどの操作上の不具合が発生する可能性があるからである。その結果、従来のマルチ画像表示システムでは、大型表示装置を制御の中心として各メディアを一元的にコントロールすることはできない。すなわち、ユーザインタフェースは操作性が悪いユーザインターフェイスとなる。
【０００４】
本発明の目的は、マルチ画面上の各画像に対する操作を一元的に行うことができるマルチ画像表示システムおよびマルチ画像表示方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、上記目的を達成するため、接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示システムにおいて、接続された各画像ソースの種別を判別する画像ソース判別手段と、前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御手段と、前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別手段とを備え、前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソル生成機能を有する画像ソースであると判別された場合に、前記カーソル制御手段は、前記マルチ画面制御カーソルを非表示にして、前記カーソル生成機能を有する画像ソースにカーソルを生成させる制御を行うことを特徴とする。
【０００６】
本発明は、上記目的を達成するため、接続された複数の画像ソースから入力される複数の画像を表示装置にマルチ画面で表示するマルチ画像表示システムにおいて、接続された各画像ソースの種別を判別する画像ソース判別手段と、前記マルチ画面での入力操作を行うためのマルチ画面制御カーソルを生成して前記マルチ画面に表示し、該マルチ画面制御カーソルの操作に関する制御を行うカーソル制御手段と、前記マルチ画面における前記マルチ画面制御カーソルの表示位置を識別する表示位置識別手段とを備え、前記画像ソース判別手段により、前記マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソルの属性情報が所定の記述言語で記述された画像ソースであると判別された場合に、前記カーソル制御手段は、前記マルチ画面制御カーソルを非表示にして、前記所定の記述言語で記述されたカーソルの属性情報に基づいて、前記所定の記述言語専用カーソルを表示する制御を行うことを特徴とする。
【０００７】
また、本発明は、上記目的を達成するため、マルチ画像表示方法を提供する。
【００２５】
【発明の実施の形態】
以下に本発明の実施の形態について図を参照しながら説明する。
【００２６】
図１は本発明のマルチ画像表示システムの実施の一形態の構成を示すブロック図である。
【００２７】
マルチ画像表示システムは、図１に示すように、互いに独立した３つの画像ソース（ＩＳＤＢ対応ＤＴＶ受信部１ａ，ＰＣ１ｂ，ＤＶＤ１ｃ）から供給された画像を表示デバイス１６上にマルチ画面表示形態で同時に表示する。
【００２８】
ここで、ＩＳＤＢ対応ＤＴＶ受信部（以下、受信部という）１ａの説明の前に、ＩＳＤＢについて説明する。デジタル技術の発展に伴い放送界では、放送信号を含む各情報をデジタル化したインタラクティブ形式の統合デジタル放送システム（ＩＳＤＢ；Integrated Services Digital Broadcasting）が研究、開発されている。具体的には、このＩＳＤＢシステムとは、現行の放送信号（標準テレビジョン信号、ハイビジョン信号）を始めとして、ソフトウェアやファクシミリなどのデータ、さらには音声、図形、画像などのマルチメディア情報をそれぞれデジタル化し、それらを統合多重化した上で、伝送形態に合致した変調処理を施して送信する放送システムをいう。放送信号を含む各種情報を多重化する場合には、これらの情報の他に受信側での制御情報として使用する付加情報を同時に統合多重化して送信することが可能である。統合化されたＩＳＤＢ用放送信号（デジタル信号）は、地上波、衛星波、光ケーブルなどを利用して送信される。受信端末側では、統合化されたＩＳＤＢ用放送信号を受信して目的の信号を弁別し、それをモニタに表示して通常のテレビ放送として楽しむことができることは勿論、記録手段を用いて記録、保存したり、他の端末に転送したりすることができる。さらに受信した付加情報を利用すれば、モニタ制御、記録制御、さらにはモニタされた画像に対する加工制御など、ユーザの好みに応じて受信情報を利用することができる。すなわち、インタラクティブ（対話形式）な放送システムを構築することができる。
【００２９】
受信部１ａは、チューナー部２を有し、チューナー部２は、統合化されたＩＳＤＢ用放送信号（デジタル信号）を地上波、衛星波、光ケーブルなどを介して受信し、受信した信号を帯域フィルタ、ダウンコンバータなどを通過させた後に復調部３に出力する。復調部３では、伝送形態に合致した復調処理を施すとともに、誤り訂正などを行い、所望のＭＰＥＧ２トランスポートストリームを多重化分離部４に与える。多重化分離部４は、前記トランスポートストリームから所望のプログラムのＭＰＥＧ２のビデオデータ、オーディオデータおよび付加情報に分離する。分離されたＭＰＥＧ２のオーディオデータは、オーディオ復号部５で復号されてオーディオ信号としてスピーカ６３に出力される。ＭＰＥＧ２のビデオデータは、画像復号部６で復号化され、ラスタスキャン形式の表示フォーマットに変換された後に、放送画像として後段の動画入力部８ａに入力される。ＭＰＥＧ２の付加情報は、データ復号部７で復号され、マルチ画面制御部１０に出力される。ここで、データ復号部７における復号とは、ＭＨＥＧ−５、ＨＴＭＬなどのシナリオ記述言語で記述されたオブジェクトからマルチメディア情報サービス提供者のシナリオを得ることを意味する。このシナリオは構造化されたコンテンツの属性（大きさや位置、符号化形式）からなり、マルチ画面制御部１０がこれを解釈し、グラフィックアクセラレータ２１や画像復号部６と連動してＩＳＤＢデータ放送画像を構成する。
【００３０】
ＰＣ１ｂはパソコン、ワークステーションなどのコンピュータであり、これから出力される画像データは、アナログ信号またはデジタル信号のＲＧＢラスタ形式で動画入力部８ｂに入力される。また、ＰＣ１ｂは、ＵＳＢ（Universal Serial Bus）、IEEE1394などのシリアルバスインタフェースを有し、該シリアルバスインタフェースはホットプラグ機能を実現する。
【００３１】
ＤＶＤ１ｃは、ＤＶＤＲＯＭなどを再生するＤＶＤ装置であり、この装置から出力される画像データは、アナログ信号またはデジタル信号のＹＵＶラスタ形式で動画入力部８ｃに入力される。
【００３２】
動画入力部８ａは、画像復号部６から出力された画像データを入力する。動画入力部８ｂは、ＰＣ１ｂから出力された画像データを入力する。動画入力部８ｂには、この入力される画像データがアナログ信号であるときには、Ａ／Ｄコンバータや画像データをサンプリングするためのＰＰＬ（Phase Locked Loop）回路が設けられ、この入力される画像データがＬＤＶＳ（Low Voltage Differential Signals）などのデジタル信号であるときには、その復号器や差動バッファが設けられている。動画入力部８ｃは、ＤＶＤ１ｃから出力された画像データを入力する。動画入力部８ｃには、この入力される画像データがテレビやＤＶＤのコンポジット信号であるときに、この信号をＹＵＶからＲＧＢに変換するための色変換回路や走査方式をインタレースからプログレッシブに変換するＩＰ変換回路などが設けられている。各動画入力部８ａ，８ｂ，８ｃは、各画像ソース１ａ，１ｂ，１ｃから画像データをそれぞれ独立したタイミングで取り込む。また、この画像データの取込み時に、該画像データを取り込むための制御信号例えば１ラインの同期を取る水平同期信号、１フレームまたは１フィールドの同期を取る垂直同期信号、１画素をサンプリングするクロック信号、有効画素データの転送期間を示すディスプレイイネーブル信号などが取り込まれる。
【００３３】
各動画入力部８ａ，８ｂ，８ｃに取り込まれた画像データは、所定の処理が施された後に、それぞれ対応する解像度変換部９ａ，９ｂ，９ｃに入力される。各解像度変換部９ａ，９ｂ，９ｃは、入力した画像データの表示フォーマット（表示ライン数やドット数、色数）をマルチ画面制御部１０に従って変換する機能を有するとともに、それぞれ画像データを共通のグラフィックバス２２に出力するためのバスインタフェース機能を有する。
【００３４】
各解像度変換部９ａ，９ｂ，９ｃから出力された画像データは、グラフィックバス２２を経由して、メモリ制御部１３の制御下で、少なくとも表示画像４画面分の容量を有するメモリ部１４に格納される。メモリ部１４への画像データの格納とともに、メモリ部１４に既に格納されている画像データの読出しが行われる。この読出しにおいては、マルチ画面制御部１０からのマルチウィンドウ管理指示に基づき出力合成部１８から表示すべき画像データのアドレスがメモリ制御部１３に対して発行され、メモリ制御部１３により表示すべき画像データがメモリ部１４から読み出される。このメモリ部１４への非同期なアクセスは、バス調停部１２により優先順位に基づきスケーラブルに管理されている。
【００３５】
この読み出された画像データは出力合成部１８に入力され、出力合成部１８は、読み出された画像データの合成を行うことによって最終的な合成画像データを生成する。この生成された合成画像データは出力変換部１５に入力され、出力変換部１５は、表示デバイス１６のフレームレートに同期して表示デバイス１６の特性に応じた表示駆動の制御、表示フォーマット変換を行う。
【００３６】
表示デバイス１６は、マトリクス電極構造を有するフラットパネル（液晶、プラズマなどの表示パネル）またはＣＲＴ（陰極線管）などからなる。具体的には、表示デバイス１６としては、画像ソースがハイビジョンテレビ放送を供給するものであればハイビジョン放送、画像ソースがＰＣであればＳＸＧＡ以上の高精細画像を表示可能な大型表示装置が用いられる。
【００３７】
マルチ画面制御部１０は、本システム全体を制御するための制御部であり、該制御部は、ＲＯＭ１７に格納さている制御プログラムに従い制御処理を実行するＣＰＵ（図示せず）、時間を計測するカウンタ（図示せず）、周辺入出力インタフェース（図示せず）などを含む。このＣＰＵの演算、処理の結果は一時的に格納するＲＡＭ２４に格納される。また、ＲＯＭ１７には、制御プログラムとともに、文字フォントなどが格納されており、この文字フォントは、ＷＷＷやデータ放送の文字情報を画面に展開するときに使用される。
【００３８】
また、マルチ画面制御部１０には、インターネット接続などを行うためのモデム制御部２０、リモコン制御部１９およびグラフィックアクセラレータ２１が接続されている。リモコン制御部１９は、リモートコントローラ（以下、リモコンという）２３から赤外線を通信媒体として送信されたコマンドなどのデータを受け取る。リモコン２３は、赤外線を通信媒体としてコマンドなどのデータを送信することが可能である。リモコン制御部１９は、リモコン２３から受け取ったコマンドなどのデータをデータ変換部６０に渡し、データ変換部６０は、リモコン制御部１９からのデータをシリアルのパケットデータに変換する。このパケットデータは、その転送タイミングを調整するために、ＦＩＦＯ（First In First Out）メモリ６１に一時的に蓄積される。ＦＩＦＯメモリ６１に蓄積されたパケットデータはシリアルバスインタフェース（以下、シリアルバスＩ／Ｆという）６２に入力される。シリアルバスＩ／Ｆ６２は、入力されたパケットデータを分割して所定のシリアルバス規格に適合した形式に変換する機能を有する。このシリアルバス規格の代表例としては、ＵＳＢ（Universal Serial Bus）、IEEE1394がある。上記機能により得られたデータはＰＣ１ｂに送信される。
【００３９】
グラフィックアクセラレータ２１は、描画命令とBitBltやＤＭＡなどのアクセラレーション機能を有し、この機能は、マルチ画面制御部１０が表示デバイス１６上にＯＳＤ（On Screen Display）画面、ＥＰＧ（電子プログラムガイド）、ＩＳＤＢ画面などを生成するときに用いられる。
【００４０】
次に、本マルチ画像表示システムにおけるマルチ画像表示動作について図２ないし図６を参照しながら説明する。図２は図１のマルチ画像表示システムにおけるマルチ画像表示動作の手順を示すフローチャート、図３は図２のステップＳ１０２の表示の初期化処理の手順を示すフローチャート、図４は図１のマルチ画像表示システムのメモリ部１４における画像データのメモリアドレスマップを示す図、図５は図１のマルチ画像表示システムの初期化時の画面表示例を示す図、図６は図１のマルチ画像表示システムの出力合成部１８の構成を示すブロック図である。
【００４１】
本マルチ画像表示システムでは、図２に示すように、まずステップＳ１０１において電源投入の有無を監視し、電源がオンされると、ステップＳ１０２で表示の初期化処理を行う。
【００４２】
この表示の初期化処理では、図３に示すように、まずステップＳ２０１において、接続されている画像ソースを確認するための接続入力検知を行う。この検知は、各画像ソース１ａ，１ｂ，１ｃから対応する動画入力部８ａ，８ｂ，８ｃに入力される接続識別信号を監視することによって行われ、この接続識別信号は、一定期間毎に信号線Ｓ１−ａ〜ｃを介してマルチ画面制御部１０に取り込まれるように構成されている。この接続識別信号は、“１”または“０”の２値信号からなり、画像ソースと動画入力部間を接続するケーブルが抜かれたり、画像ソースの電源が遮断された場合には、動画入力部が終端抵抗の役割を果たしているから、接続識別信号は“０”となり、画像ソースからの入力がないことを検知することができる。ここでは、この接続識別信号が“１”であり、各画像ソース１ａ，１ｂ，１ｃが接続されているものとして以降の説明を行う。なお、各接続識別信号が“０”であるときには、この信号が“１”になるまで上記ステップＳ２０１において各接続識別信号の監視を行う。
【００４３】
この接続識別信号により画像ソースの接続が検知されると、ステップＳ２０２で、接続が検知された画像ソースからの動画入力のためのパラメータ（表示ドット数、表示ライン数の情報、水平垂直タイミングなど）の設定を行う。ここでは、接続が検知された画像ソース１ａ，１ｂ，１ｃからの動画入力のためのパラメータを検知し、その検知したパラメータを信号線Ｓ１−ａ〜ｃを介して対応する動画入力部８ａ，８ｂ，８ｃに送出して設定する。これらパラメータは、各動画入力部が１ラインの同期を取る水平同期信号、１フレームまたは１フィールドの同期を取る垂直同期信号、１画素をサンプリングするためのクロック信号などを用いてクロック数、水平同期信号数を直接カウントすることによっても知ることが可能である。この接続された画像ソースからの入力タイミング情報は、同様に、信号線Ｓ１−ａ〜ｃを介してマルチ画面制御部１０に取り込まれる。
【００４４】
次いで、ステップＳ２０３に進み、接続が検知された少くなくとも１以上の画像ソースからの入力の画面上での表示レイアウトを決定する。初期化時には、予め決められているデフォルトのレイアウトで表示されることになる。続くステップＳ２０４では、決定されたレイアウト上での画像間の重なりの有無を判定し、この重なりがあるときには、各画像ソースの表示デバイス１６上の表示開始位置と表示終了位置、水平垂直の拡大・縮小倍率をＲＡＭ２４に書き込んだ後に、ステップＳ２０５に進む。これに対し、重なりがないときには、各画像ソースの表示デバイス１６上の表示開始位置と表示終了位置、水平垂直の拡大・縮小倍率をＲＡＭ２４に書き込んだ後に、ステップＳ２０５をスキップしてステップＳ２０６に進む。
【００４５】
ステップＳ２０５では、重なりのレイヤ優先度（最上位の表示ほど優先度が高い）を決定してＲＡＭ２４に書き込む。
【００４６】
ステップＳ２０６では、解像度変換パラメータを決定し、決定したパラメータを信号線Ｓ２−ａ〜ｃを介して対応する解像度変換部９ａ，９ｂ，９ｃに送出して設定する。続くステップＳ２０７では、解像度変換部９ａ，９ｂ，９ｃの出力をメモリ部１４に書き込む際に必要な書き込み用メモリアドレスの設定を行う。本実施の形態では、図４に示すように、メモリ部１４を動画用３画面とＯＳＤ用１画面の計４画面の構成としている。よって、メモリ部１４への格納時点では、オンスクリーン状態の形式ではない。ここでは、マルチ画面制御部１０により図４に示す開始アドレス０〜３が信号線Ｓ２−ａ〜ｃを介して各解像度変換部９ａ，９ｂ，９ｃおよびグラフィックアクセラレータ２１に渡され、各書き込みアドレス生成部のメモリアドレスのオフセット値として用いられる。
【００４７】
次いで、ステップＳ２０８に進み、マルチウィンドウ表示時の背景色（パターン）を設定する。具体的には、この背景色を出力合成部１８の背景レジスタ３７（図６を参照）にセットする。続くステップＳ２０９では、マルチ画面制御用ＯＳＤの表示設定を行う。具体的には、マルチ画面制御部１０がＯＳＤを描画するための命令をグラフィクアックセラレータ２１に発行したり、グラフィクアックセラレータ２１のＤＭＡ機能を用いてビットマップ形式に展開した文字やその他のデータをメモリ部１４に書き込むことにより画面作成を行う。また、マルチ画面上でのＯＳＤのレイアウトも決められる。この場合、優先度は最上位である。
【００４８】
続くステップＳ２１０では、読み出し用メモリアドレスの設定を行う。これは、出力合成部１８を動作させるための各種設定を行うことである。
【００４９】
ここで、出力合成部１８の概略動作について図６を用いて簡単に説明すると、出力合成部１８は、合成制御部３０を有し、この合成制御部３０は、表示デバイス１６の同期信号（Hsync,Vsync）を基準に動作する表示の水平画素数カウンタ、垂直ライン数カウンタ、カウンタと以下に述べるパラメータとの比較条件による各種制御信号を生成する。この合成制御部３０は、マルチ画面制御部１０からのＳ３信号により水平カウンタスタート値（Hsyncから有効画素が始まる期間）と垂直ラインスタート値（Vsync から有効ラインが始まる期間）、および水平画素数、垂直ライン数を取り込むことによって、表示期間のラスタスキャン走査をカウントする。また、同様に合成する入力（メモリ部１４に書き込まれた画像ソースの入力）の読み出しアドレスに関しては、マルチ画面制御部１０からのＳ３信号により各画像ソースのレイアウト情報を反映した合成スタートアドレス（合成制御部３０の有効カウント開始からのオフセット値）、および水平画素数、垂直ライン数（これらはアドレス生成部３１〜３４にセットされる）を画面数分取り込み、合成制御部３０のカウント値と一致したときには、信号線Ｓ５−ａ〜ｄを介してアドレス生成部３１〜３４の計数動作をキックする。これにより、４種類のアドレス生成部３１〜３４が独立にカウント動作をすることになる。以上のカウンタリセットは、通常の場合Vsync 毎に行われる。
【００５０】
各アドレス生成部３１〜３４のカウンタ出力は、そのまま読み出しアドレスとなり、信号線Ｓ６−ａ〜ｄを介してアドレス選択部３５に出力される。本実施の形態では、画面構成において独立して異なる画像ソースを管理しているから、これらから入力される画像の合成は、アドレス切替えにより行われる。すなわち、アドレス選択部３５の切替え制御によって合成が実現されている。この切替えは、合成制御部３０がマルチ画面制御部１０からのＳ３信号により、レイアウト情報と優先度情報に基づいた合成切替えカウント数を取り込み、合成制御部３０のカウンタの計数動作との比較を行い、一致したときには、アドレス切替え信号Ｓ７を発行することによりなされる。これによりメモリ部１４からデータが読み出され、合成制御部３０からのライト制御信号Ｓ９により制御されて読み出されたデータがデータバッファ３６に書き込まれる。データバッファ３６からのデータの読み出しは合成制御部３０からのリード制御信号Ｓ９により制御され、読み出されたデータはデータ選択部４０に入力される。合成制御部３０は、合成すべきデータがないと判断したときには、データ切替え信号Ｓ８をデータ選択部４０に出力し、データ選択部４０は背景レジスタ３７の背景データを出力する。
【００５１】
次いで、ステップＳ２１１に進み、マルチ画面制御用カーソルの表示設定を行う。ここで、カーソルの描画方法について説明すると、まずマルチ画面制御部１０は、カーソルを表示する矩形領域を判断し、その領域を特定の色（キーカラー）で塗りつぶす描画命令をグラフィックアクセラレータ２１に発行する。グラフィックアクセラレータ２１はこの描画命令を受けて図６に示すカーソル用メモリ３８に矩形領域を書き込む。一方、マルチ画面制御部１０は、予めＲＯＭ１７に準備しているカーソルパターンを前記矩形の塗りつぶし領域と重ね合わせる処理命令をグラフィックアクセラレータ２１に発行する。グラフィックアクセラレータ２１は、この処理命令を受けて演算処理を行い、カーソル用メモリ３８の矩形領域をクロマキー付きカーソルパターンに書き換える。このカーソル用メモリ３８への書き込みはライト制御信号Ｓ１０により制御される。また、マルチ画面制御部１０は、上述したと同様に、図６に示すキーカラーレジスタ３９にキーカラーを設定する同時に、リモコン２３からのカーソル制御情報に連動してカーソルを表示する位置を特定するとともに、この特定した表示位置に基づき算出されたカーソルの重ね合わせ位置情報を合成制御部３０に渡す。合成制御部３０は、カーソル合成を行う場合には、カーソル合成イネーブル信号Ｓ１２をカーソル合成部４１に出力する。この状態で、合成制御部３０は、カーソルの重ね合わせ位置情報に基づいた合成切替えカウント数を取り込み、合成制御部３０のカウンタのカウント値との比較を行い、一致したときには、リード制御信号Ｓ１０を出力する。このカーソルデータは、カーソル合成部４１でキーカラー部分をマスクすることによってデータ選択部４０からのマルチ画面の合成データと重ね合わされ、すべての合成データが得られる。このようにして初期化が行われる。
【００５２】
この初期化が終了すると、図２に示すステップＳ１０３に進み、表示をイネーブルにする。このときに表示デバイス１６に表示されるマルチ画面は、図５に示すような画面例になる。
【００５３】
次いで、ステップＳ１０４に進み、拡大縮小アクションの入力の有無を監視し、拡大縮小アクションの入力がなければ、ステップＳ１０６に進み、位置変更アクションの入力の有無を監視し、位置変更アクションの入力がなければ、ステップＳ１０８に進み、制御カーソル移動アクションの入力の有無を監視し、制御カーソル移動アクションの入力がなければ、ステップＳ１１０に進み、電源オフアクションの入力の有無を監視する。そして、電源オフアクションの入力がなければ、上記ステップＳ１０４からの処理を繰り返し実行する。
【００５４】
上記ステップＳ１０４において拡大縮小アクションの入力有が検知されると、ステップＳ１０５に進み、入力された拡大縮小アクションに応じた表示の拡大縮小変更処理を実行する。この処理のルーチンは、上述したステップＳ２０３からＳ２０６までのルーチン（図３中の上記▲１▼の区間）に同じである。上記ステップＳ１０６において位置変更アクションの入力有が検知されると、ステップＳ１０７に進み、入力された位置変更アクションに応じた表示の位置変更処理を実行する。この処理のルーチンは、上述したステップＳ２０３からＳ２０５までのルーチン（図３中の上記▲２▼の区間）に同じである。上記ステップＳ１０８において制御カーソル移動アクションの入力有が検知されると、ステップＳ１０９に進み、入力された制御カーソル移動アクションに応じたカーソルパラメータ変更処理を実行する。この処理は、上述したステップＳ２１１に同じである。そして、上記ステップＳ１１０で電源オフアクションの入力が検知されると、本処理を終了する。
【００５５】
このように、本マルチ画像表示システムは、入力された複数の画像の拡大、縮小、位置変更が可能なビュワーとして機能する。また、本マルチ画像表示システムには、マルチ画面上からインタラクティブな機能を有する各入力画面を操作するための制御カーソル役割可変機能が設けられている。
【００５６】
次に、この制御カーソル役割可変機能について図７および図８を参照しながら説明する。図７は図１のマルチ画像表示システムにおける制御カーソル役割可変機能を説明するための画面例を示す図、図８は図１のマルチ画像表示システムにおける制御カーソル役割可変機能に用いられるレイアウト管理テーブルを示す図である。
【００５７】
この機能を実現するためには、まず接続されている画像ソースの種別を判別する必要がある。この画像ソース種別の判別は、上述したステップＳ２０１で接続入力検知とともに行われる。この画像ソース種別の判別方法としては、例えば、各画像ソースの種別に対応付け可能なデイップスイッチを設け、このデイップスイッチをユーザがマニュアル操作した結果に基づき画像ソースの種別を判定する方法がある。また、自動的に判別を行う方法では、画像ソースの１つとしてＰＣ１ｂが接続されているとき、ＶＥＳＡが提案するＰ＆ＤコネクタのＩＥＥＥ１３９４ポートで本システムとＰＣ間のやり取りを行うことにより画像ソースの種別を判別する。受信部１ａに関しては、放送事業者がトランスポートストリーム中の識別子を定義することにより、この受信部１ａに関する種別を判別する。
【００５８】
次いで、マルチ画面制御部１０は、上記ステップＳ２０３のレイアウト決定時に、マルチ画面の領域管理を行う。具体的には、図７に示したようなレイアウトを決定した場合、各入力画像の表示領域をリージョンと呼ぶ矩形領域に分割し、始点座標と終点座標、および検知した種別（ＯＳＤは本システム内で作成されるから、種別検知の必要はない）をリージョン毎に管理した図８に示すレイアウト管理テーブルを作成する。このレイアウト管理テーブルは、レイアウトが変更される度または接続された画像ソースが変わる度に更新される。
【００５９】
上記ステップＳ２１１で作成されたマルチ画面制御用カーソルは、上記ステップＳ１０８で制御カーソルの異動がある毎にその表示位置座標が判断されるから、この表示位置座標と上記レイアウト管理テーブルとを参照してマルチ画面制御用カーソルがどのリージョン内にあるかを判別することができる。マルチ画面制御用カーソルがいずれのリージョンにも属さないときまたはリージョンの境界線上にあるときには、このカーソルは背景領域にあると判断される。このように、マルチ画面制御用カーソルは、画面上を自由に移動し、画面の位置変更や拡大縮小ウィンドウの選択などの表示レイアウト変更やＯＳＤのメニュー選択などを実行するために使用される。
【００６０】
ここで、図２に示すステップＳ１０９でのカーソルパラメータ変更にる統合操作モード時のマルチ画面制御用カーソルの描画処理について図９を参照しながら説明する。図９は図１のマルチ画像表示システムにおける統合操作モード時のマルチ画面制御用カーソルの描画処理を示すフローチャートである。
【００６１】
まず、ステップＳ３０１において統合操作モードであるか否かを判定する。この統合操作モードとは、リモコン２３に設けられた統合操作モードボタンを押したときに実行されるモードであり、インタラクティブな機能を有する各入力画面を操作するために、マルチ画面制御用カーソルが位置する領域（画像の画像ソースの種別）に応じてその役割を可変するモードである。
【００６２】
統合操作モードが指示されていないときには、ステップＳ３０２に進み、通常のマルチ画面制御用カーソルの描画を行う。
【００６３】
これに対し、統合操作モードが指示されているときには、ステップＳ３０３に進み、マルチ画面制御用カーソルがＯＳＤリージョン（図７の例ではリージョン＃４）内にあるか否かを判定する。マルチ画面制御用カーソルがＯＳＤリージョン内にあるときには、上記ステップＳ３０２に進み、通常のマルチ画面制御用カーソルの描画を行う。マルチ画面制御用カーソルがＯＳＤリージョン内にないときには、ステップＳ３０４に進む。
【００６４】
ステップＳ３０４では、マルチ画面制御用カーソルがＰＣリージョン（図７の例ではリージョン＃０，１）内にあるか否かを判定する。マルチ画面制御用カーソルがＰＣリージョン（図７の例ではリージョン＃０，１）内にあるときには、ステップＳ３０６に進み、ＰＣにはこの画面上でカーソルを発生させ、その操作を行うカーソル発生制御機能が設けられているから、ＰＣにカーソル発生制御機能を移管する処理を行う。そして、本処理を終了する。このカーソル機能の移管処理については後述する。
【００６５】
上記ステップＳ３０４において、マルチ画面制御用カーソルがＰＣリージョン内にないと判定されたときには、ステップＳ３０５に進み、マルチ画面制御用カーソルがＤＴＶリージョン（図７の例ではリージョン＃２，３）内にあるか否かを判定する。マルチ画面制御用カーソルがＤＴＶリージョン内にないときには、上記ステップＳ３０２に進む。マルチ画面制御用カーソルがＤＴＶリージョン内にあるときには、ステップＳ３０７に進み、ＩＳＤＢ専用カーソルの描画を行う。そして、本処理を終了する。このＩＳＤＢ専用カーソルの描画処理については後述する。
【００６６】
この統合操作モードを抜けるときには、リモコン２３の統合操作モードボタンを再び押すことによって統合操作モードが解除され、上記ステップＳ３０２により通常のマルチ画面制御用カーソルの制御モードへ移行することができる。
【００６７】
次に、上記ステップＳ３０６のカーソル機能の移管処理について図１５を参照しながら説明する。図１５は図９のステップＳ３０６のカーソル機能の移管処理の手順を示すフローチャートである。
【００６８】
本処理では、図１５に示すように、まずステップＳ６０１で、ＰＣリージョンにおいてユーザがＰＣにカーソル機能を移管することを要求しているか否かを監視する。ここで、ユーザがリモコン２３の移管キーを押すと、リモコン制御部１９は、この移管キーの押下に対応して発生されたコマンドを認識し、マルチ画面制御部１０にカーソル移管要求を発行する。この移管要求が発行されると、マルチ画面制御部１０は、ユーザがＰＣにカーソル機能を移管することを要求していると判断して、ステップＳ６０２に進み、カーソル合成イネーブル信号Ｓ１２によりマルチ画面制御用カーソルの合成をディセーブルにすることによって、マルチ画面制御カーソルの描画をオフする。
【００６９】
次いで、ステップＳ６０３に進み、信号Ｓ２０によりリモコン制御部１９へ移管モードに移行したことを通知する。これにより、リモコン制御部１９は、移管モードでのコマンド（ＰＣを制御するキーボードコマンド、マウス座標コマンド、移管解除コマンド）のみを受け付ける状態になる。そして、ステップＳ６０４に進み、ＰＣとのシリアル接続の再構築を行う。具体的には、信号Ｓ４を介してシリアルバスＩ／Ｆ６２を制御し、シリアルバスを一度非接続にした後に、再接続を行うとともに、再構築に要する時間を計測するための内部タイマを起動する。この動作によりＵＳＢ（またはＩＥＥＥ１３９４）のシリアルプロトコルでは、ＰＣがシリアルバス上のホスト、本システムがデバイスとしての関係が成立し、これによりシリアル接続のホットプラグ機能による再構築が完結する。
【００７０】
次いで、ステップＳ６０５に進み、上記内部タイマのカウント値が予め設定された再構築時間のカウント値より大きくなるのを待ち、上記内部タイマのカウント値が予め設定された再構築時間のカウント値より大きくなると、本システムのカーソル機能の移管が完了したと判断され、この状態においては、ホストとなったＰＣは、リモコン２３からのカーソル制御や入力操作を受け付け、本システムの表示画面上には、ＰＣのカーソル発生制御機能により描画されたカーソル図形が画像データの一部として表示される。なお、実際には、リモコン２３に代えて、本システム上にワイヤレスキーボードおよびワイヤレスマウスを設け、このワイヤレスキーボードおよびワイヤレスマウス側に制御方向を切り替えて使用することが好ましい。これにより、操作性に優れた操作環境をユーザに提供することができる。
【００７１】
そして、ステップＳ６０６では、カーソル機能移管解除要求の発行のみを監視し、続くステップＳ６０７で、カーソル機能移管解除要求を検知したか否かを判定する。カーソル機能移管解除要求を検知しなければ、上記ステップＳ６０６に戻り、カーソル機能移管解除要求の発行を継続する。ここで、ユーザがリモコン２３に設けられた移管解除ボタンを押すと、リモコン制御部１９は、移管解除ボタンの押下に対応したコマンドを認識し、マルチ画面制御部１０にカーソル移管解除要求を発行する。このカーソル機能移管解除要求を検知すると、ステップＳ６０８に進み、信号Ｓ４によりシリアルバスＩ／Ｆ６２を制御してＰＣとのシリアル接続を切断する。
【００７２】
次いで、ステップＳ６０９に進み、信号Ｓ２０により統合モードに戻ったことをリモコン制御部１９に通知する。これにより、リモコン制御部１９は、統合モードでのコマンドの全てを受け付ける状態になる。そして、ステップＳ６１０に進み、カーソル合成イネーブル信号Ｓ１２によりマルチ画面制御用カーソルの合成表示をイネーブルにする。これにより、マルチ画面制御用カーソルの描画がオンされ、移管モードからの復帰が行われる。
【００７３】
このように、マルチ画面制御用カーソルがＰＣ１ｂの表示領域に入ると、これを自動的に検知してマルチ画面制御用カーソルの発生、操作に関する制御をＰＣ１ｂ側の制御に移行するから、ＰＣなどのようにカーソル発生制御機能を有する画像ソースの画像を表示したマルチ画面上でのリモート統合操作を実現することができる。
【００７４】
次に、ＩＳＤＢ対応のデジタル放送の場合の統合操作について図１０ないし図１４を参照しながら説明する。図１０はＩＳＤＢ対応のデジタル放送の画面イメージを示す図、図１１は図９のステップＳ３０７のＩＳＤＢ専用カーソルの描画処理の手順を示すフローチャート、図１２はＩＳＤＢ画像のレイアウト変換イメージを示す図、図１３はＩＳＤＢ専用カーソルの描画処理に用いられるカーソルサイズ変更テーブルを示す図、図１４はＩＳＤＢ専用カーソルの描画処理に用いられるカーソル移動量変更テーブルを示す図である。
【００７５】
まず、ＩＳＤＢ対応のデジタル放送の画面描画方法について説明する。
【００７６】
ＩＳＤＢ対応のデジタル放送の画面は、図１０に示すように作成される。この画面例に示すように、放送局側は意図した画面表示を行うために、背景、動画、データ、メニューボタンなどをオブジェクトいう形式でＭＨＥＧ−５などのマルチメディア記述言語で記述して送信する。各オブジェクトは、位置、大きさ、ボタン、ビットマップ、テキストなどの属性を有する。本表示システムでは、この属性情報からＭＰＥＧ２の動画以外のオブジェクトを前述したＯＳＤの生成と同様の方法で生成する。ＭＰＥＧ２の動画は、図１に示す画像復号部６から解像度変換部９ａに至る系を用いて再生し、前述した方法を用いて出力合成部１８で合成すれば、図１０に示すような放送局側が意図した画面を再現することができる。ここで、再生時には、ＭＰＥＧ２の解像度はその画像を指定された大きさに収めることが可能な解像度に変換される。この一連の処理は、放送局側が意図した表示解像度で表現する場合の例である。
【００７７】
ここで、本マルチ画像表示システムでＩＳＤＢ画面をマルチ画面上の１画面として扱う場合には、レイアウト変換処理が必要であり、このレイアウト変換処理について図１２を参照しながら説明する。
【００７８】
本マルチ画像表示システムでＩＳＤＢ画面を扱う場合には、図１２に示すように、ＩＳＤＢ画面５０がマルチ画面上の１画面として表示される。この画面５０は、放送局側が意図した表示解像度で表示した場合のものである。放送局側が意図した表示解像度を、水平画素方向Ｘ画素、垂直ライン方向Ｙラインとすると、画面５０は、（Ｘ，０）、（０，Ｙ）の座標で表される。ここで、マルチ画面表示のために、ユーザがレイアウト変更をする場合、レイアウトを指定された大きさにまたその位置を変換しなければならない。水平方向Ｍ（１＞Ｍ＞０）倍、垂直方向Ｎ（１＞Ｎ＞０）倍にそれぞれ解像度を変換する場合は、この解像度変換により画面５０が画面５１になり、その座標は（Ｘ´，０）、（０，Ｙ´）になる。このときの変換は、次の（１）および（２）式で表される。
【００７９】
Ｘ´＝ＭＸ                                              …（１）
Ｙ´＝ＮＹ                                              …（２）
原点（０，０）から移動オフセット（Ｘｍ，Ｙｍ）に位置変更する場合には、画面５１が画面５２の位置に移動し、その座標は、（Ｘ”，０）、（０，Ｙ”）に変化する。このときの変換は、次の（３）および（４）式で表される。
【００８０】
Ｘ”＝Ｘ´＋Ｘｍ                                        …（３）
Ｙ”＝Ｙ´＋Ｙｍ                                        …（４）
上記（１）〜（４）式により、解像度変換と位置変更を組み合わせたレイアウト座標変換は、
Ｘ”＝ＭＸ＋Ｘｍ                                        …（５）
Ｙ”＝ＮＹ＋Ｙｍ                                        …（６）
となる。この（５）および（６）式に従いレイアウトされたＩＳＤＢ画面の位置情報はマルチ画面表示に適宜変換され、描画が行われる。
【００８１】
次に、統合操作モード時における上記ステップＳ３０７の詳細な処理手順について図１１を参照しながら説明する。
【００８２】
マルチ画面制御用カーソルがＤＴＶリージョン（図７の例ではリージョン＃２，３）内に入ると、上述したように、上記ステップＳ３０７で、ＩＳＤＢ専用カーソルの描画を行う。このＩＳＤＢ専用カーソルの描画では、図１１に示すように、まずステップＳ５０１においてＩＳＤＢ専用カーソルの表示が必要であるか否かを判定する。本実施の形態では、図１０に示すように、矢印カーソルをマルチ画面制御用カーソルとして用いている。ここで、ＩＳＤＢ専用のカーソルの表示（例えば、ボタン領域の輪郭を特定色で枠付けしたり、ボタン領域全体の色反転）を放送局側から指定されている場合、または意図的にカーソルの種類を変えたいときには、ＩＳＤＢ専用カーソルの表示が必要であると判断してステップＳ５０２に進み、現在表示されているマルチ画面制御用カーソルを非表示にする。具体的には、図６に示すカーソル合成イネーブル信号Ｓ１２によりマルチ画面制御用カーソルの合成をディセーブルにする。
【００８３】
次いで、ステップＳ５０３に進み、ＩＳＤＢ専用カーソルの表示を行う。例えば、枠カーソルを使う場合には、シナリオ記述言語からボタンの位置、数を認識し（複数あるときにはすべて認識する）、デフォルトのボタンに枠カーソルを表示する。この表示は、上述したＯＳＤ描画と同じ方法でボタンの枠部分の矩形を特定色に塗りつぶし、その上にボタンを描画することにより行うことができる。枠カーソルの移動は、上記認識したボタンに対して予め決められた順番に従いリモコン２３のボタンに連動して枠カーソル描画のＯＮ／ＯＦＦを行うようにすればよい。
【００８４】
上記ステップＳ５０１でＩＳＤＢ専用カーソルの表示が必要でないと判定されたときには、ステップＳ５０４に進み、カーソルサイズを設定する。これは、ＩＳＤＢのボタンの大きさを判断し、本システム全体を制御するマルチ画面制御用カーソルの大きさを、ユーザが所望のボタンを確実に選択することができる大きさに設定するためである。なお、カーソルの大きさを変更する必要がない場合、このカーソルの大きさは現在の大きさに保持される。
【００８５】
続くステップＳ５０５では、カーソル色を設定する。これは、ＩＳＤＢの操作モードにあることをユーザに認識し易くすることを目的としており、通常のマルチ画面制御用カーソルの色と異なる色を設定する。なお、色変更が必要でない場合には、現在の色が用いられる。
【００８６】
次いで、ステップＳ５０６に進み、カーソル移動量の設定を行う。ＩＳＤＢの画面上でカーソルを移動させる際に通常のマルチ画面制御時における画面移動量と変えた方が使い勝手が向上する場合には、このカーソル移動量を変更する。なお、カーソル移動量の変更が必要でないときには、この移動量は現在の値に保持される。続くステップＳ５０７では、操作ボタンの位置を記録する。これは、ＩＳＤＢ画面上のボタン領域にカーソルが位置するときに、リモコン２３によりこのボタンを選択するアクションを起こしたときに、シーンを切り替えるタイミングをマルチ画面制御部１０が認識するためである。
【００８７】
以上の設定（ステップＳ５０４〜Ｓ５０７）は、ＩＳＤＢのカーソル表示のベース設定として、後述する設定変更時にも参照される。
【００８８】
次いで、ステップＳ５０８に進み、放送局側のレイアウトに従ってＩＳＤＢ等倍表示を行うか否かを判定する。ここで、等倍表示を行うときには、ステップＳ５０９に進み、マルチ画面上の上記設定に応じた変更表示を行う。等倍表示を行わないときには、ユーザが意図的にマルチ画面表示のためにレイアウトを変更すると判断してステップＳ５１０に進み、解像度を変換するか否かを判定する。解像度を変換するときには、ステップＳ５１１に進み、解像度変換後のＩＳＤＢ画面に適合したカーソルサイズへの変更を行う。このカーソルサイズの変更は、カーソルサイズ変更テーブルを参照して行われる。このカーソルサイズ変更テーブルは、図１３に示すように、カーソルサイズと変倍率との関係を表すテーブルであり、本例では、上記ステップＳ５０４で設定したカーソルサイズを変倍率１に対する基準値として、カーソルサイズと変倍率との関係を表している。このテーブルから分かるように、変倍率が大きくなるほどカーソルサイズが段階的に大きくなるように設定される。
【００８９】
続くステップＳ５１２では、解像度変換後のＩＳＤＢ画面に適合したカーソル移動量への変更を行う。このカーソル移動量の変更は、カーソル移動量変更テーブルを参照して行われる。このカーソル移動量変更テーブルは、図１４に示すように、カーソル移動量と変倍率との関係を表すテーブルであり、本例では、上記ステップＳ５０６で設定したカーソル移動量を変倍率１に対する基準値として、カーソルサイズと変倍率との関係を表している。このテーブルから分かるように、変倍率が大きくなるほどカーソル移動量が段階的に大きくなるように設定される。
【００９０】
次いで、ステップＳ５１３に進み、レイアウト変更に伴う選択ボタン位置の記憶変更を行う。これは、上記（５），（６）式においてオフセット座標（Ｘｍ，Ｙｍ）＝（０，０）と置き換えることにより行われる。そして、ステップＳ５１４に進む。
【００９１】
これに対し、上記ステップＳ５１０で解像度の変換を行わないと判定されると、上記ステップＳ５１１〜Ｓ５１３をスキップしてステップＳ５１４に進む。ステップＳ５０４では、選択ボタンの位置変更を行うか否かを判定する。選択ボタンの位置変更を行う場合には、ステップＳ５１５に進み、レイアウト変更に伴う選択ボタン位置の記憶変更を再び行う。これは、上記（５），（６）式において変倍率をＭ＝Ｎ＝０と置き換えることにより行われる。そして、上記ステップＳ５０９に進む。上記ステップＳ５１４で、選択ボタンの位置変更を行わないと判定されたときには、上記ステップＳ５１５をスキップして上記ステップＳ５０９に進む。
【００９２】
ユーザがマルチ画面上でレイアウト変更されたＩＳＤＢ画面のボタンを選択してインタラクティブなアクションを起こすときには、マルチ画面制御部１０が、変更されたカーソルの位置（Ｘ”，Ｙ”）を、上記（３）式から得られた次の（７），（８）式
Ｘ＝（Ｘ”−Ｘｍ）／Ｍ                                    …（７）
Ｙ＝（Ｙ”−Ｙｍ）／Ｎ                                    …（８）
に従って放送局側が意図する位置（Ｘ，Ｙ）に戻し、この戻した位置と受信時のボタン属性を有する領域との比較、監視を行うことによって、両者が一致すれば、ボタン選択アクションと見なす。これにより、対応するボタンの選択が行われることになる。その結果、マルチ画面上での正確なシーンの切替えを行うことができる。
【００９３】
このように、マルチ画面制御用カーソルがＤＴＶの表示領域に入ると、これを自動的に検知してカーソルの種類を切り替え、またはカーソルのサイズ、色、移動量を切り替えることにより、操作の種別にあった最適な操作環境が得られる。また、マルチ画面レイアウトの変更の際も、インタラクティブなボタンの選択を正確に認識することができ、シーンの切替えを正確に行うことができる。その結果、ＩＳＤＢ対応のＤＴＶ入力のマルチ画面上での統合操作を実現することができる。
【００９４】
【発明の効果】
以上説明したように、本発明によれば、マルチ画面で表示される各画像に対する操作を一元的に行うことができる。
また、マルチ画面制御カーソルの表示位置に対応する画像の画像ソースがカーソル生成機能を有する画像ソースであるときに、マルチ画面制御カーソルを画像ソースのカーソルに切り替えることにより、カーソル生成機能を有する画像ソース側での画像の編集、切替えを、画像ソース側で行うことなく、マルチ画面において行うことができる。
また、マルチ画面制御カーソルの表示位置に対応する画像の画像ソースが、カーソル生成機能を有する画像ソースである場合、シリアルバスを介して、カーソル生成機能を有する画像ソースに、カーソルの生成を要求することにより、カーソルの生成を画像ソースに簡単に移管することができる。
【００９５】
また、本発明によれば、マルチ画面制御カーソルの表示位置に対応する画像ソースが、カーソルの属性情報が所定の記述言語で記述された画像ソースである場合に、マルチ画面制御カーソルを非表示にして、所定の記述言語で記述されたカーソルの属性情報に基づいて、所定の記述言語専用カーソルを表示する制御を行うことにより、画面に適した快適なカーソル操作を行うことができる。
【図面の簡単な説明】
【図１】本発明のマルチ画像表示システムの実施の一形態の構成を示すブロック図である。
【図２】図１のマルチ画像表示システムにおけるマルチ画像表示動作の手順を示すフローチャートである。
【図３】図２のステップＳ１０２の表示の初期化処理の手順を示すフローチャートである。
【図４】図１のマルチ画像表示システムのメモリ部１４における画像データのメモリアドレスマップを示す図である。
【図５】図１のマルチ画像表示システムの初期化時の画面表示例を示す図である。
【図６】図１のマルチ画像表示システムの出力合成部の構成を示すブロック図である。
【図７】図１のマルチ画像表示システムにおける制御カーソル役割可変機能を説明するための画面例を示す図である。
【図８】図１のマルチ画像表示システムにおける制御カーソル役割可変機能に用いられるレイアウト管理テーブルを示す図である。
【図９】図１のマルチ画像表示システムにおける統合操作モード時のマルチ画面制御用カーソルの描画処理を示すフローチャートである。
【図１０】ＩＳＤＢ対応のデジタル放送の画面イメージを示す図である。
【図１１】図９のステップＳ３０７のＩＳＤＢ専用カーソルの描画処理の手順を示すフローチャートである。
【図１２】ＩＳＤＢ画像のレイアウト変換イメージを示す図である。
【図１３】ＩＳＤＢ専用カーソルの描画処理に用いられるカーソルサイズ変更テーブルを示す図である。
【図１４】ＩＳＤＢ専用カーソルの描画処理に用いられるカーソル移動量変更テーブルを示す図である。
【図１５】図９のステップＳ３０６のカーソル機能の移管処理の手順を示すフローチャートである。
【符号の説明】
１ａ  ＩＳＤＢ対応受信部（画像ソース）
１ｂ  ＰＣ（画像ソース）
１ｃ  ＤＶＤ（画像ソース）
５  オーディオ復号部
６  画像復号部
７  データ復号部
８ａ，８ｂ，８ｃ  動画入力部
９ａ，９ｂ，９ｃ  解像度変換部
１０  マルチ画面制御部
１４  メモリ部
１６  表示デバイス
１８  出力合成部
１９  リモコン制御部
２１  グラフィックアクセラレタータ
２３  リモコン
６２  シリアルバスＩ／Ｆ
【図１】
0004541476.tif 000002
【図２】
0004541476.tif 000003
【図３】
0004541476.tif 000004
【図４】
0004541476.tif 000005
【図５】
0004541476.tif 000006
【図６】
0004541476.tif 000007
【図７】
0004541476.tif 000008
【図８】
0004541476.tif 000009
【図９】
0004541476.tif 000010
【図１０】
0004541476.tif 000011
【図１１】
0004541476.tif 000012
【図１２】
0004541476.tif 000013
【図１３】
0004541476.tif 000014
【図１４】
0004541476.tif 000015
【図１５】
0004541476.tif 000016