(57)【特許請求の範囲】
【請求項１】
ユーザー情報入力手段を有すると共に当該ユーザー情報入力手段により移動指示される第２の位置指示マークを含む画像情報を出力する複数の映像表示装置が、通信手段を介して複数接続されるとともに、移動指示手段を有するリモコン装置により制御される表示制御装置において、前記接続された複数の映像表示装置から出力されたそれぞれの画像情報を入力する映像入力手段と、前記入力されたそれぞれの画像情報を表示する表示デバイスと、前記表示デバイス上に表示された前記それぞれの画像情報のうち１つの画像情報を選択すべく前記表示デバイス上に第１の位置指示マークをオーバーレイ表示するオーバーレイ表示手段と、前記移動指示手段からの指示に基づき、前記第１の位置指示マークを前記表示デバイス上で移動させる指示マーク移動制御手段と、前記第１の位置指示マークにより指示された位置に表示されている画像情報を選択する選択手段と、前記移動指示手段からの移動指示を、前記選択手段により選択された画像情報に対応する映像表示装置の前記第２の位置指示マークの移動情報として、当該映像表示装置へ前記通信手段を介して送信する送信制御手段とを備えることを特徴とする表示制御装置。
【請求項２】
画像情報の選択を指示する指示手段を更に有し、前記選択手段は、前記指示手段により画像情報の選択が指示されたときに、前記第１の位置指示マークにより指示された位置に表示されている画像情報を選択することを特徴とする請求項１記載の表示制御装置。
【請求項３】
ユーザー情報入力手段を有すると共に当該ユーザー情報入力手段により移動指示される第２の位置指示マークを含む画像情報を出力する複数の映像表示装置が、通信手段を介して複数接続されるとともに、移動指示手段を有するリモコン装置により制御される表示制御装置において、前記接続された複数の映像表示装置から出力されたそれぞれの画像情報を入力する映像入力手段と、前記入力されたそれぞれの画像情報を表示する表示デバイスと、前記表示デバイス上に表示された前記それぞれの画像情報のうち１つの画像情報を選択すべく前記表示デバイス上に第１の位置指示マークをオーバーレイ表示するオーバーレイ表示手段と、前記移動指示手段からの指示に基づき、前記第１の位置指示マークを前記表示デバイス上で移動させる指示マーク移動制御手段とを備え、前記指示マーク移動制御手段が、前記複数の映像表示装置の何れかから送信されてくる前記ユーザー情報入力手段から入力されたユーザー情報を前記通信手段を介して受容し、当該ユーザー情報に基づき、前記第１の位置指示マークを前記表示デバイス上で移動させることを特徴とする表示制御装置。
【請求項４】
前記複数の映像表示装置の何れかから前記通信手段を介して送信されてくるデータを受信し、受信したデータを他の画像表示装置へ転送する転送手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の表示制御装置と、通信手段を介して前記表示制御装置に接続され、ユーザー情報入力手段を有すると共に画像情報を出力する少なくとも１台の映像表示装置とを備えることを特徴とする会議用表示システム。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、表示制御装置及び会議用表示システムに関し、特に、複数のパソコンからのビデオデータを入力し、マルチウィンドウにて表示を行う、マルチウィンドウ・ディスプレイシステムに関するものである。
【０００２】
【従来の技術】
近年、デスクトップ型パーソナルコンピュータ（デスクトップパソコン）やノート型パーソナルコンピュータ（ノートパソコン）等の画像を大型の表示装置例えば液晶プロジェクターやプラズマディスプレイに表示させてプリゼンテーションを行うことが増えてきている。一方、特にノートパソコンは軽量化、低価格化によりパーソナルなビジネスツールとして多く普及してきており、会議では出席者がそれぞれノートパソコンを持ち込み、その中のデータを閲覧したり議事録をその場で書くなどの使い方が多く見られるようになってきた。
【０００３】
しかしながら、従来の大型表示装置はパソコンと１対１で接続されるため、複数の人間がプレゼンテーションを行うような場合、パソコンをつなぎかえるか、もしくはプレゼンテーション資料などのファイルを他のパソコンにコピーする必要があった。このような装置では、つなぎかえの作業が面倒なだけでなく、ファイルをコピーする場合でもパソコン間のアプリケーションの違い、バージョンの違いなどにより、直ちに表示できないなどの不具合が多く発生し、会議の進行に大きな妨げになることが多かった。
【０００４】
このような背景から画像表示システムには、複数のパソコン（画像ソース）からの画像情報（映像）を切り替えながら、もしくは同時に表示させて、それらの情報や表示された各画像情報を比較しながら会議を進めたり、更に別のパソコンで作成した議事録を表示させ参加者全員で確認するといった使い方を可能にする機能が望まれている。
【０００５】
【発明が解決しようとする課題】
発明者は上記の要望に答えるべく、複数の情報映像機器の入力をマルチウィンドウで表示する、マルチウィンドウ・ディスプレイシステムを提案している。
【０００６】
しかしながら、このようなマルチウィンドウ・ディスプレイシステムを実際に会議等で使用するに当たり、単に複数の映像入力をマルチウィンドウで表示するだけのシステムでは、幾つかの問題・不便利があった。例えば
（１）接続されるパソコンがノートパソコンの場合、バッテリー節約のため省電力モード、及び、スリープモードに入る、または液晶パネル等のモニターの焼き付きを防ぐための「スクリーンセーバーモード」に入ることが頻繁にあり、その場合マルチウィンドウディスプレイ上の表示を維持することができなかった。
（２）接続しているパソコンのユーザーが、他のメンバーには見られたくない（マルチウィンドウディスプレイに表示したくない）ファイルなどを参照したい場合には、一度ケーブルを抜くしか方法がなかった。
（３）マルチウィンドウディスプレイ上の（プリゼンター用）メインポインタをコントロール出来るのは、リモコンを持ったプリゼンターだけで、他のメンバー（各パソコンメンバー）はコントロールできなかった。
（４）各パソコン間でデータのやり取りを行う、また、マルチウィンドウディスプレイに表示されているデータを各パソコンに取り込むことができなかった。
【０００７】
本発明者は上記問題を解決するため数多くの実験と試行錯誤を繰り返した結果、マルチウィンドウディスプレイシステムに従来のものとは違う、ユニークな機能を付加し、かつマルチウィンドウディスプレイシステムと各パソコン間で、ビデオ信号だけでなく、シリアル通信によるデータ通信を行い、パソコン側のソフトウェアプログラムとマルチウィンドウディスプレイシステム側の制御ソフトウェアとの連携によって、マルチウィンドウディスプレイシステムの制御を行うという発想に至った。
【０００８】
本発明の目的は、上記の問題点を解決して、少なくとも１台の映像表示装置から会議及びプリゼンテーション用表示デバイスへの映像の表示制御を容易に行うことができる表示制御装置及び会議用表示システムを提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の表示制御装置は、ユーザー情報入力手段を有すると共に当該ユーザー情報入力手段により移動指示される第２の位置指示マークを含む画像情報を出力する複数の映像表示装置が、通信手段を介して複数接続されるとともに、移動指示手段を有するリモコン装置により制御される表示制御装置において、前記接続された複数の映像表示装置から出力されたそれぞれの画像情報を入力する映像入力手段と、前記入力されたそれぞれの画像情報を表示する表示デバイスと、前記表示デバイス上に表示された前記それぞれの画像情報のうち１つの画像情報を選択すべく前記表示デバイス上に第１の位置指示マークをオーバーレイ表示するオーバーレイ表示手段と、前記移動指示手段からの指示に基づき、前記第１の位置指示マークを前記表示デバイス上で移動させる指示マーク移動制御手段と、前記第１の位置指示マークにより指示された位置に表示されている画像情報を選択する選択手段と、前記移動指示手段からの移動指示を、前記選択手段により選択された画像情報に対応する映像表示装置の前記第２の位置指示マークの移動情報として、当該映像表示装置へ前記通信手段を介して送信する送信制御手段とを備えることを特徴とする。
【００１２】
請求項２記載の表示制御装置は、請求項１記載の表示制御装置において、画像情報の選択を指示する指示手段を更に有し、前記選択手段は、前記指示手段により画像情報の選択が指示されたときに、前記第１の位置指示マークにより指示された位置に表示されている画像情報を選択することを特徴とする。
【００１３】
上記目的を達成するために、請求項３記載の表示制御装置は、ユーザー情報入力手段を有すると共に当該ユーザー情報入力手段により移動指示される第２の位置指示マークを含む画像情報を出力する複数の映像表示装置が、通信手段を介して複数接続されるとともに、移動指示手段を有するリモコン装置により制御される表示制御装置において、前記接続された複数の映像表示装置から出力されたそれぞれの画像情報を入力する映像入力手段と、前記入力されたそれぞれの画像情報を表示する表示デバイスと、前記表示デバイス上に表示された前記それぞれの画像情報のうち１つの画像情報を選択すべく前記表示デバイス上に第１の位置指示マークをオーバーレイ表示するオーバーレイ表示手段と、前記移動指示手段からの指示に基づき、前記第１の位置指示マークを前記表示デバイス上で移動させる指示マーク移動制御手段とを備え、前記指示マーク移動制御手段が、前記複数の映像表示装置の何れかから送信されてくる前記ユーザー情報入力手段から入力されたユーザー情報を前記通信手段を介して受容し、当該ユーザー情報に基づき、前記第１の位置指示マークを前記表示デバイス上で移動させることを特徴とする。
【００１４】
請求項４記載の表示制御装置は、請求項１乃至３のいずれか１項に記載の表示制御装置において、前記複数の映像表示装置の何れかから前記通信手段を介して送信されてくるデータを受信し、受信したデータを他の画像表示装置へ転送する転送手段を更に有することを特徴とする。
【００１７】
請求項５記載の会議用表示システムは、請求項１乃至４のいずれか１項に記載の表示制御装置と、通信手段を介して前記表示制御装置に接続され、ユーザー情報入力手段を有すると共に画像情報を出力する少なくとも１台の映像表示装置とを備えることを特徴とする。
【００４０】
【発明の実施の形態】
図１に本発明の実施の形態にかかる表示制御装置のシステム構成図を示す。
本実施の形態は、４つの独立した画像ソースからの画像情報（映像）を１つのモニターに表示する。これら画像ソースは、４つよりさらに多い数でも、また少ない数でもよい。
【００４１】
１−１，１−２，１−３，１−４は画像信号の画像ソース（映像表示装置）でありパーソナルコンピュータ、ワークステーション、又はディジタルテレビ（ＴＶ）、ビデオ（ＶＣＲ）等のように、少なくとも一つのマイクロチップコントローラ（ＣＰＵ）を有し、映像を出力する機能以外にもグラフィカルな操作環境を持った情報映像機器である。これらは本実施の形態では４つ存在する。画像ソース１−１，１−２，１−３，１−４は、例えば画像ソースポインタの位置であるユーザ情報を入力するためのマウス等のユーザ情報入力手段（図示せず）を有する。
【００４２】
２−１，２−２，２−３，２−４は、それぞれ画像ソース１−１，１−２，１−３，１−４から出力された画像データ（画像情報）を受け取る入力部であり、もし受け取る画像データがコンピュータのアナログ信号であれば、Ａ／Ｄコンバータや画像データをサンプリングするためのＰＬＬ（Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ）  が入っており、また、ＬＶＤＳ（Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌｉｎｇ）等のディジタル信号であれば、その復号器や差動のバッファが入っている。また、テレビやビデオのコンポジット信号であればそれＲ，Ｇ，Ｂ信号にエンコードするエンコーダが入っている。
【００４３】
各入力部２−１，２−２，２−３，２−４は各画像ソースから画像データと画像データを受け取るための制御信号例えば１ラインの同期を取る水平同期信号、１フレームもしくは１フィールドの同期を取る垂直同期信号、１画素をサンプルするクロック信号、有効画像データの転送期間を示すディスプレイイネーブル信号等も同時に受け取る。各入力部２−１，２−１，２−３，２−４はおのおの独立したタイミングで画像ソース１−１，１−２，１−３，１−４から画像データを受け取る。また入力部２−１，２−２，２−３，２−４は後述する画像ソース１−１，１−２，１−３，１−４とのシリアル通信手段を有している。
【００４４】
３-１，３-２，３-３，３-４は入力部２-１，２-２，２-３，２-４で受け取った画像データの表示フォーマット（表示ライン数やドット数、色数）を制御部６の制御に従って変換する表示フォーマット変換部、４-１，４-２，４-３，４-４は、独立した４つの画像データを１つの共通したバスに入力するためのバスインタフェース部、５は、バスインタフェース４-１，４-２，４-３，４-４から出力される画像データおよび、フレームメモリコントローラ７、重ねあわせデータコントローラ８から出力される画像データと、それらからの転送要求を受け、優先順位に基づき画像データ転送を調停するバスコントローラである。
【００４５】
６は、本表示制御システム全体を制御する制御部であり、演算能力を持つＣＰＵ、データを一時格納するＲＡＭ、制御プログラムを格納するＲＯＭ、時間を計測するカウンタ、周辺入出力インタフェース等を有している。このＲＡＭはメモリＩＣであってもハードディスクやＤＶＤ−ＲＡＭなどのディスクメディアであってもよい。また、制御をおこなうプログラムはＲＯＭに内蔵されていてもよいし、周辺入出力インタフェースを介して外部から転送されてもよい。
【００４６】
７は、バスコントローラ５の調停によって入力する画像データをフレームメモリ９に適したデータ演算により加工、制御するフレームメモリコントローラである。これはＣＰＵや並列演算が可能なメディアプロセッサであってもよい。
【００４７】
９は、表示デバイスに描画する画像データを少なくとも１フレーム分貯えるフレームメモリ（メモリ手段）、８は、表示デバイス１３に入力部２−１，２−１，２−３，２−４とは別の画像データを表示デバイスに重ねて表示するための重ねあわせデータコントローラ、１０は、重ねあわせをするデータを格納しておく重ねあわせデータストアメモリ、１１は、バス上の画像データをバスコントローラ５の制御に従って入力し、表示駆動コントローラ１２に適した表示フォーマットに変換する出力表示フォーマット変換部、１２は、表示デバイスを駆動するためのコントローラである。
【００４８】
１３は表示デバイスであり、本デバイスは画像を表示するデバイスであればマトリクス電極構造を持つフラットパネル（液晶、プラズマ等）でも、ＣＲＴでもよい。
【００４９】
１４−１，１４−２，１４−３，１４−４は、各画像ソース１−１，１−２，１−３，１−４と本実施の形態の表示制御システム４０の制御部６との間の高速シリアル通信データのパケットデータを送受信する時のタイミングを調整するためのＦＩＦＯメモリを持つパケット制御部である。本実施の形態ではこの高速双方向シリアル通信手段を介して、各画像ソースに対応するウィンドウの更新・非更新の切替え、ポインタの制御等を行う。
【００５０】
このようなデータをパケット多重して転送できる例として、ＩＥＥＥ１３９４やＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等がある。  本実施の形態としてはＵＳＢを採用している。これは現在発売されているデスクトップ型及びノート型パソコンのほとんどにＵＳＢポートが搭載されていること、また、ＵＳＢがホットプラグ（動作中でも抜き差しが可能）をサポートしていることから、本実施の形態においては最適であると判断したためであるが、本発明の本質からすれば、他の方式のシリアル通信を用いても同様の効果が得られる。ＵＳＢに対応した機器はＵＳＢホストとＵＳＢデバイスの２種類に分類され、通常ＵＳＢホストはパソコンであり、ＵＳＢデバイスとはマウス、キーボード、プリンタ等の周辺機器を表す。本実施の形態において１４のパケット制御部はこのＵＳＢデバイスとして機能する。
【００５１】
２１は、赤外線発光部をもつリモコン装置であり、その中にサブ・ジョイステック２２、メイン・ジョイステック２４、サブボタン２３、メインボタン２５を含む。２０は、リモコン装置２１の表示ポインタコントローラから発信された赤外線データを受け取る赤外線データ受光部、１９は、赤外線データ受光部２０で受け取ったデータフォーマットを制御部６に出力するための赤外線データ制御部、３０は、表示デバイスに表示させる表示レイアウトを変更する変更ボタンである。４０は、本表示制御システムを示している。上記ジョイスティックは二次元的な動きを入力できるデバイスなら何でもよく、例えばトラックボールや十字カーソルキーであってもよい。
【００５２】
以下、上記各部の番号と照らし合わせて本発明の表示制御システム４０の動作を説明する。
【００５３】
初期化
画像ソース１−１，１−２，１−３，１−４と表示制御システム４０は、それぞれ電源投入後、入力部２−１，２−２，２−３，２−４と双方向シリアル通信線を介して通信を行う。
【００５４】
入力部２−１，２−２，２−３，２−４からは、表示ドット数、表示ライン数、表示色数、ビデオ出力タイミング等のデータをそれぞれ画像ソース１−１，１−２，１−３，１−４に送る。このフォーマットは双方であらかじめ決められた通信プロトコルで行われる。  一例を示せば、米国の標準化団体のＶＥＳＡ（Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ）で決まられたＤＤＣ（Ｄｉｓｐｌａｙ  Ｄａｔａ  Ｃｈａｎｎｅｌ）を用いてもよく、データフォーマットは、同じくＶＥＳＡで制定されたＥＤＩＤ（Ｅｘｔｅｎｄｅｄ  Ｄｉｓｐｌａｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  Ｄａｔａ）でもよい。この時転送される表示ドット数、表示ライン数、表示色数は表示デバイス１３  の表示ドット、ライン、色数を転送する。もしくは、表示フォーマットは制御部６であらかじめ決められたものでもよい。画像ソース１−１，１−２，１−３，１−４は、受け取った情報に基づき画像データ及びその制御信号を各入力部２−１，２−２，２−３，２−４に出力する。
【００５５】
また、この時、表示制御システム４０にいくつの画像ソースが接続されているかを識別するため、入力部は画像ソースから接続識別信号をいつも監視している。この接続識別信号は、画像ソースから論理的に”１”  もしくは”０”の２値信号として受け取る。もし、接続ケーブルが抜かれたり、画像ソースの電源が切れた場合は入力部で抵抗終端しているため、この論理は”０”となり、表示制御システム４０は画像データが入力されないことを認識できる。この監視情報は制御部６にある期間毎に送られる。
【００５６】
制御部６は、まず入力部２-１の接続認識信号を検知し、"１"であったならば入力部２-１は、受け取った画像データを表示フォーマット変換部３-１に出力し、表示フォーマット変換を行う。ここで、接続認識信号が"０"であった場合は、入力部２-２の接続認識信号を検知し、すべての入力部検知されるまで入力部２-１，２-２，２-３，２-４をスキャンする。すべての接続認識信号が"０"であった場合は、表示制御システム４０はパワーセーブモードに入り制御部６とパケット制御部１４、赤外線データ制御部１９、赤外線データ受光部２０以外の電力は落とされる。
【００５７】
１つの画像ソースが接続された場合
入力部２−１の接続認識信号のみが”１”であった場合の例についてこれから記述する。
【００５８】
入力部２−１は表示フォーマット変換部３−１に画像信号を所望のフォーマットで出力する。表示フォーマット変換部３−１は、入力された表示フォーマットと表示デバイス１３の表示フォーマット（ドット数、ライン数、色数）とが等しい場合は画像データを通過させる。後述するように、異なった場合には、画像データを任意に変換しドット、ライン数を表示デバイス１３に合わせる。また色数は、表示デバイス１３の可能表示色数より入力された表示色数が多い場合は、ディザ等の中間処理等を用いて画像データのビット数を落とす。
【００５９】
表示フォーマット変換部３−１から出力された画像データはバスインタフェース４−１、バスコントロール５、フレームメモリコントロール７を介してフレームメモリ９に格納される。
【００６０】
このフレームメモリ９は複数の階層をもち、制御部６の制御により、バスコントローラ５を介して入力される画像データを格納する階層が制御される。
【００６１】
フレームメモリ９に貯えられた画像データは、制御部６が定めるあるタイミングでバス上に出力され、出力表示フォーマット変換部１１に出力される。この時、どの階層のデータを出力するかは、制御部６の指示に従いバスコントローラ５が制御する。
【００６２】
一方、入力された画像データとは別に、表示デバイス１３に表示させるデータを貯える重ね合わせデータストアメモリ１０は、制御部６の制御によって動作する重ね合わせデータコントローラ８を介してバス上に出力される。この重ね合わせデータとフレームメモリコントローラ７を介してバス上に出力される入力画像データは出力表示フォーマット変換部１１で選択されて入力される。この選択タイミングは、制御部６から設定される。
【００６３】
出力表示フォーマット変換部１１は、表示駆動コントローラ１２の入力に適したデータ（データバス幅等）に変換される。出力表示フォーマット変換部１１で出力された画像データは、表示駆動コントローラ１２に出力される。表示駆動コントローラ１２では、表示デバイス１３を駆動するための駆動信号が作られる。
【００６４】
該駆動信号は、例えば、表示デバイス１３がＴＦＴ液晶の場合は表示デバイス内のドライバーＩＣを駆動するライン単位の同期信号、フレーム単位の同期信号、画像データシフトクロック、画像データ、交流化信号である。もし、表示デバイス１３がＣＲＴの場合は画像データをそれぞれＲＧＢに分割し各色毎にＤ／Ａ変換を行い、アナログＲ，Ｇ，Ｂ信号を生成し、水平、垂直同期信号とともに表示デバイス１３に出力する。
【００６５】
表示駆動コントローラ１２は、所望の画像データを表示デバイス１３に転送し、表示デバイス１３に表示する。
【００６６】
一方、画像ソース１−１とパケット制御部１４−１との間で、前述のＵＳＢを用いたシリアルデータ通信ラインが接続され、制御部６は画像ソース１−１に対して、本実施の形態の表示制御システム４０の持つ「デバイス情報」を最初に送信する。この情報の中にはデバイスの種類、機能、ＦＩＦＯの量などが含まれており、本実施の形態では
種類：ポインタデバイス、及び、マルチウィンドウディスプレイデバイス
機能：Ｘ，Ｙ座標移動量データの送受信、その他データの送受信
ＦＩＦＯ量：３２バイト
といった情報が送信される。この情報を受け取った画像ソース（パソコン・ワークステーション、情報映像機器等）はその情報をもとに、デバイスの登録を行い、必要ならばデバイスドライバをロードするなどして、その後通信の為の準備を行う。
【００６７】
リモコンジョイスティックによる画像ソースポインタ制御
次に、画像ソース１-１が表示されている時に画像ソース１-１が表示しているポインタを本表示制御システム４０のリモコンのサブジョイスティック２２及びサブボタン２３から制御する方法について説明する。制御部６の動作については図１０のフローチャートを使って述べる。画像ソース１-１のポインタとは、例えば画像ソース１-１となっているパソコンや情報映像機器上でグラフィカルな操作環境が動作している際に表示される「マウスポインタ」などのことである。
【００６８】
リモコン装置２１は、サブジョイスティック２２のＸ，Ｙ移動情報、サブボタン２３のＯＮ／ＯＦＦ情報をパケットにして赤外線に変換する。赤外線は赤外線データ受光部２０で受光され、電気信号に変換される。赤外線データ制御部１９は、赤外線データ受光部２０からのパケット化された電気信号から必要なＸＹ移動量、ボタンＯＮ／ＯＦＦデータ部分を切り出し、制御部６に出力する。
【００６９】
制御部６ではＸＹ移動量及びボタンＯＮ／ＯＦＦデータをＵＳＢシリアル通信を介して、画像ソース１−１へと転送する。制御部６はＸＹ移動量及びボタンＯＮ／ＯＦＦ情報を先ほど画像ソース側に登録した「ＵＳＢポインタデバイス」のデータフォーマットにフォーマット変換してから、パケット制御部１４−１に対して書き込むことで、ＵＳＢシリアル通信を介して画像ソース１−１に対してのデータ転送が行われる。以上の制御部６の動作を図１０の処理Ｒ０（ｒ０−３）と図１２の処理Ｒ２に示す。
【００７０】
こうしてリモコン装置２１のサブジョイスティック２２やサブボタン２３の情報がＵＳＢを介して、画像ソース１−１のグラフィカル操作環境に伝わり、リモコン装置２１のジョイスティック２２があたかも画像ソース１−１のポインティングデバイスの一つとなったかのように、マウスの位置の移動や、選択動作（クリック）などをリモコンから行えるようになる。図２（Ａ）にその様子を示す。
【００７１】
リモコンジョイスティックによる、メインポインタの制御
以下、図２（Ａ）を参照しながら、リモコン装置２１を使ったメインポインタの制御について述べる、メインポインタは各画像ソース１-１，１-２，１-３，１-４からの映像とは無関係に本表示制御システム４０が独自に表示するもので、画像ソース毎のウィンドウなどを選択し、本表示制御システムの持つさまざまな機能を実現する上で重要な役割をもつ。
【００７２】
リモコン装置２１は、メインジョイスティック２４のＸ，Ｙ移動情報、メインボタン２５のＯＮ／ＯＦＦ情報をパケットにして赤外線に変換する。赤外線は赤外線データ受光部２０で受光され、電気信号に変換される。赤外線データ制御部１９は、赤外線データ受光部２０からのパケット化された電気信号から必要なＸＹ移動量、ボタンＯＮ／ＯＦＦデータ部分を切り出し、制御部６に出力する。
【００７３】
制御部６は、入手したリモコン装置２１からのＸＹ移動量情報をもとに、重ねあわせデータストアメモ１０内の情報を書き換え、メインポインタの位置を移動させる（図１１のフローチャートＲ１（ｒ１−１，ｒ１−１２，ｒ１−１３））と共に、メインボタン２５のＯＮ／ＯＦＦ情報から表示している画像を選択することができる。この重ね合わせデータストアメモリ１０は表示デバイスに表示される画面と対応した大きさを持ち、少なくとも１ビット深さを持つ。
【００７４】
図２（Ｂ）にその様子を示す。現在の説明では画像ソースが一つだけ接続されている場合を想定しているので、ディスプレイ表示画面上には画像ソース１−１の画像のみが表示されており、図のような状態でのメインボタン２５によるオン→オフ動作は画像ソース１−１からの画像全体を選択することになる。
【００７５】
制御部６における以上の動作を図  １０の処理Ｒ０（ｒ０−１），図１１の処理Ｒ１（ｒ１−１〜ｒ１−５）に示す。
【００７６】
また、制御部６はバスコントローラ５に対して指示を行い、重ねあわせデータストアメモリ１０内の情報を出力表示フォーマット変換部１１に出力するか、しないかの制御を行い、メインポインタの表示の有無を制御することができる。この制御はリモコンのボタン（不図示）を押すことによって実現される。このボタンのON/OFF情報は以前の説明と同様に一旦赤外線に変換されたのち、パケットデータに変換され、制御部６に入る（図１０の処理R０(r０-４)，及び図１４の処理R４）。
【００７７】
２つ以上の画像ソースが接続された場合
次に、２以上の画像ソースが接続された場合の動作について、画像ソース１−１が表示されている時に画像ソース１−２が接続された場合を例にとって説明する。
【００７８】
画像ソース１−２が本表示制御システム４０に接続されると接続認識信号を入力部２−２が検知し、その情報を制御部６に伝える。制御部６は、新たな２番目の画像ソース１−２の存在を認識すると、画像データ１−１，１−２の表示フォーマット変換を行う表示フォーマット変換部３−１，３−２のそれぞれに対してその変換パラメータを送る。また、フレームメモリ９に格納する二つの画像データ１−１，１−２の格納する階層を設定する。これらフレームメモリ９が持つ階層は優先順位を持っており、表示デバイス１３上で同じ位置に複数の階層のデータを出力する場合は、優先順位の高い階層の画像データを他の低い優先順位の階層のデータより優先して表示されるように出力表示フォーマット変換部１１に出力する。
【００７９】
上記した、表示フォーマット変換のパラメータ設定と、優先順位を持つフレームメモリの格納の設定例を図３の表示ウィンドウ配置モードの説明図に示す。
【００８０】
以下、図３を参照しながら表示制御システム４０の表示ウィンドウ配置モード図について説明する。
【００８１】
図３に示したように第１の画像入力（１−１）が表示画面全体に描画されている時に、第２の画像入力（１−２）が入力された場合、その（１−１），（１−２）の画面の表示方法は図中表示例（ａ），（ｂ），（ｃ），（ｄ），（ｅ）に示したとおり５通り以上考えられる。それぞれの表示例は、表示フォーマット変換３−１，３−２の各表示のスケーリングを変化させることと、各階層に優先順位を持つフレームメモリ９に画像データを格納する階層を変更することにより実現できる。
【００８２】
図３中（ａ）の場合は、次のようにした場合である。表示フォーマット３−１はスケーリングを行わないで入力部２−１からの画像データをそのまま、フレームメモリ９の優先順位の２番目の階層に入力する。一方表示フォーマット３−２はスケーリングを行い、入力表示ドット、ラインを間引いたり、演算処理により縮小する。そしてフレームメモリ９の優先順位の１番目に入力される。
【００８３】
同図（ｂ）の場合は、表示フォーマット３−１，３−２ともにスケーリングを行い、２つの画像が重ならないようにした場合である。
【００８４】
同図（ｃ），（ｄ）の場合は、それぞれ（ａ），（ｂ）の場合の画像データ１−１，１−２の条件を反対にしたものである。（ｅ）の場合は、表示フォーマット３−１，３−２ともにスケーリングは行わない場合である。またフレームメモリに入力する際はフレームメモリコントローラ７内の演算回路により各画像データ１−１，１−２を少なくとも最小１画素単位で演算し、その結果を、優先順位１番目に入力する。
【００８５】
上述したように２つ以上の画像データ１−１，１−２，１−３，１−４が入力された場合は、その表示方法を、表示フォーマット変換３−１，３−２，３−３，３−４のスケーリングとフレームメモリ９のストア階層により自由に変えられる。
【００８６】
このウィンドウ配置変更制御は，リモコン装置２１のボタン３０を押すことにより赤外線データ受光部２０，１９の各部分を介し制御部６に（ａ）→（ｂ）→（ｃ）→（ｄ）→（ｅ）→（ａ）のウィンドウ配置モード切り替えを指示することで可能となる。
【００８７】
制御部６はその都度、各表示フォーマット変換とバスコントローラ５フレームメモリコントローラ７にパラメータの切り替えを指示する（図１０の処理Ｒ０（ｒ０−３）、及び図１３の処理Ｒ３）。
【００８８】
メインポインタによる画像ソースの入力デバイス制御の切り替え
次に、メインポインタによる画像ソースの入力デバイス制御の切り替え方法について説明する。
【００８９】
リモコン装置２１には画像ソースの入力デバイスになる、サブジョイスティック２２、サブボタン２３と、表示デバイスに入力画像データと重ねあわせて表示されるメインポインタを制御するメインジョイステック２４とそのメインボタン２５を有する。
【００９０】
制御部６は、表示制御システム４０上で現在表示している入力画像のウィンドウの頂点４点の座標を表示フォーマット３−１，３−２，３−３，３−４でスケーリングを行うときのドット数、ライン数から演算し、常時貯えておく。
【００９１】
メインジョイステック２４から送られるXY移動量に基づき制御部６が計算するX，Y座標値は、その座標位置に対応した重ね合わせデータストアメモリ１０の位置に「マウス」などのポインタ図形を描画するとともに表示デバイス１３に表示させるように重ねあわせデータを出力表示フォーマット変換部１１に出力する。この時、先に説明した動作により画像ソース１-１にとっての入力デバイスの１つとなったサブジョイステック２２は画像ソース１-１と赤外線データ受光部２０，赤外線データ制御部１９，制御部６，パケット制御部１４-１を介して接続されており、XY移動量などのパケットのやり取りを行っており、サブジョイスティク２３の操作で画像ソース１-１のマウスが移動できるようになっている（図４（Ａ））。
【００９２】
ある時リモコン装置２１を手にしているユーザーが、サブジョイステック２２を画像ソース１−１用ではなく画像ソース１−２を制御する入力デバイスとして使いたい場合には、ユーザーはメインジョイスティック２４を使って画像データ１−２が表示している画面にメインポインタを移動させメインボタン２５を押す。このボタン２５が押された情報は赤外線データ受光部２０，赤外線データ制御部１９を介して制御部６に転送される。制御部６はそのボタン情報を受けとったときのＸ，Ｙ座標情報とあらかじめわかっている各画像ソースからの画像データ表示ウィンドウの４つの頂点座標値とを使い演算を行い、メインポインタのＸＹ座標がどの表示ウィンドウの上にあったかを求める（図１０の処理Ｒ０（ｒ０−１）、及び図１１の処理Ｒ１（ｒ１−１〜ｒ１−４））。
【００９３】
そして、制御部６は、メインボタン２５を押して（ボタンＯＮ）いる時間が予め定められた時間以下であった場合で、かつ現在の座標位置が前回メインボタン２５が押されたときと違うウィンドウの上である事を認識した場合には、ＵＳＢシリアル通信を行うためのパケット送信先の切替え動作を行う。つまりこれまでサブジョイスティック２２からのＸＹ移動情報やサブボタン２３のＯＮ／ＯＦＦ情報を画像ソース１−１に対して送信するためにパケット制御部１４−１に対してデータ書き込みを行っていたのを止め、画像ソース１−２に対応するパケット制御部１４−２に対してデータ書き込みを開始する。そして選択されたウィンドウの枠の色を変え、現在選択されているウィンドウであることを明示するとともに、以前選択されていたウィンドウ枠の色を通常に戻す（図１１の処理Ｒ１（ｒ１−６，ｒ１−９〜ｒ１−１１））。
【００９４】
この時点から、サブジョイスティック２２及びサブボタン２３はあたかも画像ソース１−２のポインティングデバイスの一つになったようになり、ユーザーは画像ソース１−２上で表示されている「マウスカーソル」などをリモコンのサブジョイスティック及びサブボタンからコントロール出来るようになる。
【００９５】
本実施の形態ではシリアルデータ通信の一例としてＵＳＢを用いているが、ＵＳＢ等のシリアル通信の多くにおいては、ポインティングデバイスなどの入力デバイス、つまり通常デバイスからホストへの情報の流れしかないようなデバイスでも、定期的もしくは非定期的にホスト（この場合各画像ソース）からデバイスに対してコマンドなどの通信データが送られて来るようになっており、それにきちんと応答しない場合は不具合が発生する。例えばバス上のデバイスアドレスの再割り当てコマンドなどがこれに当たり、これらのコマンドに的確に応答しない場合、ホスト（画像ソース）はデバイスに異常があったと認識してしまうことがある。このような事態を防ぐために、メインポインタが画像ソース１−２を選択し、パケット制御部１４−２を通してポインタのＸＹ移動量などの情報のパケット送受信を行っている間も、制御部６は選択されていない画像ソース１−１からのコマンド等の通信データに応答してパケット制御部１４−１を介した通信を行う。この様子を制御部６の動作を示した図  １６の処理Ｐ０（ｐ０−１，ｐ０−２），図１７の処理Ｐ２（ｐ１−１，ｐ１−２），図１９の処理Ｐ３，図２０の処理Ｐ４に示す。
【００９６】
次に、メインポインタのＸＹ座標データと、各画像ソースの表示ウィンドウの頂点座標データからどのように制御部６が演算してメインポインタ下のウィンドウを認識するかについて図５を用いて説明する。
【００９７】
まず、図５（Ａ）の場合について説明する。この例では、４つの画像ソースＡ，Ｂ，Ｃ，Ｄが表示デバイスに隙間なく表示されている例である。
【００９８】
この場合は表示ポインタの表示位置の座標がＸ軸、Ｙ軸方向がそれぞれＸ  ，Ｙであった場合、Ａの表示ウィンドウの４つの頂点座標を時計周りに（ａ０，ａ２），（ａ１，ａ２），（ａ１，ａ３），（ａ０，ａ３）とすると（Ｂ，Ｃ，Ｄも同様に頂点の座標を決定）
もし  ａ０  ≦  Ｘ  ＜    ａ１  かつ  ａ２  ≦  Ｙ  ＜    ａ３    ならば  Ａウィンドウ
もし  ｂ０  ≦  Ｘ  ＜    ｂ１  かつ  ｂ２  ≦  Ｙ  ＜    ｂ３    ならば  Ｂウィンドウ
もし  ｃ０  ≦  Ｘ  ＜    ｃ１  かつ  ｃ２  ≦  Ｙ  ＜    ｃ３    ならば  Ｃウィンドウ
もし  ｄ０  ≦  Ｘ  ＜    ｄ１  かつ  ｄ２  ≦  Ｙ  ＜    ｄ３    ならば  Ｄウィンドウ
という簡単な加減算の組み合わせでどの表示領域上にメインポインタがあるかを認識できる。
【００９９】
また、図５（Ｂ）の場合のようにＡ，Ｂの画像ソースがスケーリングを行っていた場合は、該当する表示領域が存在しない領域が現れる。この場合は、メインポインタが図示の位置にあるときにリモコンのメインボタン２５が押された場合でも、前述の制御部６におけるパケット送信先の切替え動作は行わない。
【０１００】
また、図５（Ｃ）の場合のようにＣの画像ウィンドウの上にＡの画像ウィンドウが重なっている場合は、図中のメインポインタの位置に対応するウィンドウはＡ，Ｃの両方に該当することになる。この場合は、上記したフレームメモリ９の優先順位の高い画像ソース（この場合はＡ）が選択される。
このように、制御部６は、メインジョイステック２４からのＸＹ座標データ、入力画像データの各表示ウィンドウ頂点座標データ、入力画像データの格納される階層を持つフレームメモリの優先順位データからメインボタン２５が押されたときにメインポインタの下にある入力画像ソースを認識できる。
【０１０１】
画像ソース側からの表示の更新・非更新の制御
次に、各画像ソースから本実施の形態の表示制御システム上の表示の更新・非更新の制御について説明する。図６は画像ソースがＷｉｎｄｏｗｓなどのグラフィカルな操作環境を有している場合に一般的なソフトウェア構成図である。もちろん必ずしもこのようなソフトウェア構成をとっている必要はない。
【０１０２】
図中Ｌ５は、シリアル通信用デバイスドライバで、本実施の形態では後述のアプリケーションＬ１側からのデータをＵＳＢプロトコルに準じたデータ（ＵＳＢパケット）への変換、及びＵＳＢパケットを変換してアプリケーション側に伝える部分である。
【０１０３】
Ｌ３は、ポインタデバイスドライバで、このドライバが前述のリモコン装置２１のサブ・ジョイスティック２２のＸＹ移動量やサブボタン２３のＯＮ／ＯＦＦ情報を制御部６→パケット制御部１４→シリアル通信ハードウェアＬ６→シリアル通信ドライバＬ５を経由して受け取り、ＧＵＩ（図中Ｌ２）（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）に渡すことにより、画像ソースの「マウス」ポインタの移動などのリモコン装置２１から制御を可能にしている。これらシリアル通信デバイスドライバＬ５、及びポインタデバイスドライバＬ３は画像ソース上で動作しているグラフィカル操作環境が提供しているものを使ってもよい。
【０１０４】
一方、マルチウィンドウ・ドライバＬ４は本実施の形態で特別に構築されたものであり、後述のアプリケーションＬ１からの命令及び、データをシリアル通信デバイスドライバＬ５の仕様にあうように変換、及びシリアル通信デバイスドライバＬ５から受け取った命令やデータをアプリケーションに伝える役目を持っている。
【０１０５】
Ｌ１は「マルチウィンドウ制御アプリケーション」であり、画像ソース上のグラフィカルな操作環境上で動作するアプリケーションソフトである。画像ソースを操作しているユーザーは予め本アプリケーションを起動しておくか、または予めグラフィカル操作環境に登録しておき、表示制御システムとのシリアル通信バス（本実施の形態ではＵＳＢバス）コネクションが確立された後に自動起動するようにしておいてもよい。図７はアプリケーションＬ１を起動した際の操作ウィンドウを示したものである。図中ｗ１が本実施の形態における表示制御システム４０への表示の更新／非更新を切り替える為のボタンである。
【０１０６】
以下に画像ソース１−１を操作しているユーザーがこのボタンを押した場合の動作について図１６〜図２３と図２４〜図２９の各フローチャートを参照しながら述べる。
【０１０７】
図１６〜図２３はアプリケーションとマルチウィンドウ・ドライバの動作（パケット制御部からのデータ入力処理）を示し、図２４〜図２９は制御部６の動作（グラフィカル操作環境（ＧＵＩ）からのメッセージ入力処理）を示している。
【０１０８】
アプリケーションL１は「表示非更新」ボタンw１が押されたことをマルチウィンドウ・ドライバに対して伝えると同時にボタンw１上に表示されているラベルを「表示更新」に切り替える（図２４の処理A０(a０-１)、図２５の処理A１(a１-１，a１-４，a１-５)）。マルチウィンドウ・ドライバL４は受け取ったこの情報をコマンドに変換しシリアル通信デバイスドライバL５へと転送する。シリアル通信デバイスドライバL５はこのコマンドをUSBシリアル通信のパケットに変換して、マルチウィンドウディスプレイシステムのパケット制御部１４-１へと送信する。パケット制御部１４-１はパケットをコマンドに再変換し、制御部６に伝える。コマンドを受け取った制御部６はこのコマンドに基づきバスインターフェース４-１に対しての制御を行い、画像ソース１-１からの画像の更新をストップする（図１６の処理P０(p０-３)、図１８の処理P２(p２-３)、図２１の処理P５(p５-１，p５-２)）。
【０１０９】
また、反対にユーザーが「表示更新」とラベルされているボタンを押した場合にも同様にシリアル通信を通してコマンドが送られ（図２４の処理Ａ０（ａ０−１）、図２５の処理Ａ１（ａ１−１，ａ１−２，ａ１−３））、制御部６はこれに応じてバスインターフェース４−１に対して制御を行い、画像ソース１−１からの画像の更新を開始する。（図１６の処理Ｐ０（ｐ０−３）、図１８の処理Ｐ２（ｐ２−３）、及び図２１の処理Ｐ５（ｐ５−１，ｐ５−３））
以上の動作により、各画像ソースを使っているユーザー側から、マルチウィンドウディスプレイ上に表示されている自分のウィンドウの画像の更新／非更新を自由に制御することが可能となる。
【０１１０】
共有クリップボードを使ったデータ共有
（ディスプレイ→ＰＣ）
次に、図８、及び図１０〜図１５、図１６〜図２３、図２４〜図２９の各フローチャートを用いて本実施の形態の表示制御システム４０に設けられた共有クリップボードを使用したファイルの共有制御について述べる。「クリップボード」とはデータを一時的に待避させておくメモリ手段を示した名称であり、実際にはメモリに設けられた領域の事を示す。以下このメモリ領域のことを「クリップボード」として説明をする。図８中Y１は重ねあわせデータストアメモリに制御部が描画した「アイコン」であり、ここでは「共有クリップボード・アイコン」と呼ぶ。また、現在画像ソース１-１及び１-２の２つが接続されている場合を想定して説明をする。
【０１１１】
先ず、あるユーザーがリモコン装置２１のジョイスティック２４を使って画像ソース１−１の画像の上にメインポインタを移動しボタン２５を押して（ボタンＯＮ）画像ソース１−１の画像を選択し、このボタンを押している時間が予め決められた時間（例えば１秒）以上だった場合には、制御部６はバスインターフェース４−１を制御して、画像ソース１−１からの画像の更新をストップする（図１１の処理Ｒ１（ｒ１−１〜ｒ１−８））。その状態が図８（Ａ）である。制御部６はこれより「ドラッグ状態」という状態に入る。そして、ユーザーがボタン２５を押したままメインポインタを移動し、前述の「共有クリップボードアイコン」の上でボタン２５を放した（ボタンＯＦＦ）場合（図８（Ｂ））、制御部６はフレームメモリ９内の画像ソース１−１の画像に対応するウィンドウ領域を読み出し、制御部６内部のＲＡＭに保存する。その後、制御部６はバスインターフェース４−１に対して再び表示更新を開始するよう指示する（図１１の処理Ｒ１（ｒ１−２）、図１５の処理Ｒ５（ｒ５−１〜ｒ５−３，ｒ５−５〜ｒ５−７））。
【０１１２】
以上の動作により、画像ソース１−１の画像は制御部６内に設けられたＲＡＭ領域、つまり「共有クリップボード」内に保存される。制御部６はその後「共有クリップボードアイコン」の色もしくは形を変えるよう重ねあわせデータストアメモリに対して描画を行い、「共有クリップボード」内にデータがあることを明示する。
【０１１３】
一方、画像ソース１−２を操作している別のユーザーが共有クリップボード内のデータ（この場合画像ソース１−１の表示画像）を自分の操作している画像ソース側にコピーしたい場合、図７のアプリケーションのｗ３に示す選択スイッチの「共有→ローカル」を選択し、コピーボタンを押すことにより、制御部６に対してＵＳＢシリアル通信を通して、共有クリップボード内のデータの送信を促すコマンドが送信される（図２４の処理Ａ０（ａ０−３）、図２７の処理Ａ３（ａ３−１，ａ３−３））。制御部６はこのコマンドを受信後、内部のＲＡＭに保存してあったデータをＵＳＢシリアル通信を介して転送するべく、データをいくつにも分割しパケット制御部１４−２に対してデータの書き込みを行う（図１６のＰ０（ｐ０−３）、図１８の処理Ｐ２（ｐ２−４）、図２２の処理Ｐ６（ｐ６−１，ｐ６−３））。画像ソース１−２上のアプリケーションはＵＳＢシリアル通信を通して転送されてきた分割データを再び構築し直し、画像ソース上で動作しているグラフィカル操作環境の管理する「ローカル・クリップボード」へとデータを転送する（図２７の処理Ａ３（ａ３−４））。通常グラフィカルな操作環境においては本実施の形態で示したような「クリップボード」のような一時的なデータ待避を行う為のメモリ領域が定義されており、上記説明の「ローカル・クリップボード」とはそのようなメモリ領域の事を意味している。実際にデータが保存される場所としてはもちろんメモリＩＣであったり、ハードディスクやＤＶＤなどのメモリディスクメディアであってもよい。
【０１１４】
以上動作により、表示制御システム上に表示されている画像データを「共有クリップボード」という保存機能を介して、各画像ソースへと転送することが可能となる。
【０１１５】
（ＰＣ→ＰＣ）
また、この「共有クリップボード」を使い、各画像ソース間のデータ共有も可能となる。以下にその動作を説明する。
【０１１６】
例として、画像ソース１−１を操作しているユーザーが転送したいデータをグラフィカル操作環境の管理するローカル・クリップボードへ転送した後に、図７のアプリケーションのｗ３に示す選択スイッチの「ローカル→共有」を選択しコピーボタンを押した場合、アプリケーションＬ１は先ず、ＵＳＢシリアル通信を介して制御部６にコマンドを送り、これからデータを転送する事を旨を伝える。それからグラフィカル操作環境の管理するローカル・クリップボードからデータを読み出し、ＵＳＢシリアル通信を介して、パケットとして制御部６へと転送する（図２４の処理Ａ０（ａ０−３）、図２７の処理Ａ３（ａ３−２，ａ３−５，ａ３−６））。
【０１１７】
制御部６はコマンドに応答し、パケット制御部１４−１を介してデータを受け取り、そのデータを内部のＲＡＭに保存するとともに、重ねあわせデータストアメモリ１０の「共有クリップボードアイコン」の色または形状を換え、「共有クリップボード」内にデータがある事を明示する（図１６の処理Ｐ０（ｐ０−３）、図１８の処理Ｐ２（ｐ２−４）、図２２の処理Ｐ６（ｐ６−２，ｐ６−４））。
【０１１８】
一方、その後に画像ソース１−２を操作しているユーザーが「共有クリップボード」にあるデータを自分の操作している画像ソース側にコピーしたい場合には、図７のアプリケーションのｗ３に示す選択ボタンの「共有→ローカル」を選択し、コピーボタンを押すことにより、制御部６に対してＵＳＢシリアル通信を通して、コマンドが送信される（図  ２４の処理Ａ０（ａ０−３）、図２７の処理Ａ３（ａ３−１，ａ３−３））。
【０１１９】
制御部６はこのコマンドを受信後、内部のＲＡＭに保存してあったデータをＵＳＢシリアル通信を介して転送するべく、データをいくつにも分割しパケット制御部１４−２に対してデータの書き込みを行う（図１６の処理Ｐ０（ｐ０−３）、図１８の処理Ｐ２（ｐ２−４）、図２２の処理Ｐ６（ｐ６−１，ｐ６−３））。画像ソース２−１上のアプリケーションはＵＳＢシリアル通信を通して転送されてきた分割データを再び構築し直し、グラフィカル操作環境の管理するローカル・クリップボードへとデータを転送する（図２７の処理Ａ３（ａ３−４））。このような動作により、画像ソース１−１から画像ソース１−２へのデータの転送が「共有クリップボード」という保存機能を介して可能となる。
【０１２０】
画像ソース側からのメインポインタ制御
次に、各画像ソースから、メインポインタを制御する動作を説明する。例として、画像ソース１−１を操作しているユーザーがメインポインタを操作する場合を例とする。画像ソース１−１を操作しているユーザーが、図７に示したアプリケーションのｗ２に示すテキストウィンドウに表示されたキーを押しながら、画像ソース１−１に直接接続されたポインティングデバイス（マウス・トラックボール等）を操作した場合には、アプリケーションはＧＵＩからマウスのＸＹ移動量及びボタンのＯＮ／ＯＦＦ情報を取得し、マルチウィンドウ・ドライバに対し伝える。マルチウィンドウ・ドライバはその情報及び対応するコマンドをシリアル通信ドライバに渡し、シリアル通信ドライバはそのコマンドとＸＹ移動量情報を含んだパケットを形成し、ＵＳＢシリアル通信によりパケット制御部１４−１に対してパケットを転送する（図２４の処理Ａ０（ａ０−４）、図２８の処理Ａ４（ａ４−１，ａ４−２））。
【０１２１】
制御部６はパケット制御部からこれらコマンド及びＸＹ移動量及びボタンＯＮ／ＯＦＦ情報を入手し、リモコンのメインジョイスティック２４及びメインボタン２５からのデータと同様の動作を行う（図１６の処理Ｐ０（ｐ０−３）、図１８の処理Ｐ２（ｐ２−５）、図２３の処理Ｐ７（ｐ７−１））。つまり、例えばＸＹ移動量データを入手した場合には、重ねあわせデータストアメモリへの描画を行い、メインマウスの位置を移動させる。このような動作により、画像ソースを操作しているユーザーがリモコンを使わずにメインマウスを操作することが可能となる。
【０１２２】
なお、図７に示したアプリケーションではメインマウスを制御する際のキーを変えることが可能であり、「シフトキー」以外にも「Ａｌｔキー」や「Ｃｔｒｌキー」などのキーを割り当てる事ができる。割り当てキーを変更したい場合にはアプリケーションのｗ２に示したテキストウィンドウをマウスでクリックし、メニューリスト表示された候補（Ａｌｔキー／Ｃｔｒｌキー／Ｓｈｉｆｔキー）の中から選択することによって行うことが出来る（図２４の処理Ａ０（ａ０−２）、図２６の処理Ａ２（ａ２−１，ａ２−２，ａ２−３））。
【０１２３】
ディスプレイ上のアクションによる表示ソフト自動起動
次に、本発明の表示制御システムのマルチウィンドウ・ディスプレイシステムの持つ機能である、画像ソース側での表示ソフトの自動起動機能の動作について図９と、図１０〜図１５、図２４〜図２９の各フローチャートを使って説明する。
【０１２４】
先ず、あるユーザーがリモコン装置２１のジョイスティック２４を使って画像ソース１−１の画像の上にメインポインタを移動しボタン２５を押して画像ソース１−１の画像を選択する。このボタンを押している時間が予め決められた時間（例えば１秒）以上だった場合には、制御部６はバスインターフェース４−１を制御して、画像ソース１−１からの画像の更新をストップする（図１０の処理Ｒ０（ｒ０−１）、図１１の処理Ｒ１（ｒ１−３〜ｒ１−８））。その状態が図９（Ａ）である。制御部６はこれより「ドラッグ状態」という状態に入る。そして、ユーザーがボタン２５を押したままメインポインタを移動し、画像ソース１−２のウィンドウ上でボタン２５を放した場合（図９（Ｂ））、制御部６はフレームメモリ９内の画像ソース１−１の画像に対応するウィンドウ領域を読み出し、内部のＲＡＭに保存する。保存動作終了後、制御部６はバスインターフェース４−１に対して非更新状態にしていたウィドウの更新を再び開始するよう指示する（図１１の処理Ｒ１（ｒ１−２）、図１５の処理Ｒ５（ｒ５−１〜ｒ５−４，ｒ５−８，ｒ５−９））。
【０１２５】
さらに制御部６は画像ソース２−１のアプリケーションに対してＵＳＢシリアル通信を介して表示ソフト起動コマンドを送り、これからデータが転送することを伝えた後、内部ＲＡＭに保存していたデータを一定の大きさ毎に読み出し、圧縮処理を加えた後、パケット制御部１４−２書き込むことにより、ＵＳＢシリアル通信を介して画像ソース１−２へと転送する。（図１５の処理Ｒ５（ｒ５−１０，ｒ５−１１））。この圧縮処理に関してはＪＰＥＧなどを一般的な圧縮アルゴリズムを使ってもよい。
【０１２６】
パケット制御部１４−２及びシリアル通信を介して送られたデータは画像ソース１−２のアプリケーションによって読み出され、アプリケーションはそれらのデータを復元処理及び画像データの再構築するとともに、ファイルとしてディスクまたはメモリ上に保存する。さらにアプリケーションは画像全体をファイルとして保存し終わるとファイル名を付加し、グラフィカル操作環境に対して、予め登録してあった画像表示アプリケーションを起動するようにリクエストを出すと同時に、保存したファイル名、ディスク上の保存場所などをこの画像表示アプリケーションに対して伝える（図２９の処理Ａ１０（ａ１０−１〜ａ１０−３））。こうして画像表示アプリケーションが画像ソース１−２上で自動的に起動し、リモコン装置２１を使ってドラッグ＆ドロップした画像ソース１−１の表示画像を自動的に画像ソース１−２へ取り込むばかりでなく、自動的に表示アプリケーションを起動することで、画像ソース１−２を操作しているユーザーが直ちに見て、加工、保存出来る状態にすることが出来る。
【０１２７】
なお、画像ソースを操作しているユーザーがこの表示ソフトの自動起動機能を使いたくない場合には図７のｗ４に示すチェックボックスのマークを外すことでこの機能を停止することが出来る。
【０１２８】
以上が本実施の形態における表示制御システム及び画像ソースにおけるソフトウェアの動作の説明である。
【０１２９】
前述したように、本実施の形態では表示制御システムと画像ソースとの間の通信手段にＵＳＢを用いているが、本発明の本質からすれば、これに限ることなく、他の方式を使用しても同様であることは言うまでもない。また、画像ソースとして、本実施の形態ではＷｉｎｄｏｗｓのように、マウスカーソル、ウィンドウ表示、立体ボタン、テキストボックスなどを有する比較的高度なグラフィカル操作環境が動作しているものを前提に述べてられているが、本発明の本質からすれば、そのようなものに限ることはなく、ユーザーが画面に表示されたアイテムを選択しながら操作を行うものならば何でもよく、例えば簡単なテキストによる操作画面と単純な文字カーソルの表示しかできないようなグラフィカル操作環境であってもよい。
【０１３０】
【発明の効果】
以上詳述したように、請求項１の表示制御装置によれば、移動指示手段からの指示により第１の位置指示マークを表示デバイス上で移動させることができると共に、移動指示手段を用いて、映像表示装置から出力される第２の位置指示マークの移動を、当該映像表示装置へ指示することができる。
【０１３１】
請求項３の表示制御装置によれば、移動指示手段からの指示により第１の位置指示マークを表示デバイス上で移動させることができると共に、画像情報を出力する映像表示装置のユーザー情報入力手段からの指示に基づき、第２の位置指示マークを表示デバイス上で移動させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のに係る表示制御装置のシステム構成図を示す。
【図２】表示制御システムの表示画面及びウィンドウ表示、メインポインタ、画像ソースポインタの説明図であり、（Ａ）は、画像ソースポインタの制御の場合を示し、（Ｂ）は、メインポインタの制御の場合を示す。
【図３】表示制御システムのもつ表示ウィンドウ配置モードの説明図である。
【図４】表示制御システムの表示画面及びウィンドウ表示、メインポインタ、画像ソースポインタの説明図であり、（Ａ）は、メインポインタによって画像ソース（１−１）のウィンドウが選択された場合を示し、（Ｂ）は、メインポインタによって画像ソース（１−２）のウィンドウが選択された場合を示す。
【図５】４つのウィンドウがさまざまな組み合わせで表示されている場合の制御部６におけるウィンドウの選択動作の説明図である。
【図６】画像ソース上で動作しているグラフィカルな操作環境における一般的なソフトウェア構成と本実施の形態で使用したソフトウェアの関係を示した図である。
【図７】本実施の形態で用いた画像ソース側のグラフィカル操作環境上で動作するアプリケーションの操作画面を示した図である。
【図８】表示制御システムの表示画面の説明図であり、（Ａ）は、メインポインタによって画像ソース（１−１）のウィンドウが選択された場合を示し、（Ｂ）は、メインポインタによってクリップボード・アイコンＹ１が選択された場合を示す。
【図９】表示制御システムの表示画面の説明図であり、（Ａ）は、メインポインタによって画像ソース（１−１）のウィンドウが選択された場合を示し、（Ｂ）は、メインポインタによって画像ソース（１−２）のウィンドウが選択された場合を示す。
【図１０】表示制御システム４０の制御部６の赤外線データ制御部からのデータ入力処理のメインフローのフローチャートである。
【図１１】図１０のフローチャートにおける処理（Ｒ１）のフロチャートである。
【図１２】図１０のフローチャートにおける処理（Ｒ２）のフロチャートである。
【図１３】図１０のフローチャートにおける処理（Ｒ３）のフロチャートである。
【図１４】図１０のフローチャートにおける処理（Ｒ４）のフロチャートである。
【図１５】図１０のフローチャートにおける処理（Ｒ５）のフロチャートである。
【図１６】表示制御システム４０の制御部６のパケット制御部からのデータ入力処理のメインフローのフローチャートである。
【図１７】図１６のフローチャートにおける処理（Ｐ１）のフロチャートである。
【図１８】図１６のフローチャートにおける処理（Ｐ２）のフロチャートである。
【図１９】図１６のフローチャートにおける処理（Ｐ３）のフロチャートである。
【図２０】図１６のフローチャートにおける処理（Ｐ４）のフロチャートである。
【図２１】図１６のフローチャートにおける処理（Ｐ５）のフロチャートである。
【図２２】図１６のフローチャートにおける処理（Ｐ６）のフロチャートである。
【図２３】図１６のフローチャートにおける処理（Ｐ７）のフロチャートである。
【図２４】表示制御システム４０の制御部６のグラフィカル操作環境（ＧＵＩ）からのメッセージ入力処理のフローチャートである。
【図２５】図２４のフローチャートにおける処理（Ａ１）のフロチャートである。
【図２６】図２４のフローチャートにおける処理（Ａ２）のフロチャートである。
【図２７】図２４のフローチャートにおける処理（Ａ３）のフロチャートである。
【図２８】図２４のフローチャートにおける処理（Ａ４）のフロチャートである。
【図２９】表示制御システム４０の制御部６のシリアル通信ドライバから表示ソフト起動コマンドの入手処理ののフローチャートである。
【符号の説明】
１−１，１−２，１−３，１−４  画像ソース（映像表示装置）
２−１，２−２，２−３，２−４  入力部
３−１，３−２，３−３，３−４  表示フォーマット変換部
４−１，４−２，４−３，４−４
５  バスコントローラ
６  制御部（制御手段、第１及び第２のオーバーレイ表示手段、禁止手段、送出手段、第２のメモリ手段）
７  フレームメモリコントローラ
８  重ね合わせデータコントローラ
９  フレームメモリ（メモリ手段、第１のメモリ手段）
１０  重ね合わせデータストアメモリ
１１  出力表示フォーマット変換部
１２  表示駆動コントローラ
１３  表示デバイス
１４−１，１４−２，１４−３，１４−４
１９  赤外線データ制御部
２０  赤外線データ受光部
２１  リモコン装置
２２  サブジョイスティック（他の表示入力手段）
２４  メインジョイスティック（第１のオーバーレイ表示手段、表示位置情報入力手段）
４０  表示制御システム（表示制御装置）
【図１】
0003599561.tif 000002
【図２】
0003599561.tif 000003
【図３】
0003599561.tif 000004
【図４】
0003599561.tif 000005
【図５】
0003599561.tif 000006
【図６】
0003599561.tif 000007
【図７】
0003599561.tif 000008
【図８】
0003599561.tif 000009
【図９】
0003599561.tif 000010
【図１０】
0003599561.tif 000011
【図１１】
0003599561.tif 000012
【図１２】
0003599561.tif 000013
【図１３】
0003599561.tif 000014
【図１４】
0003599561.tif 000015
【図１５】
0003599561.tif 000016
【図１６】
0003599561.tif 000017
【図１７】
0003599561.tif 000018
【図１８】
0003599561.tif 000019
【図１９】
0003599561.tif 000020
【図２０】
0003599561.tif 000021
【図２１】
0003599561.tif 000022
【図２２】
0003599561.tif 000023
【図２３】
0003599561.tif 000024
【図２４】
0003599561.tif 000025
【図２５】
0003599561.tif 000026
【図２６】
0003599561.tif 000027
【図２７】
0003599561.tif 000028
【図２８】
0003599561.tif 000029
【図２９】
0003599561.tif 000030