(57)【特許請求の範囲】
【請求項１】
複数の系統の映像信号が入力する少なくとも一つの入力手段と、
前記入力手段に入力する複数の映像信号の伝送情報量の総計を任意の値にするために、前記入力手段に入力する映像信号の画像属性情報群と画像表示手段のＥＤＩＤ情報を参照して、各伝送情報量の変更量と変更方法を決定する伝送情報量管理手段と、
各伝送情報量の変更方法を指定した情報量制御信号を作成する情報量制御信号作成手段と、
前記入力手段に入力する複数の系統の映像信号源に対して、前記情報量制御信号を通信する情報量制御信号通信手段と、
前記入力手段に入力する伝送情報量の総計を制御する制御手段と
を有することを特徴とする画像処理装置。
【請求項２】
さらに、画像を表示するための画像表示手段を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記情報量制御信号の指示する伝送情報量の変更は、表示領域の画素数に応じた解像度の変更であることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記情報量制御信号の指示する伝送情報量の変更は、画面に表示している領域のみの画像信号を伝送するように指定することを特徴とする請求項１記載の画像処理装置。
【請求項５】
画像処理装置の制御方法であって、
（ａ）複数の系統の映像信号を入力するステップと、
（ｂ）前記入力する複数の映像信号の伝送情報量の総計を任意の値にするために、前記映像信号の画像属性情報群と画像表示手段のＥＤＩＤ情報を参照して、各伝送情報量の変更量と変更方法を決定するステップと、
（ｃ）各伝送情報量の変更方法を指定した情報量制御信号を作成するステップと、
（ｄ）前記入力する複数の系統の映像信号源に対して、前記情報量制御信号を通信するステップと、
（ｅ）前記入力する伝送情報量の総計を制御するステップと
を有することを特徴とする画像処理装置の制御方法。
【請求項６】
画像処理装置の制御方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
（ａ）複数の系統の映像信号を入力する手順と、
（ｂ）前記入力する複数の映像信号の伝送情報量の総計を任意の値にするために、前記映像信号の画像属性情報群と画像表示手段のＥＤＩＤ情報を参照して、各伝送情報量の変更量と変更方法を決定する手順と、
（ｃ）各伝送情報量の変更方法を指定した情報量制御信号を作成する手順と、
（ｄ）前記入力する複数の系統の映像信号源に対して、前記情報量制御信号を通信する手順と、
（ｅ）前記入力する伝送情報量の総計を制御する手順と
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理技術に関し、特に伝送情報量を制御するための画像処理技術に関する。
【０００２】
【従来の技術】
通信技術の発達により、オフィスでのネットワーク化が進み、パーソナルコンピュータ（PC）を中心に様々な機器が相互接続されて機能の共有が実現されるようになった。さらに近年において、IEEE1394やUSB等でHAViやJiniといった家庭内の機器間での通信の規格化も進み、家庭内での機器のネットワーク化も進んでいる。
【０００３】
一方、以前はTVセットとパーソナルコンピュータ（PC）のディスプレイは全くの別物であったが、相互の融合化が進み、PCの画像を表示できるＴＶや、ＴＶの信号を入力できるＰＣのディスプレイが現れてきた。
【０００４】
さらに、ワイド対応のテレビやプラズマディスプレイ、リア型プロジェクションTVや投射型のプロジェクターなどの大画面の表示装置において、映画やTV、ホームビデオ、プレゼンテーション、TV会議、各種資料の表示などのさまざまな映像ソースをオフィスや家庭で利用する場面が増加している。このような中で、ディスプレイには、１つの画面内に複数の異なる画像信号源の画像を画面内に分割して表示を行うマルチ画面表示機能の要求が有る。
【０００５】
図１４に、従来の一般的なディスプレイの例として、PC（パーソナルコンピュータ）用のディスプレイの構成図を示す。C1は、画像信号源としてのPCであり、C15は、表示装置としてのPC用のディスプレイである。ここでは、デジタルで画像信号を伝送するディスプレイを例示している。
【０００６】
C1において、C2がCPU(中央演算装置)であり、C3がこのCPUの制御信号を各部に伝えると共に、全体のデータバス、制御バスを制御するバスコントロール部である。C11aが、各部を接続するデータバスおよび制御バスからなるシステムバス配線である。C11bが、C2とC3間のバス配線である。C4はこのPCのメインメモリ部であり、C5はハードディスクなどの記録媒体部である。C6が、ディスプレイ用の画像信号を作成するグラフィック描画部であり、ここで、ディスプレイへの出力画像属性（解像度、画素周波数、画面の更新周波数、ガンマ特性、階調数、色特性など）にあわせた出力が行われる。
【０００７】
C7は、C6の画像処理時に用いられる画像メモリである。C11eは、C6とC7間のデータバスおよび制御バスである。C8は、グラフィック作成部で作成された画像信号を、ディスプレイに伝送するための画像送信部である。具体的には、ディスプレイの規格化団体DDWG（Digital Display Working Group）が策定したDVI（degital video interface）規格などの採用したTMDS規格の伝送素子や、画像を圧縮したり、一部を部分書き変えした部分のみを伝送する伝送素子である。
【０００８】
C9および、C10がディスプレイとPC間での通信のための部分である。ここで、ディスプレイとPC間での通信に関しては、DDC（Display Data Channel）という標準が有る。DDCとは、ディスプレイ関連の標準化団体であるVESA（Video・Electronic・Standard・Association）が勧告した、コンピュータが表示装置を認識および制御するためのやりとりの標準である。この通信方法にのっとって、同じくVESAが標準化したEDID（Extended Display Identification Data）形式のディスプレイの情報が、ディスプレイ側からPC側に伝送される。
【０００９】
先述のDVI規格も、このDDC通信を採用してディスプレイとPC間での通信を行うと共に、ホットプラグ機能（ディスプレイとPCを接続した時を検出してDDC通信を行う機能）を規定している。C10が、このDDC通信を行うDDC通信部であり、C9がホットプラグ機能を実現するための、接続検出部である。C9は例えば、ディスプレイ非接続時は、抵抗によりプルアップやプルダウンされていて、接続したことによりGNDや電源電位に電位が変化してディスプレイ接続の検出を行う。C11cは、C9およびC10からの信号をC6に伝送するための配線群である。あるいは、C9とC10の制御はCPUから制御される場合も有る。
【００１０】
C15において、C17がディスプレイを制御するマイコン部であり、C25aがこのマイコンからの制御バスおよびデータバスからなる配線群である。C18はC8から伝送されたTMDS規格等の画像信号を受信して、RGB各色8ビットなどの信号処理に適したフォーマットに変換する画像受信部である。C19が、PCからの画像の画素数をディスプレイの表示画素数にあわせるための解像度変換や画面更新周波数の変換を行うための解像度変換部でありC20が画像メモリ部である。C25eは、画像メモリのデータバスおよび制御バスである。C21は、画像表示部に用いられる液晶やCRTなどの特性にあわせて、ガンマ特性や色特性などを変換したりオンスクリーンディスプレイなどの文字表示を行う画像表示用処理部である。C22は、液晶やCRT、PDP、EL、LEDなどの素子で構成される画像表示部である。
【００１１】
C24が、前述のDDC通信を行うDDC通信部、C23が、接続したことを認識させるためのバイアス電圧などを供給する接続信号供給部である。C25bからC25dは、画像のデータバスである。
【００１２】
C14a〜C14cがPCとディスプレイ間を接続する配線であり、C14aが画像信号の配線、C14bがDDC通信の配線、C14cが接続検出のための配線である。通常、 C14a〜C14cは1つの画像専用ケーブルにまとめられる。
【００１３】
この例で示すように、従来のPC用のディスプレイは基本的に画像を出力するPCとは1対1で接続されてきた。 表示画面の解像度は、PCの起動時や、PCとディスプレイの接続検出時にDDC通信によりEDIDデータを授受して決定されていた。
【００１４】
図１５に、現在策定が進められているHAViやJiniといった家庭内の機器間での通信の規格における各機器間の接続形態の例を示す。
【００１５】
図１５において、D1およびD13は、デジタル放送の受信可能なデジタルテレビ（DTV#A,DTV#B）である。ここで、Ｄ1はセットトップボックスＤ２を介してIEEE1394などのネットワークに接続され、Ｄ２とはＤ19で示されるＤ端子などの画像専用のケーブルで接続される。また、Ｄ13は、IEEE1394デコーダを内蔵しているため、直接ネットワークに接続されている。また、D４がPC（PC#A）、D3がそのディスプレイ（PCDisplay＿A）、D18aがその専用画像ケーブルであり、この3者が図１４で説明した構成図に対応する。また、 同様にD10がPC（PC#B）、D9がそのディスプレイ（PCDisplay＿B）、D18bがその専用画像ケーブルである。ここで、D4,D10ともIEEE1394に接続されるが、これはディスプレイへの画像信号ではなく、その他の信号の伝送に使用される。その他に、D5が別系統のデジタルテレビのチューナー（DTV TUNER）であり、D6がデジタルビデオ（DV）、D11がDVDディスクプレーヤー（DVD）、D12が番組録画のためのハードディスクからなるサーバー（HDD）、 これらのAV機器はIEEE1394で接続されて、相互に接続して画像信号をやり取りする。D14は公衆網D15に接続するモデム（modem）であり、D16が公衆網に接続する電話回線などである。D7とD8はIEEE1394信号を分岐接続するためのハブである。D17a〜D17jは、IEEE1394規格の通信線である。
【００１６】
このように接続された家庭内ネットワークで、ユーザーはD1やD13のテレビで、様々なソース（DTV TUNER、DV、DVD、HDD）が離れた場所から使用可能な環境が実現する。
【００１７】
【発明が解決しようとする課題】
しかしながら、従来の家庭内ネットワーク構成においては、PCの出力画像が専用ケーブルで専用ディスプレイに1対1に接続されるため、他のAV機器のようにデジタルテレビなどでネットワーク経由でPC画像が参照できない欠点があった。また、専用ケーブルは比較的太く、伝送距離を延ばせないためPCとディスプレイは近接配置せざるをえなかった。
【００１８】
これは、以下の原因による。第一として、現在のディスプレイの伝送方式では、同一線上に異なる画像信号を伝送した場合、伝送速度の制限を超えてしまう問題がある。例えばXGAの解像度の場合（1024画素×768画素、60Hzの更新周期、画素周波数65MHz、各色8ビット）情報量が1.56Gbit/secで、IEEE1394の伝送速度400Mbit/secよりも、もともとPCの画像信号が多い。このため、TMDS等による特殊な伝送を行う専用ケーブルを使わざるを得なかった。画像圧縮を行えば、このデータ量の削減は可能であるが、他にもネットワーク特有の問題が残る。
【００１９】
MPEG規格や部分書き換えなどの画像圧縮を行うことにより、単体では情報量的には伝送可能になっても、家庭内のネットワーク構成で任意の場所から参照しようとした場合、同一の配線上を複数の画像信号が伝送されるので、伝送速度の許容量を超えてしまう可能性が有る。特に、マルチ画面表示で複数の画面を表示した場合は、回線を占有する画像信号が増加して、PCばかりでなく、現在ネットワークで伝送されることを前提に考えられているデジタルテレビでも、 同様の問題を有すると考えられる。
【００２０】
第二として、現在のPCとディスプレイの解像度決定方式は１対１前提の考え方のため、ネットワーク独特の多対多システムに対応していない。ディスプレイからDDC通信でPCに転送するEDIDデータ（現在Ver.1.3）は、表示可能な解像度の一覧を示すだけで、実際の解像度はこれを参照したPCのグラフィック描画部が選択して、ディスプレイに該当解像度の信号出力を一方的に送り出す構成をとっている。このため、ディスプレイは、送られた画像信号から解像度を判別することにより、どの解像度でPCから信号が送出されるかを推測しているのにすぎない。したがって、情報量の多い画像信号が、複数の信号源から送られて伝送線路やディスプレイの処理能力を超えて、正しい表示ができなくなる等の問題が発生しても、ディスプレイからの対処が行えない。
【００２１】
また、本来ホストとしての役割を演じているPCなどの信号源側も、信号源に接続したディスプレイの表示能力は把握できるが、そのディスプレイに接続した別の信号源の情報量までは把握できる構成ではないため、こうした問題をシステムとして防止することができない構成であった。
【００２２】
第三として、現在のPCの解像度決定方式では、従来の1対１前提の考え方のため、ネットワーク独特の多対多対応に対応できず、任意の表示装置を任意の信号源に対して適切な表示属性に設定できない。これは、DDC規格では、表示画面の解像度決定のためにEDIDデータの授受を行う時が、PCの起動時や、PCとディスプレイの接続検出時に限られているためである。さらに、ディスプレイからは、DDC通信でEDIDデータをPCに転送するものの、このEDIDデータ（現在Ver.1.3）は、表示可能な解像度の一覧を示すだけで、実際の解像度はこれを参照したPCのグラフィック描画部が決定して、ディスプレイに該当解像度の信号出力を一方的に送り出す構成である。このため、ディスプレイは、送られた画像信号から解像度を判別することにより、どの解像度でPCから信号が送出されるかを推測しているのにすぎない。このため、PCとディスプレイ間で、誤った解像度を表示したり、表示できないケースも生じる。こうした状況で、多対１あるいは多対多のシステムでの解像度のやりとりや、MPEGを用いた家庭用AV（AUDIO・VIDEO）機器との混合したマルチ画面の表示を同一信号線で行うことができなかった。
【００２３】
本発明の目的は、受信する信号量を制御することができる画像処理装置、画像処理装置の制御方法及び記録媒体を提供することである。
【００２４】
【課題を解決するための手段】
本発明の一観点によれば、複数の系統の映像信号が入力する少なくとも一つの入力手段と、前記入力手段に入力する複数の映像信号の伝送情報量の総計を任意の値にするために、前記入力手段に入力する映像信号の画像属性情報群と画像表示手段のＥＤＩＤ情報を参照して、各伝送情報量の変更量と変更方法を決定する伝送情報量管理手段と、各伝送情報量の変更方法を指定した情報量制御信号を作成する情報量制御信号作成手段と、前記入力手段に入力する複数の系統の映像信号源に対して、前記情報量制御信号を通信する情報量制御信号通信手段と、前記入力手段に入力する伝送情報量の総計を制御する制御手段とを有することを特徴とする画像処理装置が提供される。
【００４２】
本発明によれば、ネットワーク等で複数の信号源に接続した画像処理装置が、複数の映像信号を受信する場合において、複数の映像信号の表示領域や配置関係、用途や種類、内容、動画の割合、優先度、ユーザー設定、画像に付属した優先度情報等に応じて、各伝送信号の画像属性（解像度、画像領域、画面の更新周期、階調数、色、アスペクト比等）や伝送方式（伝送方式、圧縮方式、圧縮率、書き換え周期等）あるいは画像とともに通信される画像以外の情報（音声情報、マウスなど外部制御機器の制御信号等）の情報量を制御する信号等を信号源側に送ることにより、受信する信号の総計を制御して不必要な情報を削減できる。
【００４３】
【発明の実施の形態】
以下、本発明の実施形態を、実施例に沿って図面を参照しながら説明する。
（第一の実施例）
図１に、本発明の第一の実施例として、２台のＰＣ（パーソナルコンピュータ）とこのＰＣ用のディスプレイの構成図を示す。Ａ１ａ，Ａ１ｂは、画像出力装置としての２台のＰＣであり、Ａ３０は、表示装置としてのＰＣ用のディスプレイである。ここでは、デジタルで画像信号と音声信号を伝送するディスプレイを例示している。
【００４４】
Ａ１ａ，Ａ１ｂそれぞれにおいて、Ａ２ａ，Ａ２ｂがＣＰＵ（中央演算装置）であり、Ａ３ａ，Ａ３ｂがこのＣＰＵの制御信号を各部に伝えると共に、全体のデータバス、制御バスを制御するバスコントロール部である。Ａ２０ａ，Ａ２０ｂが、各部を接続するデータバスおよび制御バスからなるシステムバス配線である。Ａ２１ａ，Ａ２１ｂが、Ａ２ａとＡ３ａ，Ａ２ｂとＡ３ｂ間のバス配線である。Ａ４ａ，Ａ４ｂは各ＰＣのメインメモリ部であり、Ａ５ａ，Ａ５ｂはハードディスクなどの記録媒体部である。Ａ６ａ，Ａ６ｂが、ディスプレイ用の画像信号を作成するグラフィック描画部であり、ここで、ディスプレイヘの出力画像属性（解像度、画素周波数、画面の更新周波数、ガンマ特性、階調数、色特性など）にあわせた出力が行われる。
【００４５】
Ａ７ａ，Ａ７ｂは、Ａ６ａ，Ａ６ｂの画像処理時に用いられる画像メモリである。Ａ２２ａ，Ａ２２ｂは、Ａ６ａとＡ７ａ，Ａ６ｂとＡ７ｂ間のデータバスおよび制御バスである。Ａ８ａ，Ａ８ｂは、ＣＤなどの記録媒体やマイクから音声信号を作成する音源部である。Ａ９ａ，Ａ９ｂは、グラフィック描画部で作成された画像信号と、音源部で作成された音声信号を、ディスプレイに伝送するための画像・音声送信部である。ここは、ＴＭＤＳ信号やＭＰＥＧ信号に変換する部分や、ＩＥＥＥ１３９４信号に変換して通信する部分などが相当する。また画像の圧縮変換や、部分書き換え信号への変換もＡ９ａ，Ａ９ｂで行う。
【００４６】
Ａ２３が、ＰＣとディスプレイ間の画像信号及び音声信号の伝送線路であり、Ａ２４が、ＰＣとディスプレイ間の制御信号の伝送線路である。ここで、Ａ１０ａ，Ａ１１ａ，Ａ１２ａ，Ａ１３ａ及びＡ１０ｂ，Ａ１１ｂ，Ａ１２ｂ，Ａ１３ｂがディスプレイとの通信のための部分である。
【００４７】
Ａ１０ａ，Ａ１０ｂが通信部であり、ＥＤＩＤ情報などの画像属性情報やエラー信号などとともに、ディスプレイからの情報量制御信号を受信する。Ａ１１ａ，Ａ１１ｂがＥＤＩＤ情報の記憶部であり、取得したディスプレイのＥＤＩＤ情報を格納する部分である。
【００４８】
Ａ１２ａ，Ａ１２ｂが画像情報量制御部であり、ディスプレイから受信した情報量制御信号を受けて、グラフィック描画部を制御する部分である。Ａ１３ａ，Ａ１３ｂが音声情報量制御部であり、ディスプレイから受信した情報量制御信号を受けて、音源を制御する部分である。
【００４９】
Ａ１２ａ，Ａ１２ｂ，Ａ１３ａ，Ａ１３ｂは、ＣＰＵ内部で実現される処理を模式的に表わしている。Ａ２５ａ，Ａ２５ｂが受信した情報量制御信号の画像、音声各情報量制御部への信号の流れを示しており、Ａ２６ａ，Ａ２６ｂが画像情報制御部からグラフィック描画部への情報量制御信号の流れを示している。また、Ａ２７ａ，Ａ２７ｂが音声情報制御部から音源への情報量制御信号の流れを示している。
【００５０】
Ａ３０において、Ａ３１がディスプレイを制御するマイコン部であり、Ａ５０がこのマイコンからの制御バスおよびデータバスからなる配線群である。Ａ３２はＡ９ａ，Ａ９ｂから伝送された画像信号と音声信号を受信するとともに、ＴＭＤＳやＩＥＥＥ１３９４フォーマットの信号をデコードしたり、圧縮データを伸長する画像・音声受信部である。また、ここで各入力系統からの画像信号と音声信号の伝送量の検出を行い、マイコン部に伝送量の情報を送出する。
【００５１】
Ａ３３が、ＰＣからの画像の画素数をディスプレイの表示画素数にあわせるための解像度変換や画面更新周波数の変換を行うための解像度変換部である。Ａ３４がＡ３３の信号処理に用いられる画像メモリであり、Ａ５１がこのメモリのデータバスおよび制御バスからなる配線群である。Ａ３５は、画像表示部に用いられる液晶やＣＲＴなどの特性にあわせて、ガンマ特性や色特性などを変換したりオンスクリーンディスプレイなどの文字表示を行う画像表示用処理部である。Ａ３６は、液晶やＣＲＴ，ＰＤＰ，ＥＬ，ＬＥＤなどの素子で構成される画像表示部である。Ａ５２，Ａ５３，Ａ５４は、画像のデータバスである。Ａ３７が受信した音声信号をスピーカーで再生するための信号に変換や増幅を行う音声処理部であり、Ａ３８がスピーカーである。また、Ａ５５がその間の配線である。
【００５２】
ここで、Ａ４０，Ａ４１，Ａ４２，Ａ４３がＰＣ間との通信のための部分である。Ａ４０が通信部であり、従来のＥＤＩＤ情報などの画像属性情報やエラー信号などとともに、情報量制御信号をＰＣ側に送信する。Ａ４１がこのディスプレイ固有のＥＤＩＤ情報の格納部である。Ａ４２が、Ａ３２で検出した各人カ系統の伝送量から受信する伝送量の総計を出すとともに、各伝送信号の用途や目的、画像の種類や画像属性、伝送形式等から総合的に判断して、適した信号配分を算出して、情報量制御信号作成部に対して各信号源への伝送情報量を削減する制御信号を作成する指示を行う伝送情報量管理部である。
【００５３】
Ａ４３が、伝送情報量管理部Ａ４２の伝送信号の制御要求から、各信号源に対する伝送情報量の制御信号を作成する情報量制御信号作成部である。Ａ４２，Ａ４３は、マイコン内部で実現される処理を模式的に表わしている。
【００５４】
Ａ５６は、Ａ３２で検出した伝送情報量の検出信号の流れを示している。Ａ５７は、伝送情報量管理部Ａ４２から情報量制御信号作成部への指示の流れを示している。Ａ５８は、情報量制御信号作成部Ａ４３から、通信部Ａ４０への情報量制御信号の流れを示している。
【００５５】
Ａ２３は画像・音声信号を伝送する伝送線路であり、Ａ２３は制御信号の伝送線路である。ここで、Ａ２３とＡ２４は、別々に図示しているが、実際には機器間で、ＴＭＤＳやＩＥＥＥ１３９４などの信号線をカスケード接続やツリー接続を行った同一のネットワーク通信線路上で、同一の送受信手段により通信が行われることもある。
【００５６】
図４（Ａ）に、図１のＡ３０の画像表示装置での表示例を示す。ここで、画像表示装置はＱＸＧＡ（２０４８×１５３６画素）の画素数を有した表示装置であり、Ｆ１がこの表示領域全体を示している。また、Ｆ２は、この画像表示装置に接続した画像信号源１としてのＰＣであるＡ１ａの表示画像を示している。ここで、Ａ１ａの画像は、ＱＸＧＡ（２０４８×１５３６画素）で、Ｆ１の画面全体に表示が行われている。また、画像内容としては、インターネットでのホームページの画像が表示されており、ネットワーク経由で受信した歌手のライブ放送の模様が映像情報と音声情報で再生されている。また、Ｆ３の子画面領域は、この画像表示装置に接続した画像信号源２としてのＰＣであるＡ１ｂの表示画像を示している。ここでは、図１のＡ５ｂの記録媒体の一つであるＤＶＤ再生部において再生されたＨＤＴＶ（１９２０×１０８０画素）の映画の画像を、１０２４×５７６の解像度に縮小変換して表示を行っている。
【００５７】
図４（Ｄ）に、Ａ１ａのみの画像を示す。特に、Ｆ４がホームページの情報の中で、歌手のライブ放送の模様を示す映像情報を表示した動画部分である。図４（Ｃ）に、Ａ２ａのみの画像を示す。映画の画像のため、常に動画である。このように、画素数がＱＸＧＡであり動画像も一部含んだインターネット経由の画像と、ＨＤＴＶの画素数であり常に動画の画像の様に、両方とも情報量の多い映像信号が入力するディスプレイにおいて、両者の入力をそのまま行うと、たとえ部分書き換えや圧縮などにより画像情報量を削減しても、まだ両者とも伝送情報量が多く、伝送許容量を超えてしまい、動画のコマ落ちや、不連続の発生などの画質劣化が発生する可能性が有る。
【００５８】
本実施例では、図４（Ｂ）のように、Ａ１ａからの画像信号は、子画面Ｆ３の部分の画像を除いて画像信号を伝送するように画像信号源Ａ１ａに制御信号を送る。また、図４（Ｃ）の画像は、ＨＤＴＶの画素数（１９２０×１０８０画素）のまま伝送するのではなく、１０２４×５７６画素にＡ１ｂで変換したあとの削減した信号を伝送するように画像信号源Ａ１ｂに制御信号を送る。さらに、画像に付随する音声信号は、従来のように両方の系統とも伝送するのではなく、表示内容のプライオリティ（例えばライブ音声を優先するようにユーザーが設定したり、配置関係から子画面の映画の音声を自動優先するなど）から、一方の音声をスピーカーから出力するのに伴ない、使用しない音声データは送らないように該当する信号源に音声の制御信号を送る。これにより、画像表示装置に入力する伝送情報量を制御して、画質の劣化や通信の不具合を防ぎ、良好な多画面表示を実現する。
【００５９】
図１の構成において、上記の伝送情報量の制御を行い、図４（Ａ）のように各入力系統の表示設定を行う動作を図２のフロー図を用いて説明する。Ｂ１において、図１の画像表示装置Ａ３０の不図示のユーザー入力手段により、ＰＣの入力系続の選択が行われる。ここで、ＱＸＧＡ（２０４８×１５３６画素）のディスプレイ全体の表示領域内に親画面として図１の信号源Ａ１ａの画像の入力が、１０２４×５７６画素の子画面領域に信号源Ａ１ｂの画像の入力が選択される。
【００６０】
これをうけて、Ｂ２およびＢ３において、信号源Ａ１ａ，Ａ１ｂの各画面の表示設定動作を行う。また、Ｂ４において、親画面を優先するようにしたユーザー設定にしたがって、Ａ１ａからの音声信号を選択してスピーカーから出力する。この段階では、まだ信号量を制御せず、信号源から送られる信号をそのまま受信して画像表示と音声出力を行う。
【００６１】
次に、Ｂ５において、図１の受信部Ａ３２で各入力系統からの伝送情報量を検出して、画像情報量管理部Ａ４２が取得する。Ｂ６において、画像情報量管理部Ａ４２は、各伝送信号の用途や目的、画像の種類や画像属性、伝送形式等から、適した信号配分を算出する。
【００６２】
Ｂ７において、Ａ４３の情報量制御信号作成部は画像信号源１（Ａ１ａ）に対する情報量制御信号を作成する。ここでは、子画面領域を指定して、この子画面領域を除いた領域の画像信号のみを伝送する要求信号を作成する。
【００６３】
また、Ｂ８において、Ａ４３の情報量制御信号作成部は画像信号源２（Ａ１ｂ）に対する情報量制御信号を作成する。ここでは、１０２４×５７６画素の子画面領域の画面領域の画素数にあわせて解像度を変換した画像信号を伝送する要求信号と、この系の音声信号の伝送を止める要求信号を作成する。
【００６４】
Ｂ９において、図１の通信部Ａ４０を介して各信号源に各情報量制御信号を送信する。各信号源の受信部Ａ１０ａ，Ａ１０ｂで受信した情報量制御信号は、各信号源のＣＰＵ内の情報量制御部で処理され、グラフィック描画部と音源部を要求に合わせて制御する。これにより、要求に合わせて変更された信号を、各信号源の画像・音声送信部Ａ９ａ，Ａ９ｂが出力する。
【００６５】
なお、画像表示装置Ａ３０の画像表示属性はＥＤＩＤ情報として事前に各信号源に対して通信が行われており、Ａ１１ａ，Ａ１１ｂに格納されている。ＣＰＵ部Ａ２ａ，Ａ２ｂは、ディスプレイのＥＤＩＤ情報と、受信した情報量制御信号の内容の両者を参照する。さらに、グラフィック描画部の対応解像度や更新周波数などの描画能力や音源の対応能力を参照して出力信号の形式を再設定する。
【００６６】
Ｂ１０において、再び図１の受信部Ａ３２で各入力系統からの変更後の伝送情報量を検出して、画像情報量管理部Ａ４２に取得する。Ｂ１１において、画像情報量管理部Ａ４２は各入力信号の検出結果と入力する情報量の総計が妥当かどうかの判断を行う。妥当でない場合は、再度ステップＢ６に戻る。妥当と判断された場合は、ステップＢ１２にすすみ、入力の設定作業を終了する。
【００６７】
ディスプレイの情報を画像出力装置が入手する方法としては、従来のＤＤＣ通信によるＥＤＩＤデータ（現在Ｖｅｒ．３．０）のやりとりやＨＡＶｉ（Ｈｏｍｅ  Ａｕｄｉｏ／Ｖｉｄｅｏ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ）規格（現在Ｖｅｒ１．０）があるが、いずれも全ディスプレイ領域の情報（表示画素数、アスペクト比、ＭＰＥＧ圧縮フォーマットの伝送等）の通信しか想定していない。このため、ディスプレイで設定した任意の画面表示領域に対して複数の映像信号を伝送する場合に、各映像信号源からの出力は、子画面であっても全ディスプレイ領域に対するものと同じ信号を送らざるをえず、映像信号の伝送線路の情報量の上限を超えてしまう可能性が有る。
【００６８】
また、前述のようにＤＤＣ通信においては、ディスプレイから信号源へのＥＤＩＤ情報の一方通行であるため、ディスプレイが入力する画像信号の解像度を正確に把握できない点、及び通信を行う時期もＰＣの起動時とディスプレイと信号源を物理的に接続したときに限られている点から、表示を行いながら画像や音声の情報の属性（表示領域や解像度、圧縮率、伝送形式等）の変更や情報量の制御（情報の選択、停止、開始、圧縮率の変更など）の通信ができなかった。
【００６９】
さらに、ＰＣなどの信号源が、ホストとしてネットワーク上の映像信号を把握するだけでは、複数の信号源の間での相互の画像情報量が互いに不明のため、同じディスプレイの入力系統に入力する画像信号の総量が、許容量を超えるなどの問題があっても、その不具合の検出や相互の制御による情報量の削減ができなかった。
【００７０】
本実施例では、ディスプレイ側に情報量制御信号作成手段と各信号源に通信する手段を設けたことにより、上述のように表示形態に対応して、伝送情報の変更要求信号を伝達して、各映像信号源からの出力信号の情報量の制御を可能としている。
【００７１】
また、ディスプレイ側に伝送量の検出手段と伝送情報量の管理手段を設けたことにより、信号伝送線路上の情報量が上限値を超えないようにディスプレイ側から信号源に対して制御可能なシステムが実現できる。
【００７２】
これにより、ＰＣなどの信号源がホストとしてネットワーク上の映像信号を管理していても、ディスプレイ側が情報量の制御信号を通知することにより、他の信号源からの情報量との相対関係を把握できるため、ネットワーク全体の情報量を簡易的に把握できる。
【００７３】
ここで、通信量を抑制する手段として適用可能な制御方法としては、第一の実施例で示した画像表示領域の制限（子画面領域を非表示）や画面の画素数（解像度）の変更、音声データの受信量の制限のほかに、各伝送信号の画像属性（画面の更新周期、階調数、色、アスペクト比等）や伝送方式（伝送方式、圧縮方式、圧縮率、書き換え周期等）の変更などがある。また、画像とともに通信される画像以外の情報として、信号源側からの音声データの受信量の制御だけでなく、ディスプレイに付属したマイクなどからの送信データ量の制限やマウスなど外部制御機器の制御信号の制限も有効である。
【００７４】
また、画像表示装置の信号処理部で、各子画面の表示倍率を変更するのではなく、映像信号の信号源の出力において倍率を変更済の信号を伝送することにより、伝送路上の情報量を抑制することも可能である。この意味で、映像信号の表示倍率（拡大率、縮小率）も本実施例で適用可能な画像属性のひとつとして考えられる。
【００７５】
また、画像情報量管理部が行う伝送情報量の配分は、第一の実施例で示したように親画面の音声を優先するといったユーザー設定や各映像信号の表示領域の大きさ以外に、各画面領域の配置関係、用途や各画像信号の種類、内容、動画の割合、画像に付属した優先度情報や著作権情報等に応じて行うことにより、様々な種類の映像信号に対して最適な表示が実現される。
【００７６】
本実施例の伝送情報量の制御信号の通信は、本実施例で示した入力系統の設定時以外にも、各画像表示領域の大きさや位置の変更時や、各表示領域の位置関係の変更時、映像信号の内容や用途の変更時、また信号源からの画像以外の制御信号やユーザーの操作時にも適用することにより、ネットワークの伝送情報量を常に最適な値にコントロールすることが可能になる。
【００７７】
本実施例では、図１において、画像音声受信部の伝送量検出手段および通信部をハード的に記述しているが、これらは例えばＡ２のＣＰＵなどの制御手段において、伝送情報量管理部や情報量制御信号作成部同様、コンピュータプログラムによりソフト的に機能が実行されるものであっても、本発明における実施形態のひとつであることは言うまでもない。したがって、これらのプログラムを内包する媒体は本発明の実施形態の一つである。
【００７８】
（第二の実施例）
本発明の第二の実施例として、ネットワーク上で画像伝送による表示を適用して、部分書き換えによるＰＣからの画像圧縮信号とＤＴＶチューナーからのＭＰＥＧ２圧縮信号といった異なるフォーマットの信号を、ＩＥＥＥ１３９４などの同じ画像伝送線上に伝送する場合の例を示す。
【００７９】
図３に、本実施例におけるネットワークの構成図を示す。図３において、Ｅ１およびＥ１３が、多画面表示を行うディスプレイである。ここで、Ｅ１はセットトップボックスＥ２を介してＩＥＥＥ１３９４などのネットワークに接続され、Ｅ２とはＥ１９で示されるＴＭＤＳ伝送方式などの画像専用のケーブルで接続される。また、Ｅ１３は、ＩＥＥＥ１３９４デコーダを内蔵しているため、直接ネットワークに接続されている。ここで、Ｅ２とＥ１３が、画像処理装置および画像表示装置に相当する。
【００８０】
また、Ｅ４がＰＣ（ＰＣ＿Ａ）であり、Ｅ１０がＰＣ（ＰＣ＿Ｂ）である。Ｅ４およびＥ１０の表示もネットワークを介してＥ１およびＥ１３で行われる。その他に、Ｅ５が別系統のデジタルテレビのチューナー（ＤＴＶ  ＴＵＮＥＲ）であり、Ｅ６がデジタルビデオ（ＤＶ）、Ｅ１１がＤＶＤディスクプレーヤー（ＤＶＤ）、Ｅ１２が番組録画のためのハードディスクからなるサーバー（ＨＤＤ）、これらのＡＶ機器はＩＥＥＥ１３９４で接続されて、相互に接続して画像信号をやり取りする。Ｅ１４は公衆網Ｅ１５に接続するモデム（ｍｏｄｅｍ）であり、Ｅ１６が公衆網に接続する電話回線などである。Ｅ７とＥ８はＩＥＥＥ１３９４信号を分岐接続するためのハブである。Ｅ１７ａ〜Ｅ１７ｊは、ＩＥＥＥ１３９４規格の通信線である。
【００８１】
このように接続された家庭内ネットワークで、ユーザーはＥ１やＥ１３のテレビで、様々なソース（ＰＣ＿Ａ，ＰＣ＿Ｂ，ＤＴＶ  ＴＵＮＥＲ，ＤＶ，ＤＶＤ，ＨＤＤ）が離れた場所から使用可能な環境を実現する。ところで、ＰＣ＿Ａ，ＰＣ＿Ｂのキーボードやマウスなどの操作入力手段は不図示であるが、画像同様ＩＥＥＥ１３９４等を介して各ディスプレイ近くから操作を行う。
【００８２】
図５に、本実施例において実現する表示画像例を示す。図５において、Ｆ５がＱＸＧＡ（２０４８×１５３６画素）の画素数を有する表示装置の画面である。Ｆ６が、この画面全域に親画面として表示されているＰＣのＱＸＧＡの解像度の表示画像である。Ｆ７が、ＸＧＡ（１０２４×７６８画素）の解像度で、親画面の１／４領域に子画面として表示されている、別のＰＣの画像である。Ｆ８が、ＨＤＴＶの１９２０×１０８０画素の解像度の映像を１０２４×５７６画素に解像度変換して親画面の１／４領域に表示されている、デジタルテレビチューナーの画像である。
【００８３】
ここで、高画素数の親画面Ｆ５の領域を分割して、ネットワーク上の複数の機器の画像を表示する際に、画像の使用目的や種類、圧縮方式などに対応して、ネットワーク上を送られてくる映像信号の情報量を必要最小限になるようにディスプレイ側から制御信号を伝送することで、ディスプレイに入力する映像信号の情報量を管理することが本実施例の特徴である。
【００８４】
ここでは、図５の画面において、図３の対応する装置を以下のように設定した場合を例示する。Ｆ５の画面を持つディスプレイをＥ１，Ｆ６の親画面の画像を送出するＰＣとしてＥ１０，Ｆ７の画像を送出するＰＣをＥ４，Ｆ８の画像を送出するチューナーをＥ５とする。また、これらの画像合成を行い、Ｅ１に表示を行う画像処理装置ＳＴＢ（セットトップボックス）をＥ２とする。
【００８５】
本発明の第二の実施例としての各装置の構成図を図６に示す。図６において、Ｇ１はＰＣであり、図３のＥ４に相当する。また、Ｇ３７はＤＴＶチューナーであり、図３のＥ５に相当する。また、Ｇ１５がネットワークを介した各信号源からの画像信号を合成するとともに、ディスプレイの表示出力に変換する画像処理装置としてのセットトップボックスであり、図３のＥ２に相当する。また、Ｇ２８が、ディスプレイであり図３のＥ１に相当する。
【００８６】
Ｇ１のＰＣにおいて、Ｇ２がＣＰＵ（中央演算装置）であり、Ｇ３がこのＣＰＵの制御信号を各部に伝えると共に、全体のデータバス、制御バスを制御するバスコントロール部である。Ｇ１１ａが、各部を接続するデータバスおよび制御バスからなるシステムバス配線である。Ｇ１１ｂが、Ｇ２とＧ３間のバス配線である。Ｇ４はこのＰＣのメインメモリ部であり、Ｇ５はハードディスクなどの記録媒体部である。Ｇ６が、ディスプレイ用の画像信号を作成するグラフィック描画部であり、ここで、ディスプレイヘの出力画像属性（解像度、画素周波数、画面の更新周波数、ガンマ特性、階調数、色特性など）にあわせた出力が行われる。
【００８７】
Ｇ７は、Ｇ６の画像処理時に用いられる画像メモリである。Ｇ１１ｅは、Ｇ６とＧ７間のデータバスおよび制御バスである。Ｇ８は、グラフィック作成部で作成された画像信号を、ディスプレイに伝送するための部分書き換え信号に変換圧縮するための画像エンコード部である。
【００８８】
Ｇ９は、圧縮した部分書き換え信号をＩＥＥＥ１３９４信号に変換して通信するＩＥＥＥ１３９４通信部分である。また、Ｇ１２がディスプレイから受信した情報量制御信号を受けて、グラフィック描画部などを制御する情報量制御部であり、Ｇ１３がディスプレイから通信されたＥＤＩＤ情報の記憶部である。
【００８９】
Ｇ３７のチューナーにおいて、Ｇ３８がチューナーを制御するマイコン部であり、Ｇ４５ａがこのマイコンからの制御バスおよびデータバスからなる配線群である。Ｇ３９が、アンテナから信号を受信してＭＰＥＧ信号を出力するチューナー部であり、Ｇ４０はこのＭＰＥＧ信号をデコードしてビデオ出力用の信号として出力するためのＭＰＥＧデコード部であり、Ｇ４５ｂがその信号出力線である。ここで、Ｇ４１が、圧縮形式の変換部であり、読み出したＭＰＥＧ信号を、任意の解像度や画面更新周波数の圧縮信号に変換を行う。Ｇ４２が、圧縮した画像信号をＩＥＥＥ１３９４信号に変換して通信するＩＥＥＥ１３９４通信部分である。また、Ｇ４３がディスプレイから通信されたＥＤＩＤ情報の記憶部である。Ｇ４４がディスプレイから受信した情報量制御信号を受けて、グラフィック描画部などを制御する情報量制御部である。
【００９０】
Ｇ１５のＳＴＢにおいて、Ｇ１６がユーザーが入力操作を行うユーザー操作部であり、Ｇ１７がこのＳＴＢを制御するマイコン部であり、Ｇ２５ａがこのマイコンからの制御バスおよびデータバスからなる配線群である。Ｇ１８はＩＥＥＥ１３９４通信部分である。Ｇ１９ａが、ＩＥＥＥ１３９４から入力した圧縮画像のうちＧ１の部分書き換え画像信号などをデコードして、画像合成のための演算に使用可能なＲＧＢ２４ビットなどの信号に変換するためのデコーダであり、Ｇ１９ｂが、ＩＥＥＥ１３９４から入力した圧縮画像のうちＧ３７のＭＰＥＧ系の圧縮信号などをデコードして、画像合成のための演算に使用可能なＲＧＢ２４ビットなどの信号に変換するためのデコーダである。Ｇ２５ｂ，Ｇ２５ｃは、このデコードされた画像信号のデータバスである。
【００９１】
Ｇ２０は、これらの複数のデコーダからの出力を合成する画像合成部であり、Ｇ２１は、この画像合成のためのメモリ部であり、Ｇ２５ｄはこのメモリ用の制御バスおよびデータバスからなる配線群である。Ｇ２２は、合成した画像信号を画像表示部に用いられる液晶やＣＲＴなどの特性にあわせて、ガンマ特性や色特性などを変換したりオンスクリーンディスプレイなどの文字表示を行う画像表示用処理部である。Ｇ２３は、液晶やＣＲＴ，ＰＤＰ，ＥＬ，ＬＥＤなどの素子で構成される画像表示装置に信号を出力するための、ＶＧＡ規格やＤＶＩ規格などの画像送信部である。Ｇ２５ｅおよび、Ｇ２５ｆは画像信号のデータバスである。
【００９２】
また、Ｇ２４がディスプレイとの間でＥＤＩＤ情報を通信するためのＤＤＣ通信部である。ここで、Ｇ２７が伝送情報量管理部であり、Ｇ２６が情報量制御信号作成部である。Ｇ２８のディスプレイにおいて、Ｇ２９がこのディスプレイを制御するマイコン部であり、Ｇ３６ａがこのマイコンからの制御バスおよびデータバスからなる配線群である。Ｇ３１が、Ｇ１５のＳＴＢ等から伝送されたＶＧＡ規格やＤＶＩ規格などの画像信号を受信して、ＲＧＢ各色８ビットなどの信号処理に適したフォーマットに変換する画像受信部である。Ｇ３２が、受信した画像の画素数をディスプレイの表示画素数にあわせるための解像度変換や画面更新周波数の変換を行うための解像度変換部である。Ｇ３３がＧ３２の処理で用いられる画像メモリである。また、Ｇ３６ｂはこのメモリの制御バスおよびデータバスからなる配線群である。
【００９３】
Ｇ３４は、画像表示部に用いられる液晶やＣＲＴなどの特性にあわせて、ガンマ特性や色特性などを変換したりオンスクリーンディスプレイなどの文字表示を行う画像表示用処理部である。Ｇ３５は、液晶やＣＲＴ，ＰＤＰ，ＥＬ，ＬＥＤなどの素子で構成される画像表示部である。
【００９４】
Ｇ３６ｃ〜Ｇ３６ｅは、画像信号のデータバスである。Ｇ３０が、ＰＣやＳＴＢなどの画像信号の信号源との間でＥＤＩＤ情報を通信するためのＤＤＣ通信部である。
【００９５】
また、各機器間においてＧ１４ａおよび、Ｇ１４ｂがＩＥＥＥ１３９４などの通信線を表わしており、この配線により同じ伝送プロトコルにのっとった異なる圧縮方式の画像信号の通信が行われる。また、情報量制御信号も同じ伝送経路で通信が行われる。
【００９６】
また、Ｇ４５は、従来からのＶＧＡ規格やＤＶＩ規格などの画像専用ケーブルで接続した画像信号の配線を示しており、また、Ｇ４６は従来からのＤＤＣ通信の通信線を示している。
【００９７】
Ｇ１５において、Ｇ４７ａがデコーダＡ（Ｇ１９ａ）で検出した画像情報量の検出信号の流れであり、Ｇ４７ｂがデコーダＢ（Ｇ１９ｂ）で検出した画像情報量の検出信号の流れである。
【００９８】
Ｇ４７ｃは、ＤＤＣ通信により得たディスプレイＧ２８のＥＤＩＤ情報の流れである。Ｇ４７ｄは伝送情報管理部Ｇ２７からの、情報量制御信号作成部Ｇ２６への情報量の配分などの指示信号の流れであり、Ｇ４７ｅは、情報量制御信号作成部Ｇ２６で作成した制御信号の通信部Ｇ１８への流れである。
【００９９】
また、Ｇ１において、Ｇ４８ａが受信したＩＥＥＥ１３９４信号のうち、情報量制御信号の流れであり、またＧ４８ｂがＥＤＩＤ情報記憶部から読み出したディスプレイのＥＤＩＤ情報の流れを示している。Ｇ４８ｃが、グラフィック描画部への制御信号の流れである。
【０１００】
また、Ｇ３７において、Ｇ４９ａが受信したＩＥＥＥ１３９４信号のうち、情報量制御信号の流れであり、またＧ４９ｂがＥＤＩＤ情報記憶部から読み出したディスプレイのＥＤＩＤ情報の流れを示している。Ｇ４９ｃが、ＭＰＥＧデコーダ部や圧縮変換部への制御信号の流れである。
【０１０１】
本実施例では、Ｇ２８のディスプレイ自身は従来と同様の表示装置であるが、ここではＧ１５のセットトップボックス（ＳＴＢ）において、本実施例の伝送情報量の制御を行うことにより、ＳＴＢ上で合成済の画像を表示する構成としている。このため、Ｇ１５はＧ２８のディスプレイとの間でＤＤＣ通信により得られたＥＤＩＤ情報を参照して、出力する画像配置を決めるとともに第一の実施例と同様に、伝送情報量の制御を行う情報量制御信号の作成を行い、ＩＥＥＥ１３９４通信を介してＧ１，Ｇ３７などの機器の伝送信号の制御を行う。
【０１０２】
第二の実施例においても、第一の実施例のフロー同様に、伝送情報量の制御が行われる。あらかじめＧ１５のＳＴＢとＧ２８のディスプレイ接続時や電源投入時に、Ｇ３０のＤＤＣ通信部からＧ２４のＤＤＣ通信部に対してディスプレイＧ２８のＥＤＩＤ情報が通信され、Ｇ２４に格納されている。
【０１０３】
Ｇ１５はこのＥＤＩＤ情報にしたがった解像度で、合成した画像信号をＧ２３からＧ３１に伝送する。これにより、Ｇ３２，Ｇ３４部を経由してＧ３５の画像表示部に画像が表示される。
【０１０４】
図５に示すように、ＱＸＧＡ（２０４８×１５３６画素）のディスプレイ全体の表示領域内にＰＣ（図３のＥ１０）の画像を設定して（Ｅ１０は図６に不図示）、さらに子画面１として信号源Ｇ１の画像をＸＧＡ（１０２４×７６８画素）の領域Ｆ７に、また子画面２として信号源Ｇ３７の画像を１０２４×５７６画素の領域Ｆ８に表示するようＳＴＢ（Ｇ１５）の設定を行う。
【０１０５】
ここで、Ｆ７の画面にはインターネットのホームページの画像が、Ｆ８にはＨＤＴＶの映画の動画像が表示されている。また、Ｆ６にはＰＣのデスクトップの作業画面が表示されている。
【０１０６】
ディスプレイＧ２８とセツトトップボックスＧ１５の電源投入時は、ディスプレイＧ２８のＥＤＩＤ情報がＧ３０からＧ２４に転送され、つづいて各信号源Ｇ１とＧ３７のＥＤＩＤ情報記憶部に転送される。この結果、Ｇ３７からＨＤＴＶ画像が本来のＨＤＴＶの解像度（１９２０×１０８０画素）で、Ｇ１からはＰＣ画像がＱＸＧＡの解像度（２０４８×１５３６画素）で出力される。
【０１０７】
セットトップボックスＧ１５において、Ｇ１８で受信した画像信号のうち、Ｇ１からの部分書き換え方式の信号はデコーダＡ（Ｇ１９ａ）で、Ｇ３７からのＭＰＥＧ圧縮信号はデコーダＢ（Ｇ１９ｂ）で圧縮が伸長される。このとき、Ｇ１９ａ，Ｇ１９ｂにおいてＧ１８に入力する画像情報量を検出して、Ｇ４７ａ，Ｇ４７ｂに示すように画像情報量管理部Ｇ２７に検出信号を送出する。
【０１０８】
画像情報量管理部Ｇ２７は、各伝送信号の用途や目的、画像の種類や画像属性（画面の更新周波数、解像度、ガンマ特性、色特性、アスペクト比等）、伝送形式、信号源の優先度情報等とＤＤＣ通信によって得られたディスプレイＧ２８のＥＤＩＤ情報（Ｇ４７ｃ）から、各信号源の適した信号配分を算出して、情報量制御信号作成部に指示を送る（Ｇ４７ｄ）。
【０１０９】
Ｇ２６の情報量制御信号作成部はＰＣ（Ｇ１）およびＤＴＶチューナー（Ｇ３７）に対する各情報量制御信号を作成して通信部に転送（Ｇ４７ｅ）し、ＩＥＥＥ１３９４通信部Ｇ１８を介して各信号源に各情報量制御信号を送信する。
【０１１０】
ここでは、ＳＴＢのＩＥＥＥ１３９４通信部Ｇ１８や、伝送線路の伝送能力にくらべて入力信号の情報量が過多で、このままでは、データがオーバーフローして、画面の更新がスムーズに行われないことや、画質の劣化が予想されることを画像情報量管理部Ｇ２７が判断する。そこで、表示画面の画像領域にあわせてＧ３７に対してはＨＤＴＶ画像を１０２４×５７６画素に圧縮解像度を変換して、Ｇ１に対してはＰＣ画像をＸＧＡの解像度（１０２４×７６８画素）に解像度変換するような情報量制御信号を作成する。
【０１１１】
また、これだけでは、情報量がまだ多すぎると判断し、画面の更新周期も調整を行う。Ｇ３７からの画像は図５のＦ８に示すように映画の画面であり、動画が中心の内容である。一方、Ｇ１からの画像は、インターネットのホームページでしかも記事中心の画像であり、動画の割合が比較的少ない。また、その動画のスムーズな更新も映画ほど要求されていない。
【０１１２】
画像情報量管理部は、このように、伝送信号の目的と内容から判断を行い、ここではＧ１のＰＣの画面の更新周期を３分の１に間引くよう指示を行う情報量制御信号を作成する。
【０１１３】
図７に、この部分書き換え画面の更新を間引く動作を説明する図を示す。Ｈ１〜Ｈ４はインターネットのホームページをブラウザで操作を行っているときの連続する４枚の画像である。Ｈ５がカーソルであり、ユーザーがマウスなどの制御手段で画面上を動かしている。
【０１１４】
このとき、図６のＧ１の部分書き換え信号を作成する画像エンコード部Ｇ８では、図７の各画面間の画像の差分Ｈ６〜Ｈ８を作成して、この差分信号のみをＧ９から出力する。画面の更新周期を３分の１に間引くよう指示を行う情報量制御信号は、この差分をとる作業を４枚に１回に減らしてＨ９の差分情報のみをＧ９から出力することで、Ｇ１から送出される画像信号量を削減する。
【０１１５】
各信号源の受信部Ｇ９，Ｇ４２で受信した情報量制御信号は、各信号源のＣＰＵやマイコン内の情報量制御部Ｇ１２，Ｇ４４に転送される（Ｇ４８ａ，Ｇ４９ａ）。情報量制御部Ｇ１２，Ｇ４４では、格納されているＥＤＩＤ情報の参照と（Ｇ４８ｂ，Ｇ４９ｂ）、グラフィック描画部Ｇ６やＭＰＥＧデコーダ部Ｇ４０や圧縮変換部Ｇ４１の出力可能フォーマットなどの参照を行い、要求された制御信号に適した形式でグラフィック描画部Ｇ６やＭＰＥＧデコーダ部Ｇ４０や圧縮変換部Ｇ４１を制御する指示（Ｇ４８ｃ，Ｇ４９ｃ）を行う。これにより、再設定された画像信号を、各信号源のＩＥＥＥ１３９４通信部Ｇ９，Ｇ４２が出力する。
【０１１６】
Ｇ１５は、こうして設定された各信号源の変更後の伝送情報量を再検出して、画像情報量管理部Ｇ２７が取得する。画像情報量管理部Ｇ２７は各入力信号の検出結果と入力する情報量の総計が妥当かどうかの判断を行う。妥当でない場合は、再度伝送情報量の調整を行う。妥当と判断された場合は、入力の設定作業を終了する。
【０１１７】
また、このような画像情報量の制御信号は、逆に情報量を増加するような指示（解像度を大きくする、圧縮率を少なくする、画面の更新率を多くする等）も出力可能な構成とする。これにより、ディスプレイの電源投入時のマルチ画面表示における画面領域設定時ばかりでなく、任意の入力系統が接続されて各画面の優先度が変更した場合や、ユーザーが任意の信号源の画面の領域（大きさや配置）を変更した場合などにも、柔軟に対応して情報量を配分して各画質をコントロール可能にしている。
【０１１８】
また、ある信号源が要求した情報量の画像信号に変更できない場合は、すでに合意済みの他の信号源に対して情報量制御信号を送出したり、あるいはディスプレイの表示属性（解像度、画面更新周波数など）を変更することにより、多対多接続のネットワーク機器間でフレキシブルな調整を可能にしている。
【０１１９】
このようにして、複数入力に対応して画像の通信量をディスプレイが検出して、情報量の制御信号を信号源に送ることにより、通信量の制限されたネットワーク上でも複数の画像の伝送を可能とする。また、画像信号の信号源側が、ディスプレイを介して間接的にほかの信号源との情報量の優先度を知ることができるため、多対多の機器接続における各機器間の調停作業をしやすくするとともに、マルチ画面におけるユーザーの画面領域変更にも柔軟に対応する画像表示システムを実現する。
【０１２０】
また、こうした構成を採ることにより、画像信号とその他の制御信号が同一のネットワークで伝送可能となるばかりでなく、従来のＶＧＡ規格やＤＶＩ規格のＴＭＤＳ方式のケーブルのような比較的太くて、伝送距離が１０ｍ以下の専用のケーブルを用いる必要が無くなるため、ＰＣ本体とディスプレイが距離を離して設置可能になることも見逃せない。
【０１２１】
さらに、ＤＶＤやデジタル放送、ＤＶなどのＡＶ系の家電ネットワークとＰＣの画像が統合可能になり、同じ表示装置上で同じ制御手段で制御可能になるメリットも大きい。
【０１２２】
以上説明したように、複数入力に対応して画像の通信量をディスプレイが検出して、情報量の制御信号を信号源に送ることにより、通信量の制限されたネットワーク上でも複数の画像の伝送を可能とする。これにより、従来専用ケーブルで接続していたＰＣの画像も、他のＡＶ系の家電機器の画像と同じネットワーク経由で同じディスプレイに表示可能な多画面表示システムを容易に実現する。
【０１２３】
また、ディスプレイのネットワークヘの接続と切断を行ったときのみならず、任意のタイミングで、ディスプレイ側が信号源側に画像信号を制御する信号を伝達して、画像信号源側が出力可能な信号を送出するシステム構成とすることにより、多対多の機器接続における各機器間の調停作業をしやすくできる。特に、１対の機器間での調停で合意が得られない場合は、すでに合意済みの他の信号源の出力画像属性や表示装置の表示解像度の設定を再調整可能なことにより、マルチ画面における表示属性変更に柔軟に対応する画像表示システムを実現する。
【０１２４】
また、ユーザーによる画面領域変更ばかりでなく、複数の映像信号の表示領域や配置関係、用途や種類、内容、動画の割合、優先度、ユーザー設定、画像に付属した優先度情報等に応じて、各伝送信号の画像属性（解像度、画像領域、画面の更新周期、階調数、色、アスペクト比等）や伝送方式（伝送方式、圧縮方式、圧縮率、書き換え周期等）あるいは画像とともに通信される画像以外の情報（音声情報、マウスなど外部制御機器の制御信号等）の情報量等を制御して、通信経路の通信量を管理することにより、通信量の制限による表示画像の劣化の発生を防止して、多画面でありながら目的に応じた画質の確保が可能な多機能表示システムを実現する。
【０１２５】
（第三の実施例）
図８に、本発明における第三の実施例として、PC（パーソナルコンピュータ）とこのPC用のディスプレイの構成図を示す。A1は、画像出力装置としてのPCであり、A15は、表示装置としてのPC用のディスプレイである。ここでは、デジタルで画像信号を伝送するディスプレイを例示している。
【０１２６】
A1において、A2がCPU(中央演算装置)であり、A3がこのCPUの制御信号を各部に伝えると共に、全体のデータバス、制御バスを制御するバスコントロール部である。A11aが、各部を接続するデータバスおよび制御バスからなるシステムバス配線である。A11bが、A2とA3間のバス配線である。A4はこのPCのメインメモリ部であり、A5はハードディスクなどの記録媒体部である。A6が、ディスプレイ用の画像信号を作成するグラフィック描画部であり、ここで、ディスプレイへの出力画像属性（解像度、画素周波数、画面の更新周波数、ガンマ特性、階調数、色特性など）にあわせた出力が行われる。
【０１２７】
A7は、A6の画像処理時に用いられる画像メモリである。A11eは、A6とA7間のデータバスおよび制御バスである。A8は、グラフィック作成部で作成された画像信号を、ディスプレイに伝送するための画像送信部である。ここは、TMDS信号やMPEG信号に変換する部分や、IEEE1394信号に変換して通信する部分などが相当する。画像の圧縮変換や、部分書き換え信号への変換もA8で行う。
【０１２８】
A15において、A17がディスプレイを制御するマイコン部であり、A25aがこのマイコンからの制御バスおよびデータバスからなる配線群である。A18はA8から伝送された画像信号を受信して、RGB各色8ビットなどの信号処理に適したフォーマットに変換する画像受信部である。A19が、PCからの画像の画素数をディスプレイの表示画素数にあわせるための解像度変換や画面更新周波数の変換を行うための解像度変換部である。A20がA19の信号処理に用いられる画像メモリであり、A25eがこのメモリのデータバスおよび制御バスからなる配線群である。A21は、画像表示部に用いられる液晶やCRTなどの特性にあわせて、ガンマ特性や色特性などを変換したりオンスクリーンディスプレイなどの文字表示を行う画像表示用処理部である。A22は、液晶やCRT、PDP、EL、LEDなどの素子で構成される画像表示部である。A25b〜A25dは、画像のデータバスである。
【０１２９】
ここで、A9、A10、A12、A13および、A23、A24、A26、A27がディスプレイとPC間での画像信号以外の通信を行うための部分である。
【０１３０】
A9と、A23が接続信号の通信部であり、それぞれが接続されたことの検出を行う部分である。この認識はハード的でなく、ソフト的に行われることも有る。
【０１３１】
A10とA24が、EDID情報の通信部である。従来のDDC通信方法に限らず、必要なときにA15の画像表示装置のEDID情報をA1の画像出力装置に読み込む。
【０１３２】
A12と、A26が画面領域の画像属性の設定および変更信号の通信部である。画像表示装置で、マルチ画面の子画面領域の大きさや使用用途の変更等が生じたり、新たに画像出力装置を入力として設定するなど、画像属性の変更を行う場合に、画像表示装置と画像出力装置の間でその通知とその可否の情報が通信される。
【０１３３】
A13と、A27が画面領域の大きさや更新周波数などの画像属性情報の通信部である。ディスプレイのマルチ画面の各画面領域に対応して設定した画像属性情報を画像出力装置に伝えると共に、画像出力装置は対応可能か不可かの情報や出力可能な画像属性情報を画像表示装置に伝送することで、両者間で通信可能な画像属性の調整を行う。
【０１３４】
A14aは画像信号を伝送する伝送線路であり、A14b〜A14eは他の各信号の伝送線路である。ここで、 A14a〜A14eは、別々に図示しているが、実際にはIEEE1394などの同一のネットワーク通信線路上で、同一の送受信手段により通信が行われる。
【０１３５】
図９および図１０に、本実施例の画像属性の設定フロー図を示す。以下、図８を参照しながら説明する。
【０１３６】
B1において、画像表示装置において、図８に不図示のユーザー入力手段により、PCの画面属性の設定の変更を行う。例えば、QXGA（2048×1536画素）のディスプレイ全体の表示領域内に、1024×576画素で子画面表示を行う場合などを考える。まずB2およびB3において領域変更信号を、A26からA12に通知する。A12は、変更通知をA6のグラフィック描画部を介してA2のCPUに伝える。B4において、PCの CPUは、その可否の判断を行い、結果をA12からA26に対して伝える。
【０１３７】
例えば、他のユーザーが別の表示装置で同じ画像信号を使用中の場合などで変更を了承しない場合は、B5からB6に示すように変更の拒否の旨をA12からA26に対して通知する。
【０１３８】
B7において、ディスプレイは変更できなかった旨をエラー表示として画面に表示して、B8で設定作業を終了する。
【０１３９】
一方、変更を了承する場合は、B9〜B10に示すように変更了承信号をA12からA26に対して通知する。これを受けて、B11に示すように、ディスプレイA15はA17のマイコン部において、このディスプレイに入力する他の装置からの画像伝送信号の情報を参照して、B12に示すように入力する画像信号の通信経路の、許容可能な画像情報量を算出する。さらに、A17において、B13に示すように、現在の画面全体の設定情報（表示解像度、子画面数、配置、更新周波数など）と、このディスプレイに入力する他の装置からの画像信号に対する優先度（動画、静止画、各子画面の大きさ、各子画面の配置、ユーザー指定のモードなど）を参照して、B14に示すようにA1のPCなどの画像信号源に要求する画像出力属性（画素数、圧縮率、更新周波数、圧縮方式、親画面か子画面かの情報など）を選択して、次にB15から図１０のB21の画像属性の設定の通信に進む。
【０１４０】
B22〜B23において、ディスプレイの画像属性情報通信部A27からPCの画像属性情報通信部A13に対して、要求する画像出力属性が伝えられる。
【０１４１】
B24においてCPU部A2もしくはグラフィック描画部A6は、ディスプレイのEDID情報通信部A24からPCのEDID情報通信部A10間で通信されるEDID情報と、受信した画像属性情報の両者を参照する。さらに、B25において、A6のグラフィック描画部の対応解像度や更新周波数などの描画能力を参照する。また、B26において、A8の画像送信部の画素数、伝送速度、圧縮率、更新周波数、圧縮方式などの出力可能フォーマットを参照する。
【０１４２】
これらの情報をもとにCPU部A2もしくはグラフィック描画部A6は、B27において、PCは要求された画像出力属性（画素数、圧縮率、更新周波数、圧縮方式、親画面か子画面かの情報など）に対して、出力可能な画像出力属性（画素数、圧縮率、更新周波数、圧縮方式、親画面か子画面かの情報など）を決定する。例えば、1024×576画素、MPEG２方式の圧縮で40Hz以下の更新周期というディスプレイ側の要求に対して、PC側の出力がMPEG2方式の30Hzと60Hz、画素数が1280×720もしくは704×480しか対応できない場合、PC側は1280×720画素、MPEG2の30Hzというように出力可能な属性を決定する。
【０１４３】
B28からB29において、PCの画像属性情報通信部A13からディスプレイの画像属性情報通信部A27に、出力可能な画像属性が通信される。
【０１４４】
これをうけて、B30において、ディスプレイのマイコン部A17は受信した属性の可否の判断を行う。例えば、上記の例で言えば、画素数1280×720はディスプレイの要求した1024×576と比較して大きいため、ディスプレイに入力する通信量の制限を超えてしまう恐れがある場合は、属性の了承を拒否して、B22により再度1024×576以下の画素数を要求する属性情報を送出する。
【０１４５】
また、1280×720画素であっても、ディスプレイに入力する通信量の制限には若干の余裕が有り、A19の解像度変換により1024×576画素に変換可能で、またその画質も子画面であることから解像度変換による画質劣化もそれほど気にならない等の場合も有る。このように、許容可能な場合はB30において了承する判断を行い、B31〜B32において、ディスプレイの画像属性情報通信部A27からPCの画像属性情報通信部A13に、了承する信号が伝送される。
【０１４６】
これを受けて、B33において、PCはA8より該当する画像信号属性の信号の出力を開始する。B34において、設定が終了される。
【０１４７】
ディスプレイの情報を画像出力装置が入手する方法としては、従来のDDC通信によるEDIDデータ（現在Ver.1.3）のやりとりやHAVi（Home Audio/Video Interoperability）規格（現在Ver1.0）があるが、いずれも全ディスプレイ領域の情報（表示画素数、アスペクト比、MPEG圧縮フォーマットの伝送等）の通信しか想定していない。このため、ディスプレイで設定した任意の画面表示領域に対して複数の映像信号を伝送する場合に、各映像信号源からの出力は、子画面であっても全ディスプレイ領域に対するものと同じ信号を送らざるをえず、映像信号の伝送線路の情報量の上限を超えてしまう可能性が有る。また、前述のようにDDC通信においては、ディスプレイから信号源へのEDID情報の一方通行であるため、ディスプレイが入力する画像信号の解像度を正確に把握できない点と、また通信を行う時期もPCの起動時とディスプレイと信号源を物理的に接続したときに限られている点から、特にネットワークで同一信号線上から複数の信号が入力する場合は対応できない。
【０１４８】
本実施例では、上述のように子画面に対応した画像属性を伝達することにより、各映像信号源からの出力が子画面領域に適した属性の映像信号で伝送可能となり、信号伝送線路上の情報量を抑制する。
【０１４９】
また、ディスプレイと信号源の両者で最終的に合意を形成する調整機能を設けたことにより、信号伝送線路上の情報量が上限値を超えないようにディスプレイや信号源において制御可能なシステムが実現できる。
【０１５０】
さらに、本実施例で述べたように、画素数や画面更新周波数などの信号属性の上限値をディスプレイと信号源の間でやりとりすることにより、両者の合意形成手順を簡単化している。
【０１５１】
また、本実施例で述べたように、子画面の画面領域の設定や変更に連動して、画像属性変更信号をディスプレイから信号源に対して通知して画像属性を変更する構成にしたことにより、複数のプラットフォームやOSの異なる機器においても、ユーザーはあまり意識すること無く、同じディスプレイ上の制御手段により、各表示領域に適した伝送信号に各信号源を制御することを可能としている。
【０１５２】
さらに、本実施例で述べたように、映像信号源が他の表示装置に対しても画像を出力している場合は、ディスプレイから通知した画像属性変更信号に対して、拒否の旨を通知したり、あるいは画像出力属性において他の表示装置の出力と相性のいい出力属性をディスプレイに提示することにより、多対多のネットワークでの画像表示システムの柔軟性を確保している。
【０１５３】
ここで、通信量を抑制する手段として適用可能な画像属性としては、画面の画素数（解像度）や画面の更新周波数のほかに、画面のアスペクト比、画像の圧縮率や圧縮方式、画面の階調数（色数）などがある。
【０１５４】
また、画像表示装置の信号処理部で、各子画面の表示倍率を変更するのではなく、映像信号の信号源の出力において倍率を変更済の信号を伝送することにより、伝送路上の情報量を抑制することも可能である。この意味で、映像信号の表示倍率（拡大率、縮小率）も本実施例で適用可能な画像属性のひとつとして考えられる。
【０１５５】
本実施例では、図８において、画像属性変更信号通信部および画像属性情報通信部をハード的に記述しているが、これらは例えばA2のCPUなどの制御手段において、プログラムによりソフト的に機能が実行されるものであっても、本発明における実施形態のひとつであることは言うまでもない。したがって、これらのプログラムを内包する媒体は本発明の実施形態の一つである。
【０１５６】
（第四の実施例）
第四の実施例として、ネットワーク上で本実施例の画像伝送による表示を適用して、部分書き換えによるPCからの画像圧縮信号とDTVチューナーからのMPEG２圧縮信号といった異なる圧縮フォーマットの信号を、IEEE1394などの同じ画像伝送線上に伝送する場合の例を示す。
【０１５７】
本実施例におけるネットワークの構成は、第二の実施例と同様に、図３において、E1およびE13が、多画面表示を行うディスプレイである。ここで、E1はセットトップボックスE２を介してIEEE1394などのネットワークに接続され、E２とはE19で示されるTMDS伝送方式などの画像専用のケーブルで接続される。また、E13は、IEEE1394デコーダを内蔵しているため、直接ネットワークに接続されている。ここで、E2とE13が、画像処理装置および画像表示装置に相当する。
【０１５８】
また、E４がPC（PC#A）であり、E10がPC（PC#B）である。E4およびD10の表示もネットワークを介してE1およびE13に行われる。
【０１５９】
その他に、E5が別系統のデジタルテレビのチューナー（DTV TUNER）であり、E6がデジタルビデオ（DV）、E11がDVDディスクプレーヤー（DVD）、E12が番組録画のためのハードディスクからなるサーバー（HDD）、 これらのAV機器はIEEE1394で接続されて、相互に接続して画像信号をやり取りする。E14は公衆網E15に接続するモデム（modem）であり、E16が公衆網に接続する電話回線などである。E7とE8はIEEE1394信号を分岐接続するためのハブである。E17a〜E17jは、IEEE1394規格の通信線である。
【０１６０】
このように接続された家庭内ネットワークで、ユーザーはE1やE13のテレビで、様々なソース（ PC#A、PC#B 、DTV TUNER、DV、DVD、HDD）が離れた場所から使用可能な環境を実現する。ところで、PC#A、PC#Bのキーボードやマウスなどの操作入力手段は不図示であるが、画像同様、IEEE1394等を介して各ディスプレイ近くから操作を行う。
【０１６１】
図１１に、本実施例において実現する表示画像例を示す。図１１において、F1がQXGA（2048×1536画素）の画素数を有する表示装置の画面である。F2が、この画面全域に親画面として表示されている、PCのQXGAの解像度の表示画像である。F3が、XGA（1024×768画素）の解像度で、親画面の1/4領域に子画面として表示されている、別のPCの画像である。F4が、HDTVの1920×1080画素の解像度の映像を1024×576画素に解像度変換して親画面の1/4領域に表示されている、デジタルテレビチューナーの画像である。
【０１６２】
このように、高画素数の親画面F1の領域を分割して、ネットワーク上の複数の機器の画像を表示する際に、ネットワーク上を送られてくる画像信号をF1の解像度に対する信号ではなく、F3、F4のようにあらかじめ1/4の画像領域に近い解像度に変換して伝送することを機器間で整合することが本実施例の特徴である。
【０１６３】
ここでは、図１１の画面において、図３の対応する装置を以下のように設定した場合を例示する。F1の画面を持つディスプレイをE1、F2の親画面の画像を送出するPCとしてE10、F3の画像を送出するPCをE4、F4の画像を送出するチューナーをE5とする。また、これらの画像合成を行い、E1に表示を行う画像処理装置STB（セットトップボックス）をE2とする。この構成で、E10のPCの電源は投入せずに、E1のディスプレイとE2のSTBの電源を投入し、画面を無信号時のブルーバック表示とする。その後、E4のPCに接続して、子画面領域F3に解像度XGAの画像を部分書き換え方式の圧縮信号で伝送する設定を行う。つづいて、E5のDTVチューナーからのHDTV画像を、子画面の領域にあった1024×576画素の圧縮信号で伝送する設定を行う。
【０１６４】
第四の実施例としての各装置の構成図を図１２に示すとともに、上述の設定を行う場合のフロー図を図１３に示す。
【０１６５】
図１２において、G1はPCであり、図３のE4に相当する。また、G37はDTVチューナーであり、図３のE5に相当する。また、G15がネットワークを介した各信号源からの画像信号を合成するとともに、ディスプレイの表示出力に変換する画像処理装置としてのセットトップボックスであり、図３のE2に相当する。また、G28が、ディスプレイであり図３のE1に相当する。
【０１６６】
G1のPCにおいて、G2がCPU(中央演算装置)であり、G3がこのCPUの制御信号を各部に伝えると共に、全体のデータバス、制御バスを制御するバスコントロール部である。G11aが、各部を接続するデータバスおよび制御バスからなるシステムバス配線である。G11bが、G2とG3間のバス配線である。G4はこのPCのメインメモリ部であり、G5はハードディスクなどの記録媒体部である。G6が、ディスプレイ用の画像信号を作成するグラフィック描画部であり、ここで、ディスプレイへの出力画像属性（解像度、画素周波数、画面の更新周波数、ガンマ特性、階調数、色特性など）にあわせた出力が行われる。
【０１６７】
G7は、G6の画像処理時に用いられる画像メモリである。G11eは、G6とG7間のデータバスおよび制御バスである。G8は、グラフィック作成部で作成された画像信号を、ディスプレイに伝送するための部分書き換え信号に変換圧縮するための画像エンコード部である。G9は、圧縮した画像信号を IEEE1394信号に変換して通信するIEEE1394通信部分である。また、G12が画像属性変更信号通信部であり、G13が画像属性情報通信部である。
【０１６８】
G37のチューナーにおいて、G38がチューナーを制御するマイコン部であり、G45aがこのマイコンからの制御バスおよびデータバスからなる配線群である。G39が、アンテナから信号を受信してMPEG信号を出力するチューナー部であり、G40はこのMPEG信号をデコードしてビデオ出力用の信号として出力するためのMPEGデコード部であり、G45bがその信号出力線である。ここで、G41が、圧縮形式の変換部であり、読み出したMPEG信号を、任意の解像度や画面更新周波数の圧縮信号に変換を行う。G42が、圧縮した画像信号を IEEE1394信号に変換して通信するIEEE1394通信部分である。また、G43が画像属性変更信号通信部であり、G44が画像属性情報通信部である。
【０１６９】
G15のSTBにおいて、G16がユーザーが入力操作を行うユーザー操作部であり、G17がこのSTBを制御するマイコン部であり、G25aがこのマイコンからの制御バスおよびデータバスからなる配線群である。G18はIEEE1394通信部分である。G19aが、 IEEE1394から入力した圧縮画像のうちG1の部分書き換え画像信号などをデコードして、画像合成のための演算に使用可能なRGB24ビットなどの信号に変換するためのデコーダであり、G19bが、 IEEE1394から入力した圧縮画像のうちG37のMPEG系の圧縮信号などをデコードして、画像合成のための演算に使用可能なRGB24ビットなどの信号に変換するためのデコーダである。G25b、G25cは、このデコードされた画像信号のデータバスである。G20は、これらの複数のデコーダからの出力を合成する画像合成部であり、G21は、この画像合成のためのメモリ部であり、G25dはこのメモリ用の制御バスおよびデータバスからなる配線群である。G22は、合成した画像信号を画像表示部に用いられる液晶やCRTなどの特性にあわせて、ガンマ特性や色特性などを変換したりオンスクリーンディスプレイなどの文字表示を行う画像表示用処理部である。G23は、液晶やCRT、PDP、EL、LEDなどの素子で構成される画像表示装置に信号を出力するための、VGA規格やDVI規格などの画像送信部である。G25eおよび、G25fは画像信号のデータバスである。
【０１７０】
また、G26が画像属性変更信号通信部であり、G27が画像属性情報通信部である。また、G24がディスプレイとの間でEDID情報を通信するためのDDC通信部である。
【０１７１】
G28のディスプレイにおいて、G29がこのディスプレイを制御するマイコン部であり、G36aがこのマイコンからの制御バスおよびデータバスからなる配線群である。G31が、G15のSTB等から伝送されたVGA規格やDVI規格などの画像信号を受信して、RGB各色8ビットなどの信号処理に適したフォーマットに変換する画像受信部である。G32が、受信した画像の画素数をディスプレイの表示画素数にあわせるための解像度変換や画面更新周波数の変換を行うための解像度変換部である。G33がG32の処理で用いられる画像メモリである。また、G36bはこのメモリの制御バスおよびデータバスからなる配線群である。G34は、画像表示部に用いられる液晶やCRTなどの特性にあわせて、ガンマ特性や色特性などを変換したりオンスクリーンディスプレイなどの文字表示を行う画像表示用処理部である。G35は、液晶やCRT、PDP、EL、LEDなどの素子で構成される画像表示部である。G36c〜G36eは、画像信号のデータバスである。G30が、PCやSTBなどの画像信号の信号源との間でEDID情報を通信するためのDDC通信部である。
【０１７２】
また、各機器間においてG14aおよび、G14bがIEEE1394などの通信線を表わしており、この配線により同じ伝送プロトコルにのっとった異なる圧縮方式の画像信号の通信が行われる。
【０１７３】
また、G45は、従来からのVGA規格やDVI規格などの画像専用ケーブルで接続した画像信号の配線を示しており、また、G46は従来からのDDC通信の通信線を示している。
【０１７４】
本実施例では、画像信号の信号源として、G1のPCとG37のDTVチューナーを例示している。第三の実施例と同様に、画像属性変更信号通信部と画像属性情報通信部によりディスプレイとの間で画面領域に応じた画像出力属性を決定作業を行い、G1は部分書き換え型の圧縮信号を、G37はMPEGから変換した圧縮信号を出力する。
【０１７５】
また、G28のディスプレイ自身は従来と同様の表示装置であるが、ここではG15のセットトップボックス（STB）において、調整機能を行うことにより、STB上で合成済の画像を表示する構成としている。このため、G15はG28のディスプレイとの間でDDC通信により得られたEDID情報を参照して、出力する画像配置を決めるとともに第三の実施例と同様に、画像属性変更信号通信部と画像属性情報通信部によりIEEE1394通信を介してG1、G37などの機器との間で画面領域に応じた画像出力属性の決定作業を行う。
【０１７６】
第四の実施例における画像表示設定手順の例を図１３に示す。ここで、Gxxは図１２の各部を示している。G28のディスプレイとG15のSTBの電源を投入し、画面を無信号時のブルーバック表示とする。その後、G1のPCに接続して、図１１の子画面領域F3に解像度XGAの画像を部分書き換え方式の圧縮信号で伝送する設定を行う。つづいて、G37のDTVチューナーからのHDTV画像を、図１１のF4の領域にあった1024×576画素の圧縮信号で伝送する設定を行う。
【０１７７】
H1において、G28のディスプレイ（Display#A）とG15のセットトップボックス（STB）の電源をONとする。このとき、H2に示すように、DDC規格の手順に従い、G30からG24にEDIDデータが送信される。H3において、EDIDデータを読み、STBはG17においてG2から出力する画像の解像度を決定するとともに、現在STBに対しては信号源からの入力が無いため、G20の画像合成部あるいはG22の画像信号処理部で、画面全体を赤および緑の信号を０、青の信号を一定値とした、いわゆるブルーバック表示の画像を内部生成して出力する。
【０１７８】
H4において、STBのユーザー操作系G16のユーザーの操作により、図１１のF3の領域（子画面１）にG1のPC（PC#A）の表示の選択が行われる。
【０１７９】
H5において、STBのCPU部G17はディスプレイから得られたEDID情報と、他にSTBに接続している機器から入力する画像属性情報（現在は、何も接続していない。）から、G18の画像通信部の通信量を演算して、PCに要求する画像出力属性を決定し、H8においてG14bを介してG1のPC＿Aと画像出力属性に関する通信を行う。
【０１８０】
H7において、G1のPC＿Aでは、G6のグラフィック部の描画能力や、G8の部分書き換えフォーマットが要求された画像属性に対して、対応可能かどうかの判断を行い、H8においてSTBとPC＿A間で合意可能な出力属性を決定する。合意が形成されない場合は、第三の実施例と同様に、再度H5に戻り通信を繰り返す。
【０１８１】
H9に示すように、この合意形成の過程でディスプレイG28の解像度の変更が必要な場合は、EDIDデータを参照しながらディスプレイの対応可能な別の解像度に設定を変更する。
【０１８２】
このようにして、H10に示すように、F3の子画面１の領域に合うように、PC＿Aの出力画像が設定される。
【０１８３】
次に、H11において、STBのユーザー操作系G16のユーザーの操作により、図１１のF4の領域（子画面2）にG37のDTVチューナー（ TUNER）の表示の選択が行われる。
【０１８４】
H12において、STBのCPU部G17はディスプレイから得られたEDID情報と、他にSTBに接続している機器から入力する画像属性情報（現在は、PC＿Aのみ。）から、G18の画像通信部の通信量を演算して、TUNERに要求する画像出力属性を決定し、H13においてG14bを経由してG14aを介してG37のTUNERと画像出力属性に関する通信を行う。
【０１８５】
H14において、G37のTUNERでは、G40のMPEGのデコードフォーマットや、G41の圧縮形式変換部の変換可能な出力フォーマットを参照して、要求された画像属性に対して、対応可能かどうかの判断を行い、H15においてTUNERとSTB間で合意可能な出力属性を決定する。合意が形成されない場合は、第三の実施例と同様に、再度H12に戻り通信を繰り返す。
【０１８６】
H16に示すように、この合意形成の過程でディスプレイG28の解像度の変更が必要な場合は、EDIDデータを参照しながらディスプレイの対応可能な別の解像度に設定を変更する。また、PC#Aの画像出力属性の変更が必要な場合は、H5に戻り再度PC＿Aの設定を行う。
【０１８７】
このようにして、H17に示すように、F4の子画面2の領域に合うように、TUNERの出力画像が設定される。
【０１８８】
また、上記画像を表示中に、例えば画面F3のPC画像の領域をXGAからSXGA（1280×1024画素）の大きさに拡大するとともに、F4のHDTVの画像領域を（704×480）に小さくしてPCの画面を中心に表示させる様に全体の画面を変更したい場合は、再度H4からH18同様の手順を経ることにより可能となる。
【０１８９】
あるいは、同じ画面領域の配分であっても、F3のPCの画面を見て作業を行うモードではF3の画面の更新は毎秒60枚行い、F4のテレビの画像は毎秒30枚行う設定であるが、F4のテレビの画像を中心に見るモードではF3の画面の更新は毎秒15枚に変更して、F4の画面の更新は毎秒60枚とするなど、ユーザーの設定や表示画像の内容の自動判別（動画か静止画かなど）にしたがって、H4からH18同様の手順により、用途や表示内容にしたがって画像表示属性を変更する画像表示システムが実現可能になる。こうした場合に、変更後の入力する通信量は一方の機器からの画像信号は増加するもののもう一方の機器からの画像信号が減るため、適切に管理することが可能になる。
【０１９０】
また、画像属性変更時に、画像信号のパケット間でこうした画像出力属性の通信のパケットを伝送可能なため、画像属性の変更が決定になるまでは現在の画像配置で表示を行い、合意が形成された時点で配置を変更して、ユーザーに画面変更時の画面の乱れを見せること無く、あたかもSTB内で各子画面の解像度を変更して表示しているようにスムーズに画面の変更が可能になる。
【０１９１】
このようにして、画面領域に対応して画像の通信量を機器間で管理を行うことにより、通信量の制限されたネットワーク上でも複数の画像の伝送を可能とする。また、画像信号の出力側と入力側が相互に解像度などの画像属性を把握するシステム構成とすることにより、多対多の機器接続における各機器間の調停作業をしやすくするとともに、マルチ画面におけるユーザーの画面領域変更にも柔軟に対応する画像表示システムを実現する。
【０１９２】
また、こうした構成を採ることにより、画像信号とその他の制御信号が同一のネットワークで伝送可能となるばかりでなく、従来のVGA規格やDVI規格のTMDS方式のケーブルのような比較的太くて、伝送距離が10m以下の専用のケーブルを用いる必要が無くなるため、PC本体とディスプレイが距離を離して設置可能になることも見逃せない。
【０１９３】
さらに、DVDやデジタル放送、DVなどのAV系の家電ネットワークとPCの画像が統合可能になり、同じ表示装置上で同じ制御手段で制御可能になるメリットも大きい。
【０１９４】
以上説明したように、画面領域に対応して画像の通信量を機器間で管理を行うことにより、通信量の制限されたネットワーク上でも複数の画像の伝送を可能とする。これにより、従来専用ケーブルで接続していたPCの画像も、他のAV系の家電機器の画像と同じネットワーク経由で同じディスプレイに表示可能な多画面表示システムを容易に実現する。
【０１９５】
また、ディスプレイのネットワークへの接続と切断を行ったときのみならず、任意のタイミングで、画像信号の出力側と入力側が相互に解像度などの画像属性を伝達、把握するシステム構成とすることにより、多対多の機器接続における各機器間の調停作業をしやすくできる。特に、1対の機器間での調停で合意が得られない場合は、すでに合意済みの他の機器の出力画像属性や表示装置の表示解像度の設定を再調整可能なことにより、マルチ画面における表示属性変更に柔軟に対応する画像表示システムを実現する。
【０１９６】
また、ユーザーによる画面領域変更ばかりでなく、表示画像の内容や接続機器の優先度に応じて各画像信号の属性を変更して、各信号の情報量の増減を行い通信経路の通信量を管理することにより、通信量の制限による表示画像の劣化の発生を防止して、多画面でありながら目的に応じた画質の確保が可能な多機能表示システムを実現する。
【０１９７】
上記実施例の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って動作させることによって実施したものも、本発明の範疇に含まれる。
【０１９８】
この場合、上記ソフトウェアのプログラムコード自体が上述した実施例の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１９９】
なお、上記実施例は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【０２００】
【発明の効果】
以上説明したように本発明によれば、ネットワーク等で複数の信号源に接続した画像表示装置が、複数の映像信号を受信する場合において、複数の映像信号の表示領域や配置関係、用途や種類、内容、動画の割合、優先度、ユーザー設定、画像に付属した優先度情報等に応じて、各伝送信号の画像属性（解像度、画像領域、画面の更新周期、階調数、色、アスペクト比等）や伝送方式（伝送方式、圧縮方式、圧縮率、書き換え周期等）あるいは画像とともに通信される画像以外の情報（音声情報、マウスなど外部制御機器の制御信号等）の情報量を制御する信号等を信号源側に送ることにより、受信する信号の総計を制御して不必要な情報を削減できる。これにより、画像表示装置自身が、ネットワークから画像表示装置に入力する伝送信号の情報量を管理することが可能になり、伝送量の超過による画質や、音質の劣化を防止しながら、常に最適な多画面表示を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の第一の実施例を適用した画像表示システムの構成図である。
【図２】本発明の第一の実施例における動作を説明するためのフロー図である。
【図３】本発明の第二の実施例における画像表示システムのネットワーク構成例を示す図である。
【図４】本発明の第一の実施例における画像表示例を示す図である。
【図５】本発明の第二の実施例における画像表示例を示す図である。
【図６】本発明の第二の実施例の画像表示システムの構成図である。
【図７】本発明の第二の実施例における動作を説明するための説明図である。
【図８】本発明の第三の実施例を適用した画像表示システムの構成図である。
【図９】本発明の第三の実施例における動作を説明するためのフロー図である。
【図１０】本発明の第三の実施例における動作を説明するためのフロー図である。
【図１１】本発明の第四の実施例における画像表示例を示す図である。
【図１２】本発明の第四の実施例の画像表示システムの構成図である。
【図１３】本発明の第四の実施例における動作を説明するためのフロー図である。
【図１４】従来例における画像表示システムの構成図である。
【図１５】従来例における画像表示システムのネットワーク構成例を示す図である。
【符号の説明】
Ａ１ａ，Ａ１ｂ  画像信号源
Ａ２ａ，Ａ２ｂ  ＣＰＵ
Ａ３ａ，Ａ３ｂ  バスコントロール部
Ａ４ａ，Ａ４ｂ  メインメモリ部
Ａ５ａ，Ａ５ｂ  記録媒体部
Ａ６ａ，Ａ６ｂ  グラフィック描画部
Ａ７ａ，Ａ７ｂ  画像メモリ部
Ａ８ａ，Ａ８ｂ  音源
Ａ９ａ，Ａ９ｂ  画像・音声送信部
Ａ１０ａ，Ａ１０ｂ  通信部
Ａ１１ａ，Ａ１１ｂ  ＥＤＩＤ情報記憶部
Ａ１２ａ，Ａ１２ｂ  画像情報量制御部
Ａ１３ａ，Ａ１３ｂ  音声情報量制御部
Ａ３０  画像表示装置
Ａ３１  マイコン部
Ａ３２  画像・音声受信部
Ａ３３  解像度変換部
Ａ３４  画像メモリ部
Ａ３５  画像表示用処理部
Ａ３６  画像表示部
Ａ３７  音声処理部
Ａ３８  スピーカ
Ａ４０  通信部
Ａ４１  ＥＤＩＤ情報格納部
Ａ４２  伝送情報量管理部
Ａ４３  情報量制御信号作成部
Ｅ１  ディスプレイ
Ｅ２  セットトップボックス
Ｅ４  パーソナルコンピュータ
Ｅ５  ＤＴＶチューナ
Ｅ６  ＤＶ
Ｅ７，Ｅ８  １３９４ハブ
Ｅ１０  パーソナルコンピュータ
Ｅ１１  ＤＶＤ
Ｅ１２  ＨＤＤ
Ｅ１３  ディスプレイ
Ｅ１４  モデム
Ｅ１５  公衆網
Ｇ１  パーソナルコンピュータ
Ｇ２  ＣＰＵ
Ｇ３  バスコントローラ
Ｇ４  メインメモリ部
Ｇ５  記録媒体部
Ｇ６  グラフィック描画部
Ｇ７  画像メモリ部
Ｇ８  画像エンコード部
Ｇ９  １３９４通信部
Ｇ１２  情報量制御部
Ｇ１３  ＥＤＩＤ情報記憶部
Ｇ１５  セットトップボックス
Ｇ１６  ユーザ操作部
Ｇ１７  ＣＰＵ部
Ｇ１８  １３９４通信部
Ｇ１９ａ，Ｇ１９ｂ  デコーダ
Ｇ２０  画像合成部
Ｇ２１  画像メモリ部
Ｇ２２  画像信号処理部
Ｇ２３  画像送信部
Ｇ２４  ＤＤＣ通信部
Ｇ２６  情報量制御信号作成部
Ｇ２７  伝送情報量管理部
Ｇ２８  ディスプレイ
Ｇ２９  マイコン部
Ｇ３０  ＤＤＣ通信部
Ｇ３１  画像受信部
Ｇ３２  解像度変換部
Ｇ３３  画像メモリ部
Ｇ３４  画像表示用処理部
Ｇ３５  画像表示部
Ｇ３７  ＤＴＶチューナ
Ｇ３９  チューナ部
Ｇ４０  ＭＰＥＧデコーダ部
Ｇ４１  圧縮変換部
Ｇ４２  １３９４通信部
Ｇ４３  ＥＤＩＤ情報記憶部
Ｇ４４  情報量制御部
【図１】
0004401542.tif 000002
【図２】
0004401542.tif 000003
【図３】
0004401542.tif 000004
【図４】
0004401542.tif 000005
【図５】
0004401542.tif 000006
【図６】
0004401542.tif 000007
【図７】
0004401542.tif 000008
【図８】
0004401542.tif 000009
【図９】
0004401542.tif 000010
【図１０】
0004401542.tif 000011
【図１１】
0004401542.tif 000012
【図１２】
0004401542.tif 000013
【図１３】
0004401542.tif 000014
【図１４】
0004401542.tif 000015
【図１５】
0004401542.tif 000016