(57)【要約】【課題】ユーザの所望の画像を所望の品質で再生できるとともに、再生側だけで映像品質の低下に対応する。【解決手段】複数の画像ソースに対応する画面を、外部の表示装置の表示画面上に表示させる表示制御装置において、各画像ソースに対応する表示内容に応じた表示重要度を判別し、判別された前記表示重要度に応じて、各画像ソースに対して表示を行うための表示リソースを割り当てる。【選択図】図４
2008180932.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を、表示装置に表示させる表示制御装置であって、
それぞれの前記画像の表示内容に応じた表示重要度を判別する表示重要度判別部と、
前記表示重要度判別部により判別された前記表示重要度に応じて、それぞれの前記画像を表示するのに用いる表示リソースを割り当てるリソース割当部と、
を備えたことを特徴とする表示制御装置。
【請求項２】
請求項１記載の表示制御装置において、
前記表示内容は、前記画像の種別情報であり、
前記表示重要度判別部は、前記画像の種別情報と前記表示重要度とをあらかじめ対応づけた種別−重要度対応テーブルを記憶するテーブル記憶部と、
入力された前記画像の種別情報を判別する種別情報判別部と、
前記種別情報判別部の判別結果に基づいて前記テーブル記憶部を参照し、前記入力された前記画像に対応する前記表示重要度を判別する重要度判別部と、
を備えたことを特徴とする表示制御装置。
【請求項３】
請求項１または請求項２記載の表示制御装置において、
前記リソース割当部は、それぞれの前記画像について所定の画像サイズを維持しつつ、前記表示重要度が低い場合には、フレームレートあるいは表示色数を低下させることを特徴とする表示制御装置。
【請求項４】
請求項１または請求項２記載の表示制御装置において、
前記リソース割当部は、それぞれの前記画像について所定のフレームレートを維持しつつ、前記表示重要度が低い場合には、表示サイズを小さくさせる、あるいは、表示色数を低下させることを特徴とする表示制御装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の表示制御装置において、
前記リソース割当部は、割り当て可能な全ての表示リソースのうち、一部の前記表示リソースの割り当てを禁止することを特徴とする表示制御装置。
【請求項６】
画像を表示する表示部と、
複数の前記画像を、前記表示部に表示させる表示制御装置と、を備え、
前記表示制御装置は、それぞれの前記画像の表示内容に応じた表示重要度を判別する表示重要度判別部と、
前記表示重要度判別部により判別された前記重要度に応じて、それぞれの前記画像を表示するのに用いる表示リソースを割り当てるリソース割当部と、
を備えたことを特徴とする表示装置。
【請求項７】
複数の画像を、表示装置に表示させる表示制御方法であって、
それぞれの前記画像の表示内容に応じた表示重要度を判別する表示重要度判別過程と、
前記表示重要度判別過程において判別された前記表示重要度に応じて、それぞれの前記画像を表示するのに用いる表示リソースを割り当てるリソース割当過程と、
を備えたことを特徴とする表示制御方法。
【請求項８】
複数の画像を、表示装置に表示させる表示制御装置をコンピュータにより制御するための制御プログラムであって、
それぞれの前記画像の表示内容に応じた表示重要度を判別させ、
判別された前記表示重要度に応じて、それぞれの前記画像を表示するのに用いる表示リソースを割り当てさせる、
ことを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示装置、表示制御方法および制御プログラムに係り、特に同一画面に複数の画面を表示する際における表示リソースの割当技術に関する。
【背景技術】
【０００２】
近年の表示装置の大画面化、ディジタル化の進行に伴って、放送波に限らず、多様な映像ソースの利用が進んでおり、一つの画面に複数の映像を表示するマルチウィンドウ表示が望まれてきている。
例えば、特許文献１記載の技術は、配信された（電子）情報を配信元に関連づけ、配信元毎にあらかじめ割り当てた表示優先ランクに基づいて階層的かつ選択的な表示形態並びに表示順序で表示を行うようにされていた。
また、特許文献２記載の技術は、本来の試聴距離や試聴用途の異なる複数機器からの複数の画像を同一画面上に混在表示させる場合に、表示文字、画像の大きさを調整している。
また、特許文献３記載の技術は、ユーザの情報端末装置の消費電力に相当する再生希望時間および端末バッテリ残容量からマルチメディア情報の送信品質を決定して、ユーザの情報端末に対して送信するようにされていた。
また、特許文献４記載の技術は、一つのコンテンツに対してフレームサイズ、フレームレートなどの品質の異なる複数のマルチメディアデータを生成しておき、コンテンツの検索要求に対し、要求元の再生装置のリソースに応じて最適なマルチメディアデータを選択するようにされていた。
【特許文献１】特開２００３−１６２２７３号公報
【特許文献２】特開２００２−１４６６４号公報
【特許文献３】特開２００５−２６７２１８号公報
【特許文献４】特開平９−８１４４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１記載の技術においては、表示優先ランクは情報の配信元に関連づけられているため、同送信元で異なる送信内容の場合などについては対応することができない。すなわち、表示優先ランクが固定とされてしまうという不具合があった。
また、特許文献２ないし特許文献４記載の技術においては、同時に複数の映像を表示した場合の映像品質の低下（例えば、コマ落ちの発生）に対して、再生（装置）側だけでは対応できないという問題点があった。
そこで、本発明の目的は、ユーザの所望の画像を所望の品質で再生できるとともに、再生側だけで映像品質の低下に対応することが可能な表示制御装置、表示装置、表示制御方法および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、本発明の第一態様は、複数の画像を、表示装置に表示させる表示制御装置であって、それぞれの前記画像の表示内容に応じた表示重要度を判別する表示重要度判別部と、前記表示重要度判別部により判別された前記表示重要度に応じて、それぞれの前記画像を表示するのに用いる表示リソースを割り当てるリソース割当部と、を備えたことを特徴としている。
【０００５】
上記構成によれば、表示重要度判別部は、それぞれの前記画像の表示内容に応じた表示重要度を判別する。
これにより、リソース割当部は、表示重要度判別部により判別された表示重要度に応じて、それぞれの画像を表示するのに用いる表示リソースを割り当てる。
したがって、ユーザの所望の画像を表示重要度に応じた所望の品質で再生できるとともに、画像ソース側で処理を行うことなく、再生側だけで映像品質の低下に対応することができる。
【０００６】
また、本発明の第二態様は、第一態様において、前記表示内容は、前記画像の種別情報であり、前記表示重要度判別部は、前記画像の種別情報と前記表示重要度とをあらかじめ対応づけた種別−重要度対応テーブルを記憶するテーブル記憶部と、入力された前記画像の種別情報を判別する種別情報判別部と、前記種別情報判別部の判別結果に基づいて前記テーブル記憶部を参照し、前記入力された前記画像に対応する前記表示重要度を判別する重要度判別部と、を備えるようにしてもよい。
【０００７】
上記構成によれば、テーブル記憶部は、画像の種別情報と表示重要度とをあらかじめ対応づけた種別−重要度対応テーブルを記憶する。
種別情報判別部は、入力された画像の種別情報を判別する。
これらにより、重要度判別部は、種別情報判別部の判別結果に基づいてテーブル記憶部を参照し、入力された画像に対応する表示重要度を判別する。
従って、簡易な手順で画像ソースに対応する表示内容に応じた表示重要度を判別することができる。
【０００８】
また、本発明の第三態様は、第一態様または第二態様において、前記リソース割当部は、それぞれの前記画像について所定の画像サイズを維持しつつ、前記表示重要度が低い場合には、フレームレートあるいは表示色数を低下させるようにしてもよい。
上記構成によれば、所定の画像サイズを維持しつつ、さらに表示重要度が低い場合にフレームレートあるいは表示色数を低下させることにより、画像ソース側で処理を行うことなく、再生側だけで映像品質の低下に対応することができる。
【０００９】
また、本発明の第四態様は、第一態様または第二態様において、前記リソース割当部は、それぞれの前記画像について所定のフレームレートを維持しつつ、前記表示重要度が低い場合には、表示サイズを小さくさせる、あるいは、表示色数を低下させるようにしてもよい。
上記構成によれば、リソース割当部は、各前記画像ソースに対応する画像について所定のフレームレートを維持しつつ、表示重要度に応じて表示リソースを割り当てるに際し、表示重要度が低い場合に、表示サイズを小さくさせ、あるいは、表示色数を低下させるので、フレームレートを確実に維持して、画像再生をなめらかに行いつつ、画像ソース側で処理を行うことなく、再生側だけで映像品質の低下に対応することができる。
【００１０】
また、本発明の第五態様は、第一態様ないし第四態様において、前記リソース割当部は、割り当て可能な全ての表示リソースのうち、一部の前記表示リソースの割り当てを禁止するようにしてもよい。
上記構成によれば、リソース割当部は、割当可能な全表示リソースのうち、一部の割り当てを禁止するので、表示リソースに余裕を持たせることができ、安定動作を確保することができる。
【００１１】
また、本発明の第六態様は、画像を表示する表示部と、複数の前記画像を、前記表示部に表示させる表示制御装置と、を備え、前記表示制御装置は、それぞれの前記画像の表示内容に応じた表示重要度を判別する表示重要度判別部と、前記表示重要度判別部により判別された前記重要度に応じて、それぞれの前記画像を表示するのに用いる表示リソースを割り当てるリソース割当部と、を備えたことを特徴としている。
【００１２】
上記構成によれば、表示制御装置の表示重要度判別部は、それぞれの画像の表示内容に応じた表示重要度を判別する。
リソース割当部は、表示重要度判別部により判別された重要度に応じて、それぞれの画像を表示するのに用いる表示リソースを割り当てる。
これらの結果、表示部は、リソース割当部に割り当てられた表示リソースに応じて各画像の表示を行う。
したがって、表示部に、複数の画像ソースに対応する画面が表示されるに際し、ユーザの所望の画像を表示重要度に応じた所望の品質で再生できるとともに、画像ソース側で処理を行うことなく、再生側だけで映像品質の低下に対応することができる。
【００１３】
また、本発明の第七態様は、複数の画像を、表示装置に表示させる表示制御方法であって、それぞれの前記画像の表示内容に応じた表示重要度を判別する表示重要度判別過程と、前記表示重要度判別過程において判別された前記表示重要度に応じて、それぞれの前記画像を表示するのに用いる表示リソースを割り当てるリソース割当過程と、を備えたことを特徴としている。
したがって、ユーザの所望の画像を表示重要度に応じた所望の品質で再生できるとともに、画像ソース側で処理を行うことなく、再生側だけで映像品質の低下に対応することができる。
【００１４】
また、本発明の第八態様は、複数の画像を、表示装置に表示させる表示制御装置をコンピュータにより制御するための制御プログラムであって、それぞれの前記画像の表示内容に応じた表示重要度を判別させ、判別された前記表示重要度に応じて、それぞれの前記画像を表示するのに用いる表示リソースを割り当てさせる、ことを特徴としている。
したがって、ユーザの所望の画像を表示重要度に応じた所望の品質で再生できるとともに、画像ソース側で処理を行うことなく、再生側だけで映像品質の低下に対応することができる。
この場合において、制御プログラムをコンピュータ読取可能な記録媒体に記録するようにしても良い。
【発明を実施するための最良の形態】
【００１５】
次に図面を参照して本発明の好適な実施の形態について説明する。
図１は、実施形態の画像表示システムの概要構成ブロック図である。
画像表示システム１０は、各種動画あるいは各種静止画を表示するディスプレイ１１と、複数のチューナを有し、マルチ画面の表示制御を行う表示制御ユニット１２と、表示制御ユニット１２に対し、ＬＡＮなどのネットワーク１３を介して接続された複数のパーソナルコンピュータ１４Ａ〜１４Ｃと、表示制御ユニット１２に対し、図示しない映像／音声入力端子を介して接続されたＤＶＤプレーヤ１５およびディジタルビデオレコーダ（ＤＶＲ）１６と、を備えている。
表示制御ユニット１２は、ディスプレイ１１を制御して、実際のマルチ画面表示制御を行う画像コントローラ１２Ａと、ディジタルテレビジョン放送を受信する第１のディジタルテレビジョン（ＤＴＶ）チューナ１２Ｂ１と、ディジタルテレビジョン放送を受信する第２のディジタルテレビジョン（ＤＴＶ）チューナ１２Ｂ２と、アナログテレビジョン放送を受信するテレビジョン（ＴＶ）チューナ１２Ｃと、を備えている。
【００１６】
図２は、画像コントローラの概要構成ブロック図である。
画像コントローラ１２Ａは、いわゆるマイクロコンピュータとして構成されており、画像コントローラ１２Ａ全体を制御するＭＰＵ２１と、表示制御プログラムを含む各種プログラムをあらかじめ記憶したＲＯＭ２２と、各種データを一時的に記憶するＲＡＭ２３と、表示用の画像データを一時的に記憶するＶＲＡＭ２４と、ディスプレイ１１を駆動するディスプレイドライバ２５と、図示しない映像／音声入力端子を含む各種入出力端子を有し、接続機器とのインタフェース動作および図示しない操作部との間のインタフェース動作を行うインタフェース部２６と、ネットワーク１３を介して通信動作に係るインタフェース動作を行う通信インタフェース部２７と、各部２１〜２７の相互間を接続するバス２８と、を備えている。
【００１７】
図３は、実施形態の動作フローチャートである。
まず、画像コントローラ１２ＡのＭＰＵ２１は、映像入力状態の変化を検出する（ステップＳ１１）。より詳細には、ユーザの指示による映像入力数の増減、あるいは、同一入力系統の入力内容（チャンネル番号、番組内容等）の変化を検出することとなる。具体的には、ユーザがＤＴＶチューナ１２Ｂ１からの画像再生中にさらにＤＴＶチューナ１２Ｂ２の再生を行う場合、ユーザがＤＴＶチューナ１２Ｂ１およびＤＴＶチューナ１２Ｂ２の画像再生中にＤＴＶチューナ１２Ｂ１からの画像再生を中断する場合、ＴＶチューナ１２Ｃの再生内容（コンテンツ内容）がニュースから映画に変化したような場合などである。
つぎに現在の表示画面上の表示ウィンドウ数Ｎが一つ以上であるか否かを判別する（ステップＳ１２）。
【００１８】
ステップＳ１２の判別において、表示ウィンドウ数Ｎが一つ未満である、すなわち、何も表示されていない場合には（ステップＳ１２；Ｎｏ）、入力数の増加があったと判断されるので、ＭＰＵ２１は、インタフェース部２６あるいは通信インタフェース部２７を介した入力にかかる映像データをＶＲＡＭ２４に格納するとともに、ディスプレイドライバ２５を介してディスプレイ１１に表示させ（ステップＳ１７）、ディスプレイ１１に表示すべきウィンドウ数をデクリメントする（ステップＳ１８）。
次にＭＰＵ２１は、現在の表示すべきウィンドウ数に基づいて他に表示すべきウィンドウがあるか否か、すなわち、表示すべきウィンドウ数が１以上であるか否かを判別する（ステップＳ１９）。
ステップＳ１９の判別において、他に表示すべきウィンドウがある場合には、処理をステップＳ１６に移行し、後述する表示処理用リソース割当処理を行い（ステップＳ１６）、以下、同様の処理を行う。
ステップＳ１９の判別において、他に表示すべきウィンドウがない場合には、処理を終了する。
【００１９】
一方、ステップＳ１２の判別において、表示ウィンドウ数Ｎが一つ以上である場合には、（ステップＳ１２；Ｙｅｓ）、表示ウィンドウ数Ｎが表示ウィンドウ数最大値ＮMAXを超えているか否かを判別する（ステップＳ１３）。
ステップＳ１３の判別において、表示ウィンドウ数Ｎが表示ウィンドウ数最大値ＮMAXを超えている場合には（ステップＳ１３；Ｙｅｓ）、ユーザにどのような表示状態にすべきかを選択させるべく、選択指示の入力を促す旨の表示を行う（ステップＳ２０）。
これに伴い、ユーザが選択指示をおこなって、表示している画像のうち、少なくともいずれか一つの表示を中断し表示ウィンドウ数Ｎを減らす旨の指示がなされたか否かを判別する（ステップＳ２１）。
【００２０】
ステップＳ２１の判別において、いずれか一つの表示を中断し、表示ウィンドウ数Ｎを減らす旨の指示がなされた場合には（ステップＳ２１；Ｙｅｓ）、処理をステップＳ１１に移行して、以下同様の処理を行う。
また、ステップＳ２１の判別において、表示ウィンドウ数Ｎを減らす旨の指示がなされなかった場合には（ステップＳ２１；Ｎｏ）、現在の表示状態を維持して、処理を終了する。
ステップＳ１３の判別において、表示ウィンドウ数Ｎが表示ウィンドウ数最大値ＮMAX未満である場合には（ステップＳ１３；Ｎｏ）、コンテンツ種別検出／重要度取得処理を行う（ステップＳ１４）。
【００２１】
ここで、コンテンツ種別検出／重要度取得処理について説明する。
図４は、コンテンツ種別−重要度対応テーブルの説明図である。
コンテンツ種別−重要度対応テーブル３１は、コンテンツ種別（コンテンツ内容）データ３１Ａに対し、表示重要度に対応する重要度データ３１Ｂおよび重みデータ３１Ｃが対応づけられている。
コンテンツ種別は、コンテンツ内容毎に分類されており、大別すると、放送番組および放送番組以外（非放送番組）に対応する、例えば、画像再生装置からの画像入力とに分けられる。
放送番組について、コンテンツ種別を判別する場合には、電子番組ガイドから得られる検索用データ（いわゆる、メタデータ）に基づいて行うようにされている。
【００２２】
また、非放送番組については、画像再生装置が接続された入力端子毎に判別を行う。すなわち、入力端子がＤＶＤ（Ｄｅｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）入力端子である場合には、入力画像は、映画と推定し、市販ＤＶＤの場合には、インターネット上のＤＶＤ  ＤＢ（Ｄａｔａ  Ｂａｓｅ）に含まれる検索用データに基づいて行ってもよい。
さらに画像再生装置がパーソナルコンピュータである場合には、上述したＤＶＤの場合と同様に入力端子により判別する。また、再生画像がインターネット、ＬＡＮなどを介してストリーミング再生によるものである場合には、同時に提供される検索用データに基づいて判別するようにすればよい。さらに、再生画像がパーソナルコンピュータに記録（録画）したものである場合には、電子番組ガイドから得られる検索用データあるいは画像データに付加される検索用データを用いて判別するようにすればよい。
【００２３】
以上の結果、判別されるコンテンツ種別（コンテンツ内容）としては、図４に示すように、映画、ニュース、スポーツ、ドラマ、音楽、ワイドショー、緊急放送等が挙げられる。また、画像再生装置が、さらにセキュリティシステムに接続されている場合には、防犯カメラ画像、ドアホン画像などが挙げられる。
本実施形態では、コンテンツの重要度は、コンテンツ（の内容）毎に１〜４の４段階に分けられており、重要度＝１が最も重要度が高く、重要度＝４が最も重要度が低い。また、各コンテンツには重みが割り当てられており、コンテンツ（の内容）毎に１〜４の４段階の重みが割り当てられており、重み＝４が最も重みが大きく、重み＝１が最も重みが小さい。
【００２４】
次にＭＰＵ２１は、コンテンツ種別−重要度対応テーブル３１を参照しつつ表示リソースの配分計算を行う（ステップＳ１５）
具体的には、配分可能な表示リソース全体を１００（％）とし、動画像Ｘの表示リソース配分をＤＸ（％）とし、安定動作のための最大許容表示リソース配分をＤｍａｘ（＜１００％）とし、動画像Ｘの重みをＷＸ、表示対象の全画像の重みの和をＷＴとすると、表示リソースの配分は、原則的には、次式により行う。
ＤＸ＝Ｄｍａｘ×ＷＸ／ＷＴ            …（１）
この場合において、安定動作のための最大許容表示リソース配分Ｄｍａｘは、例えば、９０［％］とする。これは、画像処理負荷が高くなりすぎて画像処理プロセッサが熱暴走などを起こさないようにするためである。
そして、必ずしも完全に表示リソース全てが配分できるとは限らないため、表示対象の全画像に割り当てる表示リソースが所定値（例えば、８５％）を超えたら、再調整は行わないものとする。
【００２５】
また、処理の煩わしさを低減すべく、ＤＸの配分単位は、５％単位であり、ニ捨三入（→この結果、一の位は、５とする）および七捨三入（→この結果、一の位は、０とする）。
さらに、いずれかの画像に全く表示リソースが配分されないことが生じないように、最低表示リソース配分（例えば、ＤＸ≧５％）を定めておく必要がある。
さらにまた、本実施形態では、計算により求めた表示リソース配分が対応する動画像Ｘの要求する表示リソース配分（＝要求表示リソース配分）を超えた場合には、当該動画像Ｘに割り当てる表示リソース配分を、要求表示リソース配分として、必要以上の表示リソースが割り当てられないようにしている。
次にＭＰＵ２１は、表示対象の複数の画像のうち、今回の表示リソース割当が未だ行われていない画像であって、最も重要度の高い画像に実際に表示リソースの配分を行う（ステップＳ１６）。
これにより、表示リソースが割り当てられた画像が表示画面上に表示される（ステップＳ１７）。
【００２６】
次に、ＭＰＵ２１は、既に表示リソースを割り当てた表示ウィンドウを表示割当対象から外すべく表示するウィンドウ数をデクリメントする（ステップＳ１８）。
続いて、ＭＰＵ２１は、今回の表示リソース割当が行われていない表示ウィンドウがあるか否かをウィンドウ数に基づいて判別する（ステップＳ１９）。
ステップＳ１９の判別において、今回の表示リソース割当が行われていない表示ウィンドウが存在する場合には（ステップＳ１９；Ｙｅｓ）、ＭＰＵ２１は、処理を再びステップＳ１６に移行し、表示処理用リソースを割り当てることとなる。
また、ステップＳ１９の判別において、既に今回の表示リソース割当が行われていない表示ウィンドウがない場合には（ステップＳ１９；Ｎｏ）、処理を終了する。
この結果、表示画面上には、それぞれが配分された表示リソースを利用して、複数のウィンドウ状の画面が表示されることとなる。
【００２７】
次に具体的な表示リソースの配分と表示状態について説明する。
図５は、４つの表示ウィンドウに対し、同一の画像サイズで４つの動画像を表示する場合の説明図である。
図６は、実際の表示リソース配分例（その１）の説明図である。
ここで、図５に示すように、画像Ｐ１〜Ｐ４のそれぞれの必要リソースが、３０％、３０％、３０％、３０％であるとすると、そのまま配分しようとすると、表示リソースの合計は、１２０％となり、所望の表示を行うことは困難である。
そこで、本実施形態では、画像Ｐ１〜Ｐ４の重要度を考慮して、各画像の重みを定めている。
具体的には、図５に示すように、画像Ｐ１の重要度ＩＰ１＝１（重要度高）とし、画像Ｐ２の重要度ＩＰ２＝２とし、画像Ｐ３の重要度ＩＰ３＝３とし、画像Ｐ４の重要度ＩＰ４＝４（重要度低）とすると、例えば、画像Ｐ１の重みはＷＰ１＝４となり、画像Ｐ２の重みはＷＰ２＝３となり、画像Ｐ３の重みはＷＰ３＝２となり、画像Ｐ４の重みはＷＰ４＝１となる。
【００２８】
この結果、表示リソースの配分を上述の（１）式に基づいて行うと、図６に示すように、初期状態における画像Ｐ１への表示リソースの配分ＤＰ１＝３６となり、画像Ｐ２への表示リソースの配分ＤＰ２＝２７となり、画像Ｐ３への表示リソースの配分ＤＰ３＝１８となり、画像Ｐ４への表示リソースの配分ＤＰ４＝９となり、それらの合計である表示リソース配分合計は９０％となる。
そして、必要リソースを超えた分をカットし、配分単位を５％単位とすると、最終状態における画像Ｐ１への表示リソースの配分ＤＰ１＝３０となり、画像Ｐ２への表示リソースの配分ＤＰ２＝２５となり、画像Ｐ３への表示リソースの配分ＤＰ３＝２０となり、画像Ｐ４への表示リソースの配分ＤＰ４＝１０となり、それらの合計である表示リソース配分合計は８５％となる。したがって、表示リソース配分合計が８５［％］を超えているので、表示リソースの配分計算を終了することとなる。
これらの結果、図５に示すように、表示サイズが一定で、映像品質（フレームレート、コマ落ちの割合、解像度、色数など）が異なる４枚の画像が表示されることとなる。すなわち、図５の例の場合、画像Ｐ１が最も高品質となり、Ｐ２→Ｐ３→Ｐ４の順番で映像品質が徐々に低下するようにされている。
【００２９】
図７は、４つの表示ウィンドウに対し、画像の重要度に応じた画像サイズで表示する場合の説明図である。
この場合において、実際の表示リソース配分が図６の場合と同一であるとすると、図７に示すように、表示サイズが画像の重要度に応じて変更され、映像品質がほぼ一定の４枚の画像が表示されることとなる。すなわち、図７の例の場合、画像Ｐ１が最も大きな画像サイズとなり、Ｐ２→Ｐ３→Ｐ４の順番で画像サイズが徐々に小さくなるようにされている。
このような態様によれば、画像の重要度にかかわらず、フレームレートをほぼ一定として、コマ落ちの少ない滑らかで高品質の画像を得ることができる。
【００３０】
図８は、実際の表示リソース配分例（その２）の説明図である。
この場合においても、図８に示すように、画像Ｐ１〜Ｐ４のそれぞれの必要リソースが、３０％、３０％、３０％、３０％であり、そのまま配分しようとすると、表示リソースの合計は、１２０％となり、所望の表示を行うことは困難である。
そこで、本実施形態では、画像Ｐ１〜Ｐ４の重要度を考慮して、各画像の重みを定めている。
具体的には、図８に示すように、画像Ｐ１の重要度ＩＰ１＝１（重要度高）とし、画像Ｐ２の重要度ＩＰ２＝２とし、画像Ｐ３の重要度ＩＰ３＝２とし、画像Ｐ４の重要度ＩＰ４＝３とすると、例えば、画像Ｐ１の重みはＷＰ１＝４となり、画像Ｐ２の重みはＷＰ２＝３となり、画像Ｐ３の重みはＷＰ３＝３となり、画像Ｐ４の重みはＷＰ４＝２となる。
この結果、表示リソースの配分を上述の（１）式に基づいて行うと、図８に示すように、初期状態における画像Ｐ１への表示リソースの配分ＤＰ１＝３０となり、画像Ｐ２への表示リソースの配分ＤＰ２＝２３となり、画像Ｐ３への表示リソースの配分ＤＰ３＝２３となり、画像Ｐ４への表示リソースの配分ＤＰ４＝１５となり、それらの合計である表示リソース配分合計は９１％となる。
【００３１】
そして、必要リソースを超えた分をカットし、配分単位を５％単位とすると、基本調整状態における画像Ｐ１への表示リソースの配分ＤＰ１＝３０となり、画像Ｐ２への表示リソースの配分ＤＰ２＝２５となり、画像Ｐ３への表示リソースの配分ＤＰ３＝２５となり、画像Ｐ４への表示リソースの配分ＤＰ４＝１５となり、それらの合計である表示リソース配分合計は９５％となる。したがって、表示リソース配分合計が９０［％］を超えているので、切り上げ分がある画像について（本例では、画像Ｐ２、画像Ｐ３）、当該切り上げ分を切り捨てる再調整を行うと、最終状態における画像Ｐ１への表示リソースの配分ＤＰ１＝３０となり、画像Ｐ２への表示リソースの配分ＤＰ２＝２０となり、画像Ｐ３への表示リソースの配分ＤＰ３＝２０となり、画像Ｐ４への表示リソースの配分ＤＰ４＝１５となり、それらの合計である表示リソース配分合計は８５％となる。
【００３２】
図９は、実際の表示リソース配分例（その３）の説明図である。
この場合においても、図９に示すように、画像Ｐ１〜Ｐ４のそれぞれの必要リソースが、３０％、３０％、３０％、３０％であり、そのまま配分しようとすると、表示リソースの合計は、１２０％となり、所望の表示を行うことは困難である。
そこで、本実施形態では、画像Ｐ１〜Ｐ４の重要度を考慮して、各画像の重みを定めている。
具体的には、図９に示すように、画像Ｐ１の重要度ＩＰ１＝１（重要度高）とし、画像Ｐ２の重要度ＩＰ２＝１とし、画像Ｐ３の重要度ＩＰ３＝２とし、画像Ｐ４の重要度ＩＰ４＝３とすると、例えば、画像Ｐ１の重みはＷＰ１＝４となり、画像Ｐ２の重みはＷＰ２＝４となり、画像Ｐ３の重みはＷＰ３＝３となり、画像Ｐ４の重みはＷＰ４＝２となる。
【００３３】
この結果、表示リソースの配分を上述の（１）式に基づいて行うと、図９に示すように、初期状態における画像Ｐ１への表示リソースの配分ＤＰ１＝２８となり、画像Ｐ２への表示リソースの配分ＤＰ２＝２８となり、画像Ｐ３への表示リソースの配分ＤＰ３＝２１となり、画像Ｐ４への表示リソースの配分ＤＰ４＝１４となり、それらの合計である表示リソース配分合計は９１％となる。
そして、配分単位を５％単位とすると、基本調整状態における画像Ｐ１への表示リソースの配分ＤＰ１＝３０となり、画像Ｐ２への表示リソースの配分ＤＰ２＝３０となり、画像Ｐ３への表示リソースの配分ＤＰ３＝２０となり、画像Ｐ４への表示リソースの配分ＤＰ４＝１５となり、それらの合計である表示リソース配分合計は９５％となる。したがって、表示リソース配分合計が９０［％］を超えているので、重要度の低い画像（本例では、画像Ｐ４）から切り上げ分を切り捨てる再調整を行うと、最終状態における画像Ｐ１への表示リソースの配分ＤＰ１＝３０となり、画像Ｐ２への表示リソースの配分ＤＰ２＝３０となり、画像Ｐ３への表示リソースの配分ＤＰ３＝２０となり、画像Ｐ４への表示リソースの配分ＤＰ４＝１０となり、それらの合計である表示リソース配分合計は９０％となるので、表示リソースの配分計算を終了することとなる。
【００３４】
図１０は、実際の表示リソース配分例（その４）の説明図である。
この場合においても、図１０に示すように、画像Ｐ１〜Ｐ４のそれぞれの必要リソースが、４０％、３０％、３０％、３０％であり、そのまま配分しようとすると、表示リソースの合計は、１３０％となり、所望の表示を行うことは困難である。
そこで、本実施形態では、画像Ｐ１〜Ｐ４の重要度を考慮して、各画像の重みを定めている。
具体的には、図１０に示すように、画像Ｐ１の重要度ＩＰ１＝１（重要度高）とし、画像Ｐ２の重要度ＩＰ２＝２とし、画像Ｐ３の重要度ＩＰ３＝３とし、画像Ｐ４の重要度ＩＰ４＝４とすると、例えば、画像Ｐ１の重みはＷＰ１＝４となり、画像Ｐ２の重みはＷＰ２＝３となり、画像Ｐ３の重みはＷＰ３＝２となり、画像Ｐ４の重みはＷＰ４＝１となる。
【００３５】
この結果、表示リソースの配分を上述の（１）式に基づいて行うと、図１０に示すように、初期状態における画像Ｐ１への表示リソースの配分ＤＰ１＝３６となり、画像Ｐ２への表示リソースの配分ＤＰ２＝２７となり、画像Ｐ３への表示リソースの配分ＤＰ３＝１８となり、画像Ｐ４への表示リソースの配分ＤＰ４＝９となり、それらの合計である表示リソース配分合計は９１％となる。
そして、配分単位を５％単位とすると、基本調整状態における画像Ｐ１への表示リソースの配分ＤＰ１＝３５となり、画像Ｐ２への表示リソースの配分ＤＰ２＝２５となり、画像Ｐ３への表示リソースの配分ＤＰ３＝２０となり、画像Ｐ４への表示リソースの配分ＤＰ４＝１０となり、それらの合計である表示リソース配分合計は９０％となっているが、重要度がより高い画像Ｐ１および画像Ｐ２において、表示リソースが不足しているので、重要度の低い画像（本例では、画像Ｐ３および画像Ｐ４）から必要分を配分（ただし、最低配分量は確保）する再調整を行うと、最終状態における画像Ｐ１への表示リソースの配分ＤＰ１＝４０となり、画像Ｐ２への表示リソースの配分ＤＰ２＝３０となり、画像Ｐ３への表示リソースの配分ＤＰ３＝１５となり、画像Ｐ４への表示リソースの配分ＤＰ４＝５となり、それらの合計である表示リソース配分合計は９０％となるので、表示リソースの配分計算を終了することとなる。
【００３６】
次に映像表示中に表示映像数が変化した場合の表示リソース配分の制御について説明する。
図１１は、映像表示中に表示映像数が変化した場合の、変化前（Ａ）、変化後（Ｂ）の表示リソース配分例の説明図である。
変化前の表示リソース配分においては、図１１に示すように、画像Ｐ１〜Ｐ３のそれぞれの必要リソースが、４０％、３０％、３０％であり、画像Ｐ１の重要度ＩＰ１＝１（重要度高）であり、画像Ｐ２の重要度ＩＰ２＝２とし、画像Ｐ３の重要度ＩＰ３＝３であり、画像Ｐ１の重みはＷＰ１＝４であり、画像Ｐ２の重みはＷＰ２＝３であり、画像Ｐ３の重みはＷＰ３＝２であるとすると、画像Ｐ１への表示リソースの配分ＤＰ１＝４０となり、画像Ｐ２への表示リソースの配分ＤＰ２＝３０となり、画像Ｐ３への表示リソースの配分ＤＰ３＝２０となり、それらの合計である表示リソース配分合計は９０％となるので、この状態で表示がおこなわれていることとなる。
この場合において、図１１（Ｂ）に示すように、画像Ｐ４の表示が指示され、その必要リソースが３０％であり、画像Ｐ４の重要度ＩＰ４＝３とすると、画像Ｐ４の重みはＷＰ４＝２となる。
【００３７】
すなわち、画像Ｐ１の重みはＷＰ１＝４であり、画像Ｐ２の重みはＷＰ２＝３であり、画像Ｐ３の重みはＷＰ３＝２であり、画像Ｐ４の重みはＷＰ４＝２となる。
この結果、表示リソースの再配分を上述の（１）式に基づいて行うと、図１１（Ｂ）に示すように、初期状態における画像Ｐ１への表示リソースの配分ＤＰ１＝３３となり、画像Ｐ２への表示リソースの配分ＤＰ２＝２５となり、画像Ｐ３への表示リソースの配分ＤＰ３＝１６となり、画像Ｐ４への表示リソースの配分ＤＰ４＝１６となり、それらの合計である表示リソース配分合計は９０％となる。
そして、配分単位を５％単位とすると、基本調整状態における画像Ｐ１への表示リソースの配分ＤＰ１＝３５となり、画像Ｐ２への表示リソースの配分ＤＰ２＝２５となり、画像Ｐ３への表示リソースの配分ＤＰ３＝１５となり、画像Ｐ４への表示リソースの配分ＤＰ４＝１５となり、それらの合計である表示リソース配分合計は９０％となっているが、重要度がより高い画像Ｐ１において、表示リソースが不足しているので、重要度の低い画像（本例では、画像Ｐ３および画像Ｐ４）から必要分を配分（ただし、最低配分量は確保）する再調整を行うと、最終状態における画像Ｐ１への表示リソースの配分ＤＰ１＝４０となり、画像Ｐ２への表示リソースの配分ＤＰ２＝２５となり、画像Ｐ３への表示リソースの配分ＤＰ３＝１０となり、画像Ｐ４への表示リソースの配分ＤＰ４＝１０となり、それらの合計である表示リソース配分合計は８５％となるので、表示リソースの配分計算を終了することとなる。
【００３８】
以上の説明のように、本実施形態によれば、同一画面上に複数の画面を表示するマルチ画面表示時に、表示リソースの配分を的確に行って、ユーザの所望の画像を所望の品質で再生できるとともに、再生側で処理を行っているだけなので、再生側だけで映像品質の低下に対応することができる。
【００３９】
以上の説明においては、重要度が低い場合に、同一画像サイズを維持しつつ、フレームレートを低下させる場合について説明したが、これに代えてあるいはこれに加えて表示色数を低下させるように構成することも可能である。
以上の説明においては、重要度が低い場合に、フレームレートを維持しつつ、画像サイズを小さくさせる場合について説明したが、これに代えてあるいはこれに加えて表示色数を低下させるように構成することも可能である。
【００４０】
以上の説明においては、上記各機能を実現するための制御プログラムが、予めＲＯＭに格納されている場合について説明したが、制御プログラムを、コンピュータ読取可能な記録媒体に記録するようにしてもよい。このような構成であれば、コンピュータによってプログラムが記憶媒体から読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、上記実施形態の画像情報処理装置と同等の作用および効果が得られる。
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、どのような記憶媒体であってもよい。
また、インターネット、ＬＡＮなどの通信ネットワークを介して制御用プログラムをダウンロードし、インストールして実行するように構成することも可能である。
【図面の簡単な説明】
【００４１】
【図１】実施形態の画像表示システムの概要構成ブロック図である。
【図２】画像コントローラの概要構成ブロック図である。
【図３】実施形態の動作フローチャートである。
【図４】コンテンツ種別−重要度対応テーブルの説明図である。
【図５】４つの表示ウィンドウに対し、同一の画像サイズで４つの動画像を表示する場合の説明図である。
【図６】実際の表示リソース配分例（その１）の説明図である。
【図７】４つの表示ウィンドウに対し、画像の重要度に応じた画像サイズで表示する場合の説明図である。
【図８】実際の表示リソース配分例（その２）の説明図である。
【図９】実際の表示リソース配分例（その３）の説明図である。
【図１０】実際の表示リソース配分例（その４）の説明図である。
【図１１】映像表示中に表示映像数が変化した場合の、変化前（Ａ）と変化後（Ｂ）の表示リソース配分例の説明図である。
【符号の説明】
【００４２】
１０…画像表示システム、１１…ディスプレイ、１２…表示制御ユニット、１２Ａ…画像コントローラ、１２Ｂ１…ＤＴＶチューナ、１２Ｂ２…ＤＴＶチューナ、１２Ｃ…ＴＶチューナ、１３…ネットワーク、１４Ａ…パーソナルコンピュータ、１５…ＤＶＤプレーヤ、２１…部、２１…ＭＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ＶＲＡＭ、２５…ディスプレイドライバ、２６…インタフェース部、２７…通信インタフェース部、２８…バス、３１…コンテンツ種別−重要度対応テーブル、３１Ａ…コンテンツ種別データ、３１Ｂ…重要度データ、３１Ｃ…重みデータ。
【図１】
2008180932.tif 000003
【図２】
2008180932.tif 000004
【図３】
2008180932.tif 000005
【図４】
2008180932.tif 000006
【図５】
2008180932.tif 000007
【図６】
2008180932.tif 000008
【図７】
2008180932.tif 000009
【図８】
2008180932.tif 000010
【図９】
2008180932.tif 000011
【図１０】
2008180932.tif 000012
【図１１】
2008180932.tif 000013