(57)【要約】【課題】  従来より使用するメモリ量を減らしながらも、多くの複数の動画像と静止画像を重ね合わせた合成画像を表示することが可能な画像表示装置、画像表示方法及びそのプログラムを提供する。【解決手段】  画像番号配列７０３は、表示出力部７０６に表示する重ね合わせの最前面に位置する画像の識別情報（画像番号）を、表示出力部７０６の画素毎に格納する。画像表示処理部７０２は、画像番号配列７０３から参照する識別情報に応じて、表示出力部７０６の画面の各画素に表示する画像を特定し、特定した画像の画像データを参照して、表示出力部７０６の画面の各画素に対応する画素データを求め、求めた画素データを基に表示出力部７０６に表示するための表示データを生成する。【選択図】  図７
2006276269.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を重ねて表示可能な表示手段を備えた画像表示装置であって、
前記画像の画像データを保持するデータ保持手段と、
前記画像に前記画像を識別するための識別情報が付与されており、前記表示手段に表示する重ね合わせの最前面に位置する画像の前記識別情報を、前記表示手段の画素毎に格納する識別情報格納手段と、
前記識別情報格納手段から参照する前記識別情報に応じて、前記表示手段の画面の各画素に表示する画像を特定する特定手段と、
前記特定手段が特定した画像の画像データを前記データ保持手段から参照して、前記表示手段の画面の各画素に対応する画素データを求め、求めた前記画素データを基に前記表示手段に表示するための表示データを生成する表示データ生成手段と
を具備することを特徴とする画像表示装置。
【請求項２】
前記画像は、静止画像及び動画像を含む画像であり、前記表示データ生成手段は、前記動画像のフレームレートに応じた表示タイミングに合わせて、前記表示データを生成することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記画像毎に、前記画像の画像データの前記データ保持手段における格納アドレス情報、前記表示手段の画面における画像の表示位置情報、前記表示手段に表示中の画像の幅情報及び高さ情報を少なくとも含む画像属性情報を格納する画像属性情報格納手段を更に具備し、
前記表示データ生成手段は、前記表示手段の画面の各画素に対応する画素データを求める際に、前記画像属性情報格納手段から参照する前記画像属性情報を利用することを特徴とすることを特徴とする請求項１又は２に記載の画像表示装置。
【請求項４】
前記識別情報格納手段は、前記表示手段の前記画素毎に、前記識別情報と合わせて、前記表示手段の各画素のデータが前回のフレームから変化したか否かを示すフラグデータを更に格納し、
前記表示データ生成手段は、前記識別情報格納手段から前記識別情報及び前記フラグデータを参照することで、変更がある画素のみ、前記特定手段が特定した画像の画像データを参照して画素データを求め、新たに求めた画素データと変更前の画素データを基に前記表示手段に表示するための表示データを生成することを特徴とする請求項１〜３のいずれか１項に記載の画像表示装置。
【請求項５】
前記表示データ生成手段は、前記画像データの第１のデータ形式を前記表示手段に表示可能な第２のデータ形式に変換する変換手段を更に備えることを特徴とする請求項１〜４のいずれか１項に記載の画像表示装置。
【請求項６】
前記画像属性情報には、前記画像データの第１のデータ形式を識別するためデータ形式識別情報が更に含まれ、
前記表示データ生成手段が備える前記変換手段は、前記画像属性情報から前記データ形式識別情報を参照することで、前記画像データの第１のデータ形式を識別し、識別した第１のデータ形式から前記表示手段に表示可能な第２のデータ形式への変換を行う行うことを特徴とする請求項５に記載の画像表示装置。
【請求項７】
前記画像の一部又は全部が単色画像の場合には、前記データ保持手段に画像データを保持せずに、前記画像属性情報に前記単色の色を示すデータを更に含ませることを特徴とする請求項２〜６のいずれか１項に記載の画像表示装置。
【請求項８】
複数の画像を重ねて表示可能な表示手段を備えた画像表示装置を利用した画像表示方法であって、
前記画像に前記画像を識別するための識別情報が付与されており、前記表示手段に表示する重ね合わせの最前面に位置する画像の前記識別情報を、前記表示手段の画素毎に格納する識別情報格納手段から、前記識別情報を参照して、参照した前記識別情報に応じて、前記表示手段の画面の各画素に表示する画像を特定する特定ステップと、
前記特定ステップで特定した画像の画像データを、前記画像データを保持するデータ保持手段から参照して、前記表示手段の画面の各画素に対応する画素データを出力する画素データ出力ステップと、
前記画素データ出力ステップで出力した前記画素データを基に前記表示手段に表示するための表示データを生成する表示データ生成ステップと
を有することを特徴とする画像表示方法。
【請求項９】
複数の画像を重ねて表示可能な表示手段を備えた画像表示装置用のプログラムであって、
前記画像に前記画像を識別するための識別情報が付与されており、前記表示手段に表示する重ね合わせの最前面に位置する画像の前記識別情報を、前記表示手段の画素毎に格納する識別情報格納手段から、前記識別情報を参照して、参照した前記識別情報に応じて、前記表示手段の画面の各画素に表示する画像を特定する特定ステップと、
前記特定ステップで特定した画像の画像データを、前記画像データを保持するデータ保持手段から参照して、前記表示手段の画面の各画素に対応する画素データを出力する画素データ出力ステップと、
前記画素データ出力ステップで出力した前記画素データを基に前記表示手段に表示するための表示データを生成する表示データ生成ステップと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の静止画像や動画像を重ね合わせて合成表示する画像表示装置、画像表示方法及びそのプログラムに関するものである。
【背景技術】
【０００２】
複数の画像を上下関係のある順序で重ね合わせて１枚の表示画像を合成するには、上下関係を持つレイヤ（層）構造に配置された複数のプレーンのいずれかに、重ね合わせ対象の画像を配置し、上位レイヤのプレーンに配置した画像が下位レイヤのプレーンに配置した画像よりも前面に表示するように合成する。このような画像合成において、レイヤ数を増やして重ね合わせを行えば、多くの画像を重ね合わせた合成画像を生成することが可能である。また、レイヤ構造のプレーンの上下順を変更することによって、プレーンに配置した画像の重なり順が変わり、合成画像を変化させることも可能である。
【０００３】
従来、このように複数画像を重ね合わせた合成画像を表示する装置では、画像を配置する各々のレイヤに、画面サイズ分の表示データを書き込めるフレームバッファを用意して実装する。レイヤ数以上の画像の重ね合わせが必要な場合では、画像表示システム内のプロセッサ処理などによって、同一レイヤにあらかじめ複数の画像を重ね合わせた合成画像を作成して配置する。そして、画面の各画素において、有効な表示データを持ち、かつ最も上位層であるフレームバッファの画素データを、合成表示画面の当該位置の画素データとしている。合成画像を表示する装置は、レイヤ構造のフレームバッファの画素データを使って表示画面データを作成することを周期的に行い、画像の重ね合わせのある表示を実現している。
【０００４】
動画像を含む複数画像の重ね合わせの合成画像を表示する場合、動画像は再生時間に沿ってリアルタイムに表示画像を更新する必要があるため、特に動画を含む複数の画像を重ね合わせた表示画像データを同一レイヤに配置するには、動画像のフレームレート以上の頻度でレイヤに配置する表示画像データを作成しなければならない。そのため、先行する技術には、動画像を含む複数の画像の重ね合わせ合成では静止画像と独立した動画像用の別フレームバッファを用意し、静止画像のフレームバッファと動画像のフレームバッファを分けて合成を行うものがある（例えば、特許文献１参照）。
【０００５】
また、動画像を含む複数の画像を重ね合わせて合成表示する他の従来技術に、複数の外部からの映像入力の動画像フレームと、画面表示システム用の表示画像フレームに、それぞれのフレームの表示領域を指定する表示領域情報があり、画面の画素ごとに複数の動画フレームとシステムの表示フレームの優先度を管理するテーブルによって、画面の画素ごとに表示する画像フレームを判定して、画面の重ねあわせ表示を実現する方法がある（例えば、特許文献２参照。）。
【０００６】
【特許文献１】特開２００１−２８５７４９号公報
【特許文献２】特開平５−３４６７７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した従来技術である、レイヤ構造に複数のフレームバッファを用いて画像を重ね合わせる表示方法には次のような課題がある。動画のハードウェアデコーダの動画像出力やシステム外部からの映像入力を利用して、複数の動画を含む画像を重ね合わせて表示を行う場合を考えると、プロセッサ処理やシステムバスの負荷低減を目的として、動画像データはプロセッサ処理を経由せず、直接表示装置に供給して表示するような構成とすることが望ましく、そのために一つ一つの動画像を配置するレイヤを別とし、各々フレームバッファを用意する必要がある。しかし、フレームバッファは画像表示装置の画面サイズ（解像度）の表示データ分のメモリ領域が必要であるので、動画用のフレームバッファを多く持つと、必要なメモリサイズが膨大になってしまう。以上のことから、レイヤ構造のフレームバッファを用いて、画像を重ね合わせて合成する方法では、重ね合わせることができる画像数が小規模に制限されてしまうという問題がある。
【０００８】
また、上述した従来技術である、複数の動画像フレームと表示システムの表示画像フレームについて、画面画素ごとに優先的に表示する画像フレームを管理して、重ね合わせ合成表示を実現する方法では、複数の動画像フレームを重ね合わせて表示することは可能であるが、静止画像と動画像が交互に重なって表示するような柔軟な画像の重ね合わせ合成画像を表示することは不可能であるという問題がある。
【０００９】
本発明は、上述した事情を考慮してなされたもので、従来より使用するメモリ量を減らしながらも、多くの複数の動画像と静止画像を重ね合わせた合成画像を表示することが可能な画像表示装置、画像表示方法及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
この発明は、上述した課題を解決すべくなされたもので、本発明による画像表示装置においては、複数の画像を重ねて表示可能な表示手段を備えた画像表示装置であって、画像の画像データを保持するデータ保持手段と、画像に画像を識別するための識別情報が付与されており、表示手段に表示する重ね合わせの最前面に位置する画像の識別情報を、表示手段の画素毎に格納する識別情報格納手段と、識別情報格納手段から参照する識別情報に応じて、表示手段の画面の各画素に表示する画像を特定する特定手段と、特定手段が特定した画像の画像データをデータ保持手段から参照して、表示手段の画面の各画素に対応する画素データを求め、求めた画素データを基に表示手段に表示するための表示データを生成する表示データ生成手段とを具備することを特徴とする。
【００１１】
また、本発明による画像表示方法においては、複数の画像を重ねて表示可能な表示手段を備えた画像表示装置を利用した画像表示方法であって、画像に画像を識別するための識別情報が付与されており、表示手段に表示する重ね合わせの最前面に位置する画像の識別情報を、表示手段の画素毎に格納する識別情報格納手段から、識別情報を参照して、参照した識別情報に応じて、表示手段の画面の各画素に表示する画像を特定する特定ステップと、特定ステップで特定した画像の画像データを、画像データを保持するデータ保持手段から参照して、表示手段の画面の各画素に対応する画素データを出力する画素データ出力ステップと、画素データ出力ステップで出力した画素データを基に表示手段に表示するための表示データを生成する表示データ生成ステップとを有することを特徴とする。
【００１２】
また、本発明によるプログラムは、複数の画像を重ねて表示可能な表示手段を備えた画像表示装置用のプログラムであって、画像に画像を識別するための識別情報が付与されており、表示手段に表示する重ね合わせの最前面に位置する画像の識別情報を、表示手段の画素毎に格納する識別情報格納手段から、識別情報を参照して、参照した識別情報に応じて、表示手段の画面の各画素に表示する画像を特定する特定ステップと、特定ステップで特定した画像の画像データを、画像データを保持するデータ保持手段から参照して、表示手段の画面の各画素に対応する画素データを出力する画素データ出力ステップと、画素データ出力ステップで出力した画素データを基に表示手段に表示するための表示データを生成する表示データ生成ステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１３】
本発明による画像表示装置、画像表示方法及びそのプログラムは、煩雑な操作を伴わずにユーザの意図を反映した記録フォルダを作成し、撮影データを保存することができる。
【発明を実施するための最良の形態】
【００１４】
以下に、図面を参照して、本発明の好適な実施の形態について説明する。
［第１の実施形態］
本発明の第１の実施形態における画像表示装置として、液晶ディスプレイやＣＲＴなどの表示装置に対して画像表示を行うコンピュータ内に内蔵された画像表示装置を例に説明する。
【００１５】
図８は、本発明の第１の実施形態における画像表示装置を含むコンピュータのハードウェア構成例を示す図である。コンピュータ８００は、本実施形態の特徴となる画像表示装置８０９を含む構成である。システムバス８０１には、ＣＰＵ（中央演算装置）８０２、システムプログラムが格納されているＲＯＭ８０３、システムプログラム実行時に使用される一時記憶装置であるＲＡＭ８０４が接続されている。また、ＲＯＭ８０３からＲＡＭ８０４にシステムプログラムが読み込まれ、ＣＰＵ８０２によって実行される。８０５は電源装置である。通信制御装置８０６はシステムバス８０１に接続しており、コンピュータ８００がネットワークに接続可能であり、ネットワークから画像データを受信して画面に表示することも可能となっている。
【００１６】
８０７は、コンピュータ８００に取り付けられるハードディスク装置、あるいはＳＤ、ＭＭＣ、ＣＦのような記憶素子部分をコンピュータ８００本体から取り外すことができる記憶媒体を含む外部記憶装置である。８０８は、画像復号化装置であり、例えば、ＭＰＥＧなどの動画コーデックやＪＰＥＧなどの静止画コーデックでデジタル圧縮されたデータをデコードするための専用デコーダＩＣ（集積回路）である。８０９は、画像表示装置であり、画面表示データを生成し表示出力装置８１０に対して画面表示を行う。
【００１７】
表示出力装置８１０は、液晶ディスプレイやＣＲＴなどであり画像表示装置８０９の制御に応じた画像を画面に表示する。ＣＰＵ８０２で作成されたＧＵＩやグラフィックデータなどのラスタイメージや、画像復号化装置８０８でデコードされた動画像データなど、重ね合わせ表示対象の画像データは、ＲＡＭ８０４に書き込まれる。画像表示装置８０９は、ＲＡＭ８０４にアクセスして各々の画像データを参照することになる。
【００１８】
次に、本発明の第１の実施形態の画像表示装置８０９における表示制御処理について一例を説明する。本実施形態の画像表示装置８０９は、重ね合わせ表示の対象である各画像が矩形である場合には、表示出力装置８１０の画面における画像の左上頂点の座標を保持する。また、画像表示装置８０９は、ＲＡＭ８０４上に、各画像の画面表示用データをラスタイメージデータに展開して保持している。ここでラスタイメージデータは、点順次に画素データが並ぶ画像データである。すわなち、画像の最上部ラインから下方向に各ラインのデータが並び、それぞれのライン内では、最も左側の画素から右方向へ各画素のデータが並ぶ。
【００１９】
画像表示装置８０９が扱う、重ね合わせ対象の各画像には一意に決まる番号（以下、画像番号とする）が振られている。これにより、画像表示装置８０９がある瞬間に表示出力装置８１０の画面に表示する画像の構成は、全て画像番号によって特定することが可能である。図２は、第１の実施形態における画素番号配列例を示す図である。
【００２０】
図２において、２０１は、画像番号（識別情報）を格納するデータ配列（識別情報格納手段）であり、表示出力装置８１０の画面における画素数分の要素を持ち、画像の重ね合わせの最前面に表示する画像を特定する画像番号を格納する。以下の説明では、このデータ配列２０１を画像番号配列２０１と呼ぶことにする。画像番号配列２０１において、各配列要素が、表示出力装置８１０の各画素に対応し、各配列要素に格納される画像番号が表示する画像を特定する。すなわち、画像番号配列２０１には、画像番号により表示出力装置８１０の画面の各画素で表示する画像が示されている。画像番号の最大値によって、画像表示装置８０９が重ね合わせて表示できる画像の最大数が決まる。例えば、画像番号を１２ｂｉｔ値とする場合、最大４０９６個の画像を重ね合わせることが可能である。
【００２１】
従来のフレームバッファのレイヤ構造による重ね合わせでは、重畳するフレームバッファ数によって、レイヤ数が制限されてしまう。しかし、本実施形態における画像表示装置８０９では、前述の通り常に画像番号配列２０１が各画素について最前面に表示する画像を指しているため、フレームバッファの数による重ね合わせ数の制限を受けない。したがって、画像の重ね合わせのレイヤ構造でレイヤ数を非常に大きくすることができる。
【００２２】
以下、図１と図２を用いて、画像表示装置８０９において、表示出力装置８１０の画面の表示データを決定する方法を説明する。図２に示すように、画像表示装置８０９は、画面のある画素に表示する画像の画像番号を画像番号配列２０１から参照する。図２において、２０２は、表示出力装置８１０の表示画面であり、縦Ｈ画素、横Ｗ画素の画面である。図２に示すように、表示画面２０２上の縦方向上からＸ画素目かつ横方向左からＹ画素目の画素２０３は、座標（Ｘ，Ｙ）で示すことができ、この画素２０３に対応する画像番号配列２０１の要素として、配列要素２０４が示されている。配列要素２０４には値ｎが格納されている。つまり、画像表示装置８０９は、画素２０３には画像番号ｎの画像データを表示することを表している。
【００２３】
続いて表示出力装置８１０の画面がカラー画面である場合に、図１を参照して画像表示装置８０９において、表示データを決定する方法を説明する。図１は、画像表示装置８０９において、図２の表示画面２０２のある画素に表示する色データを決定するプロセスを説明する図である。上述したように、表示出力装置８１０は、表示画面２０２の各画素について、画像番号配列２０１の対応要素の値である画像番号を参照することで、最も前面に表示する画像を特定することができる。
【００２４】
図１において、１０３は、配列要素１０２の画像属性配列である。この画像属性配列１０３は、画像表示装置８０９が重ね合わせて合成する全ての画像について、ある瞬間の位置座標やサイズなどの属性を格納するテーブルである。この画像属性配列１０３のインデックス（図１の画像属性配列１０３の枠の左側の０、１、…、ｎ、…の数字）は、画像番号配列２０１の画像番号と対応（一致）している。すなわち、画像表示装置８０９は、配列要素１０２の画像番号ｎの画像属性として、画像属性配列１０３のインデックスｎの要素である画像属性情報１０４を参照する。画像属性情報１０４は、少なくとも表示出力装置８１０の画面における画像の左上頂点の座標ｘｎ（１０５）、ｙｎ（１０６）、画像の幅ｗｎ（１０７）、画像の高さｈｎ（１０８）、及びメモリアドレスａｄｄｒｎ（１０９）の情報を格納している。
【００２５】
画像の表示データは、画像表示装置８０９が参照するＲＡＭ８０４のどこかに格納されている。一つの画像の画像データは連続的なメモリ領域に格納されていればよく、ＲＡＭ８０４上の決まったメモリアドレスから始まるメモリ領域に格納する必要はない。図１のａｄｄｒｎ（１０９）は、画像番号ｎの画像の画像データの格納メモリ領域の先頭を示すメモリアドレスである。図１のメモリ１１０はＲＡＭ８０４のメモリマップを表している。図１では、ａｄｄｒｎ（１０９）を先頭アドレスとする表示データ１１１から始まる点線で囲まれた連続的なメモリ領域１１２に画像番号ｎの画像の表示データが格納されていることを表している。
【００２６】
画像表示装置８０９は、図２の画素２０３に関する表示データを、画像属性情報１０４を用いて参照することができる。例えば、画像データが２４ｂｉｔのＲＧＢイメージデータでＲＡＭ８０４に格納されているとすると、１画素あたり３ｂｙｔｅである。そこで、画像表示装置８０９は、画素２０３の座標（Ｘ，Ｙ）と、図１の画像属性情報１０４を用いて画素２０３の表示データが格納されているメモリアドレスＭＡを、以下の式により求めることができる。
ＭＡ＝ａｄｄｒｎ＋３＊｛Ｗｎ＊（Ｙ−ｙｎ）＋（Ｘ−ｘｎ）｝
【００２７】
上記式は、図１に示す先頭アドレスＡｄｄｒｎ（１０９）からメモリアドレスＭＡまでの差分１１３を、表示出力装置８１０の画面における画像の左上頂点の座標と画素２０３の座標の違いを利用することで求める式である。図１の表示データ１１４はこの結果得られる画素２０３の画像データを表す。以上に示したように、本実施形態における画像表示装置８０９は、表示出力装置８１０の画面の全画素について、個別に、最も手前となる表示すべき画像の表示データを得ることができる。また、画像表示装置８０９は、表示出力装置８１０の表示画面２０２を更新する周期で、表示画面２０２の全画素について重ね合わせの合成で最も前面に表示される画像の画像データの格納場所を、画像番号配列２０１及び画像属性配列１０３を参照することで特定できる。これにより、画像表示装置８０９は、重なりを構成する画像に動画像及び静止画像の両方が含まれていても、動画像の更新周期に合わせて表示データを更新できるので、それらの画像を重ねあわせた画面を表示出力装置８１０に表示することが可能である。
【００２８】
［第２の実施形態］
本発明の第２の実施形態における画像表示装置は、上述した第１の実施形態と同様のハードウェア構成であり、本実施形態でも図８に示したコンピュータ８００に内蔵された画像表示装置８０９を用いて説明する。第１の実施形態における画像表示装置８０９は、画像番号配列２０１において表示画面２０２の各画素に対応する配列要素２０４は、画像番号のみを格納していたが、第２の実施形態における画像表示装置８０９は、画像番号配列２０１において表示画面２０２の各画素に対応する配列要素に、画像番号と画素変更フラグを含む点で異なる。
【００２９】
図３は、第２の実施形態における画像番号配列２０１の各配列要素のデータ構成例を示す図である。図３に示すように、配列要素３０１は、画像番号３０２と、画像番号配列２０１の各々の配列要素に対応する画素の表示データが変更されたか否かを示す画素変更フラグ３０３（オン：変更、オフ：否変更）とから構成されている。画像表示装置８０９は、表示タイミングにおいて、画素変更フラグ３０３がオンである画素のみ、画像番号３０２で特定される画像の表示データを、画像属性配列１０３を利用してＲＡＭ８０４から参照することで特定する。また、画像表示装置８０９は、画面に表示処理した後には当該画素の画素変更フラグ３０３をオフにする。また、表示タイミングで、画素変更フラグ３０３がオフの場合は、当該画素の表示データに変更がないことを示す。そこで、画像表示装置８０９は、前回の表示タイミングで利用した表示データを使用して表示する。
【００３０】
具体的には、画像表示装置８０９はは、表示画面２０２の各画素において最前面に表示する画像の画像番号が変わったり、画像の表示画面２０２上の位置（座標）やサイズが変わったり、動画像などの画像データのように内容が変化したりすることによって、画像番号配列２０１内の各配列要素に含まれる画素変更フラグ３０３を書き換える。このとき、画像表示装置８０９は、表示画面２０２上で表示データが変化する画素については、画像番号配列２０１の配列要素の画素変更フラグ３０３をオンにする。画像表示装置８０９は、表示出力装置８１０の表示更新タイミングで、表示データに変化がない画素は、画素変更フラグ３０３をオフにしておく。このようにして、画面の全画素の中で表示更新タイミング間に表示変化がある画素のみ画像データを参照して表示データを決定する。これにより、本実施形態の画像表示装置８０９は、画面表示にかかる計算処理量やデータ転送量を低減し、効率よい画像表示処理を行うことができる。
【００３１】
［第３の実施形態］
本発明の第３の実施形態における画像表示装置は、上述した第１の実施形態と同様のハードウェア構成であるので、本実施形態でも図８に示したコンピュータ８００に内蔵された画像表示装置８０９を用いて説明する。第１の実施形態における画像表示装置８０９は、重ね合わせの全ての画像は、画像データの画素値がそのまま表示出力可能なデータ（表示データ）であるラスタイメージデータとしている（画面にそのまま表示可能なデータ形式で画像データをメモリ上に格納している）が、第３の実施形態における画像表示装置８０９は、画像データの種々のデータ形式を表示データ形式に変換する機能を更に有することで、メモリ上に種々のデータ形式の画像データを格納しても、表示可能である点で異なる。
【００３２】
本実施形態の画像表示装置８０９は、画像データの各画素データから表示画面に出力する表示データ形式に、画素のデータ形式を変換する機能を持ち、この機能を画素値形式変換機能と呼ぶものとする。例えば表示出力装置８１０の画面出力が２４ｂｉｔのＲＧＢであるとする。また、コンピュータ８００の画像符号化装置８０８において、ＪＰＥＧのようなデジタル圧縮画像データを伸長し、ＹＣｂＣｒのような輝度と色差で表すデータ形式の画像データをメモリ上に格納したとする。このような場合に、例えば、本実施形態の画像表示装置８０９は、表示対象の画像がＹＣｂＣｒ形式の画像データであるならば、画素値形式変換機能によって、ＹＣｂＣｒの画素データを２４ｂｉｔＲＧＢに変換して出力する。
【００３３】
また、他の例としては、表示対象の画像の画像データ形式が２４ｂｉｔＲＧＢであり、表示出力装置８１０の画面出力が１６ｂｉｔＲＧＢの場合には、画像表示装置８０９は、画素値形式変換機能により表示出力装置８１０の能力に応じて画像データを適切に表現できるようにデータ形式を変換する。このように、表示出力装置８１０に表示可能な画像データ形式（表示データ形式）で表現できる色数とメモリ上にある画像データの画像データ形式の色数が異なる場合は、表示出力装置８１０の表示データ形式の色数で適切に表現できるようにデータ形式を変換することが可能である。
【００３４】
［第４の実施形態］
本発明の第４の実施形態における画像表示装置は、上述した第１の実施形態と同様のハードウェア構成であるので、本実施形態でも図８に示したコンピュータ８００に内蔵された画像表示装置８０９を用いて説明する。第１の実施形態における画像表示装置８０９は重ね合わせの画像データは、矩形画像であり、画像のラスタイメージデータを点順次にメモリ上に保持していたが、第４の実施形態における画像表示装置８０９は、メモリに画像データを点順次に格納する必要がない点で異なる。
【００３５】
具体的には、本実施形態における画像表示装置８０９は、例えばＲＧＢ形式の画像データを、線順次や面順次のデータ形式でメモリに格納してもよい。また、本実施形態における画像表示装置８０９は、ＹＣｂＣｒ４：２：２やＹＣｂＣｒ４：２：０などのように、色成分の信号量を落として、画像の画素数分の画素データをメモリに保持していなくてもよい。また、本実施形態における画像表示装置８０９は、画像データの画像フォーマットごとに適切に、メモリ上の画素データ参照のためのメモリアドレス計算を行うことが可能である。
【００３６】
［第５の実施形態］
本発明の第５の実施形態における画像表示装置は、上述した第１の実施形態と同様のハードウェア構成であるので、本実施形態でも図８に示したコンピュータ８００に内蔵された画像表示装置８０９を用いて説明する。また、上述した第３及び第４の実施形態では、画像データ形式によって、画素データから表示データの形式への変換や、画像データの格納順によって画素データを参照するためのアドレス計算を適切に行う例を示したが、本実施形態の画像表示装置８０９は、画像データに画像の属性情報を付与して管理し、その属性情報に画像データ形式を区別する識別子を含ませる点に特徴がある。本実施形態における画像表示装置８０９は、この識別子によって各画像データの画像データ形式を判別することが可能である。
【００３７】
ここで、図面を用いて、画像の属性情報の具体例について説明する。図４は、第５の実施形態における画像の属性情報のデータフォーマット例を示す図である。図４において、４０１は、画像の属性情報であり、そのデータフォーマットを示している。属性情報４０１には、画像データ形式を区別する識別子フィールド４０２がある。画像表示装置８０９は、識別子フィールド４０２に格納されている識別子の値で画像データの形式を識別する。これにより、画像表示装置８０９は、識別した画像データ形式によって、画面の各画素の表示データを決定するために参照する画像データのアドレス計算方法を判断することができる。また、画像表示装置８０９は、画像データ形式によって画像データが画面表示可能なデータ形式へ変換を判別し、画素値形式変換機能における設定値を設定することが可能である。
【００３８】
４０３は、可視性フラグフィールドであり、画像データの可視／不可視（表示データとして利用可能か否か）の性質を表すフラグを格納する。この可視性フラグが不可視を示す値である場合、画像表示装置８０９は、その画像を表示出力装置８１０の表示に直接利用しない。４０４は、データ所有フラグフィールドであり、画像データを所有しているか否かを示すフラグを格納する。データ所有フラグがオンの場合、メモリ中に画像データを保持していることを表す。画像データ形式によって、メモリ中に保持する画像データがない場合には、データ所有フラグはオフとなる。
【００３９】
次に４０５〜４０８は、表示出力装置８１０の表示画面２０２における画像のＸ座標、Ｙ座標、幅、高さを示す情報を格納するフィールドである。以上に示した、フィールド４０２〜４０８に格納される情報は、画像データ形式に依らない共通の属性情報である。一方、４０９は、画像データ形式によって異なるデータフィールドある。例えば、データフィールド４０９は、ラスタイメージデータをメモリに持つ画像の属性情報の場合には、画像データの先頭アドレスの情報を格納する。画像表示装置８０９は、識別子フィールド４０２から参照する識別子によって特定した画像データ形式より、データフィールド４０９に格納されるデータを判別することが可能である。
【００４０】
次に、図４に示したデータフォーマット例を使用したデータ構成例について図を用いて説明する。図５は、図４に示したデータフォーマット例を使用したデータ構成例を示す図である。図５において、５０１は、ＹＣｂＣｒ４：２：０で面順次の画像データの属性情報のデータ構成例である。５０２〜５０８は、それぞれ図４の４０２〜４０８のフィールドに対応するデータである。最初のフィールド４０２のデータであるデータ５０２からは、ＹＣｂＣｒ４：２：０で面順次にメモリに格納されている画像データであると識別することができる。また、このとき最後のフィールド４０９のデータであるデータ５０９は、画像データのメモリアドレスを格納している。
【００４１】
［第６の実施形態］
本発明の第６の実施形態における画像表示装置は、上述した第１の実施形態と同様のハードウェア構成であるので、本実施形態でも図８に示したコンピュータ８００に内蔵された画像表示装置８０９を用いて説明する。上述した実施形態１では、重ね合わせた画像において、一番前面ではない部分の画像データとしては、必ずしもラスタデータをメモリ上に保持しなくてもよい。また、単色の画像はメモリ上に画像データを持つ必要がなく、画像属性情報に単色の画像を示す識別子と色データ値を持つだけでもよい。この場合は、メモリ上の画像データから画素の色データを参照せず、画像属性情報から表示色データを直接参照することができる。図６は、図４の画像属性情報のデータフォーマットに沿った単色画像データの属性情報の一例を示す。６０１は単色画像の属性情報である。６０２〜６０８は、それぞれ図４の４０２〜４０８のフィールドと同一の画像属性である。６０２はこの画像のデータ形式を示す識別子であり、２４ｂｉｔＲＧＢ形式の単色画像であることを示している。メモリ上に画像データを持たないため、６０４の画像データ所有フラグはオフとしている。単色画像であるので６０９のフィールドには２４ｂｉｔＲＧＢ値を格納している。
【００４２】
以上に説明したように、第１〜第６の実施形態におけるコンピュータ８００に内蔵された画像表示装置８０９レイヤ構造で重ね合わせるプレーン数のフレームバッファを持つ必要がなく、頻繁に更新される動画データ用にフレームバッファを持つこともない。従って、重ね合わせ表示で使用するメモリ量を減らすことができ、多くの複数の動画像と静止画像を重ね合わせた合成画像を表示することが可能である。
【００４３】
［第７の実施形態］
本発明の第７の実施形態における画像表示装置について説明する。図７は、第７の実施形態における画像表示装置のハードウェア構成例を示すブロック図である。図７において、７００は、画像表示装置であり、画像表示処理部７０２、画像番号配列７０３、画像属性配列７０４、表示出力部７０６、システムバス７０７、及び主記憶装置７０８から構成されている。尚、本実施形態の画像表示装置７００は、図７に示した全ブロックを含む構成としたが、この限りではなく、例えば、図７の点線７０１が示す範囲の構成（以下、最小構成とする）でもよい。図７に示すように、最小構成では少なくとも画像表示処理部７０２、画像番号配列７０３、及び画像属性配列７０４から構成される。
【００４４】
画像番号配列７０３は、表示出力部７０６の表示画面の各画素において画像の重ね合わせの最前面である画像番号を格納する配列であり、図２に示した画像番号配列２０１と同様のデータ構成である。画像属性配列７０４は、重ね合わせ表示対象である全画像について、それぞれの画像属性情報を格納する配列であり、図１に示した画像属性配列１０３と同様のデータ構成である。画像番号配列７０３や画像属性配列７０４は、画像表示装置７００の内部レジスタやＳＲＡＭのように、高速にアクセス可能な記録媒体に格納されている。また、画像番号配列７０３と画像属性配列７０４は、システムバス７０７を通じて、外部システムからのアクセスによって内容の読み出し、書き換えが実行できる。
【００４５】
画像表示処理部７０２は、周期的な画面の表示タイミングで、画像番号配列７０３と画像属性配列７０４を参照し、表示出力部７０６の表示画面の各画素に表示する画像を特定し、その画像属性を取得する。画像表示処理部７０２には画素値形式変換回路７０５が備えられている。画素値形式変換回路７０５は、上述した第３の実施形態に記載の画素値形式変換機能と同等の機能を有するものであり、メモリに保持されている画像データの画像データ形式を、表示出力部７０６に表示可能な画像データ形式（表示データ形式）に変換する回路である。また、画像表示処理部７０２は、後述する表示出力部７０６に接続している。
【００４６】
表示出力部７０６は、ディスプレイ装置や外部映像出力装置であり、図８の表示出力装置８１０と同等の機能を有する。またシステムバス７０７は、画像表示処理部７０２、画像番号配列７０３、画像属性配列７０４、及び主記憶装置７０８を互いに接続している。主記憶装置７０８は、画像表示装置７００が扱う画像データを保持するのに使用される。画像表示処理部７０２が主記憶装置７０８に保持する画像データを参照し、内部の画素値形式変換回路７０５で表示データ形式に変換することで表示出力部７０６に表示可能な画像データ（表示画像データ）を生成する。
【００４７】
以上、説明したように、第７の実施形態として図７に示した画像表示装置７００の特徴となる機能は、第１〜第６の実施形態として図８に示したコンピュータ８００の特徴となる機能と同様である。すなわち、図８の画像表示装置８０９の内部構成が、図７の点線７０１で囲まれたブロックのような構成であってもよい。
【００４８】
また、上述した実施形態において画像表示装置８０９や画像表示処理部７０２の各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してＣＰＵ（中央演算装置）が実行することによりその機能を実現させるものであってもよい。また、上述したメモリは、例えば、ＨＤＤ、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。
【００４９】
また、画像表示装置８０９や画像表示処理部７０２の各機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。
【００５０】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５２】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【００５３】
【図１】画像表示装置８０９において、図２の表示画面２０２のある画素に表示する色データを決定するプロセスを説明する図である。
【図２】第１の実施形態における画素番号配列例を示す図である。
【図３】第２の実施形態における画像番号配列２０１の各配列要素のデータ構成例を示す図である。
【図４】第５の実施形態における画像の属性情報のデータフォーマット例を示す図である。
【図５】図４に示したデータフォーマット例を使用したデータ構成例を示す図である。
【図６】図４の画像属性情報のデータフォーマットに沿った単色画像データの属性情報の一例を示す図である。
【図７】第７の実施形態における画像表示装置のハードウェア構成例を示すブロック図である。
【図８】本発明の第１の実施形態における画像表示装置を含むコンピュータのハードウェア構成例を示す図である。
【符号の説明】
【００５４】
１０３      画像属性配列
１１０      メモリ
２１０      画像番号配列
７００      画像表示装置
７０１      画像表示装置（最小構成）
７０２      画像表示処理部
７０３      画像番号配列
７０４      画像属性配列
７０５      画素値形式変換回路
７０６      表示出力部
７０７      システムバス
７０８      主記憶装置
８００      コンピュータ
８０１      システムバス
８０２      ＣＰＵ
８０３      ＲＯＭ
８０４      ＲＡＭ
８０５      電源装置
８０６      通信制御装置
８０７      外部記憶装置
８０８      画像符号化装置
８０９      画像表示装置
８１０      表示出力装置
【図１】
2006276269.tif 000003
【図２】
2006276269.tif 000004
【図３】
2006276269.tif 000005
【図４】
2006276269.tif 000006
【図５】
2006276269.tif 000007
【図６】
2006276269.tif 000008
【図７】
2006276269.tif 000009
【図８】
2006276269.tif 000010