(57)【特許請求の範囲】
【請求項１】
表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画する描画装置であって、
前記複数のフレーム期間は、仮想空間映像を表示するための時間軸において、時系列に存在し、複数のフレーム期間のそれぞれは、再生時点の進行に伴って、カレントのフレーム期間として選ばれ、
仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサと、
複数の画像オブジェクトを得る取得手段と、
取得された前記複数の画像オブジェクトを縮小する第１スケーラと、
縮小後の各画像オブジェクトを格納するメモリと、
メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラと、
第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部と
を備えることを特徴とする描画装置。
【請求項２】
前記第１スケーラで用いる縮小率が所定の縮小率よりも小さい画像オブジェクトについて、前記第１スケーラで用いる縮小率より小さい縮小率で縮小した画像オブジェクトを生成し、生成した縮小後の画像オブジェクトを第１スケーラによる縮小後の画像オブジェクトに加えてメモリに格納する第３スケーラを更に備え、
前記第２スケーラは、
第３スケーラによる縮小後の画像オブジェクトがメモリに格納されていない場合、第１スケーラによる縮小後の画像オブジェクトに対して、前記縮小率の変換を行い、
第３スケーラによる縮小後の画像オブジェクトがメモリに格納されている場合、第３スケーラによる縮小後の画像オブジェクトに対して、前記縮小率の変換を行う
ことを特徴とする請求項１記載の描画装置。
【請求項３】
第３スケーラが生成する縮小した画像オブジェクトは、デコードにより得られた画像オブジェクトのミップマップである
ことを特徴とする請求項２記載の描画装置。
【請求項４】
前記所定の縮小率は、３／４である
ことを特徴とする請求項３記載の描画装置。
【請求項５】
メモリへの前記縮小後の画像オブジェクトの書き込み、及び、メモリからの前記縮小後の画像オブジェクトの読み出しには、フレーム期間kに相当する遅延時間が存在し、
カレントのフレーム期間(t)よりも時間的に過去に位置するフレーム期間(t-k)に第１スケーラで用いた縮小率がS1であり、カレントのフレーム期間(t)にシナリオプロセッサが算出した縮小率がS2である場合に、第２スケーラは、メモリから読み出される縮小後の画像オブジェクトを(S2/S1)倍に変換する
ことを特徴とする請求項１記載の描画装置。
【請求項６】
第１スケーラで用いる縮小率は、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率である
ことを特徴とする請求項５記載の描画装置。
【請求項７】
第１スケーラで用いる縮小率は、描画シナリオで指定される形状が大きい画像オブジェクトほど大きく、小さい画像オブジェクトほど小さい
ことを特徴とする請求項５記載の描画装置。
【請求項８】
第１スケーラで用いる縮小率は、描画シナリオで指定される貼り付け形状が元の画像オブジェクトの形状から歪みが小さいものほど大きく、歪みが大きいものほど小さい
ことを特徴とする請求項５記載の描画装置。
【請求項９】
第１スケーラで用いる縮小率は、描画シナリオで指定される貼り付け位置の時間変化が小さい画像オブジェクトほど縮小率を大きく、前記貼り付け位置の時間変化が大きい画像オブジェクトほど縮小率を小さい
ことを特徴とする請求項５記載の描画装置。
【請求項１０】
各描画オブジェクトから人物画像を検出する画像特徴検出部を更に有し、
第１スケーラで用いる縮小率は、前記画像特徴検出部により検出される人物画像が大きい画像オブジェクトほど大きく、前記検出される人物画像が小さい画像オブジェクトほど小さい
ことを特徴とする請求項５記載の描画装置。
【請求項１１】
前記複数の画像オブジェクトは立体視再生に用いる複数の視点画像を含み、
第１スケーラで用いる縮小率は、前記複数の視点画像のうち一方の視点の画像オブジェクトの縮小率が、他方の視点の画像オブジェクトの縮小率より大きい
ことを特徴とする請求項５記載の描画装置。
【請求項１２】
表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画する描画装置の集積回路であって、
前記複数のフレーム期間は、仮想空間映像を表示するための時間軸において、時系列に存在し、複数のフレーム期間のそれぞれは、再生時点の進行に伴って、カレントのフレーム期間として選ばれ、
仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサと、
複数の画像オブジェクトを得る取得手段と、
取得された前記複数の画像オブジェクトを縮小する第１スケーラと、
縮小後の各画像オブジェクトを格納するメモリと、
メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラと、
第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部と
を備えることを特徴とする集積回路。
【請求項１３】
表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画するテレビ装置であって、
前記複数のフレーム期間は、仮想空間映像を表示するための時間軸において、時系列に存在し、複数のフレーム期間のそれぞれは、再生時点の進行に伴って、カレントのフレーム期間として選ばれ、
仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサと、
複数の符号化映像データを取得するチューナと、
取得された前記複数の符号化映像データのデコードにより複数の画像オブジェクトを得るデコーダと、
前記複数の画像オブジェクトを縮小する第１スケーラと、
縮小後の各画像オブジェクトを格納するメモリと、
メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラと、
第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部と、
合成部により画像オブジェクトが合成された仮想空間映像を表示するディスプレイと
を備えることを特徴とするテレビ装置。
【請求項１４】
表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画する描画装置の制御方法であって、
前記複数のフレーム期間は、仮想空間映像を表示するための時間軸において、時系列に存在し、複数のフレーム期間のそれぞれは、再生時点の進行に伴って、カレントのフレーム期間として選ばれ、
仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出する解読ステップと、
複数の画像オブジェクトを得る取得ステップと、
取得された前記複数の画像オブジェクトを縮小する第１スケーリングステップと、
縮小後の各画像オブジェクトを描画装置のメモリに格納する格納ステップと、
メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間において算出された縮小率に変換する第２スケーリングステップと、
第２スケーリングステップにおいて縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成ステップとを含む
ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ映像等の画像オブジェクトを画面内に描画する描画装置に関し、特に、画面内に複数の画像オブジェクトを描画するマルチウィンドウ表示技術に関するものである。
【背景技術】
【０００２】
マルチウィンドウ表示は、ＴＶやレコーダ、タブレット、スマートフォンなどにおいて多彩なコンテンツを同時に表示するために採用される技術であり、テレビ放送された複数のチャネルの映像を１画面内に並べて表示したり、データ放送においてユーザとの対話的操作に用いるグラフィックスをテレビ映像に合成して表示する際に用いられる。【０００３】
マルチウィンドウ表示の実現には、例えば、ＯｐｅｎＧＬ等で記述した描画シナリオに従って、仮想空間に存在する物体の表面に、複数の画像オブジェクトを貼り付ける処理を行った上で、仮想空間映像を描画する手法がある。【０００４】
ここで、マルチウィンドウ表示において画面内に並べて表示される画像オブジェクトはテレビ映像等であり、再生時に個々にデコードされるため、各画像オブジェクトは１つの画面に合成されるまでメモリに格納しておく必要がある。そのため同時に表示する画像オブジェクトの数が増えるにつれ、必要なメモリ帯域も増加する。このようなメモリ帯域の増加は高コストの原因となるものであり好ましくない。【０００５】
マルチウィンドウ表示に要するメモリ帯域の増加を抑える技術としては、特許文献１のものがある。特許文献１に開示の技術では、グラフィックス及び動画像の表示形態を示す描画命令に従って其々の画像に分配するメモリ帯域を決定し、決定されたメモリ帯域内で読み書きができように其々の画像を縮小したり解像度を低減する変換を施すことで、メモリ帯域を適応的に制御している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−０３２８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上記のように１つの画面に合成する前の画像を縮小することでマルチウィンドウ表示に要するメモリ帯域を低減させる場合にも、様々な表示形態の描画シナリオに対応することが求められる。【０００８】
本発明は、マルチウィンドウ表示に要するメモリ帯域を低減しつつ、多様な描画シナリオのマルチウィンドウ表示を可能とする描画装置、及び描画装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一態様である描画装置は、表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画する描画装置であって、仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサと、複数の画像オブジェクトを得る取得手段と、取得された前記複数の画像オブジェクトを縮小する第１スケーラと、縮小後の各画像オブジェクトを格納するメモリと、メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラと、第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部とを備えることを特徴とする。
【発明の効果】
【００１０】
課題を解決するための手段に記載の構成により、メモリへ格納する前に第１スケーラにおいて画像オブジェクトを縮小しているため、画像オブジェクトの格納に要するメモリ帯域を削減し、メモリ個数を低減することができる。その一方で、メモリからの読み出し後に、読み出した画像オブジェクトを、カレントのフレーム期間に描画シナリオで要求される縮小率に再度変換するため、画像オブジェクトを表示するサイズが時間経過とともに変化する場合にも、メモリ書き込み及び読み出しによる遅延に影響されることなく、マルチウィンドウ表示の合成画像を描画することができる。【００１１】
従って、画像を表示するサイズを時間経過とともに変化させるような描画シナリオにおいても、メモリ帯域を低減しつつ、描画応答性を向上させたマルチウィンドウ表示を実現することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態１に係るマルチウィンドウ描画装置の構成を示す図
【図２】描画シナリオの記述例を示す図
【図３】描画シナリオの記述例を示す図
【図４】図２、３に示す描画シナリオで描画するマルチウィンドウ画面を示す図
【図５】図２、３に示す描画シナリオによる表示の変化を模式的に示す図
【図６】追加スケーラにおいて生成されるミップマップの一例を示す図
【図７】１フレーム期間でのマルチウィンドウ描画装置の動作を示す図
【図８】メモリ前段においてメモリへ画像オブジェクトを格納する処理を示すフローチャート
【図９】メモリ後段において合成画像を描画する処理を示すフローチャート
【図１０】実施形態２に係るマルチウィンドウ描画装置の構成を示す図
【図１１】実施形態２に係るマルチウィンドウ描画装置においてメモリへ画像オブジェクトを格納する処理を示すフローチャート
【図１２】実施形態２に係るマルチウィンドウ描画装置において合成画像を描画する処理を示すフローチャート
【図１３】マルチウィンドウ画面の他の例を示す図
【図１４】実施形態３に係るテレビの構成を示す図
【図１５】従来のメモリ帯域を適応的に制御する描画装置において遅延が発生することを示す図
【発明を実施するための形態】
【００１３】
（本発明の基礎となった知見）
マルチウィンドウ表示の描画シナリオの一つとして、画面内に表示する画像のサイズを時間経過とともに変化させるような描画シナリオも考えられる。しかし、特許文献１に開示の技術では、時間経過とともに画像サイズを変化させるような描画シナリオにおいて、以下のようにマルチウィンドウ表示画像の合成が遅延することを、本発明者は知見した。
【００１４】
先ず、特許文献１に開示の技術では、其々の画像がメモリへ格納される前に縮小処理が行われる。しかし、メモリの読み書きにはディレイがあるため、特許文献１に開示の技術を用いたマルチウィンドウ表示では、時間経過とともに画像サイズを変化させるような描画シナリオにおいて、画像の合成時に描画シナリオで要求されるサイズと、メモリから読み出される画像のサイズとが相違することになる。この結果、特許文献１に開示の技術では、マルチウィンドウ表示画像の合成が遅延するという問題が生じる。
【００１５】
例えば、図１５（ａ）のように、画面内に２つの画像を並べ、ユーザが選択した一方を画面の１／２サイズで大きく表示し、他方を画面の１／５サイズで表示するマルチウィンドウ表示において、左側の画像から右側の画像に選択が変更された場合に、図１５（ｂ）のように、選択変更後のフレーム期間ｆ１〜ｆ４の間に左側画像のサイズを、１／２〜１／５に変化させる描画シナリオを想定する。フレーム期間ｆ１以前のフレーム期間では、左側画像は継続的に１／２のサイズで表示されている。
【００１６】
特許文献１に開示の技術を用いた場合、左側画像は、各フレーム期間において指定のサイズに縮小されメモリへ格納される。ここでメモリの書き込み及び読み出しに伴うディレイが２フレーム期間に相当する場合、各フレーム期間において、マルチウィンドウ画面合成のためにメモリから読み出される左側画像は、図１５（ｃ）のようになる。例えば、フレーム期間ｆ３では、フレーム期間ｆ１で１／２に縮小された画像がメモリから読み出される。しかし、フレーム期間ｆ３において画面合成のために描画シナリオで要求される画像は、図１５（ｂ）に示すように１／４に縮小された画像である。この結果、描画シナリオで要求される画像のサイズと、メモリから読み出して得られる画像のサイズとが異なり、マルチウィンドウ表示画面を合成することができない。
（発明の一態様の概要）
本発明は、マルチウィンドウ表示に要するメモリ帯域を低減しつつ、画像を表示するサイズを時間経過とともに変化させるような描画シナリオにおける描画応答性を向上することができる描画装置、及び描画装置の制御方法を提供することを目的とする。
【００１７】
本発明の第１態様である描画装置は、表面に複数の画像オブジェクトが貼り付けられており、形状又は位置が複数のフレーム期間において変化する物体を投影した仮想空間映像を描画する描画装置であって、仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサと、複数の画像オブジェクトを得る取得手段と、取得された前記複数の画像オブジェクトを縮小する第１スケーラと、縮小後の各画像オブジェクトを格納するメモリと、メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラと、第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部とを備える。
【００１８】
上記の構成によれば、メモリへ格納する前に第１スケーラにおいて画像オブジェクトを縮小しているため、画像オブジェクトの格納に要するメモリ帯域を削減し、メモリ個数を低減することができる。その一方で、メモリからの読み出し後に、読み出した画像オブジェクトを、カレントのフレーム期間に描画シナリオで要求される縮小率に再度変換するため、画像オブジェクトを表示するサイズが時間経過とともに変化する場合にも、メモリ書き込み及び読み出しによる遅延に影響されることなく、マルチウィンドウ表示の合成画像を描画することができる。従って、画像を表示するサイズを時間経過とともに変化させるような描画シナリオにおいて、描画応答性を向上することができる。
【００１９】
ところで、メモリへの格納前に縮小された画像オブジェクトを、合成前に再度スケール変換することで、合成画像では画質が劣化するという問題がある。
【００２０】
そこで、本発明の第２態様は第１態様において、前記第１スケーラで用いる縮小率が所定の縮小率よりも小さい画像オブジェクトについて、前記第１スケーラで用いる縮小率より小さい縮小率で縮小した画像オブジェクトを生成し、生成した縮小後の画像オブジェクトを第１スケーラによる縮小後の画像オブジェクトに加えてメモリに格納する第３スケーラを更に備え、前記第２スケーラは、第３スケーラによる縮小後の画像オブジェクトがメモリに格納されていない場合、第１スケーラによる縮小後の画像オブジェクトに対して、前記縮小率の変換を行い、第３スケーラによる縮小後の画像オブジェクトがメモリに格納されている場合、第３スケーラによる縮小後の画像オブジェクトに対して、前記縮小率の変換を行うよう構成してもよい。
【００２１】
異なる縮小率の描画オブジェクトをメモリへ格納しておくことで、再変換が必要な機会を減らすことができる。また、再変換する場合にもより縮小率の近い描画オブジェクトを用いることで画質劣化の程度を抑えることができる。
【００２２】
従って、本発明の第２態様によれば、メモリ帯域削減とメモリ個数低減によるコスト削減が可能であると同時に、画像サイズの変更に対する応答性の向上と、画質の向上の両立が可能となり、マルチウィンドウ表示の表現力を向上することができる。
【００２３】
また、本発明の第３態様は、第２態様において第３スケーラが生成する縮小した画像オブジェクトが、デコードにより得られた画像オブジェクトのミップマップであるよう構成してもよい。
【００２４】
ミップマップ形式は一般に、元画像を１／２、１／４、１／８、１／１６、…と１／２の累乗のサイズに縮小した画像群からなり、この手法は縮小率の高い画像を生成する際に画質を改善する効果がある。
【００２５】
また、本発明の第４態様は第３態様において、前記所定の縮小率が、３／４であるよう構成してもよい。
【００２６】
一般にミップマップの合計データ量は、元画像の１／３を超えることはない。そのため第１スケーラで用いる縮小率が３／４以下であれば、第１スケーラによる縮小後の画像オブジェクトから生成したミップマップのデータ量は、取得手段で取得された元の画像オブジェクトの１／４以下となり、第１スケーラによる縮小後の画像オブジェクトとミップマップとの合計データ量が、元の画像オブジェクトを超えることがない。
【００２７】
また、本発明の第５態様は第１態様において、メモリへの前記縮小後の画像オブジェクトの書き込み、及び、メモリからの前記縮小後の画像オブジェクトの読み出しには、フレーム期間kに相当する遅延時間が存在し、カレントのフレーム期間(t)よりも時間的に過去に位置するフレーム期間(t-k)に第１スケーラで用いた縮小率がS1であり、カレントのフレーム期間(t)にシナリオプロセッサが算出した縮小率をがS2である場合に、第２スケーラは、メモリから読み出される縮小後の画像オブジェクトを(S2/S1)倍に変換するよう構成してもよい。
【００２８】
上記の構成により、フレーム期間毎にシナリオプロセッサで算出される縮小率が変化する場合にも、第２スケーラによりカレントのフレーム期間に要求される縮小率で縮小された画像オブジェクトが得られる。従って、画像を表示するサイズを時間経過とともに変化させるような描画シナリオにおいて、描画応答性を向上することができる。
【００２９】
また、本発明の第６態様は第５態様において、第１スケーラで用いる縮小率が、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率であるよう構成してもよい。
【００３０】
上記の構成により、カレントのフレーム期間(t)に読み出される画像オブジェクトは、フレーム期間(t-k)に縮小率S1で縮小された画像オブジェクトであるが、第２スケーラによりS2/S1倍に変換されることで、カレントのフレーム期間(t)で要求される縮小率をS2で縮小された画像オブジェクトが得られる。
【００３１】
また、本発明の第７態様は第５態様において、第１スケーラで用いる縮小率が、描画シナリオで指定される形状が大きい画像オブジェクトほど大きく、小さい画像オブジェクトほど小さいよう構成してもよい。
【００３２】
描画シナリオで指定される形状が小さい画像オブジェクトほど、縮小により画質が劣化したとしても、その劣化が目立ちにくい。上記本発明の第７態様の構成により、縮小による画質劣化が目立ちにくい画像オブジェクトほど、より小さく縮小しておくことで、画質劣化による視覚的影響を抑えつつ、メモリ帯域を更に抑えることができる。
【００３３】
また、本発明の第８態様は第５態様において、第１スケーラで用いる縮小率が、描画シナリオで指定される貼り付け形状が元の画像オブジェクトの形状から歪みが小さいものほど大きく、歪みが大きいものほど小さいよう構成してもよい。
【００３４】
描画シナリオで指定される貼り付け形状が元の画像オブジェクトの形状から歪みが大きいほど、画像オブジェクトの縮小により画質が劣化したとしても、その劣化が目立ちにくい。そのため、上記本発明の第８態様の構成により、縮小による画質劣化が目立ちにくい画像オブジェクトほど、より小さく縮小しておくことで、画質劣化による視覚的影響を抑えつつ、メモリ帯域を更に抑えることができる。
【００３５】
また、本発明の第９態様は第５態様において、第１スケーラで用いる縮小率が、描画シナリオで指定される貼り付け位置の時間変化が小さい画像オブジェクトほど縮小率を大きく、前記貼り付け位置の時間変化が大きい画像オブジェクトほど縮小率を小さいよう構成してもよい。
【００３６】
描画シナリオで指定される貼り付け位置の時間変化が大きい画像オブジェクトほど、縮小により画質が劣化したとしても、その劣化が目立ちにくい。そのため、上記本発明の第９態様の構成により、縮小による画質劣化が目立ちにくい画像オブジェクトほど、より小さく縮小しておくことで、画質劣化による視覚的影響を抑えつつ、メモリ帯域を更に抑えることができる。
【００３７】
また、本発明の第１０態様は第５態様において、各描画オブジェクトから人物画像を検出する画像特徴検出部を更に有し、第１スケーラで用いる縮小率が、前記画像特徴検出部により検出される人物画像が大きい画像オブジェクトほど大きく、前記検出される人物画像が小さい画像オブジェクトほど小さいよう構成してもよい。
【００３８】
人物画像が小さい画像オブジェクトほど、縮小により画質が劣化したとしても、その劣化が目立ちにくい。そのため、上記本発明の第１０態様の構成により、縮小による画質劣化が目立ちにくい画像オブジェクトほど、より小さく縮小しておくことで、画質劣化による視覚的影響を抑えつつ、メモリ帯域を更に抑えることができる。
【００３９】
また、本発明の第１１態様は、第５態様において、前記複数の画像オブジェクトは立体視再生に用いる複数の視点画像を含み、第１スケーラで用いる縮小率は、前記複数の視点画像のうち一方の視点の画像オブジェクトの縮小率が、他方の視点の画像オブジェクトの縮小率より大きいよう構成してもよい。
【００４０】
立体視再生に用いる複数の視点画像のうち強調したい視点の画像を優先し、他方の視点画像を小さく縮小しておくことで、画質劣化による視覚的影響を抑えつつ、メモリ帯域を更に抑えることができる。
【００４１】
以下、本発明の実施の形態について、図を用いて説明する。
（実施形態１）
図１は、実施形態１に係る描画装置のハード構成を示す図である。この描画装置は、それ自体としてユーザの使用に供することもできるが、様々な電気機器に組み込まれてもよい。描画装置の一例は、代表的にはテレビ受像機である。また、描画装置は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ；パーソナルコンピュータあるいはパソコン）等の汎用のコンピュータ、ＡＶ再生装置などのＡＶ機器、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｃｅ）、タブレットあるいは携帯電話機等の通信端末でもよい。
【００４２】
描画装置は、シナリオプロセッサ１０１、ＡＶデコーダ１０７、グラフィックス生成部１０８、第１スケーラ１０３、追加縮小判定部１０４、追加スケーラ１０５、メモリ１０６、再縮小判定部１１１、第２スケーラ１１３、ウィンドウ変形部１１４、及び合成部１１５を備えている。また、本実施形態では、２つの映像データを１の画面に並べて表示するマルチウィンドウ表示を例に説明するため、描画装置は、第１スケーラ１０３、追加縮小判定部１０４、追加スケーラ１０５、ＡＶデコーダ１０７、再縮小判定部１１１、第２スケーラ１１３、及びウィンドウ変形部１１４を、映像データと同数の２つずつ有している。
【００４３】
シナリオプロセッサ１０１では、ＯｐｅｎＧＬ等で記述された描画シナリオを解釈し、視点位置、マルチウィンドウ表示において表示する複数のウィンドウの３次元座標、サイズ、各ウィンドウにどの映像を画像オブジェクトとして貼り付けるか等の情報を取得する。
【００４４】
シナリオプロセッサ１０１は更に、縦１９２０ピクセル、横１０８０ピクセルのピクチャを各ウィンドウのサイズにあわせるための縮小率を、各映像についてフレーム期間毎に算出し、ＡＶデコーダ１０７、グラフィックス生成部１０８、第１スケーラ１０３、追加縮小判定部１０４、再縮小判定部１１１へ通知する。
【００４５】
ＡＶデコーダ１０７は、縦１９２０ピクセル、横１０８０ピクセルの画面サイズの符号化映像データをデコードすることで、画像オブジェクトとして用いるべき非圧縮形式のピクチャデータをフレーム毎に得る取得手段として機能する。
【００４６】
第１スケーラ１０３は、バイリニア補完を行う拡大フィルタ、縮小フィルタを用いてピクチャを拡大、縮小する機能を有する。ＡＶデコーダ１０７で生成された非圧縮形式のピクチャに対しては、第１スケーラ１０３は、シナリオプロセッサ１０１から通知された縮小率に基づいてピクチャの画素数を削減し、画素数削減により生成された縮小ピクチャをメモリ１０６に保存する。また、第１スケーラ１０３は、メモリ１０６に保存されているピクチャを拡大フィルタで拡大し、デコードに用いる参照画像としてＡＶデコーダ１０７に受け渡す機能も有している。
【００４７】
追加縮小判定部１０４は、シナリオプロセッサ１０１から通知された縮小率を、予め設定された閾値Ｔｈと比較し、シナリオプロセッサ１０１から通知された縮小率が閾値Ｔｈ以上である場合には、追加スケーラ１０５に対して動作しないように指令を出す。逆にシナリオプロセッサ１０１から指定された縮小率が閾値Ｔｈよりも小さい場合には、追加スケーラ１０５に対して、ＡＶデコーダ１０７で生成された非圧縮形式のピクチャから縮小ピクチャを生成するように指令を出す。
【００４８】
追加スケーラ１０５は、追加縮小判定部１０４から縮小ピクチャを生成するように指令を受けた場合に、第１スケーラ１０３が出力した縮小ピクチャの画素数を更に削減することにより、第１スケーラ１０３が出力した縮小ピクチャの縦横サイズを１／２、１／４、１／８、１／１６、…、１／１２８のサイズに縮小した図６に示す追加縮小ピクチャ群を生成しメモリ１０６に保存する。この手法は一般にミップマップと呼ばれ、縮小率の高い画像を生成する際に、画質を改善する効果がある。ミップマップの合計データ量は、元画像の１／３を超えることはない。そこで追加縮小ピクチャとしてミップマップを生成する場合には、メモリ帯域を増加させない為に、閾値Ｔｈとして３／４以下の値を設定することが望ましい。
【００４９】
グラフィックス生成部１０８は、シナリオプロセッサ１０１から通知された縮小率を基にポリゴンの座標を変換し、変換した座標を囲むウィンドウ枠の画像となるグラフィックスを生成しメモリ１０６に保存する。
【００５０】
メモリ１０６は、第１スケーラ１０３、追加スケーラ１０５、及びグラフィックス生成部１０８で生成されたピクチャデータの保存に用いられる。メモリ１０６では、あるピクチャデータを書き込み、更にこれを読み出すためには、２フレーム期間に相当する処理時間が必要である。
【００５１】
再縮小判定部１１１は、シナリオプロセッサ１０１から通知される縮小率を２フレーム期間分蓄積するバッファメモリを有し、各フレーム期間においてシナリオプロセッサ１０１から通知された縮小率と、２フレーム期間前にバッファに蓄積した縮小率を比較し、２つの縮小率に変化がある場合に、第２スケーラ１１３に対して、メモリ１０６から読み出された縮小ピクチャに再度スケール変換を施すよう指令を出す。
【００５２】
第２スケーラ１１３は、メモリ１０６に置かれた動画像のピクチャ、グラフィックス画像を取り込み、再縮小判定部１１１で決定された拡大・縮小率に合わせて、画像を拡大または縮小する。
【００５３】
ウィンドウ変形部１１４は、シナリオプロセッサ１０１による描画シナリオの解釈に基づいて、３次元空間上でポリゴンを生成し、動画像を貼り付け、特定の視点から見た変形したウィンドウを生成する。
【００５４】
合成部１１５は、シナリオプロセッサ１０１による描画シナリオの解釈結果に従って、仮想空間に存在する物体の表面に、画像オブジェクトとなるピクチャを貼り付け、物体を投影した仮想空間映像をマルチウィンドウ表示画面として描画する。具体的には、複数のウィンドウ変形部１１４で生成されたウィンドウ枠のグラフィックスを１の画面に合成し、第２スケーラ１１３が出力した縮小ピクチャを描画オブジェクトとして各ウィンドウ位置に貼り付けることでマルチウィンドウ画像を生成する。
【００５５】
以上が描画装置の構成である。
＜描画シナリオ＞
次に、描画シナリオについて説明する。図２、３は、ＯｐｅｎＧＬを用いて記述された描画シナリオの一例を示す図であり、図４、５は、図２、３に示す描画シナリオに従ったマルチウィンドウ表示を模式的に示す図である。
【００５６】
この描画シナリオでは、リモコンの「左」、「右」ボタンの押下に応じて、押下した方向の画像オブジェクトの表示サイズを拡大するように、マルチウィンドウ表示された画像を変化させる関数を含んでいる。例えば、関数Ｆ１、Ｆ２は、リモコンの「左」、「右」ボタンの押下時に、画面上で左側に表示される画像のサイズを変更させる関数である。これらの関数がシナリオプロセッサにより実行されることで、マルチウィンドウ表示された各画像オブジェクトの位置、形状が変化する。
【００５７】
より詳細には、図２、３に示す描画シナリオは、図４に示すように、画面枠と同じサイズの２つの映像を縮小して、ユーザが選択した一方の画像を画面の１／２サイズで大きく表示し、他方の画面を画面の１／５サイズで表示することで、画面内に２つの映像を並べて表示するマルチウィンドウ表示を実現するものである。また、この描画シナリオでは、図５の１段目のように、フレーム期間ｆ１においてユーザの選択が左側の画像から右側の画面に変更された場合に、フレーム期間ｆ１〜ｆ４の間に左側画像のサイズを、画面の１／２サイズから１／５サイズまで変化させるとともに、右側画像のサイズを画面の１／５サイズから１／２サイズまで変化させる。尚、本図に示すフレーム期間ｆ１以前では、画像選択に変更はなく、左側画像は継続的に画面の１／２のサイズで表示されている。
【００５８】
このような描画シナリオがシナリオプロセッサ１０１において解釈されると、各フレーム期間で必要となる左側画像のサイズが算出され、第１スケーラ１０３と第２スケーラ１１３とに通知される。第１スケーラ１０３では、図５の２段目に示すように、左側画像が各フレーム期間において指定のサイズに縮小されメモリへ格納される。
【００５９】
ここで本実施形態においてメモリの書き込み及び読み出しに伴うディレイは２フレーム期間に相当するため、各フレーム期間においてマルチウィンドウ画面合成のためにメモリから読み出される左側画像は、図５の３段目のようになる。例えば、フレーム期間ｆ３では、フレーム期間ｆ１で１／２に縮小された画像がメモリから読み出される。しかし、図５の２段目に示すように、フレーム期間ｆ３においてマルチウィンドウ表示画面合成のために描画シナリオで要求される左側画像は、１／４に縮小された画像である。そのため、メモリから読み出された縮小画像は、そのままマルチウィンドウ画面の合成に用いることはできない。
【００６０】
そこで、第２スケーラ１１３では、図５の４段目のようにメモリから読み出した画像に対して縮小率の再変換を施す。この時第２スケーラ１１３が用いる縮小率は、カレントのフレーム期間に要求される縮小率Ｓ２をメモリから読み出した画像の縮小率ｓ１で除算した倍率である。図５の例では、フレーム期間ｆ３において、メモリから読み出した画像をＳ２/Ｓ１（＝１／２）倍の倍率でスケール変換する。この結果、第２スケーラ１１３はフレーム期間ｆ３において画面の１／４サイズの縮小画像を出力し、この画像が図５の５段目のようにマルチウィンドウ画面の合成に用いられる。
【００６１】
なお入力装置は、リモコンの代わりに、マウスなどのポインタやタッチパネルを使用してもよい。
＜動作＞
次に、描画装置の動作について説明する。図７は１フレーム期間での描画装置の動作を示す図である。
【００６２】
各フレーム期間においてシナリオプロセッサ１０１は、描画シナリオを解析し、マルチウィンドウ表示に適した各ピクチャの縮小率、各ピクチャを貼り付けるウィンドウの３次元座標の位置等を算出する（ステップＳ１）。算出された各ピクチャの縮小率は、メモリ前段となる第１スケーラ１０３、追加縮小判定部１０４、ＡＶデコーダ１０７、グラフィックス生成部１０８へ通知され、メモリ前段処理が実行される（ステップＳ２）。また、メモリ後段となる再縮小判定部１１１、ウィンドウ変形部１１４、合成部１１５には、各ピクチャの縮小率、及びウィンドウの３次元座標等が通知され、メモリ後段処理が実行される（ステップＳ３）。
【００６３】
描画装置では各フレーム期間において図７に示す動作を繰り返すことで、テレビ放送等の動画像を複数並べて表示したマルチウィンドウ表示を実現している。
【００６４】
以下に、メモリ前段、及び後段での詳細について説明する。
【００６５】
図８は、メモリ前段においてメモリへ画像オブジェクトを格納する処理の詳細を示すフローチャートであり、図９は、メモリ後段において合成画像を描画する処理を示すフローチャートである。
【００６６】
先ず、メモリ前段では、複数のＡＶデコーダ１０７が、それぞれ対象とする符号化映像データをデコードして非圧縮形式のピクチャを生成する（ステップＳ１１）。ここで得られた画像は、縦１９２０ピクセル、横１０８０ピクセルの画面サイズの画像である。
【００６７】
ステップＳ１２では、第１スケーラ１０３が、このピクチャをシナリオプロセッサ１０１から通知された縮小率で縮小した縮小ピクチャを生成する。
【００６８】
ステップＳ１３では、追加縮小判定部１０４が、シナリオプロセッサ１０１から通知された縮小率が、３／４以下であるかを判定し、通知された縮小率が３／４以下である場合（ステップＳ１３：Ｙｅｓ）は、追加スケーラ１０５にミップマップの生成を指示する。      
【００６９】
通知された縮小率が３／４を超える場合（ステップＳ１３：Ｎｏ）は、Ｓ１２で生成された縮小ピクチャをメモリ１０６に格納され（ステップＳ１５）、メモリ前段における処理が終了する。
通知された縮小率が３／４以下であった場合（ステップＳ１３：Ｙｅｓ）に、追加縮小判定部１０４からの指令を受けた追加スケーラ１０５は、第１スケーラ１０３が出力した縮小ピクチャを原画としてミップマップを生成する（ステップＳ１４）。ここまでの処理ステップにより生成された各描画オブジェクトについての縮小ピクチャ、及びミップマップがメモリ１０６へ格納される（ステップ１５）ことで、メモリ前段における処理が終了する。
【００７０】
一方、メモリ後段では、図９に示すようにステップＳ２１において再縮小判定部１１１が、カレントのフレーム期間においてシナリオプロセッサ１０１から通知された縮小率Ｓ（ｔ）と、２フレーム期間前に通知された縮小率Ｓ（ｔ−２）とを比較し、２つの縮小率が同じであれば（ステップＳ２１：Ｙｅｓ）、第２スケーラ１１３によってメモリ１０６から縮小ピクチャ読みだされるが（ステップ２２）、そのまま合成部１１５へ出力されてマルチウィンドウ画面が合成され（ステップＳ２８）、メモリ後段における処理が終了する。
【００７１】
ステップＳ２１における判定で、２つの縮小率に違いがある場合（ステップＳ２１：ＮＯ）、再縮小判定部１１１は縮小率Ｓ（ｔ）及びＳ（ｔ−２）を第２スケーラ１１３に通知し、ピクチャの再スケール変換を指示する。
【００７２】
再スケール変換の指示を受けた第２スケーラ１１３は、メモリ１０６にミップマップが格納されていれば（ステップＳ２３：Ｙｅｓ）、ミップマップを読み出して（ステップＳ２４）、ミップマップデータから縮小率Ｓ（ｔ）の新たな縮小ピクチャを生成する（ステップＳ２５）。
【００７３】
ミップマップがメモリ１０６に格納されていない場合には（ステップＳ２３：Ｎｏ）、縮小率Ｓ（ｔ−２）で縮小された縮小ピクチャを読み出し（ステップＳ２６）、読み出した縮小ピクチャをＳ（ｔ）／（ｔ−２）倍にスケール変換することで、新たな縮小ピクチャを生成する（ステップ２７）。
【００７４】
ステップＳ２５、及びＳ２７で生成された新たな縮小ピクチャは、合成部１１５へ出力されてマルチウィンドウ画面が合成され（ステップＳ２８）、メモリ後段における処理が終了する。
【００７５】
以上が描画装置の動作についての説明である。
【００７６】
本実施形態において説明した構成により、画像オブジェクトとなるピクチャをメモリへ格納する前に縮小することでメモリ帯域を抑えつつ、メモリからの読み出し後に、読み出した縮小ビクチャを、カレントのフレーム期間に要求される縮小率に再度変換するため、描画シナリオに対して高い応答性でマルチウィンドウ表示を実現することができる。
【００７７】
尚、本実施形態では、第１スケーラ１０３、追加縮小判定部１０４、追加スケーラ１０５、ＡＶデコーダ１０７、再縮小判定部１１１、第２スケーラ１１３、及びウィンドウ変形部１１４を、映像データと同数の２つずつ有する描画装置について説明したが、これらの構成要素の数は２に限定されるものではなく、マルチウィンドウ表示においてより多くの映像データを１の画面に並べて表示する場合には、これらの構成要素を３以上有する構成としてもよい。
【００７８】
また、本実施形態では、符号化映像データをデコードして、縦１９２０ピクセル、横１０８０ピクセルの画面サイズのピクチャを得るとしたが、符号化映像データのデコードにおいてＡＶデコーダ１０７は、シナリオプロセッサ１０１から通知された縮小率を基に、直交変換で生成する画素数の削減や、動き補償時に参照及び生成する画素数を削減することで、デコードに要する演算量及びメモリ帯域を削減することができる。このようなデコードによりピクチャの画素サイズが縦１９２０ピクセル、横１０８０ピクセルの元画像よりも既に削減されている場合は、第１スケーラ１０３は、ＡＶデコーダで生成したピクチャの画素サイズと、シナリオプロセッサ１０１から通知された縮小率との比率から新たな縮小率を算出し、算出した新たな縮小率に基づいてピクチャの画素数を削減する。
【００７９】
また、本実施形態において、追加スケーラ１０５は、第１スケーラ１０３が出力した縮小ピクチャを基画像として新たな縮小ピクチャを生成するとしたが、追加スケーラ１０５が縮小ピクチャを生成するための原画像には、ＡＶデコーダ１０７で生成された非圧縮形式のピクチャを用いてもよい。ＡＶデコーダ１０７で生成された非圧縮形式のピクチャを原画像とすることで、第１スケーラ１０３で縮小されたピクチャを再度スケール変換することによる画質の劣化を避けることができる。
【００８０】
尚、追加スケーラ１０５が縮小ピクチャを生成するための原画像にＡＶデコーダ１０７で生成された非圧縮形式のピクチャを用いる場合には、縮小ピクチャを生成するか否かを追加縮小判定部１０４が判定するための閾値Ｔｈとして、２／３以下の値を設定することが望ましい。第１スケーラ１０３での縮小率が２／３以下である場合に追加スケーラ１０５が縮小ピクチャを生成するのであれば、第１スケーラ１０３が生成する縮小ピクチャと追加スケーラ１０５が生成するミップマップ形式の縮小ピクチャとの合計データ量が、ＡＶデコーダ１０７で生成された非圧縮形式のピクチャのデータ量を超えることがなく、メモリ帯域を増加させることはない。
（実施形態２）
図１０は、実施形態２に係る描画装置のハード構成を示す図である。
【００８１】
実施形態２に係る描画装置は、図１に示す実施形態１に係る描画装置の構成と比較して、制御部１１０、解像度制御部１０２、特徴検出部１１２を追加している。また、本実施形態２では、２つの映像を縮小して、ユーザが選択した一方の画像を画面の１／２サイズで大きく表示し、他方の画面をサムネイルサイズで表示することで、画面内に２つの映像を並べて表示するマルチウィンドウ表示を実現するものであり、実施形態１に係る描画装置では追加スケーラ１０５において生成する縮小ピクチャがミップマップであったが、実施形態２に係る描画装置では追加スケーラ１０５においてサムネイルサイズの縮小ピクチャを生成する。
【００８２】
以下、図１に示す実施形態１に係る描画装置の構成から追加された構成について説明する。
【００８３】
制御部１１０は、シナリオプロセッサ１０１の機能のうち実施形態１で説明したＯｐｅｎＧＬ等で記述された描画シナリオを解釈する機能を実現する機能ブロックである。
【００８４】
解像度制御部１０２は、実施形態２に係る描画装置においてシナリオプロセッサ１０１に追加される新たな機能を実現する構成要素であり、マルチウィンドウ表示において並べて表示される複数のウィンドウのうち、どのウィンドウが視覚的に重要かを判定する所定の基準に基づいて、ウィンドウに優先順位付けを行い、この優先順位を基に各ピクチャの縮小率をフレーム期間毎に算出する。
【００８５】
ここで、どのウィンドウが視覚的に重要かの判定基準としては、例えば、ウィンドウサイズが大きい映像を優先して順位づけする場合や、元映像の形状から変形が少ないウィンドウへ貼り付ける映像を優先して順位づけする場合、複数フレーム期間にウィンドウ位置の変化が少ない画像を優先して順位づけする場合、立体視再生に用いる複数の映像のうち強調したい視点の画像を優先して順位づけする場合、及び、以前のフレーム期間にメモリ１０６に格納されたピクチャから、例えば人物の位置、大きさ等の特徴を抽出する特徴検出部１１２で検出した情報を基に、人物が大きい画像を優先して順序づけする場合などがある。
【００８６】
このような基準により、ピクチャの縮小により画質が劣化したとしても、その劣化が目立たない映像の優先度を低く設定することができる。そこで、このような基準で優先度が低いとされたピクチャについては、縦１９２０ピクセル、横１０８０ピクセルのピクチャを各ウィンドウのサイズにあわせるために制御部１１０で算出された縮小率よりも、さらに小さなサイズとする縮小率を解像度制御部１０２が決定する。こうして解像度制御部１０２で決定される縮小率は、ＡＶデコーダ１０７、グラフィックス生成部１０８、第１スケーラ１０３、追加縮小判定部１０４、及び再縮小判定部１１１へ通知される。通知された縮小率は、メモリ前段ではピクチャ縮小に用いられ、メモリ後段の再縮小判定部１１１では、再縮小判定に用いられる。
【００８７】
特徴検出部１１２は、メモリから読み出されたピクチャから、人物画像部分を検出する機能ブロックである。
【００８８】
以上の機能ブロックを有することで、視覚的に重要でないピクチャをメモリ１０６へ格納する前に、より小さく縮小しておくことができる。
＜動作＞
次に、実施形態２に係る描画装置の動作について説明する。
【００８９】
図１１は、実施形態２に係る描画装置においてメモリ前段においてメモリへ画像オブジェクトを格納する処理の詳細を示すフローチャートであり、図１２は、実施形態２に係る描画装置においてメモリ後段において合成画像を描画する処理を示すフローチャートである。
【００９０】
先ず、メモリ前段の処理は、図８に示した実施形態１に係る描画装置におけるメモリ前段処理とおおよそ同様であるが、ステップＳ３２では、第１スケーラ１０３が、解像度制御部１０２から通知された縮小率で縮小した縮小ピクチャを生成すること、ステップＳ３３では、追加縮小判定部１０４が、解像度制御部１０２から通知された縮小率が、３／４以下であるかを判定すること、及び、ステップＳ３４では、縮小率が３／４以下であった場合（ステップＳ３３：Ｙｅｓ）に、追加スケーラ１０５が第１スケーラ１０３が出力した縮小ピクチャを原画としてサムネイルサイズの縮小ピクチャを生成することが相違している。
【００９１】
その他の処理は、実施形態１で説明したメモリ前段においてメモリへ画像オブジェクトを格納する処理と同様である。
【００９２】
次に、メモリ後段では、図１２に示すように、ステップＳ４１において再縮小判定部１１１が、カレントのフレーム期間においてシナリオプロセッサ１０１から通知された縮小率Ｓ（ｔ）と、２フレーム期間前に解像度制御部１０２から通知された縮小率Ｓ（ｔ−２）とを比較し、２つの縮小率が同じであれば（ステップＳ４１：Ｙｅｓ）、第２スケーラ１１３によってメモリ１０６から縮小ピクチャ読みだされるが（ステップ４２）、そのまま合成部１１５へ出力されてマルチウィンドウ画面が合成され（ステップＳ４８）、メモリ後段における処理が終了する。
【００９３】
ステップＳ４１における判定で、２つの縮小率に違いがある場合（ステップＳ４１：ＮＯ）、再縮小判定部１１１は縮小率Ｓ（ｔ）及びＳ（ｔ−２）を第２スケーラ１１３に通知する。
【００９４】
縮小率Ｓ（ｔ）及びＳ（ｔ−２）を通知された第２スケーラ１１３は、カレントの縮小率Ｓ（ｔ）がサムネイルサイズに対応するものであるかを判定し（ステップＳ４３）、縮小率Ｓ（ｔ）がサムネイルサイズに対応するものでなければ（ステップＳ４３：Ｎｏ）、縮小率Ｓ（ｔ−２）で縮小された縮小ピクチャをメモリ１０６から読み出し（ステップＳ４４）、読み出した縮小ピクチャをＳ（ｔ）／（ｔ−２）倍にスケール変換することで、新たな縮小ピクチャを生成する（ステップ４５）。生成された新たな縮小ピクチャは、合成部１１５へ出力されてマルチウィンドウ画面が合成される（ステップＳ４８）。
【００９５】
縮小率Ｓ（ｔ）がサムネイルサイズに対応するものであり（ステップＳ４３：Ｙｅｓ）、メモリ１０６にサムネイルサイズの縮小ピクチャが格納されていれば（ステップＳ４６：Ｙｅｓ）、第２スケーラ１１３は、サムネイルサイズの縮小ピクチャを読み出し、そのまま合成部１１５へ出力し、合成部１１５においてマルチウィンドウ画面が合成される（ステップＳ４８）。
【００９６】
縮小率Ｓ（ｔ）がサムネイルサイズに対応するものであるが（ステップＳ４３：Ｙｅｓ）、メモリ１０６にサムネイルサイズの縮小ピクチャが格納されていない場合（ステップＳ４６：Ｎｏ）、第２スケーラ１１３は、縮小率Ｓ（ｔ−２）で縮小された縮小ピクチャをメモリ１０６から読み出し（ステップＳ４４）、読み出した縮小ピクチャをＳ（ｔ）／（ｔ−２）倍にスケール変換することで、新たな縮小ピクチャを生成する（ステップ４５）。生成された新たな縮小ピクチャは、合成部１１５へ出力されてマルチウィンドウ画面が合成される（ステップＳ４８）。
【００９７】
以上が実施形態２に係る描画装置の動作についての説明である。
【００９８】
本実施形態２において説明した構成により、視覚的に重要でないピクチャをメモリ１０６へ格納する前に、より小さく縮小しておくことができ、メモリ帯域を更に抑えることができる。
【００９９】
また、シナリオプロセッサから通知された縮小率で生成した縮小ピクチャに加えて、本実施形態２に係るマルチウィンドウ表示において利用頻度の高いサムネイルサイズのピクチャをメモリ前段で生成しメモリに格納しておくことで、メモリからの読み出し後に再度スケール変換が必要な機会を減らし、再変換による画質劣化を避けることができる。
【０１００】
尚、本実施形態では、２つの映像を縮小して、ユーザが選択した一方の画像を画面の１／２サイズで大きく表示し、他方の画面をサムネイルサイズで表示することで、画面内に２つの映像を並べて表示するマルチウィンドウ表示について説明したが、本実施形態に係る描画装置では、任意の描画シナリオを用いることで、様々なマルチウィンドウ表示を実現することができる。
【０１０１】
例えば、図１３のように、画面中央部に歪みの少ない形状で１つの画像オブジェクトを表示し、この画像オブジェクトの下、左、右にそれぞれ１つづつ縮小変形された画像オブジェクトを表示するようなマルチウィンドウ表示も対応可能である。また、この描画シナリオに、リモコンの「上」、「下」、「左」、「右」ボタンの押下に応じて、押下した方向の画像オブジェクトを画面中央部に表示するように、マルチウィンドウ表示された画像の位置を入れ替える関数を記述しておくことで、これらの関数がシナリオプロセッサにより実行されることで、マルチウィンドウ表示された各画像オブジェクトの位置、形状を変化させることができる。
【０１０２】
図１３に示すようなマルチウィンドウ表示では、画面中央部の画像に比べて下、左、右に配置される画像は、元画像の形状から歪みが大きいためスケール変換による画質劣化が目立ちにくい。そこで、このような場合に解像度制御部１０２では、下、左、右に配置される画像について、縮小による画質劣化が目立たない映像であるとして、画面中央部に配置される画像よりも第１スケーラで小さなサイズに縮小するように、縮小率を決定してもよい。
（実施形態３）
図１４は、実施形態３に係るテレビのハード構成を示す図である。
【０１０３】
実施形態３に係るテレビは、図１０に示す実施形態２に係る描画装置の構成に、２つのチューナ３０１、及びディスプレイ３０２を追加したものである。
【０１０４】
チューナ３０１は、受信されたテレビ放送波から、指示のチャンネルを選局し、縦１９２０ピクセル、横１０８０ピクセルの画面サイズの符号化映像データを取得する。取得された符号化映像データは、ＡＶデコーダへ出力される。
【０１０５】
ディスプレイ３０２は、縦１９２０画素、横１０８０画素の液晶ディスプレイであり、合成部１１５で合成されたマルチウィンドウ画像を表示する。
【０１０６】
本実施形態において説明した構成により、画像オブジェクトとなるピクチャをメモリへ格納する前に縮小することでメモリ帯域を抑えつつ、メモリからの読み出し後に、読み出した縮小ビクチャを、カレントのフレーム期間に要求される縮小率に再度変換するため、描画シナリオに対して高い応答性でマルチウィンドウ表示が可能なテレビを実現することができる。
（その他の変形例）
尚、本発明を上記の実施形態に基づいて説明してきたが、本発明は、上記の実施形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１０７】
（１）本発明は、各実施形態で説明したフローチャートの処理手順が開示する描画装置の制御方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１０８】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。
【０１０９】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
【０１１０】
また、前記コンピュータプログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１１１】
（２）本発明は、上記各実施の形態に記載の再生装置を制御するＬＳＩとしても実施可能である。このようなＬＳＩは、図１、１０、及び１３に示す機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されてもよい。
【０１１２】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１１３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field  Programmable  Gate  Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１１４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
【０１１５】
特に、仮想空間映像の描画シナリオを解読し、仮想空間映像における前記物体の表面に該当する部位に各画像オブジェクトの大きさを合わせるための縮小率を、フレーム期間毎に算出するシナリオプロセッサの機能と、複数の画像オブジェクトを得る取得手段の機能と、取得された前記複数の画像オブジェクトを縮小する第１スケーラの機能と、メモリに格納された縮小後の各画像オブジェクトを読み出し、カレントのフレーム期間においてシナリオプロセッサが算出した縮小率に変換する第２スケーラの機能と、第２スケーラにより縮小率が変換された各画像オブジェクトを、仮想空間映像における前記物体の表面に該当する部位に合成する合成部の機能と、前記第１スケーラで用いる縮小率が所定の縮小率よりも小さい画像オブジェクトについて、前記第１スケーラで用いる縮小率より小さい縮小率で縮小した画像オブジェクトを生成し、生成した縮小後の画像オブジェクトを第１スケーラによる縮小後の画像オブジェクトに加えてメモリに格納する第３スケーラの機能と、各描画オブジェクトから人物画像を検出する画像特徴検出部の機能とは、上述のとおり集積回路、専用回路等により実現するよう構成することが出来る。また、上記の各機能を、プロセッサとメモリ上のプログラムとの協働とにより実現するよう構成することもできる。
【０１１６】
（４）上記実施形態、及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０１１７】
本発明にかかる描画装置は、メモリ帯域の削減及びメモリ個数・動作周波数の低減による低コスト化と、描画シナリオに応じた描画応答性、画質向上により、マルチウィンドウ表示の表現力向上したシステムＬＳＩを実現することができる。また光ディスクレコーダ、ＴＶ、タブレット、スマートフォン、携帯電話等の用途にも応用できる。
【符号の説明】
【０１１８】
１０１    シナリオプロセッサ
１０２    解像度制御部
１０３    第１スケーラ
１０４    追加縮小判定部
１０５    追加スケーラ
１０６    メモリ
１０７    ＡＶデコーダ
１０８    グラフィックス生成部
１１０    制御部
１１１    再縮小判定部
１１２    特徴検出部
１１３    第２スケーラ
１１４    ウィンドウ変形部
１１５    合成部
３０１    チューナ
３０２    ディスプレイ
【図１】
0005899503.tif 000002
【図２】
0005899503.tif 000003
【図３】
0005899503.tif 000004
【図４】
0005899503.tif 000005
【図５】
0005899503.tif 000006
【図６】
0005899503.tif 000007
【図７】
0005899503.tif 000008
【図８】
0005899503.tif 000009
【図９】
0005899503.tif 000010
【図１０】
0005899503.tif 000011
【図１１】
0005899503.tif 000012
【図１２】
0005899503.tif 000013
【図１３】
0005899503.tif 000014
【図１４】
0005899503.tif 000015
【図１５】
0005899503.tif 000016