(57)【特許請求の範囲】
【請求項１】
入力された３次元画像データの立体的表示と平面的表示を切り換え可能とする画像データ表示装置であって、
前記３次元画像データを３次元表示と２次元表示を切り換えて表示できる表示手段と、
前記３次元画像データの表示位置が移動している場合に、移動している前記３次元画像データを２次元画像データに変換する画像変換手段と、
前記表示手段の表示モードを３次元表示モードまたは２次元表示モードに切り換える制御手段と、
を備え、
前記表示手段に表示されている３次元画像の一部領域が移動している場合、
前記画像変換手段は、前記移動する一部領域の３次元画像データのみを２次元画像データに変換し、
前記制御手段は、前記移動する一部領域のみの３次元表示モードを２次元表示モードに切り換えることを特徴とする画像データ表示装置。
【請求項２】
前記３次元画像データは、複数の視点画像データから１視点の画像データを選択するための２次元選択画像情報を予め備え、
前記画像変換手段は、前記２次元選択画像情報に基づいて２次元画像を選択することを特徴とする請求項１に記載の画像データ表示装置。
【請求項３】
前記画像変換手段は、所定の１視点の画像データを２次元画像として固定的に選択することを特徴とする請求項１に記載の画像データ表示装置。
【請求項４】
前記画像変換手段は、複数ある視点画像データが同一となるように前記３次元画像データを変換し、前記３次元表示モードにて前記変換された画像データを表示することを特徴とする請求項１に記載の画像データ表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像符号化データを再生し、ディスプレイ上に表示する技術に関し、より詳細には、３次元画像データのスクロール表示時に、効率的に画像データをディスプレイ上に表示する画像データ表示装置に関するものである。
【背景技術】
【０００２】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼用画像と右眼用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。
【０００３】
図２３は、この２眼式の代表的なものの１つである「時分割方式」を説明するための概念図である。
この時分割方式では、図２３のように、左眼用画像と右眼用画像が垂直１ラインおきに交互にならんだ形に配置され、左眼用画像を表示するフィールドと右眼用画像を表示するフィールドを交互に切り替えて表示するものである。左眼用画像及び右眼用画像は通常の２次元表示時に比べて垂直解像度が半分になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼用画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼用画像が表示されている時は左眼側が閉じて右眼側が開く。このようにすることにより左眼用画像は左眼だけで、右眼用画像は右眼だけで観察されることになり、立体視を行うことができる。
図２４は、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。図２４（ａ）は、視差が生じる原理を示す図である。一方、図２４（ｂ）は、パララクスバリア方式で表示される画面を示す図である。
【０００４】
図２４（ｂ）に示すような左眼用画像と右眼用画像のペアがストライプ状に並んだ画像を、図２４（ａ）に示すように、画像表示パネル２４０１に表示し、この画像に対応した間隔でスリットを持ついわゆるパララクスバリア２４０２をその前面に置くことにより、左眼用画像は左眼２４０３だけで、右眼用画像は右眼２４０４だけで観察することにより立体視を行う。
【０００５】
「時分割方式」、「パララクスバリア方式」に限らず、一般に３次元画像を立体視する場合、表示されている画像の内容、あるいは表示の仕方によって、立体視のし易さが違ってくる。例えば、動画像データであれば、動きの激しい映像、あるいは早送り等の特殊再生時には、１つのフレームの表示時間が短くなるため、個人差はあるものの、立体視による内容の把握が困難になる場合がある。後述する特許文献１において開示されている「立体動画像圧縮符号化装置及び立体動画像復号再生装置」では、３次元画像の再生において、高速再生時には２次元画像として表示する例があげられている。
【０００６】
上記立体動画像圧縮符号化装置および立体動画像復号再生装置における高速再生時の動作について簡単に説明する。
符号化装置では、まず、カメラ等より入力された左眼用画像データと右眼用画像データから基準画像データを作成する。次に、作成した基準画像データと左眼用画像データおよび右眼用画像データとの差分を求め、それぞれ左眼用差分データおよび右眼用差分データとして出力する。これら基準画像データ、左眼用差分データおよび右眼用差分データを圧縮符号化し、多重化することにより３次元画像符号化データを作成している。
【０００７】
復号再生装置では、まず、圧縮された３次元画像符号化データを、基準画像データ、左眼用差分データおよび右眼用差分データに分離する。通常再生時には、基準画像データ、左眼用差分データおよび右眼用差分データすべてを復号し、基準画像データと左眼用差分データより左眼用画像を作成し、基準画像データと右眼用差分データより右眼用画像データを作成する。これら左眼用画像データおよび右眼用画像データを用いて、３次元画像として再生する。一方、高速再生時には、基準画像データのみを復号し、２次元画像としてその基準画像を再生する。
【０００８】
ところで、静止画像データの場合にもあてはまるが、画像データの解像度が表示ディスプレイの解像度より大きい場合、そのままでは画像データの一部のみしか表示することができない。そのため、画像データの所望の領域を表示するためのスクロールが必要となる。例えば、地図画像データのような、空間解像度の非常に大きい画像を表示する場合には、スクロール機能は必須である。最近では、携帯電話、ＰＤＡ等にも画像表示のための小型ディスプレイが備えられているが、このようなモバイル機器で画像を表示する場合にも必要な機能である。
【特許文献１】
特開平７−３２７２４２号公報
【発明の開示】
【発明が解決しようとする課題】
［０００９］
しかしながら、３次元画像データを３次元表示のままディスプレイに表示しながらスクロール表示した場合、特にスクロールの速度が増すにつれて、相対的に画面の動きが早くなるため、立体視するのが困難になり、表示されている画像の内容を把握するのが困難になるという問題があった。
［００１０］
また、従来は、３次元画像データを構成する場合、図２５に示すように、画像全体（この例では１２８０画素×９６０画素）が１つの左目用画像データ２５０１と１つの右目用画像データ２５０２とから構成されているため、空間解像度の大きい画像を処理する場合には、画像メモリ等のリソースが非常に多く必要になるという問題があった。
［００１１］
本発明は、上記課題を解決するためになされたものであって、３次元画像データのスクロール表示時に、効率的にディスプレイ上に画像データを表示する画像データ表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、入力された３次元画像データの立体的表示と平面的表示を切り換え可能とする画像データ表示装置であって、前記３次元画像データを３次元表示と２次元表示を切り換えて表示できる表示手段と、前記３次元画像データの表示位置が移動している場合に、移動している前記３次元画像データを２次元画像データに変換する画像変換手段と、前記表示手段の表示モードを３次元表示モードまたは２次元表示モードに切り換える制御手段とを備え、前記表示手段に表示されている３次元画像の一部領域が移動している場合、前記画像変換手段は、前記移動する一部領域の３次元画像データのみを２次元画像データに変換し、前記制御手段は、前記移動する一部領域のみの３次元表示モードを２次元表示モードに切り換えることを特徴とする。
［００１３］
ここで、前記３次元画像データは、複数の視点画像データから１視点の画像データを選択するための２次元選択画像情報を予め備え、前記画像変換手段は、前記２次元選択画像情報に基づいて２次元画像を選択することを特徴とする。
［００１４］
また、前記画像変換手段は、所定の１視点の画像データを２次元画像として固定的に選択することを特徴とする。
［００１５］
また、前記画像変換手段は、複数ある視点画像データが同一となるように前記３次元画像データを変換し、前記３次元表示モードにて前記変換された画像データを表示することを特徴とする。
【発明の効果】
［００１６］
本発明によれば、３次元画像データの表示位置が変化している場合、例えば３次元画像データのスクロール表示時や、３次元動画像が移動しているときに、制御手段が２次元表示モードに切り換え、３次元画像を２次元表示画像データに変換して表示する構成としたので、ユーザは、何ら操作を行うことなく、表示画像が移動しているときに表示画像を立体視する必要がなくなるため、容易に内容を把握することができる。
【図面の簡単な説明】
［００１７］
［図１］本発明の第１の実施形態における画像データ表示装置の概略構成を示す機能ブロック図である。
［図２］蓄積部に蓄積されている３次元画像全体を示した図である。
［図３］３次元画像符号化データの構成を示した図である。
［図４］３次元画像符号化データに含まれる３次元表示制御情報オブジェクト、および画像情報オブジェクトの詳細を示した図である。
［図５］復号部の内部構成を示すブロック図である。
［図６］画像復号部で復号された復号画像データ、および並べ替え部で出力される３次元画像データを示した図である。
［図７］並べ替え部の動作を説明するための図である。
【図８】蓄積部に蓄積されている３次元画像全体を示した図である。
【図９】フレームメモリの初期状態を示した図である。
【図１０】初期状態から左下にスクロールした場合のフレームメモリの状態を示した図である。
【図１１】初期状態から右下にスクロールした場合のフレームメモリの状態を示した図である。
【図１２】更新されたフレームメモリの状態を示した図である。
【図１３】表示部の内部構成を示すブロック図である。
【図１４】画像変換部に入力される３次元画像データを示した図である。
【図１５】画像変換部で変換後の２次元画像データを示した図である。
【図１６】画像変換部に入力される３次元画像データを示した図である。
【図１７】本発明の第２の実施形態における画像データ表示装置の概略構成を示す機能ブロック図である。
【図１８】復号部の内部構成を示すブロック図である。
【図１９】表示用画像生成部の内部構成を示すブロック図である。
【図２０】フレームメモリの初期状態を示した図である。
【図２１】初期状態から左下にスクロールした場合のフレームメモリの状態を示した図である。
【図２２】初期状態から左下にスクロールした場合のフレームメモリの状態を示した図である。
【図２３】時分割方式による３次元画像表示を説明するための概念図である。
【図２４】パララクスバリア方式による３次元画像表示を説明するための概念図である。
【図２５】従来の３次元画像データの構成を示す図である。
【符号の説明】
【００１８】
１０１  蓄積部
１０２  復号部
１０３  制御部
１０４  表示部
３０１  ヘッダ情報オブジェクト
３０２  ３次元表示制御情報オブジェクト
３０３  画像情報オブジェクト
５０１  データ読出部
５０２  ３次元表示制御情報解析部
５０３  画像復号部
５０４  並べ替え部
５０５  メモリコントローラ
５０６  フレームメモリ
８０１  原点
９０１  表示画像領域
１００１  表示画像領域
１１０１  表示画像領域
１３０１  スイッチ
１３０１Ａ  接点Ａ
１３０１Ｂ  接点Ｂ
１３０２  画像変換部
１３０３  ディスプレイ
１７０１  復号部
１７０２  表示用画像生成部
１７０３  表示部
１９０１  メモリコントローラ
１９０２  スイッチ
１９０２Ａ  接点Ａ
１９０２Ｂ  接点Ｂ
１９０３  並べ替え部
１９０４  画像変換部
２００１  表示画像領域
２１０１  表示画像領域
２２０１  領域
２２０２  領域
２２０３  領域
２２０４  領域
２４０１  画像表示パネル
２４０２  パララクスバリア
２４０３  左眼
２４０４  右眼
２５０１  左目用画像データ
２５０２  右目用画像データ
２５０３  表示領域
２５０４  領域
２５０５  領域
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態を図面とともに説明する。なお、図面において同一部分には同一の符号を付し、その説明は繰り返さない。
【００２０】
［第１の実施形態］
図１は、本発明の第１の実施形態における画像データ表示装置の概略構成を示す機能ブロック図である。
本実施形態における画像データ表示装置は、蓄積部１０１、復号部１０２、制御部１０３、および表示部１０４から構成される。
【００２１】
蓄積部１０１は、３次元画像符号化データが記録された記録媒体、該記録媒体に記録されている３次元画像符号化データの読出しを制御するための制御回路等から構成される。記録媒体としては、ＳＤカード、コンパクトフラッシュ（登録商標）カード等の半導体メディア、ＣＤ、ＤＶＤ等のディスクメディア、あるいはハードディスク等、何であってもよい。
【００２２】
復号部１０２では、表示画像の位置情報をもとに、蓄積部１０１から読み出した３次元画像符号化データを復号し、復号された３次元画像データを表示部１０４に出力する。なお、表示画像の位置情報とは、３次元画像全体に対して、表示しようとしている画像の位置を特定するための情報であり、アドレス等を表しているものとする。
【００２３】
制御部１０３では、表示画像の位置情報をもとに、復号部１０２で復号された３次元画像データを立体的に表示するか（３次元表示モード）、平面的に表示するか（２次元表示モード）を選択し、表示部１０４に表示モードとして通知する。
【００２４】
表示部１０４は、外部からの入力により３次元表示モード／２次元表示モードが切り替え可能なディスプレイを備え、制御部１０３から通知される表示モードにしたがって、復号された３次元画像データを立体的、もしくは平面的にディスプレイに表示する。なお、本実施形態における立体表示の方式は、「パララクスバリア方式」を用いることとする。
【００２５】
まず、蓄積部１０１に蓄積されている３次元画像符号化データについて、図２、図３、および図４を用いて説明する。
【００２６】
図２は、蓄積部１０１に蓄積されている３次元画像全体（静止画）を示した図である。１２８０画素×９６０画素からなる３次元画像全体は、１６０画素×１２０画素からなる８×８＝６４個のブロックに分割され、ブロック単位で左目用画像データおよび右目用画像データを左右に配置した構成となっている。各ブロックの画像データは、ＪＰＥＧ圧縮方式により符号化され、配置情報（左右）等とともに後述する３次元画像符号化データを構成し、蓄積部１０１に蓄積されている。なお、分割単位である「１６０画素×１２０画素」は、あくまでも例であって、これに限定されるものではない。
【００２７】
図３は、３次元画像符号化データの構成を示した図である。３次元画像符号化データは、ヘッダ情報オブジェクト３０１、３次元表示制御情報オブジェクト３０２、および画像情報オブジェクト３０３より構成される。ここでは、３次元表示制御情報オブジェクト３０２のあとに、複数の画像情報オブジェクト３０３が続く構成としたが、無論、複数に分割されずに、まとまった１つの画像情報オブジェクトであってもよい。
【００２８】
図４は、３次元画像符号化データに含まれる３次元表示制御情報オブジェクト３０２、および画像情報オブジェクト３０３の詳細を示した図である。
図４（ａ）は、３次元表示制御情報オブジェクト３０２の詳細を示した図である。３次元表示制御情報オブジェクト３０２には、オブジェクト固有のＩＤ（Ｏｂｊｅｃｔ  ＩＤ＝０ｘ１２）、オブジェクト全体のサイズ（Ｏｂｊｅｃｔ  Ｓｉｚｅ＝２５６ｂｙｔｅ）、および３次元表示制御情報として、画像配置情報、サンプリング情報、および２次元選択画像情報が格納されている。
【００２９】
画像配置情報は、複数の視点より撮影された画像データがどのように配置されているかを示す情報であり、（水平方向の視点数，垂直方向の視点数）で表される。例えば、２つの視点より撮影された画像データが水平（左右）に配置されている場合、画像配置情報＝（２，１）となる。垂直（上下）に配置されている場合、画像配置情報＝（１，２）となる。
【００３０】
サンプリング情報は、それぞれの視点画像データの水平方向および垂直方向のサンプリング比を示すものであり、（水平方向のサンプリング比，垂直方向のサンプリング比）で表される。例えば、水平方向の解像度のみ１／２となるようにサンプリングした場合、サンプリング情報＝（１／２，１）となる。垂直方向の解像度のみ１／２となるようにサンプリングした場合は、サンプリング情報＝（１，１／２）となる。本実施形態では、それぞれの視点画像データを用いてパララクスバリア方式の３次元ディスプレイに表示する場合に、画像アスペクト比を調整するためにサンプリング情報が用いられる。なお、サンプリング情報からは、アスペクト比の他に、原画像データ（サンプリング前の画像データ）に対する縮小率も求まるが、本実施形態では、特にこの情報は利用しない。
【００３１】
また、２次元選択画像情報は、複数の視点より撮影された画像データのうち１視点の画像データを選択するための情報であり、２次元選択画像情報＝（水平方向の視点番号，垂直方向の視点番号）となる。例えば、水平（左右）に配置された（画像配置情報＝（２，１））２つの視点より撮影された画像データから、左側の画像データを選択する場合、２次元選択画像情報＝（１，１）となる。同様に、右側の画像データを選択する場合、２次元選択画像情報＝（２，１）となる。
【００３２】
本実施形態では、画像配置情報＝（２，１）、サンプリング情報＝（１／２，１）、２次元選択画像情報＝（１，１）である。
【００３３】
図４（ｂ）は、画像情報オブジェクト３０３の詳細を示した図である。画像情報オブジェクト３０３には、オブジェクト固有のＩＤ（Ｏｂｊｅｃｔ  ＩＤ＝０ｘ１３）、オブジェクト全体のサイズ（Ｏｂｊｅｃｔ  Ｓｉｚｅ＝２０４８０ｂｙｔｅ）、および符号化データとしてＪＰＥＧ圧縮データが格納されている。
【００３４】
次に、復号部１０２の動作について詳細に説明する。
図５は、復号部１０２の内部構成を示すブロック図である。復号部１０２は、データ読出部５０１、３次元表示制御情報解析部５０２、画像復号部５０３、並べ替え部５０４、メモリコントローラ５０５、およびフレームメモリ５０６から構成される。
【００３５】
データ読出部５０１では、表示画像の位置情報をもとに、蓄積部１０１から３次元画像符号化データを読出し、３次元画像符号化データに含まれる各オブジェクトの分離を行う。具体的には、読み出された３次元画像符号化データのヘッダ情報オブジェクト３０１を解析し、ヘッダ情報オブジェクト３０１に続くオブジェクト種別を判定する。次に、各オブジェクトのＯｂｊｅｃｔ  ＩＤを参照することによって、Ｏｂｊｅｃｔ  ＩＤが０ｘ１２の場合には３次元表示制御情報解析部５０２へ、Ｏｂｊｅｃｔ  ＩＤが０ｘ１３の場合には画像復号部５０３へ送ることによって３次元画像符号化データの分離を行う。
【００３６】
３次元表示制御情報解析部５０２では、データ読出部５０１より送られてきた３次元表示制御情報オブジェクト３０２を解析し、３次元表示制御情報として、画像配置情報、サンプリング情報、および２次元選択画像情報を出力する。ここでは、２つの視点画像データが水平（左右）に配置されていることを示す画像配置情報＝（２，１）、水平方向のみ解像度が１／２であることを示すサンプリング情報＝（１／２，１）、および１視点の画像データを選択する際に左側の視点画像データを選択することを示す２次元選択画像情報＝（１，１）を出力する。
【００３７】
画像復号部５０３では、データ読出部５０１より送られてきた画像情報オブジェクト３０３を解析し、オブジェクト内に格納されているＪＰＥＧ圧縮データの復号処理を行い、復号画像データを並べ替え部５０４に出力する。
【００３８】
図６は、画像復号部５０３で復号された復号画像データ（図６（ａ））、および並べ替え部５０４で出力される３次元画像データ（図６（ｂ））を示した図である。
３次元表示制御情報解析部５０２で解析されたように、画像復号部５０３で復号された復号画像データは、左目用画像データと右目用画像データが、それぞれ水平方向の解像度が１／２となるようにサンプリングされ、左右に配置された構成となっている。
【００３９】
図７は、並べ替え部５０４の動作を説明するための図である。並べ替え部５０４では、まず、図７（ａ）で示されるように、復号画像データをストライプ状に分割する。次に、分割された左眼用画像データＬ１、Ｌ２、Ｌ３・・・、および右眼用画像データＲ１、Ｒ２、Ｒ３・・・、を、Ｌ１、Ｒ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３・・・、のように左眼用画像データと右眼用画像データが交互に配置するように並べ替える（図７（ｂ））。この結果、図６（ｂ）で示した３次元画像データが得られ、パララクスバリア方式の３次元ディスプレイにおいて正しく立体表示することが可能となる。
【００４０】
メモリコントローラ５０５、およびフレームメモリ５０６について、図８、図９、図１０、図１１、および図１２を参照しながら説明する。
【００４１】
図８は、蓄積部１０１に蓄積されている３次元画像全体を示した図である。すでに説明したように、１２８０画素×９６０画素からなる３次元画像全体は、１６０画素×１２０画素のブロックに分割されている。ここで、３次元画像の左上を原点８０１とし、水平方向にＸ座標、垂直方向にＹ座標をとるものとする。また、原点８０１より数えて、水平方向にｉ番目（ｉ＝０，１，２，・・・）、垂直方向にｊ番目（ｊ＝０，１，２，・・・）のブロックをＢｉｊとする（図８中では、一部の記載を省略）。
【００４２】
フレームメモリ５０６は、並べ替え部５０４で出力された復号済みの３次元画像データを一時的に保持しておくためのメモリであり、ブロック９個分の３次元画像データを保持することができる。例えば、図８における領域Ａ（ブロックＢ２２、ブロックＢ３２、ブロックＢ４２、ブロックＢ２３、ブロックＢ３３、ブロックＢ４３、ブロックＢ２４、ブロックＢ３４、およびブロックＢ４４からなる領域）、あるいは領域Ｂ（ブロックＢ３３、ブロックＢ４３、ブロックＢ５３、ブロックＢ３４、ブロックＢ４４、ブロックＢ５４、ブロックＢ３５、ブロックＢ４５、およびブロックＢ５５からなる領域）などを保持することが可能である。このとき、領域Ａの左上（ブロックＢ２２の左上）の座標は（３２０，２４０）、領域Ｂの左上（ブロックＢ３３の左上）の座標は（４８０，３６０）である。
【００４３】
メモリコントローラ５０５は、並べ替え部５０４で並べ替えられた３次元画像データをフレームメモリ５０６に書き込むとともに、ディスプレイに表示すべき３次元画像データをフレームメモリ５０６から読み出して出力する。さらに、メモリコントローラ５０５は、３次元画像全体のうち、どの部分がフレームメモリ５０６に保持されているかを示す位置情報の管理、およびフレームメモリ５０６に保持されている３次元画像データのどの部分をディスプレイに表示するかを示す位置情報の管理を行う。本実施形態では、これら２つの位置情報のうち、前者をベースアドレス、後者を表示オフセットと呼ぶこととする。
【００４４】
図９は、フレームメモリ５０６の初期状態を示した図である。図８におけるブロックＢ３３が表示画像領域９０１として選択され、その周辺８ブロックを合わせた合計９ブロック（ブロックＢ２２、ブロックＢ３２、ブロックＢ４２、ブロックＢ２３、ブロックＢ３３、ブロックＢ４３、ブロックＢ２４、ブロックＢ３４、およびブロックＢ４４）の３次元画像データがフレームメモリ５０６に格納されている。このとき、メモリコントローラ５０５は、ベースアドレスとして、フレームメモリに格納されている３次元画像データの先頭アドレス、すなわちブロックＢ２２の先頭アドレス（３２０，２４０）、表示オフセットとして、図９中に矢印で示した、ベースアドレスからのオフセット（１６０，１２０）を保持している。
なお、ここでは、表示画像領域９０１と分割ブロックの大きさを同一としたが、これに限定されるものではなく、異なっていても同様に適用可能である。
【００４５】
図１０は、初期状態（図９）から左下にスクロールした場合のフレームメモリ５０６の状態を示した図である。
フレームメモリ５０６には、初期状態と同様、ブロックＢ２２、ブロックＢ３２、ブロックＢ４２、ブロックＢ２３、ブロックＢ３３、ブロックＢ４３、ブロックＢ２４、ブロックＢ３４、およびブロックＢ４４の３次元画像データが格納され、ベースアドレスは（３２０，２４０）、表示画像領域１００１を示す表示オフセットは（７０，１９０）である。
【００４６】
このように、表示画像領域１００１がフレームメモリ５０６の境界に達していない場合、言い換えれば、まだフレームメモリ５０６内を上下左右どの方向にもスクロールできる場合、フレームメモリ５０６の内容、およびベースアドレスは更新されず、表示オフセットのみが更新される。
【００４７】
図１１（ａ）は、初期状態（図９）から右下にスクロールした場合のフレームメモリ５０６の状態を示した図である。
フレームメモリ５０６には、初期状態と同様、ブロックＢ２２、ブロックＢ３２、ブロックＢ４２、ブロックＢ２３、ブロックＢ３３、ブロックＢ４３、ブロックＢ２４、ブロックＢ３４、およびブロックＢ４４の３次元画像データが格納され、ベースアドレスは（３２０，２４０）、表示画像領域１１０１を示す表示オフセットは（３２０，２４０）である。図１０とは、表示画像領域１１０１がフレームメモリ５０６の境界と重なっている点が異なる。この場合、上方向および左方向にはさらにスクロールが可能であるが、右方向および下方向には、復号済みの３次元画像データが無いため、このままではスクロールすることができない。このため、フレームメモリ５０６、ベースアドレス、および表示オフセットの更新が行われる。
【００４８】
あるいは、図１１（ｂ）で示されるように、フレームメモリ５０６よりも小さい、斜線部で示される領域１１０２を設定し、表示画像領域１１０１が領域１１０２の内側を移動している場合にはフレームメモリ５０６、ベースアドレス、および表示オフセットの更新はおこなわず、表示画像領域１１０１が領域１１０２の境界に達したときに、フレームメモリ５０６、ベースアドレス、および表示オフセットの更新をおこなうようにしてもよい。
【００４９】
図１２は、更新されたフレームメモリ５０６の状態を示した図である。
フレームメモリ５０６には、表示画像領域１１０１に対応するブロックＢ４４を中心とした９ブロック（ブロックＢ３３、ブロックＢ４３、ブロックＢ５３、ブロックＢ３４、ブロックＢ４４、ブロックＢ５４、ブロックＢ３５、ブロックＢ４５、およびブロックＢ５５）の３次元画像データが格納されている。また、ベースアドレスは、Ｂ３３の先頭アドレス（４８０，３６０）に、表示オフセットは（１６０，１２０）に更新される。
【００５０】
フレームメモリ５０６の内容を更新する場合、基本的には、新たにデータ読出部５０１より対応するブロックの３次元画像符号化データを読出し、画像復号部５０３、並べ替え部５０４で復号後、メモリコントローラ５０５によって、フレームメモリ５０６に３次元画像データが書き込まれる。
【００５１】
しかしながら、上で説明した例では、９つのブロックのうち、ブロックＢ３３、ブロックＢ４３、ブロックＢ３４、およびブロックＢ４４の４つのブロックについては、既に復号済みであり、フレームメモリ５０６内の格納位置が変わっただけである。そのため、これら復号済みのブロックについては、再度復号処理を行うのではなく、メモリコントローラ５０５によって、既に復号された３次元画像データをフレームメモリ５０６内でコピーするようにしてもよい。あるいは、９つのブロックそれぞれの表示位置（表示オフセット等）を示すテーブルを別に用意し、格納位置が変わったブロックについては、対応するテーブル内の値を変更することによって管理してもよい。例えば、ブロックＢ４４については、対応するテーブル内の表示オフセットを（３２０，２４０）から（１６０，１２０）に変更するだけでよい。同様に、ブロックＢ３３については、対応するテーブル内の表示オフセットを（１６０，１２０）から（０，０）に変更するだけでよい。
【００５２】
次に、制御部１０３の動作について詳細に説明する。
制御部１０３では、表示画像の位置情報をもとに、復号部１０２で復号された３次元画像データを立体的に表示するか（３次元表示モード）、平面的に表示するか（２次元表示モード）を選択し、表示部１０４に表示モードとして通知する。具体的には、入力された位置情報＝表示アドレスを監視し、時間的に変化のない場合、すなわち、画像データの表示位置が変化しない場合、表示モードとして３次元表示モードを選択する。一方、時間的に変化のある場合、すなわち、スクロールによって画像データの表示位置が変化している場合、表示モードとして２次元表示モードを選択する。
【００５３】
あるいは、所定の閾値を設け、位置情報の変化の割合が閾値以下の場合、すなわち、ゆっくりとしたスクロールの場合には、表示モードとして３次元表示モードを選択し、閾値以上の場合、すなわち、比較的速いスクロールの場合には、表示モードとして２次元表示モードを選択するようにしてもよい。
【００５４】
次に、表示部１０４の動作について詳細に説明する。
図１３は、表示部１０４の内部構成を示すブロック図である。表示部１０４は、スイッチ１３０１、接点１３０１Ａ、接点１３０１Ｂ、画像変換部１３０２、およびディスプレイ１３０３から構成される。
【００５５】
表示部１０４への入力は、制御部１０３より通知される表示モード（３次元表示モード／２次元表示モード）、復号部１０２の出力である３次元表示制御情報、および３次元画像データである。
【００５６】
表示モードが３次元表示モードの場合、スイッチ１３０１は、接点１３０１Ａに接続し、３次元画像データがディスプレイ１３０３に３次元画像として立体表示される。
表示モードが２次元表示モードの場合、スイッチ１３０１は、接点１３０１Ｂに接続し、画像変換部１３０２で３次元画像データを２次元画像データに変換したのち、ディスプレイ１３０３に２次元画像として表示される。
【００５７】
画像変換部１３０２では、３次元表示制御情報をもとに３次元画像データから２次元画像データへの変換が行われる。画像変換部１３０２の動作について図１４、および図１５を用いて説明する。図１４は、画像変換部１３０２に入力される３次元画像データであり、Ｌ１、Ｒ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３の順に、左目用画像データと右目用画像データが交互にストライプ上に並んで配置されている。画像変換部１３０２では、まず、３次元表示制御情報に含まれる画像配置情報＝（２，１）を用いて、３次元画像データから、左目用画像データ、もしくは右目用画像データを選択し、抽出する。次に、３次元表示制御情報に含まれるサンプリング情報＝（１／２，１）を用いて、解像度の変換を行う。
【００５８】
図１５は、画像変換部１３０２で変換後の２次元画像データを示した図である。図１５（ａ）は、左目用画像データを選択した場合の出力画像、図１５（ｂ）は、右目用画像データを選択した場合の出力画像を示している。図１５（ａ）、または図１５（ｂ）で示した２次元画像データは、ディスプレイ１３０３に２次元画像として表示される。
【００５９】
ここで、左目用画像データを選択するか、右目用画像データを選択するかについては、３次元表示制御情報の２次元選択画像情報を用いてもよいし、常に左目用画像データを抽出する等、固定的に選択するようにしてもよい。
【００６０】
また、表示部１０４への入力として、図１４で示したように、左からＬ１、Ｒ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３の順に各視点画像データが並んでいるものとしたが、スクロールの仕方によっては、図１６で示すように、左からＲ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３、Ｌ４の順に各視点画像データが並ぶ場合もある。例えば、左目用画像データを抽出する場合、前者（図１４）の場合、左から数えて奇数番目（１番目、３番目、５番目）のストライプであるのに対して、後者（図１６）の場合、左から数えて偶数番目（２番目、４番目、６番目）のストライプとなり、抽出する位置が異なる。これは、スクロールの単位を画素単位としていることに起因するものであるが、そうではなく、スクロールの単位を視点数の整数倍となるように制限を加えてもよい。その結果、表示部１０４への入力は、図１４で示した形式の画像データに制限され、画像変換部１３０２の処理が簡略化されるとともに、視点画像データ抽出における、左目用画像データと右目用画像データの反転を防ぐことができる。
本実施形態の場合、水平方向の視点数が２であるため、水平方向のスクロールの単位を２の整数倍とすることで、処理を簡略化することができる。
【００６１】
［第２の実施形態］
次に、本発明の第２の実施形態における画像データ表示装置について説明する。
図１７は、本発明の第２の実施形態における画像データ表示装置の概略構成を示す機能ブロック図である。
本実施形態における画像データ表示装置は、蓄積部１０１、復号部１７０１、制御部１０３、表示用画像生成部１７０２、および表示部１７０３より構成される。
【００６２】
蓄積部１０１は、第１の実施形態と同様であり、３次元画像符号化データが記録された記録媒体、記録媒体に記録されている３次元画像符号化データの読出しを制御するための制御回路等から構成される。
復号部１７０１では、表示画像の位置情報をもとに、蓄積部１０１から読み出した３次元画像符号化データを復号し、復号された３次元画像データを表示用画像生成部１７０２に出力する。
【００６３】
制御部１０３は、第１の実施形態と同様であり、表示画像の位置情報をもとに、復号部１７０１で復号された３次元画像データを立体的に表示するか（３次元表示モード）、平面的に表示するか（２次元表示モード）を選択し、表示用画像生成部１７０２および表示部１７０３に表示モードとして通知する。
表示用画像生成部１７０２では、制御部１０３から通知される表示モードにしたがって、復号部１７０１で復号された３次元画像データから、表示部１７０３で表示可能な画像データを生成し、出力する。
【００６４】
表示部１７０３は、外部からの入力により３次元表示モード／２次元表示モードが切り替え可能なディスプレイであり、制御部１０３から通知される表示モードにしたがって、復号された３次元画像データを立体的、もしくは平面的にディスプレイに表示する。なお、本実施形態における立体表示の方式は、「パララクスバリア方式」を用いることとする。
なお、蓄積部１０１、および制御部１０３については、第１の実施形態と同様であるため、詳細な説明は省略する。
【００６５】
まず、復号部１７０１の動作について詳細に説明する。図１８は、復号部１７０１の内部構成を示すブロック図である。復号部１７０１は、データ読出部５０１、３次元表示制御情報解析部５０２、および画像復号部５０３から構成される。
【００６６】
データ読出部５０１では、表示画像の位置情報をもとに、蓄積部１０１から３次元画像符号化データを読出し、３次元画像符号化データに含まれる各オブジェクトの分離を行う。
【００６７】
３次元表示制御情報解析部５０２では、データ読出部５０１より送られてきた３次元表示制御情報オブジェクト３０２を解析し、３次元表示制御情報として、画像配置情報、サンプリング情報、および２次元選択画像情報を出力する。ここでは、第１の実施形態と同様に、２つの視点画像データが水平（左右）に配置されていることを示す画像配置情報＝（２，１）、水平方向のみ解像度が１／２であることを示すサンプリング情報＝（１／２，１）、および１視点の画像データを選択する際に左側の視点画像データを選択することを示す２次元選択画像情報＝（１，１）を出力することとする。
【００６８】
画像復号部５０３では、データ読出部５０１より送られてきた画像情報オブジェクト３０３を解析し、オブジェクト内に格納されているＪＰＥＧ圧縮データの復号処理を行い、復号画像データを出力する。ここでは、図６（ａ）で示されるように、左目用画像データと右目用画像データが左右に配置された構成の画像データを出力する。
【００６９】
次に、表示用画像生成部１７０２の動作について詳細に説明する。
図１９は、表示用画像生成部１７０２の内部構成を示すブロック図である。表示用画像生成部１７０２は、メモリコントローラ１９０１、フレームメモリ５０６、スイッチ１９０２、並べ替え部１９０３、および画像変換部１９０４から構成される。
【００７０】
蓄積部１０１には、第１の実施形態と同様、図８で示されるように、３次元画像全体が１６０画素×１２０画素のブロックに分割され、ブロックごとに符号化され、蓄積されている。
【００７１】
フレームメモリ５０６は、復号部１７０１で出力された復号済みの３次元画像データを一時的に保持しておくためのメモリであり、第１の実施形態と同様、ブロック９個分を保持することができる。メモリコントローラ１９０１は、復号部１７０１で復号された３次元画像データをフレームメモリ５０６に書き込むとともに、表示に必要な１または複数のブロックの３次元画像データをフレームメモリ５０６から読み出して出力する。
【００７２】
図２０は、フレームメモリ５０６の初期状態を示した図である。図８におけるブロックＢ３３が表示画像領域２００１として選択され、その周辺８ブロックを合わせた合計９ブロック（ブロックＢ２２、ブロックＢ３２、ブロックＢ４２、ブロックＢ２３、ブロックＢ３３、ブロックＢ４３、ブロックＢ２４、ブロックＢ３４、およびブロックＢ４４）の３次元画像データがフレームメモリ５０６に格納されている。第１の実施形態では、ブロックごとにパララクスバリア方式のディスプレイで表示可能な形式（図６（ｂ）もしくは図７（ｂ））に並べ替えられた３次元画像データが格納されていたが、本実施形態では、ブロックごとに左目用画像データと右目用画像データが左右に配置された形式（図６（ａ）もしくは図７（ａ））で格納されている点が異なる。
【００７３】
スイッチ１９０２は、制御部１０３より入力される表示モードが３次元表示モードの場合、接点１９０２Ａに接続し、メモリコントローラ１９０１より入力される３次元画像データは、並べ替え部１９０３に入力される。一方、表示モードが２次元表示モードの場合、スイッチ１９０２は、接点１９０２Ｂに接続し、３次元画像データは、画像変換部１９０４に入力される。
【００７４】
並べ替え部１９０３では、３次元表示制御情報、位置情報、およびメモリコントローラ１９０１より入力される１または複数のブロックの３次元画像データをもとに、表示位置の３次元画像データを、３次元表示モードすなわちパララクスバリア方式の３次元ディスプレイで表示可能な形式（図６（ｂ）もしくは図７（ｂ））に並べ替えを行い、表示画像データとして出力する。
【００７５】
画像変換部１９０４では、３次元表示制御情報、位置情報、およびメモリコントローラ１９０１より入力される１または複数のブロックの３次元画像データをもとに、表示位置の３次元画像データを、２次元表示モードで表示可能な形式（例えば、図１５（ａ）、図１５（ｂ）など）の画像データに変換し、表示画像データとして出力する。変換方法は、図１５で示される変換方法に限定されるわけではなく、図１４におけるＬ１、Ｌ２、Ｌ３より、補間画像Ｌ１’（Ｌ１とＬ２より作成）、Ｌ２’（Ｌ２とＬ３より作成）、Ｌ３’（Ｌ３とＬ４（右隣のブロックの画像データ）より作成）を作成し、Ｌ１、Ｌ１’、Ｌ２、Ｌ２’、Ｌ３、Ｌ３’を表示画像データとして出力するようにしてもよい。
ここで、図２０、図２１を参照しながら、表示用画像生成部１７０２の動作を簡単に説明する。
【００７６】
フレームメモリ５０６が初期状態（図２０）の場合、表示画像領域２００１＝分割ブロックＢ３３なので、メモリコントローラ１９０１は、ブロックＢ３３のみをフレームメモリ５０６から読み出して出力する。
【００７７】
表示モードが３次元表示モードの場合、スイッチ１９０２が接点１９０２Ａに接続することによって、読み出されたブロックＢ３３の３次元画像データは、並べ替え部１９０３に入力される。並べ替え部１９０３では、３次元表示制御情報をもとに、図７（ａ）から図７（ｂ）の形式に並べ替えが行われ、表示部１７０３に出力される。この場合、並べ替え部１９０３の動作は、第１の実施形態における並べ替え部５０４の動作と同じである。
【００７８】
表示モードが２次元表示モードの場合、スイッチ１９０２が接点１９０２Ｂに接続することによって、読み出されたブロックＢ３３の３次元画像データは、画像変換部１９０４に入力される。画像変換部１９０４では、３次元表示制御情報をもとに、図１５（ａ）もしくは図１５（ｂ）の形式に変換され、表示部１７０３に出力される。この場合、画像変換部１９０４の動作は、第１の実施形態における画像変換部１３０２の動作と同じである。
【００７９】
図２１は、初期状態（図２０）から左下にスクロールした場合のフレームメモリ５０６の状態を示した図である。表示画像領域２１０１は、複数の分割ブロック（ブロックＢ２３、ブロックＢ３３、ブロックＢ２４、およびブロックＢ３４）にまたがっているため、メモリコントローラ１９０１は、これら４つのブロックをフレームメモリ５０６から読み出して出力する。
【００８０】
表示モードが３次元表示モードの場合、スイッチ１９０２が接点１９０２Ａに接続することによって、読み出された４つのブロックの３次元画像データは、並べ替え部１９０３に入力される。並べ替え部１９０３では、位置情報および３次元表示制御情報をもとに、パララクスバリア方式のディスプレイで表示可能な図７（ｂ）の形式に並べ替えを行うが、この際、一旦４つすべてのブロックを図７（ｂ）の形式に並べ替えを行い、その後、表示画像領域２１０１に対応する画像データを切り出し、表示部１７０３に出力してもよいし、必要な領域のみ並べ替えを行うようにしてもよい。例えば、本実施形態のように、左目用画像データと右目用画像データが左右に並んで配置されている場合には、表示画像領域２１０１の左右に位置する画像データの一部のみが必要であり、上下に位置する画像データは不要であるため、処理を簡略化することができる。図２２は、図２１におけるブロック２３、ブロック３３、ブロック２４およびブロック３４の部分を拡大した図である。表示画像領域２１０１に対応する画像データを表示するためには、左目用画像データとして斜線部で示された領域２２０１および領域２２０３、右目用画像データとして領域２２０２および領域２２０４が必要な領域となる。
【００８１】
表示モードが２次元表示モードの場合、スイッチ１９０２が接点１９０２Ｂに接続することによって、読み出された４つのブロックの３次元画像データは、画像変換部１９０４に入力される。画像変換部１９０４では、位置情報および３次元表示制御情報をもとに、図１５（ａ）もしくは図１５（ｂ）の形式に並べ替えを行うが、この際、一旦４つすべてのブロックの変換を行い、その後、表示画像領域２１０１に対応する画像データを切り出し、表示部１７０３に出力してもよいし、必要な領域のみ変換を行うようにしてもよい。例えば、本実施形態のように、左目用画像データと右目用画像データが左右に並んで配置されている場合には、表示画像領域２１０１の左右に位置する画像データの一部のみが必要であり、上下に位置する画像データは不要であるため、処理を簡略化することができる。この場合も同様に、図２２における領域２２０１〜２２０４が必要となる。あるいは、２次元表示モード時に表示する画像データを左目用画像データとするのか右目用画像データとするのかが分かっている場合には、さらに簡略化することができる。例えば、左目用画像データであれば領域２２０１および領域２２０３、右目用画像データであれば領域２２０２および領域２２０４のみが必要となる。
【００８２】
以上、第１および第２の実施形態について説明したが、本実施形態における画像データ表示装置において、２次元画像として表示する場合、表示部１０４または表示部１７０３を２次元表示モードに切り換えて表示する構成としたが、左目用画像データと右目用画像データを同一にし、３次元表示モードにて２次元表示を実現するようにしてもよい。
【００８３】
また、本実施形態における画像データ表示装置では、２つの視点画像データから構成される３次元画像データの例を示したが、３視点以上の画像データから構成される３次元画像データの場合であっても同様に適用可能である。
【００８４】
また、本実施形態における画像データ表示装置では、３次元静止画像データのスクロールの例を示したが、静止画像データに限らず、動画像データの場合であっても同様に適用可能である。動画像データの場合、スクロール表示時だけでなく、動きの度合いを検出し、動きが激しい場合には３次元表示をせずに、２次元画像データに変換し２次元表示するようにしてもよい。動き検出に関しては、例えば、ＭＰＥＧ−４、Ｈ．２６３規格で圧縮された符号化データであれば、例えば、符号化データ中に含まれる動きベクトルの値を利用することによって検出が可能である。また、画面内の一部の領域がスクロールするような映像（例えば、３Ｄゲームの画面など）の場合に、スクロール表示されている部分のみを２次元表示するようにしてもよい。
【００８５】
また、本実施形態における画像復号部５０３では、分割ブロックの復号処理を時分割で実行する構成としたが、複数（例えばフレームメモリ５０６に格納できるブロック数と同じ数）の画像復号部を備えることによって、複数のブロックの復号処理を並列に実行するようにしてもよい。
【００８６】
また、本実施形態では、図２で示されるように、画像全体が複数のブロックに分割され、各ブロックが左目用画像データおよび右目用画像データから構成される３次元画像データのスクロール表示の例を示したが、画像全体が複数のブロックに分割されず、図２５で示されるように１つの左目用画像データと１つの右目用画像データから構成される場合においても本発明は適用可能である。その場合、表示領域２５０３（画像全体に対する中央部分）に対応する部分（左目用画像データとして領域２５０４、右目用画像データとして領域２５０５）のみの復号を行い、３次元画像データあるいは２次元画像データとして表示してもよいし、一旦画像全体を復号した後に表示領域を切り出して３次元画像データあるいは２次元画像データとして表示するようにしてもよい。
【００８７】
さらに、本実施形態における画像データ表示装置では、記録媒体に記録されている３次元画像符号化データを読出し、読み出された３次元画像符号化データを復号した後に表示する構成としたが、本発明は、有線／無線を問わず、外部の手段により復号された３次元画像データを受信し、表示する形態においても同様に適用可能である。
【図１】
0004467574.tif 000002
【図２】
0004467574.tif 000003
【図３】
0004467574.tif 000004
【図４】
0004467574.tif 000005
【図５】
0004467574.tif 000006
【図６】
0004467574.tif 000007
【図７】
0004467574.tif 000008
【図８】
0004467574.tif 000009
【図９】
0004467574.tif 000010
【図１０】
0004467574.tif 000011
【図１１】
0004467574.tif 000012
【図１２】
0004467574.tif 000013
【図１３】
0004467574.tif 000014
【図１４】
0004467574.tif 000015
【図１５】
0004467574.tif 000016
【図１６】
0004467574.tif 000017
【図１７】
0004467574.tif 000018
【図１８】
0004467574.tif 000019
【図１９】
0004467574.tif 000020
【図２０】
0004467574.tif 000021
【図２１】
0004467574.tif 000022
【図２２】
0004467574.tif 000023
【図２３】
0004467574.tif 000024
【図２４】
0004467574.tif 000025
【図２５】
0004467574.tif 000026