(57)【要約】【課題】  三次元画像表示データから、可及的に不連続ではなくかつ歪みのない二次元画像を得ることを可能にする。【解決手段】  二次元画像を表示する際に、視域内の観察点を仮定し、三次元画像を表示した状態で観察点と射出瞳を結ぶ線と表示ユニットと交わる位置、またはその近傍に位置する画素に表示されている視差画像を、画素を含む該当する要素画像内に展開表示する。【選択図】  図１
2005252551.tif 000002
【特許請求の範囲】
【請求項１】
要素画像を表示する画素群を成す画素をマトリックス状に配置した表示ユニットと、前記画素群に対応付けられた射出瞳を有する光線制御子とを備え、前記要素画像を複数の方向から取得した視差画像の構成要素である画像データの集合体とすることで、複数の方向から取得した視差画像が視認できる領域を空間的に略分離して三次元画像を表示する三次元画像表示装置において、
三次元画像を表示するための画像データを用いて二次元画像に切り替えて表示する際に、視域内の観察点を仮定し、三次元画像を表示した状態で観察点と射出瞳を結ぶ線と前記表示ユニットと交わる位置、またはその近傍に位置する画素に表示されている視差画像の構成要素である画像データを、前記画素を含む該当する要素画像内に展開表示したことを特徴とする三次元画像表示装置。
【請求項２】
三次元画像を表示するための画像を表示した状態において、三次元画像表示用前記観察点と前記射出瞳を結ぶ線と前記表示ユニットが交わる位置、またはその近傍に位置する画素に表示されている前記視差画像の構成要素である画像データを、前記位置または前記位置の近傍に各視差画像の構成要素である画像データが空間的に占める比率を維持しながら、前記該当する要素画像内に展開することにより二次元画像表示に切り替えることを特徴とする請求項１記載の三次元画像表示装置。
【請求項３】
三次元画像を表示するための画像を表示した状態において、前記観察点と前記射出瞳を結ぶ線と前記表示ユニットが交わる位置を中心に、異なる視差画像の構成要素である画像データを配置する水平方向または垂直方向のピッチと同等の範囲に表示されている視差画像の構成要素である画像データを、前記範囲に各視差画像の構成要素である画像データが空間的に占める比率を維持しながら、前記該当する要素画像内に展開することにより二次元画像表示に切り替えることを特徴とする請求項１記載の三次元画像表示装置。
【請求項４】
三次元画像を表示するための画像を表示した状態において、前記観察点と前記射出瞳を結ぶ線と前記表示ユニットが交わる位置を中心に、異なる視差画像の構成要素である画像データを配置する水平方向または垂直方向のピッチの二倍の範囲に表示されている視差画像の構成要素である画像データを、前記範囲に各視差画像の構成要素である画像データが空間的に占める比率を維持しながら、前記該当する要素画像内に展開することにより二次元画像表示に切り替えることを特徴とする請求項１記載の三次元画像表示装置。
【請求項５】
各視差画像の構成要素である画像データが空間的に占める比率を求める際に、前記観察点と前記射出瞳を結ぶ線と前記表示ユニットが交わる位置を中心とする範囲を可変とし、外部からの入力に応じて範囲の大きさを変更できることを特徴とする請求項２乃至４のいずれかに記載の三次元画像表示装置。
【請求項６】
各視差画像の構成要素である画像データが空間的に占める比率を求める際に、前記観察点と前記射出瞳を結ぶ線と前記表示ユニットが交わる位置を中心とする範囲を可変とし、前記要素画像間の画像の変位量の大小に応じて前記範囲を自動的に変更する機構を設けたことを特徴とする請求項２乃至４のいずれかに記載の三次元画像表示装置。
【請求項７】
各視差画像の構成要素である画像データが空間的に占める比率を維持するように前記該当する要素画像内に展開する際に、時間的に混在させたことを特徴とする請求項２乃至４のいずれかに記載の三次元画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像表示装置に関する。
【背景技術】
【０００２】
三次元画像表示技術は様々な分類が可能であるが、一般には、両眼視差を用いる両眼視差方式と実際に空間像を形成する空間像再生方式とに分類される。
【０００３】
両眼視差方式には、二眼式と多眼式とがある。二眼式は、左眼と右眼とに対応した２箇所の撮影位置から透視投影的に撮影することにより得られる左眼用の画像と右眼用の画像（視差画像）とを左眼と右眼とでそれぞれ見えるようにした方式である。また、多眼式は、二眼式に比べ、映像撮影位置をさらに増やした方式である。
【０００４】
空間像再生方式としては、ホログラフィとインテグラル・イメージング方式（以下、ＩＩ方式という）とがある。なお、ＩＩ方式は、両眼視差方式に分類されている場合もあるが、光線の経路が撮影時と再生時とで全く逆の経路を辿ることから、光線数を十分多くし、かつ画素サイズを十分小さくできる場合は完全な三次元画像が再生される。このため、理想的なＩＩ方式は、空間像再生方式に分類されるべき技術である。
【０００５】
ところで、多眼式やＩＩ方式のようにメガネなしで三次元画像を表示する場合、例えば、以下の構成を採用することがある。すなわち、二次元画像表示ユニットの表示面に配列された複数の二次元画像表示用画素が要素画像（エレメンタルイメージ）を表示するための画素群に分割され、上記二次元画像表示ユニットの前面側に光線制御子を配置する。なお、この光線制御子には、要素画像を構成する画素群から観察位置に応じた画像データが表示された二次元画像表示用画素の画像情報のみが取り出せるように設計された射出瞳が設けられている。すなわち、この光線制御子によって要素画像を構成する画素群を部分的に遮り、観察者が射出瞳を介して視認する二次元画像表示用画素を観察点毎に異ならしめることで、メガネを使用することなく三次元画像を視認することができる。
【０００６】
以下、本明細書においては、カメラ位置や，三次元画像を表示した状態において、片目で観察する場合の視点位置を観察点と表現する。また、画素とは、視差画像の構成要素である画像データを表示する構成単位を指し、サブピクセルとして図示する。
【０００７】
さらに要素画像について説明する。要素画像とは、射出瞳をピンホールに置き換えた場合に撮影されるピンホールカメラ画像に相当している。ただし、現状ではピンホールカメラの銀塩フィルムに比べて電子デバイスの解像度は低く、ここで扱う要素画像とは、撮影角度を異ならせた複数の二次元画像データを表示する画素の集合体に過ぎない。したがって、前述の構成によって、個々の要素画像を構成する画素群に表示された要素画像、すなわち複数の異なる方向から撮影した二次元画像（視差画像）の構成要素である画像データを表示した画素の集まりのうち、観察点に一致，または略一致した画素に表示された画像データ、すなわち実際に三次元像が存在した場合に見えるべき画素データのみが射出瞳を経由して視認される。ここで略一致、としたのは，画素サイズが無限小ではないことから、単一の画素を射出瞳を経由して観察できる範囲がある程度の広がりを有していることに基づいている。このために、観察位置から射出瞳を経由して観察される画素の中央を観察したとき以外は、観察された画素に表示された画像データと、観察位置から本来見えるべき画像データに誤差が含まれる。
【０００８】
多眼式とＩＩ方式の相違は、電子デバイスの解像度の低さが原因で発生している。理想的には要素画像の撮影角度は連続しているべきだが、電子デバイスの解像度が不足していることから、離散的にならざるを得ない。この時に、射出瞳と画素を結ぶ線、すなわち射出瞳を経由して射出する光線同士が、視距離に集光点を設けるために、隣接する射出瞳同士で非並行の関係になっているのが多眼式、視距離に集光点を設けないのがＩＩ式である。視距離に集光点を設けないための典型的な例として、隣接する射出瞳同士で平行の関係を維持する場合がある。
【０００９】
ＩＩ方式に比較されることの多い多眼式では、その設計上、集光点より取得した透視投影画像を使用することができる。具体的には、射出瞳ピッチが要素画像ピッチよりも小さく、すなわち、射出瞳ピッチが画素ピッチの複数倍（ｎ倍）より狭く設計され、この結果、要素画像を構成する画素中心と射出瞳を結ぶ線が視距離における眼間距離で離間した複数箇所（ｎ箇所）で交わる。このような構成により、視差画像はこの交点にカメラを配置して取得した透視投影画像から作成することができ、集光点またはその近傍に観察者の右目、または左目が位置した状態で、観察者は立体画像を視認することができる。
【００１０】
視距離に集光点を有さないＩＩ方式において三次元画像表示時の視域を拡大するための視差画像作成方法がある。具体的には、ＩＩ方式においてある視距離を仮定した場合に、その視距離での観察可能範囲を最大にするには、ｎ個の画素群から形成される要素画像に、離散的に（ｎ＋１）個の視差画像の構成要素である画像データを表示する（ｎ＋１）個の画素群から形成される要素画像を挟み、視距離に集光点が発生することなく、射出瞳ピッチが要素画像ピッチよりも小さい関係を実現する。言い方をかえると、離散的に（ｎ＋１）個の画素から形成される要素画像を挟むことで、視距離において、全射出瞳に対応した要素画像を視認できる範囲を略一致させることができる。なお、全ての要素画像をｎ個の画素で構成した場合は、要素画像の中心と射出瞳を結ぶ線は平行関係となり、視距離が無限遠に設定されたことになる。これは無限遠の視距離を仮定した多眼式に等しい。
【００１１】
ここまで、要素画像の構成画素をｎ個、または（ｎ＋１）個と説明したが、基本的には、これらの要素画像を作成するためには、ｎ個、または（ｎ＋１）個の方向から取得した視差画像が使用されることになる。
【００１２】
視距離に集光点を設けないＩＩ方式のなかでも、隣接する射出瞳から射出する光線同士が平行の関係になるように設定した場合、この平行光の関係を利用して、平行投影画像を視差画像に用いて要素画像群を作成することが可能になる。この場合、（ｎ＋１）個の画素からなる要素画像が挟まれるということは、要素画像を構成する視差画像データの由来する視差画像番号（平行投影画像）が１つずつシフトすることを意味する。すなわち、射出瞳ピッチを正確に画素ピッチのｎ倍とすることで平行光線の関係を実現し、平行投影画像から要素画像を作成できるようにしたＩＩ方式の場合、理論的には視距離が無限縁でない限り、平行投影方式で取得した視差画像の取得方向は要素画像の基本的な構成画素数であるｎより多くなる。すなわち、ｎ個の透視投影画像から全ての要素画像を作成できる多眼式よりも画像取得位置（カメラ位置）が多くなる。
【００１３】
さらに、多眼式とＩＩ方式で異なる点として、観察者が射出瞳を経由して観察する画素位置がある。多眼式では集光点から観察した場合は、全射出瞳を経由して観察される画素位置は画素中央となる。また、画素幅がある幅を持ち、集光点同士の間隔が開くことから、集光点から左右にずれ、かつ隣接した集光点までは到達しない状態では、その位置に応じて画素の中央から右左にずれた位置を観察していることになる。さらに移動して隣接した集光点またはその近傍まで到達すれば、全射出瞳からは次の集光点から取得した画像が観察される（設計によっては、各集光点に集光する光線は全射出瞳の１／ｎの場合もあるので、この場合は、１／ｎの射出瞳について同様の挙動が確認できる）。
【００１４】
これに対して、視域内に集光点を設けないことを特徴とするＩＩ方式の場合、有限の視距離の観察点から観察すると、各射出瞳を経由して観察される画素位置は画面（ディスプレイの表示領域）内で周期的に変化している。すなわち、各射出瞳を経由して観察される画素の観察点は、画素中央から画素端、そして画素境界、次の画素端、次の画素中央と画面内で連続的に切り替わっている。これと同時に、画素に表示された画像データが由来する視差画像番号も画面内で連続的に切り替わる。
【００１５】
より詳細に述べると、射出瞳をレンズで構成し、レンズの焦点位置と表示ユニットと一致させた場合は、射出瞳を経由して観察される位置は無限小になるはずである。しかしながら、実際はレンズの収差が存在し、射出瞳をピンホールまたはスリットで構成した場合も、その幅は有限の値となる。すなわち、射出瞳の開口率は有限であり、また、この射出瞳を経由して観察される領域もある幅を持つ。よって、射出瞳を経由してカメラ番号が切り替わって見えるということは、表示ユニット４上の画素の非表示部を挟んで両側の画素、すなわち、隣接した視差画像に由来する二つの画像を同時に見ていることになり、その結果、平均化された画像として認識されることから、画像データが由来する視差画像番号が切り替わる部分が不連続に見えることはない。
【００１６】
次に、これらの方式の三次元画像表示装置において、三次元画像表示用データの再配置のみで二次元画像表示に切り替える必要があるシーンについて述べる。まず、展示場に設けた三次元画像表示装置において、視域内にいる複数人数で三次元画像、例えば車を観察している場合を想定する。三次元画像のある部分、例えばヘッドライトを指し示したい場合に、観察点、例えば車の後方を観察している人によってはその部分が見えないという問題が生じる可能性がある。この場合、三次元画像表示用データは展示用に作り込まれていることが予想される。このような場合、三次元画像表示用データを並び変えるだけで、二次元画像に切り替え、これを指し示すことができれば、複数人数に容易に同一部分を認識させることができる。
【００１７】
さらには、テレビなどのコンテンツが全て三次元画像データとして扱われるようになった場合、三次元画像表示ディスプレイがあっても観察者の気分によって二次元画像として見たい場合や、二次元画像の出力デバイスしかない家庭においては、家庭に配信された三次元画像データから二次元画像を出力する必要があると考えられる。
【００１８】
さらには、設計やＣＡＤの利用シーンにおいて、三次元画像のある方向から観察した状態を印刷したり、または二次元画像としてファイルで保存する、というケースが発生することが予想される。
【００１９】
以上説明したように、三次元画像のデータがあっても、これから二次元画像の表示に切り替えたい、というシーンがあることは容易に予想ができる。これを実現する方式として、多眼式においては既に公知の技術がある。すなわち、三次元画像表示時には透視投影的に取得したｎ個の視差画像を用いて構成していた全ての要素画像について、その中のひとつの視差画像に由来する画像データのみを対応する要素画像内に展開表示すれば、全ての観察位置から同一の画像データのみ視認される。すなわち、視差が失われ二次元画像表示に切り替えられたことになる（例えば、特許文献１参照）。
【００２０】
この単一の透視投影視差画像の展開表示で表示可能な二次元画像とは、視距離の集光点から取得した透視投影画像のいずれかとなる。よって、異なる透視投影カメラから取得した視差画像に切り替えて展開することで、観察点が異なる二次元画像表示に切り替えて表示できる。
【００２１】
一方、視距離に集光点を持たないＩＩ方式において，特に隣接する射出瞳から射出する光線同士の関係を平行に設定し、視差画像に平行投影画像を使用できるようにした場合、当然ながら単一の視差画像は平行投影により取得した画像であることから、有限の視距離から観察した画像とは異なる。さらに、平行投影法で取得した視差画像を用いる場合、ＩＩ法と多眼法の違いの説明でも触れたように、要素画像を構成する視差画像番号が要素画像によって異なっており、これを逆に見れば、全要素画像に画像データを提供している平行投影視差画像は限られる。視域を画面幅相当またはそれ以上に設定すれば、三次元画像表示用画像データに加工された状態で、画面領域相当の画像データが残る単一平行投影カメラに由来する視差画像は存在するが、多くの平行投影視差画像については、画面全域についての画像データは保存されない。すなわち、単一の平行投影視差画像を全要素画像内に展開表示することにより二次元画像を表示する方法では、観察点を変えた二次元画像は殆ど不可能になる。
【００２２】
さらに、前述したとおり、三次元画像を表示した状態において、射出瞳を経由して見える画素位置が周期的に変化することで、観察者が透視投影的に観察して、領域毎に複数の平行投影カメラに由来する視差画像が切り替わっていても、その境界が不連続になることなく、連続した三次元画像として見えている。よって、二次元画像表示に切り替えるために、画面の表示領域毎に視差画像番号を切り変えながら、各要素画像内に展開表示しただけでは、視差番号が切り替わった要素画像境界で二次元画像が不連続になる。
【特許文献１】特開平０９−１０２９６９号公報
【発明の開示】
【発明が解決しようとする課題】
【００２３】
ＩＩ方式においては、三次元画像表示用データの一部を展開表示することにより二次元画像に切り替えて表示する際に、単一の平行投影カメラ画像を用いると有限の距離から観察した二次元画像と比較して歪みが含まれることに加え、場合によっては全画面表示できない問題がある。さらには、仮に二次元画像を全画面表示できたとしても、見る角度を変えた二次元画像を表示しようにも、三次元画像表示用画像データに全画面表示可能な視差情報が残っている平行投影画像は制限されており、その二次元画像に切替可能な観察角度は制限される。また、単純に複数の並行投影視差画像の足し合わせで透視投影二次元画像を表示しようとした場合、その視差画像番号の切り替え箇所で画像が不連続になる。
【００２４】
また、多眼式においても、厳密には視距離をはずれた位置から観察される二次元画像を表示しようとした場合には、単一のカメラが取得した透視投影画像では実現できず、異なるカメラの画像を継ぎ足す必要がある。この場合も視差番号の切り替え箇所で画像が不連続になるという問題があった。
【００２５】
本発明は、上記事情を考慮してなされたものであって、三次元画像表示データから、可及的に不連続ではなくかつ歪みのない二次元画像を得ることのできる三次元画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
本発明の一態様による三次元画像表示装置は、要素画像を表示する画素群を成す画素をマトリックス状に配置した表示ユニットと、前記画素群に対応付けられた射出瞳を有する光線制御子とを備え、前記要素画像を複数の方向から取得した視差画像の構成要素である画像データの集合体とすることで、複数の方向から取得した視差画像が視認できる領域を空間的に略分離して三次元画像を表示する三次元画像表示装置において、三次元画像を表示するための画像データを用いて二次元画像に切り替えて表示する際に、視域内の観察点を仮定し、三次元画像を表示した状態で観察点と射出瞳を結ぶ線と前記表示ユニットと交わる位置、またはその近傍に位置する画素に表示されている視差画像の構成要素である画像データを、前記画素を含む該当する要素画像内に展開表示したことを特徴とする。
【００２７】
なお、三次元画像を表示するための画像を表示した状態において、三次元画像表示用前記観察点と前記射出瞳を結ぶ線と前記表示ユニットが交わる位置、またはその近傍に位置する画素に表示されている前記視差画像の構成要素である画像データを、前記位置または前記位置の近傍に各視差画像の構成要素である画像データが空間的に占める比率を維持しながら、前記該当する要素画像内に展開することにより二次元画像表示に切り替えるように構成してもよい。
【００２８】
なお、三次元画像を表示するための画像を表示した状態において、前記観察点と前記射出瞳を結ぶ線と前記表示ユニットが交わる位置を中心に、異なる視差画像の構成要素である画像データを配置する水平方向または垂直方向のピッチと同等の範囲に表示されている視差画像の構成要素である画像データを、前記範囲に各視差画像の構成要素である画像データが空間的に占める比率を維持しながら、前記該当する要素画像内に展開することにより二次元画像表示に切り替えるように構成してもよい。
【００２９】
なお、三次元画像を表示するための画像を表示した状態において、前記観察点と前記射出瞳を結ぶ線と前記表示ユニットが交わる位置を中心に、異なる視差画像の構成要素である画像データを配置する水平方向または垂直方向のピッチの二倍の範囲に表示されている視差画像の構成要素である画像データを、前記範囲に各視差画像の構成要素である画像データが空間的に占める比率を維持しながら、前記該当する要素画像内に展開することにより二次元画像表示に切り替えるように構成してもよい。
【００３０】
なお、各視差画像の構成要素である画像データが空間的に占める比率を求める際に、前記観察点と前記射出瞳を結ぶ線と前記表示ユニットが交わる位置を中心とする範囲を可変とし、外部からの入力に応じて範囲の大きさを変更できるように構成してもよい。
【００３１】
なお、各視差画像の構成要素である画像データが空間的に占める比率を求める際に、前記観察点と前記射出瞳を結ぶ線と前記表示ユニットが交わる位置を中心とする範囲を可変とし、前記要素画像間の画像の変位量の大小に応じて前記範囲を自動的に変更する機構を設けてもよい。
【００３２】
なお、各視差画像の構成要素である画像データが空間的に占める比率を維持するように前記該当する要素画像内に展開する際に、時間的に混在さてもよい。
【発明の効果】
【００３３】
本発明によれば、三次元画像表示データから、可及的に不連続ではなくかつ歪みのない二次元画像を得ることができる。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施形態を、図面を参照して説明する。
【００３５】
（第１実施形態）
本発明の第１実施形態による三次元画像表示装置は、ＩＩ方式または多眼式において、三次元画像表示データを用いて任意視点の二次元画像に切り替え表示が可能な三次元画像表示装置である。この実施形態による三次元画像表示装置の構成を図２に示す。図２は、本実施形態による三次元画像表示装置を垂直方向から見た状態、すなわち水平方向の断面図である。本実施形態による三次元画像表示装置は、バックライトとして光線を発する光源２と、画像表示ユニット４と、光線制御子６とを備えている。画像表示ユニット４は、例えば液晶表示装置からなり、複数の画素がマトリクス状に配置された表示面と、この表示面を構成する複数の画素に画像信号を送り駆動する駆動回路（図示せず）とを備えている。なお、画像表示ユニット２が液晶表示装置のように透過型である場合はバックライトとなる光源２は必要であるが、自己発光型の場合は光源２は不要となる。光線制御子６は画像表示ユニット４からの光線を制限し、光線の方向を制御する開口制御部７を備えている。図２においては、光線制御子６は射出瞳７がシリンドカルレンズからなるレンチキュラーシートであるが、例えば射出瞳がスリットからなるスリットアレイ板であってもよい。
【００３６】
まず、二次元画像表示に切り替えるために、各要素画像内に展開する視差画像について説明する。具体的には、三次元画像表示時の視域内に任意の二次元画像再構築用の観察点を設け、この観察点と各射出瞳を結んだ線と、画像表示ユニット上の二次元画像表示用画素面との交点上に表示されている視差画像の構成要素である画像データを、その視差画像の構成要素である画像データが所属する要素画像内に展開し表示する。これによって、三次元画像表示装置の表示を，観察点から片目で見た二次元画像に切り替えることができる。この二次元画像はどの場所から観察しても変わらない。特に、視域内でも視距離上の観察点から視認される二次元画像に切り替え表示をする場合は、各要素画像を構成する複数の視差画像に由来する画像データのうち、要素画像内における相対位置が略一致した画像データを選択し、各要素画像内に展開するという操作になる。これについて以下に説明する。
【００３７】
説明を簡単にするために、要素画像を構成するために，視差画像から抜き出された一部の画像データ、すなわち、視差画像の構成要素である画像データを、単純に視差画像と呼ぶ。さらに、三次元画像表示装置が水平方向にのみ視差情報を有する一次元ＩＩ方式で、かつ射出瞳が垂直に連続した形状（例えば、シリンドカルレンズ）を有し、これに対応して視差画像も垂直に連続した画素群に表示された短冊状の形状である場合を図３（ａ）乃至図５を参照して説明する。さらに、視差画像として平行投影画像が使用できるよう、射出瞳のピッチが画素の整数倍に設定されているとする。
【００３８】
図３（ａ）は、それぞれが３個の視差画像８から構成されている４個の要素画像１０からなる画像表示ユニット４の表示面を示す図、図３（ｂ）は画像取得位置１４と射出瞳７との関係を示す三次元画像表示装置の水平断面図である。なお、図３（ａ）において、各視差画像８に振られている番号は視差画像番号を示す。例えば、図３（ａ）に示す表示ユニット４の表示画面の最も左側の要素画像１０は左から視差画像番号が１、２、３の視差画像８を有し、左から２番目の要素画像１０は左から視差画像番号が２、３、４の視差画像８を有し、左から３番目の要素画像１０は左から視差画像番号が３、４、５の視差画像８を有し、左から４番目の要素画像１０は左から視差画像番号が４、５、６の視差画像８を有している。
【００３９】
図３（ｂ）において、符号１２は視差画像中心と射出瞳７を結ぶ光線であり、対応する視差画像を取得した方向でもある。隣接する射出瞳を経由する光線同士で平行の関係が発生しており、平行投影画像から要素画像を作成可能であることを意味している。画像取得位置１４に振られている番号は平行投影視差画像番号、すなわちこの平行投影画像を取得したカメラ番号に対応する。視差画像番号４に対応する画像取得位置を図４（ａ）に、視差画像番号３に対応する画像取得位置を図４（ｂ）に、視差画像番号５に対応する画像取得位置を図４（ｃ）に、視差画像番号２に対応する画像取得位置を図４（ｄ）に、視差画像番号６に対応する画像取得位置を図４（ｅ）に、視差画像番号１に対応する画像取得位置を図４（ｆ）に示す。例えば、図４（ａ）からわかるように、表示ユニット４の右から１番目、２番目、３番目の要素画像１０は平行投影視差画像番号４の視差画像を用いて構成される。
【００４０】
このような構成において、三次元画像表示時に、観察点に依存して射出瞳を経由して観察される視差画像を図５（ａ）乃至図６（ｂ）に示す。図５（ａ）、（ｂ）は、矢印で示す観察点Ａが視距離面の中央に位置している場合を示し、図５（ａ）は、射出瞳７を経由して観察される主な視差画像番号を示す図、図５（ｂ）は観察点Ａより射出瞳７を経由して観察される視差画像の正しい画像取得方向と観察位置の関係を示す三次元画像表示装置の水平断面図である。図５（ａ）、（ｂ）に示すように、観察点Ａが視距離面の中央に位置している場合は、各要素画像１０の中心に位置する視差画像が主に選択されて視認される。すなわち、図３（ａ）に示す表示ユニット４の表示画面の最も左側の要素画像１０からは中央に位置する視差画像番号２の視差画像８が選択され、左から２番目の要素画像１０からは中央に位置する視差画像番号が３の視差画像８が選択され、左から３番目の要素画像１０からは中央に位置する視差画像番号が４の視差画像８が選択され、左から４番目の要素画像１０からは中央に位置する視差画像番号が５の視差画像８が選択される（図５（ａ）参照）。ここで主に、と表現したのは、視距離で光線が集光していないＩＩ方式では、図５（ｂ）に示したような画像取得方向と観察方向にずれが生じているために、射出瞳の開口幅によっては、単一の射出瞳からそのずれに応じて隣接した視差画像が混入した画像を観察するためである。
【００４１】
図６（ａ）、（ｂ）は、矢印で示す観察点Ａが視距離面の中央から左側にずれた場合を示し、図６（ａ）は、射出瞳７を経由して観察される主な視差画像番号を示す図、図６（ｂ）は観察点Ａより射出瞳７を経由して観察される主な視差画像の正しい画像取得方向と観察点の関係を示す水平断面図である。図６（ａ）、（ｂ）に示すように、観察点Ａが視距離面の中央から左側にずれている場合は、このずれに応じて各要素画像１０から右側の視差画像が主に選択されて視認される。すなわち、図３（ａ）に示す表示ユニット４の表示画面の最も左側の要素画像１０からは右側に位置する視差画像番号３の視差画像８が選択され、左から２番目の要素画像１０からは右側に位置する視差画像番号が４の視差画像８が選択され、左から３番目の要素画像１０からは右側に位置する視差画像番号が５の視差画像８が選択され、左から４番目の要素画像１０からは右側に位置する視差画像番号が６の視差画像８が選択される（図６（ａ）参照）。ここでも、図６（ｂ）に示したような画像取得方向と観察位置とのずれと，射出瞳の開口幅によっては、このずれが原因で単一の射出瞳から複数の視差画像が混入した画像が観察されることを考慮して「主に」という表現を用いた。
【００４２】
図５（ａ）乃至図６（ｂ）に関して説明したことからわかるように、三次元画像を表示した状態において，視距離面における観察点Ａから視認される視差画像の要素画像内の相対位置は、視距離面における観察点Ａの相対位置と略一致する。つまり、仮に視距離面における視域の中心で観察した場合の二次元画像に切り替えて表示したい場合、概略としては各要素画像の中心に位置する視差画像を要素画像に展開すれば良い。一方、観察点Ａが視距離面の中心から左にずれた場所から観察される二次元画像に切替表示したい場合は、その観察点Ａの相対位置に応じて、要素画像内に展開されるべき視差画像も変化する。
【００４３】
ここで、概略としたのは、前述したように、画像取得方向と観察位置とのずれを反映し、実際は単一の射出瞳から複数の視差画像番号が観察されるためで、厳密には、これを反映して展開しないと、観察位置から観察される二次元画像に一致しない。図３、５、６では、要素画像群を４つに単純化しているが、実際の三次元画像表示装置の系では、観察点から単一の視差画像が主に観察される射出瞳は複数発生し、かつ、主に観察される視差画像の占める割合が序々に変化し、連続的に隣接する視差画像が混入することで、滑らかに取得位置が異なる視差画像と切り替わっており、二次元画像表示時もこの状態を反映する必要がある。
【００４４】
観察視距離と視域を決めた際に、表示画面の一方の端部からの水平位置がＸｐである二次元画像表示用画素が、この画素に対応する射出瞳の位置をＸｓとした場合に、二次元画像表示用画素が表示するべき平行投影視差番号Ｎ（Ｘｐ、Ｘｓ）を以下の（１）式で定義している。
Ｎ（Ｘｐ、Ｘｓ）＝Ｎａｌｌ／２−（Ｘｓ−Ｘｐ）／ｈｐ−０．５  …（１）
【００４５】
ここで、平行光線の関係を成り立たせるために、射出瞳ピッチは画素ピッチの整数倍に設定されており、平行投影視差画像番号は、一端から逆の一端まで連続的にふられている。さらに、ｈｐは二次元画像表示画素のピッチ、Ｎａｌｌは取得した全視差番号であり、（１）式は視域の中心と画面中心を一致させた場合に成り立つ。
【００４６】
同様に、本実施形態における、二次元画像に切り替え表示時に展開表示するべき視差画像番号についても関係式を与えることが可能である。（１）式と同一の条件において、観察点を視距離における視域の中心に仮定した場合に、本実施形態における二次元画像に切り替え表示時に要素画像内に主に展開される視差画像番号Ｎ（Ｘｐ、Ｘｓ）は、次の（２）式で与えられる。  
Ｎ（Ｘｐ、Ｘｓ）＝Ｎａｌｌ／２−｛（Ｈ／２−Ｘｓ）×ｇ／Ｌ｝／ｈｐ−０．５    …（２）
ここで、ｇは光線制御子と画像表示ユニット間の距離、Ｌは観察点と光線制御子との距離（視距離）、Ｈは表示ユニットの画面幅を示す。
【００４７】
上記（２）式を、図１を参照して説明する。図１は、三次元画像表示装置の水平断面図であり、本実施形態における二次元画像に切り替え表示時に展開される視差画像番号と、表示される二次元画像の指針となる観察点の関係を示す図である。観察点Ａは視域の中心に位置し、射出瞳Ｂは表示ユニット４の中心であり、観察点Ａと射出瞳Ｂとを結ぶ直線は表示ユニット４に直交する。射出瞳Ｃは光線制御子６の左端から水平位置がＸｓである射出瞳である。点Ｂ’は射出瞳Ｃから表示ユニット４への垂線の足、点Ｃ’は観察点Ａと射出瞳Ｃとを結ぶ直線と表示ユニット４との交点である。なお、角度θは（ｎ＋１）個からなる要素画像と対応した射出瞳が画面中央にあったと仮定した場合に、この要素画像が観察できる視域角である。
【００４８】
観察点Ａと射出瞳Ｂ、Ｃとをそれぞれ結ぶ線と表示ユニット４との交点Ｂ’、Ｃ’間にある視差画像情報を要素画像内に展開する。図１における三角形ＡＢＣと三角形ＣＢ’Ｃ’は相似の関係にある。視域の中心と画面の中心を一致させた場合、平行投影視差画像の取得方向も、画面への垂線を対称線として設定される。三次元画像表示時に点Ｂ’の位置における画素に表示される視差画像番号は、この複数の画像取得方向のうち中央の位置、すなわち、全視差画像番号（Ｎａｌｌ）の中心値（Ｎａｌｌ／２）に等しい。そして、点Ｂ’の位置における画素から、要素画像の中心を成す点Ｃ’の位置における画素までの距離Ｂ’Ｃ’を二次元画像表示画素ピッチｈｐで割ることにより、三次元画像表示用データの状態でこの要素画像の中心に表示されていた視差画像番号が求まる。この画素に表示されていた視差画像が、三次元画像表示状態において観察点Ａから観察されており、この視差画像を対応する要素画像内に展開することで、視域内のすべての領域で観察点Ａから片目で視認した場合に認識される二次元画像が視認されるようになる。
【００４９】
式（２）は式（１）とは異なり、式（２）において表示される視差画像番号Ｎ（Ｘｐ、Ｘｓ）は、要素画像の表示領域である画素群が対応づけられている射出瞳の位置Ｘｓだけで決まり、画素の位置Ｘｐにはよらないことがわかる。
【００５０】
この（２）式で示された単一の視差画像番号（＝カメラ番号）は、図７に示したように、射出瞳を経由して観察される領域が無限小の場合に該当する。これは、光線制御子６がレンズから構成され、レンズの焦点面に表示ユニットの表示面が配置されたケースに該当する。なお、図７において、符号１６は観察点Ａと射出瞳７とを結ぶ線である。繰り返しになるが、ＩＩ方式では視域内のどの場所からでも，射出瞳を経由して見える画素位置が画面内で周期的に変化することから、仮にこのようなレンズが設計できた場合，三次元画像を表示した状態では，射出瞳を経由して画素部または画素境界の非発光部を視認した場合の輝度変調がモアレ縞として画面内に強いコントラストで観察されるとともに、各射出瞳から観察される視差画像番号が単一になることから、視差画像番号の切り替わり部分で画像が不連続になるはずである。
【００５１】
同様に、この（２）式で得られた単一の視差画像番号をこのまま要素画像内に展開して二次元画像表示を行うと、三次元画像表示時と同様に、視差画像番号（＝カメラ番号）の不連続な箇所で画像が不連続になる。特に、三次元画像での奥行き／飛び出し量の大きなコンテンツについて、視差番号の切り替わり部分で画像が不連続になるが、この現象は次のように理解できる。すなわち、奥行き／飛び出し量の小さなコンテンツでは視差番号が異なっても、すなわち画像取得位置が異なっても、画像情報が大きく変化しない、すなわち視差が小さい。しかし、奥行き／飛び出し量の大きなコンテンツの場合、視差番号が切り替わった場合に大きく画像が変化する、すなわち視差が大きい。このために、視差番号が異なる隣接した射出瞳の間、すなわち、隣接した平行投影カメラ画像の継ぎ目で画像が不連続になる。このように視差番号を二値的に切り替えた場合の視差番号の分布の概念を図８（ａ）、（ｂ）に示す。図８（ａ）は表示ユニット４の画面内で視差画像番号１〜４が展開された領域を示す図であり、図８（ｂ）は画面水平方向に対して視差画像番号、すなわち視差画像番号の占有率を示すグラフである。
【００５２】
実際に、光線制御子６としてスリットを用いた場合には開口部が有限の幅を持たざるを得ない。また、光線制御子６として例えばシリンドカルレンズを用いた場合にも現実には収差等の問題が生じ、実際は射出瞳を経由して有限の範囲を観察することになる。さらに、表示画面前に一様に設けられたシリンドリカルレンズの球面収差による焦点距離の垂直方向の変動を最小に抑える目的で、各シリンドリカルレンズの焦点距離から少しだけ内側、または外側に表示ユニットの表示面がくるような設計をわざわざ採用する（デフォーカスぎみに設計する）場合がある。これにより、観察者と各々のシリンドリカルレンズを結んだ見込み角の変動による焦点の変動（球面収差）の平均値を表示ユニット４の画素部に略一致させることができる。また、若干デフォーカスぎみに設計することで、視差画像の切り替わりを滑らかにするとともに、非表示部が原因の輝度低下のコントラストが抑制されるという効果もある。
【００５３】
以上のように，実際のＩＩ式三次元画像表示装置でレンチキュラーシートを光線制御子として用いた系では、射出瞳の開口率が画素幅相当かそれ以上になるように設計される傾向にある。よって、三次元画像表示用データを用いて二次元画像表示に切り替える時に、各要素画像内に展開する視差画像も、このようなデフォーカスを考慮して選択することで、三次元画像表示時に片目で観察した二次元画像により近い二次元画像に切り替えて表示することができる。
【００５４】
よって、三次元画像表示時に観察点から観察した場合と同等に、射出瞳を経由して観察される視差画像の割合を連続的に切り替えるためには，図９に示したように、射出瞳を経由して観察される領域として有限の範囲を仮定し、複数の視差画像番号がこの範囲を占有する割合と等しい割合で、複数の視差画像を要素画像内に展開することが有効である。射出瞳を経由して観察される領域を画素幅相当とした図９に該当する視差画像番号を図１０（ａ）、（ｂ）に示した。図１０（ａ）、（ｂ）は、三次元画像を表示した状態で、有限視距離上の観察点から片目で観察した場合に、画面上の水平方向に並んだ各射出瞳を経由して観察される視差画像番号の分布を、水平位置に応じて示したグラフである。図１０（ａ）は、射出瞳から混在して視認される隣接した視差画像番号を重ねて表示した場合の図であり、図１０（ｂ）は、混在して視認される隣接した視差画像番号を重ならないように表示した場合の図である。図１０（ａ）、（ｂ）において、例えば斜線で示す視差画像番号２は、図８（ｂ）で視差画像番号２が視認されるとした範囲に位置する射出瞳の中で、中央に位置する射出瞳のみで占有率１００％を示し、その前後では直線的に占有率が減少する。そして、隣接する視差画像番号が展開された領域、例えば視差画像番号１が展開された領域に近くづくにつれて、視差画像番号１の視認される割合が直線的に上昇する。
【００５５】
よって、二次元画像表示に切り替える場合ための要素画像内に展開する視差画像番号を決める際に、図９に示すように、展開するべき視差画像の割合を求める領域を画素幅相当とし、観察点と射出瞳中心を結ぶ線が画素中心と一致した要素画像群については単一の視差画像番号すなわち、カメラ画像番号が展開されるが、これからずれた射出瞳に相当する要素画像内には、複数の視差画像番号が混在して展開されることになる。このような指針で画像を展開することにより、二次元画像に切り替え表示した状態で、画面内における視差画像番号の境界部分で両視差画像の占有率をなだらかに変化させることができる。
【００５６】
ところが、飛び出し、奥行き量が大きなコンテンツの場合、単一の視差画像が視認される射出瞳近傍では単一の視差画像が視認されるのに対し、これから乖離すると二つの異なる視差画像、すなわち二つの視差画像が混在して見えることにより、像がクリアになったりぼけたり、と、水平方向にぼけ量が変動して見えるという問題が生じた。  
よって、このような場合は、図１１に示したように、三次元画像表示における射出瞳の開口率を増加させたり、二次元画像切り替え表示時に、要素画像内に展開する視差画像番号をと割合求めるための領域を広げたりすることが有効である。ここでは、画素幅の二倍の領域で占有率を求めた。これは三次元画像表示装置における光学制御子のレンズのデフォーカスの程度が大きいということは、画像としてはぼける方になる。図１１に示す場合に該当する、三次元画像表示時に有限の視距離上の観察点から片目で観察した場合に表示面上に見える視差画像番号の分布の図１２に示した。図１２は画面水平方向の各射出瞳を経由して視認される視差画像番号の割合を示したグラフである。図１２に示したように、単一の視差画像情報が占有する割合は最大でも５０％に留まる。しかしながら、先にも述べたように、画面近傍のコンテンツについてはもともと視差が小さいことから、デフォーカスの影響を受けにくく、一方、画面より大きく手前または奥に位置するコンテンツについてはぼけが増大するが，図９、図１０（ａ）、（ｂ）で視認された水平方向のボケ量の変位はほぼ完全に抑制できる。よって、図１２に示した占有率を反映した視差画像を要素画像内に展開することで、二次元画像切り替え表示においても、水平方向のボケ量の変位はほぼ完全に抑制できるとともに、画面より大きく手前または奥に位置するコンテンツについてはデフォーカスされた表示を行うことができる。
【００５７】
以上、本発明における、三次元画像を表示した状態で、観察点と射出瞳を結んだ線と表示ユニットの表示面を結ぶ線とその周辺の領域に表示された視差画像を求め、その占有率を反映して要素画像内に展開表示することで、二次元画像表示に切り替える方法について説明した。具体的な混在表示の割合については、（２）式を発展させた、
Ｎ（Ｘｐ、Ｘｓ）＝Ｎａｌｌ／２−｛（Ｈ／２−Ｘｓ−ｗ）×ｇ／Ｌ｝／ｈｐ−０．５…（３）
を用いて求めることができる．例えば、図９に示した画素幅分の領域における占有率を求める場合は、ｗが画素幅相当になるように、
−ｈｐ・Ｌ／２≦ｗ＜ｈｐ・Ｌ／２…（４）
の範囲に表示されている単一、または複数のＮ（Ｘｐ、Ｘｓ）（視差画像番号）の割合を求めれば良く、図１１に示した二画素幅分の領域における占有率を求める場合は、ｗが２画素幅相当になるように、
−ｈｐ・Ｌ≦ｗ＜ｈｐ・Ｌ…（５）
の範囲に表示された、単一または複数のＮ（Ｘｐ、Ｘｓ）の占有率を求めれば良い。これに沿って、射出瞳（座標：Ｘｓ）に対応した要素画像内に求めた複数の視差画像の割合を反映して展開することで、三次元画像表示時に単一の観察点から観察される二次元画像に切り替えて表示することができる。すなわち、（２）式で求められる単一の視差画像番号（＝カメラ番号）から一つ、または二つ番号が大きい、または小さい視差画像情報、を対応する要素画像に内に混在させて展開表示する．すなわち、（１）式を用いる場合と同様に、三次元画像データに用いられている画像データから選択、展開するだけで、視差画像番号の切り替え部分が滑らかに切り替わる二次元画像表示を実現できる。
【００５８】
ところで、（３）、（４）、（５）式に従って該当する範囲に表示された視差画像番号を求め、その占有率に従って単一の要素画像内に複数の視差画像を混在させつつ展開することで図１０（ａ）、（ｂ）または図１２の分布の二次元画像表示を実現できることが分かったが、これと同等の二次元画像表示を（２）式の結果と数学的取り扱いのみで実現する二通りの方法を以下に述べる。
【００５９】
繰り返しになるが、三次元画像を表示した状態では、各射出瞳に応じた要素画像が画素群に表示されており、この各要素画像は連続的に視差画像番号が異なる複数の視差画像から構成されている。水平方向にのみ視差情報を与える一次元ＩＩ方式三次元画像表示装置を例に具体的に説明すると、各視差画像は、水平方向は1サブピクセル、垂直方向は縦方向の全サブピクセル、からなる細長い領域に表示されており、ｎ個または（ｎ＋１）個の視差画像を集合させることで、水平方向がｎまたは（ｎ＋１）サブピクセル、垂直方向は縦方向の全サブピクセルからなる要素画像が構成される。平行光の関係を実現している場合、この要素画像の水平幅（サブピクセル水平幅×ｎ）は、射出瞳ピッチ（レンチキュラーシートの場合はレンズ水平幅，サブピクセル水平幅×ｎ）に一致している。
【００６０】
二次元画像に切り替えて表示する場合に、画面内で図１０（ａ）、（ｂ）または図１２の分布を実現するひとつの方法は、これまでにも述べたように要素画像表示領域内に展開する視差画像を構成する画素単位で混在分布させる方法があるが、より簡便な方法として、画面内で要素画像表示領域単位で混在させる方法がある。
【００６１】
（２）式と数学的取り扱いのみで図１０（ａ）、（ｂ）または図１２の分布を実現する方法として、まず、画面内で要素画像表示領域単位で混在させる方法について説明する。図５〜図８に示した図では、（２）式に従って求めた三次元画像表示時に射出瞳を経由して視認される視差画像番号、または、二次元画像に切り替え表示する際に展開するべき視差画像番号が示されたシリンドリカルレンズまたは要素画像は１つに簡略化されているが、実際の三次元画像表示装置においては、（２）式に従って同一の視差番号を展開する要素画像は複数発生する。図１３（ａ）、（ｂ）では一例として（２）式により同一の視差画像番号を展開することになった要素画像の数が１６の場合を図示した。図１３（ａ）は第１の視差画像番号が展開された１６個の要素画像２２が分布する２１と、この領域２１に隣接する、第２の視差画像番号が展開された１６個の要素画像２４が分布する領域２３と、この領域２３に隣接する、第３の視差画像番号が展開された１６個の要素画像２６が分布する領域２５を示す模式図である。
【００６２】
図１３（ｂ）はこれらの要素画像を図１０相当の分布を実現するように、要素画像表示領域単位で混入させた場合の模式図である。この分布の実現方法について述べる．同一視差番号を採択した要素画像の数をＸとした場合、ｎステップでｎ個の要素画像を置き換えることにより、隣接した視差画像となだらかに切り替えることができる。つまり、ｎ２＝Ｘとなるように、√Ｘ個からなる要素画像群ごとに一つ異なる番号の視差画像を展開した要素画像を混入する割合を一つずつ増やすことで、連続的な視差画像の切り替えが実現できる。図１３（ｂ）では、Ｘは１６なので、４＝（√Ｘ）グループについて４（＝√Ｘ）回かけて一つずつ隣接した番号の視差画像を展開する要素画像を増加させることで、１６個の要素画像を経て連続的に隣接視差画像に置き換えることができた。例えば、領域２１の左端のサブ領域２１ａは視差画像２２が展開されたが要素画像２個と、図１３に示す領域２１の左側に位置する図示しない領域に表示されていた視差画像番号が展開された要素画像が２個からなり、領域２１の左から２番目のサブ領域２１ｂは視差画像２２が展開された要素画像３個と、図１３に示す領域２１の左側に位置する図示しない領域の視差画像番号が展開された要素画像１個からなっている。また、領域２１の左から３番目のサブ領域２１ｃは視差画像２２が展開された要素画像が４個からなり、領域２１の左から４番目のサブ領域２１ｄは視差画像２２が展開された要素画像が３個と、図１３（ａ）に示す領域２１の右側に位置する領域２３に展開されていた視差画像番号２４が展開された要素画像１個からなっている。
【００６３】
この結果，図１０（ａ）、（ｂ）に示したのと同等の、滑らかな視差画像番号の切り替えが実現できた。
【００６４】
次に、同様の考え方で，図１２に示したような連続的な切り替えを行う例について説明する。同一視差番号を採択した要素画像の数を、図１４（ａ）に示すように、Ｘ（＝３２）とした場合、図１４（ｂ）に示すように、√（Ｘ／２）の要素画像ごとに隣接した視差画像を選択した要素画像を混入する割合を一つずつ増やすことで、連続的な視差画像の切り替えが実現できる。図１４（ｂ）では、√（Ｘ／２）（＝４）グループについて√（Ｘ／２）（＝４）回かけて一つずつ隣接視差画像を展開した要素画像を増加させることで、３２個の要素画像を経て該当する視差画像の割合が増加、続く３２個の要素画像では一定の割合で表示され、次の３２個の要素画像で隣接した視差画像に置換する、というなだらかな置き換えを実現した。すなわち、各要素画像内に展開する視差画像番号をここに示した考え方に基づいて求めるだけで、図１２に示したのと同等の、滑らかな視差画像番号の切り替えが実現できた。
【００６５】
以上のように、（３）、（４）、（５）式を求めなくても、（２）式から求められた各要素画像内に展開される視差画像番号から、上述した方針に従って展開される視差画像番号を割り当て直して展開することで、図９または図１１に対応したデフォーカス条件を反映した二次元画像表示に切り替えることができる。ここでは簡単のために√Ｘまたは√（Ｘ／２）が整数になるような条件について図示したが、整数にならない場合も、数学的に同等の処理をすることは可能である。つまり、二次元画像表示切り替え時のデフォーカスの程度は任意に変動可能である。
【００６６】
以上は、要素画像表示領域単位での異なる視差画像番号の画像の混在について説明した。しかしながら、三次元表示装置の解像度が低いと、より具体的には要素画像の幅、レンズ幅が広いと、要素画像単位での視差番号の異なる画像が混入していることが視覚的に分離して見えてしまい、ノイズとして認識される場合もある。よって、場合によっては、視差画像レベルで混入させる必要が生じる。よって、次に、要素画像内の視差画像内に画素単位で複数の視差画像番号を混在させて展開することで、連続的に視差画像番号を切り替える方法について説明する。
【００６７】
図１５（ａ）、（ｂ）、（ｃ）は、これまでと同様に一次元ＩＩ方式における図である。図１５（ａ）は簡単のために（２）式の結果から同一の視差画像を展開表示することになった要素画像が４つの例を示した模式図である。各要素画像は複数の視差画像から構成されており（図１５（ｃ）では４つ）、射出瞳を経由して観察されるのは，三次元画像表示時の略単一の視差画像が表示されている領域である。同一視差画像番号を採択した要素画像の数をＹとした場合、図１５（ｂ）に示すように要素画像ひとつごとに、展開される視差画像に隣接した視差画像の混入する割合を、視差画像を構成する画素の１／Ｙ（＝１／４）だけ増やすことで、要素画像内に展開する視差番号の変更を図１０（ａ）または（ｂ）に相当するように滑らかに実現することができた。すなわち、図１５（ｃ）に示したように、各要素画像を構成する４つの各視差画像表示領域すべてについて，画素単位で複数の視差画像を混入させることで、射出瞳を経由して観察される複数の視差画像の割合を一定にすることができる。二つ以上の視差画像を単一の視差画像表示領域内に混在させる分布の仕方については、液晶表示ディスプレイで研究された面積諧調等の手法等を参考にできるだけ均一に配置すればよく、ここで新規に提案するものではない。また、要素画像は複数の視差画像表示領域から構成されるので、各領域の異なる視差画像番号の分布の仕方は割合さえ維持すればよく、具体的には、要素画像を構成するための複数の視差画像表示画素列のそれぞれで、複数の視差画像番号に由来する視差画像を占有率のみ維持した状態で隣接する画素列同士で位相をずらして配置することで、射出瞳の開口率が有限であることを考慮すると、射出瞳を経由して観察される複数の視差画像番号に由来する視差画像はより均一にブレンドされる。
【００６８】
この方法を採択した場合、異なるカメラ位置に由来した異なる視差画像が分離して見えるためにノイズとして認識されるかどうかは、縦方向の解像度、すなわち、二次元画像表示ユニットのオリジナルの解像度に依存しているが、実際の三次元画像表示装置において実用に耐える画質を実現するためには、二次元画像表示ユニットのオリジナルの解像度は十分高いことが必要なので、観察者がノイズとして視認することは無いと言ってよい。この方法は二次元画像表示用に展開する視差画像を三次元画像表示時に用いる複数の視差画像から選択、展開する作業であり、ひとつの視差画像が複数の画素で構成されることが前提となっている。すなわち、一つの視差情報が単一画素で構成されるような三次元画像表示装置の場合（例えば、レンズのフォーカスが１画素内に集光している二次元ＩＩ方式など）、一つの視差（＝単一画素）内に複数の視差画像の情報を混在させるには、複数の視差画像を求める割合でブレンドした新たな一つの画像データを作成する必要が発生する。これは、視差画像間の補完画像を作成することに等しく、その手法は線形補完、ブロックマッチング等、既に提案されている手法を用いて実現できる。このような、視差画像間の補完画像を用いて任意の位置から視認した二次元画像を表示することは、これまで説明してきた、視差画像が複数画素から構成されている場合にも当然適用可能である。しかしながら、本発明は、三次元画像表示装置を用いて二次元画像を表示する場合において、第一に、特にＩＩ方式、または後述する多眼式において、三次元画像に用いたデータの置き換えのみで二次元画像に切り替え表示を行う場合に、観察点を仮定することで要素画像内に展開するべき主な視差画像番号を求め、第二に、視差画像番号番号の切り替えを滑らかに行うために図１０（ａ）、（ｂ）や図１２、または図１５で示した状態にできるだけ近くなるように画像を混在させる（新規に補完画像を作成する必要がない）手法について具体的に提案するものである。
【００６９】
これまでは連続的な視差番号の切り替えを面積階調的に実現する方法について説明したが、次に、時間分割的に実現する方法（時分割表示）について説明する。例えば、図１０（ａ）に示す画像の一部を時分割表示する方法について説明する。図１０（ａ）に示す画像は、重複していないエリアに着目すると、図１６（ａ）と図１６（ｂ）に分解することできる。そのため、図１６（ａ）及び図１６（ｂ）から構成される、図１７（ａ）及び図１７（ｂ）に示す画像を時分割的に切り替えて出力すれば良い。
【００７０】
以上、ＩＩ方式における二次元画像表示の切り替え表示について説明してきたが、単一の透視投影カメラ画像から二次元画像の切り替え表示が可能である多眼式においても、視距離からはずれた観察点から取得した二次元画像を表示しようとした場合には、複数カメラから取得した画像の足し合わせが必要になる。その概念の模式図を図１８（ａ）乃至図１９（ｂ）に示した。なお、図１８（ａ）、（ｂ）は観察点が視距離より短くなった場合を示す図であって、図１８（ａ）は、画像表示ユニット４の表示面を示す図、図１８（ｂ）は観察点Ａと射出瞳７との関係を示す三次元画像表示装置の水平断面図である。図１９（ａ）、（ｂ）は観察点が視距離より長くなった場合を示す図であって、図１９（ａ）は、画像表示ユニット４の表示面を示す図、図１９（ｂ）は観察点Ａと射出瞳７との関係を示す三次元画像表示装置の水平断面図である。観察点が視距離より短くなった場合（図１８（ａ）、（ｂ））、長くなった場合（図１９（ａ）、（ｂ））のいずれの場合も視差画像の足し合わせが必要で、選択される視差番号は観察点Ａから求まる（観察点Ａと射出瞳７を結んだ線１２と二次元画像表示ユニット４の交点にある画素情報を展開する）。具体的な式はここでは挙げないが、観察点Ａを決め、観察点Ａと射出瞳７を結ぶ線１２が表示ユニット４の二次元画像表示面と交わる位置とさらにはその周辺に表示されている視差画像を属する要素画像内に展開することで、観察点Ａから視認される二次元画像表示への切り替え、すなわちこれまでＩＩ方式で説明した操作が応用可能である。また、ＩＩ方式で説明した表示面内の要素画像単位、視差画像内の画素単位での混入のいずれも適用が可能である。
【００７１】
以上のように、視差番号の切り替え部分で面積的、または時間的に隣接する視差画像を混入させることで、視差番号切り替わり個所の不連続性を無くすことができた。この方法により表示された二次元画像は、表示面に近いコンテンツについては視差が少ないため隣接するカメラ同士で画像が大きく変わらないことから、混在表示させても画質に影響は少ないが、奥行き／飛び出し量の多いコンテンツについては視差が大きい、すなわち相関の低い画像情報同士を混在させることから、ぼけた画像となってしまう。しかしながら、このぼけについては三次元画像として表示している際のぼけ（射出瞳を経由して観察される視差番号が面積的に混在して見えるために奥行き／飛び出し量の多いコンテンツはぼけるものの連続的な視差番号の切り替えを実現している）と同質と理解することができる。すなわち、三次元画像表示時にぼけて視認される画像は二次元画像でもぼけて表示され、三次元画像表示時にクリアな画像は二次元画像表示でもクリアに表示される。
【００７２】
最後にインターフェースについて触れる。これまでに述べたように、二次元画像切り替え時における変数としては、視域内のどの位置から見た二次元画像に切り替えるかという（ｉ）観察点の位置（透視投影的二次元画像取得位置）と、（ｉｉ）どの程度隣接さらには隣々接した視差画像を混入させるかというデフォーカスの程度がある。（ｉ）については、視距離の視域の中心をデフォルトとして、外部からの入力に応じて切り替えるインターフェースが好ましい。（ｉｉ）については、三次元画像の画質と同じ二次元画像表示が理想であることから、デフォルトは光学制御子の設計を反映したものであるべきである（レンズならデフォーカスの程度、スリットなら観察点から観察可能な範囲となる）。また、画像にリンクして切り替えるような応用もありうる。すなわち、（１）式で展開するべき視差画像を求め、視差画像番号が切り替わる部分での画像情報の変位量（例えば画素信号電圧差）からデフォーカスの程度を決めることが考えられる。また、当然ながら外部からの入力に応じて切り替えても良い。イメージ的には、現行のテレビで様々な表示モードがあるように、三次元画像表示装置においても二次元画像表示切り替えに伴う画質の選択が可能になる。
【００７３】
図２０は、本発明の一実施形態による三次元画像表示装置の構成を示すブロック図である。画像を表示するための画像表示ユニット４で表示する画像を選択するための画像切り替えスイッチ３０と、デフォーカス入力切り替えスイッチ３２と、観察位置入力切り替えスイッチ３４と、三次元画像表示用信号を二次元画像表示用信号へ変換するための二次元画像変換装置３６とを備えている。
【００７４】
画像切り替えスイッチ３０は、画像表示ユニット４で表示する画像を、マウスやキーボードなどの入力装置やスライドスイッチなどのスイッチング素子などで生成される三次元／二次元切り替え信号により、三次元画像と二次元画像を切り替えるためのスイッチである。三次元／二次元切り替え信号は、Ｈｉｇｈ／Ｌｏｗの切り替えが行えれば良く、例えば、Ｈｉｇｈのときが三次元画像、Ｌｏｗのときが二次元画像と設定しておく。勿論、ＨｉｇｈとＬｏｗの設定は、逆でも構わない。さらに、切り替えるタイミングは、垂直同期信号などと同期させる必要はなく、非同期で構わない。
【００７５】
デフォーカス入力切り替えスイッチ３２は、デフォーカス入力切り替え信号に基づいて、演算装置３１によって計算された計算値、外部入力、初期値のいずれかをデフォーカス量として選択して二次元画像変換装置３６に送出する。
【００７６】
観察位置入力切り替えスイッチ３４は観察位置入力切り替え信号に基づいて、外部入力または初期値のいずれか観察位置として選択して二次元画像変換装置３６に送出する。
【００７７】
二次元画像変換装置３６は、送信されてきた三次元画像信号を、観察位置とデフォーカス量をパラメータとして、二次元画像に変換する装置である。変換方法に関しては、別途、詳述している。観察位置とデフォーカス量は、出荷段階で初期値を設定してあり、この初期設定でも十二分に良好な二次元表示を行えるが、観察者の好みに応じて外部入力を行うこともできる。
【００７８】
観察位置の外部入力方法は、例えば、予め接続してあるマウスやジョイスティックなどの動作方向を検出できる入力装置を、観察者が操作し、その動きに連動させれば良い。また、ジャイロ素子などでも動作方向を検出することができるので、ジャイロ素子を搭載した入力装置を新たに製作し、予め接続しておいても良い。初期値と外部入力との切り替えは、初期値固定モードと外部入力モードの選択用スイッチを画像表示装置の画面上で行えるようにソフトを組み込んでおいても良いし、スライドスイッチなどのハードで構成しても良い。
【００７９】
デフォーカス量を外部から入力する場合、キーボードなどからデフォーカス量を直接入力する手段のみを設けておいても良いが、表示画像から適切なデフォーカス量を推察するのは困難であるので、良好な表示画像を得るのは難しい。そのため、表示画像からデフォーカス量を自動的に演算させ、その演算結果を基準値とし、その基準値に対し任意量を増減できる構成をさらに設ける構成が望ましい。演算装置では、視差画像番号が切り替わる部分での隣接画素の輝度差分を計算し、この差分が、観察者にとって違和感がないレベル(閾値)以下になるように、演算結果を出力する。この操作により、奥行き／飛び出し量の大きなコンテンツも違和感なく表示することが可能となる。
【００８０】
以上、三次元画像表示用画像から一部を選択、展開表示するだけで、視域内の任意視点から取得した二次元画像に切り替えた表示が可能である。このような表示を、観察者が操作するマウスなど外部の入力に連動させることで、二次元画像表示の状態で観察点を変化させたり、視距離を変えたり、さらにはボケの程度をコントロールするようなインターフェースを実現できる。
【００８１】
また、三次元画像表示装置で表示された三次元画像を二次元の出力、たとえば印刷物として出力する場合について述べる。この場合は三次元画像の解像度で二次元画像が印刷されることから、三次元画像表示装置で二次元画像を表示することについてこれまで述べてきたが、各要素画像に本提案で定めた視差画像を展開するプロセスが省かれる。すなわち、三次元画像表示装置における射出瞳を画素と考え、（２）式と数学的取り扱い、または（３）〜（５）式で決まった分布に応じて、各画素（印刷ドット）に表示するべき画像情報を定めればよく、三次元画像表示装置における二次元画像切り替え表示のときの、射出瞳を経由して観察される要素画像用の複数画素に同一の画像を展開する課程は、
三次元画像表示特有のものである。印刷物においても、三次元画像表示装置で説明した、要素画像単位と画素単位の二通りの視差画像分布方法が考えられるが、後者に相当する分布方法のほうがより好ましい。すなわち、印刷ドット群単位で視差画像を混入するのではなく、印刷ドット単位で視差画像を混入するほうが、よりきめ細やかな視差画像番号の切り替えが実現できる。
【００８２】
最後に、これまで隣接する射出瞳同士で平行な関係の光線が射出しているＩＩ方式についてのみ説明してきたが、観察位置で集光点が発生していないＩＩ方式、多眼式全てにおいて有効であることは言うまでもない。
【００８３】
（実施例１）
本実施例では、立体視に有効な水平視差のみを付与する。液晶表示素子はＱＵＸＧＡ−ＬＣＤ（画素数３２００×２４００、画面サイズ４２２．４ｍｍ×３１６．８ｍｍ）を用いた。最小の駆動単位はＲ、Ｇ、Ｂの各サブピクセルであり、通常は横に並んだＲ、Ｇ、Ｂの３つのサブピクセルによって一つの画素（トリプレット）が形成されるが、本実施例の表示ユニットにおいては水平解像度を増加させるために、Ｒ、Ｇ、Ｂのサブピクセル毎に視差画像を配置した。サブピクセルの横幅は４４μｍ、縦の長さは１３２μｍである。この表示ユニットの背面にはバックライトが配置され、観察者側には幅０．７０４ｍｍのシリンドリカルレンズが並んだ、水平方向にのみＩＩ方式により視差情報を付与するためのレンチキュラーシートを組み合わせた。レンズの各パラメータについては、液晶表示素子の画素面はシリンドリカルレンズの焦点距離より若干内側とすることで、デフォーカスの領域はサブピクセル幅程度に設定するとともに、基本視差数からなる要素画像が±１０°の範囲で観察されるようにポリカーボネートから成るレンズ半径約１．０ｍｍとレンズ厚み１．２ｍｍを決めた。
【００８４】
ここで、各パラメータは、次の表１の値とした。
【表１】
2005252551.tif 000003
【００８５】
表１に従って三次元画像表示用画像を作成した。総視差数は３４視差となり、表示ユニット内で視域の中心に対峙する中央近傍に配置された要素画像を構成する視差画像番号Ｎ（Ｘｐ、Ｘｓ）が８〜２３であったのに対し、画面左端から数えて２番目に位置するスリット４に対応する要素画像ではＮ（Ｘｐ、Ｘｓ）＝０〜１５が、右端から数えて２番目に位置するスリット４に対応する要素画像ではＮ（Ｘｐ、Ｘｓ）＝１８〜３３が振り分けられ、かつ、その要素画像の位置は対応するスリットに対して外側にシフトしていた。すなわち、全画面情報を有する視差画像は存在しなかった。
【００８６】
デフォルトで定められている視距離の中央位置から視認される二次元画像表示に切り替えたところ、式（２）に従って展開する要素画像番号は、１７視差（＝（基準視差数＋１）視差；三次元画像表示時に擬似的に要素画像幅＞射出瞳ピッチを実現するために離散的に発生する）から構成される要素画像の発生位置（要素画像３２〜３３個おき）の略中間部分で切り替わり、さらに、レンズの設計（デフォーカス）を反映した規定値は１画素であることから、図１０（ａ）、（ｂ）の関係に近似した連続的な切り替えが施された。異なる視差画像番号の混入は視差画像表示領域である水平方向１サブピクセル縦方向２４００サブピクセルの範囲で、画素単位で混入分布した。
【００８７】
これにより、三次元画像を表示した際に、視距離における視域の中心から片目で視認したのと同等の二次元画像表示が実現できた。
【００８８】
以上、視距離の中心から観察される二次元画像への切り替えを三次元画像用画像の画素情報の再配置だけで実現できた。
【００８９】
（実施例２）
実施例１に加え、さらにマウスの動きで観察点を視域内で任意に移動させられるようにしたところ、マウスに連動して二次元画像内のオブジェクトを回転させるといった表示を実現できた。より詳細には、マウスの移動方向と観察点の移動方向は画面に水平なベクトルについては逆方向に設定した。さらに、観察者が好みの方向から観察した三次元画像を、本実施例で選択した各要素画像に展開するための視差画像をそのまま用いることで、三次元画像表示の解像度で、視域内の任意の位置から視認できる二次元画像として印刷出力することができた。
【００９０】
（実施例３）
実施例１に加え、さらに（２）式で視差画像番号を配置した際に、視差画像番号が切り替わる境界における信号電圧差を検出、これの大小でデフォーカスの程度を変化させるようにしたところ（図２１）、飛び出し／奥行き量の大きなコンテンツでは画面上にフォーカスし、これ以外に自然にデフォーカスしたうような表示に、飛び出し、奥行き量の小さなコンテンツでは全体的にクリアな表示を得ることができた。信号電圧差は、視差画像の継ぎ目の不連続の程度を反映しており、飛び出し、奥行き量の小さなコンテンツでは、デフォーカスの量は小さめ、飛び出し、奥行き量の大きなコンテンツでは、デフォーカスの量は大きめに設定される傾向があった。
【００９１】
（実施例４）
本実施例では、実施例１と同様の構成において、時分割表示により視差画像の連続的な切り替えを実現した。
【００９２】
図２２に具体的な構成を示す。画像信号Ｄは、Ｒ（赤）の階調信号が８ビット、Ｇ（緑）の階調信号が８ビット、Ｂ（青）の階調信号が８ビットの計２４ビットのバス幅で構成した。スイッチ４０には、画像信号の内容を識別するための“ｉｍａｇｅ−ｓｅｌｅｃｔ”信号が入力されており、この信号により、画像信号Ｄを、ＲＡＭ０からなるメモリＭ０またはＲＡＭ１からなるメモリＭ１へ振り分け、保存した。例えば、図１７（ａ）に示す画像をメモリＭ０に保存し、図１７（ｂ）に示す画像をメモリＭ１に保存、さらに、メモリＭ０に保存された画像とメモリＭ１に保存された画像を、スイッチ４１により切り替えて出力することで、時分割表示を実現した。
【００９３】
スイッチ１の動作について説明する。スイッチ１には、メモリＭ０の出力期間とメモリＭ１の出力期間の比を決めるコントロール信号（ｓｅｌｅｃｔ−ｃｔｒｌ）を入力した。まず時分割表示を簡便に実施する場合は、図２３に示すように、“ｓｅｌｅｃｔ−ｃｔｒｌ”のデューティー比を５０％に設定した。“ｓｅｌｅｃｔ−ｃｔｒｌ”はフリップフロップなどのロジック回路から容易に作成することができる。
【００９４】
また、より正しい√Ｘ×√Ｘの関係で出力するには、メモリＭ０とメモリＭ１の出力比を時分割で変動させた。例えば、Ｘ＝１６の時、メモリＭ０とメモリＭ１の出力比は、４：０、３：１、２：２、１：３、０：４、１：３、２：２、３：１と設定した。図２４に、Ｘ＝１６の時の一例を示す。ここでの“ｓｅｌｅｃｔ−ｃｔｒｌ”もフリップフロップなどを用いたロジック回路から簡易に作成することができる。
【００９５】
本実施例においては、３：１や２：２などの時に、ＨｉｇｈやＬｏｗが連続する出力するようにしたが、例えば、３：１を主力する時に、Ｈｉｇｈを２回出力し、Ｌｏｗを１回出力し、Ｈｉｇｈを１回出力するように、分割する構成にしても良い。これらの出力構成も、コントロール信号（ｓｅｌｅｃｔ−ｃｔｒｌ）の出力パターンを変更するのみで実施することが可能である。
【００９６】
（比較例）
実施例１の条件において、視差画像番号１７の画像のみを展開したところ、画面右側の領域を表示できなかっただけではなく、平行投影方法により取得した画像であることから、歪みが含まれていた。
【図面の簡単な説明】
【００９７】
【図１】本発明の一実施形態による二次元画像表示時に展開する視差画像番号と観察点の関係を示す図。
【図２】三次元画像表示装置の構造を示す断面図。
【図３】ＩＩ方式における視差画像取得概念を示す図。
【図４】ＩＩ方式における視差画像取得概念を示す図。
【図５】ＩＩ方式において視距離の中央位置から観察される視差画像番号の概念図。
【図６】ＩＩ方式において視距離の、中央位置から左側にずれた位置から観察される視差画像番号概念図。
【図７】射出瞳を経由して観察される視差画像番号のイメージ図（観察範囲＝無限小）。
【図８】画面内で同一の視差画像番号が展開された領域を有する場合の画面水平方向に対する視差画像の占有率を示す図。
【図９】射出瞳を経由して観察される視差画像番号のイメージ図（観察範囲＝画素幅）。
【図１０】視差画像番号の第１の連続的な切り替え概念を示す図。
【図１１】射出瞳を経由して観察される視差画像番号のイメージ図（観察範囲＝画素幅×２）。
【図１２】視差画像番号の第２の連続的な切り替え概念を示す図。
【図１３】要素画像単位での面積階調的切り替えの説明図。
【図１４】要素画像単位での面積階調的切り替えの説明図。
【図１５】画素画像単位での面積階調的切り替えの説明図。
【図１６】時分割表示を説明する図。
【図１７】時分割表示を説明する図。
【図１８】多眼式において視距離より短い距離の位置から観察される視差画像番号概念図。
【図１９】多眼式において視距離より長い距離の位置から観察される視差画像番号概念図。
【図２０】本発明の一実施形態による三次元画像表示装置の駆動回路の構成を示すブロック図。
【図２１】要素画像内に展開する視差画像を求める範囲と表示される画像の視差番号切り替わり部における信号電圧差との関係図。
【図２２】時分割表示の構成を示す図。
【図２３】時分割表示のタイミングチャート１。
【図２４】時分割表示のタイミングチャート２。
【符号の説明】
【００９８】
２  光源
４  画像表示ユニット
６  光線制御子
【図１】
2005252551.tif 000004
【図２】
2005252551.tif 000005
【図３】
2005252551.tif 000006
【図４】
2005252551.tif 000007
【図５】
2005252551.tif 000008
【図６】
2005252551.tif 000009
【図７】
2005252551.tif 000010
【図８】
2005252551.tif 000011
【図９】
2005252551.tif 000012
【図１０】
2005252551.tif 000013
【図１１】
2005252551.tif 000014
【図１２】
2005252551.tif 000015
【図１３】
2005252551.tif 000016
【図１４】
2005252551.tif 000017
【図１５】
2005252551.tif 000018
【図１６】
2005252551.tif 000019
【図１７】
2005252551.tif 000020
【図１８】
2005252551.tif 000021
【図１９】
2005252551.tif 000022
【図２０】
2005252551.tif 000023
【図２１】
2005252551.tif 000024
【図２２】
2005252551.tif 000025
【図２３】
2005252551.tif 000026
【図２４】
2005252551.tif 000027