(57)【要約】【課題】非平面の表示面に好適な３次元画像を表示する。【解決手段】３次元画像を表示可能な非平面の表示面と、前記非平面の表示面の仕様を記憶する仕様記憶部と、前記仕様に基づいて前記３次元画像を平面の仮想表示面に表示した場合と同様に立体視されるように視点を補正する画像処理部と、前記補正された画像を、前記非平面の表示面に表示する画像表示部とを備える。【選択図】図１
2014030152.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像を表示する非平面の表示面と、
前記非平面の表示面の仕様を記憶する仕様記憶部と、
前記仕様に基づいて前記３次元画像を平面の仮想表示面に表示した場合と同様に立体視されるように視点を補正する画像処理部と、
前記補正された画像を、前記非平面の表示面に表示する画像表示部と、
を備えることを特徴とする３次元画像表示装置。
【請求項２】
前記画像処理部は、前記仕様記憶部から入力された仕様に基づいて、３次元画像の１ライン毎に画素位置の移動を行う調整部を備えることを特徴とする請求項１に記載の３次元画像表示装置。
【請求項３】
視聴者位置を検出する視聴者位置検出部を備え、検出した前記視聴者位置と前記仕様に基づいて、前記３次元画像を補正することを特徴とする請求項１に記載の３次元画像表示装置。
【請求項４】
前記補正後の画像が、前記非平面表示面より拡大した範囲に表示されるように、前記平面の仮想表示面を設定し、前記設定した平面の仮想表示面に基づいて前記３次元画像を補正することを特徴とする請求項１ないし３のいずれか１項に記載の３次元画像表示装置。
【請求項５】
前記非平面の表示面の形状を算出する表示面形状算出部を備え、算出した前記表示面の形状と視聴者位置と前記仕様に基づいて、前記３次元画像を補正することを特徴とする請求項１ないし４のいずれか１項に記載の３次元画像表示装置。
【請求項６】
３次元画像を非平面表示面の仕様に基づいて前記３次元画像を平面の仮想表示面に表示した場合と同様に立体視されるように視点を補正することを特徴とする３次元画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像表示装置及び方法に関する。
【背景技術】
【０００２】
近年、２次元画像に加え、３次元画像（以下、「３Ｄ画像」とか「３Ｄ映像」と言うことがある。）を表示可能な立体画像表示装置の普及が進んでいる。
３Ｄ画像を表示する方法は様々あり、例えば、右目用画像（以下、「右画像」と言うことがある。）と左目用画像（以下、「左画像」と言うことがある。）を交互に立体画像表示装置の表示面に表示し、液晶シャッタを搭載した眼鏡で右画像と左画像を分離する方法や、偏光方向の直交する右画像と左画像を同時に表示し、左右の偏光方向が異なる眼鏡で左画像と右画像に分離する方法がある。また、パララックスバリア方式（視差バリア方式）やレンティキュラ方式など、視線の視差分割方式を利用して３次元画像を立体視する方法もある。このように、３Ｄ画像は、表示面での右画像と左画像の間に視差があることで立体として知覚される。
また、左画像と右画像が常に表示面の中央にあってしかも一定の距離にあることを前提とする場合には、視聴者が表示面との距離を変化させたときに、立体画像は常に同一で画像の中の物体の遠近感が変化せず、実体験と比べると大きな違和感が残ってしまう。この問題点を解決するために、特許文献１には、表示面から視聴者までの距離を計測し、その距離の変化に基づいて右画像と左画像の視差を調整することで、表示物体の形や大きさを実体に即して感覚的に捕らえることのできる立体映像表示装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０１−９６６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述の表示装置の表示面はいずれも平面であって、非平面の表示面ではなかった。このことは特許文献１についても同様である。
本発明者は、平面の表示面に表示することを想定した３Ｄ画像を、非平面、例えば円筒面とか球面のような曲面をなす表示面に表示した場合、以下のような問題が発生することを発見した。
図２２は、３Ｄ画像を表示可能な非平面の表示面２２０１及び平面の表示面２２０２を上から見た図を示している。すなわち、図２４は、非平面の表示面２２０１及び平面の表示面２２０２をその中央を通る水辺面で切った場合の切り口を示している。
図２２の非平面の表示面２００１及び平面の表示面２００２に関して、その水平方向の画素ピッチはそれぞれ同じである。また、垂直方向の画素ピッチについてもそれぞれ同じである。そして、平面の表示面２００２に表示する３Ｄ画像と同じ画像を、非平面の表示面２００１に表示することについて、以下で考察をする。
点２２０７は、視聴者の右目の位置を示し、点２２０８は、視聴者の左目の位置を示す。点Ｐは、視聴者の位置を示す。
点２２０３は、非平面の表示面２００１上に表示した右画像の点（ある画素の位置）を示し、点２２０４は、非平面の表示面２２０１上に表示した左画像の点を示している。点２２０５は、平面の表示面２２０２上に表示した右画像の点を示し、点２２０６は、平面の表示面２２０２上に表示した左画像の点を示している。点２２０３と点２２０４の視差は、距離Ｄであり、点２２０５と点２２０６の視差も、距離Ｄである。
点２２０９は、点Ｐの視聴者が平面の表示面２２０２上の右画像の点２２０５及び左画像の点２２０６を立体視した場合に視覚する結像点を示す。点２２１０は、点Ｐの視聴者が非平面の表示面２２０１上の右画像の点２２０３及び左画像の点２２０４を立体視した場合に視覚する結像点を示す。結像点２２０９及び２２１０の位置は、図示するように異なっている。
このように、平面の表示面２２０２に表示する場合と非平面の表示面２２０１に表示する場合では、視差及び視聴者の位置は同じであるにもかかわらず、表示する表示面の形状が異なることに基づいて、結像位置が変化し、その結果、感覚的に捕らえられる３次元物体の形状が異なってしまうことを、本発明者は発見した。
本発明は、このような事情に鑑みてなされたもので、非平面の表示面にも好適な３Ｄ画像を表示することができる画像表示装置及び画像表示方法を提供することを課題とする。
【課題を解決するための手段】
【０００５】
（１）本発明は、上述した課題解決のためになされたもので、本発明の画像表示装置は、３次元画像を表示可能な非平面の表示面と、前記非平面の表示面の仕様を記憶する仕様記憶部と、前記仕様に基づいて前記３次元画像を平面の仮想表示面に表示した場合と同様に立体視されるように視点を補正する画像処理部と、前記補正された画像を、前記非平面の表示面に表示する画像表示部を備えることを特徴とする。
【０００６】
（２）また、本発明の画像処理装置は、上述の画像処理装置であって、前記画像処理部は、前記仕様記憶部から入力された仕様に基づいて、３次元画像の１ライン毎に画素位置の移動を行う調整部を備えることを特徴とする。
【０００７】
（３）また、本発明の画像処理装置は、上述の画像処理装置であって、視聴者位置を検出する視聴者位置検出部を備え、検出した前記視聴者位置と前記仕様に基づいて、前記３次元画像を補正することを特徴とする。
【０００８】
（４）また、本発明の画像処理装置は、上述の画像処理装置であって、前記補正後の画像が、前記非平面の表示面のより広い範囲に表示されるよう、前記平面の仮想表示面を設定し、前記設定した平面の仮想表示面に基づいて前記３次元画像を補正することを特徴とする。
【０００９】
（５）また、本発明の画像処理装置は、上述の画像処理装置であって、前記非平面表示面の形状を算出する表示面形状算出部を備え、算出した前記表示面の形状と視聴者位置と前記仕様に基づいて、前記３Ｄ画像を補正することを特徴とする。
【００１０】
（６）本発明は、上述した課題解決のためになされたもので、本発明の画像表示方法は、３次元画像を非平面の表示面の仕様に基づいて前記３次元画像を平面の仮想表示面に表示した場合と同様に立体視されるように視点を補正することを特徴とする。
【発明の効果】
【００１１】
本発明の実施形態によれば、非平面の表示面に３Ｄ画像を表示した場合に、この３Ｄ画像を平面の表示面に表示した場合と同様に違和感のない好適な３Ｄ画像を表示することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る画像表示装置の構成を示す概略的ブロック図である。
【図２】立体視の原理を説明する図である。
【図３】立体視の原理を説明する別の図である。
【図４】立体視の原理を説明するさらに別の図である。
【図５】立体視の原理を説明するまたさらに図である。
【図６】視聴者位置、３Ｄ画像、平面の表示面の位置関係の一例を示す図である。
【図７】３Ｄ画像を平面の仮想表示面に表示する場合と非平面の表示面に表示する場合の位置関係の一例を示す図である。
【図８】３Ｄ画像を平面の仮想表示面に表示する場合と非平面の表示面に表示する場合の結像位置のずれを示す図である。
【図９】３Ｄ画像を平面の仮想表示面に表示する場合と非平面の表示面に表示する場合の結像位置のずれを示す別の図である。
【図１０】３Ｄ画像を平面の仮想表示面に表示する場合と非平面の表示面に表示する場合の結像位置のずれを示すさらに別の図である。
【図１１】３Ｄ画像を非平面の表示面に表示する場合に、結像できない一例を示す図である。
【図１２】図１２（ａ）は、非平面の表示面と平面の仮想表示面の関係を示す図である。図１２（ｂ）は、非平面の表示面と平面の表示面の上の右画像及び左画像の点並びに右目及び左目の位置の位置関係を、座標を用いて示す図である。
【図１３】第１の実施形態の画像処理部の構成を示す概略的ブロック図である。
【図１４】図１４（ａ）は、第１の実施形態の画像処理部の動作を説明するフローチャートである。図１４（ｂ）は、図１４（ａ）の再設定を行うステップをさらに詳細に示すフローチャートである。
【図１５】図１５は、本発明の第２の実施形態に係る画像表示装置の構成を示す概略的ブロック図である。
【図１６】図１６は、第２の実施形態の画像処理部の動作を説明するフローチャートである。
【図１７】図１７は、本発明の第３の実施形態に係る画像表示装置の構成を示す概略的ブロック図である。
【図１８】図１８（ａ）は、非平面の表示面及び平面の仮想表示面を左目の位置で見る場合の視野角の相違を示す図である。図１８（ｂ）は、平面の仮想表示面を見る視野角が、非平面の表示面を見る視野角よりも小さくなっていることを示す図である。図１８（ｃ）は、平面の仮想表示面を拡大して、その視野角を非平面の表示面の視野角と同じにすることを示す図である。
【図１９】図１９は、第３の実施形態の画像処理部の動作を説明するフローチャートである。
【図２０】図２０は、本発明の第４の実施形態に係る画像表示装置の構成を示す概略的ブロック図である。
【図２１】図２１は、第４の実施形態の画像処理部の動作を説明するフローチャートである。
【図２２】図２２は、３Ｄ画像を平面の表示面に表示する場合と非平面の表示面に表示する場合の結像点のずれを説明する図である。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像表示装置を説明する。
図１は、第１の実施形態に係る画像表示装置１０ａの構成を示す概略的ブロック図である。画像表示装置１０ａは、画像入力部１０１、仕様記憶部１０２、画像処理部１０３及び画像表示部１０４を含んで構成される。なお、画像入力部１０１、仕様記憶部１０２及び画像処理部１０３は、一体に構成されることができる。画像表示部１０４は、他の部材と一体であってもよいし、別体であってもよい。
【００１４】
画像入力部１０１には、画像表示装置１０ａの外部からテレビジョン映像やビデオ映像、その他に静止画などの画像信号が入力され、所望の画像信号が視聴者により選択される。
画像信号は、被写空間に含まれる被写体の色彩や濃淡を表す信号値であって、二次元平面（平面の表示面）に配置される多数の画素毎の信号値から成る。画像信号は、画素毎に色空間を表す信号値を有する画像信号、例えばＲＧＢ信号である。ＲＧＢ信号は、赤色成分の値を表すＲ信号、緑色成分の値を示すＧ信号及び青色成分の値を示すＢ信号を含む。この画像信号は、右画像信号と左画像信号とから成る。
【００１５】
仕様記憶部１０２は、画像表示装置１０の画像表示部１０４の仕様を保持する。仕様とは、画像表示部１０４の表示面の形状、画素ピッチ、解像度、推奨視聴者位置などである。仕様の各情報は、仕様記憶部１０２から画像処理部１０３に入力される。
なお、推奨視聴者位置とは、視聴者が画像表示部１０４の表示面を見た場合に、快適に画像を楽しむことができる視聴者位置のことであり、例えば、画像表示装置１０４がフルハイビジョンの表示装置（ディスプレイ）であれば、表示面の高さの３倍にあたる距離が、最適な視聴距離である。
【００１６】
画像処理部１０３では、仕様記憶部１０２から入力された情報に基づいて入力画像信号の画素ピッチ、解像度などを変換し、変換後の画像信号を出力する。
画像表示部１０４では、画像処理部１０３から出力された出力画像信号が入力され、その非平面の表示面に画像を表示する。画像表示部１０４は、有機ＥＬ表示パネルとか液晶表示パネルとかの非平面の視覚表示装置を含む。
【００１７】
図２から図５を用いて、まず、立体視の原理を説明する。
図２では、画像表示装置の平面の表示面２０１に表示される、３Ｄ画像の右画像の１つの画素の点２０２及び点２０２に対応する左画像の点２０３を示す。この表示面２０１の形状は、平面である。図２に示す表示面２０１は、表示面２０１をその中央を通る水辺面で切った場合の切り口を、上から見た図である。位置Ｐの視聴者は、点２０４の位置の右目で点２０２を、点２０５の位置の左目で点２０３をそれぞれ見ることで、点２０６の位置に結像された画像を知覚する。点２０６は、点２０２及び点２０４を結ぶ直線と、点２０３及び点２０５を結ぶ直線の交点である。
右目２０４及び左目２０５の間隔を両眼間隔Ｂ、視聴者の位置Ｐから表示面２０１までの距離をＭ、点２０２と点２０３の距離を視差Ｄとすると、表示面２０１から結像点２０６までの距離Ｚは、以下の式で
Ｚ＝Ｍ×Ｄ／（Ｂ−Ｄ）                                （１）
と表される。
【００１８】
また、図３に示すように、表示面２０１に表示される右画像の点３０２が、点３０２に対応する左画像の点３０３より左側に表示されている場合は、表示面２０１より手前側に画像が結像され、表示面２０１から結像点３０６までの距離Ｚは、以下の式で、
Ｚ＝Ｍ×Ｄ／（Ｂ＋Ｄ）                                （２）
と表される。
図４に示すように、表示面２０１に表示される右画像の点４０２及び点４０２に対応する左画像の点４０３が、重なって表示される場合は、結像点も表示面２０１上の点４０２（点４０３）に一致する。
【００１９】
図５では、表示面２０１に表示される右画像の点５０２と、点５０２に対応する左画像の点５０３が、視聴者から見て斜めの方向に表示されている。図５の状態においても、表示面２０１から結像点５０６までの距離Ｚは、式（１）または式（２）で表され、視聴者からの角度に依らない。すなわち、同じ視差Ｄで表示された点は、同じ距離Ｚの位置に結像される。なお、図６では、式（１）で表される場合を示す。
【００２０】
次に、視差が等しい２点（右画像、左画像それぞれ２点ずつ）を非平面の表示面に表示した場合について、図６から図１１を用いて説明する。
図６では、平面の表示面６０１に、右画像の点６０２及び点６０４並びに点６０２に対応する左画像の点６０３及び点６０４に対応する左画像の点６０５がそれぞれ表示されている。また、視聴者の位置を点Ｐで示し、視聴者の右目の位置を点６０６で示し、左目の位置を点６０７で示す。
ここで、座標を定義する。
図６において、右目６０６と左目６０７を結ぶ線分の紙面上の垂直二等分線をｚ軸とする。また、表示面６０１の中央で水平面と交わる交線をｘ軸とし、ｘ軸とｚ軸の交点を原点Ｏとする。原点Ｏは、表示面６０１上にある。また、表示面６０１上でｘ軸と原点Ｏで直交する軸をｙ軸とする。また、点６０６と点６０７の中点を視聴者の位置Ｐとする。
両眼距離をＢ、点６０２と点６０３の視差をＤ、点６０４と点６０５の視差をＤ、原点Ｏから点６０４及び６０５の中点までの距離をＬ、表示面６０１から視聴者の位置Ｐまでの距離をＭとする。すると、点６０２ないし点６０７及びＰの座標（ｘ，ｙ，ｚ）は、
点６０２：（        Ｄ／２，０，  ０）
点６０３：（      −Ｄ／２，０，  ０）
点６０４：（Ｌ＋（Ｄ／２），０，  ０）
点６０５：（Ｌ−（Ｄ／２），０，  ０）
点６０６：（        Ｂ／２，０，−Ｍ）
点６０７：（      −Ｂ／２，０，−Ｍ）
点Ｐ    ：（            ０，０，−Ｍ）
となる。
【００２１】
図７は、非平面の表示面７０１に画像を表示する場合について示す。図７には、平面の仮想表示面６０１も示す。
点６０４及び点６０５は、平面の仮想表示面６０１上の右画像及び左画像の点であり、図６のものに対応する。
非平面の表示面７０１は、平面の仮想表示面６０１を、点Ｏを固定してｚ軸の負の方向に、ｚ軸上に−Ｎの距離の点Ｑを中心に半径Ｎの円弧状に曲げた形状（３次元では円筒面の形状）をなしている。なお、点Ｑは、視聴者の位置Ｐと一致してもよいし、またそうではなくて、半径Ｎの値は、線分ＯＰの値Ｍよりも小さくても大きくてもよい。図７では、Ｍ＞Ｎの場合を示す。
平面の仮想表示面６０１に表示する画像と同じ画像を、非平面の表示面７０１に表示する場合、点６０４に対応する点を点７０４とし、点６０５に対応する点を点７０５とする。また、点７０４と点Ｑを結ぶ線分と線分ＯＱとのなす角をθ１とし、点７０５と点Ｑを結ぶ線分と線分ＯＱとのなす角をθ２とする。
すると、図７において、点７０４及び点７０５の座標は、
点７０４：（Ｎｓｉｎθ１，０，−Ｎ（１−ｃｏｓθ１））
点７０５：（Ｎｓｉｎθ２，０，−Ｎ（１−ｃｏｓθ２））
となる。
ここで、θ１とθ２と、Ｄ、Ｌ、Ｎとの間には、
θ１＝（２Ｌ＋Ｄ）／２Ｎ                          （３）
θ２＝（２Ｌ−Ｄ）／２Ｎ                          （４）
の関係が成り立つ。ただし、式（３）及び式（４）において、Ｄは、図７における点７０４及び点７０５の間の円弧の長さであり、Ｌは、点Ｏから点７０４及び点７０５の中点に至る円弧の長さである。
【００２２】
図８には、３Ｄ画像を平面の仮想表示面６０１に表示した場合の結像点６０８と、当該３Ｄ画像を視聴者の位置Ｐを中心とする半径Ｍの非平面（円筒面）の表示面７０１に表示した場合の結像点７０６とを示す。図８は、図６及び図７と一部同じ記号を用いて同じ事柄を示しているが、ただし、図８ではＭ＝Ｎとしている。すなわち、図８では、非平面の表示面７０１の円弧の中心点Ｑが視聴者の位置Ｐと一致する。
この場合、結像点である点６０８と点７０６は一致せずに、ずれが生じていることが分かる。例えば、Ｂ＝６５(ｍｍ)、Ｄ＝３０(ｍｍ)、Ｌ＝１００(ｍｍ)、Ｍ＝５００(ｍｍ)、Ｎ＝５００(ｍｍ)とすると、点６０８の座標は（１８５．７，０，４２８．６）、点７０６の座標は（１８７．４，０，４２５．６）となり、ｘ座標で１．７ｍｍ、ｚ座標で３．０ｍｍだけ両者の結像点がずれている。ただし、ｙ座標でのずれはない。
【００２３】
一方、図６の点６０２と点６０３のように、表示面中央付近の点（Ｌ＝０ｍｍの点）は、非平面の表示面７０１に表示した場合、表示位置は図９に示す点９０２及び点９０３となり、結像点９０６の座標は（０，０，４２８．６）となり、平面の表示面６０１に表示した場合の結像点（図６において図示せず）の座標（０，０，４２８．０）とのずれは、ｚ座標で０．６ｍｍと小さい。ただし、ｘ座標及びｙ座標でのずれはない。したがって、同じ視差量Ｄで表示した場合でも、表示面の位置によって結像位置が異なり、同じ奥行きに存在する被写体が、表示位置によって異なる奥行きに存在するように見えてしまい、画質が劣化する。
なお、このようなずれは、非平面の表示面７０１の円弧の中心点Ｑが視聴者の位置Ｐと一致しない場合にも生ずる。
また、ｚ軸方向に加え、ｘ軸方向についてもずれが生じる場合がある。
以上は、点６０４、点６０５、点７０４、点７０５のｙ座標の値が０である場合について述べた。しかし、ｙ≠０の場合は、ｙ軸方向にずれが生じ、１点に結像しない場合がある。この点を以下に説明する。
【００２４】
図１０は、ｙ＝Ｙ１０（図１１）である非平面の表示面７０１上の右画像の点１００１と左画像の点１００２を、視聴者の右目の位置である点６０６及び視聴者の左目の位置である点６０７から見た図を示している。点６０６と点１００１を結ぶ直線と点６０７と点１００２を結ぶ直線の交点が点１００３であり、点１００３のｚ座標をｚ＝Ｚ１０とする。
図１１は、図１０をｘ軸方向から見た図である。点６０６と点１００１を結ぶ直線及び点６０７と点１００２を結ぶ直線のｚ＝Ｚ１０のｙ座標は、それぞれｙ＝Ｙ３０及びＹ＝２０となっていて異なる値となっており、結像していないことが分かる。したがって、ｙ≠０の場合は、ｘ軸、ｚ軸方向での結像点でｙ軸方向にずれが生じ、うまく結像しないことになる。小さなずれであれば３Ｄ画像として視聴することは可能であるが、ｙ軸方向のずれ（縦ずれ）は、眼の疲労の原因となる。
【００２５】
そこで、本実施形態では、３Ｄ画像を非平面の表示面に表示した際に、表示位置の違いによって生じる結像位置のずれを補正することで、非平面の表示面であっても平面の表示面と同様に好適な３Ｄ画像を表示する。
以下に、上記のずれを補正する方法について述べる。
【００２６】
図１２（ａ）は、非平面（円筒面）の表示面１２０１と平面の仮想表示面１２０２をｙ軸方向から見た図を示している。平面の仮想表示面１２０２は、非平面の表示面１２０１と同様の画素数及び画素ピッチを持っている。また、平面の仮想表示面１２０２は、非平面の表示面１２０１の中央点Ｏを中心に矢印で示すようにして、非平面の表示面１２０１を平面状にしたものである。
図１２（ｂ）において、点１２０３及び点１２０４は、それぞれ非平面の表示面１２０１上の右画像及び左画像の点である。また、点１２０５及び点１２０６は、それぞれ上記点１２０３及び点１２０４にそれぞれ対応する平面の仮想表示面１２０２上の右画像及び左画像の点である。点１２０７及び１２０８は、それぞれ右目の位置及び左目の位置である。点Ｐは、視聴者の位置である。
ここで、各点の座標を、点１２０３では（ｇ，ｈ，ｉ）、点１２０４では（ｊ，ｋ，ｌ）、点１２０５では（ｇ’，ｈ’，ｉ’）、点１２０６では（ｊ’，ｋ’，ｌ’）、点１２０７では（ａ，ｂ，ｃ）及び点１２０８では（ｄ，ｅ，ｆ）とする。
【００２７】
次に、点１２０７と点１２０５を結ぶ直線と非平面の表示面１２０１との交点を求める。点１２０７と点１２０５を結ぶ直線の座標（ｘ,ｙ,ｚ）は、
（ｘ，ｙ，ｚ）＝（ａ，ｂ，ｃ）＋ｔ（ａ−ｇ’，ｂ−ｈ’，ｃ−ｉ’）
（５）
と表される。ただし、ｔは実数である。
また、非平面の表示面１２０１は、その形状を任意のものとすることができる。例えば、形状が点Ｑを中心とする半径Ｍの円弧（３次元では円筒面）であるとすると、非平面の表示面１２０１は、
ｘ２＋（ｚ＋Ｍ）２＝Ｍ２                                  （６）
と表される。したがって、点１２０７と点１２０５を結ぶ直線が非平面の表示面１２０１と交わる交点は、式（５）及び式（６）から算出することができる。
右目の点１２０７と平面の表示面１２０２上の点１２０５とを結ぶ直線の、非平面の表示面１２０１との交点を、右画像の点１２０３−１と新たに定める。同様に、左目の点１２０８と平面の表示面１２０２上の点１２０６とを結ぶ直線が非平面の表示面１２０１と交わる交点を、左画像の点１２０４−１と新たに定める。なお、点１２０３−１及び１２０４−１は、図の輻輳を避けるために、図１２において示していない。
以上のように、点１２０３及び１２０４を、点１２０３−１及び１２０４−１と位置の補正をすることで、非平面の表示面１２０１上の補正後の点を視聴者が見た場合、平面の仮想表示面上の点１２０５及び１２０６に表示する場合と同じ位置での結像がもたらされる。
なお、非平面の表示面である円弧の中心点Ｑは、視聴者位置Ｐと一致してもよいし、一致していなくてもよい。後者の場合、半径Ｍの値は、線分ＯＰの値よりも小さいか、または大きい。図１２（ｂ）において、位置Ｑは示していない。
【００２８】
図１３は、図１の画像処理部１０３の構成の詳細を示すブロック図である。
図１３において、画像入力部１０１から取り出された画像信号（例えば、プログレッシブ信号）は一旦、メモリ（フレームメモリまたはラインメモリ）１３０１に蓄積される。入力された画像信号の解像度と表示面の解像度が異なる場合は、メモリ１３０１から取り出された画像信号は、調整部１３０２において仕様記憶部１０２（図１）から入力された仕様に基づいて、解像度などの調整が行われる。以下では、非平面の表示面上の画素の位置を、標準画素位置と称する。
調整部１３０２で調整が行われたプログレッシブ信号の画像信号は、補正部１３０３に入力される。
【００２９】
補正部１３０３においては、画像信号を仮想平面表示に表示した場合と同様の位置に結像するように、仕様記憶部１０２（図１）から入力された仕様、特に、非平面の表示面の形状や平面の仮想表示面上での表示位置、推奨視聴者位置に基づいて、１ライン毎に画像信号の各画素の表示位置の補正が行われる。この補正は、例えば、上記で式（５）及び式（６）を用いて説明したようにして、行うことができる。
補正の行われた信号は、再設定部１３０４に入力される。
【００３０】
再設定部１３０４では、補正された各画素の表示位置と標準画素位置を比較し、標準画素位置に補正された画素がない場合は、補間によって標準画素位置に表示する画素値を算出する。補間方法は公知のものを用いることができる。例えば、左右に隣接する画素の画素値の平均値を画素値とする新たな画素を設ける。または、左右・上下に隣接する画素の画素値に重みを付けて平均を取った平均値を画素値とする新たな画素を設けることもできる。
標準画素位置に複数の画素が重なった場合は、再設定部１３０４は、その複数の画素の画素値の平均を取って、その値を標準画素位置の画素値とする。
再設定部１３０４の出力である画像信号は、画像表示部１０４（図１）に出力される。
【００３１】
図１４（ａ）は、図１３に示す画像処理部１０３の動作の手順を示すフローチャートである。
画像信号は一旦、メモリ１３０１（図１３）に蓄積される（Ｓ１４０１）。メモリ１３０１から取り出された画像信号は、調整部１３０２において解像度の調整が行われる（Ｓ１４０２）。調整部１３０２で調整が行われたプログレッシブ信号の画像信号は、１ライン毎に補正部１３０３に入力される。補正部１３０３においては、仕様記憶部１０２から入力された仕様、特に、非平面の表示面の形状や平面の仮想表示面上での表示位置、推奨視聴者位置に基づいて、１ライン毎に各画素の画素位置の補正が行われる（Ｓ１４０３）。
補正の行われた信号は、再設定部１３０４に入力される。再設定部１３０４では画素位置の標準画素位置への移動、画素値の補間及び／又は平均化という再設定が行われる（Ｓ１４０４）。
なお、以上のステップＳ１４０１乃至Ｓ１４０４は、画像の１つのフレームの全てのラインについて実行される。
【００３２】
図１４（ｂ）は、図１４（ａ）のステップＳ１４０４をさらに詳細に示すものである。
補正の行われた１ライン毎の各画素は再設定部１３０４に入力されて、補正画素と標準画素位置の比較が行われる（Ｓ１４１１）。次いで、標準画素位置上に補正画素が存在するかが判断される（Ｓ１４１２）。補正画素が存在しない場合は、標準画素位置近傍に存在する補正画素を用いて補間により、標準画素位置の画素値を算出し（Ｓ１４１３）、それからステップＳ１４１４へ移る。標準画素位置上に補正画素が存在れば、ステップＳ１４１４へ移る。次に、標準画素位置上に重複する補正画素が存在するかが判断される（Ｓ１４１４）。重複する補正画素が存在すれば、その重複する補正画素を平均化することで、標準画素位置の画素値を算出し（Ｓ１４１５）、終了する。重複した補正画素がなければ、終了する。
なお、以上のステップＳ１４１１乃至Ｓ１４１５は、画像の１つのラインの全ての標準画素位置について実行される。
【００３３】
第１の実施形態によれば、３Ｄ画像の各画素について、平面の仮想表示面に表示する場合と同様の位置に結像するよう画像を補正することで、非平面の表示面に３Ｄ画像を表示する場合でも、平面の仮想表示面に表示する場合と同様に、好適に立体視される３Ｄ画像を表示することができる。
＜第２の実施形態＞
【００３４】
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、図１３に示したように、視聴者の位置Ｐを推奨視聴者位置とした。しかし、視聴者Ｐは、推奨視聴者位置とは異なる位置から３Ｄ画像を視聴する場合もある。推奨視聴者位置で好適に立体視される３Ｄ画像を表示できても、視聴者の位置が推奨視聴者位置とは異なる位置となったときは、視聴者は、違和感のある３Ｄ画像を視聴することになる。第２の実施形態では、この問題を解消する。
【００３５】
図１５は、第２の実施形態に係る画像表示装置１０ｂの構成を示す概略ブロック図である。
画像表示装置１０ｂは、画像入力部１５０１、仕様記憶部１５０２、画像処理部１５０３、画像表示部１５０４及び視聴者位置検出部１５０５を含んで構成される。
画像入力部１５０１及び画像表示部１５０４は、第１の実施形態に係る画像入力装置１０ａ（図１）の画像入力部１０１及び画像表示部１０４と構成を同じくする。画像処理部１５０３には、第１の実施形態の場合と同様に、画像入力部１５０１から画像信号が入力され、また仕様記憶部１５０２から画像表示部１５０４の表示面の形状、画素ピッチ、解像度などが入力される。その他に、画像処理部１５０３には、視聴者位置検出部１５０５から画像表示部１５０４の表示面に対する視聴者位置の情報が入力される。
視聴者位置検出部１５０５では、画像表示部１５０４の表示面に対する視聴者位置を検出する。視聴者の位置の検出は、公知の技術手段を用いることができる。例えば、画像表示装置１０ｂは赤外線放射装置及び赤外線距離センサーを備え、赤外線放射装置から照射された赤外線の視聴者からの反射角度又は反射光量を赤外線距離センサーが検出して、視聴者の位置を検出することができる。また、画像表示装置１０ｂに、水平面上に所定の間隔をおいて設置し、かつ２台のカメラのレンズの光軸を平行に設置し、この２台のカメラの２つの画像間の視差を、ブロックマッチング法を用いて算出し、算出した視差値から視聴者の位置を検出することもできる。
視聴者位置が検出されると、第１の実施形態において説明したように、図１２（ｂ）における視聴者の左右の目の位置１２０７（ａ，ｂ，ｃ）及び１２０８（ｄ，ｅ，ｆ）が決まる。したがって、第１の実施形態と同様に画像を補正して、３Ｄの画像を非平面の表示面に表示する場合の視聴者の視点を、平面の仮想表示面に表示する場合の視点と一致させることができる。
【００３６】
図１６は、図１５に示す画像処理部１５０３の動作の手順を示すフローチャートである。
画像処理部１５０３は、まず視聴者位置を検出する（Ｓ１６０１）。次に、画像処理部１５０３は、ステップＳ１６０２〜ステップＳ１６０５の動作を順次に行う。ステップＳ１６０２ないしステップＳ１６０５の動作は、第１の実施形態の図１４（ａ）に示すステップＳ１４０１ないしステップＳ１６０４の動作とそれぞれ同じである。
【００３７】
なお、視聴者位置を検出した後に更に視聴者位置が変化する場合には、再度、画像を補正する必要があるが、視聴者位置の変化が小さく、結像位置のずれが無視できる程度に小さい場合は、画像を補正する必要はない。そこで、視聴者位置の変化量を算出し、結像位置のずれ、例えば、ｙ軸方向のずれ（縦ずれ）が１画素以上となる場合に画像を補正することが好ましい。
【００３８】
本実施形態によれば、視聴者位置が変化する場合においても、常に好適な３Ｄ画像を画像表示部の非平面の表示部に表示することができる。
＜第３の実施形態＞
【００３９】
次に、本発明の第３の実施形態について説明する。
第３の実施形態では、視聴者から見た非平面の表示面の視野角が平面の仮想表示面の視野角と相違して、非平面の表示面の周辺において画素位置の補正が行われないという問題点を解消する。
図１７は、第３の実施形態に係る画像表示装置１０ｃの構成を示す概略的ブロック図である。
画像表示装置１０ｃは、画像入力部１７０１、仕様記憶部１７０２、画像処理部１７０３及び画像表示部１７０４を含んで構成される。
画像処理部１７０３以外の画像入力部１７０１、仕様記憶部１７０２及び画像表示部１７０４は、図１に示す第１の実施形態の画像入力部１０１、仕様記憶部１０２及び画像表示部１０４と同じ構成のものであるから、それらの部材の構成の説明は、第１の実施形態で行った説明を援用する。
【００４０】
次に、画像処理部１７０３の説明を行う。
図１８（ａ）は、半径Ｍ、中心Ｑから見た中心角θ３の円弧（３次元空間では円筒面）をなす非平面の表示面１８０１と、この表示面１８０１を、点Ｏを中心に矢印の方向に動かして広げた平面の仮想表示面１８０２を示している。点Ｏは、非平面の表示面の中央の点である。この場合、非平面の表示面１８０１及び平面の仮想表示面１８０２に表示される画像の画素ピッチは、等しい。つまり、非平面の表示面１８０２及び仮想平面の表示面１８０２は、双方ともに、例えば４０型の大きさである。点１８０３は、視聴者の右目の位置を示し、点１８０４は、視聴者の左目の位置を示し、そして点Ｐは、視聴者の位置を示す。
視聴者の左目の位置である点１８０４から非平面の表示面１８０１を見る場合、その視野角は、θ４となる。点１８０４から仮想平面の表示面１８０２を見る場合、その視野角は、θ５となる。この場合、θ４＞θ５であって、この２つの視野角は異なる。
したがって、仮想平面の表示面１８０２に表示した場合と同様の３Ｄ画像を視聴できるよう画像を補正しようとしても、図１８（ｂ）に太線１８０１’で示すように、非平面の表示面１５０１の一部においてのみ、第１の実施形態において説明をした補正を行うことができるに過ぎない。つまり、非平面の表示面１８０１の全面における上述の視点の一致は達成できない。
そこで、第３の実施形態では、視聴者の位置Ｐから非平面の表示面を見る場合の視野角と同じ視野角を持つ平面の仮想表示面を想定する。
【００４１】
図１８（ｃ）の平面の仮想表示面１８０２‘は、第３の実施形態における平面の仮想表示面を示している。平面の仮想表示面１８０２’は、図１８（ａ）に示す仮想平面表示面１５０２に比べて拡大されて大きい。平面の仮想表示面１８０２が４０型の大きさとしたときに、平面の仮想表示面１８０２‘は、例えば５２型の大きさになっている。
平面の仮想表示面１８０２‘の右端から左端までの長さをＬ１８０２’とし、非平面の表示面１８０１の右端から左端までの弧の長さをＬ１８０１とする。Ｋ＝Ｌ１８０２‘／Ｌ１８０１とすると、Ｋは１よりも大きい実数である。非平面の表示面１８０１の画素ピッチがｐのとき、平面の仮想表示面１８０２’の画素ピッチは、Ｋ×ｐとなる。ただし、非平面の表示面１８０１及び平面の仮想表示面１８０２‘の画素数は、同じである。
【００４２】
したがって、平面の仮想表示面１８０２‘における各画素の空間座標を求めることができる。また、非平面の表示面１８０１の形状の数学的表現とか、視聴者の左右の目の空間座標とかも分かっている。したがって、第１の実施形態において説明をしたようにして、視点の一致を目的として非平面の表示面１８０１における補正後の画素の位置を求めることができる。
【００４３】
図１９は、図１７に示す画像処理部１７０３の動作の手順を示すフローチャートである。
画像処理部１７０３のステップＳ１９０１及びステップＳ１９０２の動作は、第１の実施形態の図１４（ａ）に示す画像処理装置１０３の動作のステップＳ１４０１及びステップＳ１４０２とそれぞれ同じであるので、その説明を援用する。画像処理装置１７０３は、ステップＳ１９０３において、仕様記憶部１７０２から入力された仕様、特に、表示面の形状、推奨視聴者位置に基づいて、１ライン毎に各画素の画素位置の移動を伴う補正を行うが、その際に平面の仮想表示面として、拡大された仮想平面を用いる（Ｓ１９０３）。次に、画像処理装置１７０３は、ステップＳ１９０４の再設定の動作を行うが、これは図１４（ａ）に示す画像処理装置１０３の動作のステップＳ１４０４と同じであるので、その説明を援用する。
【００４４】
本実施形態によれば、非平面の表示面１５０１全体に画像が表示され、かつ、画像の全体が好適な立体視の３Ｄ画像を表示することができる。
＜第４の実施形態＞
【００４５】
次に、本発明の第４の実施形態について説明する。
第４の実施形態では、非平面の表示面を持つ表示装置において、非平面の表示面の形状が予め仕様記憶部に登録されていない場合がある。本発明の第４の実施形態では、この問題点を解消する。
図２０は、第４の実施形態に係る画像表示装置２０ｄの構成を示す概略的ブロック図である。
画像表示装置２０ｄは、画像入力部２００１、仕様記憶部２００２、画像処理部２００３、画像表示部２００４、視聴者位置検出部２００５及び表示面形状算出部２００６を含んで構成される。視聴者位置検出部２００５は、他の部材と別体であることができる。また、視聴者位置として標準位置を用いることで、視聴者位置検出部２００５を省略することができる。
【００４６】
画像入力部２００１及び仕様記憶部２００２は、図１（第１の実施形態）に示す画像入力部１０１及び仕様記憶部１０２と同じものである。ただし、仕様記憶部２００２は、画像表示部２００４の表示面の形状の仕様を予め記憶していない。視聴者位置検出部２００５は、図１５（第２の実施形態）に示す視聴者位置検出部１５０５と同じものである。したがって、これらの部材の構成の説明は、第１乃至第２実施形態のものを援用する。
表示面形状算出部２００６では、画像表示部２００４の表示面の形状を計測により算出する。非平面の表示面の形状を算出する方法として、カメラシステムを用いることができるが、このカメラシステムは、例えば、表示面全体を撮像可能な広角カメラを２つ備える方法を用いる。このカメラシステムを画像表示装置２０ｄから所定の距離の位置に設置する。この位置は、視聴者の位置としてもよいし、他の任意の位置としてもよい。非平面の表示面にキャリブレーションパターン（校正用模様）を表示し、表示されたキャリブレーションパターンを２つのカメラで撮像し、得られた２つの画像の視差を、ブロックマッチング法などを用いて検出することで、カメラから非平面の表示面上の各点への距離が分かり、この距離情報から表示面の３次元形状を算出する。
【００４７】
画像処理部２００３には、画像入力部２００１から所望の画像信号が入力され、仕様記憶部２００２から画素ピッチ、解像度などの情報が入力され、視聴者位置検出部２００５から視聴者位置の情報が入力され、そして表面形状算出部２００６からは非平面の表示面の３次元形状に関する情報が入力される。なお、表示面形状算出部２００６が取得した３次元形状の情報は、一旦、仕様記憶部２００２に格納され、そして画像処理部２００３は、仕様記憶部２００２からこの３次元形状を取得してもよい。
画像処理部２００３は、これらの情報に基づいて、第１乃至第３の実施形態において説明をしたようにして、補正された画像信号を得ることができる。すなわち、表示面の形状が算出されれば、上述の第１の実施形態の（５）式で示される直線と表示面のこの３次元形状から交点を算出することで表示面上の点が得られ、好適な３Ｄ画像が表示されるように画素位置の補正をすることができる。
【００４８】
図２１は、図２０に示す画像処理部２００３の動作の手順を示すフローチャートである。
画像処理部２００３は、まず表示面の曲面を計測する（Ｓ２１０１）。次に、画像処理部２００３は、ステップＳ２１０２ないしステップＳ２１０６の動作を順次に行う。ステップＳ２１０２ないしステップＳ２１０６の動作は、第２の実施形態の図１６に示すステップＳ１６０１〜ステップＳ１６０５の動作とそれぞれ同じであるので、第２の実施形態での説明を援用する。また、ステップＳ２１０５では、第３の実施形態の図１９のステップＳ１９０３のような、拡大した仮想平面を用いる補正を行うことができる。
【００４９】
本実施形態によれば、非平面の表示面の形状を計測して認識し、その表示面形状に基づいて画像信号の補正を行うことができ、もって好適な立体視の３Ｄ画像を表示することができる。
【００５０】
本発明の各実施形態は、モノクローム画像またはカラー画像の３Ｄ画像の表示に適用することができる。
【００５１】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、本発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【産業上の利用可能性】
【００５２】
本発明の各実施形態は、非平面の表示面に３Ｄ画像を表示する分野において利用することができる。
【符号の説明】
【００５３】
２０１・・・平面の表示面、２０２・・・表示面２０１上の右画像の点、２０３・・・左画像の点、Ｄ・・・視差、２０４・・・右目の位置、２０５・・・左目の位置、Ｐ・・・視聴者の位置、Ｂ・・・両眼距離、２０６・・・結像点、３０６・・・結像点、５０２・・・平面の表示面６０１上の右画像の点、５０３・・・平面の表示面２０１上の左画像の点、５０６・・・結像点、６０２及び６０４・・・平面の表示面６０１上の右画像の点、６０３及び６０５・・・平面の表示面６０１上の左画像の点、６０６・・・右目の位置、６０７・・・左目の位置、７０４・・・非平面の表示面７０１上の右画像の点、７０５・・・非平面の表示面７０１上の左画像の点、Ｑ・・・非平面の表示面７０１の円弧の中心。
【図１】
2014030152.tif 000003
【図２】
2014030152.tif 000004
【図３】
2014030152.tif 000005
【図４】
2014030152.tif 000006
【図５】
2014030152.tif 000007
【図６】
2014030152.tif 000008
【図７】
2014030152.tif 000009
【図８】
2014030152.tif 000010
【図９】
2014030152.tif 000011
【図１０】
2014030152.tif 000012
【図１１】
2014030152.tif 000013
【図１２】
2014030152.tif 000014
【図１３】
2014030152.tif 000015
【図１４】
2014030152.tif 000016
【図１５】
2014030152.tif 000017
【図１６】
2014030152.tif 000018
【図１７】
2014030152.tif 000019
【図１８】
2014030152.tif 000020
【図１９】
2014030152.tif 000021
【図２０】
2014030152.tif 000022
【図２１】
2014030152.tif 000023
【図２２】
2014030152.tif 000024