(57)【要約】【課題】装置に対して垂直でない観察角度から立体像を正しく観察可能な三次元表示装置を提供する。【解決手段】表示装置は、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、前記表示部を第１の方向から見たとき、前記表示部に第１の表示画像用データを表示して形成される第１の像が第２の方向に傾斜して見えるように変形された第２の像を前記表示部が形成するための第２の表示画像用データを前記表示部に表示させる表示制御部と、を備える。【選択図】図３
2017111246.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、
前記表示部を第１の方向から見たとき、前記表示部に第１の表示画像用データを表示して形成される第１の像が第２の方向に傾斜して見えるように変形された第２の像を前記表示部が形成するための第２の表示画像用データを前記表示部に表示させる表示制御部と、
を備える表示装置。
【請求項２】
請求項１に記載の表示装置において、
観察者が前記表示部に形成される像を観察する第３の方向は、前記第２の方向に対して逆方向である表示装置。
【請求項３】
請求項２に記載の表示装置において、
前記第１の像に対応する画像データは前記第２の像に対応する画像データに変換され、前記第２の像に対応する画像データは中間画像データに変換され、前記中間画像データは前記第２の表示画像用データに変換された表示装置。
【請求項４】
請求項３に記載の表示装置において、
前記第２の方向に対応する角度に基づいて、前記第１の像に対応する画像データは前記第２の像に対応する画像データに変換された表示装置。
【請求項５】
請求項３または４に記載の表示装置において、
前記第２の方向に対応する角度に基づいて、前記１つのマイクロレンズを前記光が透過する画素を特定し、前記特定された画素に基づいて前記中間画像データが前記表示画像用データに変換される表示装置。
【請求項６】
請求項３から５のいずれか一項に記載の表示装置において、
前記第１の像に対応する画像データを前記第２の像に対応する画像データに変換する第１の変換部と、
前記第１の変換部より変換された前記画像データを前記第２の表示画像用データに変換する第２の変換部と、
を備える表示装置。
【請求項７】
請求項６に記載の表示装置において、
前記第２の変換部は、前記第１の変換部より変換された前記画像データを前記中間画像データに変換する第３の変換部と、前記第２の方向に対応する角度に基づいて、前記１つのマイクロレンズを前記光が透過する画素を特定し、前記特定された画素に基づいて前記中間画像データを前記表示画像用データに変換する第４の変換部とを有する表示装置。
【請求項８】
請求項３から７のいずれか一項に記載の表示装置において、
前記表示部に生成される前記像を観察する観察者を検出する検出部を備え、
前記表示制御部は、前記検出部の検出結果から求めた前記第３の方向により前記像を前記第２の方向に傾斜して見えるように変形された像に対応する画像データが変換された前記第２の表示画像用データに基づいて前記表示部に前記像を表示させる表示装置。
【請求項９】
請求項８に記載の表示装置において、
前記検出部が複数の観察者を検出した場合に、前記複数の観察者の状況に基づいて前記複数の観察者から選択した観察者から求めた前記第３の方向を求め、前記表示制御部は、前記検出部の検出結果から求めた前記第３の方向により前記像を前記第２の方向に傾斜して見えるように変形された像に対応する画像データが変換された表示画像用データに基づいて前記表示部に前記像を表示させる表示装置。
【請求項１０】
請求項３から９のいずれか一項に記載の表示装置において、
前記画像データは、前記表示部の表示面から所定の位置に表示された操作のための画像に対応する表示装置。
【請求項１１】
請求項１０に記載の表示装置と、
前記操作のための画像に対して行われた操作を検出する操作検出部と、
前記操作検出部によって検出された操作に応じた処理を実行する実行部と、
を備える電子機器。
【請求項１２】
複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示画像用データを生成する画像処理装置であって、
前記表示部を第１の方向から見たとき、前記表示部に形成される第１の像に対応する画像データを第２の方向に傾斜して見えるように変形された第２の像に対応する画像データに変換する第１の変換部と、
前記第１の変換部より変換された前記第２の像に対応する画像データを前記表示画像用データに変換する第２の変換部と、
を備える画像処理装置。
【請求項１３】
複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示画像用データを生成する画像処理プログラムであって、
前記表示部を第１の方向から見たとき、前記表示部に形成される第１の像に対応する画像データを第２の方向に傾斜して見えるように変形された第２の像に対応する画像データへの変換と、
前記変換された前記第２の像に対応する画像データの前記表示画像用データへの変換と、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、電子機器、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
立体像を表示する表示装置が知られている（たとえば特許文献１）。立体像を表示する表示装置の表示面に対して垂直な方向以外の方向から観察した場合に、垂直方向から観察した立体像に対して変化した立体像が観察されてしまう問題がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２２７９９５号公報
【発明の概要】
【０００４】
請求項１に記載の表示装置は、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、前記表示部を第１の方向から見たとき、前記表示部に第１の表示画像用データを表示して形成される第１の像が第２の方向に傾斜して見えるように変形された第２の像を前記表示部が形成するための第２の表示画像用データを前記表示部に表示させる表示制御部と、を備える。
請求項１１に記載の電子機器は、請求項１０に記載の表示装置と、前記操作のための画像に対して行われた操作を検出する操作検出部と、前記操作検出部によって検出された操作に応じた処理を実行する実行部と、を備える。
請求項１２に記載の画像処理装置は、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示画像用データを生成する画像処理装置であって、前記表示部を第１の方向から見たとき、前記表示部に形成される第１の像に対応する画像データを第２の方向に傾斜して見えるように変形された第２の像に対応する画像データに変換する第１の変換部と、前記第１の変換部より変換された前記第２の像に対応する画像データを前記表示画像用データに変換する第２の変換部と、を備える。
請求項１３に記載の画像処理プログラムは、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示画像用データを生成する画像処理プログラムであって、前記表示部を第１の方向から見たとき、前記表示部に形成される第１の像に対応する画像データを第２の方向に傾斜して見えるように変形された第２の像に対応する画像データへの変換と、前記変換された前記第２の像に対応する画像データの前記表示画像用データへの変換と、をコンピュータに実行させる。
【図面の簡単な説明】
【０００５】
【図１】本発明の実施の形態による三次元表示装置の要部構成を説明するブロック図
【図２】実施の形態による三次元表示装置が備えるモニタの構成の一例を説明する図
【図３】モニタと観察者によって観察される立体像との関係を模式的に示す断面図
【図４】第１変換部の説明図
【図５】表示画素と表示用マイクロレンズアレイと観察される変形立体像との関係を示した図
【図６】パターンを二次元的に展開した場合を示す図
【図７】表示用マイクロレンズとパターン光断面との関係を説明する図
【図８】表示用マイクロレンズとパターンとの関係を説明する図
【図９】領域分割を基点マイクロレンズに展開した場合のパターンを説明する図
【図１０】基点マイクロレンズの中心位置に対して光点が偏心した場合のパターンを説明する図
【図１１】投影領域の形状の一例を示す図
【図１２】パターンを二次元的に展開した場合を示す図
【図１３】変形例における電子機器の要部構成を説明するブロック図
【発明を実施するための形態】
【０００６】
（第１の実施の形態）
本実施の形態の三次元表示装置は、画像を表示するためのモニタを有するパーソナルコンピュータ等により構成される。この三次元表示装置は、三次元画像データにより表現される立体像（三次元像）を観察可能に表示する。三次元画像データは、例えばＣＯＬＬＡＤＡ（登録商標）ドキュメントなどの、周知の三次元コンピュータグラフィックソフトウェア等によって生成された三次元モデルデータである。
【０００７】
図１は、実施の形態による三次元表示装置１００の要部構成を説明するブロック図である。三次元表示装置１００は、制御回路１０１、ＨＤＤ１０２、モニタ制御回路１０３、モニタ１０４、メモリ１０５、入力部材１０６、メモリカードインタフェース１０７、および外部インタフェース１０８を備える。
【０００８】
入力部材１０６は、ユーザによって操作されるスイッチやボタンを有するキーボードや、マウス等の操作部材である。入力部材１０６は、モニタ１０４に表示されたメニュー画面からユーザが所望するメニューや設定を選択し、選択したメニューや設定を実行させる際にユーザにより操作される。
【０００９】
ＨＤＤ１０２には、たとえばデジタルカメラで撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース１０８は、たとえばＵＳＢインタフェースケーブルや無線伝送路を介してデジタルカメラ等の外部機器とデータ通信を行う。三次元表示装置１００は、メモリカードインタフェース１０７や外部インタフェース１０８を介してメモリカード２０７ａや外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路１０１により制御されてＨＤＤ１０２に記録される。ＨＤＤ１０２には、制御回路１０１で実行される各種のプログラム等も記録される。
【００１０】
制御回路１０１は、三次元表示装置１００の制御を行うマイクロコンピュータであり、ＣＰＵやＲＯＭその他周辺回路により構成される。制御回路１０１は、三次元入力部１０１ａ、第１変換部１０１ｂ、第２変換部１０１ｃ、第３変換部１０１ｄ、および表示制御部１０１ｅを機能として備える。三次元入力部１０１ａは、たとえばＨＤＤ１０２に記録されている三次元画像データを読み出す。この三次元画像データは、前述の通り、立体像の三次元モデルデータである。三次元表示装置１００は、この三次元画像データに基づき、後述するモニタ１０４と交差する方向に奥行を持った立体像を表示する。立体像は、たとえば各種の操作入力を行うためのコマンドボタンやコマンドボタン上の文字等の操作用指標である。以下の説明では、三次元入力部１０１ａにより読み出された三次元画像データを、三次元原画像データと称する。
【００１１】
第１変換部１０１ｂは、三次元入力部１０１ａにより読み出された三次元原画像データを、三次元変形画像データに変換する。第２変換部１０１ｃは、三次元変形画像データを、二次元中間画像データに変換する。第３変換部１０１ｄは、二次元中間画像データを、表示用二次元画像データに変換する。これらの各変換部の動作、および、各変換部が生成する画像データについては、後に詳述する。
【００１２】
表示制御部１０１ｅは、第３変換部１０１ｄにより変換された表示用二次元画像データに基づいて、後述するモニタ１０４が備える表示画素を制御する。これにより、モニタ１０４の上部に、所定角度からみた三次元原画像データに対応する立体像が表示される。
【００１３】
メモリ１０５は制御回路１０１のワーキングメモリであり、たとえばＳＤＲＡＭにより構成される。モニタ１０４は、たとえば液晶モニタである。モニタ１０４は、モニタ制御回路１０３により制御されて、画像、各種設定を行うためのメニュー画面などが表示される。
【００１４】
図２を参照して、モニタ１０４について説明する。なお、図２においては、モニタ１０４の表示面の水平方向をｘ軸、鉛直方向をｙ軸とし、ｘｙ平面（モニタ１０４の表示面）に垂直な方向をｚ軸として座標系を設定する。図２（ａ）は、モニタ１０４をｚ軸方向ユーザ側から見た場合のモニタ１０４の斜視図であり、図２（ｂ）は図２（ａ）を一部拡大して示す図であり、図２（ｃ）はｚ軸方向におけるモニタ１０４の断面を模式的に示す図である。
【００１５】
図２（ａ）、（ｂ）に示すように、モニタ１０４は、表示器２０１と、表示用マイクロレンズアレイ２０２とを備える。表示器２０１は、たとえばバックライトを有する液晶表示器や有機ＥＬ表示器等により構成される。表示器２０１は、二次元状に配置された複数の表示画素２１１を有する。これら複数の表示画素２１１は、それぞれ、単一の表示用マイクロレンズ２２０に対応する。以下の説明において、ある１つの表示用マイクロレンズ２２０に対応する表示画素２１１のグループを、表示画素群２１０と称する。また、以下の説明において、表示器２０１の、複数の表示画素２１１が配列された面を、表示面２１２と称する。表示面２１２は、表示用マイクロレンズアレイ２０２に対向する面である。なお、本実施の形態においては、１個の表示画素群２１０には、１６×１６個の表示画素２１１が含まれるものとする。ただし、図２においては、図示の都合上、表示画素２１１の個数を実際よりも少なく描いている。表示画素２１１は、上述したモニタ制御回路１０３により制御されて、表示用二次元画像データに対応して発光する。
【００１６】
表示用マイクロレンズアレイ２０２は、二次元状に配列された複数の表示用マイクロレンズ２２０により構成される。図２（ｂ）に示すように、各表示用マイクロレンズ２２０は、所定ピッチｄに従って配列されている。また、図２（ｃ）に示すように、表示用マイクロレンズアレイ２０２はｚ軸方向ユーザ側に、表示用マイクロレンズ２２０の焦点距離ｆだけ表示画素２１１から離れた位置に配置される。各表示用マイクロレンズ２２０は、画像データに応じて表示画素２１１からの光をｚ軸方向ユーザ側の所定の像面に投影する。
【００１７】
なお、本実施の形態では、円形形状を有する表示用マイクロレンズ２２０を二次元状に正方配列しているが、表示用マイクロレンズアレイ２０２をこれとは異なる構成にしてもよい。例えば、略六角形形状を有する表示用マイクロレンズ２２０をハニカム状に配列してもよい。
【００１８】
（モニタ１０４の観察角度の説明）
図３は、モニタ１０４と観察者によって観察される立体像との関係を模式的に示す断面図である。本実施の形態のモニタ１０４は、観察者が、表示用マイクロレンズアレイ２０２に対して、垂直でない所定の観察角度ηから観察することを前提として構成されている。モニタ制御回路１０３が、第３変換部１０１ｄにより変換された表示用二次元画像データを表示面２１２に表示させると、観察者からは、表示用マイクロレンズアレイ２０２の上方に三次元像３００が観察される。
【００１９】
三次元入力部１０１ａ（図１）が読み出す三次元原画像データは、三次元像３００の三次元モデルデータである。第１変換部１０１ｂ、第２変換部１０１ｃ、および第３変換部１０１ｄによって、この三次元モデルデータが表示用二次元画像データに変換される。表示用二次元画像データは、表示面２１２に表示すると、観察角度ηから三次元像３００が観察されるような画像データである。図３では、三次元像３００を直方体として図示している。図３の例では、観察者からは、少なくとも直方体の上面３０１と前面３０２とが観察される。
【００２０】
（第１変換部１０１ｂの説明）
図４は、第１変換部１０１ｂの説明図である。三次元像３００を構成する多数の点像（光点）を、Ｐ（ｘ，ｙ，ｚ）で表すものとする。第１変換部１０１ｂは、次式（１）により、点像Ｐ（ｘ，ｙ，ｚ）により構成される三次元像３００を、点像Ｐ’（ｘ，ｙ，ｚ）により構成される変形三次元像３１０に変換する。
【００２１】
【数１】
2017111246.tif 000003
【００２２】
上式（１）によって、点像Ｐ（ｘ，ｙ，ｚ）は、ｘ座標およびｚ座標を変化させずに、ｙ座標がｚ・ｔａｎηだけ減じられた位置の点像Ｐ’（ｘ，ｙ，ｚ）に移動される。例えば、Ｃ点はＣ’点に、Ｂ点はＢ’点に移動する。ｚ＝０のＡ点については移動せず、Ａ点＝Ａ’点となる。すなわち、第１変換部１０１ｂは、三次元像３００を構成する点像Ｐ（ｘ，ｙ，ｚ）を、観察者と反対の方向に、表示面２１２からの距離および観察角度ηに基づく量だけ水平移動させることにより、三次元像３００を変形三次元像３１０に変形させる。図４に示した例において、観察者と反対の方向とは、図４の紙面左方向である。また、表示面２１２からの距離とは、ｚ座標の値である。以上のように、第１変換部１０１ｂは、三次元原画像データを、観察角度ηに基づき三次元像３００を変形させた変形三次元像３１０に関する三次元変形画像データに変換する。
【００２３】
（第２変換部１０１ｃの説明）
第２変換部１０１ｃは、変形三次元像３１０に関する三次元変形画像データを、二次元中間画像データに変換する。二次元中間画像データは、表示器２０１の表示面２１２に表示すると、観察者が表示用マイクロレンズアレイ２０２を垂直方向から観察したときに、変形三次元像３１０が観察されるような二次元画像データである。以下、このような二次元画像データの作成方法について詳述する。
【００２４】
図５は、表示画素２１１と、表示用マイクロレンズアレイ２０２と、観察される変形三次元像３１０との関係を示した図である。上述したように、表示用マイクロレンズアレイ２０２は、表示画素２１１から、表示用マイクロレンズ２２０の焦点距離ｆだけｚ軸方向に離れた位置に設けられている。いま、変形三次元像３１０を構成する多数の点像のうち、ある１つの点像に相当する光点ＬＰを考える。なお、図５においては、光点ＬＰは、表示用マイクロレンズアレイ２０２からｚ軸方向ユーザ側に距離４ｆだけ離れた位置にあるものとする。また、図５では、観察者の観察方向を、表示用マイクロレンズアレイ２０２に対して垂直な方向としている。
【００２５】
複数の表示画素２１１の各々から発せられた光束は、それぞれいずれか１つの表示用マイクロレンズ２２０を通過して、観察者に向かう。それら複数の表示画素２１１の各々から発せられた光束のうち、ある一群の光束ＬＦが、光点ＬＰを通過して観察者に向かう。観察者は、光点ＬＰを通過して観察者に向かってきた複数の光束ＬＦによって、光点ＬＰを認識する（視認する）。従って、光点ＬＰを構成する複数の光束ＬＦを特定し、それら複数の光束ＬＦが発せられる表示画素２１１を特定し、特定された表示画素２１１の各々で、光点ＬＰに対応する表示を行えば、観察者に光点ＬＰを観察させることができる。
【００２６】
光点ＬＰに対応する表示画素２１１、すなわち光点ＬＰを構成する複数の光束ＬＦが発せられる表示画素２１１を特定する際には、逆方向の光束を考えればよい。つまり、複数の光束ＬＦが、光点ＬＰから表示用マイクロレンズアレイ２０２の方向に向かうものとして、それらの光束ＬＦが入射する表示画素２１１を特定すればよい。このような考え方は、いわゆるプレンオプティクスとして知られている。
【００２７】
光点ＬＰからの光束ＬＦは、複数個の表示用マイクロレンズ２２０を通過して、表示用マイクロレンズ２２０から４ｆ／３の位置で焦点を結ぶ。しかし、表示用マイクロレンズ２２０は表示画素２１１からｚ軸方向に距離ｆだけ離れた位置に配置されているので、各表示用マイクロレンズ２２０を通過した光束ＬＦは、入射した表示用マイクロレンズ２２０のそれぞれに対応する表示画素２１１で広がりを持った像となる。以後、この広がりを持った像を光断面と呼び、光断面の形状をパターンＰｔと呼ぶ。
【００２８】
図６に、上記のパターンＰｔを二次元的に展開した場合を示す。なお図６では、表示用マイクロレンズ２２０の外形形状を、円型ではなく正方形で図示している。プレンオプティクスの原理によれば、図５に示す光点ＬＰの光強度（輝度）が、図６に示すパターンＰｔに分配されることになる。図６においては、パターンＰｔを斜線を付して示す。図６では、光点ＬＰを構成する複数の光束ＬＦが、５×５の計２５個の表示用マイクロレンズ２２０に分配されている。
【００２９】
モニタ１０４では、上述したプレンオプティクスの原理を逆にすることによって、すなわち表示画素２１１から輻射される光束を、表示用マイクロレンズ２２０を介して投影することにより、奥行きを有する変形三次元像３１０が表示される。具体的には、図６に示すパターンＰｔが、表示器２０１を構成する表示画素２１１上に割り当てられる。つまり、表示画素２１１に割り当てられたパターンＰｔは、表示用マイクロレンズ２２０によって観察者側に投影され、光点ＬＰに点像を形成する。各パターンＰｔに含まれる表示画素２１１から輻射される多方向に進む光束には、その中に光点ＬＰに集光する方向の光束、すなわち上述した入射光束ＬＦの表示画素２１１への入射角度と同一の角度で輻射する光束が含まれるからである。このため、表示用マイクロレンズアレイ２０２からｚ軸方向に距離４ｆだけ離れた位置に点像が形成される。
【００３０】
図７を用いて、いくつ、あるいは、どの表示用マイクロレンズ２２０といずれのパターンＰｔとが対応するかについて、光点ＬＰからの光束ＬＦの広がりを表示用マイクロレンズ２２０上に投影することにより説明する。なお、図７では、光点ＬＰから広がる光束ＬＦは、光点ＬＰのｚ軸方向の位置が表示用マイクロレンズ２２０の焦点距離ｆの場合と、その二倍の距離２ｆの場合とについて示している。図７においては、光点ＬＰのｚ軸方向の位置が距離ｆの場合の光束ＬＦの広がり（領域）ｒ１を破線で示し、距離２ｆの場合の領域ｒ２を一点鎖線で示す。光点ＬＰが表示用マイクロレンズ２２０の焦点距離ｆの位置にあると、光束ＬＦの領域ｒ１は表示用マイクロレンズ２２０で規定されているので、光束ＬＦは１個の表示用マイクロレンズ２２０内に入射する。以上により、１個の光点ＬＰに対応する表示用マイクロレンズ２２０が決まる。
【００３１】
光点ＬＰのｚ軸方向の位置が表示用マイクロレンズ２２０の焦点距離ｆのときは、光束ＬＦはその表示用マイクロレンズ２２０の直下の領域全体に円形開口の光として広がる。このため、正方領域に内接する円の内部に含まれるすべての表示画素２１１が発光すると、パターンＰｔが投影されて光点ＬＰで空中に点像が形成される。光点ＬＰのｚ軸方向の位置の絶対値が焦点距離ｆより小さい場合には、光束ＬＦは表示用マイクロレンズ２２０の直下の領域内で収束せずに広がる。しかし、光点ＬＰから広がる光束ＬＦの角度は表示用マイクロレンズ２２０のＦ値で開口の最大（Ｆの最小）が規定されるので、入射する光束ＬＦは広がり角の制限を受け、パターンＰｔは被覆領域にとどまる。
【００３２】
ここで光点ＬＰのｚ軸方向の位置が距離２ｆにある場合について説明する。図８に、この場合に関係する表示用マイクロレンズ２２０を示す。図８（ａ）に示すように、関係する表示用マイクロレンズ２２０は自身、すなわち光点ＬＰとｚ軸方向について同軸上に配置された表示用マイクロレンズ２２０（以後、基点マイクロレンズ２２０ａ）とそれに隣接する８個の表示用マイクロレンズ２２０である。表示用マイクロレンズ２２０による開口の制限を考えるとき、図８（ａ）において斜線で示す被覆領域のなかにパターンＰｔが存在することになる。この場合、各表示用マイクロレンズ２２０に対応するパターンＰｔは、図８（ｂ）の斜線で示す領域となる。
【００３３】
図８（ｂ）に示すように、ひとつの基点マイクロレンズ２２０ａの被覆領域が分割され、隣接する表示用マイクロレンズ２２０に配分されている。分割され配分された被覆領域（部分領域）を積算した場合の全領域は、ひとつの表示用マイクロレンズ２２０の開口領域になる。そのため、どのような位置の光点ＬＰでもパターンＰｔの全領域の大きさは同じになるので、部分領域を積算して全領域を算出する場合には、それぞれの部分領域が所属する表示用マイクロレンズ２２０が決まればよいことになる。
【００３４】
図７において、光点ＬＰのｚ軸方向の位置と、倍率つまり基点マイクロレンズ２２０ａに隣接する表示用マイクロレンズ２２０との個数と関係について示したが、これを仮想的な開口領域に適用する。たとえば、倍率で縮小した表示用マイクロレンズ２２０の配列で開口領域を分割し、これで定義された表示用マイクロレンズ２２０の中の同じ位置に開口領域の断片を配するという方法をとる。開口領域に外接する正方形を倍率２で縮小し、表示用マイクロレンズ２２０の配列で開口領域を分割（領域分割）した場合を例に説明する。
【００３５】
図９は、上記の領域分割を基点マイクロレンズ２２０ａに展開した場合のパターンＰｔを示している。同様の領域分割を倍率に応じて行うと、倍率、すなわち光点ＬＰに対するパターンＰｔが得られる。具体的には、表示用マイクロレンズ２２０の径（マイクロレンズの一辺の大きさ）をｇとするとき、ｇ/ｍ幅の格子で開口領域が分割される。倍率は、光点ＬＰの高さ（位置）ｙとマイクロレンズの焦点距離ｆとの比ｍ＝ｙ/ｆで表すことができる。比ｍには負の符号も存在する。比ｍの符合が負の場合には、表示用マイクロレンズ２２０より表示画素２１１側に光点ＬＰがあるものとする。
【００３６】
表示用マイクロレンズ２２０による被覆領域と表示用マイクロレンズ２２０の個数との積は、ほぼ表示画素群２１０に含まれる表示画素２１１の全画素数に等しくなる。このため、１個の表示用マイクロレンズ２２０内で偏心した複数の点のそれぞれに対応する光点ＬＰを形成することは、表示画素２１１に再現されたパターンＰｔを重畳して投影することに等しい。すなわち、各偏心した光点ＬＰからの光束ＬＦが重畳して表示画素２１１上に存在している。ただし、倍率が１倍のときには、この演算は、単なる内挿作業になって、分解能向上には実質的に寄与しない。これは、表示用マイクロレンズ２２０頂点近辺に結像すれば、光学的に奥行き方向の情報が失われることを示している。
【００３７】
図１０は、基点マイクロレンズ２２０ａの中心位置に対して左に偏心した光点ＬＰについての分割領域を表したものある。基点マイクロレンズ２２０ａ（レンズ径をｇとする）の中心から図１０の左方向へｐだけ偏心して、光点ＬＰの高さ（位置）が２ｆの場合について説明する。なお、図１０においては、点Ｏ１は偏心した光点ＬＰ、点Ｏ２は表示用マイクロレンズ２２０の中心位置を示す。この場合、図９に示す表示用マイクロレンズ２２０を図中の右方向へｐだけずらし、開口領域を分割すれば、図１０に示す場合の分割領域が得られる。
【００３８】
表示用マイクロレンズ２２０を１６個に分割するとすれば、中心位置の座標を（０，０）として、ｘ軸ｙ軸に対して、それぞれ−ｇ/２、−ｇ/４、０、ｇ/４、ｇ/２の位置のパターンとそれによる分割領域および、全領域の積算をおこなえば、ひとつの表示用マイクロレンズ２２０に対して１６点の光点群を得ることができる。
【００３９】
次に、観察者が垂直でない観察角度ηから変形三次元像３１０を観察する場合の、光点ＬＰの構成方法について説明する。観察者が観察角度ηから観察する場合、図５に示した光点ＬＰを通過して観察者の方向すなわち紙面右上上方に向かう光束を考える必要がある。つまり、図５の紙面右上上方から発せられ光点ＬＰを通過する光束が、どのようなパターンＰｔで表示用マイクロレンズアレイ２０２に広がるかを考えなければならない。
【００４０】
図５に示した、観察者が垂直方向から観察する場合には、１つの表示用マイクロレンズアレイ２０２には、その直下に位置する１６×１６個の表示画素２１１が対応していた。換言すると、１つの表示用マイクロレンズアレイ２０２によって、その直下に位置する１６×１６個の表示画素２１１の像が観察者方向すなわち垂直方向に投影されていた。これに対して、観察者が観察角度ηの方向から観察する場合には、観察者方向には、１つの表示用マイクロレンズアレイ２０２によって、これとは異なる位置の、これとは異なる個数の表示画素２１１の像が投影される。以下の説明では、１つの表示用マイクロレンズ２０２によって投影される表示面２１２上の領域を、投影領域と呼ぶ。
【００４１】
以下、観察角度ηに対応する投影領域の形状について説明する。表示用マイクロレンズ２２０のＦ数をＣとし、表示用マイクロレンズ２２０を介して観察者に向かう光束の開き角（開口角）を２φとすると、Ｆ数と開き角との関係は次式（２）により表すことができる。
ｔａｎφ  ＝  １／（２Ｃ）    ・・・（２）
【００４２】
観察者が垂直方向から表示用マイクロレンズアレイ２０２を観察する場合、１つの表示用マイクロレンズアレイ２０２によって投影される表示面２１２上の投影領域は、次式（３）により表される円で囲まれた領域である。
ｘ２＋ｙ２  ＝  （ｆ／ｋ）２    …（３）
上式（３）において、ｋ＝２Ｃである。また、ｆは表示用マイクロレンズ２２０の焦点距離である。
【００４３】
これに対して、観察者が観察角度ηから観察する場合、１つの表示用マイクロレンズアレイ２０２によって投影される表示面２１２上の投影領域は、次式（４）により表される楕円で囲まれた領域である。
【００４４】
【数２】
2017111246.tif 000004
上式（４）において、Ｌ＝ｔａｎηである。
【００４５】
図１１は、投影領域の形状の一例を示す図である。図１１には、表示用マイクロレンズ２２０の焦点距離ｆが２ｍｍ、表示用マイクロレンズ２２０のＦ数が２．８７５（領域径０．７ｍｍ）、観察方向ηが４５度の場合における投影領域の形状を図示している。図１１に例示するように、表示面２１２上の投影領域の形状は、図３に示した観察方向ηが大きいほど、ｙ方向に伸びた楕円になる。
【００４６】
図１２は、ｚ軸方向の位置が距離２ｆにある光点ＬＰを観察方向ηから観察した場合に関係する表示用マイクロレンズ２２０を示す図である。図１１に例示したように、表示面２１２上の投影領域の形状は円型ではなく楕円形になるので、図８に示したパターンＰｔも、これに応じて図１２のように変化する。図１２（ａ）は、図８（ａ）に対応するパターンＰｔを観察方向ηに関するパターンＰｔに修正したものである。同様に、図１２（ｂ）は、図８（ｂ）に対応するパターンＰｔを観察方向ηに関するパターンＰｔに修正したものである。
【００４７】
なお、図１２（ａ）から明らかなように、投影領域が楕円形になることによって、隣接する表示用マイクロレンズ２２０に対応する投影領域同士が一部重複してしまう。このように投影領域同士が重複する場合には、隣接する表示用マイクロレンズ２２０同士のうちの一方について、重複する領域に相当する部分を表示用マイクロレンズアレイ２０２から削り取り、投影されなくすることが望ましい。
【００４８】
第２変換部１０１ｃは、変形三次元像３１０を構成する多数の点像の各々について、図１２等を用いて説明したように、その点像を通過して観察者に向かう複数の光束ＬＦが発せられる位置（表示画素２１１）を表示面２１２上に特定する。第２変換部１０１ｃは、点像の光量を特定した表示画素２１１の各々に分配することにより、三次元変形画像データを二次元中間画像データに変換する。このようにして変換された二次元中間画像データは、表示器２０１に表示すれば、垂直方向から表示用マイクロレンズアレイ２０２を観察すると変形三次元像３１０が観察されるような二次元画像データとなっている。
【００４９】
（第３変換部１０１ｄの説明）
第３変換部１０１ｄは、上述した手順により作成された二次元中間画像データを、図１１に例示したような投影領域の形状に基づき、表示用二次元画像データに変換する。すなわち、第３変換部１０１ｄは、観察角度ηに対応する方向に投影される表示面２１２上の投影領域の形状に基づき、二次元中間画像データを表示用二次元画像データに変換する。
【００５０】
変換前の二次元中間画像データを構成する各々の画素をＱ（ｘ，ｙ）と表記し、返還後の表示用二次元画像データを構成する各々の画素をＱ’（Ｘ，Ｙ）と表記する。第３変換部１０１ｄは、次式（５）、（６）に基づき、Ｑ（ｘ，ｙ）からＱ’（Ｘ，Ｙ）に変換する。
【００５１】
【数３】
2017111246.tif 000005
【００５２】
第３変換部１０１ｄにより変換された表示用二次元画像データは、表示器２０１の表示面２１２に表示すると観察者が表示用マイクロレンズアレイ２０２を垂直でない観察角度ηから観察したときに三次元像３００が観察されるような二次元画像データである。すなわち、表示用二次元画像データを表示面２１２に表示すると、表示面２１２上の複数の表示画素２１１からの光束が、複数の表示用マイクロレンズ２２０から選択された１つ乃至複数の表示用マイクロレンズ２２０によって三次元像３００の点像を形成する。
【００５３】
以上で説明した実施の形態による三次元表示装置１００によれば、以下の作用効果が得られる。
（１）表示用マイクロレンズアレイ２０２には、複数の表示用マイクロレンズ２２０が二次元状に配列される。表示器２０１は、観察者から表示用マイクロレンズアレイ２０２を介して観察される表示面２１２を有する。表示器２０１は、所定の三次元像３００に関する三次元原画像データに基づく表示用二次元画像データを表示面２１２に表示し、観察者が表示用マイクロレンズアレイ２０２を垂直でない観察角度ηから観察すると、表示面２１２上の複数の表示画素２１１からの光束が、複数の表示用マイクロレンズ２２０から選択された１つまたは複数の表示用マイクロレンズ２２０によって三次元像３００の点像を形成する。このようにしたので、装置に対して垂直でない観察角度から立体像を正しく観察することができる。
【００５４】
（２）制御回路１０１は、三次元原画像データを表示用二次元画像データに変換する変換部として機能する。表示器２０１は、複数の表示用マイクロレンズ２２０の各々に対応して表示画素２１１が二次元状に配列された表示画素群２１０を表示面２１２上に有する。表示器２０１は、変換部により変換された表示用二次元画像データを複数の表示画素群２１０に表示する。このようにしたので、複数の三次元原画像データを、適宜切り替えて表示することができる。また、三次元表示の基となるデータは、一般的な三次元モデルデータである三次元原画像データでよいので、三次元表示装置１００を、特別なデータを必要としない汎用的な装置とすることができる。
【００５５】
（３）制御回路１０１は、第１変換部１０１ｂと第２変換部１０１ｃと第３変換部１０１ｄとを有する。第１変換部１０１ｂは、三次元原画像データを観察角度ηに基づき三次元像３００を変形させた変形三次元像３１０に関する三次元変形画像データに変換する。第２変換部１０１ｃは、三次元変形画像データを二次元中間画像データに変換する。第３変換部１０１ｄは、二次元中間画像データを観察角度ηに基づき表示用二次元画像データに変換する。このようにしたので、三次元表示装置１００を、特別なデータを必要としない汎用的な装置とすることができる。
【００５６】
（４）第２変換部１０１ｃは、三次元変形画像データを、表示器２０１の表示面２１２に表示すると観察者が表示用マイクロレンズアレイ２０２を垂直方向から観察したときに変形三次元像３１０が観察される二次元中間画像データに変換する。このようにしたので、装置に対して垂直でない観察角度から立体像を正しく観察することができる。
【００５７】
（５）第３変換部１０１ｄは、複数の表示用マイクロレンズ２２０の各々を介して観察角度ηに対応する方向に投影される表示面２１２上の投影領域の形状に基づき、二次元中間画像データを表示用二次元画像データに変換する。このようにしたので、装置に対して垂直でない観察角度から立体像を正しく観察することができる。
【００５８】
（６）第２変換部１０１ｃは、変形三次元像３１０を構成する複数の点像の各々について、当該点像を通過して観察者に向かう複数の光束が発せられる位置を表示面２１２上に特定することにより、三次元変形画像データを二次元中間画像データに変換する。このようにしたので、装置に対して垂直でない観察角度から立体像を正しく観察することができる。
【００５９】
（７）第１変換部１０１ｂは、三次元像３００の各部分を観察者と反対の方向に、表示面２１２からの距離および観察角度ηに基づく量だけ水平移動させることにより、三次元像３００を変形三次元像３１０に変形させる。このようにしたので、装置に対して垂直でない観察角度から立体像を正しく観察することができる。
【００６０】
以上で説明した実施の形態による三次元表示装置１００を、以下のように変形できる。
三次元表示装置１００は、実施の形態において例に挙げたモニタを有するパーソナルコンピュータ等に限定されるものではなく、モニタを備える電子機器に組み込まれても良い。この場合、電子機器としては、例えば、現金自動預払機（ＡＴＭ装置）や、公共交通機関の乗車券、定期券等の自動券売機や、映画館等の入場券等の自動券売機や、図書館や美術館等の各種情報端末装置や、車載ナビゲーション装置等に用いることができる。
【００６１】
図１３は本変形例における電子機器７００の要部構成のブロック図を示す。図１３の電子機器７００においては、図１に示す実施の形態の三次元表示装置１００の構成と同一の構成については、同一の符号を付与する。電子機器７００は、実施の形態の三次元表示装置１００が有する入力部材１０６に代えて、検出器１１０を有し、制御回路１０１は実施の形態において説明した機能に加えてさらに実行部１０１ｆを有する。
【００６２】
電子機器のモニタ１０４には、実施の形態のようにして、例えばプッシュボタンやキーボードを構成するキー等の操作用指標が表示される。検出器１１０は、ユーザによる表示された操作用指標への操作を検出し、ユーザが操作用指標に対して行った操作の位置（ｘｙ平面に平行な面上の位置）を示す検出信号を制御回路１０１へ出力する。検出器１１０としては、例えば、ユーザの操作に応じてモニタ１０４の上面の静電容量の変化を検出する静電容量パネルや、モニタ１０４の上部を撮影することによりユーザの操作位置を検出する撮像装置等を用いることができる。実行部１０１ｆは、検出器１１０から入力した検出信号に基づいて、ユーザが操作した位置に表示された操作用指標に対応する処理を実行する。例えば、電子機器７００が自動券売機であれば実行部１０１ｆは発券のための処理を実行し、車載ナビゲーション装置であれば実行部１０１ｆは経路検索等の処理を実行する。この結果、ユーザは、表示された操作用指標を操作することにより、所望する処理を電子機器７００に実行させることができる。
【００６３】
別の変形例として、観察角度ηを任意に変更可能に構成することもできる。例えば、視線センサや姿勢センサ等のセンサを三次元表示装置に追加する。これらのセンサによって、観察者の観察角度ηをリアルタイムに検出することができる。観察角度ηが変化したとき、第１変換部１０１ｂ、第２変換部１０１ｃ、および第３変換部１０１ｄは、三次元入力部１０１ａにより読み出された三次元原画像データを、現在の観察角度ηに基づき、表示用二次元画像データに変換する。表示制御部１０１ｅは、変換された新たな表示用二次元画像データを、表示面２１２に表示させる。このようにすることで、観察者がどのような角度から三次元表示装置を観察した場合であっても、適切に三次元像３００を表示することができる。
【００６４】
上記の変形例において、観察者が複数存在する場合、全ての観察者にとって最適な観察角度ηを定めることは困難である。この場合には、何らかの方法でいずれかの観察者を選択し、その観察者に合わせた観察角度ηを設定することが望ましい。以下、観察角度ηを設定する対象となる観察者を特定する方法の例を挙げる。
（１）表示面２１２を見ている人物
三次元表示装置の周囲に存在する人物から、表示面２１２を見ている人物を特定し、そのような人物のうちいずれかの人物に合わせた観察角度ηを設定する。表示面２１２を見ていない人物は、通行人等であると判断して、観察角度ηを設定する対象から除外する。
（２）三次元表示装置を操作している人物
三次元表示装置を操作している人物に合わせた観察角度ηを設定する。
（３）表示面２１２に最も近い人物
表示面２１２からの距離が最も近い人物に合わせた観察角度ηを設定する。なお、表示面２１２からの距離は、種々の方法で計測することができる。例えばカメラで三次元表示装置の周囲を撮像し、撮像した画像に写っている顔のサイズが大きいほど、その人物は表示面２１２に近い位置にいると判断することができる。また、距離センサ等を用いて表示面２１２からの距離を測定することもできる。
（４）立ち止まっている人物
三次元表示装置の周囲に存在する人物から、移動していない人物を特定し、そのような人物のうちいずれかの人物に合わせた観察角度ηを設定する。
（５）観察角度が最も垂直に近い人物
三次元表示装置の周囲に存在する人物の各々について、適切な観察角度ηを算出する。算出された複数の観察角度ηから、最も垂直に近い観察角度ηを設定する。換言すると、観察角度ηが最も垂直に近い人物に合わせて観察角度ηを設定する。
（６）表示面２１２の中央部を観察している人物
表示面２１２を観察している人物の各々について、表示面２１２のどの部分を観察しているかを調べ、観察位置が表示面２１２の中央部に最も近い人物に合わせて観察角度ηを設定する。
【００６５】
別の変形例として、三次元表示装置が第１変換部１０１ｂ、第２変換部１０１ｃ、および第３変換部１０１ｄを有していない構成とすることもできる。この場合、予め表示用二次元画像データをＨＤＤ１０２等に記憶しておく。表示制御部１０１ｅは、ＨＤＤ１０２等に記憶されている表示用二次元画像データを表示面２１２に表示する。
【００６６】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００６７】
１００…三次元表示装置、１０１…制御回路、１０１ｂ…第１変換部、１０１ｃ…第２変換部、１０１ｄ…第３変換部、１０１ｅ…表示制御部、１０１ｆ…実行部、１０４…モニタ、１１０…検出器、７００…電子機器
【図１】
2017111246.tif 000006
【図２】
2017111246.tif 000007
【図３】
2017111246.tif 000008
【図４】
2017111246.tif 000009
【図５】
2017111246.tif 000010
【図６】
2017111246.tif 000011
【図７】
2017111246.tif 000012
【図８】
2017111246.tif 000013
【図９】
2017111246.tif 000014
【図１０】
2017111246.tif 000015
【図１１】
2017111246.tif 000016
【図１２】
2017111246.tif 000017
【図１３】
2017111246.tif 000018