(57)【要約】【課題】二次元表示されるテクスチャの画質低下を防ぐ。【解決手段】表示装置は、複数の画素を有し、複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、画像データを鮮鋭にする処理が行われた画像の画像データを変換した表示用画像データを表示部に表示して像を形成させる表示制御部と、を備える。【選択図】図１
2017107134.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、
画像を鮮鋭にする処理が行われた前記画像の画像データを変換した表示用画像データを前記表示部に表示して前記像を形成させる表示制御部と、を備える表示装置。
【請求項２】
請求項１に記載の表示装置において、
前記画像データを鮮鋭にする処理は、前記画像データから高空間周波数成分を抽出して、抽出された前記高空間周波数成分を前記画像データに合成する処理である表示装置。
【請求項３】
請求項２に記載の表示装置において、
前記抽出された前記高空間周波数成分を前記画像データに合成する処理は、前記抽出された前記高空間周波数成分に輪郭を強調する処理が行われ、前記輪郭を強調する処理が行われた前記高空間周波数成分を前記画像データに合成する処理である表示装置。
【請求項４】
請求項１に記載の表示装置において、
前記画像データを鮮鋭にする処理は、前記画像データの輪郭を強調する処理である表示装置。
【請求項５】
請求項１に記載の表示装置と、
前記画像データを鮮鋭にする処理は、前記画像データのコントラストを強調する処理である表示装置。
【請求項６】
請求項１乃至５の何れか一項に記載の表示装置において、
前記画像データを鮮鋭にする処理は、前記画像データのうちの前記マイクロレンズの配列ピッチの逆数よりも高い空間周波数成分の領域に対して行われる表示装置。
【請求項７】
請求項１乃至６の何れか一項に記載の表示装置において、
前記表示用画像データを記録する記録部を有し、
前記表示制御部は、前記記録部から読み出された前記表示用画像データに基づいて前記画素を制御して、前記表示部に前記画像を表示させる表示装置。
【請求項８】
請求項１乃至７の何れか一項に記載の表示装置において、
前記画像データに対して前記画像データを鮮鋭にする処理を行う処理部と、
前記処理部による処理が行われた前記画像データを前記表示用画像データに変換する変換部とを有する表示装置。
【請求項９】
請求項１乃至８の何れか一項に記載の表示装置において、
前記画像データは、前記表示部の表示面から所定の位置に表示された操作に用いる画像に対応する表示装置。
【請求項１０】
請求項９に記載の表示装置と、
前記操作に用いる画像に対して行われた操作を検出する検出部と、
前記検出部によって検出された操作に応じた処理を実行する実行部とを備える電子機器。
【請求項１１】
請求項１０に記載の電子機器において、
前記検出部は、複数の前記操作に用いる画像のうちの前記操作が行われた前記操作に用いる画像を検出し、前記操作が行われた前記操作に用いる画像に対応する前記画像データの部分は前記画像を鮮鋭にする処理が行われた画像データであり、前記操作が行われなかった前記操作に用いる画像に対応する前記画像データの部分は前記画像を鮮鋭にする処理が行われなかった画像データである電子機器。
【請求項１２】
請求項１０または１１に記載の電子機器において、
前記表示装置を観察する観察者の視線または位置の少なくとも一方を検出する被写体検出部を備え、
前記被写体検出部の検出結果に基づいて、複数の前記操作に用いる画像のうちの一部の前記操作に用いる画像に対応する前記画像データの部分は前記画像を鮮鋭にする処理が行われた画像データが用いられ、複数の前記操作に用いる画像のうちの他の前記操作に用いる画像に対応する前記画像データの部分は前記画像を鮮鋭にする処理が行われていない画像データが用いられる電子機器。
【請求項１３】
複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示用画像データを生成する画像処理装置において、
画像データに対して前記画像データの画像を鮮鋭にする処理を行う処理部と、
前記処理部による処理が行われた前記画像データを前記表示用画像データに変換する変換部とを備える画像処理装置。
【請求項１４】
複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示用画像データを生成する画像処理プログラムにおいて、
画像データに対して前記画像データの画像を鮮鋭に表示する処理と、
前記画像データの画像を鮮鋭にする処理が行われた前記画像データの前記表示用画像データへの変換と、をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、電子機器、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
三次元画像と二次元画像とを切り換えて表示する表示装置が知られている（たとえば特許文献１）。三次元画像を表示する表示装置において表示される画像の画質が低下する問題が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２２７９９５号公報
【発明の概要】
【０００４】
本発明の第１の態様によると、表示装置は、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部と、
画像を鮮鋭にする処理が行われた前記画像の画像データを変換した表示用画像データを前記表示部に表示して前記像を形成させる表示制御部と、を備える。
本発明の第２の態様によると、電子機器は、第１の態様の表示装置と、前記操作に用いる画像に対して行われた操作を検出する検出部と、前記検出部によって検出された操作に応じた処理を実行する実行部とを備える。
本発明の第３の態様によると、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示用画像データを生成する画像処理装置は、画像データに対して前記画像データの画像を鮮鋭にする処理を行う処理部と、前記処理部による処理が行われた前記画像データを前記表示用画像データに変換する変換部とを備える。
本発明の第４の態様によると、画像処理プログラムは、複数の画素を有し、前記複数の画素のうち一部の複数の画素からの光が複数のマイクロレンズのうち１つのマイクロレンズに入射し、前記複数のマイクロレンズを通過した光が交差する位置に像を形成する表示部を備える表示装置に表示する表示用画像データを生成する画像処理プログラムにおいて、画像データに対して前記画像データの画像を鮮鋭に表示する処理と、前記画像データの画像を鮮鋭にする処理が行われた前記画像データの前記表示用画像データへの変換と、をコンピュータに実行させる。
【図面の簡単な説明】
【０００５】
【図１】本発明の実施の形態による三次元表示装置の要部構成を説明するブロック図
【図２】実施の形態による三次元表示装置が備えるモニタの構成の一例を説明する図
【図３】表示画素と、表示用マイクロレンズアレイと、表示される光点との関係を模式的に示した図
【図４】図３を二次元的に展開した場合を示す図
【図５】表示用マイクロレンズとパターン光断面との関係を説明する図
【図６】表示用マイクロレンズとパターンとの関係を説明する図
【図７】領域分割を基点マイクロレンズに展開した場合のパターンを説明する図
【図８】基点マイクロレンズの中心位置に対して光点が偏心した場合のパターンを説明する図
【図９】二次元画像を表示させる場合の表示画素について説明する図
【図１０】二次元表示される画像の一例を示す図
【図１１】二次元画像を表示させる場合のパターンについて説明する図
【図１２】図１１に示すパターンが表示空中像面に二次元表示される様子を模式的に示す図
【図１３】処理部の機能を説明するブロック図
【図１４】変形例における電子機器の要部構成を説明するブロック図
【図１５】二次元画像を表示させる際の処理を説明するフローチャート
【図１６】変形例における電子機器の要部構成を説明するブロック図
【発明を実施するための形態】
【０００６】
本実施の形態の三次元表示装置は、画像を表示するためのモニタを有するパーソナルコンピュータ等により構成される。この三次元表示装置では、公知のプレンオプティックカメラ（Plenoptics Camera）またはライトフィールドカメラ（Light Field Camera）等によって生成された三次元情報（立体情報）を有する画像データに対応する立体画像が三次元画像として観察可能に表示される。さらに、文字や各種の操作入力を行うためのコマンドボタン等の二次元情報に対応する原画像データに対応する画像は、空中に平面画像として二次元状に観察可能に表示される。以下、詳細に説明する。
【０００７】
図１は、実施の形態による三次元表示装置１００の要部構成を説明するブロック図である。三次元表示装置１００は、制御回路１０１、ＨＤＤ１０２、モニタ制御回路１０３、モニタ１０４、メモリ１０５、入力部材１０６、メモリカードインタフェース１０７、および外部インタフェース１０８を備える。
【０００８】
入力部材１０６は、ユーザによって操作されるスイッチやボタンを有するキーボードや、マウス等の操作部材である。入力部材１０６は、モニタ１０４に表示されたメニュー画面からユーザが所望するメニューや設定を選択し、選択したメニューや設定を実行させる際にユーザにより操作される。
【０００９】
ＨＤＤ１０２には、たとえば立体カメラで撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース１０８は、たとえばＵＳＢインタフェースケーブルや無線伝送路を介して立体カメラ等の外部機器とデータ通信を行う。三次元表示装置１００は、メモリカードインタフェース１０７や外部インタフェース１０８を介してメモリカード２０７ａや外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路１０１により制御されてＨＤＤ１０２に記録される。デジタルカメラで生成された画像ファイルは、制御回路１０１によりＨＤＤ１０２に記録される。ＨＤＤ１０２には、制御回路１０１で実行される各種のプログラム等が記録される。
【００１０】
制御回路１０１は、三次元表示装置１００の制御を行うマイクロコンピュータであり、ＣＰＵやＲＯＭその他周辺回路により構成される。制御回路１０１は、三次元入力部１０１ａと、二次元入力部１０１ｂと、処理部１０１ｃと、表示用データ変換部１０１ｄと、表示制御部１０１ｅとを機能として備える。三次元出力部１０１ａは、たとえばＨＤＤ１０２に記録されている立体情報を有する画像データを読み出す。この画像データに対応する画像は、後述するモニタ１０４と交差する方向に奥行を持った立体像として表示される。
【００１１】
二次元入力部１０１ｂは、たとえばＨＤＤ１０２に記録されている原画像データを読み出す。原画像データは、たとえば文字や、各種の操作入力を行うためのコマンドボタンやコマンドボタン上の文字等の操作用指標（操作に用いる画像）や、ウインドウ枠等の二次元情報を有する原画像に対応する画像データである。処理部１０１ｃは、原画像データに対して高解像度処理（画像を鮮鋭にする処理）を施す。表示用データ変換部１０１ｄは、三次元入力部１０１ａにより読み出された画像データと、処理部１０１ｃにより高解像度処理が施された原画像データとを表示画像用データに変換する。この場合、表示用データ変換部１０１ｄは、画像データや高解像度処理が施された原画像データを複数の部分画像データに分割することにより表示画像用データに変換する。表示制御部１０１ｅは、表示用データ変換部１０１ｄにより変換された表示画像用データである複数の部分画像データに基づいて、後述するモニタ１０４が備える表示画素を制御する。これにより、モニタ１０４の上部に画像データに対応する立体像が表示されるとともに、原画像データに対応する二次元画像がモニタ１０４から所定の距離の位置に表示される。なお、表示制御部１０１ｇは、立体像と二次元画像とをモニタ１０４に表示させるものに限定されず、立体像と二次元画像とうちの一方をモニタ１０４に表示させるものであっても良い。なお、三次元入力部１０１ａと、二次元入力部１０１ｂと、処理部１０１ｃと、表示用データ変換部１０１ｄと、表示制御部１０１ｅとの詳細については、説明を後述する。また、本明細書においては、立体像と、二次元画像とを総称して三次元画像と呼ぶ。
【００１２】
メモリ１０５は制御回路１０１のワーキングメモリであり、たとえばＳＤＲＡＭにより構成される。モニタ１０４は、たとえば液晶モニタであり、モニタ制御回路１０３により制御されて、表示画像用データに対応する画像、各種設定を行うためのメニュー画面などが表示される。
【００１３】
図２を参照して、モニタ１０４について説明する。なお、図２においては、モニタ１０４の表示面の水平方向をｘ軸、鉛直方向をｙ軸とし、ｘｙ平面（モニタ１０４の表示面）に垂直な方向をｚ軸として座標系を設定する。図２（ａ）は、モニタ１０４をｚ軸方向ユーザ側から見た場合のモニタ１０４の斜視図であり、図２（ｂ）は図２（ａ）を一部拡大して示す図であり、図２（ｃ）はｚ軸方向におけるモニタ１０４の断面を模式的に示す図である。
【００１４】
図２（ａ）、（ｂ）に示すように、モニタ１０４は、表示器２０１と、表示用マイクロレンズアレイ２０２とを備える。表示器２０１は、たとえばバックライトを有する液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配置された複数の表示画素群２１０を有する。これら複数の表示画素群２１０のそれぞれは、二次元状に配置された複数の表示画素２１１を有する。なお、本実施の形態においては、１個の表示画素群２１０には、１６×１６個の表示画素２１１が含まれるものとする。ただし、図２においては、図示の都合上、表示画素２１１の個数を実際よりも少なく描いている。表示画素２１１は、上述したモニタ制御回路１０３により制御されて、表示画像用データに対応して発光する。
【００１５】
表示用マイクロレンズアレイ２０２は、二次元状に配列された複数の表示用マイクロレンズ２２０により構成される。図２（ｂ）に示すように、各表示用マイクロレンズ２２０は、複数の表示画素群２１０に対応した配置パターンで配置されている。また、図２（ｃ）に示すように、表示用マイクロレンズアレイ２０２はｚ軸方向ユーザ側に、表示用マイクロレンズ２２０の焦点距離ｆだけ表示画素２１１から離れた位置に配置される。各表示用マイクロレンズ２２０は、画像データに応じて表示画素２１１からの光をｚ軸方向ユーザ側の所定の像面に投影する。
【００１６】
次に、モニタ１０４による三次元画像の表示原理について、立体像の場合と二次元画像の場合とに分けて説明する。
＜立体像の表示原理について＞
モニタ１０４の表示原理はプレンオプティクスの原理を逆にしたものである。まず、図３を用いて、プレンオプティクスの原理について簡単に説明する。
【００１７】
図３は、表示画素２１１と、表示用マイクロレンズアレイ２０２と、表示される光点ＬＰとの関係を示した図である。上述したように、表示用マイクロレンズアレイ２０２は、表示画素２１１から、表示用マイクロレンズ２２０の焦点距離ｆだけｚ軸方向に離れた位置に設けられている。なお、図３においては、光点ＬＰは、表示用マイクロレンズアレイ２０２からｚ軸方向ユーザ側に距離４ｆだけ離れた位置にあるものとする。
【００１８】
光点ＬＰから表示画素２１１に向かって光束ＬＦを辿った場合がプレンオプティクスである。光点ＬＰからの光束ＬＦは、複数個の表示用マイクロレンズ２２０を通過して、表示用マイクロレンズ２２０から４ｆ／３の位置で焦点を結ぶ。しかし、表示用マイクロレンズ２２０は表示画素２１１からｚ軸方向に距離ｆだけ離れた位置に配置されているので、各表示用マイクロレンズ２２０を通過した光束ＬＦは、入射した表示用マイクロレンズ２２０のそれぞれに対応する表示画素２１１で広がりを持った像となる。以後、この広がりを持った像を光断面と呼び、光断面の形状をパターンＰｔと呼ぶ。
【００１９】
図４に、上記のパターンＰｔを二次元的に展開した場合を示す。なお、図４においては、図示の都合上、表示用マイクロレンズ２２０の配列を正方として描く。すなわち、プレンオプティクスの原理によれば、図３に示す光点ＬＰの光強度（輝度）が、図４に示すパターンＰｔに分配されることになる。図４においては、パターンＰｔを斜線を付して示す。
【００２０】
モニタ１０４では、上述したプレンオプティクスの原理を逆にすることによって、すなわち表示画素２１１から輻射される光束を、表示用マイクロレンズ２２０を介して投影することにより奥行きを有する立体像が表示される。具体的には、図４に示すパターンＰｔが、表示器２０２を構成する表示画素２１１上に割り当てられる。このとき、図３を用いて説明した場合とは逆に、表示画素２１１に割り当てられたパターンＰｔは表示用マイクロレンズ２２０によって投影されて光点ＬＰに点像を形成する。各パターンＰｔに含まれる表示画素２１１から輻射される多方向に進む光束には、その中に光点ＬＰに集光する方向の光束、すなわち上述した入射光束ＬＦの表示画素２１１への入射角度と同一の角度で輻射する光束が含まれるからである。このため、表示用マイクロレンズアレイ２０２からｚ軸方向に距離４ｆだけ離れた位置に立体像が形成される。
【００２１】
図５を用いて、いくつ、あるいは、どの表示用マイクロレンズ２２０といずれのパターンＰｔとが対応するかについて、光点ＬＰからの光束ＬＦの広がりを表示用マイクロレンズ２２０上に投影することにより説明する。なお、図５では、光点ＬＰから広がる光束ＬＦは、光点ＬＰのｚ軸方向の位置が表示用マイクロレンズ２２０の焦点距離ｆの場合と、その二倍の距離２ｆの場合とについて示している。図５においては、光点ＬＰのｚ軸方向の位置が距離ｆの場合の光束ＬＦの広がり（領域）ｒ１を破線で示し、距離２ｆの場合の領域ｒ２を一点鎖線で示す。光点ＬＰが表示用マイクロレンズ２２０の焦点距離ｆの位置にあると、光束ＬＦの領域ｒ１は表示用マイクロレンズ２２０で規定されているので、光束ＬＦは１個の表示用マイクロレンズ２２０内に入射する。以上により、１個の光点ＬＰに対応する表示用マイクロレンズ２２０が決まる。
【００２２】
光点ＬＰのｚ軸方向の位置が表示用マイクロレンズ２２０の焦点距離ｆのときは、光束ＬＦはその表示用マイクロレンズ２２０の直下の領域全体に円形開口の光として広がる。このため、正方領域に内接する円の内部に含まれるすべての表示画素２１１が発光すると、パターンＰｔが投影されて光点ＬＰで空中に点像が形成される。光点ＬＰのｚ軸方向の位置の絶対値が焦点距離ｆより小さい場合には、光束ＬＦは表示用マイクロレンズ２２０の直下の領域内で収束せずに広がる。しかし、光点ＬＰから広がる光束ＬＦの角度は表示用マイクロレンズ２２０のＦ値で開口の最大（Ｆの最小）が規定されるので、入射する光束ＬＦは広がり角の制限を受け、パターンＰｔは被覆領域にとどまる。
【００２３】
ここで光点ＬＰのｚ軸方向の位置が距離２ｆにある場合について説明する。図６に、この場合に関係する表示用マイクロレンズ２２０を示す。図６（ａ）に示すように、関係する表示用マイクロレンズ２２０は自身、すなわち光点ＬＰとｚ軸方向について同軸上に配置された表示用マイクロレンズ２２０（以後、基点マイクロレンズ２２０ａ）とそれに隣接する８個の表示用マイクロレンズ２２０である。表示用マイクロレンズ２２０による開口の制限を考えるとき、図６（ａ）において斜線で示す被覆領域のなかにパターンＰｔが存在することになる。この場合、各表示用マイクロレンズ２２０に対応するパターンＰｔは、図６（ｂ）の斜線で示す領域となる。
【００２４】
図６（ｂ）に示すように、ひとつの基点マイクロレンズ２２０ａの被覆領域が分割され、隣接する表示用マイクロレンズ２２０に配分されている。分割され配分された被覆領域（部分領域）を積算した場合の全領域は、ひとつの表示用マイクロレンズ２２０の開口領域になる。そのため、どのような位置の光点ＬＰでもパターンＰｔの全領域の大きさは同じになるので、部分領域を積算して全領域を算出する場合には、それぞれの部分領域が所属する表示用マイクロレンズ２２０が決まればよいことになる。
【００２５】
図５において、光点ＬＰのｚ軸方向の位置と、倍率つまり基点マイクロレンズ２２０ａに隣接する表示用マイクロレンズ２２０との個数と関係について示したが、これを仮想的な開口領域に適用する。たとえば、倍率で縮小した表示用マイクロレンズ２２０の配列で開口領域を分割し、これで定義された表示用マイクロレンズ２２０の中の同じ位置に開口領域の断片を配するという方法をとる。開口領域に外接する正方形を倍率２で縮小し、表示用マイクロレンズ２２０の配列で開口領域を分割（領域分割）した場合を例に説明する。
【００２６】
図７は、上記の領域分割を基点マイクロレンズ２２０ａに展開した場合のパターンＰｔを示している。同様の領域分割を倍率に応じて行うと、倍率、すなわち光点ＬＰに対するパターンＰｔが得られる。具体的には、表示用マイクロレンズ２２０の径（マイクロレンズの一辺の大きさ）をｇとするとき、ｇ/ｍ幅の格子で開口領域が分割される。倍率は、光点ＬＰの高さ（位置）ｙとマイクロレンズの焦点距離ｆとの比ｍ＝ｙ/ｆで表すことができる。比ｍには負の符号も存在する。比ｍの符合が負の場合には、表示用マイクロレンズ２２０より表示画素２１１側に光点ＬＰがあるものとする。
【００２７】
表示用マイクロレンズ２２０による被覆領域と表示用マイクロレンズ２２０の個数との積は、ほぼ表示画素群２１０に含まれる表示画素２１１の全画素数に等しくなる。このため、１個の表示用マイクロレンズ２２０内で偏心した複数の点のそれぞれに対応する光点ＬＰを形成することは、表示画素２１１に再現されたパターンＰｔを重畳して投影することに等しい。すなわち、各偏心した光点ＬＰからの光束ＬＦが重畳して表示画素２１１上に存在している。ただし、倍率が１倍のときには、この演算は、単なる内挿作業になって、分解能向上には実質的に寄与しない。これは、表示用マイクロレンズ２２０頂点近辺に結像すれば、光学的に奥行き方向の情報が失われることを示している。
【００２８】
図８は、基点マイクロレンズ２２０ａの中心位置に対して左に偏心した光点ＬＰについての分割領域を表したものある。基点マイクロレンズ２２０ａ（レンズ径をｇとする）の中心から図８の左方向へｐだけ偏心して、光点ＬＰの高さ（位置）が２ｆの場合について説明する。なお、図８においては、点Ｏ１は偏心した光点ＬＰ、点Ｏ２は表示用マイクロレンズ２２０の中心位置を示す。この場合、図７に示す表示用マイクロレンズ２２０を図中の右方向へｐだけずらし、開口領域を分割すれば、図８に示す場合の分割領域が得られる。
【００２９】
表示用マイクロレンズ２２０を１６個に分割するとすれば、中心位置の座標を（０，０）として、ｘ軸ｙ軸に対して、それぞれ−ｇ/２、−ｇ/４、０、ｇ/４、ｇ/２の位置のパターンとそれによる分割領域および、全領域の積算をおこなえば、ひとつのマイクロレンズ１２０に対して１６点の光点群を得ることができる。
【００３０】
＜二次元画像の表示原理＞
文字や操作用指標等の二次元画像をモニタ１０４からｚ軸方向の所定位置に空中像として二次元表示させる場合の原理について説明する。この場合、図９に示すように、表示用マイクロレンズ２２０に対応する表示画素群２１０のそれぞれについて、１６×１６個の表示画素２１１を４×４個の合成表示画素２１２に纏めた系を考える。この合成表示画素２１２を１つの画素とみなして、二次元表示させる二次元画像データのパターンＰｔが割り当てられる。
【００３１】
図１０は、二次元表示する画像の一例が文字「Ａ」であることを示す。図１０に示す文字「Ａ」が表示用マイクロレンズ２２０からｚ軸方向に距離４ｆの位置に二次元表示されるためには、図１１に示すようにパターンＰｔが合成表示画素２１２に割り当てられる。なお、図１１（ａ）は表示用マイクロレンズ２２０が正方配列の場合を示し、図１１（ｂ）は表示用マイクロレンズ２２０がハニカム配列の場合を示している。図１１に示すようなパターンＰｔが合成表示画素２１２に割り当てられることによって、図１２に示すように、表示用マイクロレンズ２２０からｚ軸方向に距離４ｆの位置に形成される表示空中像面Ｓに、文字「Ａ」が空中像として二次元表示される。なお、表示空中像面Ｓは距離４ｆの位置に形成されるものに限定されず、表示用マイクロレンズ２２０の焦点距離ｆ以上の位置、または表示用マイクロレンズ２２０のレンズ面に形成されるものであってもよい。表示空中像面Ｓは、ユーザが入力部材１０６を操作することにより、所望の位置に形成される。
【００３２】
二次元画像が空中像として表示されるためには、二次元画像を構成する各点像、すなわち各光点ＬＰが表示空中像面Ｓにて合成される必要がある。上述したように、１つの光点ＬＰが形成されるために、１個の表示用マイクロレンズ２２０による被覆領域に含まれる合成表示画素２１２、すなわち１６個の合成表示画素２１２に割り当てられたパターンＰｔの表示用マイクロレンズ２２０による投影像が合成される。そのため、１個の表示用マイクロレンズ２２０が１６個の光点ＬＰの形成に寄与している場合には、１個の表示用マイクロレンズ２２０について、表示用マイクロレンズ２２０による被覆領域内の合成表示画素２１２の出力の１６倍の出力が必要となり、これら全ての出力が合成される必要がある。具体的には、１個の光点ＬＰを形成する各合成表示画素２１２の大きさが分配されると、隣接する光点ＬＰでは合成表示画素２１２の出力に加算するようにして出力が分配される。換言すると、１つの光点ＬＰについて１６個分の合成表示画素２１２の出力が重畳されたものとなり、画素出力は最大１６倍のダイナミックレンジが必要となる。
【００３３】
三次元表示装置１００の制御回路１０１は、上述した図１１に示すようにパターンＰｔを表示画素２１１に割り当てることにより、表示用マイクロレンズアレイ２０２からｚ軸方向の所定の高さに形成される表示空中面Ｓに文字や操作指標等の二次元画像を表示させる。表示空中面Ｓの二次元画像は、表示用マイクロレンズ２２０によって合成された各点像である各光点ＬＰが合成されたものである。このため、表示空中面Ｓの二次元画像の最小分解能は表示用マイクロレンズ２２０の大きさになる。すなわち、表示空中面Ｓの二次元画像の解像度は表示用マイクロレンズ２２０の配列ピッチによって決まる。本実施の形態では、制御回路１０１は、上記のようなパターンＰｔを作成して表示画素２１１に割り当てる前に、原画像データに対して高解像度処理を施す。すなわち、処理部１０１ｃは、原画像の解像度が表示用マイクロレンズ２２０の配列ピッチで決まる二次元画像の解像度よりも高くなるように、原画像データに高解像度処理を行う。以下、処理部１０１ｃが行う高解像度処理について説明する。
【００３４】
図１３は、処理部１０１ｃによる高解像度処理を実行するための機能ブロック図である。処理部１０１ｃは、高周波抽出部６００と、輪郭処理部６０１と、合成部６０２とを機能として有する。高周波抽出部６００は、原画像データに対して、たとえばハイパスフィルタ処理を行うことにより、表示用マイクロレンズ２２０の配列ピッチの逆数よりも高い空間周波数の領域を原画像データから抽出する。なお、高周波抽出部６００は、表示用マイクロレンズ２２０の配列ピッチの逆数の９０％や、８０％等を超える空間周波数の領域を抽出しても良い。輪郭処理部６０１は、高周波抽出部６００によって抽出された領域について、たとえばフーリエ変換を用いたり、畳み込み演算を行ったりすることにより、輪郭強調を行う。合成部６０２は、原画像データと、輪郭処理部６０１により輪郭強調された高い空間周波数の領域とを合成して、合成原画像データを生成する。この合成原画像データは、原画像データと比較して、表示用マイクロレンズ２２０の配列ピッチの逆数よりも高い周波数の領域、すなわち輪郭が強調された画像に対応するデータとなる。
なお、輪郭処理部６０１により高周波抽出部６００によって抽出された領域に輪郭強調を行わずに、合成部６０２が原画像データと輪郭処理部６０１による輪郭強調処理を施していない高い空間周波数の領域とを合成して、合成画像データを生成しても良い。
【００３５】
表示用データ変換部１０１ｄは、処理部１０１ｃによって高解像度処理が施されて生成された合成原画像データを、複数の表示用マイクロレンズ２２０に応じた部分画像データに分割することにより表示画像用データを生成する。図１０に示す例においては、表示用データ変換部１０１ｄは、１６個の部分画像データに分割する。そして、表示用データ変換部１０１ｄは、分割した部分画像データのそれぞれについて表示画像用データを生成する。表示画像用データは、図１１に示すようなパターンＰｔを表す画像データである。表示画像用データが生成されると、表示制御部１０１ｅは、表示画像用データが示すパターンＰｔを合成表示画素２１２に割り当てる。換言すると、表示制御部１０１ｅは、モニタ制御回路１０３に指令して、表示画像用データとして分割された各部分画像データに対応する位置に配置された合成表示画素２１２を発光させる。
【００３６】
三次元画像（すなわち立体像および二次元画像）を同一のモニタ１０４に表示する場合の三次元表示装置１００による処理について説明する。この場合、三次元表示装置１００の制御回路１０１は、たとえばモニタ１０４に表示される複数のウインドウのうち、あるウインドウは立体表示させ、他のウインドウや各種の操作指標等は二次元表示させる。あるいは、制御回路１０１は、モニタ１０４にある画像データに対応する画像を立体表示させ、画像の枠部分に対応する部分を二次元表示させる。
【００３７】
三次元入力部１０１ａは、モニタ１０４に立体像として表示させる画像データをＨＤＤ１０２から読み出す。この場合、三次元入力部１０１ａから読み出される画像データは、立体カメラたとえばプレンオプティクスカメラ等によって取得された立体情報、すなわちパターンＰｔを表す画像データである。二次元入力部１０１ｂは、モニタ１０４に二次元画像として表示させる操作指標等に対応する原画像データをＨＤＤ１０２から読み出す。読み出された原画像データは、処理部１０１ｃによって高解像度処理が施される。表示用データ変換部１０１ｄは、立体像として表示させるための画像データと、高解像度処理が施された原画像データとを三次元表示画像用データに変換する。表示制御部１０１ｅは、表示画像用データを示すパターンＰｔを表示画素２１１に割り当てて発光させる。これにより、表示制御部１０１ｅは、ｚ軸方向に奥行きを有する立体像と、ｚ軸方向の所定の高さに二次元表示された二次元画像とを三次元画像として同一画面、すなわちモニタ１０４に表示させる。
【００３８】
このとき、立体像として表示するための画像データを生成したプレンオプティックカメラが有するマイクロレンズの中心位置（光軸）と、表示用マイクロレンズ２２０の中心位置（光軸）とが異なる場合、表示制御部１０１ｅは公知の方法を用いて画像データに対して正規化処理を施す。これにより、表示制御部１０１ｅは、各パターンＰｔに対応した光点ＬＰが基点マイクロレンズ２２０ａの中心軸上に位置するように、画像データの位置をｘｙ平面上で移動させる。さらに、表示制御部１０１ｅは、各基点マイクロレンズ２２０ａに隣接する表示用マイクロレンズ２２０に対応するパターンＰｔを、基点マイクロレンズ２２０ａを中心として点対称の位置に変換することにより表示画像用データを生成する。この処理は、画像データを取得する際のプレンオプティックカメラにおける光の進行方向と、モニタ１０４における光の進行方向が逆であることから、立体像の奥行き方向（ｚ軸方向）における凹凸と撮影時の奥行き方向の凹凸とを一致させるためのものである。そして、表示制御部１０１ｅは、生成した表示画像用データが示すパターンＰｔを表示画素２１１に割り当てる。
【００３９】
図１５に示すフローチャートを用いて、原画像データに対応する画像を空中に表示させる際の動作について説明する。図１５に示す処理は制御回路１０１でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、制御回路１０１により起動され、実行される。
ステップＳ１では、処理部１０１ｃの高周波抽出部６００は、原画像データから高い空間周波数の領域を抽出してステップＳ２へ進む。ステップＳ２では、輪郭処理部６０１は、高周波抽出部６００によって抽出された領域に対して輪郭強調を行ってステップＳ３へ進む。ステップＳ３では、合成部６０２は、原画像データと、輪郭処理部６０１により輪郭強調された高い空間周波数の領域とを合成して、合成原画像データを生成してステップＳ４へ進む。なお、上記のステップＳ１〜Ｓ３にて行われる処理が原画像を鮮鋭にするための高解像度処理である。
【００４０】
ステップＳ４では、表示用データ変換部１０１ｄは、処理部１０１ｃによって生成された合成原画像データを部分画像データに分割することにより表示画像用データを生成してステップＳ５へ進む。ステップＳ５では、表示制御部１０１ｅは、表示画像用データを示すパターンＰｔを表示画素２１１に割り当てて発光させことにより、原画像データに対応する画像を空中に表示させて処理を終了する。
【００４１】
なお、上記の説明では、二次元情報を有する原画像データに対して高解像度処理を行う場合を例に挙げて説明したが、立体情報を有する画像データに対しても同様に高解像度処理を施しても良い。この場合も、画像データに対して高解像度処理が行われた後、表示画像用データに変換される。これにより、立体像の解像度についても向上させることができる。
また、原画像データは二次元情報を有するものに限定されず、立体情報を有するものでも良い。たとえば、モニタ１０４と交差するｚ軸方向に所定の奥行を有するスイッチ等の操作指標であっても良い。
【００４２】
以上で説明した実施の形態による三次元表示装置１００によれば、以下の作用効果が得られる。
（１）処理部１０１ｃは、二次元入力部１０１ｂから入力された原画像データに、原画像の解像度が表示用マイクロレンズ２２０の配列ピッチで決まる三次元画像の解像度よりも高くなるように、すなわち原画像を鮮鋭にするための高解像度処理を行う。表示用データ変換部１０１ｄは、高解像度処理された原画像データを表示画像用データに変換する。したがって、二次元画像として表示される操作指標等のテクスチャが、表示用マイクロレンズ２２０の配列ピッチにより劣化することを防ぎ、視認性の良い操作用指標等を空中に表示させることができる。
【００４３】
（２）処理部１０１ｃは、原画像データのうち、表示用マイクロレンズ２２０の配列ピッチの逆数よりも高い空間周波成分の領域に対して高解像度処理を行う。したがって、原画像データのうち、表示用マイクロレンズ２２０の配列ピッチによって画質の低下が見込まれる領域の解像度を向上させることができる。
【００４４】
（３）処理部１０１ｃは、高解像度処理として原画像データに輪郭強調処理をする。したがって、空中に表示された操作指標には、表示用マイクロレンズ２２０の配列ピッチの影響により鈍った部分等が発生することがなくなる。
【００４５】
以上で説明した実施の形態による三次元表示装置１００を、以下のように変形できる。
（１）三次元表示装置１００は、実施の形態において例に挙げたモニタを有するパーソナルコンピュータ等に限定されるものではなく、モニタを備える電子機器に組み込まれても良い。この場合、電子機器としては、例えば、現金自動預払機（ＡＴＭ装置）や、公共交通機関の乗車券、定期券等の自動券売機や、映画館等の入場券等の自動券売機や、図書館や美術館等の各種情報端末装置や、車載ナビゲーション装置等に用いることができる。
【００４６】
図１４は本変形例における電子機器７００の要部構成のブロック図を示す。図１４の電子機器７００においては、図１に示す実施の形態の三次元表示装置１００の構成と同一の構成については、同一の符号を付与する。電子機器７００は、実施の形態の三次元表示装置１００が有する入力部材１０６に代えて、検出器１１０を有し、制御回路１０１は実施の形態において説明した機能に加えてさらに実行部１０１ｆを有する。なお、制御回路１０１の処理部１０１ｃは、図１３に示した高周波抽出部６００と輪郭処理部６０１と合成部６０２とを機能として備える。
【００４７】
電子機器のモニタ１０４には、実施の形態のようにして、高解像度処理が施された操作用指標が、表示空中面Ｓに表示される。検出器１１０は、ユーザによる表示空中面Ｓに表示された操作指標への操作を検出し、ユーザが表示空中面Ｓに対して行った操作の位置（ｘｙ平面に平行な面上の位置）を示す検出信号を制御回路１０１へ出力する。検出器１１０としては、例えば、ユーザの操作に応じてモニタ１０４の上面の静電容量の変化を検出する静電容量パネルや、モニタ１０４の上部を撮影することによりユーザの操作位置を検出する撮像装置等を用いることができる。実行部１０１ｆは、検出器１１０から入力した検出信号に基づいて、ユーザが操作した位置に表示された操作指標に対応する処理を実行する。例えば、電子機器７００が自動券売機であれば実行部１０１ｆは発券のための処理を実行し、車載ナビゲーション装置であれば実行部１０１ｆは経路検索等の処理を実行する。この結果、ユーザは、表示空中面Ｓに表示された操作用指標を操作することにより、所望する処理を電子機器７００に実行させることができる。
【００４８】
（２）実施の形態の三次元表示装置１００や上記変形例の電子機器７００において、ユーザによる操作に従って、二次元画像として表示される操作用指標等のテクスチャの解像度を制御しても良い。以下、電子機器７００を例に挙げて説明を行う。
電子機器のモニタ１０４には、操作用指標が表示空中面Ｓに表示される。このとき表示用空中面Ｓに表示させる操作用指標には高解像度処理は施されていない。検出器１１０は、ユーザによる表示空中面Ｓに表示された操作指標への操作を検出し、ユーザが表示空中面Ｓに対して行った操作の位置（ｘｙ平面に平行な面上の位置）を示す検出信号を制御回路１０１へ出力する。
【００４９】
処理部１０１ｃは、検出器１１０からの検出信号に基づいて、検出されたユーザの操作の位置に表示される原画像データを特定する。処理部１０１ｃの高周波抽出部６００と輪郭処理部６０１と合成部６０２とは、特定された原画像データに対して、実施の形態の場合と同様にして高解像度処理を行う。特定されていない原画像データに対しては、処理部１０１ｃは高解像度処理を行わない。表示用データ変換部１０１ｄは、高解像度処理が行われた原画像データと、高解像度処理が行われていない原画像データとをそれぞれ表示用画像データに変換する。したがって、ユーザにより操作が行われた操作用指標等のテクスチャは、その他の操作が行われていない操作用指標等のテクスチャと比較して、高い解像度で空中に表示される。これにより、ユーザは自分が操作した操作指標が高い視認性を有して表示されるので、自分が行った操作を確認することができる。
なお、実施の形態の三次元表示装置１００のように入力部材１０６を備える場合には、ユーザによる入力部材１０６の操作が行われたことを検出して、入力部材１０６の操作に対応する操作用指標等の原画像データに対して高解像度処理を行って、表示しても良い。
【００５０】
（３）ユーザの状態に応じて、二次元画像として表示される操作用指標等のテクスチャの解像度を制御しても良い。図１６は、この場合の電子機器７００の要部構成を説明するブロック図である。電子機器７００は、図１４に示す構成に加えて、周囲を撮影可能な撮像装置７０１と、制御回路１０１の内部に被写体検出部１０１ｇとを備える。撮像装置７０１はＣＣＤやＣＭＯＳ等の撮像素子を備え、少なくともモニタ１０４を観察するユーザを撮影するのに十分な撮影範囲を有している。撮像装置７０１は、電子機器７００の周囲を撮影して生成した撮像信号を制御回路１０１に出力する。
【００５１】
制御回路１０１の被写体検出部１０１ｇは、撮像装置７０１からの画像信号に対して画像処理を施して撮像データを生成し、撮像データに対して、例えば公知の被写体検出等の処理を行って、モニタ１０４を観察するユーザの有無を検出する。処理部１０１ｃは、被被写体検出部１０１ｇによる検出結果に応じて、原画像データに対する高解像度処理の要否を判定する。
【００５２】
一例として、被写体検出部１０１ｇは人物の視線を検出し、処理部１０１ｃは検出された視線から人物が観察している部分に対応する原画像データに対して高解像度処理を行う。たとえば、検出された人物の視線から、処理部１０１ｃは人物がモニタ１０４の右側を観察していることを特定したとする。この場合、処理部１０１ｃは、原画像データのうち、モニタ１０４の右側半分の領域に表示される原画像データに対して高解像度処理を行う。処理部１０１ｃは、モニタ１０４の左半分の領域に表示される原画像データに対しては高解像度処理を行わない。これにより、ユーザが観察している範囲については視認性の良い操作用指標等を空中に表示できるとともに、ユーザが観察していない範囲については高解像度処理を行わないため処理負荷を低減することができる。
【００５３】
他の一例として、被写体検出部１０１ｇは人物がモニタ１０４を観察しているか否かを判定し、処理部１０１ｃは人物がモニタ１０４を観察しているときに原画像データに対して高解像度処理を行う。この場合、被写体検出部１０１ｇは、被写体検出の結果、たとえば肌色の領域の大きさに基づいて、人物の顔がモニタ１０４の方向を向いているか否かを判定する。人物の顔がモニタ１０４の方向を向いている場合には、処理部１０１ｃは、原画像データに対して高解像度処理を行う。この場合、処理部１０１ｃは、モニタ１０４の全領域に対応する原画像データに対して高解像度処理を行っても良いし、上述したように、人物の視線を検出して人物が観察している領域に対応する原画像データに対して高解像度処理を行っても良い。人物の顔がモニタ１０４の方向を向いていない場合には、処理部１０１ｃは、原画像データに対して高解像度処理を行わない。これにより、モニタ１０４を観察するユーザが存在しない場合には原画像データに高解像度処理を行う必要がなくなるので、処理負荷を低減することができる。
【００５４】
他の一例として、被写体検出部１０１ｇが検出した人物と電子機器７００との間の距離が近い場合に高解像度処理を行い、遠い場合に高解像度処理を行わないようにしても良い。被写体検出部１０１ｇは、撮像データ上で検出した人物の顔の大きさに基づいて、人物と電子機器７００のモニタ１０４との間の距離を算出する。算出された距離が所定値以下の場合、すなわち人物とモニタ１０４との距離が近い場合には、処理部１０１ｇは、原画像データに対して高解像度処理を行う。この場合、処理部１０１ｃは、モニタ１０４の全領域に対応する原画像データに対して高解像度処理を行っても良いし、上述したように、人物の視線を検出して人物が観察している領域に対応する原画像データに対して高解像度処理を行っても良い。算出された距離が所定値を超える場合、すなわちモニタ１０４から人物までの距離が遠い場合には、処理部１０１ｃは、原画像データに対して高解像度処理を行わない。これにより、人物とモニタ１０４との間の距離に基づいて、距離が近い場合にはユーザがモニタ１０４を観察している可能性が高いと判断して視認性の高い操作用指標等を空中に表示することができる。また、距離が遠い場合にはユーザがモニタ１０４を観察している可能性が低いと判断し、原画像データに高解像度処理を行わないことにより、処理負荷を低減することができる。
【００５５】
また、本実施の形態では、処理部１０１ｃによって原画像データに対して高解像度処理を施して原画像データを輪郭強調しているが、原画像データの作成時に輪郭強調されている状態の原画像データを作成しても良い。この場合は、原画像データに対する高解像度処理が不要となる。
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。
【符号の説明】
【００５６】
１００…三次元表示装置、１０１…制御回路、
１０１ｂ…二次元入力部、１０１ｃ…処理部、
１０１ｄ…表示用データ変換部、１０１ｅ…表示制御部、
１０１ｆ…実行部、１０１ｇ…被写体検出部、
１０４…モニタ、１１０…検出器、
６００…高周波抽出部、６０１…輪郭処理部、
６０２…合成部、７００…電子機器、
７０１…撮像装置
【図１】
2017107134.tif 000003
【図２】
2017107134.tif 000004
【図３】
2017107134.tif 000005
【図４】
2017107134.tif 000006
【図５】
2017107134.tif 000007
【図６】
2017107134.tif 000008
【図７】
2017107134.tif 000009
【図８】
2017107134.tif 000010
【図９】
2017107134.tif 000011
【図１０】
2017107134.tif 000012
【図１１】
2017107134.tif 000013
【図１２】
2017107134.tif 000014
【図１３】
2017107134.tif 000015
【図１４】
2017107134.tif 000016
【図１５】
2017107134.tif 000017
【図１６】
2017107134.tif 000018