(57)【要約】本発明は、少なくとも２つの視点に対応する視差画像をそれぞれ空間的に分離して表示する表示面（１１）を有する立体画像表示部（１）と、立体画像表示部（１）の表示面（１１）に向けて音波を発振し、表示面（１１）で反射された音波よる所定の圧力を、立体画像表示部（１）によって表示された立体画像（８）の位置と空間的に同一位置に発生する力覚生成部（２）と、を備える。
2012011321.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つの視点に対応する視差画像をそれぞれ空間的に分離して表示する表示面を有する立体画像表示部と、
前記立体画像表示部の前記表示面に向けて音波を発振し、前記表示面で反射された音波よる所定の圧力を、前記立体画像表示部によって表示された立体画像の位置と空間的に同一位置に発生する力覚生成部と、を備える、立体表示装置。
【請求項２】
前記立体画像表示部の前記表示面を間に挟んで対向して配置された２つの前記力覚生成部を備える、請求項１に記載の立体表示装置。
【請求項３】
表示面同士が所定の傾斜角をなすように隣接して配置された２つの前記立体画像表示部と、
少なくとも一方の前記立体画像表示部の前記表示面を間に挟んで対向して配置された２つの前記力覚生成部と、を備える、請求項１に記載の立体表示装置。
【請求項４】
前記力覚生成部は音波アクチュエータアレイを有し、
前記音波アクチュエータアレイは、複数の前記発振領域を有し、該複数の発振領域のそれぞれが異なる波面を再生する、請求項１乃至３のいずれか１項に記載の立体表示装置。
【請求項５】
前記力覚生成部は音波アクチュエータアレイを有し、
前記音波アクチュエータアレイは、前記立体画像表示部の前記表示面に向けて音波を発振し、前記表示面で反射された音波を前記立体画像の位置に伝播させる第１の発振領域と、前記立体画像表示部によって表示された前記立体画像の位置に直接向かうように音波を発振する第２の発振領域と、を有している、請求項１乃至４のいずれか１項に記載の立体表示装置。
【請求項６】
前記音波アクチュエータアレイは、複数の音波アクチュエータの配列方向に直交する方向に対して、前記複数の音波アクチュエータから音波を発振する方向が傾斜されている、請求項４または５に記載の立体表示装置。
【請求項７】
前記立体画像表示部は、平面上に配列された複数の画像表示素子を有し、前記少なくとも２つの視点に対応する視差画像を、前記複数の画像表示素子のそれぞれの位置に応じて透視投影変換する画像処理手段を有する、請求項１乃至６のいずれか１項に記載の立体表示装置。
【請求項８】
前記立体画像を見る観察者の、前記立体画像の位置に重なる触覚部位を検出する位置検出手段を備え、
前記立体画像表示部は、前記触覚部位が移動したときに、前記位置検出手段の検出結果に基づいて前記立体映像の位置を移動させる、請求項１乃至７のいずれか１項に記載の立体表示装置。
【請求項９】
前記力覚生成部は、前記触覚部位が移動したときに、前記立体画像表示部が移動させた前記立体画像の位置に応じて、前記力覚生成部が音波による圧力の大きさを変化させる、請求項８に記載の立体表示装置。
【請求項１０】
少なくとも２つの視点に対応する視差画像をそれぞれ空間的に分離することで立体画像を表示し、前記視差画像を表示する表示面で音波を反射させて、前記立体画像の位置と空間的に同一位置に音波を伝播させて力覚を生じさせる、立体表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を観察者に提示すると共に、観察者に提示された立体画像再生位置に対応する力覚を提供する立体表示装置及び立体表示方法に関する。
【背景技術】
【０００２】
近年、液晶パネルなどのフラットパネル型ディスプレイに関する立体表示装置の提案が増えてきている。フラットパネル型ディスプレイを用いた立体表示装置として、レンチキュラレンズ、パララックスバリア等を用いて、両眼視差を有する複数の画像をそれぞれ左右の目に空間的に分離して呈示することで、立体視を実現する立体表示装置が注目されている。この装置では、観察者が立体画像を視認するために特別なメガネ等を装着する必要がないという利点を有している（例えば、非特許文献１参照）。【０００３】
一方、画像表示部と、空中超音波フェーズドアレイとを備える触覚ディスプレイを用いた擬似的な立体表示装置が提案されている（非特許文献２参照）。この非特許文献２に記載の立体表示装置では、擬似的な立体画像を表示する画像表示部として、特許文献１に記載の画像表示装置が用いられている。【０００４】
図１に、本発明に関連する立体表示装置の構成の模式図を示す。図１に示すように、画像表示部１００１から出射した光は、ハーフミラー１００２で反射された後、凹面鏡１００３で結像され、擬似的な立体画像としての光学空中像１００４を生成する。このとき、観察者の指先位置１００７が指位置センサ１００５によって検出され、指位置センサ１００５によって検出された指先位置１００７に応じて画像表示部１００１に表示する画像を更新し、超音波アクチュエータアレイ１００６からの超音波像１００８を光学空中像１００４と同期させて提供する。これによって、観察者が特殊な器具を装着することなく、視覚と触覚を融合した感覚の提供が可能となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許６，８０８，２６８号公報
【非特許文献】
【０００６】
【非特許文献１】大越孝敬著、三次元画像工学、朝倉書店、1991年7月10日発行
【非特許文献２】“Touchable Holography”, Full Conference DVD-ROM, Disc1, ACM SIGGRAPH 2009: Emerging Technologies, New Orleans, 3-7 Aug. 2009
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した本発明に関連する立体表示装置では、超音波アクチュエータアレイが超音波像を生成するための超音波像生成空間と、光学空中像を生成するための空中像生成空間とがそれぞれ独立して並んで配置されているので、立体表示装置全体が大型化してしまうという問題があった。【０００８】
また、本発明に関連する立体表示装置は、光学空中像の上方に配置された超音波アクチュエータアレイから伝播する超音波によって力覚を生じさせているので、光学空中像の奥行き方向から伝播する超音波による力覚を提供できない。このため、光学空中像を指先で押し込み操作した場合に、観察者の指先の移動方向（光学空中像の奥行き方向）と平行な方向に力覚を再現できないという課題があった。【０００９】
さらに、本発明に関連する立体表示装置の画像表示部は、光学空中像を再生するという擬似的な立体画像を表示している。このため、この画像表示部では、光学空中像を押し込み操作する観察者の指先等の移動の指示に応じて、立体画像の奥行き方向に立体画像再生位置を任意に変化させる立体表示を行うことができず、立体表示装置のアプリケーションが制限されるという課題があった。【００１０】
本発明の目的は、上述した課題のいずれかを解決するものであり、立体表示装置全体の小型化を図り、立体画像の奥行き方向に対する力覚を提供することができる立体表示装置及び立体表示方法を提供することにある。
【課題を解決するための手段】
【００１１】
上述した目的を達成するため、本発明に係る立体表示装置は、少なくとも２つの視点に対応する視差画像をそれぞれ空間的に分離して表示する表示面を有する立体画像表示部と、立体画像表示部の表示面に向けて音波を発振し、表示面で反射された音波よる所定の圧力を、立体画像表示部によって表示された立体画像の位置と空間的に同一位置に発生する力覚生成部と、を備える。【００１２】
また、本発明に係る立体表示方法は、少なくとも２つの視点に対応する視差画像をそれぞれ空間的に分離することで立体画像を表示し、視差画像を表示する表示面で音波を反射させて、立体画像の位置と空間的に同一位置に音波を伝播させて力覚を生じさせる。
【発明の効果】
【００１３】
本発明によれば、力覚生成部による超音波像生成空間と、立体画像表示部による立体画像生成空間とが空間的に同一位置に重なるので、立体表示装置全体を小型化できる。また、本発明は、観察者の指先等の触覚部位に対して、立体画像の奥行き方向に対する力覚を提供することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】本発明に関連する立体表示装置を説明するための模式図である。
【図２】第１の実施形態の立体表示装置を示す斜視図である。
【図３】第１の実施形態における立体画像の奥行き方向と、力覚が作用する方向を説明するための模式図である。
【図４】第１の実施形態における立体画像の表示状態を示す模式図である。
【図５Ａ】第１の実施形態における超音波アクチュエータの動作原理を説明するための模式図である。
【図５Ｂ】第１の実施形態における超音波アクチュエータの動作原理を説明するための模式図である。
【図５Ｃ】第１の実施形態における超音波アクチュエータの動作原理を説明するための模式図である。
【図６】第１の実施形態における立体画像再生位置と超音波像再生位置との関係を説明するための模式図である。
【図７Ａ】第１の実施形態における超音波アクチュエータが生成する超音波像を示す模式図である。
【図７Ｂ】第１の実施形態における超音波アクチュエータが生成する超音波像を示す模式図である。
【図７Ｃ】第１の実施形態における超音波アクチュエータが生成する超音波像を示す模式図である。
【図７Ｄ】第１の実施形態における超音波アクチュエータが生成する超音波像を示す模式図である。
【図８Ａ】第２の実施形態の立体表示装置を示す模式図である。
【図８Ｂ】第２の実施形態の立体表示装置を示す模式図である。
【図８Ｃ】第２の実施形態の立体表示装置を示す模式図である。
【図８Ｄ】第２の実施形態の立体表示装置を示す模式図である。
【図９Ａ】第３の実施形態の立体表示装置を示す模式図である。
【図９Ｂ】第３の実施形態の立体表示装置を示す模式図である。
【図９Ｃ】第３の実施形態の立体表示装置を示す模式図である。
【図９Ｄ】第３の実施形態の立体表示装置を示す模式図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を参照して説明する。なお、以下の説明では、同じ機能を有する構成には同じ符号を付けて、その説明を省略する場合がある。
【００１６】
（第１の実施形態）
図２に、第１の実施形態の立体表示装置の模式図を示す。図２に示すように、第１の実施形態の立体表示装置は、少なくとも２つの視点に対応する視差画像をそれぞれ空間的に分離して表示する表示面１１を有する立体画像表示部１と、立体画像表示部１の表示面１１に向けて音波を発振し、表示面１１で反射された音波よる所定の圧力を、立体画像表示部１によって表示された立体画像８の位置と空間的に同一位置に発生する力覚生成部２と、を備えている。なお、本発明において、立体画像８の位置とは、立体画像８が知覚される位置（再生位置）を指しており、立体画像表示部１の表示面１１から離れた位置を指している。
【００１７】
また、立体表示装置は、立体画像８の観察者の触覚部位としての指先である指先位置９を検出する位置検出手段としての指位置センサ３及び指位置検出回路４と、立体画像表示部１に表示する視差画像を生成する立体画像生成回路５と、力覚生成部２から発振する超音波を生成する超音波生成回路６と、を備えている。
【００１８】
立体画像表示部１は、観察者の視点位置７に対応した立体画像８を表示面に表示する。観察者の指先位置９は、指位置センサ３で計測され、計測結果に基づいて指位置検出回路４によって指先位置９が検出される。
【００１９】
力覚生成部２は、立体画像表示部１の表示面１１に向けて超音波を発振し、表示面１１で反射された超音波を、立体画像８の奥行き方向と平行に伝播させる発振領域が設けられた超音波アクチュエータアレイ２０を有している。超音波アクチュエータアレイ２０は、指位置検出回路４で検出された指先位置９に収束超音波を収束させ、観察者の指先位置９に力覚刺激を提供する。立体画像生成回路５は、指先位置９に応じて立体画像８を更新する。なお、超音波アクチュエータアレイ２０から発振された超音波は、立体画像表示部１の表示面１１で正反射され、立体画像８の奥行き方向と平行に伝播する。
【００２０】
図３に、第１の実施形態の立体表示装置の斜視図を示す。図３に示すように、立体画像８は、観察者の視点位置７から、鉛直方向２３に正立した画像として観察される。ここで、指先位置９に相当する立体画像８の部分に超音波アクチュエータアレイ２０から発生した力覚刺激Ｆが奥行き方向２４に沿って提供される。このとき、指先位置９に相当する立体画像８の部分の画像が更新される。図３に示す一例では、複数の押しボタンを再現した立体画像８に対して、押下されたボタンの立体画像８がボタンの押下方向に移動し、ボタンを押したときの力覚刺激Ｆが、指先位置９に押下方向と反対向きに提供される。
【００２１】
立体画像表示部１を構成する画像表示素子としては、水平方向に１２８０画素、垂直方向に９６０画素が配列され、画面サイズが水平方向に３００ｍｍ、垂直方向に２００ｍｍであるカラー液晶パネルを用いた。カラー液晶パネルは、垂直方向に赤、青、緑の各色の画素が配列されており、これら一組によって１画素（縦２３５μｍ程度×横２３５μｍ程度）が構成されている。
【００２２】
レンチキュラレンズは、ポリカーボネート樹脂によって形成されている。レンチキュラレンズは、レンズとして６４０個のシリンドリカルレンズアレイを用いて、レンズピッチが４７０μｍ程度に設定されている。レンチキュラレンズは、図６に示すように、最適視点位置を、表示面の中央から立体画像８の奥行き方向に対して６００ｍｍの位置に設定し、焦点距離を設定した。
【００２３】
図４に、第１の実施形態においける立体画像生成回路５の処理を説明するための模式図を示す。立体画像生成回路５は、図４に示すように、表示する所望の立体画像８の右眼視点３１及び左眼視点３２を透視中心としたときの表示面１１へのそれぞれの透視投影像を生成する画像処理手段としてのデジタル画像処理回路（不図示）を有している。デジタル画像処理回路は、視差画像を複数の画像表示素子のそれぞれの位置に応じて透視投影変換する。
【００２４】
図４に示す一例では、立体画像表示部１の表示面１１が、水平方向に対して傾斜角４５°で傾斜されて配置される構成を示した。
【００２５】
図４に示すように、右眼視点３１及び左眼視点３２にそれぞれ対応する右眼用透視投影変換画像３４及び左眼用透視投影変換画像３５は、立体画像生成回路５によって水平方向の１画素毎に交互に配列され、レンチキュラレンズによる立体視が可能な画像にされ、画像表示素子であるカラー液晶パネルに表示される。
【００２６】
この条件で、観察者の右眼視点３１及び左眼視点３２のそれぞれの視点に対応した画像が、レンチキュラレンズによって光学的に独立して提示され、図３に示すように、視点位置７において、鉛直方向２３に正立したように立体画像８が観察される。
【００２７】
なお、立体画像表示部１は、レンチキュラレンズが用いられているので、観察者が特殊なメガネ等を装着することなく裸眼で立体視が可能である。
【００２８】
図５Ａ〜図５Ｃに、図２に示した第１の実施形態における超音波アクチュエータアレイ２０の動作原理を説明するための図を示す。図５Ａに、超音波アクチュエータアレイ２０の１次元方向の断面図を示す。図５Ｂに、超音波の収束距離が１５０ｍｍの場合の位相分布を示す。図５Ｃに、超音波の収束距離が３００ｍｍの場合の位相分布を示す。
【００２９】
図５Ａに示すように、超音波アクチュエータアレイ２０は、平面上に５０個×５０個のアクチュエータ４１がピッチ４ｍｍで配列されている。各アクチュエータ４１は、超音波生成回路６によって発生する超音波の圧力振幅と位相とを自在に制御できる制御回路を備えており、任意の位相分布４２を与えることが可能とされている。
【００３０】
図５Ａに示して構成の条件で、アクチュエータ４１の位相φ（°）、アクチュエータ４１のピッチｐ、波面角θ１、集束距離Ｌ、中心軸４３の軸方向と垂直な方向に対する距離をＸとすれば、これらの変数の関係は、音波の回折の法則（ホイヘンス・フレネルの原理）より、式１，２の関係で表される。
【００３１】
φ＝３６０゜・ｘ・ｓｉｎθ１／λ  ・・・（式１）
ｘ／Ｌ＝ｔａｎθ１  ・・・（式２）
ここで、超音波の周波数を８５ｋＨｚとすれば、空気中における波長λが４ｍｍ（音速３４０ｍ／ｓとした場合）となる。アクチュエータ４１のピッチｐを４ｍｍ、アクチュエータ４１の個数を５０個×５０個、超音波アクチュエータアレイ２０全体のサイズを２００ｍｍ×２００ｍｍに設定したとき、例えば、集束距離１５０ｍｍ、３００ｍｍである場合には、図５Ｂ、５Ｃにそれぞれ示すような位相分布を与える。これによって、立体画像表示部１によって立体画像８が生成される所望の点に向かう収束波面４４が伝播し、収束超音波が生成できるので、各アクチュエータ４１を駆動する位相分布を変化させることで、超音波像位置を変化させることができる。
【００３２】
図５Ａに示すように、第１の実施形態において、アクチュエータ４１から発振された超音波は、立体画像表示部１の表示面１１を構成するレンチキュラレンズの表面で反射される。このとき、レンチキュラレンズを形成するポリカーボネート樹脂は、空気よりも音響インピーダンスが大きいので、超音波が表示面１１で全反射される。表示面１１で全反射された超音波は、表示された立体画像８の奥行き方向と同一方向に超音波像１０を形成する。ここで、搬送波に、例えば周波数１００Ｈｚで矩形波による変調をかけることで、振動の刺激による力覚刺激Ｆを提供できる。
【００３３】
以上、１次元の収束超音波の生成の場合について説明したが、２次元に拡張する場合も同様に音波の回折の法則（ホイヘンス・フレネルの原理）に従って考えればよい。さらに、複雑な波面に関しては一般的なフーリエ音響学の理論（例えば、E.G.ウィリアムズ著：フーリエ音響学、シュプリンガー・フェアラーク東京、参照）に従って、位相分布や振幅分布を与えてもよい。
【００３４】
図６に、第１の実施形態における立体画像再生位置と超音波像再生位置との関係を示す。図６に示すように、超音波アクチュエータアレイ２０の中心軸は、立体画像表示部１の表示面１１の中心と交差し、中心間距離を１００ｍｍとして、立体画像再生位置を立体画像表示部１の表示面１１から距離Ｚｍｍに設定した場合、超音波像再生位置はＺｍｍ＋１００ｍｍに設定すればよい。例えば、第１の指先位置として、指位置センサ３で得られた指先位置９が立体画像表示部１の表示面１１の中心から２００ｍｍであるときに押しボタンを押したことを指先で知覚させる場合、超音波像再生位置は２００ｍｍ＋１００ｍｍ＝３００ｍｍであるので、図５Ｃに示した位相分布を超音波アクチュエータアレイ２０に与えて、指先に力覚刺激Ｆを提供すればよい。
【００３５】
ここで、第２の指先位置として、指先が立体画像表示部１側に移動したときであっても指先に触れていると知覚させる場合、立体画像再生位置を２００ｍｍから５０ｍｍに更新し、超音波像再生位置を５０ｍｍ＋１００ｍｍ＝１５０ｍｍに変化させて、図５Ｂに示した位相分布を超音波アクチュエータアレイ２０に与えて、立体画像再生位置に力覚刺激Ｆを提供すればよく、このような原理に基づいて図３に示した一例の構成が動作する。
【００３６】
また、指先が第１の指先位置に達したときに提供する第１の圧力供給強度に比べて、第２の先指位置に達したときの圧力供給強度が大きくなるように力覚を提供することで、押しボタンを押し込み終わった感覚を付与することができる。
【００３７】
第１の実施形態における指位置センサ３はステレオ画像計測による三角測量で行った。指位置センサ３としては、検出光の遮断による距離計測等の各種光学素子を用いたものでも、超音波を用いた距離測定素子を用いてもよい。ただし、計測光を出射する光学素子を用いる場合には、計測光として可視光領域を避けた光を用いるか、立体画像表示部１の表示の更新周波数（リフレッシュレート）とは異なる周波数で変調した光を用いる。また、超音波を用いる場合には、その超音波を、力覚を提供する超音波と異なる周波数に設定する。
【００３８】
図７Ａ〜図７Ｄに、第１の実施形態における超音波アクチュエータアレイ２０による傾斜波面の生成作用を説明するための模式図を示す。図７Ａに示すように、収束超音波の場合と同様に式１，２を用いて波面角θ２を求める。そして、波面角θ２に応じた位相差を与えることで、傾斜波面４７を生成できる。このとき、超音波アクチュエータアレイ２０の隣り合うアクチュエータ４１間の位相差は一定である。
【００３９】
なお、図７Ａに示した位相分布４６に、図５Ｂ、５Ｃに示した位相分布を重畳することで、図７Ｂに示すように指向性を持った収束球面波を再生することも可能である。また、傾斜波面が異なる収束球面波の位相分布を更に重畳することで、図７Ｃに示すように、複数の超音波像Ａ，Ｂを生成することもできる。さらに、図７Ｄに示すように、超音波アクチュエータアレイ２０の発振領域を複数の発振領域２１，２２に分割して、複数の発振領域２１，２２のそれぞれから、伝播方向が異なる複数の超音波像Ａ，Ｂをそれぞれ生成し、複数の発振領域２１，２２のそれぞれが異なる波面を再生するように構成されてもよい。
【００４０】
立体画像表示部１の表示面１１を構成するレンチキュラレンズのピッチは、４７０μｍ程度であり、超音波の波長４ｍｍに比べて小さいので、レンチキュラレンズが有するレンズ群の凸面は、超音波に対して実質的に平面であるのと見なせる。なお、必要に応じて、立体画像表示部１の表示面１１に光学的に透明なガラスや、樹脂製の平板を配置することで、超音波反射面の平坦性も高めてもよい。
【００４１】
立体表示を行う光学系としては、例えばパララックスバリア、インテグラルフォトグラフィ用レンズアレイもしくはピンホールアレイを用いてもよく、視点位置は２視点以上としてもよい。
【００４２】
画像表示素子としては、カラー液晶パネル以外に、例えば有機ＥＬパネル、プラズマディスプレイパネル、表面電界ディスプレイパネル、電子ペーパー等の各種フラットディスプレイパネルが用いられてもよい。また、画像表示素子としては、上述した構成よりも画素数、画面サイズが更に大きなパネルが使用されてもよい。
【００４３】
超音波アクチュエータアレイの大きさ、アクチュエータのピッチ、周波数は、本実施形態に限定されるものではなく、必要に応じて適宜変更してもよい。
【００４４】
以上、第１の実施形態では、力覚生成部２による超音波像生成空間と、立体画像表示部１が立体画像８を生成する立体画像生成空間とが空間的に同一位置に重なるので、立体表示装置全体を小型化できる。また、第１の実施形態は、観察者の指先等に、立体画像８の奥行き方向に対する超音波による力覚を提供することができる。さらに、第１の実施形態によれば、観察者の指先の移動に応じて、立体画像８の奥行き方向に立体画像８の再生位置を変化させることができ、インタラクティブなアプリケーションに広く適用することができる。
【００４５】
以下、他の実施形態について図面を参照して説明する。他の実施形態は、第１の実施形態と構成の一部のみが異なっているので、第１の実施形態と同一の構成部材には第１の実施形態と同一の符号を付して説明を省略する。
【００４６】
（第２の実施形態）
図８Ａ〜図８Ｄに、第２の実施形態の立体表示装置の模式図を示す。図８Ａに示すように、第２の実施形態の立体表示装置は、立体画像表示部１の表示面１１を間に挟んで対向して配置された一対の第１の力覚生成部５１及び第２の力覚生成部５２を備えている。
【００４７】
また、第２の実施形態の立体表示装置においても、第１の実施形態と同様に、指位置センサ３及び指位置検出回路４、立体画像生成回路５、超音波生成回路６を備えているが、第１実施形態と同様であるので、図示を省略する。
【００４８】
第１の力覚生成部５１は、第１の超音波アクチュエータアレイ７１を有している。第１の超音波アクチュエータアレイ７１は、立体画像表示部１の表示面１１の上方の一辺に沿って配置されている。同様に、第２の力覚生成部５２は、第２の超音波アクチュエータアレイ７２を有している。第２の超音波アクチュエータアレイ７２は、立体画像表示部１の表示面１１の下方の底辺に沿って配置されている。
【００４９】
第２の実施形態において、超音波アクチュエータアレイ７１，７２の水平方向のサイズは、第１の実施形態における超音波アクチュエータアレイ２０のサイズの１／２である。また、超音波アクチュエータアレイ７１，７２が有するアクチュエータ７５の個数は５０個×２５個、超音波アクチュエータアレイ７１，７２全体のサイズは１００ｍｍ×２００ｍｍである。超音波アクチュエータアレイ７１には、第１の実施形態と同様な位相分布（超音波アクチュエータアレイ７１の開口の範囲）を与え、立体画像表示部１の表示面１１で超音波を反射させて、指先位置９に超音波像を再生する。
【００５０】
また、立体画像表示部１の底辺側に配置された第２の超音波アクチュエータアレイ７２には、図７Ａに示す傾斜波面を重畳した収束球面波の位相分布を重畳した図７Ｂに相当する位相分布を与える。傾斜波面４７の波面角θ２を４５°以上に設定することで、第２の超音波アクチュエータアレイ７２から発せられる超音波は、立体画像表示部１の表示面１１で反射し、指先位置９に到達し、観察者から見る方向と逆方向へ付与する力覚刺激Ｆを増やすことができる。
【００５１】
また、図８Ｂに示すように、第２の力覚生成部５２の超音波アクチュエータアレイ７２の発振領域を２つの第１の発振領域７３と第２の発振領域７４に分割して構成してもよい。この構成では、第１の発振領域７３から立体画像表示部１の表示面１１で反射する超音波を発振すると共に、第２の発振領域７４から指先位置９に直接的に向かって伝播する超音波を発振する。なお、超音波アクチュエータアレイの発振領域の分割数は、必要に応じて２つ以上のいくつに設定されてもよい。
【００５２】
また、図８Ｃに示すように、第２の力覚生成部５２の超音波アクチュエータアレイ７２から発振する超音波の伝播方向を、指先位置９に向かう鉛直方向である上向きに設定することで、指先位置９を鉛直方向の下向きに移動したときに上向きに作用する力覚を提供してもよい。つまり、立体画像８を下方に移動させたときに移動方向に抗する力覚を生じさせることが可能になる。
【００５３】
また、超音波アクチュエータアレイの発振領域の少なくとも一部は、超音波の傾斜波面を生成するために、図８Ｄに示すように、複数のアクチュエータ７５が予め、複数のアクチュエータ７５の配列方向に直交する鉛直方向に対して、アクチュエータ７５から超音波を発振する方向が、所望の傾斜角θ３だけ傾斜させて配置されて構成されてもよい。
【００５４】
超音波アクチュエータアレイの大きさ、アクチュエータのピッチ、及び超音波の周波数は、本実施形態の構成に限定されるものではなく、必要に応じて適宜変更してもよい。
【００５５】
以上、第２の実施形態の立体表示装置によれば、第１及び第２の力覚生成部５１，５２による超音波像生成空間と、立体画像表示部１が立体画像８を生成する立体映像生成空間とが空間的に同一位置に重なるので、立体表示装置全体の小型化を実現できる。また、第２の実施形態においても、観察者の指先等に対して、立体画像８の奥行き方向と平行に超音波による力覚を提供することができる。さらに、第２の実施形態においても、観察者の指先の移動に応じて、立体画像８の奥行き方向に立体画像８を変化させることができるので、インタラクティブなアプリケーションに広く適用することができる。
【００５６】
（第３の実施形態）
図９Ａ〜図９Ｄに、第３の実施形態の立体表示装置の模式図を示す。図９Ａに示すように、第３の実施形態の立体表示装置は、表示面同士が所定の傾斜角をなすように隣接して配置された第１及び第２の立体画像表示部８１，８２と、第１及び第２の立体画像表示部８１，８２の各表示面を間に挟んで対向して配置された第１及び第２の力覚生成部８３，８４と、を備えている。
【００５７】
また、第３の実施形態は、第１の立体画像表示部８１の水平方向の両側に第１及び第２の指位置センサ３ａ，３ｂが配置されている。第１及び第２の指位置センサ３ａ，３ｂを用いることで、第１及び第２の立体画像表示部８１，８２の２つの表示面に囲まれた空間内における指先位置９を検出することが可能にされている。また、第３の実施形態の立体表示装置においても、第１の実施形態と同様に、第１及び第２の指位置センサ３ａ，３ｂと接続された指位置検出回路４、立体画像生成回路５、超音波生成回路６を備えているが、第１実施形態と同様であるので、図示を省略する。
【００５８】
立体画像表示部８１，８２は、表示面が互いに９０°の角度をなすように外周部の端面同士が当接されて配置されており、奥行き方向に対する立体画像８のみならず、２つの表示面に囲まれた空間内に立体画像８を表示することが可能である。このとき、立体画像表示部８１，８２は、観察者の視点位置７に対応する透視投影変換画像を表示することで、立体画像８を表示する。なお、図９Ａ〜図９Ｄにおいて観察者の視点位置７として片眼のみを模式的に示すが、立体画像表示部８１，８２のそれぞれは、右眼視点、左眼視点の各視点位置に対応する透視投影変換画像をそれぞれ表示する。観察者の指先位置９は、指位置センサ３ａ，３ｂによって計測され、計測結果に基づいて指位置検出回路４によって検出される。
【００５９】
第１の力覚生成部８３は、超音波アクチュエータアレイ８５を有している。同様に、第２の力覚生成部８４は、超音波アクチュエータアレイ８６を有している。超音波アクチュエータアレイ８５，８６は、立体画像表示部８１，８２の表示面のそれぞれと直交して端面同士が当接されて、両側面に配置されている。超音波アクチュエータアレイ８５，８６は、指位置検出回路４で検出された指先位置９に収束超音波を収束させ、観察者の指先位置９に力覚刺激Ｆを提供する。立体画像８は、指先位置９の移動に応じて立体画像生成回路５で更新される。
【００６０】
なお、超音波アクチュエータアレイ８５，８６は、図７Ａに示した傾斜波面と、図５Ａに示した収束球面波による収束波面の位相分布とを重畳した超音波を出力する。このとき、傾斜波面の伝播方向を立体画像表示部８１，８２の各表示面へ向かう向きに設定することで、超音波アクチュエータアレイ８５，８６から発せされた超音波は、図９Ｂに示すように、立体画像表示部８１，８２の表示面で正反射される。つまり、立体画像表示部８１の表示面で反射された超音波は、反射波８７の経路を経て立体画像８の位置に伝播する。
【００６１】
超音波アクチュエータアレイ８５，８６は、２００ｍｍ×２００ｍｍの直交する２辺からなる直角三角形形状で、２５個のアクチュエータがピッチ４ｍｍで配列されている。各アクチュエータは、超音波生成回路６によって発生する超音波の圧力振幅と位相とを自在に制御できる制御回路を有しており、任意の位相分布を与えることができる。
【００６２】
立体画像生成回路５は、表示すべき立体画像８の右眼視点、左目視点の各々を透視中心としたときの立体画像表示部８１，８２の表示面への投影像を生成するデジタル画像処理回路を有している。
【００６３】
右眼視点、左目視点のそれぞれに対応する右眼用透視投影変換画像３４、左眼用透視投影変換画像３５は、立体画像生成回路５で水平方向の１画素毎に交互に配列され、レンチキュラレンズによる立体視が可能な画像となり、画像表示素子であるカラー液晶パネルに表示される。
【００６４】
この条件で観察者の右眼視点、左眼視点のそれぞれの視点に対応した画像が、レンチキュラレンズによって光学的に独立して提示され、鉛直方向に正立するように立体画像８が観察される。
【００６５】
立体画像表示部８１，８２の画像表示素子としては、例えば水平方向に１２８０画素、垂直方向に９６０画素、画面サイズは、水平方向に３００ｍｍ、垂直方向に２００ｍｍのカラー液晶パネルを用いた。カラー液晶パネルは、垂直方向に赤、青、緑の各色の画素が配列されており、これら一組で１画素（２３５μｍ×２３５μｍ）が構成されている。レンチキュラレンズとしては、ポリカーボネート樹脂を用いた。レンチキュラレンズのレンズピッチは４７０μｍ程度、レンズは６４０個のシリンドリカルレンズアレイとし、最適視点位置を、立体画像表示部８１，８２の表示面の中央から立体画像８の奥行き方向に６００ｍｍに設定し、焦点距離を設定した。
【００６６】
なお、立体画像表示部８１，８２は、レンチキュラレンズを用いているので、観察者が特殊なメガネ等を装着することなく裸眼で立体視が可能である。
【００６７】
さらに、図９Ｃに示すように、超音波アクチュエータアレイ８５（あるいは超音波アクチュエータアレイ８６）の超音波の伝播方向を、指先位置９に直接的に向かうように（直接波８８が伝播する方向に）伝播させて力覚を提供してもよい。
【００６８】
また、図９Ｄに示すように、超音波アクチュエータアレイ８５（あるいは超音波アクチュエータアレイ８６）を、反射波領域９１と直接波領域９２とに二分割して、立体画像表示部８１、８２の表示面で反射する超音波と、指先位置９に向かって直接伝播する超音波を発生させてもよい。なお、超音波アクチュエータアレイ８５の分割数は、２つ以上であれば、いくつに設定されてもよい。
【００６９】
超音波アクチュエータアレイ８５，８６においても、傾斜波面を生成するために、図８Ｄに示したように複数のアクチュエータ７５を予め、複数のアクチュエータ７５の配列方向に直交する方向に対して傾斜角θ３で傾斜させて配置された超音波アクチュエータアレイが用いられてもよい。
【００７０】
超音波アクチュエータアレイ８５，８６の大きさ、アクチュエータ７５のピッチ、周波数は、本実施形態に限定されることなく、必要に応じて適宜変更されてもよい。
【００７１】
第３の実施形態における指位置センサ３では、ステレオ画像計測による三角測量を用いた。指位置センサ３としては、検出光の遮断による距離計測等の各種光学素子を用いても、超音波を利用した距離測定素子を用いてもよい。ただし、計測光を発する光学素子を用いる場合、計測光としては、可視光領域を避けた光を用いるか、立体画像表示部８１，８２の表示の更新周波数（リフレッシュレート）とは異なる周波数で変調した光を用いる。また、超音波を利用した距離測定素子を用いる場合には、その超音波の周波数を、力覚を提供する超音波と異なる周波数に設定する。
【００７２】
第１及び第２の立体画像表示部８１，８２の表示面を構成するレンチキュラレンズのピッチは、４６０μｍであり、超音波の波長４ｍｍに比べ小さいので、レンチキュラレンズが有するレンズ群の凸面は、超音波に対して実質的に平面であると見なせる。なお、必要に応じて、第１及び第２の立体画像表示部８１，８２の表示面に、光学的に透明なガラスや、樹脂製の平板を配置することによって、超音波反射面である表示面の平坦性を高めてもよい。
【００７３】
また、立体表示を行う光学系としては、例えばパララックスバリア、インテグラルフォトグラフィ用レンズアレイあるいはピンホールアレイを用いてもよく、視点位置が２視点以上に設定されてもよい。
【００７４】
画像表示素子としては、カラー液晶パネル以外に、例えば有機ＥＬ（エレクトロルミネッセンス）パネル、プラズマディスプレイパネル、表面電界ディスプレイパネル、電子ペーパー等の各種フラットディスプレイパネルが用いられてもよい。また、画像表示素子としては、上述した構成よりも画素数、画面サイズが更に大きなパネルを使用してもよい。
【００７５】
以上、第３の実施形態では、第１及び第２の力覚生成部８３，８４による超音波像生成空間と、第１及び第２の立体画像表示部８１，８２が立体画像８を生成する立体画像生成空間とが空間的に同一位置に重なるので、立体表示装置全体の小型化を実現できる。また、第３の実施形態によれば、観察者の指先等に、立体画像８の奥行き方向に対する超音波による力覚を提供することができる。さらに、第３の実施形態によれば、観察者の指先の移動に応じて、立体画像８の奥行き方向に立体画像８を変化させることができ、インタラクティブなアプリケーションに広く適用することができる。
【００７６】
以上説明した各実施形態において図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【００７７】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細に対して、本発明のスコープ内で当業者が理解し得る様々な変更を行うことができる。
【００７８】
この出願は、２０１０年７月２３日に出願された日本出願特願２０１０−１６５９９７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００７９】
１  立体画像表示部
２  力覚生成部
３  指位置センサ
７  視点位置
８  立体画像
９  指先位置
１１  表示面
２０  超音波アクチュエータアレイ
２３  鉛直方向
２４  奥行き方向
３１  右眼視点
３２  左眼視点
３４  右眼用透視投影変換画像
３５  左眼用透視投影変換画像
Ｆ  力覚刺激
【図１】
2012011321.tif 000003
【図２】
2012011321.tif 000004
【図３】
2012011321.tif 000005
【図４】
2012011321.tif 000006
【図５Ａ】
2012011321.tif 000007
【図５Ｂ】
2012011321.tif 000008
【図５Ｃ】
2012011321.tif 000009
【図６】
2012011321.tif 000010
【図７Ａ】
2012011321.tif 000011
【図７Ｂ】
2012011321.tif 000012
【図７Ｃ】
2012011321.tif 000013
【図７Ｄ】
2012011321.tif 000014
【図８Ａ】
2012011321.tif 000015
【図８Ｂ】
2012011321.tif 000016
【図８Ｃ】
2012011321.tif 000017
【図８Ｄ】
2012011321.tif 000018
【図９Ａ】
2012011321.tif 000019
【図９Ｂ】
2012011321.tif 000020
【図９Ｃ】
2012011321.tif 000021
【図９Ｄ】
2012011321.tif 000022
【国際調査報告】
2012011321.tif 000023
2012011321.tif 000024
2012011321.tif 000025
2012011321.tif 000026