(57)【要約】【課題】立体画像用のデータの入力を必要とせずに、ＯＳＤを適切な奥行位置に表示すること等を可能とする電子機器を提供することである。【解決手段】実施形態によれば、電子機器は、カメラと、検出手段と、決定手段とを具備する。カメラは、ユーザの眼を撮影する。検出手段は、カメラによる撮影画像を用いてユーザの注視点の距離を検出する。決定手段は、検出手段により検出されるユーザの注視点の距離に対応する奥行位置に画像が表示されるように左眼用画像および右眼用画像の一対の視差画像に適用する視差を決定する。【選択図】図２
2015228543.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの眼を撮影するためのカメラと、
前記カメラによる撮影画像を用いてユーザの注視点の距離を検出する検出手段と、
前記検出手段により検出されるユーザの注視点の距離に対応する奥行位置に画像が表示されるように左眼用画像および右眼用画像の一対の視差画像に適用する視差を決定する決定手段と、
を具備する電子機器。
【請求項２】
前記検出手段は、前記撮影画像から瞳孔間距離を検出し、前記瞳孔間距離から前記ユーザの注視点の距離を検出する請求項１に記載の電子機器。
【請求項３】
前記瞳孔間距離と前記ユーザの注視点の距離との対応を調整するキャリブレーション手段を具備する請求項２に記載の電子機器。
【請求項４】
前記キャリブレーション手段は、互いに異なる２以上の距離をユーザに注視させて撮影した２以上の撮影画像を取得して、前記瞳孔間距離と前記ユーザの注視点の距離との対応を調整する請求項３に記載の電子機器。
【請求項５】
左眼用レンズ兼スクリーンと、
右眼用レンズ兼スクリーンと、
前記左眼用レンズ兼スクリーンに前記左眼用画像を投影するための左眼用プロジェクタと、
前記右眼用レンズ兼スクリーンに前記右眼用画像を投影するための右眼用プロジェクタと、
を具備する請求項１、２、３または４に記載の電子機器。
【請求項６】
各々が通信機能を備える第１ユニットおよび第２ユニットを具備し、
前記カメラ、前記左眼用レンズ兼スクリーン、前記右眼用レンズ兼スクリーン、前記左眼用プロジェクタおよび前記右眼用プロジェクタは、前記第１ユニットに設けられ、
前記検出手段および前記決定手段は、前記第２ユニットに設けられる、
請求項５に記載の電子機器。
【請求項７】
ユーザの眼を撮影するためのカメラと、
前記カメラによる撮影画像を用いてユーザの注視点の距離を検出する検出手段と、
前記検出手段により検出されるユーザの注視点の距離が予定される距離から一定値以上逸脱している場合、ユーザに対する警告を行う警告手段と、
を具備する電子機器。
【請求項８】
ユーザの眼を撮影することと、
前記撮影された画像を用いてユーザの注視点の距離を検出することと、
前記検出されたユーザの注視点の距離に対応する奥行位置に画像が表示されるように左眼用画像および右眼用画像の一対の視差画像に適用する視差を決定することと、
を具備する電子機器の表示処理方法。
【請求項９】
前記検出することは、前記撮影された画像から瞳孔間距離を検出し、前記瞳孔間距離から前記ユーザの注視点の距離を検出することを含む請求項８に記載の電子機器の表示処理方法。
【請求項１０】
前記瞳孔間距離と前記ユーザの注視点の距離との対応を調整することを具備する請求項９に記載の電子機器の表示処理方法。
【請求項１１】
前記調整することは、互いに異なる２以上の距離をユーザに注視させて撮影した２以上の撮影画像を取得して、前記瞳孔間距離と前記ユーザの注視点の距離との対応を調整することを含む請求項１０に記載の電子機器の表示処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、電子機器および表示処理方法に関する。
【背景技術】
【０００２】
近年、両眼視差による錯覚を利用して、視差画像と称される左眼用画像および右眼用画像の一対の画像を表示し、表示画像を立体的に知覚させることにより、立体画像（３次元画像）を観賞することを可能とするデバイスが提供され始めている。
【０００３】
また、これに伴い、ＯＳＤ（On Screen Display）と称される画像を主画像と共に違和感なく表示するための手法が種々提案されるに至っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２２３１２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＯＳＤは、主画像との間で奥行位置がずれた状態で表示された場合、ユーザに違和感を与えることになる。従来のＯＳＤの表示手法は、端的に言えば、主画像の奥行値等、立体画像用のデータに基づき、ＯＳＤを適切な奥行位置に表示するというものである。
【０００６】
つまり、従来のＯＳＤの表示手法では、立体画像用のデータの入力が必須である。換言すれば、立体画像用のデータの入力がなければ、従来のＯＳＤの表示手法では、ＯＳＤを適切な奥行位置に表示することはできない。
【０００７】
本発明が解決しようとする課題は、立体画像用のデータの入力を必要とせずに、ＯＳＤを適切な奥行位置に表示すること等を可能とする電子機器および表示処理方法を提供することである。
【課題を解決するための手段】
【０００８】
実施形態によれば、電子機器は、カメラと、検出手段と、決定手段とを具備する。カメラは、ユーザの眼を撮影する。検出手段は、カメラによる撮影画像を用いてユーザの注視点の距離を検出する。決定手段は、検出手段により検出されるユーザの注視点の距離に対応する奥行位置に画像が表示されるように左眼用画像および右眼用画像の一対の視差画像に適用する視差を決定する。
【図面の簡単な説明】
【０００９】
【図１】実施形態の電子機器の外観を示す図。
【図２】実施形態の電子機器のシステム構成を示す図。
【図３】視差画像（左眼用画像および右眼用画像）により立体画像を知覚させる場合においてＯＳＤを一方の眼用の画像上にのみ配置する例を示す図。
【図４】視差画像（左眼用画像および右眼用画像）により立体画像を知覚させる場合においてＯＳＤを奥行位置を考慮せずに表示する例を示す図。
【図５】視差画像（左眼用画像および右眼用画像）により立体画像を知覚させる場合においてＯＳＤを奥行位置を考慮して表示する例を示す図。
【図６】実施形態の電子機器がユーザの眼を撮影する様子を示す図。
【図７】注視点が遠い場合の視線（眼の状態）を示す図。
【図８】注視点が近い場合の視線（眼の状態）を示す図。
【図９】実施形態の電子機器が検出する瞳孔間距離を説明するための図。
【図１０】実施形態の電子機器のＯＳＤの表示処理手順を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、実施の形態について図面を参照して説明する。
【００１１】
図１は、本実施形態の電子機器１の外観を示す図である。ここでは、電子機器１が、眼鏡型ディスプレイ装置として実現されているものとする。
【００１２】
眼鏡型ディスプレイ装置である本電子機器１は、図１に示すように、眼鏡の部品であるテンプル（つる）２１、リム２２、ブリッジ２３、（テンプル２１とリム２２とを接合する）接合部２４等を有している。リム２２には、レンズ兼スクリーン１１ａ，１１ｂが嵌め込まれている。また、接合部２４には、レンズ兼スクリーン１１ａ，１１ｂに視差画像（左眼用画像ａ１，右眼用画像ａ２）を投影するためのプロジェクタ１２ａ，１２ｂが配置されている。さらに、リム２２には、本電子機器１を装着するユーザの眼を撮影するためのカメラ１３ａ，１３ｂが配置されている。カメラ１３ａ，１３ｂの撮影画像は、伝送路１４ａ，１４ｂにより接合部２４内に導かれる。図１には示されないが、接合部２４内には、本電子機器１の動作制御を司るプロセッサや、本電子機器１の動作用電力を供給するバッテリ等が配置されている。ここでは、プロジェクタ１２ａ，１２ｂにより、レンズ兼スクリーン１１ａ，１１ｂに視差画像（左眼用画像ａ１，右眼用画像ａ２）を投影するものとするが、レンズ兼スクリーン１１ａ，１１ｂに視差画像（左眼用画像ａ１，右眼用画像ａ２）を表示するためのデバイスは、プロジェクタ１２ａ，１２ｂに限らない。
【００１３】
図２は、本電子機器１のシステム構成を示す図である。
【００１４】
前述のプロジェクタ１２ａ，１２ｂおよびカメラ１３ａ，１３ｂのほか、本電子機器１は、図２に示すように、瞳孔間距離検出部１０１、奥行位置検出部１０２、ＯＳＤ表示処理部１０３およびキャリブレーション処理部１０４を有している。これらは、例えば、前述のプロセッサによって実行されるソフトウェアにより実現される。なお、本電子機器１を、ユーザに装着される第１ユニットと、当該第１ユニットから分離させた第２ユニットとの２つのユニットで構成し、図２に示される瞳孔間距離検出部１０１、奥行位置検出部１０２、ＯＳＤ表示処理部１０３およびキャリブレーション処理部１０４を、ユーザに装着される第１ユニットから分離させた第２ユニットに搭載するようにしてもよい。第１ユニットと第２ユニットとは、例えば無線通信により必要な情報を送受信する。
【００１５】
ここで、図３乃至図８を参照して、本電子機器１におけるＯＳＤの表示に関する動作原理を説明する。
【００１６】
図３は、視差画像（左眼用画像および右眼用画像）により立体画像を知覚させる場合においてＯＳＤを一方の眼用の画像上にのみ配置する例を示す図である。
【００１７】
図３に示したように、ＯＳＤを例えば右眼用画像上にのみ配置すると、ユーザには、ＯＳＤがちらついて見えてしまう。
【００１８】
また、図４は、視差画像（左眼用画像および右眼用画像）により立体画像を知覚させる場合においてＯＳＤを奥行位置を考慮せずに表示する例を示す図である。
【００１９】
図４に示したように、仮に、ＯＳＤを左眼用画像および右眼用画像の両方に配置した場合であっても、奥行位置が考慮されていないと、主画像との奥行方向のずれから、ユーザに違和感を与えてしまう。
【００２０】
また、図５は、視差画像（左眼用画像および右眼用画像）により立体画像を知覚させる場合においてＯＳＤを奥行位置を考慮して表示する例を示す図である。
【００２１】
図５に示すように、ＯＳＤを左眼用画像および右眼用画像の両方に配置する場合、奥行位置を考慮することにより、ユーザにとってＯＳＤは見やすくなり、ユーザに違和感を与えることがない。
【００２２】
ところで、図３乃至図５では、視差画像（左眼用画像および右眼用画像）により立体画像を知覚しているユーザに向けてＯＳＤを表示する場合を想定している。一方、眼鏡型ディスプレイ装置である本電子機器１では、実空間の物体を見ている（本電子機器１を装着する）ユーザに向けてＯＳＤを表示するという利用シーンも考えられる。この場合、主画像の奥行値等、立体画像用のデータに基づき、ＯＳＤを適切な奥行位置に表示するという従来のＯＳＤの表示手法は適用できない。そこで、本電子機器１は、ユーザの眼の状態に基づき、ＯＳＤを適切な奥行位置に表示できるようにした。なお、ユーザの眼の状態に基づき、ＯＳＤを適切な奥行位置に表示する本電子機器１におけるＯＳＤの表示手法は、視差画像（左眼用画像および右眼用画像）により立体画像を知覚しているユーザに向けてＯＳＤを表示する場合においても適用可能であることは言うまでもない。
【００２３】
図６に示すように、本電子機器１は、例えば、レンズ兼スクリーン１１ａ，１１ｂを介して実空間の物体を注視しているユーザの眼をカメラ１３ａ，１３ｂにより撮影する。図７は、注視点が遠い場合の視線（眼の状態）を示す図であり、図８は、注視点が近い場合の視線（眼の状態）を示す図である。
【００２４】
注視点が遠い場合、視線の交点は遠くなるので、両眼の黒目（虹彩）、より詳しくは、瞳孔の距離は広くなる。これにより、カメラ１３ａ，１３ｂの撮影画像ｂ１，ｂ２は、例えば図７に示すようなものとなる。
【００２５】
一方、注視点が近い場合、視線の交点は近くなるので、両眼の黒目（虹彩）、より詳しくは、瞳孔の距離は狭くなる。これにより、カメラ１３ａ，１３ｂの撮影画像ｂ１，ｂ２は、例えば図８に示すようなものとなる。
【００２６】
本電子機器１は、カメラ１３ａ，１３ｂの撮影画像ｂ１，ｂ２を用いて、まず、瞳孔間距離を検出し、当該検出した瞳孔間距離から注視点の距離を検出する。そして、本電子機器１は、当該検出した注視点の距離に対応する奥行位置にＯＳＤを表示する。即ち、ＯＳＤ用の視差画像に適用する視差を決定する。
【００２７】
ここで、瞳孔間距離とは、図９に示す距離ｃをいうが、ユーザの眼の状態を検出するための値としては、これに限定されず、視線の交点の遠近により変化する値であれば、例えば、両眼の黒目（虹彩）間の最短距離ｃ’や、瞳孔から目頭までの距離ｃ”等、種々の値を採用し得る。
【００２８】
再び、図２を参照する。
【００２９】
カメラ１３ａ，１３ｂの撮影画像は、瞳孔間距離検出部１０１に入力される。瞳孔間距離検出部１０１は、カメラ１３ａ，１３ｂの撮影画像に対して合成処理や認識処理などを含む各種画像処理を施し、瞳孔間距離を検出する。瞳孔間距離検出部１０１は、検出した瞳孔間距離を奥行位置検出部１０２に転送する。
【００３０】
奥行位置検出部１０２は、瞳孔間距離と注視点の距離（奥行位置）との対応関係が記録される距離−位置対応テーブル１０２Ａを有している。奥行位置検出部１０２は、瞳孔間距離検出部１０１から瞳孔間距離を受け取ると、距離−位置対応テーブル１０２Ａを参照して、その瞳孔間距離に対応する奥行位置を検出する。換言すると、奥行位置検出部１０２は、ＯＳＤ用の視差画像（左眼用画像，右眼用画像）に適用する視差を決定する。奥行位置検出部１０２は、検出した奥行位置をＯＳＤ表示処理部１０３に転送する。
【００３１】
ＯＳＤ表示処理部１０３は、奥行位置検出部１０２から受け取った奥行位置にＯＳＤを表示すべくＯＳＤ用の視差画像（左眼用画像，右眼用画像）を生成し、それらをプロジェクタ１２ａ，１２ｂによりレンズ兼スクリーン１１ａ，１１ｂに投影する。
【００３２】
これにより、例えば、レンズ兼スクリーン１１ａ，１１ｂを介して実空間の物体を注視しているユーザに向けて、即ち、立体画像用のデータの入力無しに、ＯＳＤを適切な奥行位置に表示することができる。
【００３３】
また、キャリブレーション処理部１０４は、ユーザが本電子機器１を初めて使用する際または任意のタイミングで、瞳孔間距離と注視点の距離（奥行位置）との対応関係を記録する距離−位置対応テーブル１０２Ａを当該ユーザ向けに調整する処理を司るモジュールである。キャリブレーション処理部１０４は、例えば、まず、遠方（無限遠）で視認されるような立体映像をＯＳＤ表示処理部１０３に表示させ、その時の瞳孔間距離を瞳孔間距離検出部１０１から取得する。次に、近傍で視認されるような立体映像をＯＳＤ表示処理部１０３に表示させ、その時の瞳孔間距離を瞳孔間距離検出部１０１から取得する。これにより、キャリブレーション処理部１０４は、ユーザが異なる距離を注視した時の眼の状態、具体的には瞳孔間距離をサンプル値として取得する。そして、キャリブレーション処理部１０４は、これらのサンプル値に基づき、距離−位置対応テーブル１０２Ａを当該ユーザ向けに調整する。なお、サンプル値の取得は、ユーザの視線を誘導するための立体映像の表示を行うことなく、例えば、音声等で、まず、遠方を見るように指示し、次に、近傍を見るように指示する等によっても可能である。
【００３４】
図１０は、本電子機器１のＯＳＤの表示処理手順を示すフローチャートである。
【００３５】
本電子機器１は、まず、カメラ１３ａ，１３ｂにより、ユーザの眼の撮影する（ブロックＡ１）。瞳孔間距離検出部１０１は、カメラ１３ａ，１３ｂの撮影画像を用いて、瞳孔間距離を検出する（ブロックＡ２）。
【００３６】
また、奥行位置検出部１０２は、瞳孔間距離検出部１０１が検出した瞳孔間距離を受け取り、距離−位置対応テーブル１０２Ａを参照して、注視点の距離（奥行位置）を決定する（ブロックＡ３）。そして、ＯＳＤ表示処理部１０３は、奥行位置検出部１０２が検出した奥行位置にＯＳＤを表示する（ブロックＡ４）。
【００３７】
このように、本電子機器１によれば、立体画像用のデータの入力を必要とせずに、ＯＳＤを適切な奥行位置に表示すること等を可能とする。
【００３８】
なお、以上では、本電子機器１が、眼鏡型ディスプレイ装置として実現されているものとして説明を行った。しかし、ユーザの眼の状態に基づき、ＯＳＤを適切な奥行位置に表示する手法は、眼鏡型ディスプレイ装置に限らず、例えば立体画像の表示に対応するテレビ、ディスプレイ、モニタ等、種々のデバイスに適用可能である。これらの場合、ユーザとの間に十分な距離があると想定されるので、ユーザの眼を撮影するためのカメラは１台でも実現可能である。勿論、眼鏡型ディスプレイ装置の場合においても、カメラの性能次第で、１台でも実現し得ることは言うまでもない。
【００３９】
また、ユーザの眼の状態に基づき、ＯＳＤを適切な奥行位置に表示する手法は、種々の応用が可能である。例えば、ユーザの眼の状態から検出した注視点の距離が、その時に注視されているべき位置の距離から一定値以上逸脱している場合、ＯＳＤや音声等で、ユーザに対して警告を行うといったことも可能である。
【００４０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４１】
１…電子機器、１１ａ，１１ｂ…レンズ兼スクリーン、１２ａ，１２ｂ…プロジェクタ、１３ａ，１３ｂ…カメラ、１０１…瞳孔間距離検出部、１０２…奥行位置検出部、１０２Ａ…位置対応テーブル、１０３…ＯＳＤ表示処理部、１０４…キャリブレーション処理部
【図１】
2015228543.tif 000003
【図２】
2015228543.tif 000004
【図３】
2015228543.tif 000005
【図４】
2015228543.tif 000006
【図５】
2015228543.tif 000007
【図６】
2015228543.tif 000008
【図７】
2015228543.tif 000009
【図８】
2015228543.tif 000010
【図９】
2015228543.tif 000011
【図１０】
2015228543.tif 000012