(57)【要約】【課題】薄型の構成によって撮像部で撮像された被写体となる人物の撮像画像の視線と当該人物の表示部への視線を一致させる。【解決手段】表示部１０２の前面に位置する被写体Ｏｂを正面から撮像可能な機能を有する表示撮像装置１００であって、表示部の前面側に設けられる導波路型ホログラム光学素子１０６と、導波路型ホログラム光学素子の周縁部の何れかに設けられ、導波路型ホログラム光学素子を介して被写体を撮像する撮像部１０４と、撮像部で撮像された撮像データに対して画像再構成処理をして撮像画像を出力する画像再構成処理部１１０と、を備え、撮像部は、導波路型ホログラム光学素子で回折された被写体からの光が導光されることによって被写体を撮像する。【選択図】図１
2020022006.tif 000002
【特許請求の範囲】
【請求項１】
表示部の前面に位置する被写体を正面から撮像可能な機能を有する表示撮像装置であって、
前記表示部の前面側に設けられる導波路型ホログラム光学素子と、
前記導波路型ホログラム光学素子の周縁部の何れかに設けられ、前記導波路型ホログラム光学素子を介して前記被写体を撮像する撮像部と、
前記撮像部で撮像された撮像データに対して画像再構成処理をして撮像画像を出力する画像再構成処理部と、を備え、
前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの光が導光されることによって該被写体を撮像することを特徴とする表示撮像装置。
【請求項２】
前記導波路型ホログラム光学素子の前面側に透明板部材が更に設けられ、
前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射を繰り返しながら導光される位置に設けられていることを特徴とする請求項１に記載の表示撮像装置。
【請求項３】
前記透明板部材には、前面側に前記導波路型ホログラム光学素子と当接する領域と重複しない領域に他の導波路型ホログラム光学素子が更に設けられており、
前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射後に前記他の導波路型ホログラム光学素子で回折した該被写体からの該光を導光可能な位置に設けられていることを特徴とする請求項２に記載の表示撮像装置。
【請求項４】
前記撮像部は、前記導波路型ホログラム光学素子の前記周縁部の何れかに複数設けられていることを特徴とする請求項１又は２に記載の表示撮像装置。
【請求項５】
前記表示部の前面側には、干渉縞のパターンがそれぞれ異なる複数の導波路型ホログラム光学素子が設けられていることを特徴とする請求項１乃至４の何れか１項に記載の表示撮像装置。
【請求項６】
前記複数の導波路型ホログラム光学素子は、それぞれが互いに重複しないように前記表示部の前面側に配置されていることを特徴とする請求項５に記載の表示撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示部の前面に位置する被写体を撮像部で正面から撮像可能な表示撮像装置に関する。
【背景技術】
【０００２】
近年では、画像符号化技術等の通信技術の発展により、遠隔地間を映像・音声通信網で結んだＴＶ電話やＴＶ会議システム等の双方向映像通信が急速に普及してきている。音声及び映像を双方向映像通信する際に、表示部の前面に位置する被写体となる人物を撮像部で正面から撮像可能な表示撮像装置が使用される。しかしながら、かかる表示撮像装置では、撮像部が表示部の上側等に所定の間隔で配置されるため、被写体の人物の視線が下向きの影像となってしまい、双方向映像通信を介した対話形式を実現する際に、対話する双方の人物の視線が一致せずに問題となっていた。
【０００３】
このような双方向の視線不一致を解決する従来技術として、特許文献１には、半透明鏡をディスプレイの前面に設置し、ディスプレイ前方の被写体を半透明鏡からの反射像として液晶ディスプレイの周囲に設置された撮像装置により撮像を行う手法が開示されている。また、特許文献２には、スクリーンと、プロジェクタと、ビデオカメラと、プロジェクタの映像表示体に映像を表示する前に逆台形歪み補正を行う逆台形歪み補正回路とを備え、プロジェクタをスクリーンの斜め後方に配置し、ビデオカメラの光軸をスクリーンに対して垂直になるように配置した表示撮像装置が開示されている。
【０００４】
さらに、特許文献３には、液晶プロジェクタにより映像を投射表示するスクリーンと、プロジェクタの近傍に設けられスクリーン越しの被写体である人物を撮影するカメラと、カメラの前面に設置される偏光板とから構成される表示撮影装置が開示されている。また、特許文献４には、集光機能を持つように微小半透鏡を組み合わせ配列した微小半透鏡アレイを表示装置の前面に配置して、表示装置の表示画像を使用者の方向に集め、表示画像の輝度向上を図る一方、微小半透鏡アレイにおける上向きに反射する領域の使用者の反射像を撮像装置で撮像することにより、その使用者の正面を撮像可能にし、視線一致を図る表示撮像装置が開示されている。一方、特許文献５には、ホログラム光学素子を用いてオフアクシスでの正面撮影を行うことによって、虚像ディスプレイも実現する映像提示システムが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平４−１４５７８９号公報
【特許文献２】特開平６−１３３３１１号公報
【特許文献３】特開２０００−０７５１２９号公報
【特許文献４】特開平６−０９８３２０号公報
【特許文献５】特開２０１８−０２６７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、これらの表示撮像装置等は、何れもカメラやディスプレイ等の構成要素を配置させる際に高さや奥行き等を必要とする三次元的に展開される構成となっている。このため、スマートフォンやタッチパッド等の薄型の携帯情報端末装置に対して、表示部と撮像部を備える表示撮像装置として適用するのが難しいものとなっていた。すなわち、これらの薄型の携帯情報端末装置を用いてＷｅｂ通話等をする際に、双方向から撮像される被写体となる人物の視線が互いに一致させるために、撮像部によって撮像された撮像画像の視線と表示部への視線を一致させることが望まれていた。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、薄型の構成によって撮像部で撮像された被写体となる人物の撮像画像の視線と当該人物の表示部への視線を一致させることの可能な、新規かつ改良された表示撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、表示部の前面に位置する被写体を正面から撮像可能な機能を有する表示撮像装置であって、前記表示部の前面側に設けられる導波路型ホログラム光学素子と、前記導波路型ホログラム光学素子の周縁部の何れかに設けられ、前記導波路型ホログラム光学素子を介して前記被写体を撮像する撮像部と、前記撮像部で撮像された撮像データに対して画像再構成処理をして撮像画像を出力する画像再構成処理部と、を備え、前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの光が導光されることによって該被写体を撮像することを特徴とする。
【０００９】
本発明の一態様によれば、表示部の前面側に設けられた導波路型ホログラム光学素子によって回折された被写体からの光を撮像部に導光して撮像してから、画像再構成処理をして撮像画像を出力するので、被写体となる人物の表示部への視線と当該人物の撮像画像の視線を一致させることができる。
【００１０】
このとき、本発明の一態様では、前記導波路型ホログラム光学素子の前面側に透明板部材が更に設けられ、前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射を繰り返しながら導光される位置に設けられていることとしてもよい。
【００１１】
このようにすれば、導波路型ホログラム光学素子によって回折された被写体からの光が透明板部材で全反射を繰り返しながら、撮像部に導光されるので、導波路型ホログラム光学素子と透明板部材を介して、撮像部で被写体を撮像できるようになる。
【００１２】
また、本発明の一態様では、前記透明板部材には、前面側に前記導波路型ホログラム光学素子と当接する領域と重複しない領域に他の導波路型ホログラム光学素子が更に設けられており、前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射後に前記他の導波路型ホログラム光学素子で回折した該被写体からの該光を導光可能な位置に設けられていることとしてもよい。
【００１３】
このようにすれば、撮像部の設置箇所の自由度が増すので、装置の小型化が実現され易くなる。
【００１４】
また、本発明の一態様では、前記撮像部は、前記導波路型ホログラム光学素子の前記周縁部の何れかに複数設けられていることとしてもよい。
【００１５】
このようにすれば、複数の撮像部を用いることによって、被写体の画像を多視点から撮像して、三次元情報を取得できるようになる。
【００１６】
また、本発明の一態様では、前記表示部の前面側には、干渉縞のパターンがそれぞれ異なる複数の導波路型ホログラム光学素子が設けられていることとしてもよい。
【００１７】
このようにすれば、複数の導波路型ホログラム光学素子を用いることによって、波長の異なる光が撮像部に導光され易くなるので、画像再構成処理後の撮像画像の精度が良好になる。
【００１８】
また、本発明の一態様では、前記複数の導波路型ホログラム光学素子は、それぞれが互いに重複しないように前記表示部の前面側に配置されていることとしてもよい。
【００１９】
このようにすれば、複数の導波路型ホログラム光学素子を用いることによって、被写体を異なる角度から撮像することができる。
【発明の効果】
【００２０】
以上説明したように本発明によれば、表示部の前面側に設けられた導波路型ホログラム光学素子によって回折された被写体からの光を撮像部に導光して撮像してから、画像再構成処理をして撮像画像を出力できるようになる。このため、被写体となる人物が表示部に視線を送る際に、当該視線が撮像部への視線と一致するようになるので、被写体となる人物の表示部への視線と撮像部によって撮像された人物の視線の一致が実現される。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る表示撮像装置の概略構成を示すブロック図である。
【図２】本発明の一実施形態に係る表示撮像装置に備わる導波路型ホログラム光学素子の作成方法の一例を示す動作説明図である。
【図３】（Ａ）乃至（Ｃ）は、本発明の一実施形態に係る表示撮像装置による撮像データの一実施例の説明図である。
【図４】（Ａ）乃至（Ｃ）は、本発明の一実施形態に係る表示撮像装置による撮像データの他の一実施例の説明図である。
【図５】本発明の一実施形態に係る表示撮像装置の一変形例の概略構成を示すブロック図である。
【図６】本発明の一実施形態に係る表示撮像装置による動作説明の一例を示す説明図である。
【図７】本発明の一実施形態に係る表示撮像装置による動作説明の他の一例を示す説明図である。
【図８】本発明の他の一実施形態に係る表示撮像装置の概略構成を示すブロック図である。
【図９】（Ａ）は、本発明の更に他の一実施形態に係る表示撮像装置の概略構成を示すブロック図であり、（Ｂ）は、本発明の更に他の一実施形態に係る表示撮像装置を薄型多視点撮影デバイスに適用した場合の一例を示す動作説明図である。
【図１０】（Ａ）は、従来技術に係るジェスチャー入力の一例を示す動作説明図であり、（Ｂ）は、本発明の一実施形態に係る表示撮像装置をジェスチャー入力に適用した場合の一例を示す動作説明図である。
【発明を実施するための形態】
【００２２】
以下、本発明の好適な実施の形態について詳細に説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２３】
まず、本発明の一実施形態に係る表示撮像装置の概略構成について、図面を使用しながら説明する。図１は、本発明の一実施形態に係る表示撮像装置の概略構成を示すブロック図である。
【００２４】
本発明の一実施形態に係る表示撮像装置１００は、表示部１０２の前面に位置する人物等の被写体Ｏｂを正面から撮像可能な撮像部１０４を備える装置に適用される。特に、本発明の一実施形態に係る表示撮像装置１００は、スマートフォンやタブレット端末等の薄型の情報端末装置で遠隔対話や自画撮影をするために、被写体Ｏｂとなる人物を正面から撮像する際に、人物の視線一致を実現させるために適用される。
【００２５】
本発明の一実施形態に係る表示撮像装置１００は、図１に示すように、表示部１０２と、撮像部１０４と、導波路型ホログラム光学素子１０６と、透明板部材１０８と、及び画像再構成処理部１１０とを備える。
【００２６】
表示部１０２は、撮像対象や表示対象を表示する機能を有し、液晶等のディスプレイで構成される。撮像部１０４は、発光された光を利用して撮像対象を撮像するカメラとしての機能を有する。本実施形態では、撮像部１０４は、導波路型ホログラム光学素子１０６の周縁部の何れかに設けられ、当該導波路型ホログラム光学素子１０６を介して被写体Ｏｂを撮像する。具体的には、撮像部１０４は、導波路型ホログラム光学素子１０６で回折された被写体Ｏｂからの光が透明板部材１０８で全反射を繰り返しながら導光される位置に設けられており、表示部１０２の外縁側に設けられている。
【００２７】
導波路型ホログラム光学素子１０６は、表示部１０２の前面側に設けられており、被写体Ｏｂからの光を回折する機能を有する。本実施形態では、導波路型ホログラム光学素子１０６は、その前面側に空気より屈折率の大きい材質であるガラス基板等から構成される透明板部材１０８が設けられている。このため、導波路型ホログラム光学素子１０６で回折された被写体Ｏｂからの光は、透明板部材１０８で全反射を繰り返しながら、図１に示すように、導波路型ホログラム光学素子１０６に重ねて設けられる透明板部材１０８の外縁側に設置されている撮像部１０４に導光される。
【００２８】
本実施形態では、被写体Ｏｂから導波路型ホログラム光学素子１０６に入射した光は、ある角度を持って回折し、ガラス板導波路となる透明板部材１０８の側面から射出される。この光は、透明板部材１０８内部で全反射を何度か繰り返し、最後に導波路型ホログラム光学素子１０６が貼り付けられた面で全反射してから透明板部材１０８の下端から射出されるものと、導波路型ホログラム光学素子１０６が貼り付けられる面と反対側の面で最後に全反射して、透明板部材１０８の下端から射出するものの２種類に分けられる。
【００２９】
この２種類の光線は、異なる方向を向いているために、シミュレーションで用いた光学系では、それぞれが撮影部１０４上の片側半分に入射することになる。撮影部１０４上の何れの側に入射するかは、導波路型ホログラム光学素子１０６によって回折した後に、導波路内部となる透明板部材１０８内での全反射する回数によって決まり、偶数回全反射する光が撮影部１０４の片側に入射し、奇数回全反射した光が撮影部１０４上のもう片側に入射するようになる。
【００３０】
また、被写体Ｏｂからのある光は、導波路型ホログラム光学素子１０６によって回折し、透明板部材１０８導波路内部で全反射を繰り返すが、導波路型ホログラム光学素子１０６が貼り付けられている面で全反射をする場合には、全反射をする位置に入射する被写体Ｏｂの別の光源からの光が同じ角度で回折される。これらの光は、同じ光路を辿って撮像部１０４に入射するため、同じ画像が重なり合って撮影される。
【００３１】
この重なりが起こらないようにするためには、透明板部材１０８内部で全反射を繰り返す光は、導波路型ホログラム光学素子１０６が貼り付けられている面で全反射をするとき、その位置に入ってくる被写体Ｏｂの別の光源からの光が全反射をしなければよい。すなわち、その位置に導波路型ホログラム光学素子１０６が貼り付けられていなければ良いので、導波路型ホログラム光学素子１０６の大きさによっては、画像の重なりが撮影されない。
【００３２】
画像再構成処理部１１０は、撮像部１０４で撮像された撮像データに対して画像再構成処理をして撮像画像Ｉｐを出力する機能を有する。導波路型ホログラム光学素子１０６を介して撮像部１０４で撮像された画像は、歪みや重なり等のノイズが含まれている。このため、本実施形態では、画像再構成処理部１１０は、かかる歪みや重なり等のノイズを除去するプログラムを用いて、撮像部１０４で撮像して得られた撮像データに対して画像再構成処理を行って、歪みや重なりの無い撮像画像Ｉｐを取得する。
【００３３】
具体的には、撮像データｇ、線形作用素Ｈ、及び撮像画像となる物体ｆは、下記の式（１）の関係を有していることから、線形画像となる撮像データｇは、線形逆問題として表すことができるので、各種逆問題解法を用いて、元の物体ｆを推定することができる。
【００３４】
【数１】
2020022006.tif 000003
【００３５】
このように、本発明の一実施形態に係る表示撮像装置１００では、導波路型ホログラム素子１０６を表示部１０２の前面に重ねて設けているので、被写体Ｏｂからの光が導波路型ホログラム光学素子１０６で回折され、透明板部材１０８内で全反射を繰り返しながら、その辺縁に向けて進むようになる。そして、本実施形態の表示撮像装置１００は、透明板部材１０８の辺縁から射出した光を撮像部１０４で撮影するようになっている。
【００３６】
導波路型ホログラム光学素子１０６を介して、撮像部１０４で撮影された画像データには、歪みや重なり等のノイズが含まれるため、画像再構成処理部１１０で再構成処理を行うことによって、撮像画像Ｉｐを取得するようになっている。このため、本実施形態では、被写体Ｏｂとなる人物が表示部１０２に視線を送る際に、当該視線が撮像部１０４への視線と一致するようになるので、被写体Ｏｂとなる人物の表示部１０２への視線と撮像部１０４への視線が一致するようになる。
【００３７】
なお、本実施形態で使用される導波路型ホログラム光学素子１０６として、体積型ホログラムを用いる場合には、特定の波長・特定の入射角の光のみ、すなわち、ブラッグ条件を満たす入射角の光のみを回折する。表示部１０２からの光の大部分は、ブラッグ条件を満たさないため、導波路型ホログラム光学素子１０６を透過して、観察者に到達する。また、本実施形態では、赤緑青の３原色で撮影された導波路型ホログラム光学素子１０６を用いることにより、撮像部１０４では、カラーの画像を取得することができるようになっている。
【００３８】
次に、本発明の一実施形態に係る表示撮像装置に備わる導波路型ホログラム光学素子の作成方法について、図面を使用しながら説明する。図２は、本発明の一実施形態に係る表示撮像装置に備わる導波路型ホログラム光学素子の作成方法の一例を示す動作説明図である。
【００３９】
本発明の一実施形態に係る表示撮像装置１００に備わる導波路型ホログラム光学素子１０６は、図２に示すような光学系を用いて作成される。なお、図２では、緑色のレーザ光を光源とした場合の導波路型ホログラム光学素子の作成方法の一例を示す。
【００４０】
本実施形態では、図２に示すように、導波路型ホログラム光学素子１０６を台形プリズム１の下端に貼り付け、物体光として緑色のレーザ光を光源２で発光するように光源制御部８を制御する。そして、光源２から発光した緑色のレーザ光がレンズ３、４を介して平行光にされ、当該平行光を導波路型ホログラム光学素子１０６に対して垂直になるよう入射させる。
【００４１】
一方、光源制御部８を制御して光源５で緑色のレーザ光として発光される参照光は、図２に示すように、レンズ６、７を介して平行光にされてから、台形プリズム１の脚の部分から当てる。そして、台形プリズム１の脚の部分に当てられた参照光は、台形プリズム１の内部で屈折し、当該台形プリズム１を構成するガラスの臨界角を超えた角度で導波路型ホログラム光学素子１０６に入射する。
【００４２】
このようにして、緑色レーザ光の回折用の干渉縞が導波路型ホログラム光学素子１０６に形成される。また、光源２、５から発光する光を赤色レーザ光、青色レーザ光とすることによって、赤色レーザ光の回折用の干渉縞、青色レーザ光の回折用の干渉縞がそれぞれ導波路型ホログラム光学素子１０６に形成される。すなわち、表示部１０２の前面側に、各波長ごと、各色ごとに干渉縞のパターンがそれぞれ異なる複数の導波路型ホログラム光学素子１０６を設けることによって、波長の異なる光が撮像部１０４に導光されるので、画像再構成処理後の撮像画像の精度を良好にできるようになる。
【００４３】
次に、本発明の一実施形態に係る表示撮像装置による撮像データの実施例について、図面を使用しながら説明する。図３（Ａ）乃至図３（Ｃ）は、本発明の一実施形態に係る表示撮像装置による撮像データの一実施例の説明図であり、図４（Ａ）乃至図４（Ｃ）は、本発明の一実施形態に係る表示撮像装置による撮像データの他の一実施例の説明図である。
【００４４】
まず、本発明の一実施形態に係る表示撮像装置を用いて、図３（Ａ）に示すようなスターチャートを被写体として撮像した。その際にガラス基板から射出する光をレンズにより撮像素子の上に結像させた。かかる撮像素子で結像させた被写体となるスターチャートをレーザプロジェクタで拡散スクリーン上に投影したものを導波路型ホログラム光学素子の下端から撮影すると、図３（Ｂ）に示すように、歪んだスターチャートとなった。その後、表示撮像装置の画像再構成処理部によって、撮像素子で結像して得られた歪んだスターチャートの撮像データに対して画像再構成処理を行うことによって、図３（Ｃ）に示すように、歪みや重なりの少ない撮影したい被写体に近いスターチャートの撮像画像を得ることができた。
【００４５】
次に、導波路型ホログラム光学素子の背面にディスプレイを設置した場合に、ディスプレイからの光が撮影に及ぼす影響を実験によって確かめた。具体的には、図４（Ａ）に示すように、ホログラム光学素子の背面にディスプレイを設置した光学系を用いて、実験した。ホログラム光学素子が貼り付けられていないガラス板導波路の面側に、印刷した「A」の文字をレーザで照射したものを被写体として導波路型ホログラム光学素子から１０ｃｍほど離れた位置に設置した。ディスプレイは、ガラス板導波路に貼り付けられた導波路型ホログラム光学素子に密着させるようにして、図４（Ａ）中にあるカメラを用いて撮影を行なった。
【００４６】
図４（Ａ）中にあるカメラを用いて、導波路型ホログラム光学素子が貼り付けられていないガラス板を使用して撮像すると、図４（Ｂ）に示すように、ガラス板を通して外部の背景が見えており、印刷した「Ａ」の文字は映っていない。このことから、以降の撮像データと図４（Ｂ）の差異が導波路型ホログラム光学素子による像であるということが分かる。
【００４７】
次に、図４（Ａ）中にあるカメラを用いて、導波路型ホログラム光学素子が貼り付けられているガラス板を使用して撮像すると、図４（Ｃ）に示すように、印刷した「Ａ」の文字が明確に見えた上で、ディスプレイに表示した画像は、見られない。このことから、導波路型ホログラム光学素子の背面にディスプレイがあったとしても、このようにディスプレイの影響が見られない画像を取得することができた。
【００４８】
なお、本実施形態では、撮像部１０４は、導波路型ホログラム光学素子１０６と重複する透明板部材１０８の外縁部側に向けて設けられているが、撮像部１０４の設置箇所及び設置方向は、図１に示す態様に限定されない。すなわち、図５に示すように、透明板部材１０８の前面側に、一方の導波路型ホログラム光学素子１０６ａと当接する領域と重複しない領域に、他方の導波路型ホログラム光学素子１０６ｂを更に設けることによって、撮像部１０５が表示部１０２の外縁側に取り付けて、撮像対象となる被写体Ｏｂの方向に向けて設置される構成としてもよい。
【００４９】
すなわち、図５に示すように、撮像部１０５が一方の導波路型ホログラム光学素子１０６ａで回折された被写体Ｏｂからの光が透明板部材１０８で全反射後に、他方の導波路型ホログラム光学素子１０６ｂで回折した被写体Ｏｂからの光を導光可能な位置に設けられることによって、撮像部１０５の設置部位や設置方向の自由度が増す。このため、表示撮像装置１０１の設計自由度が向上した上で、装置の小型化が実現され易くなる。
【００５０】
以上説明したように、本発明の一実施形態に係る表示撮像装置１００では、表示部１０２の前面側に導波路型ホログラム光学素子１０６を設けることによって、表示部１０２の辺縁に配置された撮像部１０４で表示部１０２の正面にいる被写体Ｏｂとなる人物を撮像できるようになる。そして、撮像部１０４で撮像して得られた歪みやノイズ等を含む撮像データに対して、画像再構成処理部１１０で画像再構成処理をすることによって、被写体Ｏｂに対して再現性の高い撮像画像Ｉｐが得られるようになる。
【００５１】
このように、実質的に表示部１０２の面全体で被写体Ｏｂが撮像されるようになると、被写体Ｏｂとなる人物が表示部１０２に視線を送る際に、当該視線の状態のまま撮像部１０４に撮像されるようになる。このため、被写体Ｏｂとなる人物の表示部１０２への視線と撮像部１０４によって撮像される被写体Ｏｂの視線が一致するようになる。
【００５２】
すなわち、本発明の一実施形態に係る表示撮像装置１００を遠隔ビデオ通話に適用すると、図６に示すように、一方の表示撮像装置１００ａを使用する被写体Ｏｂ１の表示部１０２ａに向かう視線と撮像部１０４ａによって撮像される被写体Ｏｂ１の視線が一致するようになる。同様にして、他方の表示撮像装置１００ｂを使用する被写体Ｏｂ２の表示部１０２ｂに向かう視線と撮像部１０４ｂによって撮像される被写体Ｏｂ２の視線が一致するようになる。
【００５３】
このため、表示撮像装置１００ａ、１００ｂを用いて遠隔ビデオ通話をすると、被写体となる双方の人物Ｏｂ１、Ｏｂ２が表示部１０２ａ、１０２ｂを注視した正面の画像を撮影できるので、双方の人物Ｏｂ１、Ｏｂ２の視線が一致するようになる。これによって、スマートフォンやタブレット端末等の薄型の表示撮像装置で視線一致の遠隔ビデオ通話が可能になるので、ユーザにとっては、より自然な形で臨場感のある遠隔ビデオ通話ができるようになる。
【００５４】
また、本発明の一実施形態に係る表示撮像装置１００は、自画撮影にも適用できる。例えば、図７に示すように、ガラス板導波路となる透明板部材の導波路型ホログラム光学素子を貼り付けた側に設置した表示部となるディスプレイ１０２に撮影した画像をリアルタイムで表示すると、被写体Ｏｂが観察するディスプレイ１０２には、正面から撮像された被写体Ｏｂの画像が映し出され、正面から画像を確認しながら、自画撮影を行うことができる。このとき、左右反転して表示すれば、ディスプレイ１０２は、被写体Ｏｂから鏡を見ているかのように振る舞い、被写体Ｏｂは、ディスプレイ１０２に映し出された自身と視線を一致させて自然に観察することができるようになる。
【００５５】
さらに、本発明の一実施形態に係る表示撮像装置１００は、薄型多視点撮影デバイスにも適用できる。例えば、図８に示すように、表示部となるディスプレイ２０２の前面側に導波路型ホログラム光学素子２０６と透明板部材２０８を設けて、当該透明板部材２０８の辺縁部側に撮像部として複数のカメラ２０４ａ、２０４ｂ、２０４ｃを用いることによって、表示撮像装置２００は、多視点から被写体Ｏｂの画像を撮像して、撮像画像Ｉｐ１、Ｉｐ２、Ｉｐ３として被写体Ｏｂの三次元情報を取得できるようになる。
【００５６】
また、本発明の一実施形態に係る表示撮像装置１００は、薄型多視点撮影デバイスに適用する際に、図９（Ａ）に示すように、不図示の表示部の前面側に、干渉縞のパターンがそれぞれ異なる複数の導波路型ホログラム光学素子３０６ａ、３０６ｂ、３０６ｃ、３０６ｄ、３０６ｅ、３０６ｆが貼付された透明板部材３０８が設けられ、当該透明板部材３０８の辺縁部側に撮像部として複数のカメラ３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ、３０４ｅ、３０４ｆが各導波路型ホログラム光学素子３０６ａ、３０６ｂ、３０６ｃ、３０６ｄ、３０６ｅ、３０６ｆにそれぞれ対応して設けられる構成としてもよい。すなわち、複数の導波路型ホログラム光学素子３０６ａ、３０６ｂ、３０６ｃ、３０６ｄ、３０６ｅ、３０６ｆのそれぞれが互いに重複しないように、表示部の前面側に配置する構成としてもよい。
【００５７】
このように、異なる導波路型ホログラム光学素子３０６ａ、３０６ｂ、３０６ｃ、３０６ｄ、３０６ｅ、３０６ｆをそれぞれ別の位置に貼り付けた表示撮像装置３００に設けられる複数のカメラ３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ、３０４ｅ、３０４ｆで被写体Ｏｂを撮像することによって、図９（Ｂ）に示すように、異なる角度から被写体Ｏｂを撮像して、それぞれ異なる角度の撮像画像Ｉｐ１、Ｉｐ２、Ｉｐ３が得られるようになる。
【００５８】
さらに、本発明の一実施形態に係る表示撮像装置１００は、ジェスチャー入力にも適用できる。すなわち、図１０（Ａ）に示すように、従来の表示撮像装置１０に備わる内蔵カメラ１４による撮像では、ディスプレイ１２から非常に近い距離にある被写体Ｏｂを撮像することができない。一方、本発明の一実施形態に係る表示撮像装置４００では、撮像部４０４が導波路型ホログラム光学素子４０６を介してディスプレイ４０２全面で光を捉えることができるため、そのような撮像も可能となる。
【００５９】
このようなジェスチャー入力に係る技術は、ディスプレイ４０２に触れることなく、タッチ操作やその他のジェスチャー入力を行う非接触型タッチディスプレイへも応用できる。また、前述した多視点での撮像と組み合わせることによって、ステレオ視差法から物体の深度を求めることができ、深度が一定以下になれば、タッチされたとみなすという処理によって実現可能となる。
【００６０】
また、本発明の一実施形態に係る表示撮像装置１００は、マルチスペクトルカメラを使用して背景光成分を効果的に除去することができる。本実施形態に係る表示撮像装置１００で撮影される画像は、ホログラム光学素子による回折光であるが、透過光や散乱光等の迷光も撮像データに含まれることがある。このため、かかる背景光成分を低減・除去する必要がある。
【００６１】
本発明の一実施形態に係る表示撮像装置１００で用いるホログラム光学素子は、反射体積型ホログラムであるため、波長選択性を有している。このため、回折光は、波長方向に狭帯域のスペクトルを持つ。Ｒ、Ｇ、Ｂ各成分の撮影物体光強度及び回折光のスペクトルをそれぞれｆｉ（ｘ，ｙ）、ｄｉ（λ）（ｉ＝Ｒ，Ｇ，Ｂ）とすると、ホログラム光学素子からの回折光全体のスペクトルｆｈ（ｘ，ｙ，λ）は、以下の式（２）で与えられる。
【００６２】
【数２】
2020022006.tif 000004
【００６３】
ＲＧＢカラーカメラの分光感度をｓｋ（λ）とすると、撮像データｇｋ（ｘ，ｙ）（ｋ＝Ｒ，Ｇ，Ｂ）は、下記の式（３）と書くことができる。
【００６４】
【数３】
2020022006.tif 000005
【００６５】
ここで、前述した式（３）に記載のｅ（ｘ，ｙ，λ）は、背景光成分の空間・分光分布である。当該式（３）は、以下のような式（４）に書き換えることができる。
【００６６】
【数４】
2020022006.tif 000006
【００６７】
ただし、前述した式（４）におけるａｉｋ、ｅｋ（ｘ，ｙ）は、以下の式（５）で表される。
【００６８】
【数５】
2020022006.tif 000007
【００６９】
なお、ＲＧＢの分光感度がホログラム回折光のＲＧＢ各成分をカバーし、クロストークが無ければ、ａｉｋ＝０（ｋ≠ｉ）となるので、撮像データｇｋ（ｘ，ｙ）（ｋ＝Ｒ，Ｇ，Ｂ）は、以下の式（６）のように簡単な式で表せる。
【００７０】
【数６】
2020022006.tif 000008
【００７１】
このとき、ＲＧＢカラーカメラの分光感度をホログラム回折光の波長帯域幅にできるだけ近づけることによって、ａｋｋを大きく、ｅｋ（ｘ，ｙ）を小さくすることができるので、Ｓ／Ｎを改善できる。
【００７２】
さらに、ＲＧＢカラーカメラではなく、マルチスペクトルカメラ（ＭＳＣ）を用いることを考える。ＭＳＣの分光感度をｓｋ（λ）とすると、撮像データｇｋ（ｘ，ｙ）（ｋ＝１…Ｍ、Ｍは、ＭＳＣのバンド数）は、前述した式（４）と同様に、以下の式（７）で表すことができる。
【００７３】
【数７】
2020022006.tif 000009
【００７４】
前述した式（７）を行列・ベクトルを用いて表現すると、以下の式（８）のように表せる。
【００７５】
【数８】
2020022006.tif 000010
【００７６】
ただし、前述した式（８）では、波長λをＮ点で離散化して表現している。このうち、Ａは、既知で狭い波長範囲にのみ値を持つスパースな行列、Ｓは、既知の分光感度特性であり、また、背景光成分のスペクトルｅλは、多くの場合、波長方向に相関を持つことから、ｆ及びｅλが非負である条件のもとで最適化アルゴリズムを用いて逆問題を解くことによって、ｆ及びｅλを推定できるようになる。
【００７７】
なお、このとき、ｓｋ（λ）が等間隔狭帯域の分光感度特性であれば、Ｓｅλの代わりに、ｅ＝（ｅ１（ｘ，ｙ）ｅ２（ｘ，ｙ）…ｅＭ（ｘ，ｙ））ｔを分光画像として扱ってもよい。
【００７８】
また、除去するべき背景光成分がディスプレイからの光の場合には、ディスプレイのＲＧＢ３原色のスペクトルの線形結合でｅ（ｘ，ｙ，λ）を表現し、その係数を未知数として上記最適化問題を解くこともできる。
【００７９】
簡単のために、マルチスペクトル画像のチャネルのうち、特定の３つのチャネルのみでホログラムからのＲＧＢ回折光をカバーすると、行列Ａの各列で１要素のみが値を持ち、他の要素が０となる。このとき、撮影されたマルチスペクトル画像のうち、Ｍ−３個のチャネルは、背景光成分のみを取得していることになる。そこで、背景光成分ｅλは、多くの場合、波長方向に相関を持つこと、又はディスプレイのＲＧＢ３原色のスペクトルの線形結合で表現できることを拘束条件として用いて、この問題を解くことによって、比較的容易にｆ及びｅを推定できる。このようにして、本発明の一実施形態に係る表示撮像装置１００は、マルチスペクトルカメラを使用した背景光成分の除去を適用することによって、背景を分離して撮像画像を得ることができる。
【００８０】
以上説明したように、本発明の一実施形態に係る表示撮像装置を適用することによって、実質的に表示部の面全体で当該表示部の前面側の被写体が撮像されるようになる。このため、被写体となる人物が表示部に視線を送る際に、当該視線の状態のまま撮像部に撮像されるので、被写体となる人物の表示部への視線と撮像部によって撮像される被写体の視線が一致するようになる。
【００８１】
また、本発明の一実施形態に係る表示撮像装置は、三次元的に展開することなく、二次元的に展開される構成となり、従来よりも薄型の表示撮影装置となるので、スマートフォンやタブレット端末に適用可能となる。このため、視線一致の遠隔ビデオ対話装置や自画撮影、鏡機能アプリケーション、近接ジェスチャー入力によるインターフェースを容易に実現できるようになるので、極めて大きな工業的価値を有する。
【００８２】
なお、上記のように本発明の各実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは、当業者には、容易に理解できるであろう。従って、このような変形例は、全て本発明の範囲に含まれるものとする。
【００８３】
例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、表示撮像装置の構成、動作も本発明の各実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【００８４】
１００  表示撮像装置、１０２  表示部、１０４  撮像部、１０６  導波路型ホログラム光学素子、１０８  透明板部材、１１０  画像再構成処理部
【図１】
2020022006.tif 000011
【図２】
2020022006.tif 000012
【図３】
2020022006.tif 000013
【図４】
2020022006.tif 000014
【図５】
2020022006.tif 000015
【図６】
2020022006.tif 000016
【図７】
2020022006.tif 000017
【図８】
2020022006.tif 000018
【図９】
2020022006.tif 000019
【図１０】
2020022006.tif 000020