(57)【要約】【課題】透明ディスプレイを使用して構成される表示装置の利便性の向上を図る。【解決手段】透明ディスプレイと、この透明ディスプレイの周囲の情報を得るためのセンサ部と、このセンサ部の出力に基づいて透明ディスプレイの表示状態を制御する制御部とを備える。例えば、透明ディスプレイを通して観察される像から異物を削除し、アンビエント性の向上を図るように、透明ディスプレイの表示状態を制御する。また、例えば、透明ディスプレイの表示内容が外部の他人から分かり難いように透明ディスプレイの表示状態を制御し、プライバシー保護を図る。【選択図】図２
2013205526.tif 000002
【特許請求の範囲】
【請求項１】
透明ディスプレイと、
上記透明ディスプレイの周囲の情報を得るためのセンサ部と、
上記センサ部の出力に基づいて上記透明ディスプレイの表示状態を制御する制御部とを備える
表示装置。
【請求項２】
上記センサ部は、
上記透明ディスプレイの周囲の像を撮像して撮像画像を得、
上記制御部は、
上記透明ディスプレイの周囲の撮像画像を利用した画像処理を行って上記透明ディスプレイの表示状態を制御する
請求項１に記載の表示装置。
【請求項３】
上記センサ部は、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサと、上記透明ディスプレイの背面側の像を撮像するフロントイメージセンサとを有する
請求項２に記載の表示装置。
【請求項４】
上記センサ部は、上記透明ディスプレイの正面側および背面側の像を撮像可能な単一のイメージセンサを有する
請求項２に記載の表示装置。
【請求項５】
上記センサ部として、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサを有し、
上記制御部は、
上記透明ディスプレイを通してユーザに観察される像に含まれる異物の領域だけに、上記リアイメージセンサで得られた撮像画像のうち、上記異物の領域に対応した部分の画像に応じた画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記異物を削除する
請求項１に記載の表示装置。
【請求項６】
上記センサ部として、上記透明ディスプレイの正面側の面に配置されるタッチパネルを有し、
上記制御部は、
上記タッチパネルの出力からユーザの手の領域を上記異物の領域として検出し、該ユーザの手の領域だけに、上記リアイメージセンサで得られた撮像画像のうち、上記ユーザの手の領域に対応した部分の画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記ユーザの手を削除する
請求項５に記載の表示装置。
【請求項７】
上記透明ディスプレイを通してユーザに観察される像から所定のオブジェクトを指定するオブジェクト指定部をさらに備え、
上記制御部は、
上記指定された所定のオブジェクトを含むオブジェクト領域を上記異物の領域とし、該オブジェクト領域だけに、上記リアイメージセンサで得られた撮像画像のうち、上記オブジェクト領域に対応した部分の画像に基づく画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記所定のオブジェクトを削除する
請求項５に記載の表示装置。
【請求項８】
上記制御部は、
上記指定されたオブジェクトに動きがあるとき、上記オブジェクト領域だけに、上記リアイメージセンサで得られた、上記所定のオブジェクトが存在しない過去フレームの撮像画像のうち、上記オブジェクト領域に対応した部分の画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記所定のオブジェクトを削除する
請求項７に記載の表示装置。
【請求項９】
上記オブジェクト指定部は、上記透明ディスプレイの背面側に配置されるタッチパネルにより構成される
請求項７に記載の表示装置。
【請求項１０】
上記センサ部として、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサと、上記透明ディスプレイの背面側の像を撮像するフロントイメージセンサとを有し、
上記透明ディスプレイに表示する重畳情報を発生する重畳情報発生部をさらに備え、
上記制御部は、
上記発生された重畳情報を上記透明ディスプレイに表示し、
上記リアイメージセンサで得られた撮像画像により上記透明ディスプレイに表示された重畳情報への視線が検出されるとき、上記フロントイメージセンサで得られた撮像画像から上記透明ディスプレイを通して観察される上記視線方向の領域の色情報を取得し、上記透明ディスプレイに表示する重畳情報の表示色を該取得された色情報に対応した色にする
請求項１に記載の表示装置。
【請求項１１】
上記透明ディスプレイは、正面側の第１の透明ディスプレイおよび背面側の第２の透明ディスプレイとからなり、
上記センサ部として、上記透明ディスプレイの正面側の人物を検出する人感センサと、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサとを有し、
上記制御部は、
上記人感センサにより人物の存在が検出されるとき、上記第１の透明ディスプレイを非透明状態にし、上記第２の透明ディスプレイに、上記リアイメージセンサで得られた撮像画像を表示する
請求項１に記載の表示装置。
【請求項１２】
上記制御部は、
上記リアイメージセンサで得られた撮像画像に基づいて上記透明ディスプレイへの視線があるかを判断し、
上記人感センサにより人物の存在が検出され、かつ、上記透明ディスプレイへの視線があるとき、上記第１の透明ディスプレイを非透明状態にし、上記第２の透明ディスプレイに上記リアイメージセンサで得られた撮像画像を表示する
請求項１１に記載の表示装置。
【請求項１３】
上記制御部は、
上記透明ディスプレイへの視線が、該透明ディスプレイの所定の分割領域への視線であるとき、上記第１の透明ディスプレイの上記所定の分割領域を非透明状態にし、上記第２の透明ディスプレイの上記所定の分割領域に、上記リアイメージセンサで得られた撮像画像のうち、該所定の分割領域に対応した部分の画像を表示する
請求項１２に記載の表示装置。
【請求項１４】
上記センサ部として、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサと、上記透明ディスプレイの背面側の像を撮像するフロントイメージセンサとを有し、
上記透明ディスプレイに表示する重畳情報を発生する重畳情報発生部をさらに備え、
上記制御部は、
ユーザにおける上記透明ディスプレイの表示面と上記透明ディスプレイを通して観察される像とに対する焦点不一致が起こるとき、上記フロントイメージセンサで得られる撮像画像に基づいて、上記ユーザが上記透明ディスプレイの表示面を注視しているかを判断し、
上記透明ディスプレイの表示面を注視していると判断するとき、上記透明ディスプレイに、上記リアイメージセンサで得られた撮像画像を表示し、該撮像画像に重ねて上記発生された重畳情報を表示する
請求項１に記載の表示装置。
【請求項１５】
上記制御部は、
上記透明ディスプレイの表示面を注視していないと判断するとき、上記発生された重畳情報を透明ディスプレイに表示しないか、あるいは該重畳情報を透明ディスプレイに目立たなく表示する
請求項１４に記載の表示装置。
【請求項１６】
上記制御部は、
フロントイメージセンサで得られた撮像画像から推定されたユーザの眼と透明ディスプレイの表示面との間の距離と、上記リアイメージセンサで得られた撮像画像から推定された上記透明ディスプレイの表示面と上記透明ディスプレイを通して観察される像との間の距離に基づいて、上記ユーザにおける上記透明ディスプレイの表示面と上記透明ディスプレイを通して観察される像とに対する焦点不一致を判断する
請求項１４に記載の表示装置。
【請求項１７】
上記透明ディスプレイに表示する重畳情報を発生する重畳情報発生部と、
上記透明ディスプレイの背面側の面に配置された光線制御部とをさらに備え、
上記センサ部として、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサと、上記透明ディスプレイの背面側の像を撮像するフロントイメージセンサとを有し、
上記制御部は、
上記フロントイメージセンサで得られた撮像画像から取得された上記透明ディスプレイに対するユーザの左右の眼の位置と、上記リアイメージセンサで得られた撮像画像から取得された上記透明ディスプレイを通して観察される像の奥行き情報に基づいて、上記重畳情報が上記ユーザに上記透明ディスプレイを通して観察される像の位置に知覚されるための視差が付与された左眼重畳情報および右眼重畳情報を生成して上記透明ディスプレイに表示し、
上記透明ディスプレイに表示された上記左眼重畳情報からの光線がユーザの左眼に到達し、上記透明ディスプレイに表示された上記右眼重畳情報からの光線がユーザの右眼に到達するように上記光線制御部を制御する
請求項１に記載の表示装置。
【請求項１８】
透明ディスプレイを備える表示装置における表示制御方法であって、
上記透明ディスプレイの周囲環境を検出し、
上記周囲環境に基づいて、上記透明ディスプレイの表示状態を制御する
表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、表示装置および表示制御方法に関し、特に、透明ディスプレイを使用して構成される表示装置等に関する。
【背景技術】
【０００２】
従来、透明ディスプレイを使用して構成される表示装置が提案されている（例えば、特許文献１参照）。このような表示装置の場合、ユーザは透明ディスプレイを通して正面側の像を観察でき、また、透明ディスプレイにその観察されている像に関連する文字あるいは画像の情報（重畳情報）の表示が可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０８６４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本技術の目的は、透明ディスプレイを使用して構成される表示装置の利便性の向上を図ることにある。
【課題を解決するための手段】
【０００５】
本技術の概念は、
透明ディスプレイと、
上記透明ディスプレイの周囲の情報を得るためのセンサ部と、
上記センサ部の出力に基づいて上記透明ディスプレイの表示状態を制御する制御部とを備える
表示装置にある。
【０００６】
本技術において、表示装置は、透明ディスプレイを使用して構成される。センサ部により、透明ディスプレイの周囲の情報が得られる。そして、制御部により、このセンサ部の出力に基づいて、透明ディスプレイの表示状態が制御される。例えば、センサ部は、透明ディスプレイの周囲の像を撮像して撮像画像を得、制御部は、透明ディスプレイの周囲の撮像画像を利用した画像処理を行って透明ディスプレイの表示状態を制御する、ようにされてもよい。この場合、例えば、センサ部は、透明ディスプレイの正面側の像を撮像するリアイメージセンサと、上記透明ディスプレイの背面側の像を撮像するフロントイメージセンサとを有する、ようにされてもよい。また、この場合、例えば、センサ部は、透明ディスプレイの正面側および背面側の像を撮像可能な単一のイメージセンサを有する、ようにされてもよい。このように本技術においては、透明ディスプレイの周囲の情報に基づいて透明ディスプレイの表示状態が制御されるものであり、透明ディスプレイを使用して構成される表示装置の利便性の向上を図ることが可能となる。
【０００７】
なお、本技術において、例えば、センサ部として、透明ディスプレイの正面側の像を撮像するリアイメージセンサ（リアカメラ）を有し、制御部は、透明ディスプレイを通してユーザに観察される像に含まれる異物の領域だけに、リアイメージセンサで得られた撮像画像のうち、異物の領域に対応した部分の画像に応じた画像を表示して、透明ディスプレイを通してユーザに観察される像から異物を削除する、ようにされてもよい。このように異物の削除が行われることで、アンビエント（ambient）性の向上を図ることができる。
【０００８】
例えば、センサ部として、透明ディスプレイの正面側の面に配置されるタッチパネルを有し、制御部は、タッチパネルの出力からユーザの手の領域を異物の領域として検出し、このユーザの手の領域だけに、リアイメージセンサで得られた撮像画像のうち、ユーザの手の領域に対応した部分の画像を表示して、透明ディスプレイを通してユーザに観察される像からユーザの手を削除する、ようにされてもよい。
【０００９】
また、例えば、透明ディスプレイを通してユーザに観察される像から所定のオブジェクトを指定するオブジェクト指定部をさらに備え、制御部は、指定された所定のオブジェクトを含むオブジェクト領域を異物の領域とし、このオブジェクト領域だけに、リアイメージセンサで得られた撮像画像のうち、オブジェクト領域に対応した部分の画像に基づく画像を表示して、透明ディスプレイを通してユーザに観察される像から所定のオブジェクトを削除する、ようにされてもよい。オブジェクト指定部は、例えば、透明ディスプレイの背面側に配置されるタッチパネルにより構成される。
【００１０】
この場合、制御部は、指定されたオブジェクトに動きがあるとき、オブジェクト領域だけに、リアイメージセンサで得られた、所定のオブジェクトが存在しない過去フレームの撮像画像のうち、オブジェクト領域に対応した部分の画像を表示して、透明ディスプレイを通してユーザに観察される像から所定のオブジェクトを削除する、ようにされてもよい。
【００１１】
また、本技術において、例えば、センサ部として、透明ディスプレイの正面側の像を撮像するリアイメージセンサと、透明ディスプレイの背面側の像を撮像するフロントイメージセンサとを有し、透明ディスプレイに表示する重畳情報を発生する重畳情報発生部をさらに備え、制御部は、発生された重畳情報を透明ディスプレイに表示し、リアイメージセンサで得られた撮像画像により透明ディスプレイに表示された重畳情報への視線が検出されるとき、フロントイメージセンサで得られた撮像画像から透明ディスプレイを通して観察される視線方向の画像領域の色情報を取得し、透明ディスプレイに表示する重畳情報の表示色をこの取得された色情報に対応した色にする、ようにされてもよい。このように透明ディスプレイに表示される重畳情報の表示色が制御されることで、透明ディスプレイの正面側からの重畳情報を把握することが困難となり、プライバシー保護を図ることができる。
【００１２】
また、本技術において、例えば、透明ディスプレイは、正面側の第１の透明ディスプレイおよび背面側の第２の透明ディスプレイとからなり、センサ部として、透明ディスプレイの正面側の人物を検出する人感センサと、透明ディスプレイの正面側の像を撮像するリアイメージセンサとを有し、制御部は、人感センサにより人物の存在が検出されるとき、第１の透明ディスプレイを非透明状態にし、第２の透明ディスプレイにリアイメージセンサで得られた撮像画像を表示する、ようにされてもよい。このように透明ディスプレイを構成する第１および第２の透明ディスプレイが制御されることで、ユーザは、透明ディスプレイの正面側にいる他人の視線を気にしないで済むようになる。
【００１３】
例えば、制御部は、リアイメージセンサで得られた撮像画像に基づいて透明ディスプレイへの視線があるかを判断し、人感センサにより人物の存在が検出され、かつ、透明ディスプレイへの視線があるとき、第１の透明ディスプレイを非透明状態にし、第２の透明ディスプレイにリアイメージセンサで得られた撮像画像を表示する、ようにされてもよい。
【００１４】
そして、この場合、制御部は、透明ディスプレイへの視線が、この透明ディスプレイの所定の分割領域への視線であるとき、第１の透明ディスプレイの所定の分割領域を非透明状態にし、第２の透明ディスプレイの所定の分割領域に、リアイメージセンサで得られた撮像画像のうち、この所定の分割領域に対応した部分の画像を表示する、ようにされてもよい。
【００１５】
また、本技術において、センサ部として、透明ディスプレイの背面側の画像を撮像するフロントイメージセンサを有し、透明ディスプレイに表示する重畳情報を発生する重畳情報発生部をさらに備え、制御部は、ユーザにおける透明ディスプレイの表示面と透明ディスプレイを通して観察される像とに対する焦点不一致が起こるとき、フロントイメージセンサで得られる撮像画像に基づいて、ユーザが透明ディスプレイの表示面を注視しているかを判断し、透明ディスプレイの表示面を注視していると判断するとき、透明ディスプレイに、リアイメージセンサで得られた撮像画像を表示し、この撮像画像に重ねて、発生された重畳情報を表示し、透明ディスプレイの表示面を注視していないと判断するとき、発生された重畳情報を透明ディスプレイに表示しないか、あるいはこの重畳情報を透明ディスプレイに目立たなく表示する、ようにされてもよい。このようにユーザの注視位置に応じて透明ディスプレイの表示状態を制御することで、焦点不一致によるユーザの不快感の改善を図ることができる。
【００１６】
例えば、センサ部として、透明ディスプレイの正面側の像を撮像するリアイメージセンサをさらに有し、制御部は、フロントイメージセンサで得られた撮像画像から推定されたユーザの眼と透明ディスプレイの表示面との間の距離と、リアイメージセンサで得られた撮像画像から推定された透明ディスプレイの表示面と透明ディスプレイを通して観察される像との間の距離に基づいて、ユーザにおける透明ディスプレイの表示面と透明ディスプレイを通して観察される像とに対する焦点不一致を判断する、ようにされてもよい。
【００１７】
また、本技術において、例えば、透明ディスプレイに表示する重畳情報を発生する重畳情報発生部と、この透明ディスプレイの背面側の面に配置された光線制御部とをさらに備え、センサ部として、透明ディスプレイの正面側の像を撮像するリアイメージセンサと、透明ディスプレイの背面側の像を撮像するフロントイメージセンサとを有し、制御部は、フロントイメージセンサで得られた撮像画像から取得された透明ディスプレイに対するユーザの左右の眼の位置と、リアイメージセンサで得られた撮像画像から取得された透明ディスプレイを通して観察される像の奥行き情報に基づいて、重畳情報がユーザに透明ディスプレイを通して観察される像の位置に知覚されるための視差が付与された左眼重畳情報および右眼重畳情報を生成して透明ディスプレイに表示し、透明ディスプレイに表示された左眼重畳情報からの光線がユーザの左眼に到達し、透明ディスプレイに表示された右眼重畳情報からの光線がユーザの右眼に到達するように光線制御部を制御する、ようにされてもよい。このように透明ディスプレイへの左眼重畳情報および右眼重畳情報の表示と、それからの光線の方向とが制御されることで、実像と透明ディスプレイに表示される重畳情報とのシームレスな結合を図ることができる。
【発明の効果】
【００１８】
本技術によれば、透明ディスプレイを使用して構成される表示装置の利便性の向上を図ることができる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施の形態としての表示装置の外観を概略的に示す図である。
【図２】透明ディスプレイを通してユーザに観察される像Ｉａの一例を示すと共に、この像Ｉａに含まれているユーザの手が削除されることを示す図である。
【図３】第１の実施の形態としての表示装置の回路構成例を示す図である。
【図４】表示装置の異物除去モードにおける処理手順の一例を示すフローチャートである。
【図５】第２の実施の形態としての表示装置の外観を概略的に示す図である。
【図６】透明ディスプレイを通してユーザに観察される像Ｉａの一例を示すと共に、この像Ｉａに含まれている所定のオブジェクトが削除されることを示す図である。
【図７】第２の実施の形態としての表示装置の回路構成例を示す図である。
【図８】表示装置の異物除去モードにおける処理手順の一例を示すフローチャートである。
【図９】第３の実施の形態としての表示装置の外観を概略的に示す図である。
【図１０】透明ディスプレイの背面側にいるユーザＭａが観察するビュー（View from the user）の一例を示すと共に、透明ディスプレイの正面側にいる他人Ｍｂが観察するビュー（View from others）の一例を示す図である。
【図１１】第３の実施の形態としての表示装置の回路構成例を示す図である。
【図１２】表示装置のプライバシー保護モードにおける処理手順の一例を示すフローチャートである。
【図１３】第４の実施の形態としての表示装置の外観を概略的に示す図である。
【図１４】透明ディスプレイの背面側にいるユーザＭａが正面側の像Ｉａを観察し得ることを示すと共に、透明ディスプレイの正面側にいる他人Ｍｂが背面側にいるユーザＭａなどを観察し得ることを示す図である。
【図１５】第４の実施の形態としての表示装置の回路構成例を示す図である。
【図１６】表示装置のプライバシー保護モードにおける処理手順の一例を示すフローチャートである。
【図１７】第５の実施の形態としての表示装置の外観を概略的に示す図である。
【図１８】透明ディスプレイの背面側にいるユーザＭａが透明ディスプレイを通して像Ｉａを観察する際の状態の例を示す図である。
【図１９】ユーザが透明ディスプレイの表示面を注視している場合などの透明ディスプレイの表示を説明するための図である。
【図２０】第５の実施の形態としての表示装置の回路構成例を示す図である。
【図２１】表示装置の焦点不一致改善モードにおける処理手順の一例を示すフローチャートである。
【図２２】第６の実施の形態としての表示装置の外観を概略的に示す図である。
【図２３】透明ディスプレイの背面側にいるユーザＭａが、この透明ディスプレイを通して像Ｉａを観察する際の状態の一例を示す図である。
【図２４】透明ディスプレイの表示面に表示される重畳情報をユーザＭａには像Ｉａとほぼ同じ位置に知覚されるようにすることを説明するための図である。
【図２５】第６の実施の形態としての表示装置の回路構成例を示す図である。
【図２６】左眼、右眼の重畳情報領域、つまり光線制御表示部分と、そこに表示される重畳情報や各視点画像の左眼、右眼への照射の関係を示す図である。
【図２７】表示装置の表示位置調整モードにおける処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．第６の実施の形態
７．変形例
【００２１】
＜１．第１の実施の形態＞
［表示装置の構成例］
図１は、第１の実施の形態としての表示装置１００の外観を概略的に示している。この表示装置１００はモバイル機器を構成している。この表示装置１００は、透明ディスプレイ１０１を有している。この透明ディスプレイ１０１の上端に、リアカメラ（リアイメージセンサ）１０２と、フロントカメラ（フロントイメージセンサ）１０３が隣接して配置されている。リアカメラ１０２は、透明ディスプレイ１０１の正面側の像を撮像する。フロントカメラ１０３は、透明ディスプレイ１０１の背面側の像を撮像する。また、透明ディスプレイ１０１の正面側の面にタッチパネル１０４が配置されている。
【００２２】
図２(ａ)は、透明ディスプレイ１０１を通してユーザに観察される像Ｉａの一例を示している。この場合、ユーザの手（一部）１０５が透明ディスプレイ１０１の正面側にあり、この手１０５の一部が透明ディスプレイ１０１を覆っており、像Ｉａに異物として含まれている。この表示装置１００においては、図２（ｂ）に示すように、像Ｉａに含まれているユーザの手１０５を削除することが可能とされる。
【００２３】
図３は、第１の実施の形態としての表示装置１００の回路構成例を示している。この表示装置１００は、透明ディスプレイ１０１と、リアカメラ１０２と、フロントカメラ１０３と、タッチパネル１０４を有している。また、この表示装置１００は、視点推定部１２１と、領域推定部１２２と、撮像画像記憶部１２３と、補間画像作成部１２４と、表示制御部１２５と、重畳情報発生部１２６を有している。
【００２４】
視点推定部１２１は、フロントカメラ１０３で得られた撮像画像に基づいて、ユーザの視点（眼の位置）を推定する。領域推定部１２２は、タッチパネル１０４の出力から、ユーザの手１０５の領域を異物の領域として検出する。また、領域推定部１２２は、ユーザの手１０５の領域の情報と、視点推定部１２１で得られた視点情報とに基づいて、リアカメラ１０２で得られた撮像画像のうち、ユーザの手１０５の領域に対応した画像の領域を推定する。
【００２５】
撮像画像記憶部１２３は、リアカメラ１０２で得られた撮像画像を所定フレーム期間分だけ記憶する。補間画像作成部１２４は、領域推定部１２２の領域推定結果に基づいて、撮像画像記憶部１２３に記憶されている撮像画像のうち、ユーザの手１０５の領域に対応した部分の画像を切り出して、補間画像を作成する。重畳情報発生部１２６は、透明ディスプレイ１０１に表示する文字や画像などの重畳情報を発生する。
【００２６】
この重畳情報は、例えば、ユーザが透明ディスプレイ１０１を通して観察する正面側の像に含まれる所定のオブジェクトに関連する情報とされる。この重畳情報は、例えば、リアカメラ１０２で得られた撮像画像から所定のオブジェクトが画像認識され、その認識結果に基づいて図示しない通信機能によりインターネット上のサーバ装置から自動的に取得されてもよい。この場合、リアカメラ１０２で得られた撮像画像を通信機能によりクラウド上（インターネット上）のサーバ装置に送信し、そのサーバ装置側で画像認識を行って、サーバ装置から重畳情報を受信する構成も考えられる。以上の重畳情報に関することは、以下の他の実施の形態においても同様である。
【００２７】
表示制御部１２５は、重畳情報発生部１２６で重畳情報が発生されるとき、この重畳情報を透明ディスプレイ１０１に表示する。また、表示制御部１２５は、異物除去モードにあるとき、補間画像作成部１２４で作成された補間画像を、透明ディスプレイ１０１のユーザの手１０５の領域にだけ表示する。
【００２８】
図３に示す表示装置１００の動作を簡単に説明する。リアカメラ１０２で透明ディスプレイ１０１の正面側の像を撮像して得られた撮像画像は、撮像画像記憶部１２３に一時的に記憶される。また、フロントカメラ１０３で透明ディスプレイ１０１の正面側の像を撮像して得られた撮像画像は、視点推定部１２１に供給される。この視点推定部１２１では、フロントカメラ１０３で得られた撮像画像に基づいて、ユーザの視点を推定する。この視点推定結果は領域推定部１２２に供給される。
【００２９】
タッチパネル１０４の出力は領域推定部１２２に供給される。この領域推定部１２２では、タッチパネル１０４の出力から、ユーザの手１０５の領域が異物の領域として検出される。また、この領域推定部１２２では、ユーザの手１０５の領域の情報と、視点推定部１２１で得られた視点情報とに基づいて、リアカメラ１０２で得られた撮像画像のうち、ユーザの手１０５の領域に対応した画像の領域が推定される。この領域推定結果は、補間画像作成部１２４に供給される。
【００３０】
補間画像作成部１２４では、領域推定部１２２の領域推定結果に基づいて、撮像画像記憶部１２３に記憶されている撮像画像のうち、ユーザの手１０５の領域に対応した部分の画像が切り出され、補間画像（置き換え）が作成される。表示制御部１２５では、異物除去モードにあるとき、補間画像作成部１２４で作成された補間画像を、透明ディスプレイ１０１のユーザの手１０５の領域にだけ表示することが行われる。これにより、透明ディスプレイ１０１を通してユーザに観察される像Ｉａに含まれているユーザの手１０５が削除される（図２（ｂ）参照）。また、表示制御部１２５では、重畳情報発生部１２６で重畳情報が発生されるとき、この重畳情報を透明ディスプレイ１０１に表示することが行われる。
【００３１】
図４のフローチャートは、図１、図３に示す表示装置１００の異物除去モードにおける処理手順の一例を示している。表示装置１００は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２において、リアカメラ１０２およびフロントカメラ１０３による撮像を開始すると共に、タッチパネル１０４を起動する。
【００３２】
次に、表示装置１００は、ステップＳＴ３において、タッチパネル１０４で、手１０５で覆っている領域を検出する。次に、表示装置１００は、ステップＳＴ４において、手で覆っている領域の光景（画像）を、リアカメラ１０２で得られた撮像画像上で推定して切り出す。次に、表示装置１００は、ステップＳＴ５において、手で覆っている領域だけに、ステップＳＴ４で切り出された画像を表示する。
【００３３】
次に、表示装置１００は、ステップＳＴ６において、異物除去モードを終了するか否かを判断する。異物除去モードを終了するか否かは、図３にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置１００は、ステップＳＴ３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置１００は、ステップＳＴ７において、処理を終了する。
【００３４】
上述したように、図１に示す表示装置１００においては、異物除去モードでは、透明ディスプレイ１０１を通してユーザに観察される像Ｉａに含まれるユーザの手１０５の領域だけに、リアカメラ１０２で得られた撮像画像のうち、ユーザの手１０５の領域に対応した部分の画像が表示される。そのため、透明ディスプレイ１０１を通してユーザに観察される像Ｉａからユーザの手１０５が除去され、アンビエント（ambient）性の向上が図られる。
【００３５】
＜２．第２の実施の形態＞
［表示装置の構成例］
図５は、第２の実施の形態としての表示装置２００の外観を概略的に示している。この表示装置２００はモバイル機器を構成している。この表示装置２００は、透明ディスプレイ２０１を有している。この透明ディスプレイ２０１の上端に、リアカメラ（リアイメージセンサ）２０２と、フロントカメラ（フロントイメージセンサ）２０３が隣接して配置されている。リアカメラ２０２は、透明ディスプレイ２０１の正面側の像を撮像する。フロントカメラ２０３は、透明ディスプレイ２０１の背面側の像を撮像する。また、透明ディスプレイ２０１の背面側の面にタッチパネル２０４が配置されている。
【００３６】
図６（ａ）は、透明ディスプレイ２０１を通してユーザに観察される像Ｉａの一例を示している。この場合、像Ｉａにオブジェクト２０５が異物として含まれている。この表示装置１００においては、図６（ｂ）に示すように、像Ｉａに含まれているオブジェクト２０５を削除することが可能とされる。
【００３７】
図７は、第２の実施の形態としての表示装置２００の回路構成例を示している。この表示装置２００は、透明ディスプレイ２０１と、リアカメラ２０２と、フロントカメラ２０３と、タッチパネル２０４を有している。また、この表示装置２００は、視点推定部２２１と、領域推定部２２２と、撮像画像記憶部２２３と、補間画像作成部２２４と、表示制御部２２５と、重畳情報発生部２２６を有している。
【００３８】
タッチパネル２０４は、ユーザが、透明ディスプレイ２０１を通して観察される像Ｉａから、所定のオブジェクト２０５を指定するために用いられる。この意味で、このタッチパネル２０１は、オブジェクト指定部を構成している。視点推定部２２１は、フロントカメラ１０３で得られた撮像画像に基づいて、ユーザの視点を推定する。領域推定部２２２は、タッチパネル２０４で指定されたオブジェクト２０５を含むオブジェクト領域を異物の領域として検出する。また、領域推定部２２２は、オブジェクト領域の情報と、視点推定部２２１で得られた視点情報とに基づいて、リアカメラ２０２で得られた撮像画像のうち、オブジェクト領域に対応した画像の領域を推定する。
【００３９】
撮像画像記憶部２２３は、リアカメラ２０２で得られた撮像画像を所定フレーム期間分だけ記憶する。補間画像作成部２２４は、領域推定部２２２の領域推定結果に基づいて、補間画像を作成する。この場合、補間画像作成部２２４は、オブジェクト２０５に動きがあるときは、撮像画像記憶部２２３に記憶されている撮像画像のうち、オブジェクト２０５が存在しない過去フレームの撮像画像からオブジェクト領域に対応した部分の画像を切り出して、補間画像（置き換え画像）を作成する。また、補間画像作成部２２４は、オブジェクト２０５に動きがないときは、オブジェクト領域の周辺画素を利用して、補間画像（置き換え画像）を作成する。
【００４０】
表示制御部２２５は、重畳情報発生部２２６で重畳情報が発生されるとき、この重畳情報を透明ディスプレイ２０１に表示する。また、表示制御部２２５は、異物除去モードにあるとき、補間画像作成部２２４で作成された補間画像を、透明ディスプレイ２０１のオブジェクト領域にだけ表示する。
【００４１】
図７に示す表示装置２００の動作を簡単に説明する。リアカメラ２０２で透明ディスプレイ２０１の正面側の像を撮像して得られた撮像画像は、撮像画像記憶部２２３に一時的に記憶される。また、フロントカメラ２０３で透明ディスプレイ２０１の正面側の像を撮像して得られた撮像画像は、視点推定部２２１に供給される。この視点推定部２２１では、フロントカメラ２０３で得られた撮像画像に基づいて、ユーザの視点が推定される。この視点推定結果は領域推定部２２２に供給される。
【００４２】
タッチパネル２０４が使用され、ユーザが透明ディスプレイ２０１を通して観察される像Ｉａから、ユーザが除去を望むオブジェクト２０５が指定される。この領域推定部２２２では、タッチパネル２０４で指定されたオブジェクトを含むオブジェクト領域が異物の領域として検出される。また、この領域推定部２２２では、オブジェクト領域の情報と、視点推定部２２１で得られた視点情報とに基づいて、リアカメラ２０２で得られた撮像画像のうち、オブジェクト領域に対応した画像の領域が推定される。この領域推定結果は、補間画像作成部２２４に供給される。
【００４３】
補間画像作成部１２４では、領域推定部２２２の領域推定結果に基づいて、補間画像（置き換え画像）が作成される。この場合、補間画像作成部２２４は、オブジェクト２０５に動きがあるときは、撮像画像記憶部２２３に記憶されている撮像画像のうち、オブジェクト２０５が存在しない過去フレームの撮像画像からオブジェクト領域に対応した部分の画像が切り出され、補間画像（置き換え画像）が作成される。一方、補間画像作成部２２４では、オブジェクト２０５に動きがないときは、オブジェクト領域の周辺画素が利用されて、補間画像（置き換え画像）が作成される。
【００４４】
表示制御部２２５では、異物除去モードにあるとき、補間画像作成部２２４で作成された補間画像が、透明ディスプレイ２０１のオブジェクト領域にだけ表示することが行われる。これにより、透明ディスプレイ２０１を通してユーザに観察される像Ｉａに含まれているオブジェクト２０５が削除される（図６（ｂ）参照）。また、表示制御部２２５では、重畳情報発生部２２６で重畳情報が発生されるとき、この重畳情報を透明ディスプレイ２０１に表示することが行われる。
【００４５】
図８のフローチャートは、図５、図７に示す表示装置２００の異物除去モードにおける処理手順の一例を示している。表示装置２００は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、表示装置２００は、リアカメラ２０２およびフロントカメラ２０３による撮像を開始すると共に、タッチパネル２０４を起動する。
【００４６】
次に、表示装置２００は、ステップＳＴ１３において、ユーザのタッチパネル２０４の操作により、透明ディスプレイ２０１を通して観察される像から、削除したいオブジェト２０５を指定する。そして、表示装置２００は、ステップＳＴ１４において、指定オブジェクトに動きがあるか否かを判断する。例えば、リアカメラ２０２で得られた撮像画像に基づいて、オブジェクト２０５の動きベクトルを検出することで、このオブジェクト２０５の動き判断を行うことができる。
【００４７】
オブジェクト２０５に動きがあると判断されるとき、表示装置２００は、ステップＳＴ１５において、リアカメラ２０２で得られた撮像画像のうち、オブジェクト２０５が存在していない過去フレームを利用して、オブジェクト領域に対応した補間画像（置き換え画像）を作成する。一方、オブジェクト２０５に動きがないと判断されるとき、表示装置２００は、ステップＳＴ１６において、リアカメラ２０２で得られた撮像画像のうち、オブジェクト領域２０５の周囲画素を利用して、オブジェクト領域に対応した補間画像（置き換え画像）を作成する。
【００４８】
表示装置２００は、ステップＳＴ１５あるいはステップＳＴ１６の処理の後、ステップＳＴ１７の処理に移る。このステップＳＴ１７において、表示装置２００は、ステップＳＴ１５あるいはステップＳＴ１６で作成した補間画像を、オブジェクト領域だけに表示する。
【００４９】
次に、表示装置２００は、ステップＳＴ１８において、異物除去モードを終了するか否かを判断する。異物除去モードを終了するか否かは、図７にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置２００は、ステップＳＴ１３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置２００は、ステップＳＴ１９において、処理を終了する。
【００５０】
上述したように、図５に示す表示装置２００においては、異物除去モードでは、透明ディスプレイ１０１を通してユーザに観察される像Ｉａに含まれる、ユーザが指定したオブジェクト１０５の領域だけに、リアカメラ２０２で得られた撮像画像に基づいて作成された補間画像（置き換え画像）が表示される。そのため、透明ディスプレイ２０１を通してユーザに観察される像Ｉａから指定オブジェクト１０５が除去され、アンビエント（ambient）性の向上が図られる。
【００５１】
＜３．第３の実施の形態＞
［表示装置の構成例］
図９は、第３の実施の形態としての表示装置３００の外観を概略的に示している。この表示装置３００はモバイル機器を構成している。この表示装置３００は、透明ディスプレイ３０１を有している。この透明ディスプレイ３０１の上端に、リアカメラ（リアイメージセンサ）３０２と、フロントカメラ（フロントイメージセンサ）３０３が隣接して配置されている。リアカメラ３０２は、透明ディスプレイ３０１の正面側の像を撮像する。フロントカメラ３０３は、透明ディスプレイ３０１の背面側の像を撮像する。
【００５２】
図１０は、透明ディスプレイ３０１の背面側にいるユーザＭａが透明ディスプレイ３０１の正面側の像Ｉａを観察した場合のビュー（View from the user）の一例を示している。このビュー（以下、適宜、「ユーザビュー」という）には、像Ｉａの他に他人Ｍｂが含まれ、さらに、透明ディスプレイ３０１に表示された文字や画像などの重畳情報（図示の例では文字情報）も含まれている。
【００５３】
また、図１０は、透明ディスプレイ３０１の正面側にいる他人Ｍｂが透明ディスプレイ３０１の背面側の像Ｉｂを観察した場合のビュー（View from others）の一例を示している。このビュー（以下、適宜、「他人ビュー」という）には、像Ｉｂの他にユーザＭａが含まれ、さらに、透明ディスプレイ３０１に表示された文字や画像などの重畳情報（図示の例では文字情報）も含まれている。
【００５４】
この表示装置３００においては、他人Ｍｂの視線が透明ディスプレイ３０１に表示されている重畳情報に向いているとき、重畳情報の表示色を、像Ｉｂのうち視線方向の領域の色情報に対応した色にすることが可能とされる。
【００５５】
図１１は、第３の実施の形態としての表示装置３００の回路構成例を示している。この表示装置３００は、透明ディスプレイ３０１と、リアカメラ３０２と、フロントカメラ３０３を有している。また、この表示装置３００は、視線推定部３２１と、色情報取得部３２２と、重畳情報発生部３２３と、重畳情報処理部３２４と、表示制御部３２５を有している。
【００５６】
視線推定部３２１は、リアカメラ３０２で得られた撮像画像に基づいて、他人Ｍｂの視線方向を推定する。この視線方向の推定には、例えば、「“Passive Driver Gaze Tracking with Active Appearance Models ”T.Ishikawa,S.Baker,I.Matthews,and T.Kanade Proceedings of the 11thWorld Congress on Intelligent Transportation Systems, October, 2004.」に記載される技術などを適用し得る。
【００５７】
色情報取得部３２２は、視線推定部３２１で推定された他人Ｍｂの視線の方向が透明ディスプレイ３０１に表示される重畳情報（文字や画像など）への視線であるとき、フロントカメラ３０３で得られた撮像画像から、その視線方向の領域の色情報を取得する。この視線方向の領域は、他人Ｍｂが透明ディスプレイ３０１に表示されている重畳情報に視線を向けたときに、この透明ディスプレイ３０１を通して観察される、重畳情報の背景に位置する像領域である。
【００５８】
重畳情報発生部３２３は、透明ディスプレイ３０１に表示する重畳情報（文字や画像など）を発生する。重畳情報処理部３２４は、プライバシー保護モードにあるとき、重畳情報発生部３２３で発生される重畳情報を、その表示色が色情報取得部３２２で取得された色情報に対応した色となるように、色変更の処理をする。なお、重畳情報処理部３２４は、プライバシー保護モードにないときは、重畳情報発生部３２３で発生される重畳情報を、色変更処理を施すことなく、そのまま出力する。表示制御部３２５は、重畳情報発生部３２３で重畳情報が発生されるとき、重畳情報処理部３２４を経た重畳情報を、透明ディスプレイ３０１に表示する。
【００５９】
図１１に示す表示装置３００の動作を簡単に説明する。リアカメラ３０２で透明ディスプレイ３０１の正面側の像を撮像して得られた撮像画像は、視線推定部３２１に供給される。この視線推定部３２１では、その撮像画像が処理されて、その撮像画像に他人Ｍｂが存在するときには、その視線方向が推定される。この視線方向の推定結果は、色情報取得部３２２に供給される。
【００６０】
また、フロントカメラ３０３で透明ディスプレイ３０１の背面側の像を撮像して得られた撮像画像は、色情報取得部３２２に供給される。色情報取得部３２２では、視線推定部３２１で推定された他人Ｍｂの視線の方向が透明ディスプレイ３０１に表示される重畳情報（文字や画像など）への視線であるとき、フロントカメラ３０３で得られた撮像画像から、その視線方向の領域の色情報が取得される。この色情報は、重畳情報処理部３２４に供給される。
【００６１】
重畳情報処理部３２４では、プライバシー保護モードにあって、他人Ｍｂの視線が透明ディスプレイ３０１に表示される重畳情報に向かっているとき、重畳情報発生部３２３で発生される重畳情報が、その表示色が色情報取得部３２２で取得された色情報に対応した色となるように、色変更の処理が施される。一方、重畳情報処理部３２４では、プライバシー保護モードにないときは、重畳情報発生部３２３で発生される重畳情報がそのまま出力される。
【００６２】
表示制御部３２５では、プライバシー保護モードにあって、他人Ｍｂの視線が透明ディスプレイ３０１に表示される重畳情報に向かっているとき、重畳情報処理部５２４で色変更処理が施された重畳情報を透明ディスプレイ３０１に表示することが行われる。そのため、他人Ｍｂは、透明ディスプレイ３０１に表示される重畳情報を把握することが困難となる。なお、プライバシー保護モードにないとき、あるいは、他人Ｍｂの視線が透明ディスプレイ３０１に表示される重畳情報に向かっていないときは、重畳情報発生部３２３で発生される重畳情報そのものが、透明ディスプレイ３０１に表示される。
【００６３】
図１２のフローチャートは、図９、図１１に示す表示装置３００のプライバシー保護モードにおける処理手順の一例を示している。表示装置３００は、ステップＳＴ２１において、処理を開始し、その後に、ステップＳＴ２２の処理に進む。このステップＳＴ２２において、表示装置３００は、リアカメラ３０２およびフロントカメラ３０３による撮像を開始する。そして、ステップＳＴ２３において、リアカメラ３０２の撮像画像から他人Ｍｂの視線方向を推定する。
【００６４】
次に、表示装置３００は、ステップＳＴ２４において、視線方向が透明ディスプレイ３０１に表示されている重畳情報に向かっているか否かを判断する。視線方向が重畳情報に向かっているとき、表示装置３００は、ステップＳＴ２５において、フロントカメラ３０３で得られた撮像画像から、視線方向の領域の色情報を取得する。そして、表示装置３００は、ステップＳＴ２６において、重畳情報を、その表示色が色情報に対応した色となるように色変更処理を施して表示する。一方、視線方向が重畳情報に向かっていないとき、表示装置３００は、ステップＳＴ２７において、重畳情報発生部３２３で発生された重畳情報を、色変更処理を施すことなく、そのまま表示する。
【００６５】
次に、表示装置３００は、ステップＳＴ２８において、プライバシー保護モードを終了するか否かを判断する。プライバシー保護モードを終了するか否かは、図１１にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置３００は、ステップＳＴ２３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置３００は、ステップＳＴ２９において、処理を終了する。
【００６６】
上述したように、図９に示す表示装置３００においては、プライバシー保護モードにあって、他人Ｍｂの視線が透明ディスプレイ３０１に表示される重畳情報に向かっているとき、色変更処理が施された重畳情報が、透明ディスプレイ３０１に表示される。そのため、他人Ｍｂは、透明ディスプレイ３０１に表示される重畳情報を把握することが困難となり、プライバシー保護を図ることができる。
【００６７】
＜４．第４の実施の形態＞
［表示装置の構成例］
図１３は、第４の実施の形態としての表示装置４００の外観を概略的に示している。この表示装置４００はモバイル機器を構成している。この表示装置４００は、透明ディスプレイ４０１を有している。この透明ディスプレイ４０１は、正面側透明ディスプレイ４０１Ｒと、背面側透明ディスプレイ４０１Ｆとからなっている。この透明ディスプレイ４０１の上端に、リアカメラ（リアイメージセンサ）４０２と、人感センサ４０３が隣接して配置されている。リアカメラ４０２は、透明ディスプレイ４０１の正面側の像を撮像する。人感センサ４０３は、透明ディスプレイ４０１の正面側の一定範囲に存在する人物を検出する。
【００６８】
図１４（ａ）は、透明ディスプレイ４０１の背面側にいるユーザＭａが、透明ディスプレイ４０１を通してその正面側の像Ｉａを観察し得ることを示している。また、図１４（ｂ）は、透明ディスプレイ４０１の正面側にいる他人Ｍｂが、透明ディスプレイ４０１を通してその背面側にいるユーザＭａなどを観察し得ることを示している。
【００６９】
この表示装置４００においては、他人Ｍｂの存在が検出され、かつ、透明ディスプレイ４０１に向けた視線があるとき、図１４（ｃ）に示すように、背面側透明ディスプレイ４０１Ｆにリアカメラ４０２で得られた撮像画像を表示し、また、図１４（ｄ）に示すように、正面側透明ディスプレイ４０１Ｒを非透明状態にすることが可能とされる。
【００７０】
図１５は、第４の実施の形態としての表示装置４００の回路構成例を示している。この表示装置４００は、正面側透明ディスプレイ４０１Ｒと、背面側透明ディスプレイ４０１Ｆと、リアカメラ４０２と、人感センサ４０３を有している。また、この表示装置４００は、視線推定部４２１と、人物検出部４２２と、重畳情報発生部４２３と、表示制御部４２４を有している。
【００７１】
視線推定部４２１は、リアカメラ４０２で得られた撮像画像に基づいて、他人Ｍｂの視線方向を推定する。この視線推定部４２１は、上述の表示装置３００における視線推定部３２１と同様の構成とされる。人物検出部４２２は、人感センサ４０３の出力に基づいて、透明ディスプレイ４０１の正面側の一定範囲に存在する他人Ｍｂを検出する。
【００７２】
重畳情報発生部４２３は、透明ディスプレイ４０１に表示する文字や画像などの重畳情報を発生する。表示制御部４２４は、重畳情報発生部４２３で重畳情報が発生されるとき、この重畳情報を透明ディスプレイ４０１、例えば背面側透明ディスプレイ４０１Ｆに表示する。
【００７３】
また、表示制御部４２４は、プライバシー保護モードにあるとき、視線推定部４２１の視線推定結果および人物検出部４２２の人物検出結果に基づいて、他人Ｍｂが存在し、かつ、その視線が透明ディスプレイ４０１に向けられているとう条件を満たすか判断する。表示制御部４２４は、この条件を満たすと判断するとき、背面側透明ディスプレイ４０１Ｆにリアカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態にする。
【００７４】
図１５に示す表示装置４００の動作を簡単に説明する。人感センサ４０３の出力は人物検出部４２２に供給される。そして、人物検出部４２２では、人感センサ４０３の出力に基づいて、透明ディスプレイ４０１の正面側の一定範囲に人物が存在するか否かの検出が行われる。この検出結果は、表示制御部４２４に供給される。
【００７５】
また、リアカメラ４０２で透明ディスプレイ４０１の正面側の像を撮像して得られた撮像画像は、視線推定部４２１に供給される。この視線推定部４２１では、その撮像画像が処理されて、その撮像画像に他人Ｍｂが存在するときには、その視線方向が推定される。この視線方向の推定結果は、表示制御部４２４に供給される。
【００７６】
重畳情報処理部４２３では、透明ディスプレイ４０１に表示する重畳情報（文字や画像など）が発生される。この重畳情報は、表示制御部４２４に供給される。表示制御部４２４では、その重畳情報を背面側透明ディスプレイ４０１Ｆに表示することが行われる。
【００７７】
また、表示制御部４２４では、プライバシー保護モードにあるとき、視線推定部４２１の視線推定結果および人物検出部４２２の人物検出結果に基づいて、他人Ｍｂが存在し、かつ、その視線が透明ディスプレイ４０１に向けられているとう条件を満たすかが判断される。そして、条件を満たすと判断されるとき、背面側透明ディスプレイ４０１Ｆにリアカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態にすることが行われる。そのため、他人Ｍｂは、透明ディスプレイ４０１を通して、その背面側にいるユーザＭａなどを観察することが困難となる。
【００７８】
図１６のフローチャートは、図１３、図１５に示す表示装置４００のプライバシー保護モードにおける処理手順の一例を示している。表示装置４００は、ステップＳＴ３１において、処理を開始し、その後に、ステップＳＴ３２の処理に進む。このステップＳＴ３２において、表示装置４００は、リアカメラ４０２による撮像を開始し、さらに、人感センサ４０３を起動する。
【００７９】
次に、表示装置４００は、ステップＳＴ３３において、透明ディスプレイ４０１の正面側の一定範囲に他人Ｍｂが存在するか否かを判断する。他人Ｍｂが存在するとき、表示装置４００は、ステップＳＴ３４の処理に移る。このステップＳＴ３４において、表示装置４００は、その他人Ｍｂの視線が透明ディスプレイ４０１に向いているか否かを判断する。
【００８０】
他人Ｍｂの視線が透明ディスプレイ４０１に向いているとき、表示装置４００は、ステップＳＴ３５において、正面側透明ディスプレイ（外側ディスプレイ）４０１Ｒを非透明状態にする。また、このとき、表示装置４００が、背面側透明ディスプレイ（内側ディスプレイ）４０１Ｆにリアカメラ４０２で得られた撮像画像を表示する。一方、ステップＳＴ３３で他人Ｍｂが存在していないとき、あるいはステップＳＴ３４で他人Ｍｂの視線が透明ディスプレイ４０１に向いていないとき、表示装置４００は、ステップＳＴ３６において、正面側透明ディスプレイ４０１Ｒおよび背面側透明ディスプレイ４０１の双方を透明状態に維持する。
【００８１】
次に、表示装置４００は、ステップＳＴ３７において、プライバシー保護モードを終了するか否かを判断する。プライバシー保護モードを終了するか否かは、図１５にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置４００は、ステップＳＴ３３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置４００は、ステップＳＴ３８において、処理を終了する。
【００８２】
上述したように、図１３に示す表示装置４００においては、プライバシー保護モードにあって、他人Ｍｂが存在し、かつ、その視線が透明ディスプレイ４０１に向けられているとき、背面側透明ディスプレイ４０１Ｆにリアカメラ４０２で得られた撮像画像が表示され、正面側透明ディスプレイ４０１Ｒが非透明状態とされる。そのため、他人Ｍｂは、透明ディスプレイ４０１を通して、その背面側にいるユーザＭａなどを観察することが困難となり、プライバシー保護を図ることができる。この場合、ユーザＭａにおける他人Ｍｂから見られているという感覚を低減できる。
【００８３】
なお、上述では、他人Ｍｂが存在し、かつ、その視線が透明ディスプレイ４０１に向けられているとき、背面側透明ディスプレイ４０１Ｆにリアカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態とするものである。しかし、他人Ｍｂが存在するとき、背面側透明ディスプレイ４０１Ｆにリアカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態とすることも考えられる。この場合、他人Ｍｂの視線が透明ディスプレイ４０１に向けられているという条件を課さないものである。その場合には、図１５の表示装置４００における視線推定部４２１は不要となる。
【００８４】
また、上述では、人物検出部４２２は、人感センサ４０３の出力に基づいて、透明ディスプレイ４０１の正面側の一定範囲に存在する他人Ｍｂを検出するものである。しかし、人物検出部４０３は、リアカメラ４０２で得られた撮像画像を処理して透明ディスプレイ４０１の正面側の一定範囲に存在する他人Ｍｂを認識（検出）するように構成することも可能である。その場合には、人感センサ４０３は不要となる。
【００８５】
また、上述では、他人Ｍｂが存在し、かつ、その視線が透明ディスプレイ４０１に向けられているとき、背面側透明ディスプレイ４０１Ｆにリアカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態とするものである。しかし、透明ディスプレイ４０１を複数のブロックに分割し、視線が向けられている分割領域についてのみ、背面側透明ディスプレイ４０１Ｆにリアカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態とすることも考えられる。さらには、視線が向けられている分割領域の透明度を最低とし、その分割領域から遠ざかるほど透明度が高くなるように制御することも考えられる。
【００８６】
＜５．第５の実施の形態＞
［表示装置の構成例］
図１７は、第５の実施の形態としての表示装置５００の外観を概略的に示している。この表示装置５００はモバイル機器を構成している。この表示装置５００は、透明ディスプレイ５０１を有している。この透明ディスプレイ５０１の上端に、リアカメラ（リアイメージセンサ）５０２と、フロントカメラ（フロントイメージセンサ）５０３が隣接して配置されている。リアカメラ５０２は、透明ディスプレイ５０１の正面側の像を撮像する。フロントカメラ５０３は、透明ディスプレイ５０１の背面側の像を撮像する。
【００８７】
図１８（ａ）は、透明ディスプレイ５０１の背面側にいるユーザＭａが、透明ディスプレイ５０１を通して像Ｉａを観察する際の状態の一例を示している。この例は、ユーザＭａの眼と透明ディスプレイ５０１の表示面との間の距離ｒａに比べて、透明ディスプレイ５０１の表示面と像Ｉａとの間の距離ｒｂがかなり大きく（ｒａ＜＜ｒｂ）、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が発生する状態を示している。図１８（ｂ）は、その場合に、ユーザＭａが透明ディスプレイ５０１の表示面を注視した場合に観察されるビューの一例を示しており、像Ｉａはぼやけた状態となる。なお、図示しないが、逆に、ユーザＭａが像Ｉａを注視した場合に観察されるビューでは、透明ディスプレイ５０１の表示面の情報がぼやけた状態となる。
【００８８】
図１８（ｃ）は、透明ディスプレイ５０１の背面側にいるユーザＭａが、透明ディスプレイ５０１を通して像Ｉａを観察する際の状態の一例を示している。この例では、ユーザＭａの眼と透明ディスプレイ５０１の表示面との間の距離ｒａに比べて、透明ディスプレイ５０１の表示面と像Ｉａとの間の距離ｒｂがかなり小さく（ｒａ＞＞ｒｂ）、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が発生しない状態を示している。図１８（ｄ）は、その場合に、ユーザＭａが透明ディスプレイ５０１の表示面あるいは像Ｉａを注視した場合に観察されるビューの一例を示しており、透明ディスプレイ５０１の表示面の情報および像Ｉａの双方とも明瞭な状態となる。
【００８９】
この表示装置５００においては、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が検出される場合、図１９（ａ）に示すように、ユーザが透明ディスプレイ５０１の表示面を注視しているときには、この透明ディスプレイ５０１にリアカメラ５０２で得られた撮像画像を表示し、さらに、この撮像画像に重ねて重畳情報（文字や画像など）を表示することが可能とされる。この場合、図１９（ｂ）に示すように、ユーザＭａが観察するビューにおいては、重畳情報および像Ｉａの双方とも明瞭な状態となる。
【００９０】
この表示装置５００においては、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が検出される場合、図１９（ｃ）に示すように、ユーザが透明ディスプレイ５０１の表示面を注視しているときには、この透明ディスプレイ５０１に重畳情報の表示をしないか、あるいはその重畳情報の透明ディスプレイ５０１への表示を目立たなくすることが可能とされる。この場合、図１９（ｄ）に示すように、ユーザＭａが観察するビューにおいては、像Ｉａが、透明ディスプレイ５０１に表示される重畳情報に邪魔されることなく、明瞭に表示される状態となる。
【００９１】
図２０は、第５の実施の形態としての表示装置５００の回路構成例を示している。この表示装置５００は、透明ディスプレイ５０１と、リアカメラ５０２と、フロントカメラ５０３を有している。また、この表示装置５００は、視線推定部５２１と、距離推定部５２２と、距離推定部５２３と、重畳情報発生部５２４と、表示制御部５２５を有している。
【００９２】
視線推定部５２１は、フロントカメラ５０３で得られた撮像画像に基づいて、ユーザＭａの左眼および右眼の視線方向を推定する。この視線推定部５２１は、上述の表示装置３００における視線推定部３２１と同様の構成とされる。距離推定部５２２は、フロントカメラ５０３で得られた撮像画像に基づいて、ユーザＭａの眼と透明ディスプレイ５０１の表示面との間の距離ｒａを推定する。距離推定部５２３は、リアカメラ５０２で得られた撮像画像に基づいて、透明ディスプレイ５０１の表示面と、この透明ディスプレイ５０１を通してユーザＭａが観察する像Ｉａとの間の距離ｒｂを推定する。
【００９３】
重畳情報発生部５２４は、透明ディスプレイ５０１に表示する重畳情報（文字や画像など）を発生する。表示制御部５２５は、焦点不一致改善モードにあるとき、距離推定部５２２，５２３の距離推定結果に基づいて、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が起こるか否かを判断する。表示制御部５２５は、例えば、ｒａ＜＜ｒｂであるときは、焦点不一致があると判断する。
【００９４】
また、表示制御部５２５は、視線推定部５２１で推定されるユーザＭａの左眼および右眼の視線方向に基づいて、ユーザＭａが透明ディスプレイ５０１の表示面を注視しているか、あるいは像Ｉａを注視しているかを判断する。表示制御部５２５は、左眼および右眼の視線が透明ディスプレイ５０１の表示面のほぼ同一位置（重畳情報の表示位置）に向かっている場合には、ユーザＭａが透明ディスプレイ５０１の表示面を注視していると判断する。一方、表示制御部５２５は、左眼および右眼の視線が像Ｉａのほぼ同一位置に向かっている場合には、ユーザＭａが像Ｉａを注視していると判断する。
【００９５】
そして、表示制御部５２５は、焦点不一致があると判断し、しかも、ユーザＭａが透明ディスプレイ５０１の表示面を注視していると判断するとき、この透明ディスプレイ５０１にリアカメラ５０２で得られた撮像画像を表示し、さらに、この撮像画像に重ねて重畳情報（文字や画像など）を表示する。また、表示制御部５２５は、焦点不一致があると判断し、しかも、ユーザＭａが像Ｉａを注視していると判断するとき、透明ディスプレイ５０１に重畳情報の表示をしないか、あるいはその重畳情報のコントラスト落とすなどして目立たなく表示する。なお、表示制御部５２５は、焦点不一致がないと判断するとき、透明ディスプレイ５０１に重畳情報のみを表示する。
【００９６】
図２０に示す表示装置５００の動作を簡単に説明する。フロントカメラ５０３で得られた撮像画像は視線推定部５２１に供給される。この視線推定部５２１では、その撮像画像に基づいて、ユーザＭａの左眼および右眼の視線方向が推定される。この視線推定結果は表示制御部５２５に供給される。
【００９７】
また、フロントカメラ５０３で得られた撮像画像は、距離推定部５２２に供給される。この距離推定部５２２では、その撮像画像に基づいて、ユーザＭａの眼と透明ディスプレイ５０１の表示面との間の距離ｒａが推定される。また、リアカメラ５０２で得られた撮像画像は、距離推定部５２３に供給される。この距離推定部５２３では、その撮像画像に基づいて、透明ディスプレイ５０１の表示面と、この透明ディスプレイ５０１を通してユーザＭａが観察する像Ｉａとの間の距離ｒｂが推定される。
【００９８】
重畳情報発生部５２４では、透明ディスプレイ５０１に表示する重畳情報（文字や画像など）が発生される。表示制御部５２５では、焦点不一致改善モードにないとき、この重畳情報のみを透明ディスプレイ５０１に表示することが行われる。また、焦点不一致改善モードにあるとき、表示制御部５２５では、以下の制御が行われる。
【００９９】
すなわち、距離推定部５２２，５２３の距離推定結果に基づいて、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が起こるか否かが判断される。また、視線推定部５２１で推定されるユーザＭａの左眼および右眼の視線方向に基づいて、ユーザＭａが透明ディスプレイ５０１の表示面を注視しているか、あるいは像Ｉａを注視しているかが判断される。
【０１００】
そして、表示制御部５２５では、焦点不一致があると判断され、しかも、ユーザＭａが透明ディスプレイ５０１の表示面を注視していると判断されるとき、この透明ディスプレイ５０１にリアカメラ５０２で得られた撮像画像を表示し、さらに、この撮像画像に重ねて重畳情報（文字や画像など）を表示することが行われる（図１９（ａ），（ｂ）参照）。
【０１０１】
また、表示制御部５２５では、焦点不一致があると判断され、しかも、ユーザＭａが像Ｉａを注視していると判断されるとき、透明ディスプレイ５０１に重畳情報の表示をしないか、あるいはその重畳情報のコントラスト落とすなどして目立たなく表示することが行われる（図１９（ｃ），（ｄ）参照）。なお、表示制御部５２５では、焦点不一致がないと判断されるときは、上述した焦点不一致改善モードにないときと同様に、透明ディスプレイ５０１に重畳情報のみを表示することが行われる。
【０１０２】
図２１のフローチャートは、図１３、図１５に示す表示装置５００の焦点不一致改善モードにおける処理手順の一例を示している。表示装置５００は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に進む。このステップＳＴ４２において、表示装置５００は、リアカメラ５０２およびフロントカメラ５０３による撮像を開始する。
【０１０３】
次に、表示装置５００は、ステップＳＴ４３において、フロントカメラ５０３の撮像画像に基づいて、ユーザＭａの眼と透明ディスプレイ５０１の表示面との間の距離ｒａを推定する。次に、表示装置５００は、ステップＳＴ４４において、透明ディスプレイ５０１の表示面と、この透明ディスプレイ５０１を通してユーザＭａが観察する像Ｉａとの間の距離ｒｂを推定する。そして、表示装置５００は、ステップＳＴ４５において、距離ｒａと距離ｒｂとを比較する。
【０１０４】
次に、表示装置５００は、ステップＳＴ４６において、比較結果に基づいて、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が起こるか否かを判断する。焦点不一致が起こると判断するとき、表示装置５００は、ステップＳＴ４７において、フロントカメラ５０３の撮像画像に基づいて、ユーザＭａの左眼および右眼の視線方向を推定する。
【０１０５】
次に、表示装置５００は、ステップＳＴ４８において、視線方向の推定結果に基づいて、ユーザＭａが透明ディスプレイ５０１の表示面を注視しているか否かを判断する。透明ディスプレイ５０１の表示面を注視していると判断するとき、表示装置５００は、ステップＳＴ４９において、リアカメラ５０２の撮像画像と重畳情報発生部５２４で発生される重畳情報を透明ディスプレイ５０１に表示する（図１９（ａ），（ｂ）参照）。
【０１０６】
また、ステップＳＴ４８で透明ディスプレイ５０１の表示面を注視していないと判断するとき、表示装置５００は、ステップＳＴ５０において、透明ディスプレイ５０１に何も表示しないか、あるいは、重畳情報発生部５２４で発生される重畳情報を透明ディスプレイ５０１にコントラストを落とすなどして目立たなく表示する（図１９（ｃ），（ｄ）参照）。また、ステップＳＴ４６で焦点不一致が起こらないと判断するとき、表示装置５００は、ステップＳＴ５１において、透明ディスプレイ５０１に、重畳情報発生部５２４で発生される重畳情報のみを、通常の状態で表示する。
【０１０７】
表示装置５００は、ステップＳＴ４９、ステップＳＴ５０、ステップＳＴ５１の処理の後、ステップＳＴ５２において、焦点不一致改善モードを終了するか否かを判断する。焦点不一致改善モードを終了するか否かは、図２０にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置５００は、ステップＳＴ４３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置５００は、ステップＳＴ５３において、処理を終了する。
【０１０８】
上述したように、図１７に示す表示装置５００においては、焦点不一致改善モードにあって、焦点不一致が起こると判断するとき、ユーザＭａが透明ディスプレイ５０１の表示面を注視しているか否かにより、透明ディスプレイ５０１の表示状態が変更される。すなわち、ユーザＭａが透明ディスプレイ５０１の表示面を注視しているときには、透明ディスプレイ５０１に、リアカメラ５０２の撮像画像と重畳情報発生部５２４で発生される重畳情報が表示される。
【０１０９】
一方、ユーザＭａが透明ディスプレイ５０１の表示面を注視していないとき、つまり、透明ディスプレイ５０１を通して正面側の像Ｉａを観察しているときは、透明ディスプレイ５０１に、何も表示されないか、あるいは、重畳情報発生部５２４で発生される重畳情報が目立たなく表示される。そのため、焦点不一致によるユーザＭａの不快感の改善を図ることができる。
【０１１０】
なお、上述の図２０に示す表示装置５００では、リアカメラ５０２の撮像画像から距離ｒbを推定し、フロントカメラ５０３の撮像画像から距離ｒaを推定し、これらの距離の比較により、表示制御部５２５では、焦点不一致を起こすか否かを自動的に判断している。しかし、焦点不一致を起こすか否かの情報を例えばユーザが手動操作で与えることも考えられる。その場合には、図２０に示す表示装置５００において、距離推定部５２２，５２３は不要となる。また、表示制御部５２５で、距離情報から焦点不一致を起こすか否かの判断を行うことも不要となる。
【０１１１】
＜６．第６の実施の形態＞
［表示装置の構成例］
図２２は、第６の実施の形態としての表示装置６００の外観を概略的に示している。この表示装置６００はモバイル機器を構成している。この表示装置６００は、透明ディスプレイ６０１を有している。この透明ディスプレイ６０１の上端に、リアカメラ（リアイメージセンサ）６０２と、フロントカメラ（フロントイメージセンサ）６０３が隣接して配置されている。リアカメラ６０２は、透明ディスプレイ６０１の正面側の像を撮像する。フロントカメラ６０３は、透明ディスプレイ６０１の背面側の像を撮像する。また、透明ディスプレイ６０１の背面側に、液晶レンズやパララックスバリアなどで構成される光線制御部６０４が被着されている。
【０１１２】
図２３は、透明ディスプレイ６０１の背面側にいるユーザＭａが、透明ディスプレイ６０１を通して像Ｉａを観察する際の状態の一例を示している。この例は、ユーザＭａの眼と透明ディスプレイ６０１の表示面との間の距離ｒａに比べて、透明ディスプレイ６０１の表示面と像Ｉａとの間の距離ｒｂがかなり大きい（ｒａ＜＜ｒｂ）状態を示している。この場合、透明ディスプレイ６０１の表示面と像Ｉａとの視差が大きいため、左右の像が融合しなくなり、見づらくなる。
【０１１３】
この場合、ユーザＭａが透明ディスプレイ６０１の表示面を注視した場合に観察されるビューでは像Ｉａは融合しない状態となる。また、この場合、ユーザＭａが像Ｉａを注視した場合に観察されるビューでは、透明ディスプレイ６０１の表示面は融合しない状態となる。
【０１１４】
この表示装置６００においては、図２４（ａ）に示すように、透明ディスプレイ６０１の表示面に表示される文字や画像などの重畳情報（図示の例では文字）が、図２４（ｂ）に示すように、ユーザＭａには像Ｉａとほぼ同じ位置に知覚されるようにすることが可能とされる。そのために、重畳情報として左眼重畳情報および右眼重畳情報が生成され、これら２つの重畳情報に適切な視差が付与されて、透明ディスプレイ６０１に表示することが行われる。
【０１１５】
図２５は、第６の実施の形態としての表示装置６００の回路構成例を示している。この表示装置６００は、透明ディスプレイ６０１と、リアカメラ６０２と、フロントカメラ６０３と、光線制御部６０４を有している。また、この表示装置６００は、奥行きマップ取得部６２１と、重畳位置決定部６２２と、ユーザ始点位置決定部６２４と、ユーザ始点画像生成部６２４と、重畳情報生成部６２５と、表示制御部６２６を有している。
【０１１６】
奥行きマップ生成部６２１は、リアカメラ６０２で得られた撮像画像に基づいて、画素毎の奥行きを検出して奥行きマップを取得する。この奥行きの検出方法としては、ステレオ入力から計算する方法、２Ｄ３Ｄ変換による推測、単眼カメラと距離センサの組み合わせなどがある。重畳位置決定部６２２は、奥行きマップを参照して、透明ディスプレイ６０１の表示面に表示される重畳情報の左眼用および右眼用の表示位置を決定する。この場合、重畳位置決定部６２２は、ユーザが透明ディスプレイ６０１を通して観察される正面側の像Ｉａとほぼ同じ位置に重畳情報を知覚し得るように、左眼用および右眼用の表示位置を決定する。
【０１１７】
ユーザ視点位置検出部６２３は、フロントカメラ６０３で得られた撮像画像に基づいて、ユーザの左眼および右眼の視点位置（眼の位置）を検出する。この視点位置の検出には、例えば、「“Passive Driver Gaze Tracking with Active Appearance Models ”T.Ishikawa,S.Baker,I.Matthews,and T.Kanade Proceedings of the 11thWorld Congress on Intelligent Transportation Systems, October, 2004.」に記載される技術などを適用し得る。
【０１１８】
ユーザ視点画像生成部６２４は、検出されたユーザの左眼および右眼の視点位置と、取得された奥行きマップを参照して、リアカメラ６０２で得られた撮像画像から、左眼および右眼のそれぞれの視点の画像を生成する。画像の奥行きを求め、そこから任意の視点の画像を生成する技術は、例えば、特開２０１１−１７６８２２号公報に記載されている。重畳情報発生部６２５は、透明ディスプレイ５０１に表示する文字や画像などの重畳情報を発生する。
【０１１９】
表示制御部６２６は、表示位置調整モードにないときは、重畳情報発生部６２５で発生された重畳情報をそのまま透明ディスプレイ６０１に表示する。この場合、透明ディスプレイ６０１には、左眼および右眼に共通の１つの重畳情報が表示されることとなり、ユーザは、透明ディスプレイ６０１の表示面に重畳情報を知覚するものとなる。一方、表示制御部６２６は、表示位置調整モードにあるときは、重畳位置決定部６２２で決定された左眼用および右眼用の表示位置で示される重畳情報領域に、以下の表示を行う。
【０１２０】
この場合、表示制御部６２６は、左眼の重畳情報領域に、重畳情報を表示し、その表示情報が左眼に照射されるように光線制御部６０４を制御する。また、表示制御部６２６は、この左眼の重畳情報領域に、右眼視点の画像からその領域の部分を切り出して表示し、その表示情報が右眼に照射されるように光線制御部６０４を制御する。
【０１２１】
また、表示制御部６２６は、右眼の重畳情報領域に、重畳情報を表示し、その表示情報が右眼に照射されるように光線制御部６０４を制御する。また、表示制御部６２６は、この右眼の重畳情報領域に、左眼視点の画像からその領域の部分を切り出して表示し、その表示情報が左眼に照射されるように光線制御部６０４を制御する。光線制御部６０４は、例えば、特開２００４−２５８６３１号公報に記載されるように、液晶アレイレンズなどで構成できる。図２６は、上述した、左眼、右眼の重畳情報領域、つまり光線制御表示部分と、そこに表示される重畳情報や各視点画像の左眼、右眼への照射の関係を示している。
【０１２２】
図２５に示す表示装置６００の動作を簡単に説明する。リアカメラ６０２で透明ディスプレイ６０１の正面側の像を撮像して得られた撮像画像は、奥行きマップ取得部６２１に供給される。奥行きマップ生成部６２１では、リアカメラ６０２で得られた撮像画像に基づいて、画素毎の奥行きが検出されて奥行きマップが取得される。この奥行きマップは重畳位置決定部６２２に供給される。この重畳位置決定部６２２では、ユーザが透明ディスプレイ６０１を通して観察される正面側の像Ｉａとほぼ同じ位置に重畳情報を知覚し得るように、左眼用および右眼用の表示位置が決定される。この表示位置情報は、表示制御部６２６に供給される。
【０１２３】
また、フロントカメラ６０３で透明ディスプレイ６０１の背面側の像を撮像して得られた撮像画像は、ユーザ視点位置検出部６２３に供給される。このユーザ視点位置検出部６２３では、フロントカメラ６０３で得られた撮像画像に基づいて、ユーザの左眼および右眼の視点位置（眼の位置）が検出される。視点位置情報は、表示制御部６２６に供給される。
【０１２４】
表示制御部６２６では、表示位置調整モードにないときは、重畳情報発生部６２５で発生された重畳情報をそのまま透明ディスプレイ６０１に表示することが行われる。この場合、ユーザは、透明ディスプレイ６０１の表示面に重畳情報を知覚するものとなる。また、表示制御部６２６は、表示位置調整モードにあるときは、透明ディスプレイ６０１の表示面のうち、重畳位置決定部６２２で決定された左眼用および右眼用の表示位置で示される重畳情報領域に、以下のように表示することが行われる。
【０１２５】
この場合、表示制御部６２６では、左眼の重畳情報領域に、重畳情報を表示し、その表示情報が左眼に照射されるように光線制御部６０４を制御する、ことが行われる。また、表示制御部６２６では、この左眼の重畳情報領域に、右眼視点の画像からその領域の部分を切り出して表示し、その表示情報が右眼に照射されるように光線制御部６０４を制御する、ことが行われる。
【０１２６】
また、表示制御部６２６では、右眼の重畳情報領域に、重畳情報を表示し、その表示情報が右眼に照射されるように光線制御部６０４を制御する、ことが行われる。また、表示制御部６２６では、この右眼の重畳情報領域に、左眼視点の画像からその領域の部分を切り出して表示し、その表示情報が左眼に照射されるように光線制御部６０４を制御する、ことが行われる。この場合、ユーザは、透明ディスプレイ６０１を通して観察される正面側の像Ｉａとほぼ同じ位置に重畳情報を知覚するものとなる。
【０１２７】
図２７のフローチャートは、図２２、図２５に示す表示装置６００の表示位置調整モードにおける処理手順の一例を示している。表示装置６００は、ステップＳＴ６１において、処理を開始し、その後に、ステップＳＴ６２の処理に進む。このステップＳＴ６２において、表示装置６００は、リアカメラ６０２およびフロントカメラ６０３による撮像を開始する。そして、ステップＳＴ６３において、リアカメラ６０２の撮像画像から、ユーザが透明ティスプレイ６０１を通して観察する対象物（像Ｉａ）の画素毎の奥行きを検出し、奥行きマップを生成する。
【０１２８】
次に、表示装置６００は、ステップＳＴ６４において、フロントカメラ６０３の撮像画像から、ユーザの左眼および右眼の視点位置を検出する。また、表示装置６００は、ステップＳＴ６５において、透明ディスプレイ６０１の表示面における重畳情報の左眼用および右眼用の重畳位置を決定する。そして、表示装置６００は、ステップＳＴ６６において、リアカメラ６０２の撮像画像から、ユーザの左眼および右眼の視点位置と奥行きマップを参照して、ユーザの左眼、右眼の視点画像を生成する。
【０１２９】
次に、表示装置６００は、ステップＳＴ６７において、左眼および右眼の重畳位置で示される画像重畳領域のみ、重畳情報および視点画像を表示し、光線制御を行う。これにより、ユーザが、透明ディスプレイ６０１を通して観察される正面側の像Ｉａとほぼ同じ位置に重畳情報を知覚可能にする。
【０１３０】
次に、表示装置６００は、ステップＳＴ６８において、表示位置調整モードを終了するか否かを判断する。表示位置調整モードを終了するか否かは、図２５にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置６００は、ステップＳＴ６３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置６００は、ステップＳＴ６９において、処理を終了する。
【０１３１】
上述したように、図２２に示す表示装置６００においては、表示位置調整モードにあるとき、透明ディスプレイ６０１に左眼用および右眼用の重畳情報が視差を付与されて表示されると共に光線制御が行われ、ユーザが、透明ディスプレイ６０１を通して観察される正面側の像Ｉａとほぼ同じ位置に重畳情報を知覚可能とされるものである。そのため、像Ｉａと重畳情報とのシームレスが結合を図ることができ、焦点不一致の発生によるユーザの不快感の軽減できる。
【０１３２】
＜７．変形例＞
なお、上述では、本技術をモバイル機器に適用したものを示した。しかし、本技術を、その他の機器、建築構造物などに適用することも考えられる。
【０１３３】
例えば、ショーウインドウを、上述の第４の実施の形態の表示装置４００と同様の構造とすることが考えられる。その場合、普段は透明ディスプレイを通してショーウインドウの中を観察できるようにされる。作業員がショーウインドウの中に入ってきて展示物の交換などをするときには、内側の透明ディスプレイが非透明状態とされ、外側の透明ディスプレイにカメラ画像、テレビ画像、あるいは再生画像が表示される。
【０１３４】
また、例えば、住宅の壁の一部を、上述の第４の実施の形態の表示装置４００と同様の構造とすることが考えられる。その場合、普段は、シースルーでアンビエント性が向上され、人物を検知したら、外側の透明ディスプレイを非透明状態にし、内側の透明ディスプレイにカメラ画像、テレビ画像、あるいは再生画像などが表示される。
【０１３５】
また、上述の第１の実施の形態（図１参照）、第２の実施の形態（図５参照）、第３の実施の形態（図９参照）、第５の実施の形態（図１７参照）および第６の実施の形態（図２２参照）では、リアカメラ５０２およびフロントカメラ５０３の２つのカメラ（イメージセンサ）を備える構成を示した。しかし、これら２つのカメラを配置する代わりに、例えば、特許４０００４４９号公報に記載されているような単一のカメラ（イメージセンサ）を配置して、透明ディスプレイの正面側および背面側の像を、この単一のカメラで撮像して利用することも考えられる。
【０１３６】
また、本技術は、以下のような構成をとることもできる。
（１）透明ディスプレイと、
上記透明ディスプレイの周囲の情報を得るためのセンサ部と、
上記センサ部の出力に基づいて上記透明ディスプレイの表示状態を制御する制御部とを備える
表示装置。
（２）上記センサ部は、
上記透明ディスプレイの周囲の像を撮像して撮像画像を得、
上記制御部は、
上記透明ディスプレイの周囲の撮像画像を利用した画像処理を行って上記透明ディスプレイの表示状態を制御する
前記（１）に記載の表示装置。
（３）上記センサ部は、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサと、上記透明ディスプレイの背面側の像を撮像するフロントイメージセンサとを有する
前記（２）に記載の表示装置。
（４）上記センサ部は、上記透明ディスプレイの正面側および背面側の像を撮像可能な単一のイメージセンサを有する
前記（２）に記載の表示装置。
（５）上記センサ部として、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサを有し、
上記制御部は、
上記透明ディスプレイを通してユーザに観察される像に含まれる異物の領域だけに、上記リアイメージセンサで得られた撮像画像のうち、上記異物の領域に対応した部分の画像に応じた画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記異物を削除する
前記（１）に記載の表示装置。
（６）上記センサ部として、上記透明ディスプレイの正面側の面に配置されるタッチパネルを有し、
上記制御部は、
上記タッチパネルの出力からユーザの手の領域を上記異物の領域として検出し、該ユーザの手の領域だけに、上記リアイメージセンサで得られた撮像画像のうち、上記ユーザの手の領域に対応した部分の画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記ユーザの手を削除する
前記（５）に記載の表示装置。
（７）上記透明ディスプレイを通してユーザに観察される像から所定のオブジェクトを指定するオブジェクト指定部をさらに備え、
上記制御部は、
上記指定された所定のオブジェクトを含むオブジェクト領域を上記異物の領域とし、該オブジェクト領域だけに、上記リアイメージセンサで得られた撮像画像のうち、上記オブジェクト領域に対応した部分の画像に基づく画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記所定のオブジェクトを削除する
前記（５）に記載の表示装置。
（８）上記制御部は、
上記指定されたオブジェクトに動きがあるとき、上記オブジェクト領域だけに、上記リアイメージセンサで得られた、上記所定のオブジェクトが存在しない過去フレームの撮像画像のうち、上記オブジェクト領域に対応した部分の画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記所定のオブジェクトを削除する
前記（７）に記載の表示装置。
（９）上記オブジェクト指定部は、上記透明ディスプレイの背面側に配置されるタッチパネルにより構成される
前記（７）または（８）に記載の表示装置。
（１０）上記センサ部として、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサと、上記透明ディスプレイの背面側の像を撮像するフロントイメージセンサとを有し、
上記透明ディスプレイに表示する重畳情報を発生する重畳情報発生部をさらに備え、
上記制御部は、
上記発生された重畳情報を上記透明ディスプレイに表示し、
上記リアイメージセンサで得られた撮像画像により上記透明ディスプレイに表示された重畳情報への視線が検出されるとき、上記フロントイメージセンサで得られた撮像画像から上記透明ディスプレイを通して観察される上記視線方向の領域の色情報を取得し、上記透明ディスプレイに表示する重畳情報の表示色を該取得された色情報に対応した色にする
前記（１）に記載の表示装置。
（１１）上記透明ディスプレイは、正面側の第１の透明ディスプレイおよび背面側の第２の透明ディスプレイとからなり、
上記センサ部として、上記透明ディスプレイの正面側の人物を検出する人感センサと、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサとを有し、
上記制御部は、
上記人感センサにより人物の存在が検出されるとき、上記第１の透明ディスプレイを非透明状態にし、上記第２の透明ディスプレイに、上記リアイメージセンサで得られた撮像画像を表示する
前記（１）に記載の表示装置。
（１２）上記制御部は、
上記リアイメージセンサで得られた撮像画像に基づいて上記透明ディスプレイへの視線があるかを判断し、
上記人感センサにより人物の存在が検出され、かつ、上記透明ディスプレイへの視線があるとき、上記第１の透明ディスプレイを非透明状態にし、上記第２の透明ディスプレイに上記リアイメージセンサで得られた撮像画像を表示する
前記（１１）に記載の表示装置。
（１３）上記制御部は、
上記透明ディスプレイへの視線が、該透明ディスプレイの所定の分割領域への視線であるとき、上記第１の透明ディスプレイの上記所定の分割領域を非透明状態にし、上記第２の透明ディスプレイの上記所定の分割領域に、上記リアイメージセンサで得られた撮像画像のうち、該所定の分割領域に対応した部分の画像を表示する
前記（１２）に記載の表示装置。
（１４）上記センサ部として、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサと、上記透明ディスプレイの背面側の像を撮像するフロントイメージセンサとを有し、
上記透明ディスプレイに表示する重畳情報を発生する重畳情報発生部をさらに備え、
上記制御部は、
ユーザにおける上記透明ディスプレイの表示面と上記透明ディスプレイを通して観察される像とに対する焦点不一致が起こるとき、上記フロントイメージセンサで得られる撮像画像に基づいて、上記ユーザが上記透明ディスプレイの表示面を注視しているかを判断し、
上記透明ディスプレイの表示面を注視していると判断するとき、上記透明ディスプレイに、上記リアイメージセンサで得られた撮像画像を表示し、該撮像画像に重ねて上記発生された重畳情報を表示する
前記（１）に記載の表示装置。
（１５）上記制御部は、
上記透明ディスプレイの表示面を注視していないと判断するとき、上記発生された重畳情報を透明ディスプレイに表示しないか、あるいは該重畳情報を透明ディスプレイに目立たなく表示する
前記（１４）に記載の表示装置。
（１６）上記制御部は、
フロントイメージセンサで得られた撮像画像から推定されたユーザの眼と透明ディスプレイの表示面との間の距離と、上記リアイメージセンサで得られた撮像画像から推定された上記透明ディスプレイの表示面と上記透明ディスプレイを通して観察される像との間の距離に基づいて、上記ユーザにおける上記透明ディスプレイの表示面と上記透明ディスプレイを通して観察される像とに対する焦点不一致を判断する
前記（１４）または（１５）に記載の表示装置。
（１７）上記透明ディスプレイに表示する重畳情報を発生する重畳情報発生部と、
上記透明ディスプレイの背面側の面に配置された光線制御部とをさらに備え、
上記センサ部として、上記透明ディスプレイの正面側の像を撮像するリアイメージセンサと、上記透明ディスプレイの背面側の像を撮像するフロントイメージセンサとを有し、
上記制御部は、
上記フロントイメージセンサで得られた撮像画像から取得された上記透明ディスプレイに対するユーザの左右の眼の位置と、上記リアイメージセンサで得られた撮像画像から取得された上記透明ディスプレイを通して観察される像の奥行き情報に基づいて、上記重畳情報が上記ユーザに上記透明ディスプレイを通して観察される像の位置に知覚されるための視差が付与された左眼重畳情報および右眼重畳情報を生成して上記透明ディスプレイに表示し、
上記透明ディスプレイに表示された上記左眼重畳情報からの光線がユーザの左眼に到達し、上記透明ディスプレイに表示された上記右眼重畳情報からの光線がユーザの右眼に到達するように上記光線制御部を制御する
請求項１に記載の表示装置。
（１８）透明ディスプレイを備える表示装置における表示制御方法であって、
上記透明ディスプレイの周囲環境を検出し、
上記周囲環境に基づいて、上記透明ディスプレイの表示状態を制御する
表示制御方法。
【符号の説明】
【０１３７】
１００，２００，３００，４００，５００，６００・・・表示装置
１０１，２０１，３０１，４０１，５０１，６０１・・・透明ディスプレイ
１０２，２０２，３０２，４０２，５０２，６０２・・・リアカメラ
１０３，２０３，３０３，５０３，６０３・・・フロントカメラ
１０４，２０４・・・タッチパネル
１２１，２２１・・・視点推定部
１２２，２２２・・・領域推定部
１２３，２２３・・・撮像画像記憶部
１２４，２２４・・・補間画像作成部
１２５，２２５，３２５，４２４，５２５，６２６・・・表示制御部
１２６，２２６，３２３，４２３，５２４，６２５・・・重畳情報発生部
３２１，４２１，５２１・・・視線推定部
３２２・・・色情報取得部
３２４・・・重畳情報処理部
４０１Ｒ・・・正面側ディスプレイ
４０１Ｆ・・・背面側ディスプレイ
４０３・・・人感センサ
４２２・・・人物検出部
５２２，５２３・・・距離推定部
６０４・・・光線制御部
６２１・・・奥行きマップ取得部
６２２・・・重畳位置決定部
６２３・・・ユーザ視点位置検出部
６２４・・・ユーザ視点画像生成部
【図３】
2013205526.tif 000003
【図４】
2013205526.tif 000004
【図７】
2013205526.tif 000005
【図８】
2013205526.tif 000006
【図１１】
2013205526.tif 000007
【図１２】
2013205526.tif 000008
【図１５】
2013205526.tif 000009
【図１６】
2013205526.tif 000010
【図２０】
2013205526.tif 000011
【図２１】
2013205526.tif 000012
【図２５】
2013205526.tif 000013
【図２７】
2013205526.tif 000014
【図１】
2013205526.tif 000015
【図２】
2013205526.tif 000016
【図５】
2013205526.tif 000017
【図６】
2013205526.tif 000018
【図９】
2013205526.tif 000019
【図１０】
2013205526.tif 000020
【図１３】
2013205526.tif 000021
【図１４】
2013205526.tif 000022
【図１７】
2013205526.tif 000023
【図１８】
2013205526.tif 000024
【図１９】
2013205526.tif 000025
【図２２】
2013205526.tif 000026
【図２３】
2013205526.tif 000027
【図２４】
2013205526.tif 000028
【図２６】
2013205526.tif 000029