(57)【特許請求の範囲】
【請求項１】
第１の面及び前記第１の面とは反対側の第２の面とを有する透過型スクリーンが設置されている環境の照明条件、及びユーザ位置と前記透過型スクリーンとの相対位置に応じて画像コンテンツに陰影処理を施し、
前記ユーザ位置から前記透過型スクリーンの前記第１の面を通して見える実世界の映像に前記陰影処理を施された画像コンテンツを前記透過型スクリーンの前記第１の面または第２の面に投射して重ねて表示し、
前記照明条件は、前記透過型スクリーンから見た光源方向である
ことを特徴とする、表示方法。
【請求項２】
第１の面及び前記第１の面とは反対側の第２の面とを有する透過型スクリーンと、
複数の光センサと、
前記複数の光センサの検知出力に基づいて前記透過型スクリーンから見た光源方向を推定する推定部と、
ユーザ位置と前記透過型スクリーンとの相対位置を検知する検知装置と、
前記光源方向及び前記相対位置に応じて画像コンテンツに陰影処理を施す陰影処理部と、
前記ユーザ位置から前記透過型スクリーンの前記第１の面を通して見える実世界の映像に前記陰影処理を施された画像コンテンツを前記透過型スクリーンの前記第１の面または前記第２の面に投射して重ねて表示するプロジェクタ
を備えたことを特徴とする、表示装置。
【請求項３】
前記透過型スクリーンに対してユーザがポインティングした位置を検出する検出手段
を更に備え、
前記画像コンテンツは前記ポインティングした位置に関する情報を含む
ことを特徴とする、請求項２記載の表示装置。
【請求項４】
前記検出手段は、前記透過型スクリーンと一体的に設けられ、ユーザにより触れられた位置を検出することで前記ポインティングした位置を検出するタッチパネルを有する
ことを特徴とする、請求項３記載の表示装置。
【請求項５】
前記検出手段は、
前記透過型スクリーンの位置を測位して位置情報を出力する測位装置と、
前記ユーザを検知して検知情報を出力する三次元計測装置と、
前記位置情報及び前記検知情報に基づいて計測した前記表示装置から見たポインティングの向きを、前記表示装置の座標系から基準座標系に変換し、該基準座標系から見たポインティングの向きと、前記透過型スクリーンの前記第１の面を通して見える対象の対象空間面との交点を算出する制御部
を有することを特徴とする、請求項３記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示方法及び表示装置に関する。
【背景技術】
【０００２】
実世界の画像とコンテンツの画像が重ねられた拡張現実（ＡＲ：Augmented Reality）画像を表示する表示装置が提案されている。スマートホン（Smartphone）、タブレット（Tablet）、パーソナルデジタルアシスタント（ＰＤＡ：Personal Digital Assistant）などの携帯端末は、このような表示装置の一例である。携帯端末は、実世界の画像を自己のカメラ機能で撮影し、撮影された画像にコンピュータグラフィック（ＣＧ：Computer Graphics）などのコンテンツの画像を重ねたＡＲ画像を表示する。
【０００３】
しかし、携帯端末のカメラ機能で撮影された実世界の画像は、縮尺が変換されており実際の画像より小さいので、ＡＲ画像に高い臨場感を持たせることは難しい。また、カメラ機能で撮影された実世界の画像の照明状態とコンテンツの陰影処理との間で整合性が取れていないと、表示されるＡＲ画像が不自然なものとなる。ところが、カメラ機能で撮影された実世界の画像の照明状態を知るには、撮影時の携帯端末の位置を基準とした光源の位置を推定する必要があるため、実世界の照明状態と整合性の取れたコンテンツの陰影処理を行うことは難しい。
【０００４】
一方、透過型ディスプレイを有する表示装置が提案されている。このような表示装置は、情報提示装置またはデジタルサイネージ（Digital Signage）などとも呼ばれる。ユーザは、実世界の映像を透過型ディスプレイを通して見ることができ、ＣＧなどのコンテンツの画像を透過型ディスプレイに表示することで、ユーザは実世界の背景映像にコンテンツの画像が重ねられたＡＲ画像を見ることができる。透過型ディスプレイを有する表示装置の場合、ユーザは実際の画像の縮尺で実世界の画像を透過型ディスプレイを通して見ることができるので、高い臨場感を有するＡＲ画像を表示可能なＡＲインタフェースを提供することができる。
【０００５】
しかし、表示装置の設置環境の照明状態に合わないコンテンツの画像を透過型ディスプレイに表示すると、透過型ディスプレイを通して見える実世界の画像の照明状態とコンテンツの陰影処理との間で整合性が取れなくなる。このような場合、コンテンツの陰影処理が実世界の画像に対して不自然であるため、透過型ディスプレイを通して見えるＡＲ画像は不自然なものとなり、ユーザはＡＲ画像に違和感を覚える。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−３３５３１号公報
【特許文献２】特開平９−２３７３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の透過型ディスプレイを有する表示装置では、コンテンツの陰影処理を実世界の背景映像に対して常に適切に行うことは難しい。このため、実世界の背景の照明状態とコンテンツの陰影処理との間で整合性が取れたＡＲ画像を提示することは難しい。
【０００８】
そこで、本発明は、実世界の画像の照明状態とコンテンツの陰影処理との間で整合性が取れたＡＲ画像を提示可能な表示方法及び表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一観点によれば、第１の面及び前記第１の面とは反対側の第２の面とを有する透過型スクリーンが設置されている環境の照明条件、及びユーザ位置と前記透過型スクリーンとの相対位置に応じて画像コンテンツに陰影処理を施し、前記ユーザ位置から前記透過型スクリーンの前記第１の面を通して見える実世界の映像に前記陰影処理を施された画像コンテンツを前記透過型スクリーンの前記第１の面または前記第２の面に投射して重ねて表示し、前記照明条件は、前記透過型スクリーンから見た光源方向である表示方法が提供される。
【００１０】
本発明の一観点によれば、第１の面及び前記第１の面とは反対側の第２の面とを有する透過型スクリーンと、複数の光センサと、前記複数の光センサの検知出力に基づいて前記透過型スクリーンから見た光源方向を推定する推定部と、ユーザ位置と前記透過型スクリーンとの相対位置を検知する検知装置と、前記光源方向及び前記相対位置に応じて画像コンテンツに陰影処理を施す陰影処理部と、前記ユーザ位置から前記透過型スクリーンの前記第１の面を通して見える実世界の映像に前記陰影処理を施された画像コンテンツを前記透過型スクリーンの前記第１の面または前記第２の面に投射して重ねて表示するプロジェクタを備えた表示装置が提供される。
【発明の効果】
【００１１】
開示の表示方法及び表示装置によれば、実世界の画像の照明状態とコンテンツの陰影処理との間で整合性が取れたＡＲ画像を提示することが可能である。
【図面の簡単な説明】
【００１２】
【図１】一実施例における表示装置の一例を示す斜視図である。
【図２】学習時の表示装置を示す斜視図である。
【図３】学習処理を説明するフローチャートである。
【図４】ニューラルネットワークを用いた学習処理を説明する図である。
【図５】ニューラルネットワークの一例を示す図である。
【図６】補間処理の一例を説明する図である。
【図７】一実施例における表示装置の構成の一例を示すブロック図である。
【図８】ユーザによるポインティングを説明する図である。
【図９】ポインティング位置検出処理の一例を説明するフローチャートである。
【図１０】座標とコンテンツを対応付けるデータベースとコンテンツデータベースの一例を示す図である。
【図１１】コンテンツ選択処理の一例を説明するフローチャートである。
【図１２】ユーザによるポインティングを説明する正面図である。
【図１３】ユーザによるポインティングを説明する側面図である。
【図１４】ポインティングされた商品に関する情報表示の一例を説明する図である。
【図１５】履歴記録処理の一例を説明するフローチャートである。
【図１６】履歴データベースの一例を示す図である。
【発明を実施するための形態】
【００１３】
開示の表示方法及び表示装置では、透過型ディスプレイが設置されている環境の照明条件及びユーザと透過型ディスプレイとの相対位置に応じて、透過型ディスプレイに表示するコンテンツの陰影処理を行うことで、透過型ディスプレイを通して見える実世界の背景の照明状態とコンテンツの陰影処理との間の整合性を取る。
【００１４】
以下に、開示の表示方法及び表示装置の各実施例を図面と共に説明する。
【実施例】
【００１５】
図１は、一実施例における表示装置の一例を示す斜視図である。図１に示す表示装置１は、ベース１１、ベース１１の上面に設けられたフレーム１２、フレーム１２に例えば一定間隔で配置された複数の光センサ１３、ベース１１の上面に設けられたプロジェクタ１４、ベース１１の下面に設けられた車輪１５、及びフレーム１２に指示された透過型スクリーン１６を有する。透過型スクリーン１６は、透過型ディスプレイの一例であり、ユーザ（図示せず）が矢印方向を向くと見える表面１６−１と、プロジェクタ１４のレンズ１４−１から画像が投射される裏面１６−２を有する。ユーザが矢印方向を向くと、透過型スクリーン１６を通して裏面１６−２の後方にある実世界の画像が見える。また、プロジェクタ１４からＣＧなどのコンテンツの画像が裏面１６−２に投射されると、ユーザには実世界の映像とコンテンツの画像が重ねられた拡張現実（ＡＲ：Augmented Reality）画像が表示されているように見える。
【００１６】
なお、プロジェクタ１４は、透過型スクリーン１６の表面１６−１にコンテンツの画像を投射しても良い。この例では、表示装置１は可動型（または、移動型）であるため車輪１５が設けられており、車輪１５は必要に応じてモータなどの駆動部（図示せず）により駆動されるが、車輪１５は省略可能である。
【００１７】
さらに、透過型スクリーン１６の形状は縦長の長方形に限定されず、横長の長方形、円形、楕円形などを含む任意の形状に形成可能である。フレーム１２は、透過型スクリーン１６の形状の合わせた形状とすれば良い。
【００１８】
背景の照明状態に合わせて透明スクリーンに投影するＡＲ画像に適切に陰影処理をするための光源方向推定には、例えばニューラルネットワークのような機械学習を利用する。以下では、楽章とは特に明記しない限り機械学習のことを指すものとする。
【００１９】
図２は、学習時の表示装置を示す斜視図である。図２中、図１と同一部分には同一符号を付し、その説明は省略する。図２に示す複数の光センサ１３１は、学習時のみに用いられるセンサであり、学習時以外の時は取り外される。光センサ１２と光センサ１３１は、いずれも規則的に配置され、この例ではマトリクス状に配置される。
【００２０】
光センサ１３１は、学習時以外の時に取り外し可能であれば良く、透過型スクリーン１６に直接取り外し可能に接着されていても、学習時のみに透過型スクリーン１６の表面１６−１に設置されるアダプタ（図示せず）に設けられていても良い。フィルム状のアダプタの場合、光センサ１３１はフィルムに印刷されていても良い。この場合、フィルムは、例えばローラブラインドの如き構成として、学習時以外の時は光センサ１２の検知動作に干渉しない表示装置１内の位置に収納可能としても良い。
【００２１】
図３は、学習処理を説明するフローチャートである。図３の学習処理が開始されると、ステップＳ１は、図２に示すように光センサ１３１が配置された表示装置１を使用する場所（以下、設置位置とも言う）へ移動する。表示装置１に駆動部が設けられており自律走行型ロボットの如き自律走行が可能であれば、駆動部を制御することで表示装置１を設置位置まで自動的に移動させることも可能である。ステップＳ２は、設置位置にある表示装置１を用いて光源方向情報を学習する学習処理を行う。ステップＳ３は、学習処理が終了したか否かを判定し、判定結果がＮＯであれば処理はステップＳ２へ戻り、判定結果がＹＥＳであれば処理は終了する。
【００２２】
図４は、ニューラルネットワークを用いた学習処理を説明する図である。図４において、ニューラルネットワーク（ＮＮ：Neural Network）３２の入力３１は、フレーム１２のみに設けられた光センサ１３で検知された照度分布である。ＮＮ３２の出力３３は、学習時のみに使用される光センサ１３１を含む全ての光センサ１３，１３１で検知された照度分布である。学習処理は、全ての光センサ１３，１３１で検知された照度分布である出力３３を教師信号と比較し、比較結果に応じてＮＮ３２の結合強度を変更することで行われる。
【００２３】
図５は、ニューラルネットワークの一例を示す図である。図５に示すＮＮ３２は、Ｘ０〜Ｘｉで形成された入力３１が入力される入力層３２１、中間層３２２、及び出力３３が出力される出力層３２３を有する階層型である。誤差逆伝搬アルゴリズムに基づいてＮＮ３２の結合の重みを学習させることで、図５中丸印で示すニューロン間の結合強度が変更される。
【００２４】
光センサ３１，１３１は、マトリクス状に配置されているが、隣り合う光センサ間の部分の照度は、当該隣り合う光センサで検知された照度に基づく補間処理で補間する。図６は、補間処理の一例を説明する図である。図６中、縦軸はｘｙ座標系のｙ座標値を示し、横軸はｘｙ座標系のｘ座標値を示す。図６は隣り合う４個の光センサの位置（ｘｉ，ｙｊ＋１），（ｘｉ＋１，ｙｊ＋１），（ｘｉ、ｙｊ），（ｘｉ＋１，ｙｊ）で検知された照度Ｓ（ｘｉ，ｙｊ＋１），Ｓ（ｘｉ＋１，ｙｊ＋１），Ｓ（ｘｉ、ｙｊ），Ｓ（ｘｉ＋１，ｙｊ）と、位置（ｘｉ、ｙｊ）からｙ方向へＶｉ、ｘ方向へＨｉ離れた位置（ｘ，ｙ）における照度Ｐ（ｘ，ｙ）を示す。補間処理が例えば線形補間を行う場合、位置（ｘ，ｙ）におけるｘ方向についての照度の補間はＨ（ｘ）＝Ｓ（ｘｉ，ｙｊ）＋ａ×Ｈｉに基づいて行うことができ、ａ＝｛Ｓ（ｘｉ＋１，ｙｊ）−Ｓ（ｘｉ，ｙｊ）｝／（ｘｉ＋１−ｘｉ）である。また、位置（ｘ，ｙ）におけるｙ方向についての照度の補間はＶ（ｙ）＝Ｓ（ｘｉ，ｙｊ）＋ｂ×Ｖｉに基づいて行うことができ、ｂ＝｛Ｓ（ｘｉ，ｙｊ＋１）−Ｓ（ｘｉ，ｙｊ）｝／（ｙｊ＋１−ｙｊ）である。従って、位置（ｘ，ｙ）における照度Ｐ（ｘ，ｙ）はＨ（ｘ）＋Ｖ（ｙ）から求めることができる。なお、補間処理は線形補間に限定されない。
【００２５】
図７は、一実施例における表示装置の構成の一例を示すブロック図である。表示装置１は、外部装置と通信可能な構成を有する。サーバ５００は、外部装置の一例であり、この例では表示装置１のホスト装置として動作可能である。表示装置１とサーバ５００は、ケーブルまたは有線ネットワークで接続されていても、無線ネットワークで接続されていても良い。
【００２６】
表示装置１は、図７に示す如く接続された光センサ１３−１〜１３−Ｎ（Ｎは２以上の自然数）、光源方向推定及び学習部５１、陰影処理部５２、プロジェクタ１４、撮影装置５３、測位装置５４、人検知装置５５、タッチパネル５６、マイクロホン５７、通信部５８、画像処理部５９、制御部６１、移動制御部６２、駆動部６３、コンテンツセレクタ６４、記憶部６５、及び音再生部６６を有する。光センサ１３１−１〜１３１−Ｍ（Ｍは２以上の自然数）は、学習時にのみ光源方向推定及び学習部５１に接続される。光センサ１３−１〜１３−Ｎは図２に示す光センサ１３に相当し、光センサ１３１−１〜１３１−Ｍは図２に示す光センサ１３１に相当する。
【００２７】
光センサ１３−１〜１３−Ｎ，１３１−１〜１３１−Ｍは、光の強度（または、光量）を検知可能なホトダイオードなどで形成可能である。光源方向推定及び学習部５１は、例えばニューラルネットワーク（ＮＮ）で形成可能であり、光源方向推定ＮＮと学習ＮＮを含む。光源方向推定ＮＮは、光センサ１３−１〜１３−Ｎ、或いは、光センサ１３−１〜１３−Ｎ，１３１−１〜１３１−Ｍで検知された光量情報（即ち、照度分布）に基づいて、ユーザ側から見た透過型スクリーン１６の表面１６−１に対する光源の向き（即ち、光源方向）を推定し、推定された光源方向を示す光源方向情報を陰影処理部５２に供給する。光源方向を推定する際には、上記の如き補間処理を行っても良い。一方、学習ＮＮは、例えば図５に示すＮＮ３２で形成可能であり、出力３３を制御部６１に供給する。
【００２８】
測位装置５４は、表示装置１の位置を周知の方法で測位して、表示装置１の位置を示す装置位置情報を制御部６１に供給する。測位装置５４は、例えばＧＰＳ（Global Positioning System）で形成可能である。人検知装置５５は、表示装置１の透過型スクリーン１６の表面１６−１の手前側にいるユーザを周知の方法で検知して、表示装置１から見た（即ち、表示装置１の位置を基準とした）ユーザの相対的な位置を示す人検知情報を制御部６１と陰影処理部５２に供給する。例えば、人検知装置５５は１以上のカメラを含んでも良い。制御部６１は、装置位置情報及び人検知情報に基づいて、透過型スクリーン１６の表面１６−１に対するユーザの位置を周知の方法で推定して、ユーザの推定位置を示す推定位置情報を撮影装置５３へフィードバックする。また、制御部６１には、光源方向推定及び学習部５１から推定照度分布を示す出力３３（即ち、推定照度情報）が供給されるので、この推定照度情報と人検知情報とに基づいて表示装置１の向きを微調整する移動指令を出力することで、透過型スクリーン１６がユーザから見やすい向きになるようにしても良い。
【００２９】
撮影装置５３は、例えば首振りカメラで形成可能であり、推定位置情報に基づいてスクリーン１６の裏面１６−２の後方の画像を撮影する。推定位置情報はユーザの推定位置を示すので、撮影装置５３はユーザの推定位置から透過型スクリーン１６を通して見える画像を撮影する。撮影装置５３が撮影した画像を示す画像情報は、画像処理部５９に供給される。画像処理部５９は、画像情報の特徴を周知の方法で抽出して得られる画像特徴情報を制御部６１に供給する。
【００３０】
タッチパネル５６は、例えば透過型スクリーン１６と一体的に設けられている。ユーザがタッチパネル５６を操作すると、操作情報が制御部６１に供給される。ユーザがタッチパネル５６上の任意の位置、即ち、透過型スクリーン１６の表面１６−１の任意の位置に触れると、触れられた位置を示す操作情報が制御部６１に供給される。制御部６１には、ユーザが透過型スクリーン１６を通して見ている画像を示す画像情報から抽出された画像特徴情報が供給されているので、ユーザが触れた透過型スクリーン１６上の位置を示す操作情報が制御部６１に供給されると、制御部６１はユーザが透過型スクリーン１６を通して見ている画像中でユーザがポインティングしている箇所を認識することができる。マイクロホン５７は、検知した音声を示す音声情報を制御部６１に供給するので、制御部６１は必要に応じてユーザからの質問などを認識することができる。また、マイクロホン５７が複数設けられていれば、制御部６１は音声情報から音源であるユーザの位置を認識することができるので、認識されたユーザの位置に応じて表示装置１の透過型スクリーン１６が見やすい位置まで移動させるための移動指令を出力することもできる。
【００３１】
通信部５８は、サーバ５００と通信するための送信機及び受信機を含み、サーバ５００からの動作指令、コンテンツ情報などを受信する。動作指令は、表示装置１を設置位置まで移動させるための移動指令、出力するべきコンテンツ情報を選択する選択指令などを含む。コンテンツ情報は、音声コンテンツ及び画像コンテンツを含む。音声コンテンツは、音声案内、音楽、効果音、これらの任意の組み合わせなどの各種音声情報を含む。画像コンテンツは、ＣＧを含む動画像、静止画像、テキスト、これらの任意の組み合わせなどの各種画像情報を含む。通信部５８が受信した動作指令は制御部６１に供給され、通信部５８が受信したコンテンツ情報は記憶部６５に格納される。コンテンツ情報は、表示装置１の後方にある固定の既知位置にある商品棚（図示せず）などのユーザの目視対象（即ち、ユーザが透過型スクリーン１６を通して見る対象）の各部の基準座標系における座標に対応させて管理される。
【００３２】
なお、記憶部６５は、表示装置１内ではなく、表示装置１外部に設けられていても良い。記憶部６５が表示装置１外部に設けられている場合には、コンテンツセレクタ６４が通信部５８を介して選択出力するべきコンテンツ情報を外部の記憶部６５から読み出す。
【００３３】
制御部６１は、通信部５８から供給された動作指令が移動指令であると、表示装置１を設置位置まで移動させるための移動指令を発行して移動制御部６２に供給する。移動制御部６２は、移動指令に応答して表示装置１を設置位置まで移動させるよう駆動部６３を駆動する制御指令を出力する。駆動部６３は、例えばモータで形成可能であり、制御指令に応答して図１に示す車輪１５を駆動する。
【００３４】
制御部６１は、通信部５８からの動作指令がコンテンツ情報を選択する選択指令であると、選択指令に応じてコンテンツを選択するコンテンツ選択指令をコンテンツセレクタ６４に供給する。コンテンツセレクタ６４は、コンテンツ選択指令が選択したコンテンツを記憶部６５から読み出して選択出力する。コンテンツ選択指令が選択した音声コンテンツは音声再生部６６に供給され、音声コンテンツが再生される。音声再生部６６は、例えばスピーカで形成される。コンテンツ選択指令が選択した画像コンテンツは陰影処理部５２に供給される。陰影処理部５２は、画像コンテンツに光源方向情報及び人検知情報に基づいた陰影処理を施す。つまり、陰影処理部５２では、光源方向とユーザの相対位置に基づき、ユーザの視点から見た空間の照明状況に合うように画像コンテンツに陰影処理を施す。陰影処理部５２は、陰影処理を施された画像コンテンツをプロジェクタ１４に供給する。プロジェクタ１４は、陰影処理を施された画像コンテンツを、透過型スクリーン１６の裏面１６−２に投射する。
【００３５】
例えば、コンテンツ情報は表示装置１の後方にある商品棚に置かれた商品に関するものである。制御部６１はユーザが透過型スクリーン１６を通して見ている画像中でユーザがポインティングしている箇所を上記の如く認識することができるので、商品棚が固定位置に設置されていれば、制御部６１はユーザがポインティングしている商品棚の商品を認識することができる。例えば、商品棚に置かれた各商品の位置を基準座標系で管理しておけば、基準座標系の座標値に応じて各商品の説明などのコンテンツ情報を記憶部６５に格納しておくことで、ポインティングされた箇所の商品に関する説明などの音声コンテンツを音声再生部６６から出力したり、画像コンテンツをプロジェクタ１４により透過型スクリーン１６に投射したりすることができる。また、マイクロホン５７が検知した音声を示す音声情報が制御部６１に供給されているので、制御部６１はユーザからの質問などを認識するとポインティングされた箇所の商品に関する説明などのコンテンツ情報を出力するようにしても良い。このようにして、表示装置１は、ユーザとのインタラクションに応じて出力するコンテンツ情報を決定し、画像コンテンツを表示すると共に、必要に応じて音声情報を出力することができる。
【００３６】
なお、ユーザがポインティングした箇所は、以下に図８及び図９と共に説明するように、ユーザが透過型スクリーン１６に触れない場合でも認識することができる。
【００３７】
図８は、ユーザによるポインティングを説明する図である。図８中、（ａ）は透過型スクリーン１６の正面図、（ｂ）は表示装置１の側面図を示す。この例では、人検知装置５５は、基準座標系から見たユーザ５０１の位置と姿勢を計測可能なステレオカメラで形成されている。また、ユーザ５０１は、手５０１Ａで表示装置１の後方にある商品棚（図示せず）にある商品を矢印方向に沿ってポインティングするものとする。商品棚の前面で形成される対象空間の面６０１（以下、対象空間面６０１と言う）と破線で示すポインティング方向５０２との交点５０３は、ユーザ５０１がポインティングしている商品の位置に相当する。ポインティング方向５０２は、基準座標系から見た手５０１Ａの向きを示す直線である。基準座標系から見た対象空間面６０１の位置は既知であるものとする。
【００３８】
図９は、ポインティング位置検出処理の一例を説明するフローチャートである。ポインティング位置検出処理は、制御部６１を形成するＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。ＣＰＵが実行するプログラムは、制御部６１を形成する記憶部などのコンピュータ読み取り可能な記憶媒体に格納されていても良い。図９において、ステップＳ１１は、基準座標系から見た表示装置１の位置と姿勢を、測位装置５４から供給される装置位置情報及び人検知装置５５から供給される人検知情報に基づいて計測する。ステップＳ１２は、表示装置１から見たユーザ５０１の手５０１Ａの向きを、人検知装置５５から供給される人検知情報に基づいて計測する。ステップＳ１３は、計測した手５０１Ａの向きを、表示装置１の座標系から基準座標系に変換する。ステップＳ１４は、基準座標系から見た手５０１Ａの向き、即ち、ポインティング方向５０２と、対象空間面６０１との交点５０３を算出し、処理は終了する。
【００３９】
なお、人検知装置５５はステレオカメラに限定されず、例えばマイクロソフト社製のKinect Sensor（登録商標）などの、基準座標系から見たユーザ５０１の位置と姿勢を計測可能な三次元計測装置を用いても良いことは、言うまでもない。
【００４０】
図１０は、座標とコンテンツを対応付けるデータベースとコンテンツデータベースの一例を示す図である。図１０中、（ａ）は座標とコンテンツを対応付けるデータベース（ＤＢ：Data Base）６５１を示し、（ｂ）はコンテンツデータベース（ＤＢ）６５２を示す。ＤＢ６５１は、基準座標系から見た空間座標値に対応するコンテンツのＩＤを管理している。この例では、ＤＢ６５１は、座標値ｘ，ｙ，ｚに対応付けられたコンテンツの対象ＩＤを格納している。一方、ＤＢ６５２は、コンテンツの対象ＩＤをインデックスとするコンテンツ情報（例えば、コンテンツのファイル名）を管理している。この例では、ＤＢ６５２は、コンテンツの対象ＩＤに対応付けられたコンテンツ情報（例えば、コンテンツのファイル名）を格納している。ＤＢ６５１，６５２は、表示装置１内または表示装置１外の記憶部に格納されており、例えば記憶部６５に格納されていても良い。
【００４１】
図１１は、コンテンツ選択処理の一例を説明するフローチャートである。コンテンツ選択処理は、コンテンツセレクタ６４により実行される。コンテンツセレクタ６４の処理を制御部６１で行う場合には、コンテンツ選択処理は制御部６１を形成するＣＰＵにより実行される。図１１において、ステップＳ２１は、図９のポインティング位置検出処理により算出された交点５０３の基準座標系から見た空間座標値を取得する。ステップＳ２２は、測定誤差を吸収するため、取得した空間座標値との距離が閾値ε以下となる空間座標値に対応する対象ＩＤをＤＢ６５１から読み出して取得する。ステップＳ２３は、取得した対象ＩＤをインデックスとしてＤＢ６５２を検索して対応するコンテンツを取得する。
【００４２】
図１２及び図１３は、ユーザによるポインティングを説明する正面図及び側面図であり、図１４は、ポインティングされた商品に関する情報表示の一例を説明する図である。
【００４３】
図１２に示すように、ユーザ５０１が商品棚６００の前を通ると、表示装置１はユーザ５０１と商品棚６００の間に位置するように移動する。図１３に示すように、ユーザ５０１が表示装置１の透過型スクリーン１６を通して見える商品棚６００にある対象商品６１０をポインティングすると、上記の如きポインティング位置検出処理により交点５０３が算出され、交点５０３の位置にある商品６１０が認識される。また、上記の如きコンテンツ選択処理により交点５０３の位置にある商品６１０に関するコンテンツの対象ＩＤがＤＢ６５１から取得され、対象ＩＤをインデックスとしてＤＢ６５２を検索することで対応する商品６１０のコンテンツを取得される。これにより、図１４に示すように、商品６１０に関するコンテンツ情報がプロジェクタ１４により表示装置１の透過型スクリーン１６の裏面１６−２に投射される。
【００４４】
図１４の例では、「この商品は○○です。」なる商品６１０に関する画像コンテンツが透過型スクリーン１６に表示されるので、ユーザ５０１は透過型スクリーン１６を通して見ている商品棚６００の商品６１０の位置に対応させて表示された画像コンテンツを見ることで、商品６１０に関する情報を得ることができる。この例では、図１４に示すように、商品６１０の商品名または価格などを示すラベル６１５が商品棚６００に設けられているので、商品６１０に関する画像コンテンツはこのラベル６１５をポインティングするように表示されるが、画像コンテンツは商品６１０をポインティングするように表示されても良い。要は、画像コンテンツは、商品６１０に関するものであることがユーザ５０１に分かり易いように表示されれば良い。なお、「この商品は○○です。」なる商品６１０に関する音声コンテンツを音声再生部６６から出力しても良い。
【００４５】
ところで、ユーザがポインティングした履歴を記録するようにしても良い。このような履歴を解析することで、ユーザが知りたがっている商品情報、ユーザが興味を示している商品の傾向などを把握してマーケティング戦略などに反映させることもできる。
【００４６】
図１５は、履歴記録処理の一例を説明するフローチャートである。履歴記録処理は、制御部６１を形成するＣＰＵにより実行可能である。また、履歴記録処理は、表示装置１内または表示装置１外の記憶部に履歴を記録可能である。履歴は、例えば記憶部６５に記録しても良い。
【００４７】
図１５において、ステップＳ３１は、ユーザが商品などの対象をポインティングした時刻のタイムスタンプを記録し、人検知装置５５のカメラでユーザを撮影する。ステップＳ３２は、撮影した画像に対して周知の画像処理を行うことでユーザの顔を検知する。ステップＳ３３は、検知されたユーザの顔画像を周知の画像処理で分析することで、ユーザの性別、年代、表情を抽出する。ステップＳ３４は、ユーザが人検知装置５５により検知されなくなり、ユーザがいなくなった時刻までの経過時間から、ユーザが表示装置１の前にいた滞在時間を算出する。ステップＳ３５は、ステップＳ３３，Ｓ３４で求めた情報を例えば図１６に示す履歴データベース６５３に格納する。履歴データベース６５３は、例えば記憶部６５に格納される。
【００４８】
図１６に示す履歴データベース６５３には、タイムスタンプ、ポインティングされた商品などの対象ＩＤ、ユーザの滞在時間、ユーザの性別、ユーザの年代、ユーザの表情などが格納されている。ユーザの表情は、例えばユーザの笑顔であり、笑顔の度合い（笑顔度）を履歴データベース６５３に格納しても良い。この例では、笑顔度が大きい値ほど、ユーザが微笑んでいることを表す。なお、ユーザの笑顔の抽出または検出には、デジタルカメラなどで用いられている周知の方法を用いることができる。
【００４９】
上記の実施例によれば、ユーザが表示装置の透過型スクリーンを通して見ている実世界の映像に、適切に陰影処理された画像コンテンツを重ねて表示することが可能になる。例えば、表示装置である移動式デジタルサイネージを、遠隔地にいるユーザのアバタ（Avatar）として使用することもできる。この場合に従来のサイネージと大きく異なるのは、上記の実施例ではユーザの視点から見える背景に遠隔地にいる人の画像（アバタ）が透過型スクリーンに適切に陰影処理されて投影されるため、臨場感が格段に高まる効果が得られる点である。
【００５０】
また、ユーザが透過型スクリーンを通して見る対象は、商品棚に限定されず、風景に組まれるランドマーク、ＴＶ会議システムの参加者などであっても良い。
【００５１】
さらに、上記実施例では、表示装置に設けられた光センサを用いて光源方向を推定するため、光源の明るさの急激な変化も検知することができ、リアルタイムで光源方向を知ることができる。光源の３次元位置を推定する必要はなく、画像投影面である透過型スクリーンから見た光源方向のみを推定し、推定した光源方向に基づいた陰影処理を行うため、比較的簡単な処理で実世界の画像の照明状態とコンテンツの陰影処理との間で整合性が取れたＡＲ画像を提示可能となる。
【００５２】
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
透過型ディスプレイが設置されている環境の照明条件、及びユーザ位置と前記透過型ディスプレイとの相対位置に応じて、透過型ディスプレイに表示する画像コンテンツに陰影処理を施し、
前記ユーザ位置から前記透過型ディスプレイを通して見える実世界の映像に前記陰影処理を施された画像コンテンツを重ねて表示し、
前記照明条件は、前記透過型ディスプレイから見た光源方向である
ことを特徴とする、表示方法。
（付記２）
前記透過型ディスプレイに対してユーザがポインティングした位置を検出し、
前記画像コンテンツは前記ポインティングした位置に関する情報を含む
ことを特徴とする、付記１記載の表示方法。
（付記３）
前記ポインティングした位置は、前記透過型ディスプレイと一体的に設けられたタッチパネル上でユーザにより触れられた位置を検出することにより検出される
ことを特徴とする、付記１または２記載の表示方法。
（付記４）
前記ポインティングした位置は、
前記透過型ディスプレイから見たポインティングの向きを、測位装置から供給される該透過型ディスプレイの位置情報及び三次元計測装置から供給されるユーザの検知情報に基づいて計測し、
計測したポインティングの向きを、前記透過型ディスプレイの座標系から前記基準座標系に変換し、該基準座標系から見たポインティングの向きと、前記透過型ディスプレイを通して見える対象の対象空間面との交点を算出することで求める
ことを特徴とする、付記１または２記載の表示方法。
（付記５）
前記透過型ディスプレイは透過型スクリーンで形成され、
前記陰影処理を施された画像コンテンツは、プロジェクタにより前記透過型スクリーンに投射される
ことを特徴とする、付記１乃至４のいずれか１項記載の表示方法。
（付記６）
複数の第１の光センサにより検知された照度分布に基づいて前記光源方向を推定し、
学習時には、前記学習時にのみ設けられる複数の第２の光センサと前記複数の第１の光センサとにより検知された照度分布に基づいて前記光源方向を学習する
ことを特徴とする、付記１乃至５のいずれか１項記載の表示方法。
（付記７）
前記ポインティングに関する履歴をデータベースに記録する
ことを特徴とする、付記１乃至６のいずれか１項記載の表示方法。
（付記８）
透過型ディスプレイと、
複数の光センサと、
前記複数の光センサの検知出力に基づいて前記透過型ディスプレイから見た光源方向を推定する推定部と、
ユーザ位置と前記透過型ディスプレイとの相対位置を検知する検知装置と、
前記光源方向及び前記相対位置に応じて画像コンテンツに陰影処理を施す陰影処理部と、
前記ユーザ位置から前記透過型ディスプレイを通して見える実世界の映像に前記陰影処理を施された画像コンテンツを投射して重ねて表示するプロジェクタ
を備えたことを特徴とする、表示装置。
（付記９）
前記透過型ディスプレイに対してユーザがポインティングした位置を検出する検出手段
を更に備え、
前記画像コンテンツは前記ポインティングした位置に関する情報を含む
ことを特徴とする、付記８記載の表示装置。
（付記１０）
前記検出手段は、前記透過型ディスプレイと一体的に設けられ、ユーザにより触れられた位置を検出することで前記ポインティングした位置を検出するタッチパネルを有する
ことを特徴とする、付記８または９記載の表示装置。
（付記１１）
前記検出手段は、
前記透過型ディスプレイの位置を測位して位置情報を出力する測位装置と、
前記ユーザを検知して検知情報を出力する三次元計測装置と、
前記位置情報及び前記検知情報に基づいて計測した前記表示装置から見たポインティングの向きを、前記表示装置の座標系から前記基準座標系に変換し、該基準座標系から見たポインティングの向きと、前記透過型ディスプレイを通して見える対象の対象空間面との交点を算出する制御部
を有することを特徴とする、付記８または９記載の表示装置。
（付記１２）
前記透過型ディスプレイは透過型スクリーンで形成されている
ことを特徴とする、付記８乃至１１のいずれか１項記載の表示装置。
（付記１３）
前記ポインティングに関する履歴をデータベースに記録する制御部
を更に備えたことを特徴とする、付記８乃至１２のいずれか１項記載の表示装置。
【００５３】
以上、開示の表示方法及び表示装置を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【符号の説明】
【００５４】
１      表示装置
１１      ベース
１２      フレーム
１３，１３−１〜１３−Ｎ，１３１      センサ
１４      プロジェクタ
１６      透過型スクリーン
５１      光源方向推定及び学習部
５２      陰影処理部
５３      撮影装置
５４      測位装置
５５      人検知装置
５６      タッチパネル
６１      制御部
【図１】
0005842634.tif 000002
【図２】
0005842634.tif 000003
【図３】
0005842634.tif 000004
【図４】
0005842634.tif 000005
【図５】
0005842634.tif 000006
【図６】
0005842634.tif 000007
【図７】
0005842634.tif 000008
【図８】
0005842634.tif 000009
【図９】
0005842634.tif 000010
【図１０】
0005842634.tif 000011
【図１１】
0005842634.tif 000012
【図１２】
0005842634.tif 000013
【図１３】
0005842634.tif 000014
【図１４】
0005842634.tif 000015
【図１５】
0005842634.tif 000016
【図１６】
0005842634.tif 000017