(57)【要約】      （修正有）【課題】より精度良く観察者の情報を取得する。【解決手段】表示画像１１を表示する画像表示装置１からの光を空中に結像させて空中像を形成する光学素子２と、画像表示装置からの光の一部を透過し、他の一部を反射させるビームスプリッター４と、ビームスプリッターを介する光軸５ａが平面的な空中像１２に対して垂直となるように配置されたカメラ５と、カメラによる撮影画像に含まれる人物の状態情報を取得する取得部と、取得部により取得された人物の状態情報を記憶する状態情報記憶部とを備えている。【選択図】図１
2019132916.tif 000002
【特許請求の範囲】
【請求項１】
表示画像を表示する画像表示装置からの光を空中に結像させて空中像を形成する光学素子と、
前記画像表示装置からの光の一部を透過し、他の一部を反射させるビームスプリッターと、
前記ビームスプリッターを介する光軸が平面的な前記空中像に対して垂直となるように配置されたカメラと、
前記カメラによる撮影画像に含まれる人物の状態情報を取得する取得部と、
前記取得部により取得された前記人物の状態情報を記憶する状態情報記憶部とを備えることを特徴とするサイネージ装置。
【請求項２】
前記空中像に対する規定の観察位置に向かって不可視光を照射する発光部を有することを特徴とする請求項１に記載のサイネージ装置。
【請求項３】
前記発光部による前記不可視光の照射範囲を、前記空中像に対する規定の観察位置において、前記カメラの撮影範囲の大きさに合わせたことを特徴とする請求項２に記載のサイネージ装置。
【請求項４】
前記カメラは可視光をカットするフィルター部材を介して撮影を行うことを特徴とする請求項２又は３に記載のサイネージ装置。
【請求項５】
前記ビームスプリッターは、表面で可視光を透過し、不可視光を反射する半透過層を有することを特徴とする請求項２から４のいずれか一項に記載のサイネージ装置。
【請求項６】
前記カメラはステレオカメラであることを特徴とする請求項１から５のいずれか一項にに記載のサイネージ装置。
【請求項７】
前記カメラの撮影画像から前記カメラの撮影範囲に含まれる人物を検出する人物検出部と、
前記人物検出部により前記人物が検出されると前記空中像を表示させ、前記人物検出部により前記人物が検出されなくなると一定時間経過後に前記空中像の表示を終了させる第一表示制御部とを備えることを特徴とする請求項１から６のいずれか一項に記載のサイネージ装置。
【請求項８】
前記カメラの撮影画像に含まれる人物の顔の向きから前記空中像を観察しているか否かを判定する観察判定部を備え、
前記取得部は、前記観察判定部により前記空中像を観察していると判定された場合に、前記人物の状態情報として、その観察時間を計測することを特徴とする請求項１から７のいずれか一項に記載のサイネージ装置。
【請求項９】
複数の表示画像を前記画像表示装置に順番に表示させる第二表示制御部を備え、
前記取得部は、前記カメラの撮影画像に含まれる人物の表情を検出し、検出された前記表情が規定の表情である場合に、その時に表示されていた表示画像が前記複数の表示画像のいずれであるかを関連づけて前記人物の表情を前記人物の状態情報として前記状態情報記憶部に記憶させることを特徴とする請求項１から８のいずれか一項に記載のサイネージ装置。
【請求項１０】
複数の表示画像を前記画像表示装置に順番に表示させる第二表示制御部を備え、
前記取得部は、前記複数の表示画像ごとに分類して前記人物の状態情報を取得することを特徴とする請求項１から９のいずれか一項に記載のサイネージ装置。
【請求項１１】
前記光学素子は、プレート平面に対して垂直方向から見て互いに直交する複数の反射面を有する光学プレートであることを特徴とする請求項１から１０のいずれか一項に記載のサイネージ装置。
【請求項１２】
前記光学素子は、入射光の入射方向に沿って反射を行う再帰反射面を有する再帰反射体であることを特徴とする請求項１から１０のいずれか一項に記載のサイネージ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空中映像表示を利用したサイネージ装置に関する。
【背景技術】
【０００２】
近年、特殊な光学プレートを使用して被対象物の実像を空中に結像させ、その実像を観察者が観察できるようにした空中映像表示装置が提案されている。
例えば、特許文献１には、平面視で互いに直交する複数の反射面（コーナーミラーアレイ）を有する光学プレートを使い、被対象物と光学プレートを挟んで面対称の位置に空中像を結像する技術が開示されている。
このような空中映像を大画面で実現すると、アイキャッチ性が高く、デジタルサイネージの分野での利用が検討されている。
【０００３】
一方、デジタルサイネージの分野では、情報を表示するだけではなく、カメラを配置して、画面を観察している観察者を撮影し、撮影画像から観察者の情報を取得して、当該取得情報に応じた画面表示に切り替えるアイデアが提案されている。
例えば、特許文献２のサイネージ装置は、カメラの撮影画像によってデジタルサイネージ装置の前に人物がいるかどうか、その人物の顔認識により笑顔か否か等の判断を行い、それらの判断に応じて異なる音声コンテンツを出力している。
また、特許文献３のサイネージ装置は、カメラで周囲の状態を撮影し、人が表示の前にいるかどうかで、表示の内容を変化させるようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４８６５０８８号公報
【特許文献２】特開２０１７−５９９１６号公報
【特許文献３】特開２０１７−１１６６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献２、３のサイネージ装置は、いずれも、情報表示を行う表示装置を避けてカメラを配置しなければならないことから、表示装置を観察している観察者を正面から外れた位置からしか撮影することができなかった。
そのような撮影画像の場合、人の存在の有無の検出程度であれば問題なく行うことができるが、顔認識や表情認識などのより詳細な検出を行うには十分な精度が得られないおそれがあった。
【０００６】
本発明は、撮影により、より精度良く観察者の情報を得ることを可能とするサイネージ装置を提供することをその目的とする。
【課題を解決するための手段】
【０００７】
請求項１記載の発明は、サイネージ装置において、
表示画像を表示する画像表示装置からの光を空中に結像させて空中像を形成する光学素子と、
前記画像表示装置からの光の一部を透過し、他の一部を反射させるビームスプリッターと、
前記ビームスプリッターを介する光軸が平面的な前記空中像に対して垂直となるように配置されたカメラと、
前記カメラによる撮影画像に含まれる人物の状態情報を取得する取得部と、
前記取得部により取得された前記人物の状態情報を記憶する状態情報記憶部とを備えることを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載のサイネージ装置において、
前記空中像に対する規定の観察位置に向かって不可視光を照射する発光部を有することを特徴とする。
【０００９】
請求項３記載の発明は、請求項２記載のサイネージ装置において、
前記発光部による前記不可視光の照射範囲を、前記空中像に対する規定の観察位置において、前記カメラの撮影範囲の大きさに合わせたことを特徴とする。
【００１０】
請求項４記載の発明は、請求項２又は３に記載のサイネージ装置において、
前記カメラは可視光をカットするフィルター部材を介して撮影を行うことを特徴とする。
【００１１】
請求項５記載の発明は、請求項２から４のいずれか一項に記載のサイネージ装置において、
前記ビームスプリッターは、表面で可視光を透過し、不可視光を反射する半透過層を有することを特徴とする。
【００１２】
請求項６記載の発明は、請求項１から５のいずれか一項に記載のサイネージ装置において、
前記カメラはステレオカメラであることを特徴とする。
【００１３】
請求項７記載の発明は、請求項１から６のいずれか一項に記載のサイネージ装置において、
前記カメラの撮影画像から前記カメラの撮影範囲に含まれる人物を検出する人物検出部と、
前記人物検出部により前記人物が検出されると前記空中像を表示させ、前記人物検出部により前記人物が検出されなくなると一定時間経過後に前記空中像の表示を終了させる第一表示制御部とを備えることを特徴とする。
【００１４】
請求項８記載の発明は、請求項１から７のいずれか一項に記載のサイネージ装置において、
前記カメラの撮影画像に含まれる人物の顔の向きから前記空中像を観察しているか否かを判定する観察判定部を備え、
前記取得部は、前記観察判定部により前記空中像を観察していると判定された場合に、前記人物の状態情報として、その観察時間を計測することを特徴とする。
【００１５】
請求項９記載の発明は、請求項１から８のいずれか一項に記載のサイネージ装置において、
複数の表示画像を前記画像表示装置に順番に表示させる第二表示制御部を備え、
前記取得部は、前記カメラの撮影画像に含まれる人物の表情を検出し、検出された前記表情が規定の表情である場合に、その時に表示されていた表示画像が前記複数の表示画像のいずれであるかを関連づけて前記人物の表情を前記人物の状態情報として前記状態情報記憶部に記憶させることを特徴とする。
【００１６】
請求項１０記載の発明は、請求項１から９のいずれか一項に記載のサイネージ装置において、
複数の表示画像を前記画像表示装置に順番に表示させる第二表示制御部を備え、
前記取得部は、前記複数の表示画像ごとに分類して前記人物の状態情報を取得することを特徴とする。
【００１７】
請求項１１記載の発明は、請求項１から１０のいずれか一項に記載のサイネージ装置において、
前記光学素子は、プレート平面に対して垂直方向から見て互いに直交する複数の反射面を有する光学プレートであることを特徴とする。
【００１８】
請求項１２記載の発明は、請求項１から１０のいずれか一項に記載のサイネージ装置において、
前記光学素子は、入射光の入射方向に沿って反射を行う再帰反射面を有する再帰反射体であることを特徴とする。
【発明の効果】
【００１９】
上記の構成によれば、より精度良く観察者の情報を得ることが可能なサイネージ装置を提供することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】第一の実施の形態であるサイネージ装置の全体の構成を模式的に示す説明図である。
【図２】光学プレートの概略構成を示す斜視図である。
【図３】上記光学プレートを構成する単一の板状部材の斜視図である。
【図４】上記光学プレートを構成する単一の他の板状部材の斜視図である。
【図５】２次元での実像の結像原理を示す説明図である。
【図６】３次元空間での光線の反射を模式的に示す説明図である。
【図７】３次元空間において、１点から発せられた複数の光線が別々の反射面を介して１点に集光する様子を模式的に示す説明図である。
【図８】カメラの撮影範囲と発光部の照射範囲との関係を示す説明図である。
【図９】図１のサイネージ装置の制御系を示すブロック図である。
【図１０】制御装置が行うサイネージ装置の制御を示すフローチャートである。
【図１１】撮影面に対してカメラの光軸を垂直に向けて撮影を行う場合と撮影面の法線に対してカメラの光軸が傾斜した場合における各部の寸法を示す説明図である。
【図１２】図１のサイネージ装置に全反射ミラー５２を加えた例を示す説明図である。
【図１３】第二の実施の形態であるサイネージ装置の全体の構成を模式的に示す説明図である。
【図１４】再帰反射体による一点から発せられた光が空中の一点に結像する原理を示した説明図である。
【図１５】サイネージ装置の内部におけるカメラと再帰反射体の配置の他の例を示す説明図である。
【図１６】ステレオカメラを搭載したサイネージ装置の例を示す説明図である。
【発明を実施するための形態】
【００２１】
［第一の実施形態］
本発明の第一の実施形態であるサイネージ装置１０について図１〜図１１に基づいて説明する。
図１はサイネージ装置１０の全体の構成を模式的に示す説明図である。サイネージ装置１０は、平面的な被対象物としての表示画像１１を表示する画像表示装置１と、表示画像１１からの光を空中に結像させて実像としての空中像１２を形成する光学素子としての光学プレート２と、表示画像１１からの光の一部を透過し、他の一部を反射させるビームスプリッター４と、ビームスプリッター４を介する光軸５ａが平面的な空中像１２に対して垂直に交わるように配置されたカメラ５と、平面状の空中像１２の正面側に検出光を投光する発光部７と、これらの構成を格納支持する筐体８と、上記各構成の制御を行う制御装置９とを主に備えている。
【００２２】
このサイネージ装置１０は、画像表示装置１の表示画像１１からの光を平面的な光学プレート２に対して光の入射側とは反対側の空中に導き、光学プレート２について面対称となる空中の位置に表示画像１１の実像である空中像１２を結像させる。
この空中像１２は、表示画像１１と同じ内容の画像が表示され、サイネージ装置１０は、この空中像１２を観察する人物をカメラ５により撮影する。さらに、サイネージ装置１０の制御装置９は、その撮影画像に基づいて撮影された人物の状態情報を取得し、その状態情報を後述する状態情報記憶部９９に記憶する。
【００２３】
［光学プレート］
次に、上述した光学プレート２の詳細について説明する。図２は光学プレート２の概略構成を示す斜視図である。
なお、光学プレート２のプレート平面に平行な一方の方向をＹ方向、当該プレート平面に平行であってＹ方向に直交する方向をＸ方向、当該プレート平面に垂直な方向をＺ方向とする。なお、図１においてはＹ方向及びＺ方向は紙面に平行であり、Ｘ方向は紙面に垂直となっている。
光学プレート２は、２枚の光学パネル２０，３０がＺ方向に積層された二層構造を採っている。
そして、光学パネル２０は、Ｙ方向に沿って長尺である複数の板状部材２１をＸ方向に積層して並べることによって形成されている。また、光学パネル３０は、Ｘ方向に沿って長尺である複数の板状部材３１をＹ方向に積層して並べることによって形成されている。
【００２４】
図３は単一の板状部材２１の斜視図である。板状部材２１は、透明なガラスや樹脂からなる直方体状の透明基板２１１を有している。透明基板２１１は、Ｙ方向に長尺であって、Ｙ−Ｚ平面に沿った対向する二平面のうちの一方の面に、例えばアルミニウムのような金属の蒸着によって反射面２１２が形成されている。なお、反射面２１２は、透明基板２１１のＹ−Ｚ平面に沿った対向する二平面の両面に形成されていてもよい。
【００２５】
図４は単一の板状部材３１の斜視図である。板状部材３１は、透明なガラスや樹脂からなる直方体状の透明基板３１１を有している。透明基板３１１は、Ｘ方向に長尺であって、Ｘ−Ｚ平面に沿った対向する二平面のうちの一方の面に、例えばアルミニウムのような金属の蒸着によって反射面３１２が形成されている。なお、反射面３１２も、透明基板３１１のＸ−Ｚ平面に沿った対向する二平面の両面に形成されていてもよい。
【００２６】
Ｙ方向に延びる複数の板状部材２１をＸ方向に積層して並べることにより、Ｙ−Ｚ平面に沿った複数の反射面２１２が、板状部材２１のＸ方向の幅に応じた間隔でＸ方向に並んで配置される。同様に、Ｘ方向に延びる複数の板状部材３１をＹ方向に積層して並べることにより、Ｘ−Ｚ平面に沿った複数の反射面３１２が、板状部材３１のＹ方向の幅に応じた間隔でＹ方向に並んで配置される。そして、このような複数の板状部材２１，３１の配置により、各板状部材２１の反射面２１２と各板状部材３１の反射面３１２とは、Ｚ軸方向から見て互いに直交する位置関係となる。
つまり、この光学プレート２は、いわゆるコーナーミラーアレイといわれる光学素子の構造を有している。
【００２７】
次に、光学プレート２による結像原理について説明する。図５は、２次元（Ｘ−Ｚ平面内）での実像の結像原理を示している。点光源Ｐから発せられた複数の光線は、Ｚ軸に平行な反射面２１２でそれぞれ反射され、Ｘ軸に対して点光源Ｐとは反対側の位置Ｐ0（点光源ＰとＸ軸に対して対称な位置）に集光する。これにより、位置Ｐ0にて、点光源Ｐの実像が結像される。
なお、Ｙ−Ｚ平面内での実像の結像に関しても同様であり、点光源Ｐから発せられた複数の光線は、Ｚ軸に平行な反射面３１２でそれぞれ反射され、Ｙ軸に対して点光源Ｐとは反対側の位置Ｐ0（点光源ＰとＸ軸に対して対称な位置）に集光する。これにより、位置Ｐ0にて、点光源Ｐの実像が結像される。
【００２８】
図６は、３次元空間（ＸＹＺ座標系）での光線の反射を模式的に示している。３次元空間では、点光源Ｏから発せられた光線Ａを、Ｘ−Ｚ平面内の光線Ａ１と、Ｙ−Ｚ平面内の光線Ａ２とに分解し、図５に倣って、それぞれの光線Ａ１，Ａ２のＸ−Ｚ平面内またはＹ−Ｚ平面内での反射を考えることで、光線ＡのＺ軸との交点を求めることができる。つまり、Ｘ−Ｚ平面内の光線Ａ１は、Ｙ−Ｚ面に平行な反射面２１２で反射された後、Ｚ軸に向かい、Ｙ−Ｚ平面内の光線Ａ２は、Ｘ−Ｚ面に平行な反射面３１２で反射された後、Ｚ軸に向かう。これらの光線Ａ１，Ａ２は、Ｚ軸上の１点、つまり、点Ｏ0で交わる。したがって、光線Ａは、反射面２１２および反射面３１２にて計２回反射した後、Ｚ軸上の点Ｏ0に向かうことになる。
【００２９】
図７は、３次元空間において、点光源Ｏから発せられた複数の光線が、別々の反射面を介して１点に集光する様子を模式的に示している。点光源Ｏから発せられた複数の光線は、図６と同様にして、Ｙ−Ｚ平面に平行な反射面２１２およびＸ−Ｚ平面に平行な反射面３１２で反射され、Ｚ軸上の同じ点Ｏ0に集光する。これにより、点Ｏ0にて、点光源Ｏの実像が結像される。
【００３０】
なお、以上では、光学パネル２０，３０を積層した２層構造の光学プレート２における結像原理を示したが、Ｖ字型（Ｌ字型）に並べた２枚の反射面をアレイ状に配置してＸ−Ｚ平面に平行な複数の反射面とＹ−Ｚ平面に平行な複数の反射面とが実際に直交している１層構造の光学プレート２においても、結像原理は同じである。
【００３１】
［画像表示装置］
画像表示装置１は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（ElectroLuminescent）ディスプレイ、ＣＲＴ（Cathode Ray Tube）等の平面的な表示画像１１を表示する表示装置からなる。
なお、画像表示装置１は上記構成に限らず、プロジェクターのように、表示画像１１を投影するものを使用することも可能である。
【００３２】
上記画像表示装置１は、表示画像１１を表示する表示部が平面状であり、当該表示部はＸ−Ｙ平面に平行に配置された光学プレート２の片面（入射面２２とする）に対向し、Ｘ−Ｙ平面に対してＸ軸を中心として角度θ１だけ傾斜して配置されている。この角度θ１は、図１の紙面上で反時計方向に45°傾斜した方向である。
なお、傾斜角度θ１は45°が空中像１２の画質向上のために最も望ましい角度であるが、空中像１２の画質が許容される範囲内であれば45°を中心とするある程度の角度範囲で増減可能である。
なお、光学プレート２の入射面２２は、表示画像１１を当該表示画像１１の法線に沿って入射面２２に向かって投影した場合に、少なくとも、表示画像１１の全体を投影させることができる大きさに設定することが望ましい。但し、表示画像１１の中央部のみが実質的に必要となる画像表示エリアであるような場合には、少なくとも、このような実質的に必要となる画像表示エリアのみが投影できる大きさに設定しても良い。
【００３３】
上記画像表示装置１は表示画像１１の表示を行うと、光学プレート２によって、当該光学プレート２について面対称となる位置に空中像１２が結像する。即ち、この空中像１２は、Ｘ−Ｙ平面に対してＸ軸を中心として図１の紙面上で時計方向に角度θ２（＝45°）だけ傾斜している。
【００３４】
［発光部］
発光部７は、不可視光である赤外線光を出射する光源としての複数のLED（発光ダイオード）と、光源から出射された赤外線光を所定の範囲に絞って投光する投光光学系とを備えている。
この発光部７は、サイネージ装置１０の前方にいる人物、特に、空中像１２を観察する人物（観察者という）の顔をカメラ５により撮影するために、観察者の顔を赤外線光で照射する。このため、観察者の顔に効果的に赤外線を照射することができるように、図８に示すように、空中像１２に対する規定の観察位置Ｋに向かって赤外線光を照射する。そして、発光部７の投光光学系は、赤外線校の照射範囲Ｈを、空中像１２に対する規定の観察位置Ｋにおいて、カメラ５の撮影範囲Ｓの大きさに合致させている。
規定の観察位置Ｋは、一定の結像位置に形成される空中像１２に対して、カメラ５の光軸５ａに沿って所定距離離れた位置、即ち、観察者がその表示内容を視覚的に認識し易い位置であり、空中像１２のサイズに応じて予め設定されている。
そして、カメラ５の光学系によって定まる画角に応じた観察位置Ｋにおける撮像範囲Ｓと観察位置Ｋにおける発光部７の照射範囲Ｈとがほぼ一致するように設定されている。
【００３５】
［ビームスプリッター］
ビームスプリッター４は、図１に示すように、Ｘ−Ｙ面に平行な平板状であって、光学プレート２の入射面２２とは逆側の面（出射面２３とする）側に配置されている。
このビームスプリッター４は、光の透過率と反射率がいずれも50％となるいわゆるハーフミラーが使用されるが、これに限定されず、透過率が反射率よりも大きいものや透過率が反射率よりも小さいものも使用可能である。
【００３６】
このビームスプリッター４を設けることにより、空中像１２を結像する際に光学プレート２からの光を透過させることができ、また、空中像１２側からの光をカメラ５側に反射することができる。
なお、図１では、ビームスプリッター４が光学プレート２に密接するように配置した例を示しているが、カメラ５の光軸５ａを空中像１２に対して垂直に向けることができれば、ビームスプリッター４を光学プレート２から離間させても良いし、Ｘ−Ｙ平面に対して傾斜した向きで配置しても良い。
【００３７】
なお、ビームスプリッター４は、表示画像１１の全体を透過させることができる大きさに設定することが望ましい。但し、表示画像１１の外縁部を除いた部分のみが実質的に必要となる画像表示エリアであるような場合には、少なくとも、このような実質的に必要となる画像表示エリアのみが透過できる大きさに設定しても良い。
【００３８】
また、このビームスプリッター４は、空中像１２側の面全体に、可視光を透過し、不可視光としての赤外線光を反射する半透過層４１が形成されている。
この半透過層４１は、赤外線光を反射する特性を有するポリエステルフィルムを何重にも積層してなるフィルム材からなり、当該半透過層４１がビームスプリッター４の空中像１２側の面全体に貼着されている。
当該フィルム材としては、例えば、３Ｍ社製「スコッチティント（登録商標）オートフィルムクリスタリン」が好適である。
【００３９】
［カメラ］
カメラ５は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子と光学系とを備えている。
このカメラ５の光学系は、図１に示すように、その光軸５ａがビームスプリッター４における空中像１２側の面の半透過層４１に反射して、空中像１２に対して垂直に入射するように配置されている。即ち、カメラ５の光学系の光軸５ａは、ビームスプリッター４の法線に対してＸ軸回りに図１の紙面上で反時計方向に角度θ３（＝45°）だけ傾斜した向きに向けられている。
【００４０】
なお、カメラ５の光学系の光軸５ａがビームスプリッター４を介して空中像１２に対して垂直に入射する場合の「垂直」とは、厳格に垂直であることが望ましいが、実質的に垂直とみなせる範囲（ほぼ垂直な範囲）を含むものとする。即ち、光軸５ａが垂直に対して傾斜すると、後述する分解能の低下率を概算する数式(5)に示すように、その傾斜角度に応じて撮像画像の分解能は低下を生じるが、その低下率が十分に少ない範囲での傾斜は実質的に「垂直」とみなすことができる。
例えば、垂直に対して±10°以内の角度範囲は、概算的な分解能の低下率は96％程度に抑えられ、「垂直」の範囲に含まれる。
【００４１】
カメラ５には可視光をカットするフィルター部材５１が装備され、当該フィルター部材５１を介して撮影を行う。
前述したように、カメラ５は、ビームスプリッター４の反射により、撮影範囲及びその中の人物の撮影を行う。このとき、人物の周囲や背景が撮影範囲に含まれるが、前述したように、カメラ５の光学系によって定まる画角に応じた観察位置Ｋにおける撮像範囲Ｓと観察位置Ｋにおける発光部７の照射範囲Ｈとがほぼ一致するように設定されているので、赤外線光が届かない背景の写り込みが抑制され、専ら、赤外線光が照射された人物の顔を撮影することができる。
【００４２】
［制御装置］
図９はサイネージ装置１０の制御系を示すブロック図である。
制御装置９は、画像表示装置１、発光部７、カメラ５に接続され、これらを統括的に制御する。なお、制御装置９には、画像表示装置１、発光部７、カメラ５を駆動させる駆動回路やインターフェイス、カメラ５の撮影画像データを処理する画像処理装置が併設されているが、これらの図示は省略する。
【００４３】
制御装置９は、画像表示装置１においてコンテンツとしての表示画像１１として表示する複数種類の表示画像データを備える画像記憶部９３と、これらの表示画像データに従って画像表示装置１において表示画像１１を表示させる第一及び第二表示制御部９１，９２とを備えている。
また、制御装置９は、連続的に規定周期でカメラ５による撮影を実行させる撮影制御部９４を備えている。
さらに、制御装置９は、カメラ５による撮影画像からカメラ５の撮影範囲に含まれる人物を検出し、当該人物の顔を検出する人物検出部９５と、撮影画像に含まれる人物の状態情報を取得する取得部９８と、検出された人物の顔の向きから空中像１２を観察しているか否かを判定する観察判定部９６と、取得された人物の状態情報を記憶する状態情報記憶部９９とを備えている。
【００４４】
制御装置９は、バスを介して接続されたＣＰＵ(Central Processing Unit)，ＲＡＭ(Random access memory)，補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-OnlyMemory：ＥＰＲＯＭ(ErasableProgrammableRead-OnlyMemory)，ＥＥＰＲＯＭ(ElectricallyErasableProgrammableRead-OnlyMemory)，マスクＲＯＭ等を含む），ＦＲＡＭ（登録商標）(FerroelectricRAM)，フラッシュメモリ，ハードディスク等を含む。
上記図９では、制御装置９の各種機能をブロックで示している。即ち、制御装置９は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）がＲＡＭにロードされＣＰＵにより実行されることによって、第一及び第二表示制御部９１，９２、人物検出部９５、観察判定部９６、取得部９８等を含む装置として機能する。なお、第一及び第二表示制御部９１，９２、人物検出部９５、観察判定部９６、取得部９８は、プログラムがＣＰＵによって実行されることにより実現される。また、第一及び第二表示制御部９１，９２、人物検出部９５、観察判定部９６、取得部９８は専用のチップとして構成されても良い。
また、画像記憶部９３及び状態情報記憶部９９は、補助記憶装置の一部に設定された記憶領域により実現されるが、これらも専用の記憶チップとして構成されても良い。
【００４５】
上記第一表示制御部９１は、人物検出部９５により撮影範囲内に人物が検出されると空中像１２を表示させ、人物検出部９５により撮影範囲内に人物が検出されなくなると一定時間経過後に空中像１２の表示を終了させるように画像表示装置１を制御する。なお、表示を終了させるための経過時間は、任意だが、適切な値を適宜選択することが望ましい。
【００４６】
上記第二表示制御部９２は、第一表示制御部９１により空中像１２の表示が開始されてから終了するまでの間、予め定められた順番で複数のコンテンツに対応する表示画像を画像表示装置１に表示させる制御を行う。
なお、前述した撮影制御部９４では、第一表示制御部９１により空中像１２の表示中又は非表示状態であるに拘わらず、短周期的にカメラ５による撮影を実行する。
【００４７】
人物検出部９５は、撮影画像に基づいて撮影範囲内に人物が存在するか及び人物が存在する場合にその顔の検出を行う。
この人物検出部９５における撮影画像内の人物や顔の検出は、予め大量のサンプルデータを使用した機械学習によりパラメータが定められたパターン認識用の識別器を、人物や顔について個別に備えており、これらの識別器を用いて実施される。
【００４８】
なお、人物検出部９５における撮影範囲内に人物が存在するか否かの判定において、現在の撮影画像と直前の撮影画像との差分画像を求め、動体の有無よる人物の存在の判定を行っても良い。この場合、撮影範囲内に、人物以外の動体、例えば、宣伝用の動くＰＯＰ広告等が写り込むと判定精度が下がるので、規則的な動作を繰り返す動体は排除する判断を加えることが望ましい。
【００４９】
取得部９８は、撮影画像に対して、人物検出部９５で検出した人物及び顔を用いてその身長、性別、年齢、顔の向き、表情等の状態情報を検出する。
この取得部９８の場合も、性別、年齢、顔の向き、表情等の状態情報についてのパターン認識用の識別器を個別に備えており、これらの識別器を用いて状態情報の検出を行う。
例えば、性別については、男性の識別器を備え、男性と識別された場合には男性と判定し、それ以外は女性と判定する（女性の識別器を備える構成としてもよい）。
年齢については、一定範囲年齢の帯域ごとの識別器を用意して判定し、顔の向きについては複数の顔の方向ごとの識別器を用意して判定し、表情については、喜怒哀楽、驚愕、無関心等の各種表情の識別器を用意して判定が行われる。
また、身長については、人物検出部９５で検出された人物とこれに対する顔の比率や高さ等から算出する。
【００５０】
そして、取得部９８は、検出した人物の身長、性別、年齢、顔の向き、表情等の状態情報を状態情報記憶部９９に記憶する。
この時、取得部９８は、撮影画像を撮影したときに第二表示制御部９２が表示させていた表示画像が複数のコンテンツに対応する表示画像のいずれであるかを当該第二表示制御部９２に対して照合し、表示されていた表示画像と人物の身長、性別、年齢、顔の向き、表情等の状態情報とを対応付けて状態情報記憶部９９に記録する。
これにより、各コンテンツの表示画像を、いかなる身長、いかなる性別、いかなる年齢の人物がいかなる表情で見ていた等のリサーチを行うことができる。
【００５１】
なお、上記取得部９８では、カメラ５の撮影画像に含まれる人物の表情を検出し、検出された表情がいずれの表情である場合でも、その時に表示されていた表示画像がいずれの表示画像であるかを関連づけて人物の状態情報として取得し、状態情報記憶部９９に記憶しているが、これに限定されない。
例えば、上記取得部９８により検出された表情が特定の表情、例えば、笑顔である場合等の表示画像に対する関心が引き付けられた表情であると判定された場合にのみ、その時に表示されていた表示画像がいずれの表示画像であるかを関連づけて表情を人物の状態情報として記憶する構成としても良い。
【００５２】
観察判定部９６は、取得部９８において検出された人物の顔の向きに基づいて、空中像１２を観察しているか否かを判定する。具体的には、観察判定部９６は、取得部９８において検出された人物の顔の向きが、空中像１２に対して正対する向きである場合には、空中像１２を観察していると判定し、それ以外の顔の向きの場合には空中像１２を観察していないと判定する。
そして、観察判定部９６は、空中像１２を観察していると判定した場合には、その観察時間を計測する処理を実行する。
前述したように、撮影制御部９４は、空中像１２の表示の有無に拘わらず短周期的にカメラ５による撮影を実行している。これに対して、観察判定部９６は、この繰り返しの撮影に対して毎回、空中像１２の観察の有無を判定し、観察有りと判定されて人物による観察が開始された撮影から観察なしと判定される撮影までの間で撮影周期を積算して観察時間を計測する。
なお、撮影制御部９４は、観察時間を計測すると、取得部９８に観察時間を入力し、取得部９８は、人物の状態情報の一つとして、その時の表示画像と関連づけて、状態情報記憶部９９に記憶する。
【００５３】
［制御装置によるサイネージ装置の制御］
上記構成の制御装置９によるサイネージ装置１０の制御を図１０のフローチャートに基づいて説明する。
なお、図１０に示すフローチャートでは、取得部９８により撮影画像から検出された人物の表情が笑顔と驚きである場合にのみ、その時に表示されていた表示画像がいずれの表示画像であるかを関連づけてその表情を人物の状態情報として記憶する場合を例示する。
【００５４】
まず、制御装置９の撮影制御部９４が、発光部７を赤外線光の発光状態とし、カメラ５により周期的な撮影を開始させる（ステップＳ１）。
そして、人物検出部９５は、撮影画像に対して、画像内に写り込んだ人物及びその顔の検出を行う。そして、この検出により、撮影範囲内に人物がいるか否かを判定する（ステップＳ３）。
【００５５】
その結果、撮影範囲内に人物がいない場合には（ステップＳ３：ＮＯ）、ステップＳ２１に処理を進め、撮影範囲内に人物がいると判定した場合には（ステップＳ３：ＹＥＳ）、第一表示制御部９１に基づいて、画像表示装置１による表示画像１１の表示が行われ、これに伴い空中像１２も形成される（ステップＳ５）。
【００５６】
次いで、取得部９８は、撮影画像から各種の状態情報を検出する。このとき、撮影画像中に検出された人物の顔に基づいて状態情報の一つとして検出された人物の顔の向きから、観察判定部９６は、当該顔の向きが正面側、即ち、空中像１２に顔が向けられているか否かを判定する（ステップＳ７）。
その結果、空中像１２に顔が向けられている場合には（ステップＳ７：ＹＥＳ）、空中像１２に顔が向けられている時間を計測する（ステップＳ９）。即ち、撮影周期を積算する。
【００５７】
一方、空中像１２に顔が向けられていなかった場合には（ステップＳ７：ＮＯ）、撮影周期の積算は行わず、直前の撮影時まで空中像１２に顔が向けられていた場合には、これまでに空中像１２に顔が向けられていた時間の積算値を計測時間として状態情報の一つに加えて状態情報記憶部９９に記憶させる。そして、ステップＳ１９に処理が進められ、第二表示制御部９２に基づいて、次のコンテンツの表示画像に表示が切り替えられてステップＳ１に処理が戻される。
【００５８】
ステップＳ９に次いで、取得部９８は、状態情報の一つとして検出された人物の顔の表情が笑顔であるか否かを判定する（ステップＳ１１）。
そして、検出された人物の顔の表情が笑顔である場合には（ステップＳ１１：ＹＥＳ）、その際に表示されているのがいずれのコンテンツの表示画像であるかを関連づけて検出された人物の顔の表情を状態情報の一つとして状態情報記憶部９９に記憶させる（ステップＳ１３）。
そして、ステップＳ１９に処理が進められ、第二表示制御部９２に基づいて、次のコンテンツの表示画像に表示が切り替えられてステップＳ１に処理が戻される。
【００５９】
また、検出された人物の顔の表情が笑顔ではなかった場合には（ステップＳ１１：ＮＯ）、検出された人物の顔の表情が驚きであるか否かを判定する（ステップＳ１５）。
そして、検出された人物の顔の表情が驚きである場合には（ステップＳ１５：ＹＥＳ）、その際に表示されているのがいずれのコンテンツの表示画像であるかを関連づけて検出された人物の顔の表情を状態情報の一つとして状態情報記憶部９９に記憶させる（ステップＳ１７）。
そして、ステップＳ１９に処理が進められ、第二表示制御部９２に基づいて、次のコンテンツの表示画像に表示が切り替えられてステップＳ１に処理が戻される。
【００６０】
また、検出された人物の顔の表情が驚きではなかった場合には（ステップＳ１５：ＮＯ）、そのままステップＳ１９に処理が進められ、第二表示制御部９２に基づいて、次のコンテンツの表示画像に表示が切り替えられてステップＳ１に処理が戻される。
【００６１】
また、前述したステップＳ３において、撮影範囲内に人物がいなかった場合には（ステップＳ３：ＮＯ）、第一表示制御部９１により、撮影範囲内に人物がいなくなってからの経過時間が予め定められた規定時間を経過したか否かが判定される（ステップＳ２１）。
そして、撮影範囲内に人物がいなくなってから規定時間を経過していない場合には（ステップＳ２１：ＮＯ）、ステップＳ１に処理が戻されて、次の撮影が行われる。
また、撮影範囲内に人物がいなくなってから規定時間を経過した場合には（ステップＳ２１：ＹＥＳ）、画像表示装置１による表示画像１１の表示が行われている場合にはそれが停止され（ステップＳ２３）、ステップＳ１に処理が戻されて、次の撮影が行われる。
【００６２】
［サイネージ装置の各構成による作用］
上記構成からなるサイネージ装置１０は、画像表示装置１において所定の表示画像データに基づいて表示画像１１が表示されると、画像表示装置１からの光が光学プレート２の入射面２２に入射し、出射面２３側からビームスプリッター４を透過して出射される。
その結果、光学プレート２について面対称となる位置に空中像１２が結像する。この空中像１２は、表示画像１１と同様に、所定の表示画像データに基づいた画像となる。
画像表示装置１による表示画像１１の表示と共に、発光部７ではLEDが発光し、空中像１２に対する規定の観察位置Ｋに向かって赤外線光が照射される。
このとき、撮影範囲内に人物がいる場合には、赤外線光が照射されて、人物に照射された赤外線の散乱光が発生する。
カメラ５は、ビームスプリッター４を介する光軸５ａが空中像１２に対して垂直となるように向けられているので、人物による赤外線の散乱光は、空中像１２に対して垂直方向から撮影される。
このとき、ビームスプリッター４には半透過層４１が形成されているので、人物に生じた赤外線の散乱光は、その殆どがビームスプリッター４を透過することなくカメラ５側に反射される。
また、人物の周囲の可視光の大部分は、ビームスプリッター４の半透過層４１を透過し、反射した一部の可視光もカメラ５のフィルター部材５１でカットされ、その殆どは撮影されない。
このように、サイネージ装置１０は、人物の周囲の可視光を十分に排除した状態で、空中像１２に対する垂直方向から人物に生じた赤外線の散乱光を撮影し、これに基づいて撮影範囲内の人物を良好に撮影することができ、人物の有無や人物の状態情報を精度良く検出することができる。
【００６３】
［第一の実施形態の技術的効果］
上記サイネージ装置１０では、表示画像１１からの光の一部を透過し、他の一部を反射させるビームスプリッター４を介して、カメラ５が空中像１２より遠方の観察位置を含む撮影範囲を撮影している。
このため、撮影範囲に人物が存在する場合に、当該人物の赤外線散乱光を空中像１２に対する垂直方向から撮影することができ、台形歪み等の影響を低減し、顔認識や表情認識等のより詳細な検出を行うための良好な撮影画像を得ることができ、精度良く各種の状態情報を検出することが可能となる。
【００６４】
また、サイネージ装置１０は、撮影範囲に対して赤外線光を発光する発光部７を有するので、撮影範囲内に人物が存在する場合に生じる散乱光に基づいて、人物の周囲の可視光線の影響を抑えて、当該人物の撮影を行うことができ、当該人物に関する各種の状態情報をより精度良く検出することが可能となる。
特に、発光部７による赤外線光の照射範囲Ｈを、空中像１２に対する規定の観察位置Ｋにおけるカメラ５の撮影範囲Ｓの大きさに合わせることで、不要な範囲にまで赤外線が照射されず、撮影範囲内の人物に関する各種の状態情報をより精度良く検出することが可能となる。
【００６５】
また、カメラ５が、可視光をカットするフィルター部材５１を介して撮影するので、撮影範囲に人物が存在する場合に、人物の周囲の可視光の影響を低減して当該人物を撮影することができ、各種の状態情報の検出精度をさらに向上させることが可能となる。
【００６６】
また、ビームスプリッター４が、表面で可視光を透過し、不可視光である赤外線光を反射する半透過層４１を有するので、人物の周囲の可視光の影響をさらに低減することができ、各種の状態情報の位置検出精度をさらに向上させることが可能となる。
【００６７】
また、サイネージ装置１０は、制御装置９がカメラ５の撮影画像からその撮影範囲に含まれる人物を検出する人物検出部９５と、人物検出部９５により人物が検出されると空中像１２を表示させ、人物検出部９５により人物が検出されなくなると一定時間経過後に空中像１２の表示を終了させる第一表示制御部９１とを備えている。
このため、周囲に人はいない場合に不要となる空中像１２の表示を抑えることができ、適切な表示を行うことが可能となる。また、節電効果も得ることができる。
【００６８】
また、制御装置９がカメラ５の撮影画像に含まれる人物の顔の向きから空中像１２を観察しているか否かを判定する観察判定部９６を備え、取得部９８は、観察判定部９６により空中像１２を観察していると判定された場合に、人物の状態情報として、その観察時間を計測する処理を行っている。
このため、観察時間の取得により、その際の表示画像（空中像１２）に対して、人物がどの程度興味を持っているかを判断する情報を得ることができ、表示画像に対する有益な情報を得ることが可能となる。特に、表示画像が広告等である場合には、その広告により宣伝効果や注目度をリサーチすることが可能となる。
【００６９】
また、制御装置９が複数の表示画像を画像表示装置１に順番に表示させる第二表示制御部９２を備え、取得部９８は、カメラ５の撮影画像に含まれる人物の表情を検出し、検出された表情が規定の表情である場合に、その時に表示されていた表示画像が複数のコンテンツの表示画像のいずれであるかを関連づけて人物の表情を人物の状態情報として状態情報記憶部９９に記憶する処理を行っている。
このため、人物の表情とコンテンツの種類との関連づけにより、その際の表示画像（空中像１２）に対して、人物がどのような興味を持っているか、また、その評判の善し悪しを判断する情報を得ることができ、表示画像に対する有益な情報を得ることが可能となる。特に、表示画像が広告等である場合には、その広告により宣伝効果や好感度、評判等をリサーチすることが可能となる。
【００７０】
また、複数のコンテンツに関する表示画像を画像表示装置１に順番に表示させる第二表示制御部９２を備え、取得部９８は、複数のコンテンツの表示画像ごとに分類して人物の状態情報を取得し、状態情報記憶部９９に記憶する処理を行っている。
このため、各コンテンツごとに、興味の度合いや注目度等を判断する情報を効果的に収集することが可能となる。
特に、表示画像が広告等である場合には、その広告により宣伝効果や好感度、評判、注目度等の判断する情報を効果的にリサーチすることが可能となる。
【００７１】
また、サイネージ装置１０では、平面的な被対象物からの光を空中に結像させて空中像を形成する光学素子として、プレート平面に対して垂直方向から見て互いに直交する複数の反射面２１２，３１２を有する光学プレート２を使用している。
これにより、より精細に空中像１２を結像させることが可能となる。
【００７２】
ここで、カメラ５が撮影する方向が空中像１２に対する法線方向に対して傾斜を生じた場合の分解能への影響について説明する。
図１１は撮影面に対してカメラ５の光軸５ａを垂直に向けて撮影を行う場合（正対状態とする）と撮影面の法線に対してカメラ５の光軸５ａが傾斜角度θで傾斜した場合（傾斜状態とする）における各部の寸法を示す説明図である。
【００７３】
図１１の符号は以下の通りである。
ω：カメラ５の半画角
Ｔ：カメラ５から撮影面Ｅまでの距離
Ｄａ：正対状態のカメラ５の撮影範囲の撮影面Ｅに沿った方向の幅
Ｄｂ：傾斜状態のカメラ５の撮影範囲の撮影面Ｅに沿った方向の幅
ａ：正対状態のカメラ５の撮影範囲の一端部から傾斜状態の撮影範囲の一端部までの撮影面Ｅに沿った方向の幅
ｂ：正対状態のカメラ５の撮影範囲の他端部から傾斜状態の撮影範囲の他端部までの撮影面Ｅに沿った方向の幅
【００７４】
上記各寸法について次式(1)〜(4)が成立する。
ａ＝Ｔtanω−Ｔtan(ω−θ)＝Ｔ{tanω−tan(ω−θ)}    …(1)
ｂ＝Ｔtan(ω＋θ)−Ｔtanω＝Ｔ{tan(ω＋θ)−tanω}    …(2)
Ｄｂ＝Ｄａ−ａ＋ｂ＝Ｄａ−２Ｔtanω＋Ｔtan(ω−θ)＋Ｔtan(ω＋θ)    …(3)
Ｄａ＝２Ｔtanω    …(4)
【００７５】
正対状態から傾斜状態にカメラ５を傾斜させた場合の分解能の低下率Ｒは次式(5)により求まる。なお、これらの計算は、カメラ５の光学系のレンズの歪曲収差を考慮しておらず、概算的なものである。
Ｒ＝Ｄａ／Ｄｂ
＝２Ｔtanω／{Ｔtan(ω−θ)＋Ｔtan(ω＋θ)}
＝２tanω／{tan(ω−θ)＋tan(ω＋θ)}    …(5)
【００７６】
上式(5)によれば、例えば、カメラ５の光軸５ａが空中像１２の法線に対して30°傾斜した方向から撮影した場合には、分解能の低下率Ｒ＝66.7％となる。
従って、サイネージ装置１０のようにビームスプリッター４を介してカメラ５の光軸５ａが空中像１２に対して垂直となる方向から撮影した場合には、台形歪みの影響だけでなく、傾斜による分解能の低下を効果的に抑制し、観察位置の人物の有無の判定及び人物の状態情報の検出をより精度良く行うことが可能となる。
【００７７】
［全反射ミラーの追加］
図１２はサイネージ装置１０に全反射ミラー５２を加えた例を示している（一部の構成については図示を省略している）。なお、この例では、全反射ミラー５２を新たに加えたこと及びカメラ５の配置以外については前述したサイネージ装置１０と同一なので、他の構成については同符号を付して重複する説明は省略する。
【００７８】
サイネージ装置１０では、表示画像１１から光学プレート２を経て空中像１２に到るまでの光の経路を避けてカメラ５を配置する必要があるので、図１の構成ではカメラ５を、光学プレート２から離間させて配置していた。
そこで、ビームスプリッター４に反射面が対向する配置で全反射ミラー５２を設け、当該全反射ミラー５２によりカメラ５の光軸５ａをビームスプリッター４側に反射させ、さらに、ビームスプリッター４に反射した光軸５ａが空中像１２に対して垂直となるようにカメラ５を配置する。
【００７９】
これにより、カメラ５をビームスプリッター４に対してより近い位置、さらには、ビームスプリッター４よりも画像表示装置１側に配置することができ、サイネージ装置１０の小型化を図ることが可能となる。
また、ビームスプリッター４の上方にカメラ５の配置スペースが確保できないような場合にも有効である。
【００８０】
なお、全反射ミラー５２は、反射面がＸ−Ｙ平面に平行となるように配置しても良いが、カメラ５の光軸５ａが空中像１２に対して垂直となるのであれば、全反射ミラー５２の反射面をＸ−Ｙ平面に対して傾斜させて配置しても良い。
【００８１】
［第二の実施形態］
本発明の第二の実施の形態であるサイネージ装置１０Ａについて図１３及び図１４に基づいて説明する。図１３はサイネージ装置１０Ａの主要な構成を模式的に示す説明図である。
このサイネージ装置１０Ａは、平面的な被対象物（表示画像１１）からの光を空中に結像させて空中像１２を形成する光学素子として再帰反射体２Ａを使用したことを特徴としている。
そして、このサイネージ装置１０Ａの構成は、光学プレート２を再帰反射体２Ａに替えた点を除いて前述したサイネージ装置１０と同一なので、同一となる構成については同符号を付して重複する説明は省略する。また、図１３では筐体８及び制御装置９の図示は省略している。
【００８２】
再帰反射体２Ａは、再帰反射面２１Ａをビームスプリッター４側に対向させた状態で、当該ビームスプリッター４の表示画像１１側に配置されている。
再帰反射体２Ａの再帰反射面２１Ａは、再帰反射性を備えており、再帰反射面２１Ａに入射した光を内部反射により入射方向と平行且つ逆方向に出射する特性を有している。
その反射面には、微小球体からなるガラスビーズやマイクロプリズムが全体に敷き詰められており、ガラスビーズ又はマイクロプリズムへの入射光を内部での屈折と反射によって平行且つ逆方向に出射させることができる。なお、再帰反射体については周知の構造であるため、詳細な説明は省略する。
【００８３】
再帰反射体２Ａは、表示画像１１からの光がビームスプリッター４で反射して再帰反射面２１Ａに入射するように配置されている。
この再帰反射体２Ａは、図１４に示すように、上記配置により、表示画像１１の点ｄからビームスプリッター４に向かって各方向に発せられた光は、いずれも、再帰反射体２Ａの再帰反射面２１Ａにより、入射方向と平行に逆方向に反射する。これにより、表示画像１１の点ｄから発せられた光は、ビームスプリッター４を透過して、当該ビームスプリッター４について面対称となる点ｄ0に結像する。
表示画像１１のいずれに位置する点ｄも全て同様に結像するので、表示画像１１はビームスプリッター４について面対称となる位置に結像して空中像１２が形成される。
【００８４】
なお、再帰反射体２Ａの再帰反射面２１Ａは、図１３に示すように、ビームスプリッター４及び表示画像１１側を向くように傾斜させることが望ましいが、表示画像１１に対して垂直にビームスプリッター４に向かった光の当該ビームスプリッター４による反射光が全体的に再帰反射体２Ａの再帰反射面２１Ａに入射させることが可能であれば、その傾斜角度は変更可能である。
【００８５】
このサイネージ装置１０Ａは、前述したサイネージ装置１０と同様に、カメラ５はビームスプリッター４を介する光軸５ａが空中像１２に対して垂直となるように配置されているので、台形歪みを低減し、また、撮影時の分解能の低下を抑制することができる。従って、再帰反射体２Ａを使用した場合も、光学プレート２の場合と同様に、観察位置の人物の有無の判定及び人物の状態情報の検出をより精度良く行うことが可能となる。
さらに、サイネージ装置１０Ａは、光学素子として再帰反射体２Ａを備えているので、光学プレート２に比べて比較的製造が容易であり、製造コストの低減を図ることができる。
また、再帰反射体２Ａは、その再帰反射面２１Ａの傾斜角度をより広範囲に設定することができるので、装置の内部構成の配置について設計の自由度が高く、また、装置の小型化を容易に実現することができる。
【００８６】
［カメラと再帰反射体の配置の他の例］
図１５は装置内部におけるカメラ５と再帰反射体２Ａの配置の他の例を示す説明図である。
この例では、ビームスプリッター４に対する画像表示装置１の配置は図１３のサイネージ装置１０Ａの配置と同じだが、カメラ５の配置が、図１３のサイネージ装置１０Ａの配置に対して、ビームスプリッター４について面対称となる位置に変更され、再帰反射体２Ａの配置が、図１３のサイネージ装置１０Ａの配置に対して、ビームスプリッター４について面対称となる位置に変更されている。
また、この図１５の例の場合、ビームスプリッター４に半透過層４１は、形成されない。
【００８７】
カメラ５と再帰反射体２Ａを図１５に示す配置とした場合には、画像表示装置１において表示画像１１が表示されると、画像表示装置１からの光がビームスプリッター４を透過して再帰反射体２Ａの再帰反射面２１Ａに再帰反射され、その反射光はビームスプリッター４で反射されて、当該ビームスプリッター４について表示画像１１と面対称となる位置で空中像１２として結像する。
一方、カメラ５は、光軸がビームスプリッター４を透過して、空中像１２に対して垂直となるように配置されているので、撮影範囲及び空中像１２を観察する人物を正面から撮影することができる。
従って、この図１５に示す配置の場合も、図１３のサイネージ装置１０Ａと同様に、台形歪みを低減し、また、撮影時の分解能の低下を抑制して、撮影範囲内の人物の有無の判定や人物の状態情報の検出をより正確に行うことが可能となる。
【００８８】
［ステレオカメラの使用例］
また、前述した図１，図１２，図１３，図１５に示すサイネージ装置は、いずれも単一のカメラ５により撮影を行う構成を例示したが、図１６に示すように、カメラ５に替えてステレオカメラ５Ｂを使用しても良い。
この図１６では、図１のサイネージ装置１０のカメラ５をステレオカメラ５Ｂに変更した場合を例示する。
【００８９】
ステレオカメラ５Ｂは二つのカメラ５５Ｂ，５６Ｂからなり、これらはいずれもビームスプリッター４を介する光軸が空中像１２に対して垂直となるように配置され、ビームスプリッター４より手前側において、少なくとも各々の光軸に垂直となるいずれかの方向について離間して配置されている。ここでは、カメラ５５Ｂ，５６Ｂが互いにＸ方向に離間して配置されている場合を例示する。
【００９０】
ステレオカメラ５Ｂを設ける構成の場合、サイネージ装置の制御装置は、二つのカメラ５５Ｂ，５６Ｂの視差により、カメラ５５Ｂとカメラ５６Ｂのそれぞれの撮影画像の各画素ごとに各カメラ５５Ｂ，５６Ｂから光軸上の距離を特定することができる。
従って、空中像１２を観察する一般的な距離を設定し、当該距離範囲内に撮影された動体を人物として判定することで、空中像１２を観察する人物を効果的に精度良く検出することが可能となる。
【００９１】
ここでは、図１のサイネージ装置１０にステレオカメラ５Ｂを適用した場合を例に説明したが、図１２，図１３，図１５に示すサイネージ装置にステレオカメラ５Ｂを適用した場合も、空中像１２を観察する人物を効果的に精度良く検出することが可能となる。
さらに、図１，図１２，図１３，図１５に示すサイネージ装置のいずれにステレオカメラ５Ｂを適用した場合でも、各カメラ５５Ｂ，５６Ｂは、空中像１２に対して垂直となる方向に光軸が向けられるので、台形歪みを低減し、人物の状態情報を精度良く検出することが可能となる。
【００９２】
［その他］
その他、上述した各種の実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、サイネージ装置は、いずれも、カメラ５にフィルター部材５１を設け、ビームスプリッター４には半透過層４１が形成されているが、これらはいずれか一方のみを設ける構成としても良い。
【００９３】
また、人物の状態情報としては、検出された人物の顔からさらに、眼球の瞳部分の検出を行い、これによって、人物が観察している方向やその視線の先にある表示内容を特定し、これらのいずれかを状態情報として記憶しても良い。
【符号の説明】
【００９４】
１  画像表示装置
１１  表示画像
１２  空中像
２  光学プレート（光学素子）
２Ａ  再帰反射体（光学素子）
２０，３０  光学パネル
２１，３１  板状部材
２１Ａ  再帰反射面
２１２，３１２  反射面
４  ビームスプリッター
４１  半透過層
５  カメラ
５Ｂ  ステレオカメラ
５ａ  光軸
５１  フィルター部材
５２  全反射ミラー
５５Ｂ，５６Ｂ  カメラ
７  発光部
９  制御装置
９１  第一表示制御部
９２  第二表示制御部
９３  画像記憶部
９４  撮影制御部
９５  人物検出部
９６  観察判定部
９８  取得部
９９  状態情報記憶部
１０，１０Ａ  サイネージ装置
【図１】
2019132916.tif 000003
【図２】
2019132916.tif 000004
【図３】
2019132916.tif 000005
【図４】
2019132916.tif 000006
【図５】
2019132916.tif 000007
【図６】
2019132916.tif 000008
【図７】
2019132916.tif 000009
【図８】
2019132916.tif 000010
【図９】
2019132916.tif 000011
【図１０】
2019132916.tif 000012
【図１１】
2019132916.tif 000013
【図１２】
2019132916.tif 000014
【図１３】
2019132916.tif 000015
【図１４】
2019132916.tif 000016
【図１５】
2019132916.tif 000017
【図１６】
2019132916.tif 000018