(57)【要約】【課題】ジェスチャを検出するセンサの設置に関する制約が緩和された、改善された表示装置および表示制御方法を提供する。【解決手段】表示装置は、映像を投影体に投影する投影装置と、投影体を挟んで投影装置の反対側に位置するオブジェクトの位置または動きを検出するレーダ装置であって、投影体を挟んでオブジェクトの反対側に設置されたレーダ装置と、レーダ装置が検出した位置または動きに応じて映像の再生を制御する制御装置と、を備える。表示制御方法は、投影装置によって映像を投影体に投影し、投影体を挟んで投影装置の反対側に位置するオブジェクトの位置または動きを、投影体を挟んでオブジェクトの反対側に設置されたレーダ装置によって検出し、レーダ装置によって検出された位置または動きに応じて映像の再生を制御装置によって制御する。【選択図】図１
2020149453.tif 000002
【特許請求の範囲】
【請求項１】
映像を投影体に投影する投影装置と、
前記投影体を挟んで前記投影装置の反対側に位置するオブジェクトの位置または動きを検出するレーダ装置であって、前記投影体を挟んで前記オブジェクトの反対側に設置されたレーダ装置と、
前記レーダ装置が検出した前記位置または動きに応じて前記映像の再生を制御する制御装置と、
を備える、表示装置。
【請求項２】
前記投影装置に対する前記レーダ装置の相対位置が固定されている、請求項１に記載の表示装置。
【請求項３】
前記投影装置と前記レーダ装置とは、一体に設けられる、請求項２に記載の表示装置。
【請求項４】
前記投影装置は、前記投影体に対する前記投影装置の相対位置および姿勢に基づいて、前記映像の補正に用いるキャリブレーション情報を生成し、
前記レーダ装置は、前記キャリブレーション情報に基づいて、前記レーダ装置が検出した前記オブジェクトの位置または動きを補正する、
請求項１から３のいずれか一項に記載の表示装置。
【請求項５】
前記制御装置は、前記レーダ装置が検出した前記位置または動きと前記映像の内容とに応じて、前記映像の再生を制御する、請求項１から４のいずれか一項に記載の表示装置。
【請求項６】
前記レーダ装置は、ミリ波レーダを備える、
請求項１から５のいずれか一項に記載の表示装置。
【請求項７】
投影装置によって映像を投影体に投影し、
前記投影体を挟んで前記投影装置の反対側に位置するオブジェクトの位置または動きを、前記投影体を挟んで前記オブジェクトの反対側に設置されたレーダ装置によって検出し、
前記レーダ装置によって検出された前記位置または動きに応じて前記映像の再生を制御装置によって制御する、
表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示装置および表示制御方法に関する。
【背景技術】
【０００２】
近年、４Ｋ８Ｋコンテンツの普及および充実化に伴い、パネルまたはスクリーンといった映像表示デバイスの大型化および大画面化が進んでいる。また、公共施設におけるデジタルサイネージといった新たな用途に供する映像表示デバイスの屋外における設置拡大が進んでいる。
【０００３】
また、センサ技術の進展に伴い、コンテンツにおいても適応型または対話型への対応要求が増大している。これらのコンテンツのインタラクション手法として、カメラや赤外線（ＩＲ）センサを用いて指または手のジェスチャを検出する手法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−４０２７１号公報
【特許文献２】特表２０１０−５３１０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示の非限定的な実施例は、ジェスチャを検出するセンサの設置に関する制約が緩和された、改善された表示装置および表示制御方法の提供に資する。
【課題を解決するための手段】
【０００６】
本開示に係る表示装置は、映像を投影体に投影する投影装置と、前記投影体を挟んで前記投影装置の反対側に位置するオブジェクトの位置または動きを検出するレーダ装置であって、前記投影体を挟んで前記オブジェクトの反対側に設置されたレーダ装置と、前記レーダ装置が検出した前記位置または動きに応じて前記映像の再生を制御する制御装置と、を備える構成を採る。
【０００７】
本開示に係る表示制御方法は、投影装置によって映像を投影体に投影し、前記投影体を挟んで前記投影装置の反対側に位置するオブジェクトの位置または動きを、前記投影体を挟んで前記オブジェクトの反対側に設置されたレーダ装置によって検出し、前記レーダ装置によって検出された前記位置または動きに応じて前記映像の再生を制御装置によって制御する構成を採る。
【０００８】
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００９】
本開示の非限定的な実施例によれば、ジェスチャを検出するセンサの設置に関する制約が緩和された、改善された表示装置および表示制御方法を提供できる。
【００１０】
本開示の非限定的な実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【００１１】
【図１】本開示に係るプロジェクション装置の配置の一例を示す図
【図２】本開示に係るプロジェクション装置の構成の一例を示す図
【図３】本開示に係る点群データの一例を示す図
【図４】本開示に係るジェスチャ検出部の構成の一例を説明する図
【図５】本開示に係る点データの一例を示す図
【図６】本開示に係る点データの一例を示す図
【図７】本開示に係る画素データの一例を示す図
【図８】本開示に係るレーダ画像データの一例を示す図
【図９】本開示に係る画像処理に用いられるレーダ画像データの一例を示す図
【図１０】本開示に係る画像処理後のレーダ画像データの一例を示す図
【図１１】画像圧縮の一例であるcoarse-to-fine法を説明する図
【図１２】画像圧縮の一例であるcoarse-to-fine法によって得られた圧縮画像データの一例を示す図
【図１３】本開示に係るレーダ画像データからのオブジェクトの検出結果の一例を示す図
【図１４】本開示に係るオブジェクトを検出する領域の設定の一例を示す図
【図１５】本開示に係るオブジェクトを検出する領域の設定の他の一例を示す図
【図１６】本開示に係るジェスチャテーブルの一例を示す図
【図１７】本開示に係るレーダ装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００１２】
既存の手法においては、センサ（カメラやＩＲ等）の特性から、屋内や小画面での利用が想定されており、屋外や大画面に適用することは、想定されていない。
【００１３】
また、映像表示デバイスの大型化および大画面化に伴い、視聴者のジェスチャを検出するセンサの設置場所および設置個数に対して制約が生じうる。そのため、商業利用における実用化に際して、制約を克服することが期待される。
【００１４】
例えば、適応型または対話型コンテンツを操作する視聴者のジェスチャを、視聴者を見通せる場所に設置されたセンサによって検出する場合、センサの設置場所は、映像表示デバイスのスクリーンに対して、視聴者と同じ側に設置され得る。これに対して、本開示は、ジェスチャを検出するセンサを、リアプロジェクション方式の映像表示デバイスに対して視聴者がいない側に配置することにより、センサの設置場所および設置個数といった設置に関する制約を緩和する。
【００１５】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する実施の形態は一例であり、本開示は以下の実施の形態により限定されるものではない。
【００１６】
図１は、本開示に係るプロジェクション装置１の配置の一例を示す図である。図２は、本開示に係るプロジェクション装置１の構成の一例を示す図である。プロジェクション装置１は、制御装置１０と、プロジェクタ装置２０と、レーダ装置３０と、を備える。
【００１７】
プロジェクション装置（表示装置）１は、スクリーン２に向けてインタラクティブコンテンツを投影する。また、プロジェクション装置（表示装置）１は、検出領域（または検出空間）３内のオブジェクトの動作（ジェスチャ）を検出し、オブジェクトの動作に応じてインタラクティブコンテンツを制御する。なお、スクリーン２は、投射材、投影材、投射面、あるいは、投影面と称されてもよい。オブジェクトは、物体、検出対象、対象物、あるいは、ターゲットと称されてもよい。オブジェクトは、例えば、インタラクティブコンテンツの視聴者である。
【００１８】
スクリーン２は、インタラクティブコンテンツの視聴者に対して、プロジェクタ装置２０から投影された映像を提示する。スクリーン２は、ミリ波帯の電波が透過する素材（例えば、誘電体）から構成される。一例において、スクリーン２は、リアプロジェクション用スクリーンである。他の一例において、スクリーン２は、窓ガラスである。プロジェクション装置１は、スクリーン２を挟んで、インタラクティブコンテンツの視聴者の反対側（背面側）に設置される。
【００１９】
一例において、レーダ装置３０に対するプロジェクタ装置２０の相対位置は固定される。例えば、図１および図２に示されるように、プロジェクション装置１を構成する制御装置１０とプロジェクタ装置２０とレーダ装置３０とは、一体に設けられる。他の一例において、制御装置１０とプロジェクタ装置２０とレーダ装置３０とは、一部または全部が別体であってもよい。例えば、制御装置１０とプロジェクタ装置２０とは、離れた場所に分離して設置されてもよい。また、例えば、制御装置１０とレーダ装置３０とは、離れた場所に分離して設置されてもよい。
【００２０】
制御装置１０は、プロジェクタ装置２０とレーダ装置３０とを制御する。制御装置１０は、図２に示すように、例えば、コンテンツ記録部１１と、コンテンツ再生制御部１２と、を備える。
【００２１】
コンテンツ記録部１１は、プロジェクタ装置２０によって投影されるインタラクティブコンテンツを記録する。ここで、インタラクティブコンテンツとは、例えば、レーダ装置３０が検出した視聴者のジェスチャに応じて内容が変化するコンテンツである。
【００２２】
コンテンツ再生制御部１２は、インタラクティブコンテンツを再生する。例えば、コンテンツ再生制御部１２は、ジェスチャ検出部３１からの指示に基づき、再生するコンテンツを生成し、生成したコンテンツの投影をプロジェクタ装置２０に指示する。再生するコンテンツは、例えば、指示に基づいて操作が行われた後のコンテンツである。
【００２３】
プロジェクタ装置２０は、スクリーン２を挟んでインタラクティブコンテンツの視聴者の反対側（背面側）から、スクリーン２に向けてインタラクティブコンテンツの映像を投影する。プロジェクタ装置２０は、例えば、投影部２１と、キャリブレーション部２２と、を備える。
【００２４】
投影部２１は、コンテンツ再生制御部１２からインタラクティブコンテンツを取得し、スクリーン２に向けてインタラクティブコンテンツの映像を投影する。
【００２５】
キャリブレーション部２２は、プロジェクタ装置２０のスクリーン２に対する相対位置および姿勢を検出し、投影部２１が正しい画角で映像を投影するように、投影部２１をキャリブレーションする。キャリブレーション部２２は、スクリーン２に対するプロジェクタ装置２０の相対位置および姿勢（傾き）を検出するためのセンサ（図示せず）を備える。センサは、例えば、カメラ、赤外線センサ、または傾きセンサである。キャリブレーション部２２は、センサが検出した相対位置情報および姿勢情報に基づいて、スクリーン２に投影する映像を補正（例えば、台形補正）する。キャリブレーション部２２は、相対位置情報および姿勢情報を、ジェスチャ検出部３１に出力する。ジェスチャ検出部３１は、スクリーン２に投影された映像とジェスチャを行うオブジェクトとの位置関係を把握するために、相対位置情報および姿勢情報を用いる。位置関係の把握の詳細については、図２〜図８を参照して後述する。
【００２６】
レーダ装置３０は、レーダ波を照射し、反射波を検出し、反射波に基づいてオブジェクト（インタラクティブコンテンツの視聴者）の動作（ジェスチャ）を検出する。レーダ装置３０は、スクリーン２を挟んでインタラクティブコンテンツの視聴者の反対側（背面側）に設置される。レーダ装置３０は、例えば、ミリ波３Ｄレーダ部３４と、ジェスチャ検出部３１と、ジェスチャテーブル３２と、ジェスチャ定義データベース３３と、を備える。
【００２７】
ミリ波３Ｄレーダ部３４は、コンテンツの視聴者の動作を点群データとして検出し、検出した点群データをフレーム単位でジェスチャ検出部３１へ送信する。
【００２８】
図３は、本開示に係る点群データ１４０の一例を示す図である。
【００２９】
図３に示されるように、点群データ１４０は、複数の点データ１４１を含む。点データ１４１は、反射点の位置情報１４１ａと、反射強度と、ドップラー値と、を含む。反射点の位置情報１４１ａは、レーダ装置３０の位置を原点とし、レーダ装置３０が装置照射するレーダ波の中心照射方向を基準とした反射点の方位角および仰角と、レーダ装置３０および反射点の間の距離と、を含む。
【００３０】
再度、図２を参照する。ジェスチャ検出部３１は、ミリ波３Ｄレーダ部３４から点群データ１４０を受信し、点群データ１４０からジェスチャを検出し、検出したジェスチャに基づいて、コンテンツ再生制御部１２を制御する。
【００３１】
図４は、本開示に係るジェスチャ検出部３１の構成の一例を説明する図である。
【００３２】
図４には、図２に示される構成要素のうち、コンテンツ再生制御部１２と、キャリブレーション部２２と、ジェスチャテーブル３２と、ジェスチャ定義データベース３３と、ミリ波３Ｄレーダ部３４、がジェスチャ検出部３１と併せて示されている。
【００３３】
ジェスチャ検出部３１は、点群データ受信部３１１と、点群データ補正部３１２と、スコア計算部３１３と、ジェスチャ判定部３１４と、制御情報取得部３１５と、再生制御指示部３１６と、を備える。
【００３４】
点群データ受信部３１１は、ミリ波３Ｄレーダ部３４より、フレーム単位で点群データ１４０を受信し、検出領域３（図１参照）に含まれる反射点を示す点データ１４１を抽出する。次いで、点群データ受信部３１１は、抽出した点データ１４１に含まれる距離を圧縮する。例えば、点群データ受信部３１１は、抽出した点データ１４１に含まれる距離の中で最も近い距離の値を選択して、選択した値に基づいて他の点データ１４１の距離の値を変換することによって、距離を圧縮してもよい。また、例えば、点群データ受信部３１１は、検出領域３の小区画または同一方位範囲または同一仰角範囲ごとに、小区画または同一方位範囲または同一仰角範囲内の点データ１４１に含まれる距離を加算平均することによって、距離を圧縮してもよい。
【００３５】
次いで、点群データ受信部３１１は、距離を圧縮した点データ１４１の、距離と方位角と仰角とを含む極座標系を用いて表現された反射点の位置情報１４１ａを、レーダ装置３０の位置を原点とする直交座標系を用いて表現された反射点の位置情報に変換する。
【００３６】
図５は、本開示に係る点データ１４２の一例を示す図である。
【００３７】
点データ１４２は、反射点の位置情報１４１ａが直交座標に変換された後の反射点の位置情報１４２ａと、反射強度と、ドップラー値と、を含む。位置情報１４２ａは、レーダ装置３０の位置を原点として、第１軸、第２軸、および第３軸から構成される直交座標系（例えば、ｕｖｗ座標系）を用いて表現された座標値を含む。例えば、第１軸（例えばｕ軸）は、レーダ装置３０の位置を原点とし、レーダ装置３０が照射するレーダ波の中心照射方向に平行である。点データ１４２が含む反射強度およびドップラー値は、それぞれ、点データ１４１が含む反射強度およびドップラー値と同一である。点群データ受信部３１１は、変換後の点データ１４２を点群データ補正部３１２に出力する。
【００３８】
再度、図４を参照する。点群データ補正部３１２は、キャリブレーション部２２から補正情報を取得する。補正情報は、スクリーン２に対するプロジェクタ装置２０の相対位置情報および姿勢情報を含む。次いで、点群データ補正部３１２は、プロジェクタ装置２０に対するレーダ装置３０の相対位置情報および姿勢情報と、取得した補正情報と、に基づいて、点データ１４２に含まれる反射点の位置情報１４２ａを補正する。補正は、例えば、回転変換、相似変換、鏡像変換、平行移動、またはこれらの組み合わせを含む。
【００３９】
図６は、本開示に係る点データ１５０の一例を示す図である。
【００４０】
点データ１５０は、反射点の位置情報１４２ａが補正された後の反射点の位置情報１５０ａと、反射強度と、ドップラー値と、を含む。位置情報１５０ａは、スクリーン２に投影される映像の中心を原点として、Ｘ軸、Ｙ軸、およびＺ軸から構成される直交座標系を用いて表現された座標値を含む。例えば、Ｘ軸およびＹ軸は、それぞれ、スクリーン２の投影面の左右方向および上下方向に平行であり、Ｚ軸は、スクリーン２の投影面に垂直である。点データ１５０が含む反射強度およびドップラー値は、それぞれ、点データ１４２が含む反射強度およびドップラー値と同一である。点群データ補正部３１２は、変換後の点データ１５０をスコア計算部３１３に出力する。
【００４１】
再度、図４を参照する。スコア計算部３１３は、まず、取得した点データ１５０に基づいて、レーダ画像データの座標（Ｘ，Ｙ）に対応する画素データを生成する。
【００４２】
図７は、本開示に係る画素データ１６０の一例を示す図である。
【００４３】
図７に示される画素データ１６０のＺ軸値、反射強度、およびドップラー値は、それぞれ、図６に示される点データ１５０の要素のうち、Ｘ軸値およびＹ軸値を除く、Ｚ軸値、反射強度、およびドップラー値に対応する。
【００４４】
次いで、スコア計算部３１３は、座標（Ｘ，Ｙ）に画素データ１６０を量子化した値を有するレーダ画像データを生成する。
【００４５】
図８は、本開示に係るレーダ画像データ６００の一例を示す図である。
【００４６】
レーダ画像データ６００の座標（Ｘ，Ｙ）における各画素の画素値は、位置情報に示されるＸ軸値およびＹ軸値が、それぞれ、ＸおよびＹに等しい画素データ１６０を量子化した値である。スコア計算部３１３は、例えば、画素データ１６０の要素の値をそのままＲＧＢ値と扱ってグレイスケール化することによって、画素データ１６０を量子化してもよい。なお、グレイスケール化における画素データ１６０の各要素の重み付けは、アプリケーション毎に最適なものを選択してもよい。また、スコア計算部３１３は、画素データ１６０を量子化した後に値を正規化してもよい。このように、スコア計算部３１３は、補正後の点データ１５０に基づいてレーダ画像データを生成する。ジェスチャ検出部３１は、レーダ画像データを用いることにより、スクリーン２に投影された映像とジェスチャを伴うオブジェクトとの位置関係を把握できる。
【００４７】
一例において、スコア計算部３１３は、ミリ波３Ｄレーダ部３４による信号処理によって点群データ１４０から除去することが困難である不要な情報（例えば、部分６００ａ）を、レーダ画像データ６００を生成した後に、画像処理によって除去してもよい。例えば、レーダ画像データ６００に含まれる、そのような画像処理の一例を、図９および図１０を参照して説明する。
【００４８】
図９は、本開示に係る画像処理に用いられるレーダ画像データ７００の一例を示す図である。
【００４９】
レーダ画像データ７００は、オブジェクトが存在しない状態で、スコア計算部３１３が予め取得したレーダ画像データである。レーダ画像データ７００は、例えば、画像処理によって除去される不要な情報に対応する部分７００ａを含む。
【００５０】
図１０は、本開示に係る画像処理後のレーダ画像データ８００の一例を示す図である。
【００５１】
例えば、スコア計算部３１３は、画像処理前のレーダ画像データ６００と、予め取得したレーダ画像データ７００と、の差分（背景差分）を抽出することにより、不要な情報を除去した、画像処理後のレーダ画像データ８００を取得できる。レーダ画像データ８００に含まれる部分８００ａにおいて、不要な情報が除去されている。
【００５２】
次いで、スコア計算部３１３は、生成したレーダ画像データからオブジェクトを検出する。例えば、スコア計算部３１３は、画像処理分野において知られているcoarse-to-fine法を用いて、レーダ画像データからオブジェクトを検出する。
【００５３】
図１１は、画像圧縮の一例であるcoarse-to-fine法を説明する図である。
【００５４】
coarse-to-fine法においては、検出対象のレーダ画像データ２００から、解像度を落とした複数の圧縮画像が生成される。例えば、レーダ画像データ２００において、４×４個の画素１７０からなるブロック５２の画素値を平均化した値を画素値とする、データ量がレーダ画像データ２００の１／１６である圧縮画像データが生成される。また、例えば、レーダ画像データ２００において、１６×１６個の画素１７０からなるブロック５３の画素値を平均化した値を画素値とする、データ量がレーダ画像データ２００の１／６４である圧縮画像データが生成される。
【００５５】
図１２は、画像圧縮の一例であるcoarse-to-fine法によって得られた圧縮画像データ８０１，８０２，８０３の一例を示す図である。
【００５６】
まず、上述のcoarse-to-fine法を用いて、圧縮前のレーダ画像データ８００の解像度を落とすことにより、レーダ画像データ８００と比較して、データ量１／４の圧縮画像データ８０１が生成される。さらに解像度を順に落とすことにより、データ量１／１６の圧縮画像データ８０２、およびデータ量１／６４の圧縮画像データ８０３が生成される。次いで、最も解像度の低い圧縮画像データ８０３から、画像処理分野において知られているラベリング法等を用いて、オブジェクトに対応する領域の抽出およびオブジェクトの検出が行われる。抽出された領域は、ともに抽出された領域の位置情報および検出されたオブジェクトと関連付けて管理される。
【００５７】
次に、抽出された位置情報に対応する、現在の解像度より一段階解像度の高い圧縮画像データ８０２内の領域から、オブジェクトに対応する領域の抽出およびオブジェクトの検出が行われる。この処理を、検出されたオブジェクトの全てに対して、最も解像度の高いデータ量１／１（圧縮前）のレーダ画像データ８００まで再帰的に行う。
【００５８】
図１３は、本開示に係るレーダ画像データ８００からのオブジェクトの検出結果の一例を示す図である。
【００５９】
例えば、最も解像度の低いデータ量１／６４の圧縮画像データ８０３から、オブジェクト「人物」に対応する領域１０１が検出される。さらに、検出された領域１０１の位置情報に対応する、データ量１／１６の圧縮画像データ８０２内の領域から、オブジェクト「頭」に対応する領域１０２と、オブジェクト「腕」に対応する領域１０３と、オブジェクト「胴体」に対応する領域１０４とが検出される。さらに、検出された領域１０３の位置情報に対応する、データ量１／４の圧縮画像データ８０１内の領域から、オブジェクト「手」に対応する領域１０５が検出される。
【００６０】
図１４は、本開示に係るオブジェクトを検出する領域３０１，３０２，３０３の設定の一例を示す図である。
【００６１】
例えば、アプリケーションによっては、オブジェクトを検出する領域および探査する深度が限定されてもよい場合がある。例えば、アプリケーションによってジェスチャを認識する対象が、スクリーン２の前の横に並ぶ３人に限定されている場合、スコア計算部３１３は、オブジェクトを検出する領域を、図１４に示されるように、レーダ画像データ２００内の３つの領域３０１，３０２，３０３に限定してもよい。これにより、例えば、ジェスチャ検出部３１は、３つの領域３０１，３０２，３０３に位置する複数の人物を分離して検出し、人物毎にジェスチャまたは動きをトラッキングすることが可能である。
【００６２】
図１５は、本開示に係るオブジェクトを検出する領域の設定の他の一例を示す図である。
【００６３】
例えば、アンケートのように、所定の個数の選択肢の中から何れかを選択させるアプリケーションの場合、スコア計算部３１３は、オブジェクトを検出する領域を、図１５に示されるように、レーダ画像データ２００内の１６個の領域３０４に限定してもよい。また、検出するために最低限度の解像度を有するデータが１つあればよく、検出の回数も一度でよい。
【００６４】
次いで、スコア計算部３１３は、検出オブジェクト毎に、対応する領域の画素情報からスコア値（特徴量）を計算する。スコア値（特徴量）は、例えば、ＨＯＧ（Histogram of Oriented Gradients）またはＥＯＨ（Edge of Oriented Histograms）といった手法を用いて計算してもよい。ＨＯＧ手法およびＥｏＨ手法においては、各画素を一次微分し、セル（ｎ×ｎ画素、但し、ｎは３以上の奇数）単位で勾配ヒストグラムを求め、ブロック単位で正規化することによって、スコア値（特徴量）を抽出する。スコア計算部３１３は、計算したスコアをジェスチャ判定部３１４に出力する。
【００６５】
ジェスチャ判定部３１４は、スコア計算部３１３から取得したスコアに基づいて、検出されたオブジェクトのジェスチャを特定する。例えば、ジェスチャ判定部３１４は、スコア計算部３１３から取得したスコアがジェスチャに対応するか否かを、ジェスチャ定義データベース３３に登録されている学習済みデータを用いて判定する。
【００６６】
ジェスチャ定義データベース３３は、ジェスチャ毎に、ミリ波３Ｄレーダ部３４で検出した点群データに基づいて、ジェスチャ検出部３１において算出されるスコアがジェスチャに対応するか否かを判定するために用いる学習済みデータを、ジェスチャを識別するためのジェスチャコードとともに記憶する。学習済みデータは、線形分類器、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）、またはニューラルネットワークといった教師あり学習手法を用いて、予め、既知のジェスチャと対応するスコアとを関連付けた教師データを学習した結果である。
【００６７】
スコアがジェスチャに対応する場合は、ジェスチャ判定部３１４は、対応するジェスチャコードを制御情報取得部３１５へ出力する。
【００６８】
制御情報取得部３１５は、コンテンツ再生制御部１２から現在再生中のインタラクティブコンテンツを識別するためのコンテンツＩＤを取得する。次いで、制御情報取得部３１５は、取得したコンテンツＩＤとジェスチャ判定部３１４から取得したジェスチャコードとに基づいて、ジェスチャテーブル３２を検索し、対応するコンテンツ制御情報を取得し、再生制御指示部３１６に出力する。
【００６９】
ジェスチャテーブル３２は、ジェスチャ検出部３１が検出したジェスチャに対して、インタラクティブコンテンツを再生制御する手順を記憶したテーブルである。ジェスチャに対する再生制御の手順は、例えば、インタラクティブコンテンツ（映像の内容）毎に定義される。
【００７０】
図１６は、本開示に係るジェスチャテーブル３２の一例を示す図である。
【００７１】
例えば、制御情報取得部３１５は、コンテンツＩＤ「１２３２３４」に基づいて、コンテンツに対応するコンテンツ制御情報リスト１７１を取得する。次いで、制御情報取得部３１５は、ジェスチャコード「１２３４」に基づいて、ジェスチャに対応するコンテンツ制御情報１７２を取得する。コンテンツ制御情報１７２は、例えば、コマンド「ｓｅｌｅｃｔ」「ｐｌａｙ」を含むコンテンツ動作制御情報１７３を含む。次いで、制御情報取得部３１５は、ジェスチャの検出領域の位置情報とともに、コンテンツ制御情報１７２またはコンテンツ動作制御情報１７３を再生制御指示部３１６に出力する。
【００７２】
再生制御指示部３１６は、制御情報取得部３１５から取得したコンテンツ制御情報１７２またはコンテンツ動作制御情報１７３をコンテンツ再生制御部１２に出力し、コンテンツ再生制御部１２を制御する。コンテンツ再生制御部１２は、例えば、位置情報に対応するスクリーン２の領域に表示されたタイトルに対応するコンテンツを、コマンド「ｓｅｌｅｃｔ」および「ｐｌａｙ」に従って、選択および再生する。
【００７３】
図１７は、本開示に係るレーダ装置３０の動作の一例を示すフローチャートである。
【００７４】
ステップＳ２０１において、ミリ波３Ｄレーダ部３４は、検出領域３内のオブジェクトによるレーダ波の反射強度、ドップラー値、反射点の位置を検出し、点群データ１４０を生成する。ミリ波レーダ部３４は、生成した点群データをジェスチャ検出部３１に出力する。
【００７５】
次いで、ステップＳ２０２において、ジェスチャ検出部３１は、ミリ波３Ｄレーダ部３４より取得した点群データ１４０に基づいてレーダ画像データ８００を生成し、レーダ画像データに基づいてオブジェクトの検出を行い、オブジェクトが検出領域３で検出されたか否かを判定する。オブジェクトが検出領域３で検出されていない場合（ステップＳ２０２：Ｎｏ）、レーダ装置３０は、処理をステップＳ２０１に戻す。
【００７６】
オブジェクトが検出領域３で検出された場合（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０３において、ジェスチャ検出部３１は、レーダ画像データに基づいて、オブジェクトの特徴点および特徴量を抽出し、抽出した特徴点および特徴量からスコアを算出する。
【００７７】
次いで、ステップＳ２０４において、ジェスチャ検出部３１は、ジェスチャ定義データベース３３において、算出（分類）結果（スコア）に対応するジェスチャコードを検索する。
【００７８】
次いで、ステップＳ２０５において、ジェスチャ検出部３１は、ジェスチャコードがジェスチャ定義データベース３３に登録されているか否かに基づいて、ジェスチャに対応するか否かを判定する。ジェスチャに対応すると判定しなかった場合（ステップＳ２０５：Ｎｏ）、レーダ装置３０は、処理をステップＳ２０１に戻す。
【００７９】
ジェスチャ検出部３１が、ジェスチャを判定した場合（ステップＳ２０５：Ｙｅｓ）、ステップＳ２０６において、ジェスチャ検出部３１は、算出（分類）結果（スコア）に対応するジェスチャコードをジェスチャ定義データベース３３から取得する。
【００８０】
次いで、ステップＳ２０７において、ジェスチャ検出部３１は、現在再生しているインタラクティブコンテンツの識別ＩＤと共に、ジェスチャコードをジェスチャテーブル３２において検索する。
【００８１】
次いで、ステップＳ２０８において、ジェスチャコードが登録されているか否かを判定する。ジェスチャコードが登録されていない場合（ステップＳ２０８：Ｎｏ）、レーダ装置３０は、処理をステップＳ２０１に戻す。
【００８２】
一方、ジェスチャコードが登録されている場合（ステップＳ２０８：Ｙｅｓ）、ステップＳ２０９において、ジェスチャ検出部３１は、対応するコンテンツ制御情報１７２を取得し、コンテンツ制御情報１７２またはコンテンツ動作制御情報１７３をコンテンツ再生制御部１２に出力する。これにより、ジェスチャ検出部３１は、コンテンツ制御情報１７２に含まれるコマンドに対応する操作をインタラクティブコンテンツに対して行うことを、コンテンツ再生制御部１２に指示する。次いで、レーダ装置３０は、処理をステップＳ２０１に戻す。
【００８３】
本開示によれば、コンテンツが投影されるスクリーン２に対して視聴者がいる側には、何ら設備を設けなくとも視聴者のジェスチャを検出できる。したがって、リアプロジェクション装置の設置に係る制約が軽減され、大型化に対するコスト負担の少ないリアプロジェクション型の映像表示デバイスの実現が容易になる。
【００８４】
また、本開示によれば、プロジェクタ装置２０とレーダ装置３０とを一体に設けることができる。これにより、例えば、プロジェクタ装置２０の投影部２１とレーダ装置３０のミリ波レーダ部３４との間で、投影画像および反射点の点データ１５０の補正において、共通の補正情報を用いることができる。したがって、プロジェクタ装置２０およびレーダ装置３０の補正情報の設定がより容易になり、また、補正の精度をより容易に維持できる。
【００８５】
また、本開示によれば、ミリ波３Ｄレーダ部３４がスクリーン２に対してずれている場合であっても、キャリブレーション部２２が算出した補正情報と、投影部２１とミリ波３Ｄレーダ部３４との相対位置情報と、に基づいて、ミリ波３Ｄデータ部３４が検出した点群データを補正できる。したがって、本開示によれば、ジェスチャをより高い精度で検出できる。
【００８６】
また、本開示によれば、レーダ画像データ８００の画素値は、反射点のドップラー値を含む点データ１５０に依存する。したがって、ジェスチャ検出部３１は、例えば、手を振るまたは膝を上げるといった動きを含むジェスチャについても、より正確に検出できる。
【００８７】
また、本開示によれば、ミリ波３Ｄレーダ部３４は、ミリ波帯の電磁波を用いる。これにより、カメラおよびＩＲに比して外乱に強いジェスチャの検出の実現が容易になり、例えば、屋外に面した店舗のガラス窓に屋内からコンテンツを投影するような利用形態の実現が容易になる。また、ジェスチャ検出部３１は、オブジェクトが人物であるか物であるかを判断することが容易になる。また、ジェスチャ検出部３１は、昼夜を問わず、ジェスチャを検出できる。
【００８８】
上述の実施の形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路（circuitry）」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。
【００８９】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
【００９０】
本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【００９１】
本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。
【００９２】
通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ  ｏｆ  Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。
【００９３】
通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサ等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサが含まれる。
【００９４】
また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。
【００９５】
本開示に係る表示装置は、映像を投影体に投影する投影装置と、前記投影体を挟んで前記投影装置の反対側に位置するオブジェクトの位置または動きを検出するレーダ装置であって、前記投影体を挟んで前記オブジェクトの反対側に設置されたレーダ装置と、前記レーダ装置が検出した前記位置または動きに応じて前記映像の再生を制御する制御装置と、を備える。
【００９６】
本開示に係る表示装置において、前記投影装置に対する前記レーダ装置の相対位置が固定されている。
【００９７】
本開示に係る表示装置において、前記投影装置と前記レーダ装置とは、一体に設けられる。
【００９８】
本開示に係る表示装置において、前記投影装置は、前記投影体に対する前記投影装置の相対位置および姿勢に基づいて、前記映像の補正に用いるキャリブレーション情報を生成し、前記レーダ装置は、前記キャリブレーション情報に基づいて、前記レーダ装置が検出した前記オブジェクトの位置または動きを補正する。
【００９９】
本開示に係る表示装置において、前記制御装置は、前記レーダ装置が検出した前記位置または動きと前記映像の内容とに応じて、前記映像の再生を制御する。
【０１００】
本開示に係る表示装置において、前記レーダ装置は、ミリ波レーダを備える。
【０１０１】
本開示に係る表示制御方法は、投影装置によって映像を投影体に投影し、前記投影体を挟んで前記投影装置の反対側に位置するオブジェクトの位置または動きを、前記投影体を挟んで前記オブジェクトの反対側に設置されたレーダ装置によって検出し、前記レーダ装置によって検出された前記位置または動きに応じて前記映像の再生を制御装置によって制御する。
【産業上の利用可能性】
【０１０２】
本開示は、屋外に設置された大型リアプロジェクション装置に好適である。
【符号の説明】
【０１０３】
１  プロジェクション装置
２  スクリーン
３  検出領域
１０  制御装置
１１  コンテンツ記録部
１２  コンテンツ再生制御部
２０  プロジェクタ装置
２１  投影部
２２  キャリブレーション部
３０  レーダ装置
３１  ジェスチャ検出部
３１１  点群データ受信部
３１２  点群データ補正部
３１３  スコア計算部
３１４  ジェスチャ判定部
３１５  制御情報取得部
３１６  再生制御指示部
３２  ジェスチャテーブル
３３  ジェスチャ定義データベース
３４  ミリ波３Ｄレーダ部
【図１】
2020149453.tif 000003
【図２】
2020149453.tif 000004
【図３】
2020149453.tif 000005
【図４】
2020149453.tif 000006
【図５】
2020149453.tif 000007
【図６】
2020149453.tif 000008
【図７】
2020149453.tif 000009
【図８】
2020149453.tif 000010
【図９】
2020149453.tif 000011
【図１０】
2020149453.tif 000012
【図１１】
2020149453.tif 000013
【図１２】
2020149453.tif 000014
【図１３】
2020149453.tif 000015
【図１４】
2020149453.tif 000016
【図１５】
2020149453.tif 000017
【図１６】
2020149453.tif 000018
【図１７】
2020149453.tif 000019