(57)【要約】【課題】情報を投影して表示する場合に、オブジェクトの状態に応じて表示を制御することで、秘匿性を確保する。【解決手段】本開示に係る表示処理装置は、オブジェクトの空間的な状態を取得する状態取得部と、前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する表示制御部と、を備える。この構成により、情報を投影して表示する場合に、オブジェクトの状態に応じて表示を制御することで、秘匿性を確保することが可能となる。【選択図】図２
2019060963.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトの空間的な状態を取得する状態取得部と、
前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する表示制御部と、
を備える、表示処理装置。
【請求項２】
前記状態取得部は、前記情報が投影される投影エリア内で前記オブジェクトの状態を取得する、請求項１に記載の表示処理装置。
【請求項３】
前記状態取得部は、前記オブジェクトの前記状態として、投影面に対する奥行き方向の前記オブジェクトの位置を取得する、請求項１に記載の表示処理装置。
【請求項４】
前記状態取得部は、前記オブジェクトの前記状態として、投影面に沿った方向の前記オブジェクトの位置を取得する、請求項１に記載の表示処理装置。
【請求項５】
前記状態取得部は、前記オブジェクトの空間的な位置を検出する検出部を含む、請求項１に記載の表示処理装置。
【請求項６】
前記状態取得部は、前記オブジェクトの位置を追跡する追跡部を含む、請求項１に記載の表示処理装置。
【請求項７】
前記状態取得部は、前記オブジェクトの姿勢を推定する姿勢推定部を含む、請求項１に記載の表示処理装置。
【請求項８】
前記状態取得部は、前記オブジェクトのジェスチャを認識する認識部を含み、
前記表示制御部は、前記ジェスチャに基づいて前記情報の表示状態を変更する、請求項１に記載の表示処理装置。
【請求項９】
前記オブジェクトはユーザーの手であり、
前記ジェスチャは、手を握る動作、手を開く動作、手のひらを返す動作、表示された前記情報をタップする動作、表示された前記情報をドラッグする動作、手を投影エリアにタッチする動作、手を投影エリアに向けて下げる動作、手を投影エリアから外に出す動作、及び手を振る動作の少なくとも１つを含む、請求項８に記載の表示処理装置。
【請求項１０】
前記表示制御部は、前記オブジェクトの前記状態に応じて、前記情報が認識できなくなるように表示状態を変更する、請求項１に記載の表示処理装置。
【請求項１１】
前記情報は表裏を反転可能な形態で表示され、
前記表示制御部は、前記オブジェクトの前記状態に応じて前記情報の表裏を反転させることで、前記情報の表示状態を変更する、請求項１に記載の表示処理装置。
【請求項１２】
前記表示制御部は、前記オブジェクトに投影される前記情報の表示を制御する、請求項１に記載の表示処理装置。
【請求項１３】
前記表示制御部は、所定の投影面に投影される前記情報の表示を制御する、請求項１に記載の表示処理装置。
【請求項１４】
前記オブジェクトは、ユーザーの手に保持された物体である、請求項１に記載の表示処理装置。
【請求項１５】
オブジェクトの空間的な状態を取得することと、
前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御することと、
を備える、表示処理方法。
【請求項１６】
オブジェクトの空間的な状態を取得する手段、
前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示処理装置、表示処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、下記の特許文献１には、映像を投影する際に、投影部と被投影体との間に物体が存在する場合でも良好な視認性が得られるようにする技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２０８４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献に記載された技術では、投影部と被投影体との間に存在する物体を検出し、検出された物体には主映像がそのまま投影されないように処理を行っている。しかしながら、上記特許文献に記載された技術では、検出した物体の位置は２次元情報により判断されるため、物体の空間的な状態に応じて最適な表示を行うことは困難である。また、上記特許文献に記載された技術では、投影された情報を複数人が視認できてしまう問題がある。
【０００５】
一方、例えば秘匿性を有する情報などについては、特定の人物のみがその情報は視認でき、他の人物は視認できないようにすることが好ましい。
【０００６】
そこで、情報を投影して表示する場合に、オブジェクトの状態に応じて表示を制御することで、秘匿性を確保することが求められていた。
【課題を解決するための手段】
【０００７】
本開示によれば、オブジェクトの空間的な状態を取得する状態取得部と、前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する表示制御部と、を備える、表示処理装置が提供される。
【０００８】
また、本開示によれば、オブジェクトの空間的な状態を取得することと、前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御することと、を備える、表示処理方法が提供される。
【０００９】
また、オブジェクトの空間的な状態を取得する手段、前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、情報を投影して表示する場合に、オブジェクトの状態に応じて表示を制御することで、秘匿性を確保することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る映像投影システムの概略構成を示す模式図である。
【図２】プロジェクタ装置の構成を示すブロック図である。
【図３】映像投影システムで行われる処理を示すフローチャートである。
【図４】テーブル上への表示の例を示す模式図である。
【図５】ユーザーが手をテーブル上へ差し出した場合に、手の姿勢を推定する様子を示す模式図である。
【図６】手の姿勢を推定する処理の流れを示す模式図である。
【図７】図６の処理により手の姿勢が推定された状態を示す模式図である。
【図８】手の姿勢に応じた表示制御の処理の流れを示すフローチャートである。
【図９】特定のジェスチャで手のひらにコンテンツを移動させて操作する例を示す模式図である。
【図１０】手のひらのコンテンツを腕に移動させる例を示す模式図である。
【図１１】表側が表示されたトランプの裏側を表示させる動作を示す模式図である。
【図１２】トランプをテーブル上に戻す動作を示す模式図である。
【図１３】トランプをテーブル上に戻す他の動作を示す模式図である。
【図１４】トランプの手の上への復帰方法を示す模式図である。
【図１５】トランプを人に渡す動作を示す模式図である。
【図１６】テーブル上への表示により手の角度変化を促す例を示す模式図である。
【図１７】テーブル上への表示の例を示す模式図であって、ユーザーの手がカードを保持している様子を示す模式図である。
【図１８】入力部と出力部を備えるプロジェクタ装置を複数設け、サーバ側で複数のプロジェクタ装置のそれぞれを制御する構成例を示す模式図である。
【図１９】図１８に示す構成により、テーブルの投影エリアに表示を行った例を示す
【図２０】手検出部による、手の領域を検出する処理を示す模式図である。
【図２１Ａ】手の骨格モデルを示す模式図である。
【図２１Ｂ】手の骨格モデルに基づいて骨格モデルが裏から表に遷移したことを検知し、手をひっくり返すジェスチャを認識した例を示す模式図である。
【図２１Ｃ】骨格モデルが開状態から閉状態に遷移したことを検知して、手を握るジェスチャを認識した例を示す模式図である。
【図２２Ａ】手をひっくり返すジェスチャを認識した場合に、表示していたトランプを裏にする表示情報を生成する例を示す模式図である。
【図２２Ｂ】手を握るジェスチャを認識した場合に、表示していたトランプを消すための表示情報を生成した例を示す模式図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．システムの構成例
２．映像投影システムで行われる処理
３．スクリーン上での表示の例
４．手姿勢推定部による手の姿勢推定
５．手の姿勢に応じた表示制御
６．具体的な操作の例
７．手以外のオブジェクトを用いた操作の例
８．サーバによる制御の例
【００１４】
１．システムの構成例
まず、図１を参照して、本開示の一実施形態に係る投影システム１０００の概略構成について説明する。この投影システム１０００は、プロジェクタ装置１００と、被投影体であるテーブル２００とで構成されている。
【００１５】
この投影システム１０００は、例えば床上に平らな投影面を有するテーブル２００が載置され、このテーブル２００の上方に、プロジェクタ装置１００の出力部１１６が下向きに設置されている。
【００１６】
そして、この映像投影システム１００では、テーブル２００の上方に設置されたプロジェクタ装置１００の出力部１１６から、下方のテーブル２００の投影面上に映像が投影されることで、このテーブル２００に映像が表示されるようになっている。
【００１７】
図２は、プロジェクタ装置１００の構成を示すブロック図である。プロジェクタ装置１００は、入力部１０２、手検出部１０４、手追跡部１０６、手姿勢推定部１０８、ジェスチャ認識部１１０、表示制御部１１２、情報生成部１１４、出力部１１６、を有して構成されている。
【００１８】
入力部１０２は、スクリーン１０２上のユーザーの手を検出対象のオブジェクトとして、オブジェクトの状態（位置、姿勢、動きなど）からユーザー操作を取得するための装置である。例えば、入力部１０２は、画像センサーとしてのＲＧＢカメラ、測距センサとしてのステレオカメラまたはＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）カメラ、ストラクチャードライトカメラ（Ｓｔｒｕｃｔｕｒｅｄ  ｌｉｇｈｔ  ｃａｍｅｒａ）等から構成されている。これにより、入力部１０２で検出された情報に基づいて、オブジェクトに関する距離画像（デプスマップ）を取得することができる。
【００１９】
手検出部１０４は、入力部１０２から取得した情報に基づいて、画像の中から手の領域を検出する。ＲＧＢカメラの画像、測距センサの画像を使う方法があるが、方法については特に限定されるものではない。例えば、予めメモリ等に保持しておいた手のテンプレート画像と、入力部１０２が取得した画像とのブロックマッチングを行うことにより、手の領域を検出することができる。手検出部１０４は、距離画像（デプスマップ）を用いることで、テーブル２００の投影面に対する奥行き方向の手の位置、投影面に沿った方向の手の位置を検出することができる。具体的に、図２０は、手検出部１０４による、手の領域を検出する処理を示す模式図である。図２０に示すように、カメラ画像の中からテーブル平面よりカメラに近い領域を検出し、検出した領域の中で画像の端に接しているものを抽出する。そして、画像の端とは反対側の突端を手候補の位置とする。更に、手候補に対して肌色検出を行うことで、手を検出することができる。
【００２０】
手追跡部１０６は、手検出部１０４からの検出結果を受け、前フレームで検出された手と現フレームで検出された手の対応をとることで手の位置を追跡する。追跡の方法としては、位置が近いもの同士を対応付ける方法や、その他のトラッキング技術が知られているが、方法については特に限定されるものではない。
【００２１】
手姿勢推定部１０８は、手検出部１０４からの検出結果を受け、測距センサの画像を用いて手の姿勢を推定する。この際、手のひらや甲を平面に見立てて、平面の角度を推定する。推定の方法については後述する。
【００２２】
ジェスチャ認識部１１０は、手検出部１０４と手姿勢推定部１０８の検出結果を受け、ユーザー操作のジェスチャを認識する。手の骨格モデルを推定してジェスチャを認識する方法が一般的であり、ジェスチャ認識部１１０は、このような手法からジェスチャを認識できる。例えば、ジェスチャ認識部１１０は、予めメモリ等に保持しておいたジェスチャと、手検出部１０４が検出した手の位置、手姿勢推定部１０８が推定した手の姿勢とのマッチングを行うことにより、ジェスチャを認識する。具体的に、図２１Ａ〜図２１Ｃは、ジェスチャの認識の例を示す模式図である。図２１Ａは、手の骨格モデルを示す模式図である。また、図２１Ｂは、手の骨格モデルに基づいて骨格モデルが裏から表に遷移したことを検知し、手をひっくり返すジェスチャを認識した例を示す模式図である。また、図２１Ｃは、骨格モデルが開状態から閉状態に遷移したことを検知して、手を握るジェスチャを認識した例を示す模式図である。図２１Ａに示す骨格モデルにおいて、○印で示す特徴点の位置に基づいて、図２１Ｂ、図２１Ｃに示すようなジェスチャを認識することができる。
【００２３】
以上の手検出部１０４、手追跡部１０６、手姿勢推定部１０８、ジェスチャ認識部１１０は、手（オブジェクト）の姿勢を含む手の空間的な状態を取得する状態取得部１２０として機能する。状態取得部１２０は、投影エリア２０２内、または投影エリア２０２の外で手の状態を取得することができる。
【００２４】
情報生成部１１４は、ジェスチャ認識部１１０によるジェスチャ認識結果を受け、ユーザー操作に対応した情報を生成する。例えば、情報生成部１１４は、予め保持されているジャスチャに対応する表示情報と、ジャスチャ認識結果を対比し、ジャスチャ認識結果に対応する表示情報を生成する。情報生成部１１４は、生成した情報のコンテキストをメモリなどに記憶させる。具体的に、図２２Ａ、図２２Ｂは、表示情報の生成の例を示す模式図である。図２２Ａは、図２１Ｂに示した手をひっくり返すジェスチャを認識した場合に、表示していたトランプを裏にする表示情報を生成する例を示す模式図である。また、図２２Ｂは、図２１Ｃに示した手を握るジェスチャを認識した場合に、表示していたトランプを消すための表示情報を生成した例を示す模式図である。
【００２５】
表示制御部１１２は、手追跡部１０６と情報生成部１１４の情報を受け、情報生成部１１４により生成された表示情報をテーブル２００上の所定の位置に表示するように制御する。具体的に、表示制御部１１２は、情報生成部１１４により生成された表示情報を、手追跡部１０６が追跡しているユーザーの手の位置に表示するように制御を行うことができる。出力部１１６は、例えば投影レンズ、液晶パネル及びランプ等を含み、表示制御部１１２の制御により光を出力することで映像をテーブル２００に出力する。これにより、テーブル２００上にコンテンツが表示される。
【００２６】
図２に示す構成において、手検出部１０４、手追跡部１０６、手姿勢推定部１０８、ジェスチャ認識部１１０、表示制御部１１２、及び情報生成部１１４から、本実施形態に係る表示処理装置１３０が構成されている。なお、図２に示す各構成要素は、ハードウェア、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラムから構成されることができる。また、そのプログラムは、プロジェクタ装置１００が備えるメモリ、またはプロジェクタ装置１００に外部から接続されるメモリなどの記録媒体に格納されることができる。
【００２７】
２．映像投影システムで行われる処理
図３は、本実施形態に係る投影システム１０００で行われる処理を示すフローチャートである。先ず、ステップＳ１０では、入力部１０２から情報を受け取る処理が行われる。次のステップＳ１２では、手検出部１０４によりテーブル２００上のユーザーの手を検出する処理が行われる。
【００２８】
次のステップＳ１４では、手検出部１０４により手が検出されたか否かを判定し、手が検出された場合は、ステップＳ１６へ進む。ステップＳ１６では、手追跡部１０６によりユーザーの手を追跡する処理が行われる。
【００２９】
また、ステップＳ１６の処理と並行して、ステップＳ２０〜Ｓ２６の処理が行われる。ステップＳ２０では、手姿勢推定部１０８により手の姿勢を推定する処理が行われる。ステップＳ２０の後はステップＳ２２へ進み、ジェスチャ認識部１１０によりジェスチャを認識する処理が行われる。
【００３０】
次のステップＳ２４では、ジェスチャ認識部１１０により認識されたジェスチャが特定のジェスチャであるか否かを判定し、特定のジェスチャの場合はステップＳ２６へ進む。ステップＳ２６では、情報生成部１１４により、特定のジェスチャに対応する表示情報を生成する処理が行われる。
【００３１】
ステップＳ１６，Ｓ２６の後はステップＳ２８へ進む。ステップＳ２８では、ステップＳ１６での手の追跡処理の結果と、ステップＳ２６の情報生成処理とに基づいて、表示制御部１１２が表示制御のための処理を行う。これにより、手追跡処理の結果と情報生成処理の結果とに基づいて、テーブル２００上に表示が行われる。
【００３２】
３．テーブル上での表示の例
図４は、テーブル２００上への表示の例を示す模式図である。図４において、投影エリア２０２は、プロジェクタ装置１００によるテーブル２００上への投影エリアを示している。投影エリア２０２には、コンテンツ（Ａ）３００とコンテンツ（Ｂ）３０２が投影されて表示されている。ここでは、コンテンツ（Ａ）３００としてトランプが表示された例を、コンテンツ（Ｂ）３０２として麻雀の牌が表示された例を示しているが、表示されるコンテンツは特に限定されるものではない。
【００３３】
４．手姿勢推定部による手の姿勢推定
図５及び図６は、手姿勢推定部１０８による手の姿勢推定を示す模式図である。図５は、ユーザーが手４００をテーブル２００上へ差し出した場合に、手４００の姿勢を推定する様子を示す模式図である。また、図６は、手４００の姿勢を推定する処理の流れを示す模式図である。
【００３４】
手の姿勢推定は、図６に示すステップ（１）〜（３）に従って順次に行われる。図６に示すように、先ず、ステップ（１）では、入力部１０２から得られる距離画像（デプスマップ）から、手のひらの上の各点４０２の３次元位置を求める。次のステップ（２）では、得られた点群に対して、例えば最小二乗法、ＲＡＮＳＡＣ法などの方法を用い、平面フィッティングを行う。これにより、点群から構成される平面４０４が求まる。次のステップ（３）では、点群の重心を手のひらの位置とし、平面４０４の傾き（Ｐｉｔｃｈ, Ｙａｗ, Ｒｏｌｌ）を手の姿勢とする。これにより、手の姿勢推定が完了する。
【００３５】
５．手の姿勢に応じた表示制御
図７及び図８は、手４００の姿勢に応じた表示制御を示す模式図である。図７は、図６の処理により手の姿勢（平面４０４）が推定された状態を示している。また、図８は、手４００の姿勢に応じた表示制御の処理の流れを示す模式図である。図８では、手４００の姿勢に応じて図４に示したコンテンツ（Ａ）３００であるトランプの表示を制御する例を示している。
【００３６】
図８に示すように、先ず、ステップ（１）では、図６の処理により推定された手の位置と姿勢を取得する。ここでは、点群の重心の位置と平面４０４の傾きとから手の位置と姿勢が取得される。次のステップ（２）では、検出された手の姿勢（平面４０４の傾き）に合わせて、表示画像（コンテンツ（Ａ）３００）を透視投影変換する。これにより、透視射影変換されたコンテンツ（Ａ）３１０が得られる。次のステップ（３）では、検出された平面４０４の位置にコンテンツ（Ａ）３１０の表示位置を合わせる処理を行う。この表示位置を合わせる処理は、投影面に対する奥行き方向の位置を合わせる処理と、投影面に沿った方向の位置を合わせる処理を含む。投影面に対する奥行き方向の位置を合わせる処理については、例えば、平面４０４の位置でコンテンツ（Ａ）３１０が最も鮮明になるように、焦点位置を調節するなどの処理を行っても良い。次のステップＳ（４）では、ユーザーの手４００の手のひら上に正しい形状で表示画像（コンテンツ（Ａ）３１０）が表示される。なお、ステップ（２）〜（４）の処理は、主に表示制御部１１２により行われる。
【００３７】
以上のように、手４００の姿勢に応じて透視投影変換を行うことで、手４００の姿勢に応じて、正しい形状でコンテンツ（Ａ）３１０を表示することが可能となる。従って、ユーザーは、手のひらの上で、歪みなどが生じていないコンテンツ（Ａ）３１０を正しい形状で視認することができる。
【００３８】
６．具体的な操作の例
次に、ユーザーが投影システム１０００を用いて行う具体的な操作について説明する。図９は、特定のジェスチャで手のひらにコンテンツを移動させて操作する例を示す模式図である。先ず、スクリーン上にトランプ（コンテンツ（Ａ）３００）が投影される（ステップ（１））。ユーザーがテーブル２００上のトランプの位置に手４００をかざし（ステップ（２））、トランプを握って移動させ（ステップ（３））、手４００を開くと、一枚のトランプのみが手のひらに表示される（ステップ（４））。その後、手のひらに表示されたトランプを他方の手でタップすると、トランプの表側が表示される（ステップ（５））。
【００３９】
また、スクリーン上にトランプが投影された後（ステップ（１））、トランプを手４００の甲に映し（ステップＳ（６））、トランプを握って移動させ（ステップ（７））、手のひらを返して手４００を開くと、トランプの表側が表示される（ステップ（８））。
【００４０】
また、図９に示したステップ（２）、ステップ（３）では、手４００をトランプの位置にかざしてタップすると手４００の上にトランプが移動しても良く、また手４００をトランプの位置にかざして手４００を上に持ち上げるとトランプが手４００の上に移動しても良い。また、ステップ（２）、ステップ（３）では、手４００をトランプの位置にかざして手のひらを返すとトランプが手４００の上に移動しても良く、また、一本指でトランプをタップしてから手４００を開くとトランプが手４００に移動しても良い。
【００４１】
図１０は、手のひらのコンテンツを腕に移動させる例を示す模式図である。先ず、手のひらにトランプを表示させ（ステップ（１））、トランプをドラッグして腕に移動させる（ステップ（２））。その後、トランプをもう一枚取得し（ステップ（３））、他方の指でタップすることでトランプの表側を表示させ（ステップ（４））、他方の指でトランプをドラッグして腕に移動させる（ステップ（５））。そして、更にトランプをもう一枚取得し（ステップ（６））、ステップ（４）以降の処理を繰り返す。
【００４２】
このように、図１０の操作では、手のひらにトランプを表示させることでトランプを手のひらの上に取得し、ドラッグすることでトランプを腕の方に移動することができる。
【００４３】
図１１は、表側が表示されたトランプの裏側を表示させる動作を示す模式図である。先ず、手のひらにトランプを表示させ（ステップ（１））、もう一方の手４００でタップすると、手のひらに表示されていたトランプの裏側が表示される（ステップ（２））。
【００４４】
また、別の例として、手のひらにトランプを表示させ（ステップ（３））、手４００を裏返すと、手のひらに表示されていたトランプの裏側が手の甲に表示される（ステップ（４））。
【００４５】
図１２は、トランプをテーブル２００上に戻す動作を示す模式図である。図１２では、手４００に表示されているトランプ（コンテンツ（Ａ）３００）を投影エリア２０２に戻す動作として、（１）〜（４）の４つの例を示している。
【００４６】
図１２に示す例（１）は、手４００でテーブル２００をタッチするとトランプがテーブル２００上に戻る例を示している。図１２に示す例（２）は、テーブル２００上で手４００を握って開くとトランプがテーブル２００上に戻る例を示している。図１２に示す例（３）は、手を下に下げると、トランプがテーブル２００上に戻る例を示している。また、図１２に示す例（４）は、一方の手４００に表示されているトランプを他方の手４００で取りに行き、他方の手をテーブル２００上に移動させるとトランプがテーブル２００上に戻る例を示している。
【００４７】
図１３は、トランプをテーブル２００上に戻す他の動作を示す模式図である。図１３においても、手４００に表示されているトランプ（コンテンツ（Ａ）３００）を投影エリア２０２に戻す動作として、（１）〜（４）の４つの例を示している。
【００４８】
図１３に示す例（１）は、手４００にトランプが表示されている状態で手４００を矢印１方向に移動し、テーブル２００を手４００でタッチして矢印２方向にドラッグすると、手４００に表示されていた全てのトランプがテーブル２００上に戻る例を示している。
【００４９】
図１３に示す例（２）は、手４００にトランプが表示されている状態で手４００をテーブル２００上に移動し、その後、手４００を投影エリア２０２の外に出すと、手４００に表示されていた全てのトランプがテーブル２００上に戻る例を示している。手４００をテーブル２００上に移動した後、所定の位置まで手４００を投影エリア２０２から遠ざけると全てのトランプがテーブル２００上に戻るようにしても良い。
【００５０】
図１３に示す例（３）は、手４００にトランプが表示されている状態で素早く手４００を退けた場合にトランプがテーブル２００上に残る例を示している。また、図１３に示す例（４）は、手のひらではなく腕にトランプが表示されている状態で、手４００をテーブル２００上に移動し、素早く手を退けた場合に、トランプがテーブル２００上に戻る例を示している。
【００５１】
図１４は、トランプ３００の手４００の上への復帰方法を示す模式図である。先ず、手４００を投影エリア２０２の外に出すと、所定の位置で裏のトランプが投影エリア２０２に戻る（ステップ（１））。その後、投影エリア２０２に戻したトランプに再び手４００をかざすと（ステップ（２））、トランプが手に戻る（ステップ（３））。
【００５２】
図１５は、トランプを人に渡す動作を示す模式図である。図１５では、テーブル２００を介した動作と、テーブル２００を介さない動作を示している。テーブル２００を介した動作では、手４００にトランプが表示されている状態で、手４００でテーブル２００をタッチすると（ステップ（１））、トランプがテーブル２００上に戻る（ステップ（２））。次に、別の人の手４００がテーブル２００上のトランプを手４００に映し（ステップ（３））、別の人が手４００を握ると、別の人にトランプが取得される（ステップ（４））。
【００５３】
図１５に示すテーブル２００を介さない動作では、Ａさんの手４００にトランプが表示され、Ｂさんの手４００にトランプが表示されていない状態で（ステップ（１））、Ａさんの手４００とＢさんの手４００を合わせ（ステップ（２））、Ａさんの手４００とＢさんの手４００を離すと、トランプがＢさんの手４００に渡る。
【００５４】
図１６は、テーブル２００上への表示により手４００の角度変化を促す例を示す模式図である。本実施形態によれば、ユーザーが手４００を自身に向けて傾けることで、手４００に表示されているコンテンツを他のユーザーが視認できなくなり、手４００をプライベートスクリーンとして活用することができる。これにより、他人に知られたくないプライベートな情報を手４００に表示することも可能である。一方、図１６の左側の図に示すように、手４００をテーブル２００の上面に対して立て過ぎてしまうと、コンテンツが歪むなどの弊害が想定される。従って、手４００をテーブル２００の上面に対して立て過ぎた場合は、テーブル２００上に「手をもう少し倒してください」と表示が行われる。これにより、手４００に表示されるトランプの画像の歪みを抑制することができる。
【００５５】
また、図１６の右側の図に示すように、手を倒し過ぎてしまうと、テーブル２００上に「手をもう少し立ててください」と表示が行われる。これにより、ユーザーが手４００を立てるようにするため、トランプ（コンテンツ（Ａ）３００）の情報が他の人に見えなくなり、プライベートスクリーンとしての秘匿性を高めることができる。より好適には、図１６の右側の図に示すように、手４００を倒し過ぎている間は、トランプの表示を裏側にして他の人が見ることができないようにすることが好ましい。これにより、秘匿性をより確実に高めることができる。
【００５６】
なお、上述した説明では、トランプ（コンテンツ（Ａ）３００）が手４００に表示された場合に、ユーザーのジェスチャに応じて表示状態を変更する例を主に示したが、トランプがテーブル２００に表示された場合に、ユーザーのジェスチャに応じて表示状態を変更することも可能である。
【００５７】
以上説明した具体的な操作の例によれば、投射エリア２０２内に存在する手４００を認識し、手４００とテーブル２００との相対位置を把握することで付加情報をユーザーへ提示することが可能となる。また、手４００の姿勢と状態をリアルタイムに検出し、ユーザー操作、ジェスチャに応じて動的に投影内容を変更することで、ユーザビリティを向上させることが可能となる。また、手４００の操作と投影内容の変化を直感的な動きで対応付けることが可能となり、学習コストの低い操作体系を実現することも可能となる。更に、プロジェクタ装置１００で投影するというパブリックスクリーンの中において、コンテンツを手４００に表示することで、プライベートスクリーンを作ることも可能となる。なお、上述の例ではトランプの札などのコンテンツを表示する場合を例に挙げて説明したが、麻雀や表裏のあるカードゲーム、軍人将棋などの他のコンテンツを表示しても良い。また、投影されるコンテンツとして、これらのゲームに関するもの以外にも様々なコンテンツに適用が可能である。上述のように手４００をプライベートスクリーンとして利用できるため、暗証番号など秘匿性が必要なアプリケーションを表示する場合に特に有用である。
【００５８】
７．手以外のオブジェクトを用いた操作の例
上述した説明では、ユーザーの手４００の動作に応じてコンテンツ３００に係る情報の表示状態を変更する例を示したが、手４００以外の動作に応じて情報の表示状態を変更しても良い。図１７は、図４と同様にテーブル２００上への表示の例を示す模式図である。図１７では、図４と異なり、ユーザーの手４００がボード４１０を保持している。入力部１０２は、ボード４１０の状態をオブジェクトの状態として取得する。図２に示した手検出部１０４、手追跡部１０６、手姿勢推定部１０８、ジェスチャ認識部１１０は、手４００の場合と同様の処理を行うことにより、ボード４１０の空間的な状態を取得する。ボード４１０を白色にすることで、例えばボード４１０上にトランプなどのコンテンツを表示した場合に、より鮮明な色で表示を行うことができる。
【００５９】
また、図１７に示す例において、ボード４１０に入力部１０２が検出可能なマーカを付しておくことで、ボード４１０を配られたユーザーのみに表示されるプライベートなコンテンツをボード４１０上に表示することも可能となる。これにより、ボード４１０を特定のユーザーを対象とするプライベートスクリーンとして利用することができる。この場合、手検出部１０４による手４００の検出と同様の手法でボード４１０上のマーカを検出し、マーカを検出した場合は、表示制御部１１２によりボード４１０上にプライベートな情報を表示する。この場合においても、認識したジェスチャに応じて表示を制御することができる。
【００６０】
８．サーバによる制御の例
図２に示す構成例では、プロジェクタ装置１００が図２に示す構成要素を全て備えるものとしたが、プロジェクタ装置１００は入力部１０２と出力部１１６を備え、他の構成要素は、他の装置が備えていても良い。すなわち、図２中に一点鎖線で囲んだ表示処理装置１３０の構成要素は、必ずしもプロジェクタ装置１００に設けられていなくても良い。
【００６１】
図１８は、入力部１０２と出力部１１６を備えるプロジェクタ装置１００を複数設け、サーバ５００側で複数のプロジェクタ装置１００のそれぞれを制御する構成例を示す模式図である。また、図１９は、図１８に示す構成により、テーブル２００の投影エリア２０２に表示を行った例を示す模式図である。図１９に示す例では、投影エリア２０２を複数に分割し、分割して得られる投影エリア２０２ａ，２０２ｂ，２０２ｃ，２０２ｄのそれぞれについて、４つのプロジェクタ装置１００のそれぞれが個別に投影を行う。図１８に示すように、各プロジェクタ装置１００を制御するサーバ５００は、図２中に一点鎖線で囲んだ表示処理装置１３０の構成要素を備えている。
【００６２】
図１８及び図１９に示す構成例によれば、投影エリア２０２を４つのプロジェクタ装置１００が分担して表示できるため、より広い領域の投影エリア２０２に表示を行うことが可能となる。なお、分割して得られる投影エリア２０２ａ，２０２ｂ，２０２ｃ，２０２ｄの境界部分では、隣接する投影エリアの表示を行うプロジェクタ装置１００が重畳表示を行うことで、境界部分を確実に表示することが可能となる。また、図１９に示す例において、各プロジェクタ装置１００が投影エリア２００の全領域に表示を行い、各プロジェクタ装置１００による表示を重畳させても良い。
【００６３】
以上説明したように本実施形態によれば、手４００、ボード４１０などのオブジェクトの空間的な状態に応じて、投影するコンテンツの表示を最適に制御することが可能となる。また、手４００、ボード４１０などのオブジェクトをプライベートスクリーンとすることができるため、特別なデバイスや道具を必要とせず、既存のプロジェクションタイプのシステムでは実現できなかった秘匿性の高いアプリケーションを実現することが可能となる。更に、オブジェクトの動作と投影内容の変化を対応付けることにより、簡単かつ直感的な操作で投影内容を最適化することが可能となる。
【００６４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６５】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００６６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  オブジェクトの空間的な状態を取得する状態取得部と、
前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する表示制御部と、
を備える、表示処理装置。
（２）  前記状態取得部は、前記情報が投影される投影エリア内で前記オブジェクトの状態を取得する、前記（１）に記載の表示処理装置。
（３）  前記状態取得部は、前記オブジェクトの前記状態として、投影面に対する奥行き方向の前記オブジェクトの位置を取得する、前記（１）又は（２）に記載の表示処理装置。
（４）  前記状態取得部は、前記オブジェクトの前記状態として、投影面に沿った方向の前記オブジェクトの位置を取得する、前記（１）又は（２）に記載の表示処理装置。
（５）  前記状態取得部は、前記オブジェクトの空間的な位置を検出する検出部を含む、前記（１）〜（４）のいずれかに記載の表示処理装置。
（６）  前記状態取得部は、前記オブジェクトの位置を追跡する追跡部を含む、前記（１）〜（５）のいずれかに記載の表示処理装置。
（７）  前記状態取得部は、前記オブジェクトの姿勢を推定する姿勢推定部を含む、前記（１）〜（６）のいずれかに記載の表示処理装置。
（８）  前記状態取得部は、前記オブジェクトのジェスチャを認識する認識部を含み、
前記表示制御部は、前記ジェスチャに基づいて前記情報の表示状態を変更する、前記（１）〜（７）のいずれかに記載の表示処理装置。
（９）  前記オブジェクトはユーザーの手であり、
前記ジェスチャは、手を握る動作、手を開く動作、手のひらを返す動作、表示された前記情報をタップする動作、表示された前記情報をドラッグする動作、手を投影エリアにタッチする動作、手を投影エリアに向けて下げる動作、手を投影エリアから外に出す動作、及び手を振る動作の少なくとも１つを含む、前記（８）に記載の表示処理装置。
（１０）  前記表示制御部は、前記オブジェクトの前記状態に応じて、前記情報が認識できなくなるように表示状態を変更する、前記（１）〜（９）のいずれかに記載の表示処理装置。
（１１）  前記情報は表裏を反転可能な形態で表示され、
前記表示制御部は、前記オブジェクトの前記状態に応じて前記情報の表裏を反転させることで、前記情報の表示状態を変更する、前記（１）〜（１０）のいずれかに記載の表示処理装置。
（１２）  前記表示制御部は、前記オブジェクトに投影される前記情報の表示を制御する、前記（１）〜（１１）のいずれかに記載の表示処理装置。
（１３）  前記表示制御部は、所定の投影面に投影される前記情報の表示を制御する、前記（１）〜（１１）のいずれかに記載の表示処理装置。
（１４）  前記オブジェクトは、ユーザーの手に保持された物体である、前記（１）〜（１３）のいずれかに記載の表示処理装置。
（１５）  オブジェクトの空間的な状態を取得することと、
前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御することと、
を備える、表示処理方法。
（１６）  オブジェクトの空間的な状態を取得する手段、
前記オブジェクトの姿勢を含む前記オブジェクトの前記状態に応じて、投影される情報の表示を制御する手段、
としてコンピュータを機能させるためのプログラム。
【符号の説明】
【００６７】
１０４    手検出部
１０６    手追跡部
１０８    手姿勢推定部
１１０    ジェスチャ認識部
１１２    表示制御部
１２０    状態取得部
１３０    表示処理装置
【図１】
2019060963.tif 000003
【図２】
2019060963.tif 000004
【図３】
2019060963.tif 000005
【図４】
2019060963.tif 000006
【図５】
2019060963.tif 000007
【図６】
2019060963.tif 000008
【図７】
2019060963.tif 000009
【図８】
2019060963.tif 000010
【図９】
2019060963.tif 000011
【図１０】
2019060963.tif 000012
【図１１】
2019060963.tif 000013
【図１２】
2019060963.tif 000014
【図１３】
2019060963.tif 000015
【図１４】
2019060963.tif 000016
【図１５】
2019060963.tif 000017
【図１６】
2019060963.tif 000018
【図１７】
2019060963.tif 000019
【図１８】
2019060963.tif 000020
【図１９】
2019060963.tif 000021
【図２０】
2019060963.tif 000022
【図２１Ａ】
2019060963.tif 000023
【図２１Ｂ】
2019060963.tif 000024
【図２１Ｃ】
2019060963.tif 000025
【図２２Ａ】
2019060963.tif 000026
【図２２Ｂ】
2019060963.tif 000027