(57)【要約】【課題】装置の筐体に設けられた入力デバイスを介さずに、ユーザ入力をより好適な態様で認識する。【解決手段】撮像部が所定の遮蔽状態にあるか否かを判定する判定部と、前記所定の遮蔽状態に応じてユーザの操作入力を認識する認識部と、を備える、情報処理装置。【選択図】図１
2018198499.tif 000002
【特許請求の範囲】
【請求項１】
撮像部が所定の遮蔽状態にあるか否かを判定する判定部と、
前記所定の遮蔽状態に応じてユーザの操作入力を認識する認識部と、
を備える、情報処理装置。
【請求項２】
前記認識部は、前記撮像部により取得される画像の変化速度に応じて、前記操作入力を認識するか否かを制御する、請求項１に記載の情報処理装置。
【請求項３】
前記認識部は、前記所定の遮蔽状態の継続時間に応じて、前記操作入力を認識するか否かを制御する、請求項１に記載の情報処理装置。
【請求項４】
前記認識部は、前記撮像部と、当該撮像部を遮蔽する被写体と、の間の距離の測定結果に応じて、前記操作入力を認識するか否かを制御する、請求項１に記載の情報処理装置。
【請求項５】
前記認識部は、外部環境の明るさの検出結果が閾値以下の場合に、前記操作入力の認識に係る処理を制限する、請求項１に記載の情報処理装置。
【請求項６】
前記撮像部は、第１の撮像部と第２の撮像部を含み、
前記所定の遮蔽状態は、前記第１の撮像部の遮蔽状態と前記第２の撮像部の遮蔽状態を含み、
前記判定部は、前記第１の撮像部の遮蔽状態に関する第１の判定と、前記第２の撮像部の遮蔽状態に関する第２の判定を行い、
前記認識部は、前記第１の判定および前記第２の判定の組み合わせに応じて、前記操作入力を認識する、
請求項１に記載の情報処理装置。
【請求項７】
前記認識部は、前記第１の撮像部および前記第２の撮像部の一方が前記遮蔽状態にあるという判定に応じて、前記操作入力を認識する、請求項６に記載の情報処理装置。
【請求項８】
前記認識部は、前記第１の撮像部が前記遮蔽状態にあると判定された場合、前記第２の撮像部が前記遮蔽状態にあると判定された場合に認識される操作入力とは異なる操作入力を認識する、
請求項７に記載の情報処理装置。
【請求項９】
前記認識部は、前記第１の撮像部および前記第２の撮像部の一方が前記遮蔽状態にあると判定された場合、前記第１の撮像部および前記第２の撮像部の双方が前記遮蔽状態にあると判定された場合に認識される操作入力とは異なる操作入力を認識する、請求項６に記載の情報処理装置。
【請求項１０】
前記認識部は、前記第１の撮像部が前記遮蔽状態になったタイミングと、前記第２の撮像部が前記遮蔽状態になったタイミングに応じて、前記操作入力を認識する、請求項６に記載の情報処理装置。
【請求項１１】
前記所定の遮蔽状態は、第１の遮蔽状態と、前記第１の遮蔽状態よりも前記撮像部の画角の遮蔽量が小さい第２の遮蔽状態を含み、
前記認識部は、前記撮像部が前記第１の遮蔽状態にあると判定された場合、前記撮像部が前記第２の遮蔽状態にあると判定された場合に認識される操作入力とは異なる操作入力を認識する、
請求項１に記載の情報処理装置。
【請求項１２】
出力部を介して前記操作入力に関する情報が提示されるように制御する出力制御部を備える、請求項１に記載の情報処理装置。
【請求項１３】
前記出力制御部は、前記操作入力に応じて、前記撮像部により撮像された画像が前記出力部を介して提示されるように制御する、請求項１２に記載の情報処理装置。
【請求項１４】
前記出力制御部は、前記操作入力に応じて、前記撮像部の位置に応じた画像が前記出力部を介して提示されるように制御する、請求項１２に記載の情報処理装置。
【請求項１５】
前記出力制御部は、前記操作入力に応じて、前記撮像部の位置に応じた所定の音響が前記出力部を介して出力されるように制御する、請求項１２に記載の情報処理装置。
【請求項１６】
前記出力制御部は、前記操作入力に応じて、前記撮像部を遮蔽する動作を促す報知情報が、前記出力部を介して提示されるように制御する、請求項１２に記載の情報処理装置。
【請求項１７】
前記認識部は、前記出力部を介して提示されている前記操作入力に関する情報に基づいて、前記操作入力を認識する、請求項１２に記載の情報処理装置。
【請求項１８】
前記撮像部は、ユーザの頭部に対して保持されるウェアラブルデバイスに画像を提供するよう構成される、請求項１に記載の情報処理装置。
【請求項１９】
コンピュータが、
撮像部が所定の遮蔽状態にあるか否かを判定することと、
前記所定の遮蔽状態に応じてユーザの操作入力を認識することと、
を含む、情報処理方法。
【請求項２０】
コンピュータに、
撮像部が所定の遮蔽状態にあるか否かを判定することと、
前記所定の遮蔽状態に応じてユーザの操作入力を認識することと、
を実行させるプログラムが記録された、記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及び記録媒体に関する。
【背景技術】
【０００２】
近年では、通信技術の進歩や各種デバイスの小型化に伴い、所謂情報処理装置と呼ばれる機器の種別も多様化してきており、ＰＣ（Personal  Computer）等に限らず、スマートフォンやタブレット端末のように、ユーザが携行可能に構成された情報処理装置も普及してきている。特に、近年では、ユーザが身体の一部に装着することで携行しながら使用可能に構成された、所謂ウェアラブルデバイスも提案されている。このようなウェアラブルデバイスの具体的な一例として、ＨＭＤ（Head  Mounted  Display）やメガネ型のウェアラブルデバイスのように、頭部に装着して使用されるデバイス（以降では、「頭部装着型デバイス」とも称する）が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１８６３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、情報処理装置に対してユーザが各種情報を入力するための入力インタフェースの一例として、例えば、ボタン、スイッチ、タッチセンサ等の入力デバイスが一般的に知られている。一方で、頭部装着型デバイスにおいては、頭部に装着して使用されるという特性上、筐体の一部に設けられた入力デバイスをユーザが直接視認することが困難な場合があり、当該入力インタフェースを視認できる場合に比べて使い勝手が悪い。【０００５】
これに対して、ボタンやスイッチ等の入力デバイスを介さずに情報処理装置に対して各種情報を入力するための入力インタフェースとして、ジェスチャ入力が採用されている場合もある。しかしながら、ジェスチャ入力は画像認識等のような比較的負荷の高い処理が必要となるため、消費電力がより大きくなる傾向にある。【０００６】
そこで、本開示では、装置の筐体に設けられた入力デバイスを介さずに、ユーザの操作入力をより好適な態様で認識することが可能な、情報処理装置、情報処理方法、及び記録媒体を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、撮像部が所定の遮蔽状態にあるか否かを判定する判定部と、前記所定の遮蔽状態に応じてユーザの操作入力を認識する認識部と、を備える、情報処理装置が提供される。【０００８】
また、本開示によれば、コンピュータが、撮像部が所定の遮蔽状態にあるか否かを判定することと、前記所定の遮蔽状態に応じてユーザの操作入力を認識することと、を含む、情報処理方法が提供される。【０００９】
また、本開示によれば、コンピュータに、撮像部が所定の遮蔽状態にあるか否かを判定することと、前記所定の遮蔽状態に応じてユーザの操作入力を認識することと、を実行させるプログラムが記録された、記録媒体が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、装置の筐体に設けられた入力デバイスを介さずに、ユーザの操作入力をより好適な態様で認識することが可能な、情報処理装置、情報処理方法、及び記録媒体が提供される。【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。
【図２】同実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。
【図３】同実施形態に係る入力インタフェースの概要について説明するための説明図である。
【図４】同実施形態に係る入力インタフェースの概要について説明するための説明図である。
【図５】同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
【図６】同実施形態に係る入力インタフェースの一例について説明するための説明図である。
【図７】同本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。
【図８】同実施形態に係る情報処理システムの実施例について説明するための説明図である。
【図９】同実施形態に係る情報処理システムの実施例について説明するための説明図である。
【図１０】同実施形態に係る情報処理システムの実施例について説明するための説明図である。
【図１１】同実施形態に係る情報処理システムの実施例について説明するための説明図である。
【図１２】同実施形態に係る情報処理システムの実施例について説明するための説明図である。
【図１３】同実施形態に係る情報処理システムの実施例について説明するための説明図である。
【図１４】同実施形態に係る情報処理システムの実施例について説明するための説明図である。
【図１５】同実施形態に係る情報処理システムの実施例について説明するための説明図である。
【図１６】同実施形態に係る情報処理システムの実施例について説明するための説明図である。
【図１７】変形例１に係るユーザインタフェースの一例について説明するための説明図である。
【図１８】変形例２に係るユーザインタフェースの一例について説明するための説明図である。
【図１９】本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．概略構成
１．１．システム構成
１．２．入出力装置の構成
２．ユーザインタフェースに関する検討
３．技術的特徴
３．１．入力インタフェースの概要
３．２．機能構成
３．３．処理
３．４．実施例
３．５．変形例
４．ハードウェア構成
５．むすび
【００１５】
＜＜１．概略構成＞＞
＜１．１．システム構成＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図であり、所謂ＡＲ（Augmented  Reality）技術を応用してユーザに対して各種コンテンツを提示する場合の一例を示している。
【００１６】
図１において、参照符号ｍ１１１は、実空間上に位置する物体（例えば、実オブジェクト）を模式的に示している。また、参照符号ｖ１３１及びｖ１３３は、実空間上に重畳するように提示される仮想的なコンテンツ（例えば、仮想オブジェクト）を模式的に示している。即ち、本実施形態に係る情報処理システム１は、例えば、ＡＲ技術に基づき、実オブジェクトｍ１１１等の実空間上の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
【００１７】
図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。情報処理装置１０と入出力装置２０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local  Area  Network）、または、ＷＡＮ（Wide  Area  Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。
【００１８】
入出力装置２０は、各種入力情報の取得や、当該入出力装置２０を保持するユーザに対して各種出力情報の提示を行うための構成である。また、入出力装置２０による出力情報の提示は、情報処理装置１０により、当該入出力装置２０により取得された入力情報に基づき制御される。例えば、入出力装置２０は、実オブジェクトｍ１１１を認識するための情報（例えば、撮像された実空間の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、実空間上における実オブジェクトｍ１１１の位置を認識し、当該認識結果に基づき、入出力装置２０に仮想オブジェクトｖ１３１及びｖ１３３を提示させる。このような制御により、入出力装置２０は、所謂ＡＲ技術に基づき、実オブジェクトｍ１１１に対して仮想オブジェクトｖ１３１及びｖ１３３が重畳するように、当該仮想オブジェクトｖ１３１及びｖ１３３をユーザに提示することが可能となる。
【００１９】
また、入出力装置２０は、例えば、ユーザが頭部の少なくとも一部に装着して使用する所謂頭部装着型デバイスとして構成されており、当該ユーザの視線を検出可能に構成されていてもよい。このような構成に基づき、情報処理装置１０は、例えば、入出力装置２０によるユーザの視線の検出結果に基づき、当該ユーザが所望の対象（例えば、実オブジェクトｍ１１１や、仮想オブジェクトｖ１３１及びｖ１３３等）を注視していることを認識した場合に、当該対象を操作対象として特定してもよい。また、情報処理装置１０は、入出力装置２０に対する所定の操作をトリガとして、ユーザの視線が向けられている対象を操作対象として特定してもよい。以上のようにして、情報処理装置１０は、操作対象を特定し、当該操作対象に関連付けられた処理を実行することで、入出力装置２０を介して各種サービスをユーザに提供してもよい。
【００２０】
また、情報処理装置１０は、入出力装置２０により取得された入力情報に基づき、ユーザの身体の少なくとも一部の部位の動き（例えば、位置や向きの変化、ジェスチャ等）をユーザの操作入力として認識し、当該操作入力の認識結果に応じて各種処理を実行してもよい。具体的な一例として、入出力装置２０は、ユーザの手を認識するための情報（例えば、撮像された手の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、手の動き（例えば、ジェスチャ）を認識し、当該動きの認識結果に応じて、ユーザからの指示（即ち、ユーザの操作入力）を認識する。そして、情報処理装置１０は、ユーザの操作入力の認識結果に応じて、例えば、ユーザに提示する仮想オブジェクトの表示（例えば、仮想オブジェクトの表示位置や姿勢）を制御してもよい。なお、本開示において、“ユーザの操作入力”とは、前述の通り、ユーザからの指示に対応する入力、即ち、ユーザの意図を反映した入力として見做されてよい。以下、「ユーザの操作入力」を、単に「ユーザ入力」と称する場合がある。
【００２１】
なお、図１では、入出力装置２０と情報処理装置１０とが互いに異なる装置として示されているが、入出力装置２０及び情報処理装置１０は一体的に構成されていてもよい。また、入出力装置２０及び情報処理装置１０の構成及び処理の詳細については別途後述する。
【００２２】
以上、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明した。
【００２３】
＜１．２．入出力装置の構成＞
続いて、図２を参照して、図１に示した本実施形態に係る入出力装置２０の概略的な構成の一例について説明する。図２は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。
【００２４】
前述したように、本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する所謂頭部装着型デバイスとして構成されている。例えば、図２に示す例では、入出力装置２０は、所謂アイウェア型（メガネ型）のデバイスとして構成されており、レンズ２９３ａ及び２９３ｂのうち少なくともいずれかが透過型のディスプレイ（表示部２１１）として構成されている。また、入出力装置２０は、撮像部２０１ａ及び２０１ｂと、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。また、入出力装置２０は、撮像部２０３ａ及び２０３ｂを備えてもよい。なお、以降では、入出力装置２０が、撮像部２０３ａ及び２０３ｂを備えているものとして各種説明を行う。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、表示部２１１と、撮像部２０１ａ及び２０１ｂと、撮像部２０３ａ及び２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図２には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。
【００２５】
ここで、入出力装置２０のより具体的な構成について説明する。例えば、図２に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、表示部２１１（換言すると、レンズ２９３ａ及び２９３ｂ）がユーザの眼前に位置するように、当該表示部２１１を保持する。
【００２６】
撮像部２０１ａ及び２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、撮像部２０１ａが、ユーザの右眼の近傍に保持され、撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、撮像部２０１ａ及び２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０（ひいては、ユーザの視点の位置）から、当該被写体までの距離を算出することが可能となる。
【００２７】
なお、入出力装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time  Of  Flight）、Structured  Light等の方式に基づき、入出力装置２０と被写体との間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。また、Structured  Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。
【００２８】
また、撮像部２０３ａ及び２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、撮像部２０３ａにより撮像された右眼の眼球の画像と、当該撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、図２に示す例では、入出力装置２０が撮像部２０３ａ及び２０３ｂの双方を含む構成について示しているが、撮像部２０３ａ及び２０３ｂのうちいずれかのみが設けられていてもよい。
【００２９】
操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタン等のような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図２に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。
【００３０】
また、本実施形態に係る入出力装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）を検出可能に構成されていてもよい。具体的な一例として、入出力装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。
【００３１】
以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、実空間上における自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、表示部２１１に当該コンテンツを提示することも可能となる。また、このとき入出力装置２０は、例えば、ＳＬＡＭ（simultaneous  localization  and  mapping）と称される技術等に基づき、実空間上における自身の位置及び姿勢（即ち、自己位置）を推定してもよく、当該推定結果を仮想オブジェクトの提示に利用してもよい。
【００３２】
ここで、参考として、ＳＬＡＭの概要について説明する。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ  ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部（ひいては、入出力装置２０）の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、入出力装置２０に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。
【００３３】
また、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ：Head  Mounted  Display）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。
【００３４】
シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図２に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。
【００３５】
ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。
【００３６】
網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。
【００３７】
また、上記では、ＡＲ技術を適用することを前提として、本実施形態に係る入出力装置２０の構成の一例について説明したが、必ずしも、当該入出力装置２０の構成を限定するものではない。例えば、ＶＲ技術を適用することを想定した場合には、本実施形態に係る入出力装置２０は、没入型ＨＭＤと呼ばれるＨＭＤとして構成されていてもよい。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。
【００３８】
以上、図２を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明した。
【００３９】
＜＜２．ユーザインタフェースに関する検討＞＞
続いて、頭部装着型デバイスが利用される状況を想定したユーザインタフェースについて検討したうえで、本実施形態に係る情報処理装置の課題について整理する。
【００４０】
情報処理装置に対してユーザが各種情報を入力するための入力インタフェースの一例として、例えば、ボタン、スイッチ、タッチセンサ等の入力デバイスが挙げられる。図２を参照して説明した入出力装置２０のような頭部装着型デバイスにおいても、ボタンやタッチセンサ等（例えば、図２に示す操作部２０７等）の入力デバイスが、例えば、筐体の一部（例えば、表示部や撮像部等を保持する保持部の一部）に設けられている場合がある。
【００４１】
一方で、頭部装着型デバイスにおいては、頭部に装着して使用されるという特性上、筐体の一部に設けられた入力デバイスをユーザが直接視認することが困難な場合があり、当該入力インタフェースを視認できる場合に比べて使い勝手が悪い。
【００４２】
また、表示部や撮像部を保持する筐体に設けられた入力インタフェースが操作されるような状況下では、当該入力インタフェースへの操作により筐体が振動し、当該振動が当該筐体により保持された表示部や撮像部に伝わる場合がある。このような状況下では、例えば、ユーザの眼と表示部及び撮像部との間の相対的な位置関係が変化し、実オブジェクトと当該実オブジェクトに重畳するように提示された仮想オブジェクトとが、正しい位置関係で当該ユーザに視認されない場合もある。
【００４３】
これに対して、ボタンやスイッチ等の入力デバイスを介さずに情報処理装置に対して各種情報を入力するための入力インタフェースとして、ジェスチャ入力が採用されている場合もある。ジェスチャ入力では、例えば、撮像部等により撮像された画像を解析することで、手等の部位を使ったジェスチャを認識し、当該ジェスチャの認識結果に応じてユーザ入力を認識する。これにより、ユーザは、筐体に設けられた入力デバイス（即ち、視認が困難な入力デバイス）を操作せずとも、ジェスチャ等のようなより直感的な操作により、情報処理装置に対して情報を入力することが可能となる。
【００４４】
しかしながら、ジェスチャ入力は画像認識等のような比較的負荷の高い処理が必要となるため、消費電力がより大きくなる傾向にある。これに対して、図２を参照して説明したような頭部装着型デバイスは、頭部に装着して使用されるという特性上、バッテリー駆動のものも多く、スマートフォン等のように携行して使用される場合もある。このようなデバイスにおいては、消費電力をより低減できるような構成とすることがより望ましい。
【００４５】
以上のような状況を鑑み、本開示では、装置の筐体に設けられた入力デバイスを介さずにユーザ入力を認識し、かつ当該認識に係る処理負荷をより低減することが可能な技術の一例について提案する。
【００４６】
＜＜３．技術的特徴＞＞
以下に、本開示の一実施形態に係る情報処理装置の技術的特徴について説明する。
【００４７】
＜３．１．入力インタフェースの概要＞
まず、図３及び図４を参照して、本開示の一実施形態に係る情報処理装置がユーザ入力を認識するための入力インタフェースの一例について概要を説明する。図３及び図４は、本実施形態に係る入力インタフェースの概要について説明するための説明図である。
【００４８】
本実施形態に係る情報処理装置１０は、例えば、頭部装着型デバイスに設けられたステレオカメラ等のように、外部環境の画像を撮像する撮像部（例えば、実オブジェクトの認識や自己位置推定等に利用される撮像部）をユーザ入力の認識に利用する。そこで、本説明では、図２を参照して説明した入出力装置２０において、撮像部２０１ａ及び２０１ｂがユーザ入力の認識に利用される場合を例に、本実施形態に係る入力インタフェースの概要について説明する。
【００４９】
本実施形態に係る情報処理システムにおいては、ユーザは、撮像部２０１ａ及び２０１ｂのうち少なくとも一部を手等の部位により覆うことで、情報処理装置１０に対して各種指示を行うことが可能である。換言すると、情報処理装置１０は、撮像部２０１ａ及び２０１ｂのうち少なくとも一部の撮像部が所定の遮蔽状態にあるか否かに応じて、ユーザ入力を認識する。なお、所定の遮蔽状態とは、例えば、所望の撮像部の画角の略全体が遮蔽されている状態が挙げられる。なお、以降の説明では、所定の遮蔽状態が、所望の撮像部の画角の略全体が遮蔽されている状態を示すものとして説明するが、必ずしも当該状態に限定するものではない。
【００５０】
例えば、図３は、撮像部２０１ａの画角がユーザの手Ｕ１１により遮蔽されている状況を示している。この場合には、情報処理装置１０は、撮像部２０１ａの画角の略全体が遮蔽されているか否かを、所定の方法に基づき判定し、遮蔽されていると判定した場合には、ユーザにより所定の入力が行われたものと認識する（即ち、ユーザ入力を認識する）。なお、撮像部２０１ａが「第１の撮像部」の一例に相当する。即ち、撮像部２０１ａの遮蔽状態に関する上記判定（例えば、撮像部２０１ａの画角の略全体が遮蔽されているか否かの判定）が「第１の判定」の一例に相当する。
【００５１】
また、図４は、撮像部２０１ｂの画角がユーザの手Ｕ１３により遮蔽されている状況を示している。この場合には、図３を参照して説明した例と同様に、情報処理装置１０は、撮像部２０１ｂの画角の略全体が遮蔽されているか否かを判定し、当該判定結果に応じてユーザ入力を認識する。なお、撮像部２０１ｂが「第２の撮像部」の一例に相当する。即ち、撮像部２０１ｂの遮蔽状態に関する上記判定が「第２の判定」の一例に相当する。
【００５２】
なお、撮像部２０１ａ及び２０１ｂそれぞれの画角の略全体が遮蔽されているか否かを判定することが可能であれば、その方法は特に限定されない。具体的な一例として、情報処理装置１０は、撮像部２０１ａ及び２０１ｂそれぞれにより撮像される画像の明るさに基づき、当該撮像部２０１ａ及び２０１ｂそれぞれの画角の略全体が遮蔽されているか否かを判定してもよい。なお、所定の撮像部により撮像される画像の明るさに応じて、当該撮像部の画角の略全体が遮蔽されているか否かを判定する方法については、実施例として詳細を別途後述する。また、他の一例として、近接センサや測距センサ等のような各種センサを利用することで、撮像部２０１ａ及び２０１ｂそれぞれの画角の略全体が遮蔽されているかが判定されてもよい。この場合には、例えば、撮像部２０１ａ及び２０１ｂそれぞれと遮蔽物との間の距離が、当該撮像部の画角の略全体を遮蔽する程度に近傍に位置する場合（即ち、距離の検出結果が閾値以下の場合）に、当該画角の略全体が遮蔽されているものと判定されてもよい。
【００５３】
以上のような構成により、情報処理装置１０は、例えば、撮像部２０１ａ及び２０１ｂのうちいずれの撮像部の画角の略全体が遮蔽されたか否かに応じて、ユーザ入力を認識することが可能となる。
【００５４】
また、他の一例として、情報処理装置１０は、撮像部２０１ａ及び２０１ｂのうち、画角の略全体が遮蔽された撮像部の組み合わせに応じてユーザ入力を認識してもよい。換言すると、情報処理装置１０は、撮像部２０１ａ及び２０１ｂの双方について画角の略全体が遮蔽された場合に、撮像部２０１ａ及び２０１ｂのうちの一方のみについて画角の略全体が遮蔽された場合とは異なる入力が行われたものと認識することも可能である。
【００５５】
以上、図３及び図４を参照して、本開示の一実施形態に係る情報処理装置がユーザ入力を認識するための入力インタフェースの一例について概要を説明した。
【００５６】
＜３．２．機能構成＞
続いて、図５を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明する。図５は、本実施形態に係る情報処理システム１の機能構成の一例を示したブロック図である。そこで、以降では、図１を参照して説明したように、情報処理システム１が情報処理装置１０と入出力装置２０とを含むものとして、当該情報処理装置１０及び入出力装置２０それぞれの構成についてより詳しく説明する。なお、図５に示すように、情報処理システム１は、記憶部１９０を含んでもよい。
【００５７】
まず、入出力装置２０の構成について説明する。図５に示すように、入出力装置２０は、撮像部２０１ａ及び２０１ｂと、出力部２１０とを含む。出力部２１０は、表示部２１１を含む。また、出力部２１０は、音響出力部２１３を含んでもよい。撮像部２０１ａ及び２０１ｂは、図２を参照して説明した撮像部２０１ａ及び２０１ｂに相当する。なお、撮像部２０１ａ及び２０１ｂを特に区別しない場合には、単に「撮像部２０１」と称する場合がある。また、表示部２１１は、図２を参照して説明した表示部２１１に相当する。また、音響出力部２１３は、スピーカ等のような音響デバイスから成り、出力対象となる情報に応じた音声や音響を出力する。
【００５８】
次いで、情報処理装置１０の構成について説明する。図５に示すように、情報処理装置１０は、判定部１０１と、認識部１０３と、処理実行部１０５と、出力制御部１０７とを含む。
【００５９】
判定部１０１は、撮像部２０１から画像の撮像結果に応じた情報を取得し、取得した情報に応じて当該撮像部の画角の略全体が何らかの実オブジェクト（例えば、ユーザの手等）により遮蔽されているか否かを判定する。
【００６０】
例えば、判定部１０１は、撮像部２０１により撮像された画像を当該撮像部２０１から取得し、取得した画像の明るさ（例えば、画素ごとの輝度の分布）に応じて、当該撮像部２０１の画角の略全体が遮蔽されているか否かを判定してもよい。より具体的な一例として、判定部１０１は、取得した画像の各画素の輝度の平均値を算出し、算出した輝度の平均値が閾値以下の場合に、当該画像を撮像した撮像部２０１の画角の略全体が遮蔽されているものと判定してもよい。
【００６１】
また、他の一例として、判定部１０１は、撮像部２０１から撮像された画像を取得し、取得した画像に基づき実空間上の物体（即ち、実オブジェクト）の認識が困難と判定した場合に、当該撮像部２０１の画角の略全体が遮蔽されているものと判定してもよい。より具体的な一例として、判定部１０１は、取得した画像から実オブジェクトを認識するための特徴点の抽出が困難な場合（例えば、抽出した特徴点の数が閾値以下の場合）に、当該画像を撮像した撮像部２０１の画角の略全体が遮蔽されているものと判定してもよい。
【００６２】
もちろん、上述した例はあくまで一例であり、判定部１０１が、撮像部２０１の画角の略全体が遮蔽されているか否かを判定することが可能であれば、その方法は特に限定されない。具体的な一例として、判定部１０１は、測距センサや近接センサ等による撮像部２０１に対する実オブジェクトの近接を検知した場合に、当該撮像部２０１の画角の略全体が遮蔽されているものと判定してもよい。
【００６３】
なお、判定部１０１が判定の対象とする撮像部２０１の数は特に限定されない。具体的な一例として、判定部１０１は、撮像部２０１ａ及び２０１ｂのいずれかのみを判定の対象としてもよいし、撮像部２０１ａ及び２０１ｂの双方を判定の対象としてもよい。また、判定部１０１は、撮像部２０１ａ及び２０１ｂ以外の他の撮像部を判定の対象としてもよい。即ち、判定部１０１は、３以上の撮像部を判定の対象としてもよい。
【００６４】
また、判定部１０１が上述した判定を行うタイミングは特に限定されない。具体的な一例として、判定部１０１は、所定のタイミングごとに定期的に上記判定を行ってもよい。また、他の一例として、判定部１０１は、所定のトリガに応じて上記判定を行ってもよい。具体的な一例として、判定部１０１は、ユーザ入力を促す操作メニュー等のような所定の表示情報が表示部２１１に表示されている場合に、上記判定を行ってもよい。この場合には、判定部１０１は、例えば、後述する出力制御部１０７からの通知に基づき、所定の表示情報が表示部２１１に表示されているか否かを認識してもよい。
【００６５】
そして、判定部１０１は、撮像部２０１の画角の略全体が遮蔽されているか否かの判定結果を示す情報を認識部１０３に通知する。このとき判定部１０１は、例えば、所定の撮像部２０１の画角の略全体が遮蔽されていると判定した場合に、認識部１０３に対する通知を行ってもよい。また、判定部１０１は、判定の対象となる撮像部２０１の候補が複数存在する場合には、当該撮像部２０１ごとに判定結果を示す情報を認識部１０３に通知してもよい。
【００６６】
認識部１０３は、撮像部２０１の画角の略全体が遮蔽されているか否かの判定結果を示す情報を判定部１０１から取得し、取得した当該情報に基づきユーザ入力を認識する。このとき、認識部１０３は、表示部２１１に表示されている、ユーザ入力の認識に関連する情報と、上記判定結果を示す情報とに応じて、ユーザ入力を認識してもよい。
【００６７】
例えば、図６は、本実施形態に係る入力インタフェースの一例について説明するための説明図であり、入出力装置２０の表示部２１１を介して提示される操作メニューの一例を示している。図６において、参照符号Ｖ１０１は、ユーザに視認される実空間の光学像を模式的に示している。また、参照符号Ｖ１０３は、表示部２１１を介して表示情報（例えば、仮想オブジェクト）が提示される領域（即ち、描画領域）を示している。また、参照符号Ｖ１０５及びＶ１０７は、操作メニューとして提示された表示情報の一例を示している。具体的には、表示情報Ｖ１０５が、所定の処理の実行の許可を意味する操作メニューに対応付けられており、表示情報Ｖ１０７が、当該処理の実行の取り消しを意味する操作メニューに対応付けられている。
【００６８】
図６に示すような状況下で、認識部１０３は、例えば、入出力装置２０を装着したユーザに対して相対的に左側に位置する撮像部２０１ｂ（即ち、図２に示す撮像部２０１ｂ）の画角の略全体が遮蔽された場合には、表示情報Ｖ１０５に対応する操作メニューが選択されたものと認識する。この場合には、認識部１０３は、ユーザにより所定の処理の実行を肯定する指示が行われたものと認識する。即ち、認識部１０３は、ユーザによる上記操作を、肯定を意味するユーザ入力として認識することとなる。
【００６９】
また、認識部１０３は、入出力装置２０を装着したユーザに対して相対的に右側に位置する撮像部２０１ａ（即ち、図２に示す撮像部２０１ａ）の画角の略全体が遮蔽された場合には、表示情報Ｖ１０７に対応する操作メニューが選択されたものと認識する。この場合には、認識部１０３は、ユーザにより所定の処理の実行を取り消す指示が行われたものと認識する。即ち、認識部１０３は、ユーザによる上記操作を、取り消しを意味するユーザ入力として認識することとなる。
【００７０】
なお、認識部１０３は、所定のトリガに応じて上述したユーザ入力の認識に係る処理を実行してもよい。具体的な一例として、認識部１０３は、ユーザ入力を促す操作メニュー等のような所定の表示情報が表示部２１１に表示されている場合に、ユーザ入力の認識に係る処理を実行してもよい。この場合には、認識部１０３は、例えば、出力制御部１０７からの通知に基づき、所定の表示情報が表示部２１１に表示されている否かを認識してもよい。
【００７１】
そして、認識部１０３は、ユーザ入力の認識結果を示す情報を処理実行部１０５に出力する。
【００７２】
処理実行部１０５は、情報処理装置１０（ひいては、情報処理システム１）が提供する各種機能（例えば、アプリケーション）を実行するための構成である。処理実行部１０５は、例えば、認識部１０３によるユーザ入力の認識結果に応じて、対応するアプリケーションを所定の記憶部（例えば、後述する記憶部１９０）から抽出し、抽出したアプリケーションを実行してもよい。また、処理実行部１０５は、実行中のアプリケーションの動作を、認識部１０３によるユーザ入力の認識結果に応じて制御してもよい。例えば、処理実行部１０５は、ユーザにより選択された操作メニューに応じて、実行中のアプリケーションの以降の動作を切り替えてもよい。また、処理実行部１０５は、各種アプリケーションの実行結果を示す情報を出力制御部１０７に出力してもよい。
【００７３】
出力制御部１０７は、出力対象となる各種情報を出力部２１０に出力させることで、当該情報をユーザに提示する。例えば、出力制御部１０７は、出力対象となる表示情報を表示部２１１に表示させることで、当該表示情報をユーザに提示してもよい。また、出力制御部１０７は、出力対象となる情報に応じた音響を音響出力部２１３に出力させることで、当該情報をユーザに提示してもよい。
【００７４】
例えば、出力制御部１０７は、各種アプリケーションの実行結果を示す情報を処理実行部１０５から取得し、取得した当該情報に応じた出力情報を、出力部２１０を介してユーザに提示してもよい。具体的な一例として、出力制御部１０７は、所望のアプリケーションの実行結果に応じて、図６に示す表示情報Ｖ１０５及びＶ１０７のような、当該アプリケーションの操作メニューに対応する表示情報を表示部２１１に表示させてもよい。また、出力制御部１０７は、所望のアプリケーションの実行結果を示す表示情報を表示部２１１に表示させてもよい。また、出力制御部１０７は、所望のアプリケーションの実行結果に応じた出力情報を、音声や音響として音響出力部２１３に出力させてもよい。
【００７５】
また、出力制御部１０７は、出力部２１０を介した各種出力情報の出力状況を示す情報を、判定部１０１や認識部１０３に通知してもよい。具体的な一例として、出力制御部１０７は、図６に示す表示情報Ｖ１０５及びＶ１０７のようなユーザの操作に関する情報を表示部２１１に表示させている場合に、当該情報が表示されていることを判定部１０１や認識部１０３に通知してもよい。
【００７６】
記憶部１９０は、各種データを、一時的または恒常的に記憶するための記憶領域である。例えば、記憶部１９０には、情報処理装置１０が各種機能を実行するためのデータが記憶されていてもよい。より具体的な一例として、記憶部１９０には、各種アプリケーションを実行するためのデータ（例えば、ライブラリ）や各種設定等を管理するための管理データ等が記憶されていてもよい。
【００７７】
なお、図５に示した情報処理システム１の機能構成はあくまで一例であり、上述した各構成の処理を実現することが可能であれば、情報処理システム１の機能構成は必ずしも図５に示す例のみには限定されない。具体的な一例として、入出力装置２０と情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、記憶部１９０が、情報処理装置１０に含まれていてもよいし、当該情報処理装置１０の外部の記録媒体（例えば、当該情報処理装置１０に対して外付けされる記録媒体）として構成されていてもよい。また、他の一例として、情報処理装置１０の各構成のうち、一部の構成が情報処理装置１０の外部（例えば、サーバ等）に設けられていてもよい。
【００７８】
以上、図５を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明した。
【００７９】
＜３．３．処理＞
続いて、図７を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１０の動作に着目して説明する。図７は、本実施形態に係る情報処理システム１の一連の処理の流れの一例を示したフローチャートである。
【００８０】
まず、情報処理装置１０（判定部１０１）は、入出力装置２０に保持された所定の撮像部２０１から画像の撮像結果に応じた情報を取得し、取得した情報に応じて当該撮像部の画角の略全体が何らかの実オブジェクト（例えば、ユーザの手等）により遮蔽されているか否かを判定する（Ｓ１０１）。
【００８１】
所定の撮像部２０１の画角の略全体が遮蔽されていると判定した場合には（Ｓ１０３、ＹＥＳ）、情報処理装置１０（認識部１０３）は、画角が遮蔽されていると判定された撮像部に応じてユーザ入力を認識する（Ｓ１０５）。そして、情報処理装置１０は、ユーザ入力の認識結果に応じた処理を実行する（Ｓ１０７）。具体的な一例として、情報処理装置１０（処理実行部１０５）は、ユーザ入力の認識結果に応じて、対応するアプリケーションを実行してもよい。また、情報処理装置１０（出力制御部１０７）は、当該アプリケーションの実行結果に応じた出力情報を、出力部２１０を介してユーザに提示してもよい。
【００８２】
また、所定の撮像部２０１の画角の略全体が遮蔽されていないと判定した場合には（Ｓ１０３、ＮＯ）、情報処理装置１０は、参照符号Ｓ１０３及び１０７に係る処理を実行せずに、以降の処理に遷移してもよい。
【００８３】
なお、情報処理装置１０が、参照符号Ｓ１０１〜Ｓ１０７で示した一連の処理を実行する契機は特に限定されない。例えば、情報処理装置１０は、所定のトリガに応じて、当該一連の処理を実行してもよい。より具体的な一例として、情報処理装置１０は、入出力装置２０を介してユーザに情報の入力を促した場合に、上述した一連の処理を実行してもよい。
【００８４】
以上、図７を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１０の動作に着目して説明した。
【００８５】
＜３．４．実施例＞
続いて、実施例として、図８〜図１６を参照して、所定の撮像部により撮像された画像の明るさに基づき、当該撮像部の画角の略全体が遮蔽されているか否かを判定する方法の一例について、具体的な例を挙げて説明する。図８〜図１６は、本実施形態に係る情報処理システムの実施例について説明するための説明図である。
【００８６】
まず、図８及び図９に示す例について説明する。図８は、所定の撮像部の画角を手で遮蔽した場合に、当該撮像部により撮像された画像の一例を示しており、撮像部と手との間の距離が約２０ｃｍの場合について示している。図８に示す例では、撮像部の画角の一部のみが手により遮蔽されており、手により遮蔽されていない背景が識別可能な状況にある。また、図９は、図８に示す画像の各画素の輝度の分布を示したグラフである。図９において、横軸は、画素の輝度を示しており、縦軸は、頻度を示している。また、図９に示す例では、各画素の輝度は、０〜２５５の値を示し、値がより高いほどより高い輝度を示すものとする。図９に示すように、図８に示す例の場合には、比較的輝度の高い画素が多く分布していることがわかる。これは、図８に示す例の場合には、撮像部の画角の一部のみが手により遮蔽されているため、手により遮蔽されていない領域からの外部環境の光の漏れ込みが寄与しているものと推測される。
【００８７】
次いで、図１０及び図１１に示す例について説明する。図１０は、所定の撮像部の画角を手で遮蔽した場合に、当該撮像部により撮像された画像の一例を示しており、撮像部と手との間の距離が約１０ｃｍの場合について示している。図１０に示す例では、図８に示す例に比べて、撮像部の画角のうち手により遮蔽されている領域がより広くなっており、画像全体の明るさもより暗くなっている。また、図１１は、図１０に示す画像の各画素の輝度の分布を示したグラフである。なお、図１１における横軸及び縦軸は、図９に示すグラフと同様である。図１１と図９とを比較するとわかるように、図１０に示す画像は、図８に示す画像に比べて、より輝度の低い画素がより多く分布している。即ち、図１０に示す画像全体の明るさは、図８に示す画像全体の明るさに比べて、より暗いことがわかる。
【００８８】
次いで、図１２及び図１３に示す例について説明する。図１２は、所定の撮像部の画角を手で遮蔽した場合に、当該撮像部により撮像された画像の一例を示しており、撮像部と手との間の距離が約１ｃｍの場合について示している。図１２に示す例では、撮像部の画角のほぼ全体が遮蔽されているため、背景を識別することが困難な状況にある。また、図１３は、図１２に示す画像の各画素の輝度の分布を示したグラフである。なお、図１３における横軸及び縦軸は、図９に示すグラフと同様である。図１３と図１１とを比較するとわかるように、図１２に示す画像は、図１０に示す画像に比べて、より輝度の低い画素がより多く分布している。なお、図１３に示すように、各画素がわずかではあるものの黒よりも明るい輝度を示しているのは、撮像部と手との間の隙間から外部環境の光が漏れ込んだことに起因することが推測される。
【００８９】
次いで、図１４及び図１５に示す例について説明する。図１４は、所定の撮像部の画角を手で遮蔽した場合に、当該撮像部により撮像された画像の一例を示しており、撮像部と手との間の距離が約１ｍｍの場合について示している。図１４に示す例では、図１２に示す例と同様に、撮像部の画角のほぼ全体が遮蔽されているため、背景を識別することが困難な状況にある。また、図１５は、図１４に示す画像の各画素の輝度の分布を示したグラフである。なお、図１５における横軸及び縦軸は、図９に示すグラフと同様である。図１５と図１３とを比較するとわかるように、図１４に示す画像は、図１２に示す画像に比べて、より輝度の低い画素がより多く分布している。これは、撮像部と手との間の隙間が、図１２及び１３に示す例に比べてより狭くなっており、外部環境から漏れ込む光の量も、比例して減少していることに起因することが推測される
【００９０】
以上によれば、例えば、本実施例で使用した撮像部の場合には、撮像された画像の各画素の輝度の分布が、図１６に示すような分布となる場合に、当該撮像部の画角の略全体が遮蔽されているか否かを判定するための境界（閾値）としてみなすことが可能である。即ち、本実施例で使用した撮像部においては、例えば、撮像された画像の各画素の輝度の平均値が７７以下の値を示す場合に、当該撮像部の画角の略全体が遮蔽されているものとみなすことが可能である。
【００９１】
なお、本実施例で説明した例はあくまで一例であり、撮像部の画角の略全体が遮蔽されているか否かを判定するための閾値は、当該撮像部の構成、設置位置、設置方法等の各種条件に応じて適宜変更されてもよいことは言うまでもない。
【００９２】
以上、実施例として、図８〜図１６を参照して、所定の撮像部により撮像された画像の明るさに基づき、当該撮像部の画角の略全体が遮蔽されているか否かを判定する方法の一例について、具体的な例を挙げて説明した。
【００９３】
＜３．５．変形例＞
続いて、本実施形態に係る情報処理システム１の変形例について説明する。
【００９４】
（変形例１：撮像部の画角の遮蔽状況に関する情報の報知）
まず、変形例１として、撮像部の画角が遮蔽されている状況をユーザに報知する場合のユーザインタフェースの一例について説明する。
【００９５】
入出力装置２０のような頭部装着型デバイスは、頭部に装着して使用されるという特性上、装着状態に応じて、ユーザが、当該入出力装置２０の各部のうち、眼前に位置する部分以外の他の部分を直接視認することが困難となる。そのため、例えば、図２に示す撮像部２０１ａ及び２０１ｂがユーザ入力の判定に使用される場合に、ユーザは、入出力装置２０を装着した状態では、当該撮像部２０１ａ及び２０１ｂを直接視認することが困難な場合がある。
【００９６】
以上のような状況を鑑み、変形例１に係る情報処理装置１０は、ユーザ入力の判定に使用する撮像部の画角の遮蔽状況に応じて報知情報を出力することで、当該遮蔽状況をユーザに報知してもよい。
【００９７】
例えば、図１７は、変形例１に係るユーザインタフェースの一例について説明するための説明図である。なお、本説明では、図２に示す入出力装置２０の使用を想定し、撮像部２０１ａ及び２０１ｂがユーザ入力の判定に使用されるものとしてユーザインタフェースの一例について説明する。また、図１７において、参照符号Ｖ２０１〜Ｖ２０７が付された対象は、図６を参照して説明した例において参照符号Ｖ１０１〜ｖ１０７が付された対象にそれぞれ対応しているため、詳細な説明は省略する。
【００９８】
図１７に示す例では、参照符号Ｖ２０９及びＶ２１１として示すように、ユーザ入力の判定に使用する撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像を、描画領域Ｖ２０３に表示させている。このような構成により、撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像が、表示部２１１を介してユーザに提示されることとなる。
【００９９】
例えば、図１７において、参照符号Ｖ２１３は、入出力装置２０を装着したユーザに対して相対的に左側に位置する撮像部２０１ｂにより撮像された画像を示しており、参照符号Ｖ２０９で示された領域に表示される。また、当該撮像部２０１ｂは、表示情報Ｖ２０５に対応する操作メニューに関連付けられている。このような状況の基で、例えば、ユーザは、表示情報Ｖ２０５に対応する操作メニューを選択する場合には、領域Ｖ２０９に表示された画像Ｖ２１３を確認することで、撮像部２０１ｂの画角が遮蔽されている状況（即ち、当該画角の略全体が遮蔽されているか否か）を視覚的に確認することが可能となる。例えば、図１７に示す例では、撮像部２０１ｂの画角が、参照符号Ｕ１３で示されたユーザの手により遮蔽されており、画像Ｖ２１３中に当該ユーザの手Ｕ１３が被写体として撮像されている。
【０１００】
同様に、参照符号Ｖ２１５は、入出力装置２０を装着したユーザに対して相対的に右側に位置する撮像部２０１ａにより撮像された画像を示しており、参照符号Ｖ２１１で示された領域に表示される。また、当該撮像部２０１ａは、表示情報Ｖ２０７に対応する操作メニューに関連付けられている。このような状況の基で、例えば、ユーザは、表示情報Ｖ２０７に対応する操作メニューを選択する場合には、領域Ｖ２１１に表示された画像Ｖ２１５を確認することで、撮像部２０１ａの画角が遮蔽されている状況（即ち、当該画角の略全体が遮蔽されているか否か）を視覚的に確認することが可能となる。
【０１０１】
以上のような構成により、ユーザは、ユーザ入力の判定に使用される撮像部を直接視認することが困難な場合においても、表示部２１１を介して提示される画像を確認しながら、当該撮像部の画角を手等により遮蔽することが可能となる。
【０１０２】
なお、図１７を参照して説明した例はあくまで一例であり、ユーザ入力の判定に使用される撮像部の画角が遮蔽されている状況をユーザに報知することが可能であれば、報知される情報（即ち、報知情報）の種別や、当該情報の報知方法等は特に限定されない。
【０１０３】
例えば、情報処理装置１０は、ユーザ入力の判定に使用される撮像部の画角が遮蔽されている状況（例えば、遮蔽されている割合）に応じた報知情報を、音響として、スピーカ等のような音響出力部を介してユーザに提示してもよい。具体的な一例として、ユーザに対して相対的に左側に位置する撮像部の画角が遮蔽されている場合には、情報処理装置１０は、ユーザに対して相対的に左側に位置するスピーカから、当該画角が遮蔽されている割合に応じた音量で効果音等の音響を出力してもよい。より具体的な一例として、情報処理装置１０は、例えば、所定の撮像部にユーザの手が近づくほど（即ち、当該撮像部より撮像された画像の明るさがより暗くなるほど）、スピーカから出力される音響の音量がより大きくなるように制御してもよい。
【０１０４】
以上、変形例１として、図１７を参照して、撮像部の画角が遮蔽されている状況をユーザに報知する場合のユーザインタフェースの一例について説明する。
【０１０５】
（変形例２：撮像部の画角の遮蔽方法に関する情報の提示）
続いて、変形例２として、撮像部の画角を遮蔽する方法をユーザに報知する方法の一例について説明する。
【０１０６】
前述したように、入出力装置２０のような頭部装着型デバイスは、装着状態に応じて、ユーザが、当該入出力装置２０の各部のうち、眼前に位置する部分以外の他の部分を直接視認することが困難となる。そのため、ユーザが、入出力装置２０を装着した状態において、ユーザ入力の判定に使用される撮像部（例えば、図２に示す撮像部２０１ａ及び２０１ｂ）を直接視認することが困難となる場合がある。
【０１０７】
以上のような状況を鑑み、変形例２に係る情報処理装置１０は、ユーザ入力の判定に使用される雑像部の画角の遮蔽方法（即ち、操作方法）を報知するための報知情報をユーザに報知してもよい。
【０１０８】
例えば、図１８は、変形例２に係るユーザインタフェースの一例について説明するための説明図である。なお、本説明では、図２に示す入出力装置２０の使用を想定し、撮像部２０１ａ及び２０１ｂがユーザ入力の判定に使用されるものとしてユーザインタフェースの一例について説明する。また、図１８において、参照符号Ｖ３０１〜Ｖ３０７が付された対象は、図６を参照して説明した例において参照符号Ｖ１０１〜ｖ１０７が付された対象にそれぞれ対応しているため、詳細な説明は省略する。
【０１０９】
変形例２に係る情報処理装置１０は、ユーザに対して操作を促した後に、ユーザ入力が検出されない状態が所定の期間以上継続した場合に、操作方法（即ち、撮像部の画角の遮蔽方法）を報知するための報知情報を提示する。
【０１１０】
例えば、図１８に示す例では、情報処理装置１０は、描画領域Ｖ３０３に報知情報Ｖ３０９を提示することで、ユーザに対して操作を促している。また、情報処理装置１０は、報知情報Ｖ３０９を提示した後に、ユーザ入力が検出されない状態が所定の期間以上継続した場合に、報知情報Ｖ３１１及びＶ３１３を提示することでユーザに操作方法を報知している。
【０１１１】
具体的には、報知情報Ｖ３１１は、表示情報Ｖ３０５に対応する操作メニューを選択するための操作方法として、ユーザに対して相対的に左側に位置する撮像部２０１ｂの画角を遮蔽する方法を画像として示している。即ち、情報処理装置１０は、表示情報Ｖ３０５の近傍に当該報知情報Ｖ３１１を提示することで、当該表示情報Ｖ３０５に対応する操作メニューを選択するための操作方法をユーザに報知している。
【０１１２】
また、報知情報Ｖ３１３は、表示情報Ｖ３０７に対応する操作メニューを選択するための操作方法として、ユーザに対して相対的に右側に位置する撮像部２０１ａの画角を遮蔽する方法を画像として示している。即ち、情報処理装置１０は、表示情報Ｖ３０７の近傍に当該報知情報Ｖ３１３を提示することで、当該表示情報Ｖ３０７に対応する操作メニューを選択するための操作方法をユーザに報知している。
【０１１３】
なお、図１８に示した例はあくまで一例であり、操作方法（即ち、撮像部の画角を遮蔽する方法）をユーザに報知することが可能であれば、報知情報の種別や報知方法は必ずしも図１８に示す例には限定されない。
【０１１４】
以上、変形例２として、図１８を参照して、撮像部の画角を遮蔽する方法をユーザに報知する方法の一例について説明する。
【０１１５】
（変形例３：遮蔽状況に応じたユーザ入力の認識方法の一例）
続いて、変形例３として、撮像部の画角の遮蔽状況に応じてユーザ入力を認識する方法の一例について説明する。
【０１１６】
前述した実施形態では、情報処理装置１０は、所定の撮像部の画角の略全体が遮蔽されているか否かに応じてユーザ入力を認識していた。これに対して、変形例３に係る情報処理装置１０は、所定の撮像部の画角の遮蔽状態として、第１の遮蔽状態と、当該第１の遮蔽状態よりも当該画角の遮蔽量が小さい第２の遮蔽状態とを識別し、それぞれを異なるユーザ入力として認識する。なお、第１の遮蔽状態としては、例えば、所定の撮像部の画角の略全体が遮蔽されている状態が挙げられる。これに対して、第２の遮蔽状態としては、当該撮像部の画角の一部のみが遮蔽されている状態が挙げられる。なお、以降の説明では、情報処理装置１０は、所定の撮像部の画角の略全体が遮蔽されている状態と、当該画角の一部のみが遮蔽されている状態とを識別するものとして説明する。
【０１１７】
具体的な一例として、所定の撮像部の画角の略全体が遮蔽されている状態を、所定のボタンが押下された状態に対応付けた場合には、当該画角の一部のみが遮蔽されている状態が、当該ボタンが半押しされた状態に対応付けられてもよい。
【０１１８】
なお、画角が遮蔽されていない状態、画角の一部のみが遮蔽されている状態、及び、画角の略全体が遮蔽されている状態のそれぞれを判別するための基準は特に限定されず、利用形態に応じて適宜設定すればよい。具体的な一例として、撮像部により撮像された画像の明るさに基づきユーザ入力を判別する場合には、画角の一部のみが遮蔽されている状態と、画角の略全体が遮蔽されている状態と、のそれぞれを判別するための閾値を適宜設定すればよい。
【０１１９】
以上、変形例３として、撮像部の画角の遮蔽状況に応じてユーザ入力を認識する方法の一例について説明した。
【０１２０】
（変形例４：外部環境に応じた制御の一例）
続いて、変形例４として、外部環境に応じたユーザ入力の判定に係る制御の一例について説明する。
【０１２１】
実施例として前述したように所定の撮像部により撮像された画像の明るさに応じて当該撮像部の画角の略全体が遮蔽されているか否かを判定する場合には、当該画像の明るさは、外部環境の明るさによっても変化する場合がある。ここで、「外部環境の明るさ」とは、撮像部の画角が遮蔽されていない状態における情報処理装置１０の周辺の環境光の強さとして見做されても良い。そのため、例えば、外部環境が明るいか暗いかに応じて、撮像部の画角が遮蔽されるか否かに応じた、撮像される画像の明るさの変化の態様が異なる。例えば、外部環境が比較的明るいような状況下では、撮像部の画角の略全体が遮蔽されるか否かに応じた、撮像される画像の明るさの変化量が比較的大きくなる。これに対して、外部環境が比較的暗いような状況下では、外部環境が明るい場合に比べて、撮像部の画角の略全体が遮蔽されるか否かに応じた、撮像される画像の明るさの変化量が小さくなる。
【０１２２】
このような状況を鑑み、変形例４に係る情報処理装置１０は、例えば、照度センサ等により外部環境の明るさを別途検知し、当該検知結果に応じて、所定の撮像部の画角の略全体が遮蔽されているか否かを判定するための閾値を動的に制御してもよい。
【０１２３】
また、外部環境の明るさが極めて暗くなると、撮像部の画角が遮蔽されているか否かを判別することが困難となる場合もある。そのため、例えば、変形例４に係る情報処理装置１０は、外部環境の明るさの検出結果が閾値以下の場合には、撮像部の画角が遮蔽されているか否かの判定（即ち、ユーザ入力の認識）を一時的に抑制してもよい。
【０１２４】
なお、外部環境が明るいか否かに応じてユーザ入力の認識を一時的に抑制できれば、その方法は必ずしも照度センサを用いる方法には限定されない。例えば、外部環境が明るいような状況下では、複数の撮像部のうち一部の撮像部についてのみ画角の略全体が遮蔽されている場合には、他の撮像部により撮像された画像の明るさは明るくなる。これに対して、外部環境が暗いような状況下では、複数の撮像部のうち一部の撮像部についてのみ画角の略全体が遮蔽されている場合においても、他の撮像部により撮像された画像の明るさも暗くなる。このような特性から、例えば、情報処理装置１０は、複数の撮像部のうち一部の撮像部についてのみ画角の略全体が遮蔽されていると判定した場合（換言すると、画角の略全体が遮蔽されていると判定された撮像部の数が閾値以下の場合）にのみ、当該遮蔽状況に応じてユーザ入力を認識してもよい。換言すると、情報処理装置１０は、画角の略全体が遮蔽されていると判定された撮像部の数が閾値を超える場合（ひいては、複数の撮像部の全てについて画角の略全体が遮蔽されていると判定した場合）には、ユーザ入力の認識を制限してもよい。
【０１２５】
以上、変形例４として、外部環境に応じたユーザ入力の判定に係る制御の一例について説明した。
【０１２６】
（変形例５：複数の撮像部を利用したユーザ入力の認識方法の一例）
続いて、変形例５として、複数の撮像部を利用したユーザ入力の認識方法の一例について説明する。
【０１２７】
前述した実施形態では、主に、ユーザ入力の認識に使用される撮像部の数が２以下の場合に着目し、いずれの撮像部の画角の略全体が遮蔽されているかに応じてユーザ入力を認識する場合の例について説明した。
【０１２８】
一方で、ユーザが手を使用して撮像部の画角を遮蔽する場合を考慮した場合に、例えば、両手を使用することで２つの撮像部それぞれの画角を遮蔽することが可能である。
【０１２９】
そのため、例えば、情報処理装置１０は、複数の撮像部のうち、画角の略全体が遮蔽されている撮像部の組み合わせに応じてユーザ入力を認識してもよい。具体的な一例として、ユーザ入力の認識に４つの撮像部が使用され、各撮像部の画角が手で遮蔽される場合を想定した場合には、当該４つの撮像部のうち最大で２つの撮像部の画角が遮蔽されることとなる。このような場合には、４つの撮像部のうち画角が遮蔽される２つの撮像部の組み合わせに相当する６つの状態（４Ｃ２）のそれぞれと、当該４つの撮像部のうちいずれか１つの撮像部のみの画角が遮蔽される場合に相当する４つの状態（４Ｃ１）のそれぞれと、を異なるユーザ入力として個別に認識することが可能となる。
【０１３０】
このように、情報処理装置１０は、複数の撮像部のうち、画角の略全体が遮蔽されている撮像部の組み合わせに応じてユーザ入力を認識してもよい。
【０１３１】
なお、同時に複数（例えば、２つ）の撮像部の画角を遮蔽するような状況下では、当該複数の撮像部の位置関係に応じて、ユーザは、各撮像部の画角を遮蔽するために両手を使用せざるを得なくなる場合がある。例えば、図２に示した撮像部２０１ａ及び２０１ｂのように、実オブジェクトの認識や自己位置推定等に利用される複数の撮像部は、互いに離間して保持されている場合が多く、双方の画角の略全体を片方の手で同時に遮蔽することが困難な場合が多い。そのため、撮像部２０１ａ及び２０１ｂの双方について画角の略全体を遮蔽する場合には、両手を使うような意図的な操作が必要となり、撮像部２０１ａ及び２０１ｂの双方の画角の略全体が遮蔽されるような状況が偶発的に発生することは少ないと推測される。
【０１３２】
このような特性を利用し、例えば、両手を使用しなければそれぞれの画角を遮蔽することが困難な撮像部の組み合わせに対して、シャットダウン等のような、ユーザによる明示的な指示を要する機能を割り当ててもよい。このような構成により、当該機能が、誤認識等により偶発的に動作するような事態の発生を防止することが可能となる。なお、上記操作に割り当てられる機能が、シャットダウンに限定されないことは言うまでもない。例えば、例えば、上記操作に対して、従前に実行された処理を取り消す機能（所謂アンドゥ）が割り当てられていてもよい。
【０１３３】
また、他の一例として、情報処理装置１０は、所定の時間幅において、複数の撮像部のうちいずれの撮像部の画角の略全体が遮蔽されたかを時分割で判定し、画角の略全体が遮蔽された撮像部と、当該遮蔽が判定されたタイミングと、に応じてユーザ入力を認識してもよい。
【０１３４】
例えば、図２に示す撮像部２０１ａ及び２０１ｂをユーザ入力の認識に利用する場合においても、情報処理装置１０は、それぞれの画角が時分割で遮蔽される順序に応じて異なるユーザ入力を認識してもよい。即ち、情報処理装置１０は、撮像部２０１ａ、撮像部２０１ｂの順にそれぞれの画角が遮蔽された場合と、撮像部２０１ｂ、撮像部２０１ａの順にそれぞれの画角が遮蔽された場合と、を互いに異なるユーザ入力として認識してもよい。
【０１３５】
より具体的な一例として、ユーザに対して相対的に左側に位置する撮像部２０１ｂの画角の略全体が遮蔽された後に、当該ユーザに対して相対的に右側に位置する撮像部２０１ａの画角の略全体が遮蔽されたものとする。この場合には、情報処理装置１０は、例えば、撮像部２０１ｂ及び２０１ａそれぞれの画角の略全体が遮蔽されたタイミングに応じて、左側から右側に向けた方向性を有する操作が行われたものと認識してもよい。
【０１３６】
また、ユーザに対して相対的に右側に位置する撮像部２０１ａの画角の略全体が遮蔽された後に、当該ユーザに対して相対的に左側に位置する撮像部２０１ｂの画角の略全体が遮蔽されたものとする。この場合には、情報処理装置１０は、例えば、撮像部２０１ａ及び２０１ｂそれぞれの画角の略全体が遮蔽されたタイミングに応じて、右側から左側に向けた方向性を有する操作が行われたものと認識してもよい。
【０１３７】
以上のような制御により、情報処理装置１０は、例えば、所謂スワイプ操作のように、方向性を有する操作を認識することも可能となる。
【０１３８】
また、他の一例として、情報処理装置１０は、複数の撮像部のうち画角の略全体が遮蔽された撮像部が設置されている方向に応じて異なるユーザ入力を認識してもよい。例えば、本実施形態に係る入力インタフェースを、スマートフォン等のような装置に適用した場合に、フロント側の撮像部の画角の略全体が遮蔽された場合に、当該装置が裏返しに置かれたものと認識し、ロックがかけられてもよい。
【０１３９】
以上、変形例５として、複数の撮像部を利用したユーザ入力の認識方法の一例について説明した。
【０１４０】
（変形例６：撮像状態に応じたユーザ入力の認識方法の一例）
続いて、変形例６として、撮像部を利用したユーザ入力の認識方法の一例として、当該撮像部による画像の撮像状態をユーザ入力の認識に利用する場合について説明する。
【０１４１】
具体的には、所定の撮像部の画角の略全体が遮蔽されている状況下では、画像の撮像に関する各種状態が、当該画角が遮蔽されていない場合と異なる場合がある。具体的な一例として、撮像部にユーザの手等が近接し当該撮像部の画角の略全体が遮蔽されることで、当該撮像部によるフォーカス制御（例えば、ＡＦ：Autofocus）が失敗するような状況が想定され得る。そのため、例えば、情報処理装置１０は、所定の撮像部によるフォーカス制御が失敗した場合に、当該撮像部の画角の略全体が遮蔽されていると判定してもよい。
【０１４２】
なお、上記はあくまで一例であり、撮像部の画角の略全体が遮蔽されているか否かに応じて、異なる状態（異なるパラメタ）を示すものであれば、ユーザ入力の認識に利用する撮像状態は、必ずしもフォーカス制御の状態のみには限定されない。具体的な一例として、情報処理装置１０は、露出制御（ＡＥ：Automatic  Exposure）の状態等を、撮像部の画角の略全体が遮蔽されているか否かの判定（即ち、ユーザ入力の認識）に利用してもよい。
【０１４３】
以上、変形例６として、撮像部を利用したユーザ入力の認識方法の一例として、当該撮像部による画像の撮像状態をユーザ入力の認識に利用する場合について説明した。
【０１４４】
（変形例７：ユーザ入力の誤認識を防止する方法の一例）
続いて、変形例７として、本実施形態に係る情報処理システム１において、ユーザ入力の誤認識を防止する方法の一例について説明する。
【０１４５】
前述したように、本実施形態に係る情報処理システム１では、情報処理装置１０は、ユーザ入力の認識に利用する所定の撮像部の画角の略全体が遮蔽されたか否かを判定することでユーザ入力を認識する。一方で、当該撮像部の画角が遮蔽されるような状況は、必ずしもユーザが手等を使って意図的に遮蔽された場合のみとは限らない。
【０１４６】
具体的な一例として、撮像部の前を何らかの物体（例えば、ユーザ以外の他の人）が横切ることで、一時的に撮像部の画角が遮蔽されるような状況が想定され得る。また、ユーザが壁の近くに位置するような状況下では、撮像部により撮像された画像に当該壁の壁面のみが撮像され、当該撮像部の画角が遮蔽されていると判定されるような状況が偶発的に発生する場合もある。
【０１４７】
このような状況を鑑み、情報処理装置１０は、所定の撮像部の画角の略全体が遮蔽されていると判定した場合に、当該画角が遮蔽されている状態が、ユーザの意図的な操作により生じたものか否かを検証することで、ユーザ入力の誤認識を防止してもよい。
【０１４８】
例えば、情報処理装置１０は、所定の撮像部により撮像された画像に基づき、当該撮像部の画角の略全体が遮蔽されているか否かを判定する場合には、当該判定の前後における画像の変化の態様に応じて、ユーザの意図的な操作により画角が遮蔽されたか否かを検証してもよい。
【０１４９】
具体的な一例として、ユーザが壁の近くに移動し、撮像部により撮像された画像に当該壁の壁面のみが撮像されて、当該撮像部の画角が遮蔽されていると判定された場合に着目する。この場合には、ユーザが手等により意図的に撮像部の画角を遮蔽する場合に比べて、当該撮像部の画角が遮蔽されたと判定される前後において、画像の変化（例えば、明るさの変化）が緩やかである。なお、画像の変化は、画角の遮蔽量の変化として見做されても良い。このような特性を利用し、例えば、情報処理装置１０は、所定の撮像部の画角の少なくとも一部が遮蔽されていると判定した場合に、当該判定前後における当該撮像部により撮像された画像の変化速度（遮蔽量の変化速度）に応じて、ユーザの意図的な操作により画角が遮蔽されたか否かを検証してもよい。すなわち、前記撮像部の画角の遮蔽量の変化速度に応じて、前記操作入力を認識するか否かを制御する。なお、変化速度が所定値以上である場合に、ユーザの意図的な操作により画角が遮蔽されたと判定されても良い。すなわち、変化速度が所定値以上である場合に、ユーザの操作入力が認識されても良い。あるいは、変化速度が所定値以下である場合に、ユーザの操作入力の認識が制限されても良い。
【０１５０】
また、情報処理装置１０は、所定の撮像部の画角の略全体が遮蔽されているか否かを判定する判定時間を設定してもよい。即ち、情報処理装置１０は、所定の遮蔽状態の継続時間に応じて、ユーザ入力を認識するか否かを制御してもよい。より具体的には、情報処理装置１０は、所定の撮像部の画角の略全体が遮蔽されている状態が上記判定時間以上継続した場合（即ち、上記継続時間が上記判定時間以上となった場合）に、ユーザの意図的な操作により当該画角が遮蔽されているものと認識してもよい。このような制御により、例えば、撮像部の前を何らかの物体（例えば、ユーザ以外の他の人）が横切ることで、一時的に撮像部の画角が遮蔽され、結果としてユーザ入力が誤認識されるような事態の発生を防止することも可能である。
【０１５１】
また、複数の撮像部がユーザ入力の認識に利用される場合には、情報処理装置１０は、画角の略全体が遮蔽される撮像部の組み合わせに応じて上記判定時間を制御してもよい。
【０１５２】
具体的な一例として、ユーザの両手で２つの撮像部それぞれの画角が遮蔽される場合のように、複数の撮像部の画角が遮蔽されるような状況下では、ユーザの意図的な操作により当該画角が遮蔽されている可能性が高い。そのため、この場合には、情報処理装置１０は、判定時間を比較的短くなるように制御してもよい。これに対して、複数の撮像部のうちいずれか１つの撮像部のみについて画角が遮蔽されるような状況は、ユーザの意図的な操作によりのみ発生するとは限らず、偶発的に事象により発生する可能性もある。そのため、この場合には、情報処理装置１０は、複数の撮像部の画角が遮蔽されている場合に比べて、判定時間が長くなるように制御してもよい。
【０１５３】
また、他の一例として、情報処理装置１０は、測距センサや近接センサ等のような各種センサによる、撮像部と当該撮像部の画角を遮蔽する物体（例えば、手等）との間の距離の検出結果を利用して、ユーザの意図的な操作により画角が遮蔽されたか否かを検証してもよい。
【０１５４】
具体的には、入出力装置２０に設けられた撮像部（例えば、撮像部２０１ａ及び２０１ｂ）の画角が物体により遮蔽される場合において、当該撮像部と遮蔽物との間の距離が数ｃｍ程度となるような状況は、ユーザの意図的な操作により画角が遮蔽される場合を除くと、極めて限定的である。例えば、撮像部の前をユーザ以外の他の人が横切るような状況を想定したとしても、当該撮像部と当該他の人との間の距離は、少なくとも数十ｃｍ程度は離間しているものと推定される。このような状況を鑑み、例えば、情報処理装置１０は、所定の撮像部の画角が遮蔽されていると判定した場合に、撮像部と遮蔽物との間の距離の検出結果が閾値以下の場合に、ユーザの意図的な操作により画角が遮蔽されているものと認識してもよい。
【０１５５】
また、変形例４として別途前述してように、情報処理装置１０は、照度センサ等による外部環境の明るさに応じてユーザ入力の認識を一時的に抑制することで、外部環境が暗いことにより、撮像部の画角が遮蔽されていると誤認識するような事態の発生を防止してもよい。
【０１５６】
以上、変形例７として、本実施形態に係る情報処理システム１において、ユーザ入力の誤認識を防止する方法の一例について説明した。
【０１５７】
（変形例８：他の入力インタフェースとの組み合わせた制御の一例）
続いて、変形例８として、本実施形態に係る入力インタフェースを他の入力インタフェースと組み合わせた場合の制御の一例について説明する。具体的には、変形例８では、本実施形態に係る入力インタフェースに基づくユーザ入力の認識結果を、キーボード入力におけるシフトキーと類似する機能として利用することで、他の入力インタフェースを介したユーザ入力の認識結果を制御する場合について説明する。
【０１５８】
例えば、キーボード入力においては、押下されたキーに応じてユーザ入力を認識する特性から、認識可能なユーザ入力の数がキーの数に応じて決定される。一方で、キーボード入力においては、シフトキーが押下されているか否かに応じて、押下されたキーに応じて認識されるユーザ入力を選択的に切り替えることが可能である。このような仕組みにより、キーボード入力では、キーの数よりも多くのパターンのユーザ入力を認識することが可能となる。
【０１５９】
変形例８に係る情報処理システム１では、情報処理装置１０は、例えば、所定の撮像部の画角の略全体が遮蔽されていると判定された場合に、続いて入力されるユーザ入力の認識結果の切り替えが指示されたものと認識してもよい。
【０１６０】
例えば、本実施形態に係る入力インタフェースを、ジェスチャ入力と組み合わることも可能である。具体的な一例として、ＡＲ技術に基づき実空間上に重畳するように提示された仮想オブジェクトに対して叩く等のジェスチャが行われた場合を例に以下に説明する。例えば、情報処理装置１０は、単に仮想オブジェクトを叩くようなジェスチャが行われた場合に、当該ジェスチャを、対象となる仮想オブジェクトを選択するための操作として認識するものとする。これに対して、情報処理装置１０は、所定の撮像部の画角の略全体が遮蔽された後に、仮想オブジェクトを叩くようなジェスチャが行われた場合に、当該ジェスチャを、対象となる仮想オブジェクトを消すための操作として認識してもよい。
【０１６１】
また、画角の略全体が遮蔽される撮像部の組み合わせに応じて、所定のジェスチャと当該ジェスチャにより認識されるユーザ入力との対応関係が選択的に切り替えられてもよい。具体的な一例として、図２に示す撮像部２０１ａ及び２０１ｂがユーザ入力に利用される場合には、当該撮像部２０１ａ及び２０１ｂのうちいずれの画角の略全体が遮蔽されたかに応じて、続けて入力されるジェスチャに基づき、互いに異なるユーザ入力が認識されてもよい。また、撮像部２０１ａ及び２０１ｂの双方について画角の略全体が遮蔽された場合には、続けて入力されるジェスチャに基づき、撮像部２０１ａ及び２０１ｂのいずれか一方についてのみ画角の略全体が遮蔽された場合とは異なるユーザ入力が認識されてもよい。
【０１６２】
このように本実施形態に係る入力インタフェースを、他の入力インタフェースを介した所定の操作を検出するためのトリガとして利用することも可能である。以上のような構成により、例えば、限られたパターンのジェスチャにより、当該ジェスチャのパターンの数よりも多くの種類のユーザ入力を認識することが可能となる。換言すると、所定のパターンのジェスチャに対して、互いに異なる複数のユーザ入力を対応付けることが可能となるため、認識可能なパターンの数を制限することが可能となる。そのため、本実施形態に係る入力インタフェースをジェスチャ入力と組み合わせることで、例えば、ジェスチャ認識の精度の向上や、ジェスチャ認識に係る処理負荷の低減等の効果を期待することも可能となる。
【０１６３】
なお、情報処理装置１０は、上述したように、本実施形態に係る入力インタフェースに基づき、他の入力インタフェースを介したユーザ入力の認識結果を制御する場合には、当該制御の状況をユーザに通知してもよい。具体的な一例として、情報処理装置１０は、所定の撮像部の画角の略全体が遮蔽されたことにより、以降に入力されるジェスチャとユーザ入力との間の対応関係を切り替えた場合には、当該切り替えが行われていることを示す表示情報を、表示部２１１を介してユーザにフィードバックしてもよい。このような制御により、ユーザは、以降に入力するジェスチャと、当該ジェスチャにより認識されるユーザ入力と、の間の対応関係が切り替えられていることを認識することが可能となる。
【０１６４】
また、上記では、本実施形態に係る入力インタフェースと、ジェスチャ入力とを組み合わせる場合の一例について説明したが、本実施形態に係る入力インタフェースと組み合わせる他の入力インタフェースは、ジェスチャ入力のみには限定されないことは言うまでもない。
【０１６５】
以上、変形例８として、本実施形態に係る入力インタフェースを他の入力インタフェースと組み合わせた場合の制御の一例について説明した。
【０１６６】
（変形例９：集音部を使用したユーザ入力の認識方法の一例）
続いて、変形例９として、本実施形態に係る入力インタフェースと同等の機能を、撮像部とは異なるデバイスを利用して実現する場合の一例について説明する。なお、変形例９では、撮像部に替えて、マイクロフォン等のような集音部をユーザ入力の認識に利用する場合の一例について説明する。
【０１６７】
具体的には、集音部をユーザが意図的に叩くと、集音部が叩かれたことにより発生する音響が当該集音部により集音されることとなる。このような音響は、複数の集音部が設けられている場合には、主に、叩かれた集音部より集音され、他の集音部には集音されない場合がある。そのため、例えば、情報処理装置１０は、ユーザ入力の認識に利用する集音部により、当該集音部が叩かれることで発生する音響（換言すると、音響ノイズ）の集音結果に応じてユーザ入力を認識してもよい。
【０１６８】
このような構成により、上述した実施形態に係る情報処理システム１における、所定の撮像部の画角の略全体を遮蔽するという操作を、所定の集音部を叩くという操作に置き換えることで、上述した実施形態に係る情報処理システム１と同様にユーザ入力を認識することが可能となる。
【０１６９】
また、他の変形例で説明した思想と適宜組み合わせることも可能である。具体的な一例として、ユーザ入力の認識に複数の集音部を利用することも可能であり、この場合には、例えば、叩かれた集音部の組み合わせに応じて、ユーザ入力を認識することも可能である。また、複数の集音部が同時に叩かれたことを検知した場合には、ユーザによる意図的な操作によるものである可能性が高いものと認識し、当該検知結果に応じたユーザ入力に対して、シャットダウン等のような、ユーザによる明示的な指示を要する機能が割り当てられてもよい。
【０１７０】
また、他の一例として、集音部への操作に応じたユーザ入力の認識状況に応じて、当該認識状況を報知するための報知情報（例えば、音響の集音結果を示すグラフ等）が、表示部２１１を介してユーザに報知されてもよい。また、操作方法を示す情報として、集音部の位置が示された報知情報が、表示部２１１を介してユーザに報知されてもよい。
【０１７１】
以上、変形例９として、本実施形態に係る入力インタフェースと同等の機能を、撮像部とは異なるデバイスを利用して実現する場合の一例について説明する。
【０１７２】
（変形例１０：全天周カメラへの応用）
続いて、変形例１０として、本実施形態に係る入力インタフェースを、３６０°の全周囲を撮像可能な所謂全天周カメラに適用する場合の一例について説明する。
【０１７３】
全天周カメラの場合には、当該カメラの周囲全体にわたって画角が広がっている。このような状況から、例えば、全天周カメラをユーザ入力の判定に利用する場合には、情報処理装置１０は、当該全天周カメラの画角を複数の部分領域に分けて、当該複数の部分領域の一部をユーザ入力の判定に利用してもよい。即ち、情報処理装置１０は、全天周カメラの画角のうち、所定の部分領域の略全体が遮蔽されたか否かや、複数の部分領域のうちの略全体が遮蔽された部分領域の組み合わせ等に応じて、ユーザ入力を認識してもよい。なお、この場合には、情報処理装置１０は、ユーザ入力の判定に利用する領域をユーザに通知するための報知情報を、表示部２１１を介してユーザに報知してもよい。
【０１７４】
以上、変形例１０として、本実施形態に係る入力インタフェースを、３６０°の全周囲を撮像可能な所謂全天周カメラに適用する場合の一例について説明した。
【０１７５】
＜＜４．ハードウェア構成＞＞
続いて、図１９を参照しながら、前述した情報処理装置１０や入出力装置２０のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図１９は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【０１７６】
本実施形態に係る情報処理システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１７７】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図５に示す判定部１０１、認識部１０３、処理実行部１０５、及び出力制御部１０７は、ＣＰＵ９０１により構成され得る。
【０１７８】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
【０１７９】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。例えば、図７に示す入力部２２１は、入力装置９１５により構成され得る。
【０１８０】
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。例えば、図５に示す出力部２１０は、出力装置９１７により構成され得る。
【０１８１】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図５に示す記憶部１９０は、ストレージ装置９１９により構成され得る。
【０１８２】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）又は電子機器等であってもよい。
【０１８３】
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
【０１８４】
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
【０１８５】
以上、本開示の実施形態に係る情報処理システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１９では図示しないが、情報処理システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
【０１８６】
なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
【０１８７】
＜＜５．むすび＞＞
以上説明したように、本実施形態に係る情報処理システム１において、情報処理装置１０は、ユーザ入力の認識に利用される所定の撮像部の画角の略全体が遮蔽されている否かを判定し、当該判定結果に応じてユーザ入力を認識する。このような構成により、ユーザは、例えば、本実施形態に係る入出力装置２０のような頭部装着型デバイスを装着している状態においても、当該デバイスの筐体に設けられた入力デバイス（即ち、直接視認することが困難な入力デバイス）を介さずに所定の操作を行うことが可能となる。
【０１８８】
また、本実施形態に係る情報処理システム１においては、所定の撮像部の画角の略全体が遮蔽されていることを認識できればその方法は限定されない。具体的な一例として、当該撮像部により撮像された画像の明るさに基づき、当該撮像部の画角の略全体が遮蔽されているか否かを判定することも可能である。このような構成により、本実施形態に係る入力インタフェースに依れば、ユーザ入力の認識に、ジェスチャ入力を実現するための画像認識等のような比較的負荷の高い処理を必要としないため、消費電力を抑制することも可能となる。そのため、本実施形態に係る入力インタフェースは、例えば、図２を参照して説明した入出力装置２０のような所謂頭部装着型デバイス（特に、携行可能な装置）との親和性も高い。
【０１８９】
なお、上記では、本実施形態に係る入力インタフェースを、図２に示すような頭部装着型デバイスに適用する場合に着目して説明したが、必ずしも当該入力インタフェースの適用対象を限定するものではない。即ち、本実施形態に係る入力インタフェースは、撮像部を備えた装置であれば適用可能であり、例えば、所謂スマートフォンやタブレット端末等のような情報処理装置に適用されてもよい。
【０１９０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１９１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１９２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像部が所定の遮蔽状態にあるか否かを判定する判定部と、
前記所定の遮蔽状態に応じてユーザの操作入力を認識する認識部と、
を備える、情報処理装置。
（２）
前記認識部は、前記撮像部により取得される画像の変化速度に応じて、前記操作入力を認識するか否かを制御する、前記（１）に記載の情報処理装置。
（３）
前記認識部は、前記所定の遮蔽状態の継続時間に応じて、前記操作入力を認識するか否かを制御する、前記（１）に記載の情報処理装置。
（４）
前記認識部は、前記撮像部と、当該撮像部を遮蔽する被写体と、の間の距離の測定結果に応じて、前記操作入力を認識するか否かを制御する、前記（１）に記載の情報処理装置。
（５）
前記認識部は、外部環境の明るさの検出結果が閾値以下の場合に、前記操作入力の認識に係る処理を制限する、前記（１）に記載の情報処理装置。
（６）
前記撮像部は、第１の撮像部と第２の撮像部を含み、
前記所定の遮蔽状態は、前記第１の撮像部の遮蔽状態と前記第２の撮像部の遮蔽状態を含み、
前記判定部は、前記第１の撮像部の遮蔽状態に関する第１の判定と、前記第２の撮像部の遮蔽状態に関する第２の判定を行い、
前記認識部は、前記第１の判定および前記第２の判定の組み合わせに応じて、前記操作入力を認識する、
前記（１）に記載の情報処理装置。
（７）
前記認識部は、前記第１の撮像部および前記第２の撮像部の一方が前記遮蔽状態にあるという判定に応じて、前記操作入力を認識する、前記（６）に記載の情報処理装置。
（８）
前記認識部は、前記第１の撮像部が前記遮蔽状態にあると判定された場合、前記第２の撮像部が前記遮蔽状態にあると判定された場合に認識される操作入力とは異なる操作入力を認識する、
前記（７）に記載の情報処理装置。
（９）
前記認識部は、前記第１の撮像部および前記第２の撮像部の一方が前記遮蔽状態にあると判定された場合、前記第１の撮像部および前記第２の撮像部の双方が前記遮蔽状態にあると判定された場合に認識される操作入力とは異なる操作入力を認識する、前記（６）に記載の情報処理装置。
（１０）
前記認識部は、前記第１の撮像部が前記遮蔽状態になったタイミングと、前記第２の撮像部が前記遮蔽状態になったタイミングに応じて、前記操作入力を認識する、前記（６）に記載の情報処理装置。
（１１）
前記所定の遮蔽状態は、第１の遮蔽状態と、前記第１の遮蔽状態よりも前記撮像部の画角の遮蔽量が小さい第２の遮蔽状態を含み、
前記認識部は、前記撮像部が前記第１の遮蔽状態にあると判定された場合、前記撮像部が前記第２の遮蔽状態にあると判定された場合に認識される操作入力とは異なる操作入力を認識する、
前記（１）に記載の情報処理装置。
（１２）
出力部を介して前記操作入力に関する情報が提示されるように制御する出力制御部を備える、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記出力制御部は、前記操作入力に応じて、前記撮像部により撮像された画像が前記出力部を介して提示されるように制御する、前記（１２）に記載の情報処理装置。
（１４）
前記出力制御部は、前記操作入力に応じて、前記撮像部の位置に応じた画像が前記出力部を介して提示されるように制御する、前記（１２）または（１３）に記載の情報処理装置。
（１５）
前記出力制御部は、前記操作入力に応じて、前記撮像部の位置に応じた所定の音響が前記出力部を介して出力されるように制御する、前記（１２）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記出力制御部は、前記操作入力に応じて、前記撮像部を遮蔽する動作を促す報知情報が、前記出力部を介して提示されるように制御する、前記（１２）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記認識部は、前記出力部を介して提示されている前記操作入力に関する情報に基づいて、前記操作入力を認識する、前記（１２）に記載の情報処理装置。
（１８）
前記撮像部は、ユーザの頭部に対して保持されるウェアラブルデバイスに画像を提供するよう構成される、前記（１）に記載の情報処理装置。
（１９）
コンピュータが、
撮像部が所定の遮蔽状態にあるか否かを判定することと、
前記所定の遮蔽状態に応じてユーザの操作入力を認識することと、
を含む、情報処理方法。
（２０）
コンピュータに、
撮像部が所定の遮蔽状態にあるか否かを判定することと、
前記所定の遮蔽状態に応じてユーザの操作入力を認識することと、
を実行させるプログラムが記録された、記録媒体。
（２１）
前記判定部は、前記撮像部により撮像された画像の明るさに応じて、当該撮像部の画角の略全体が遮蔽されているか否かを判定する、前記（１）〜（１８）のいずれか一項に記載の情報処理装置。
（２２）
前記判定部は、前記画像の各画素の輝度の平均値が閾値以下の場合に、前記撮像部の画角の略全体が遮蔽されていると判定する、前記（２１）に記載の情報処理装置。
（２３）
前記判定部は、外部環境の明るさの検出結果に応じて前記閾値を制御する、前記（２２）に記載の情報処理装置。
（２４）
コンピュータに、
撮像部が所定の遮蔽状態にあるか否かを判定することと、
前記所定の遮蔽状態に応じてユーザの操作入力を認識することと、
を実行させるプログラム。
【符号の説明】
【０１９３】
１      情報処理システム
１０    情報処理装置
１０１  判定部
１０３  認識部
１０５  処理実行部
１０７  出力制御部
１９０  記憶部
２０    入出力装置
２０１ａ、２０１ｂ  撮像部
２０３ａ、２０３ｂ  撮像部
２０７  操作部
２１０  出力部
２１１  表示部
２１３  音響出力部
２２１  入力部
２９１  保持部
２９３ａ、２９３ｂ  レンズ
【図１】
2018198499.tif 000003
【図２】
2018198499.tif 000004
【図３】
2018198499.tif 000005
【図４】
2018198499.tif 000006
【図５】
2018198499.tif 000007
【図６】
2018198499.tif 000008
【図７】
2018198499.tif 000009
【図８】
2018198499.tif 000010
【図９】
2018198499.tif 000011
【図１０】
2018198499.tif 000012
【図１１】
2018198499.tif 000013
【図１２】
2018198499.tif 000014
【図１３】
2018198499.tif 000015
【図１４】
2018198499.tif 000016
【図１５】
2018198499.tif 000017
【図１６】
2018198499.tif 000018
【図１７】
2018198499.tif 000019
【図１８】
2018198499.tif 000020
【図１９】
2018198499.tif 000021
【国際調査報告】
2018198499.tif 000022
2018198499.tif 000023
2018198499.tif 000024