(57)【要約】【課題】実空間内の物体の認識に利用される情報をより好適な態様で取得可能とする。【解決手段】偏光センサにより取得された偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた偏光情報に基づき、実空間内の物体の面の少なくとも一部における法線を推定する推定部と、前記法線の推定結果に応じて、実空間内における位置の変更を誘導する報知情報の出力を制御する制御部と、を備える、情報処理装置。【選択図】図４
2019067323.tif 000002
【特許請求の範囲】
【請求項１】
偏光センサにより取得された偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた偏光情報に基づき、実空間内の物体の面の少なくとも一部における法線を推定する推定部と、
前記法線の推定結果に応じて、実空間内における位置の変更を誘導する報知情報の出力を制御する制御部と、
を備える、情報処理装置。
【請求項２】
前記制御部は、
前記偏光センサの実空間内の位置の推定結果に応じた位置情報を取得し、
前記位置情報と、前記法線の推定結果と、に応じた前記報知情報が出力されるように制御する、
請求項１に記載の情報処理装置。
【請求項３】
前記報知情報は、前記偏光センサの検知範囲のうち少なくとも一部の範囲内に前記物体が位置する状態が維持され、かつ当該偏光センサの実空間内における位置が変化するように誘導する情報である、請求項１に記載の情報処理装置。
【請求項４】
前記報知情報は、前記偏光センサの光軸上に前記面が位置するように誘導する情報である、請求項３に記載の情報処理装置。
【請求項５】
前記報知情報は、前記面が異なる方向から観測されるように誘導する情報である、請求項１に記載の情報処理装置。
【請求項６】
前記報知情報は、前記誘導を行うための表示情報である、請求項１に記載の情報処理装置。
【請求項７】
前記表示情報は、所定の視点からの注視点を前記面の少なくとも一部の領域に定位させるための指標となる情報を含む、請求項６に記載の情報処理装置。
【請求項８】
前記表示情報は、第１の表示情報と、前記第１の表示情報に対して正対するように誘導する第２の表示情報と、を含み、
前記制御部は、前記第１の表示情報を、前記法線の推定結果に応じた実空間内の方向を向くように、前記面に重畳させて提示する、
請求項６に記載の情報処理装置。
【請求項９】
前記制御部は、前記面の前記法線の方向と、前記偏光センサから当該面に伸ばしたベクトルに対応する方向と、が成す角がより大きくなるように誘導する前記報知情報が出力されるように制御する、請求項１に記載の情報処理装置。
【請求項１０】
前記制御部は、前記法線の推定結果の信頼度に応じて、前記報知情報の出力を制御する、請求項１に記載の情報処理装置。
【請求項１１】
前記制御部は、前記信頼度がより高くなる方向への移動を誘導する前記報知情報の出力を制御する、請求項１０に記載の情報処理装置。
【請求項１２】
前記制御部は、前記信頼度が閾値以下の場合に、前記報知情報の出力を制御する、請求項１０に記載の情報処理装置。
【請求項１３】
前記制御部は、前記面の過去の観測結果に応じて、前記報知情報の出力を制御する、請求項１に記載の情報処理装置。
【請求項１４】
前記制御部は、前記面に対する各方向のうち、過去に当該面の観測が行われていない方向への移動を誘導する前記報知情報が出力されるように制御する、請求項１３に記載の情報処理装置。
【請求項１５】
前記制御部は、前記面に対する各方向のうち、過去に当該面の観測が行われていない方向が存在する場合に、前記報知情報の出力を制御する、請求項１３に記載の情報処理装置。
【請求項１６】
コンピュータが、
偏光センサにより取得された偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた偏光情報に基づき、実空間内の物体の面の少なくとも一部における法線を推定することと、
前記法線の推定結果に応じて、実空間内における位置の変更を誘導する報知情報の出力を制御することと、
を含む、情報処理方法。
【請求項１７】
コンピュータに、
偏光センサにより取得された偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた偏光情報に基づき、実空間内の物体の面の少なくとも一部における法線を推定することと、
前記法線の推定結果に応じて、実空間内における位置の変更を誘導する報知情報の出力を制御することと、
を実行させるプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及び記録媒体に関する。
【背景技術】
【０００２】
近年、画像認識技術の高度化に伴い、デジタルカメラ等のような撮像部により撮像された画像に基づき、実空間内の物体（以降では、「実オブジェクト」とも称する）の位置、姿勢、及び形状等を３次元的に推定（または計測）することが可能となってきている。また、このような推定結果を利用することで、実オブジェクトの３次元形状を、ポリゴン等によりモデルとして再現（再構成）することも可能となってきている。例えば、非特許文献１及び非特許文献２には、物体の３次元的な形状をモデルとして再現する技術の一例が開示されている。
【０００３】
また、上述のような技術の応用により、実オブジェクトの画像を撮像する撮像部等のような所定の視点の実空間内における位置や姿勢（即ち、自己位置）を推定（認識）することも可能となってきている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Matthias  Neibner  他，“Real-time  3D  Reconstruction  at  Scale  using  Voxel  Hashing”，ACM Transactions on Graphics(TOG)、2013年、［平成29年8月11 日検索］、インターネット<https://graphics.stanford.edu/~niessner/papers/2013/4hashing/niessner2013hashing.pdf>
【非特許文献２】Frank  Stenbrucker  他，“Volumetric  3D  Mapping  in  Real−Time  on  a  CPU”，ICRA、2014年、［平成29年8月11 日検索］、インターネット<http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.601.1521&rep=rep1&type=pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、実空間内の物体の位置、姿勢、及び形状を推定する場合等のように当該物体を認識するような状況下において、当該認識に利用される情報の取得条件に応じて、当該物体の認識率が低下し、ひいては高い精度での認識が困難となる場合もある。
【０００６】
そこで、本開示では、実空間内の物体の認識に利用される情報をより好適な態様で取得可能とする技術を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、偏光センサにより取得された偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた偏光情報に基づき、実空間内の物体の面の少なくとも一部における法線を推定する推定部と、前記法線の推定結果に応じて、実空間内における位置の変更を誘導する報知情報の出力を制御する制御部と、を備える、情報処理装置が提供される。
【０００８】
また、本開示によれば、コンピュータが、偏光センサにより取得された偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた偏光情報に基づき、実空間内の物体の面の少なくとも一部における法線を推定することと、前記法線の推定結果に応じて、実空間内における位置の変更を誘導する報知情報の出力を制御することと、を含む、情報処理方法が提供される。
【０００９】
また、本開示によれば、コンピュータに、偏光センサにより取得された偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた偏光情報に基づき、実空間内の物体の面の少なくとも一部における法線を推定することと、前記法線の推定結果に応じて、実空間内における位置の変更を誘導する報知情報の出力を制御することと、を実行させるプログラムが記録された記録媒体が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、実空間内の物体の認識に利用される情報をより好適な態様で取得可能とする技術が提供される。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。
【図２】同実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。
【図３】偏光情報の信頼度の概要について説明するための説明図である。
【図４】同実施形態に係る情報処理システムの概要について説明するための説明図である。
【図５】同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
【図６】同実施形態に係る情報処理システムによるユーザの誘導に係る処理の一例について概要を説明するための説明図である。
【図７】同実施形態に係る情報処理システムによるユーザの誘導に係る処理の一例について概要を説明するための説明図である。
【図８】同実施形態に係る情報処理システムによるユーザの誘導に係る処理の一例について概要を説明するための説明図である。
【図９】同実施形態に係る情報処理システムによるユーザの誘導に係る処理の他の一例について概要を説明するための説明図である。
【図１０】同実施形態に係る情報処理システムによるユーザの誘導に係る処理の他の一例について概要を説明するための説明図である。
【図１１】同実施形態に係る情報処理システムによるユーザの誘導に係る処理の他の一例について概要を説明するための説明図である。
【図１２】同実施形態に係る情報処理システムによるユーザの誘導に係る処理の他の一例について概要を説明するための説明図である。
【図１３】同実施形態に係る情報処理装置がユーザを誘導するために報知する報知情報の一例について説明するための説明図である。
【図１４】同本実施形態に係る情報処理装置がユーザを誘導するために報知する報知情報の他の一例について説明するための説明図である。
【図１５】本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．概略構成
１．１．システム構成
１．２．入出力装置の構成
２．実空間内の物体の認識に関する検討
３．技術的特徴
３．１．機能構成
３．２．偏光法線の信頼度に応じた誘導例
３．３．偏光法線の不定性を解消するための誘導例
３．４．報知情報の一例
４．ハードウェア構成
５．むすび
【００１５】
＜＜１．概略構成＞＞
＜１．１．システム構成＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図であり、所謂ＡＲ（Augmented  Reality）技術を応用してユーザに対して各種コンテンツを提示する場合の一例を示している。
【００１６】
図１において、参照符号ｍ１１１は、実空間内に位置する物体（例えば、実オブジェクト）を模式的に示している。また、参照符号ｖ１３１及びｖ１３３は、実空間内に重畳するように提示される仮想的なコンテンツ（例えば、仮想オブジェクト）を模式的に示している。即ち、本実施形態に係る情報処理システム１は、例えば、ＡＲ技術に基づき、実オブジェクトｍ１１１等の実空間内の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
【００１７】
図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。情報処理装置１０と入出力装置２０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local  Area  Network）、または、ＷＡＮ（Wide  Area  Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。
【００１８】
入出力装置２０は、各種入力情報の取得や、当該入出力装置２０を保持するユーザに対して各種出力情報の提示を行うための構成である。また、入出力装置２０による出力情報の提示は、情報処理装置１０により、当該入出力装置２０により取得された入力情報に基づき制御される。例えば、入出力装置２０は、実オブジェクトｍ１１１を認識するための情報（例えば、撮像された実空間の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、実空間内における実オブジェクトｍ１１１の位置や姿勢を認識し、当該認識結果に基づき、入出力装置２０に仮想オブジェクトｖ１３１及びｖ１３３を提示させる。このような制御により、入出力装置２０は、所謂ＡＲ技術に基づき、実オブジェクトｍ１１１に対して仮想オブジェクトｖ１３１及びｖ１３３が重畳するように、当該仮想オブジェクトｖ１３１及びｖ１３３をユーザに提示することが可能となる。
【００１９】
また、入出力装置２０は、例えば、ユーザが頭部の少なくとも一部に装着して使用する所謂頭部装着型デバイスとして構成されており、当該ユーザの視線を検出可能に構成されていてもよい。このような構成に基づき、情報処理装置１０は、例えば、入出力装置２０によるユーザの視線の検出結果に基づき、当該ユーザが所望の対象（例えば、実オブジェクトｍ１１１や、仮想オブジェクトｖ１３１及びｖ１３３等）を注視していることを認識した場合に、当該対象を操作対象として特定してもよい。また、情報処理装置１０は、入出力装置２０に対する所定の操作をトリガとして、ユーザの視線が向けられている対象を操作対象として特定してもよい。以上のようにして、情報処理装置１０は、操作対象を特定し、当該操作対象に関連付けられた処理を実行することで、入出力装置２０を介して各種サービスをユーザに提供してもよい。
【００２０】
ここで、本実施形態に係る情報処理システムが、上述したように実空間内の物体（実オブジェクト）を認識するためのより具体的な構成の一例について説明する。図１に示すように、本実施形態に係る入出力装置２０は、デプスセンサ２０１と、偏光センサ２３０とを含む。
【００２１】
デプスセンサ２０１は、所定の視点と実空間内に位置する物体（実オブジェクト）との間の距離を推定するための情報を取得し、取得した当該情報を情報処理装置１０に送信する。なお、以降の説明では、デプスセンサ２０１により取得される、所定の視点と実オブジェクトとの間の距離を推定するための情報を、「深度情報」とも称する。
【００２２】
例えば、図１に示す例では、デプスセンサ２０１は、複数の撮像部２０１ａ及び２０１ｂを備えた所謂ステレオカメラとして構成されており、当該撮像部２０１ａ及び２０１ｂにより、互いに異なる視点から実空間内に位置する物体の画像を撮像する。この場合には、デプスセンサ２０１は、撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像を情報処理装置１０に送信することとなる。
【００２３】
このようにして互いに異なる視点から撮像された複数の画像を利用することで、例えば、当該複数の画像間の視差に基づき、所定の視点（例えば、デプスセンサ２０１の位置）と被写体（即ち、画像中に撮像された実オブジェクト）との間の距離を推定（算出）することが可能となる。そのため、例えば、所定の視点と被写体との間の距離の推定結果が撮像平面にマッピングされた所謂デプスマップを生成することも可能となる。
【００２４】
なお、所定の視点と実空間内の物体（実オブジェクト）との間の距離を推定すること可能であれば、デプスセンサ２０１に相当する部分の構成や、当該距離の推定に係る方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time  Of  Flight）、Structured  Light等の方式に基づき、所定の視点と実オブジェクトとの間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体（即ち、実オブジェクト）に対して赤外線等の光を投光し、投光した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（即ち、デプスマップ）を得る方式である。また、Structured  Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めたデプスマップを得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、デプスセンサ２０１の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。
【００２５】
偏光センサ２３０は、実空間内に位置する物体で反射した光のうち、所定の偏光方向に偏光された光（以下、単に「偏光」とも称する）を検知し、当該偏光の検知結果に応じた情報を情報処理装置１０に送信する。なお、本実施形態に係る情報処理システム１においては、偏光センサ２３０は、偏光方向が互いに異なる複数の偏光（より好ましくは、３偏光以上）を検知可能に構成されている。また、以降の説明においては、偏光センサ２３０による偏光の検知結果に応じた情報を「偏光情報」とも称する。
【００２６】
具体的な一例として、偏光センサ２３０は、所謂偏光カメラとして構成されており、所定の偏光方向に偏光された光に基づく偏光画像を撮像する。ここで、偏光画像とは、偏光情報が偏光カメラの撮像平面（換言すると、画像平面）上にマッピングされた情報に相当する。なお、この場合には、偏光センサ２３０は、撮像した偏光画像を情報処理装置１０に送信することとなる。
【００２７】
また、偏光センサ２３０は、デプスセンサ２０１による距離を推定するための情報の取得対象となる実空間内の領域と少なくとも一部が重畳する領域（理想的には、略一致する領域）から到来する偏光を撮像可能に保持されるとよい。なお、デプスセンサ２０１及び偏光センサ２３０のそれぞれが所定の位置に固定されている場合には、デプスセンサ２０１及び偏光センサ２３０それぞれの実空間内の位置を示す情報をあらかじめ取得しておくことで、それぞれの位置を既知の情報として扱うことが可能である。
【００２８】
また、図１に示すように、デプスセンサ２０１及び偏光センサ２３０が共通の装置（例えば、入出力装置２０）に保持されているとよい。この場合には、例えば、当該装置に対するデプスセンサ２０１及び偏光センサ２３０の相対的な位置関係をあらかじめ算出しておくことで、当該装置の位置及び姿勢に基づきデプスセンサ２０１及び偏光センサ２３０それぞれの位置及び姿勢を推定することが可能となる。
【００２９】
また、デプスセンサ２０１及び偏光センサ２３０が保持された装置（例えば、入出力装置２０）が移動可能に構成されていてもよい。この場合には、例えば、自己位置推定と呼ばれる技術を応用することで、当該装置の実空間内における位置及び姿勢を推定することが可能となる。
【００３０】
ここで、所定の装置の実空間内における位置及び姿勢を推定する技術のより具体的な一例として、ＳＬＡＭ（simultaneous  localization  and  mapping）と称される技術について説明する。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ  ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、当該撮像部が保持された装置に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。
【００３１】
また、デプスセンサ２０１及び偏光センサ２３０のうち少なくとも一方が、他方とは独立して移動可能に構成されていてもよい。この場合には、移動可能に構成されたセンサ自体の実空間内における位置及び姿勢が、上述した自己位置推定の技術等に基づき個別に推定されればよい。
【００３２】
また、情報処理装置１０は、デプスセンサ２０１及び偏光センサ２３０により取得された深度情報及び偏光情報を入出力装置２０から取得してもよい。この場合には、例えば、情報処理装置１０は、取得した当該深度情報及び偏光情報に基づき、実空間内に位置する物体（実オブジェクト）を認識し、当該物体の３次元的な形状を再現したモデルを生成してもよい。なお、当該モデルの生成に係る処理の詳細については別途後述する。
【００３３】
また、情報処理装置１０は、偏光センサ２３０による偏光情報の取得結果に応じて、入出力装置２０を使用するユーザに対して、当該入出力装置２０の出力部（例えば、ディスプレイ等）を介して各種情報を提示してもよい。具体的な一例として、情報処理装置１０は、偏光センサ２３０が実オブジェクトを認識するための偏光情報をより好適な態様で取得可能となる位置に当該偏光センサ２３０（即ち、入出力装置２０）が移動するように誘導するための報知情報をユーザに提示（報知）してもよい。なお、当該報知情報の提示に係る処理や、当該報知情報の一例については詳細を別途後述する。
【００３４】
なお、上述した構成はあくまで一例であり、本実施形態に係る情報処理システム１のシステム構成は、必ずしも図１に示す例のみには限定されない。具体的な一例として、入出力装置２０及び情報処理装置１０は一体的に構成されていてもよい。また、入出力装置２０及び情報処理装置１０の構成及び処理の詳細については別途後述する。
【００３５】
以上、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明した。
【００３６】
＜１．２．入出力装置の構成＞
続いて、図２を参照して、図１に示した本実施形態に係る入出力装置２０の概略的な構成の一例について説明する。図２は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。
【００３７】
前述したように、本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する所謂頭部装着型デバイスとして構成されている。例えば、図２に示す例では、入出力装置２０は、所謂アイウェア型（メガネ型）のデバイスとして構成されており、レンズ２９３ａ及び２９３ｂのうち少なくともいずれかが透過型のディスプレイ（表示部２１１）として構成されている。また、入出力装置２０は、撮像部２０１ａ及び２０１ｂと、偏光センサ２３０と、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。また、入出力装置２０は、撮像部２０３ａ及び２０３ｂを備えてもよい。なお、以降では、入出力装置２０が、撮像部２０３ａ及び２０３ｂを備えているものとして各種説明を行う。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、表示部２１１と、撮像部２０１ａ及び２０１ｂと、偏光センサ２３０と、撮像部２０３ａ及び２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。なお、撮像部２０１ａ及び２０１ｂと、偏光センサ２３０とは、図１に示す撮像部２０１ａ及び２０１ｂと、偏光センサ２３０とに相当する。また、図２には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。
【００３８】
ここで、入出力装置２０のより具体的な構成について説明する。例えば、図２に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、表示部２１１（換言すると、レンズ２９３ａ及び２９３ｂ）がユーザの眼前に位置するように、当該表示部２１１を保持する。
【００３９】
撮像部２０１ａ及び２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、撮像部２０１ａが、ユーザの右眼の近傍に保持され、撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、撮像部２０１ａ及び２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０（ひいては、ユーザの視点の位置）から、当該被写体までの距離を算出することが可能となる。
【００４０】
なお、入出力装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されないことは前述したとおりである。
【００４１】
また、撮像部２０３ａ及び２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、撮像部２０３ａにより撮像された右眼の眼球の画像と、当該撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、図２に示す例では、入出力装置２０が撮像部２０３ａ及び２０３ｂの双方を含む構成について示しているが、撮像部２０３ａ及び２０３ｂのうちいずれかのみが設けられていてもよい。
【００４２】
偏光センサ２３０は、図１に示す偏光センサ２３０に相当し、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１により保持される。このような構成の基で、偏光センサ２３０は、入出力装置２０を装着したユーザの眼前の空間の偏光画像を撮像する。なお、図２に示す偏光センサ２３０の設置位置はあくまで一例であり、偏光センサ２３０により入出力装置２０を装着したユーザの眼前の空間の偏光画像が撮像可能であれば、当該偏光センサ２３０の設置位置は限定されない。
【００４３】
操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタン等のような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図２に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。
【００４４】
また、本実施形態に係る入出力装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）を検出可能に構成されていてもよい。具体的な一例として、入出力装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。
【００４５】
以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、表示部２１１に当該コンテンツを提示することも可能となる。また、このとき入出力装置２０は、例えば、前述したＳＬＡＭと称される技術等に基づき、実空間内における自身の位置及び姿勢（即ち、自己位置）を推定してもよく、当該推定結果を仮想オブジェクトの提示に利用してもよい。
【００４６】
また、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ：Head  Mounted  Display）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。
【００４７】
シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図２に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。
【００４８】
ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。
【００４９】
網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。
【００５０】
また、上記では、ＡＲ技術を適用することを前提として、本実施形態に係る入出力装置２０の構成の一例について説明したが、必ずしも、当該入出力装置２０の構成を限定するものではない。例えば、ＶＲ技術を適用することを想定した場合には、本実施形態に係る入出力装置２０は、没入型ＨＭＤと呼ばれるＨＭＤとして構成されていてもよい。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。
【００５１】
なお、上述した入出力装置２０の構成はあくまで一例であり、必ずしも図２に示す構成のみには限定されない。具体的な一例として、入出力装置２０の用途や機能に応じた構成が、当該入出力装置２０に追加で設けられていてもよい。具体的な一例として、ユーザに対して情報を提示するための出力部として、音声や音響を提示するための音響出力部（例えば、スピーカ等）や、触覚や力覚をフィードバックするためのアクチュエータ等が設けられていてもよい。
【００５２】
以上、図２を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明した。
【００５３】
＜＜２．実空間内の物体の認識に関する検討＞＞
続いて、実空間内の物体（実オブジェクト）を認識し、当該物体の位置、姿勢、及び形状等を３次元的に推定に係る技術（ひいては、当該物体をモデル化する技術）の一例について概要を説明したうえで、本実施形態に係る情報処理システムの技術的課題について整理する。
【００５４】
前述したように、本実施形態に係る情報処理システムでは、実空間内に位置する物体の表面で反射した偏光方向が互いに異なる複数の偏光の検知結果に応じた情報（即ち、偏光情報）に基づき、当該物体を認識する（ひいては、当該物体の位置、姿勢、及び形状等を３次元的に推定する）。
【００５５】
具体的には、偏光カメラ等のような偏光センサにより、偏光情報が画像平面上にマッピングされた偏光画像が撮像される。当該偏光画像が示す光の強度（即ち、複数の偏光の光強度）に対して、コサインカーブフィッティングに基づく偏光イメージング処理を施すことで、当該偏光画像に撮像された物体の幾何構造に関する情報（以降では、「幾何構造情報」とも称する）を算出することが可能である。
【００５６】
幾何構造情報としては、例えば、上記コサインカーブフィッティングの結果として得られる振幅及び位相に応じた情報や、当該振幅及び当該位相に基づき算出される当該物体の表面の法線に関する情報（以下、「法線情報」とも称する）が挙げられる。また、法線情報としては、法線ベクトルを天頂角及び方位角で示した情報や、当該ベクトルを３次元の座標系で示した情報等が挙げられる。なお、天頂角については、コサインカーブの振幅から算出することが可能である。また、方位角については、コサインカーブの位相から算出することが可能である。また、天頂角及び方位角については、ｘｙｚ等で示される３次元の座標系に変換可能であることは言うまでもない。また、上記法線情報が偏光画像の画像平面上にマッピングされた当該法線情報の分布を示す情報が、所謂法線マップに相当する。また、上記偏光イメージング処理が施される前の情報、即ち、偏光情報が幾何構造情報として使用されてもよい。
【００５７】
以上のようにして、偏光情報に基づく物体の表面の法線方向を推定することで、当該物体の３次元的な形状を推定することが可能となる。また、デプスセンサ等により取得された深度情報を利用することで、当該物体の表面の奥行き方向の位置を特定することが可能となる。より具体的には、上記偏光情報や上記深度情報に応じた情報を、例えば、ボクセルボリュームのようなデータ（以降では、「３次元空間モデル」とも称する）として統合することにより、当該３次元空間モデルに基づき、実空間内の物体の位置、姿勢、及び形状等を３次元的に推定することが可能となる。また、当該３次元空間モデルに基づき、実空間内の物体の３次元形状をポリゴンメッシュ等のモデルとして再現する（模擬する）ことも可能となる。
【００５８】
一方で、偏光情報の取得条件に応じて、当該偏光情報の信頼度が低下する場合がある。例えば、図３は、偏光情報の信頼度の概要について説明するための説明図であり、認識対象となる物体の表面と偏光センサとの間の位置関係と、検出される偏光の偏光度と、の間の関係の一例を示している。具体的には、図３の横軸は、認識対象となる物体の面の法線の方向と、偏光センサから当該面に伸ばしたベクトル（以降では、「Ｒａｙベクトル」とも称する）に対応する方向と、が成す角（即ち、当該法線を基準とした天頂角）の角度を示している。なお、厳密には、Ｒａｙベクトルは、偏光センサから当該面上における当該偏光センサの各ピクセルに対応する位置に伸ばしたベクトルに相当する。また、縦軸は、偏光センサにより検出される偏光の偏光度を示している。なお、図３の左側に示すグラフは、鏡面反射の場合について示している。また、図３の右側に示すグラフは、拡散反射の場合について示している。
【００５９】
図３に示すように、認識対象となる物体の表面と偏光センサとの間の位置関係（即ち、上記天頂角）に応じて偏光度が変化する。なお、偏光度がより高いほど、物体の表面で反射し偏光センサに到達する光において、検出対象となる偏光が占める割合がより大きくなる（即ち、雑光の割合が少なくなる）ため、取得される偏光情報の信頼度がより高くなる。
【００６０】
ここで、図３を参照するとわかるように、鏡面反射及び拡散反射のいずれの場合においても、物体の表面に対して偏光センサが正対している場合（即ち、天頂角が０度の場合）には、偏光度がより低くなる（理想的には０となる）ため、取得される偏光情報の信頼度がより低くなる。このような状況下では、取得された偏光情報に基づき、対象となる物体の表面の法線方向の推定に係る精度が低下するため、当該物体の位置、姿勢、及び形状等の推定（換言すると、物体の認識）に係る精度が低下する場合がある。
【００６１】
また、偏光情報に基づき法線を推定する場合に、当該推定結果の不定性（以降では、「偏光法線の不定性」とも称する）が顕在化する場合がある。このような場合においても、対象となる物体の位置、姿勢、及び形状等の推定に係る精度が低下する場合がある。なお、偏光法線の不定性の詳細については別途後述する。
【００６２】
以上のような状況を鑑み、本開示では、上記偏光情報のような、実空間内の物体の認識に利用される情報をより好適な態様で取得可能とする技術について提案する。
【００６３】
具体的には、本開示の一実施形態に係る情報処理システムは、実空間内の物体の認識に関する情報の取得結果に応じて、当該情報がより好適な態様で取得可能な位置に偏光センサが位置する状態となるように、当該偏光センサが設けられた装置を保持するユーザを誘導する。
【００６４】
例えば、図４は、本実施形態に係る情報処理システムの概要について説明するための説明図であり、偏光センサが実空間内の物体の認識に関する情報をより好適な態様で取得可能な位置の一例について示している。図４において、参照符号Ｍ２１１は、認識の対象となる物体の表面を模式的に示している。また、参照符号２３０ａ及び２３０ｂは、偏光センサの位置及び姿勢を模式的に示している。
【００６５】
具体的には、図４の左側の図は、物体の表面Ｍ２１１に対して偏光センサが正対している状態を示している。このような場合には、図３を参照して前述したように、偏光センサにより取得される偏光情報の信頼度がより低くなる傾向にある。このような場合には、例えば、図４の右側に示すように、当該表面Ｍ２１１が斜め方向から観測される位置（即ち、参照符号２３０ｂで示す位置）に偏光センサが移動することで、当該偏光センサにより取得される偏光情報の信頼度を向上させることが可能となる。即ち、図４に示す例の場合には、本実施形態に係る情報処理システムは、例えば、偏光センサが、参照符号２３０ａで示す位置から参照符号２３０ｂで示す位置に移動するように誘導する報知情報をユーザに提示することで、当該ユーザに対して移動を促してもよい。
【００６６】
このような構成により、本開示の一実施形態に係る情報処理システムにおいては、ユーザが当該誘導に基づき移動することで、例えば、対象となる物体の位置、姿勢、及び形状等の推定（換言すると、当該物体の認識）に係る精度をより向上させる効果が期待できる。なお、以降では、本実施形態に係る情報処理システムの技術的特徴についてより詳細について説明する。
【００６７】
＜＜３．技術的特徴＞＞
以下に、本実施形態に係る情報処理システムの技術的特徴について説明する。
【００６８】
＜３．１．機能構成＞
まず、図５を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図５は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。なお、図５に示す例では、図１を参照して説明した例と同様に、情報処理システム１が、入出力装置２０と、情報処理装置１０とを含むものとして説明する。即ち、図５に示す入出力装置２０及び情報処理装置１０は、図１に示す入出力装置２０及び情報処理装置１０に相当する。また、入出力装置２０としては、図２を参照して説明した入出力装置２０が適用されるものとして説明する。
【００６９】
図５に示すように、入出力装置２０は、デプスセンサ２０１と、偏光センサ２３０と、表示部２１１とを含む。デプスセンサ２０１は、図１に示すデプスセンサ２１０と、図２に示す撮像部２０１ａ及び２０１ｂとに相当する。また、偏光センサ２３０は、図１及び図２に示す偏光センサ２３０に相当する。同様に、表示部２１１は、図２に示す表示部２１１に相当する。このように、デプスセンサ２０１、偏光センサ２３０、及び表示部２１１については前述しているため、詳細な説明は省略する。
【００７０】
続いて、情報処理装置１０の構成について説明する。図５に示すように、情報処理装置１０は、自己位置推定部１１０と、デプス推定部１２０と、法線推定部１３０と、モデリング処理部１４０と、出力制御部１５０とを含む。
【００７１】
自己位置推定部１１０は、入出力装置２０（特に、偏光センサ２３０）の実空間内における位置を推定する。また、このとき自己位置推定部１１０は、入出力装置２０の実空間内における姿勢を推定してもよい。なお、以降の説明では、入出力装置２０の実空間内における位置及び姿勢を総じて、「入出力装置２０の自己位置」とも称する。即ち、以降において、「入出力装置２０の自己位置」と記載した場合には、少なくとも入出力装置２０の実空間内の位置を示し、当該入出力装置２０の姿勢を含んでもよいものとする。
【００７２】
なお、自己位置推定部１１０が、入出力装置２０の自己位置を推定することが可能であれば、当該推定に係る手法や、当該推定のために利用される構成や情報は特に限定されない。具体的な一例として、自己位置推定部１１０は、上述したＳＬＡＭと呼ばれる技術に基づき、入出力装置２０の自己位置を推定してもよい。この場合には、例えば、自己位置推定部１１０は、デプスセンサ２０１による深度情報の取得結果と、所定のセンサ（例えば、加速度センサや角速度センサ等）による入出力装置２０の位置や姿勢の変化の検出結果と、に基づき、入出力装置２０の自己位置を推定すればよい。
【００７３】
また、入出力装置２０に対する偏光センサ２３０の相対的な位置関係をあらかじめ算出しておくことで、入出力装置２０の自己位置の推定結果に基づき、偏光センサ２３０の自己位置を算出することが可能である。
【００７４】
そして、自己位置推定部１１０は、入出力装置２０の自己位置（ひいては、偏光センサ２３０の自己位置）の推定結果を示す情報をモデリング処理部１４０に出力する。また、自己位置推定部１１０は、入出力装置２０の自己位置の推定結果に応じた情報を出力制御部１５０に出力してもよい。
【００７５】
デプス推定部１２０は、デプスセンサ２０１から深度情報を取得し、取得した当該深度情報に基づき、所定の視点（例えば、デプスセンサ２０１）と実空間内に位置する物体との間の距離を推定する。なお、以降の説明では、デプス推定部１２０は、デプスセンサ２０１が保持された入出力装置２０（厳密には、入出力装置２０中の基準となる所定の位置）と、実空間内に位置する物体と、の間の距離を推定するものとする。
【００７６】
具体的な一例として、デプス推定部１２０は、デプスセンサ２０１がステレオカメラとして構成されている場合には、当該ステレオカメラを構成する複数の撮像部（例えば、図１及び図２に示す撮像部２０１ａ及び２０１ｂ）それぞれにより撮像された画像間の視差に基づき、入出力装置２０と被写体との間の距離を推定する。また、このときデプス推定部１２０は、当該距離の推定結果が撮像平面にマッピングされたデプスマップを生成してもよい。そして、デプス推定部１２０は、入出力装置２０と実空間内に位置する物体との間の距離の推定結果に応じた情報（例えば、デプスマップ）をモデリング処理部１４０に出力する。
【００７７】
法線推定部１３０は、偏光センサ２３０から撮像された偏光画像を取得する。法線推定部１３０は、取得した偏光画像に含まれる偏光情報に基づき、当該偏光画像中に撮像された実空間内の物体の表面の少なくとも一部における幾何構造（例えば、法線）を推定する。なお、幾何構造の推定方法については前述したとおりである。また、以降の説明では、法線推定部１３０は、当該物体の面（例えば、表面）のうち少なくとも一部における法線を推定するものとする。また、このとき法線推定部１３０は、当該法線の推定結果（即ち、法線情報）が撮像平面にマッピングされた法線マップを生成してもよい。そして、法線推定部１３０は、当該法線の推定結果に応じた情報（例えば、法線マップ）をモデリング処理部１４０に出力する。また、法線推定部１３０は、当該法線の推定結果に応じた情報を出力制御部１５０に出力してもよい。
【００７８】
モデリング処理部１４０は、自己位置推定部１１０から、入出力装置２０の自己位置の推定結果を示す情報を取得する。これにより、モデリング処理部１４０は、入出力装置２０の自己位置を認識することが可能となる。また、モデリング処理部１４０は、デプス推定部１２０から、入出力装置２０と実空間内に位置する物体との間の距離の推定結果に応じた情報（例えば、デプスマップ）を取得する。また、モデリング処理部１４０は、法線推定部１３０から、当該物体の面（例えば、表面）の法線の推定結果に応じた情報（例えば、法線マップ）を取得する。モデリング処理部１４０は、入出力装置２０の自己位置の推定結果と、当該入出力装置２０と実空間内の物体との間の距離の推定結果と、当該物体の面の法線の推定結果と、を３次元空間モデルとして統合する。
【００７９】
また、モデリング処理部１４０は、例えば、上記３次元空間モデルに基づき、実空間内の物体の位置、姿勢、及び形状等を３次元的に推定してもよい。具体的な一例として、上記物体の面（例えば、表面）の法線の推定結果に基づき、当該面の３次元的な姿勢を推定することが可能である。また、入出力装置２０と当該物体との間の距離の推定結果に基づき、当該入出力装置２０と当該物体との間の相対的な位置関係を推定することが可能である。即ち、上記法線の推定結果と、上記距離の推定結果と、に基づき、上記物体の３次元的な形状を推定することが可能である。また、入出力装置２０の自己位置の推定結果を利用することで、当該入出力装置２０に対する上記物体の相対位置を、実空間内における当該物体の位置（絶対位置）に変換することが可能である。以上のようにして、上記物体の位置、姿勢、及び形状が３次元的に推定される。なお、上述した処理はあくまで一例であり、取得された各種情報に基づき、実空間内の物体の位置、姿勢、及び形状等を３次元的に推定することが可能であれば、その手法は上記に説明した例には限定されない。
【００８０】
また、自己位置推定部１１０、デプス推定部１２０、及び法線推定部１３０は、入出力装置２０の位置や姿勢の変化（即ち、視点の位置や姿勢の変化）に応じて、対応する各種情報（即ち、上記自己位置、上記距離、及び上記法線）の推定を行ってもよい。この場合には、例えば、モデリング処理部１４０は、視点ごとに推定された当該各種情報を、３次元空間モデルとして統合してもよい。また、入出力装置２０の位置や姿勢の時系列に沿った変化に応じて、当該時系列に沿って上記各種情報が推定されてもよい。この場合には、例えば、モデリング処理部１４０は、時系列に沿って推定された当該各種情報を時間方向に畳み込むことで、当該各種情報を３次元空間モデルとして統合してもよい。このように、複数の視点（即ち、異なる視点）それぞれについて取得された各種情報が３次元空間モデルとして統合されることで、実空間内の物体の位置、姿勢、及び形状等の推定（換言すると、当該物体の認識）に係る精度をより向上させることも可能となる。
【００８１】
また、モデリング処理部１４０は、新たに取得された上記各種情報を、過去に取得された情報に基づき生成された３次元空間モデルに統合することで、当該３次元空間モデルを更新してもよい。このような構成により、新たに取得された上記各種情報に基づき、上記３次元空間モデルのうち、過去に観測されていない部分の情報を補間することも可能となる。
【００８２】
また、モデリング処理部１４０は、取得された上記各種情報に基づき、実空間内の領域のうち、既に観測が行われた領域（即ち、３次元空間モデルを形成した領域）と、未だ観測が行われてない領域と、を判別するための情報を３次元空間モデルに関連付けてもよい。具体的な一例として、モデリング処理部１４０は、３次元空間モデルのうち、上記各種情報が取得された領域（即ち、観測が行われた領域）に相当する部分に対してフラグを設定してもよい。このような構成により、例えば、当該フラグに基づき、既に観測が行われた領域と、未だ観測が行われてない領域と、を判別することが可能となる。特に、ある物体を一部の方向からのみ観測しているような状況下においては、当該物体の裏面側の観測が行われておらず、当該裏面側については３次元空間モデルが形成されていない場合がある。このような場合においても、上記フラグに基づき、当該物体について、既に観測が行われている方向（換言すると、３次元空間モデルの形成が行われている部分）と、未だ観測が行われてない方向（換言すると、３次元空間モデルの形成が行われていない部分）と、を判別することが可能となる。なお、上記に説明した例はあくまで一例であり、上記物体について、既に観測が行われている方向と、未だ観測が行われてない方向と、を判別することが可能であれば、そのために設定される情報は必ずしも上記フラグには限定されない。具体的な一例として、上記フラグに替えて、偏光法線の信頼度の応じた値（例えば、０〜１の範囲の連続値）が観測ごとに加算されることで算出される値が設定されてもよい。
【００８３】
また、モデリング処理部１４０は、上記３次元空間モデルに基づき、実空間内の物体の３次元形状をポリゴンメッシュ等のモデルとして再現（模擬）してもよい。具体的な一例として、モデリング処理部１４０は、上記３次元空間モデルに基づき、対象となる物体のポリゴンメッシュを抽出してもよい。より具体的な一例として、３次元空間モデルとしてＴＳＤＦ（Truncated  Signed  Distance  Function）が用いられる場合には、例えば、Marching  Cubesや、Dual  Contouring等の手法に基づき、対象となる物体のポリゴンメッシュを抽出することが可能である。また、３次元空間モデルが点群の場合には、Poisson  Surface  Reconstructionや、Screened  Poisson  Surface  Reconstruction等の手法に基づき、対象となる物体のポリゴンメッシュを抽出することが可能である。
【００８４】
また、モデリング処理部１４０は、実空間内の物体の位置、姿勢、及び形状等の推定結果を示す情報や、実空間内の物体の３次元形状をモデルとして再現したデータ（例えば、ボクセルボリューム等の３次元空間モデル）を、出力データとして所定の出力先に出力してもよい。具体的な一例として、当該出力データが、後述する出力制御部１５０により、ユーザに対して各種情報を提示するために利用されてもよい。
【００８５】
出力制御部１５０は、所定の出力部を介してユーザに各種情報を提示する。例えば、出力制御部１５０は、モデリング処理部１４０による実空間内の物体の位置や姿勢の推定結果に応じて、ＡＲ技術に基づき、仮想オブジェクト等の表示情報が当該物体に重畳するように、表示部２１１を介して当該表示情報をユーザに提示してもよい。また、他の一例として、出力制御部１５０は、実空間内の物体の３次元形状をモデルとして再現したデータに基づき、当該モデルに基づく表示情報（例えば、仮想オブジェクト）を、表示部２１１を介してユーザに提示してもよい。
【００８６】
また、出力制御部１５０は、実空間内の物体の面（例えば、表面）の少なくとも一部における法線の推定結果を示す情報を取得し、当該推定結果に応じた各種情報を所定の出力部を介してユーザに提示してもよい。具体的な一例として、出力制御部１５０は、当該法線の推定結果の信頼度（換言すると、偏光情報の信頼度）が閾値以下の場合に、当該信頼度がより向上する位置への移動を促す（即ち、誘導する）ための報知情報を、所定の出力部を介してユーザに提示してもよい。このとき、出力制御部１５０は、入出力装置２０の自己位置の推定結果に基づき、当該入出力装置２０と上記一部の面の位置関係を認識し、当該位置関係に応じて誘導する方向を決定してもよい。また、他の一例として、出力制御部１５０は、偏光法線の不定性が解消されるように移動を促す（即ち、誘導する）ための報知情報を、所定の出力部を介してユーザに提示してもよい。なお、上記報知情報の提示時に係る処理の詳細については別途後述する。
【００８７】
なお、上述した本実施形態に係る情報処理システム１の機能構成はあくまで一例であり、上述した各構成の処理が実現されれば、情報処理システム１の機能構成は必ずしも図５に示す例には限定されない。具体的な一例として、入出力装置２０と情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、情報処理装置１０の各構成のうち一部の構成が、当該情報処理装置１０とは異なる装置（例えば、入出力装置２０、サーバ等）に設けられていてもよい。また、情報処理装置１０の各機能が、複数の装置が連携して動作することで実現されてもよい。
【００８８】
以上、図５を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明した。
【００８９】
＜３．２．偏光法線の信頼度に応じた誘導例＞
続いて、本実施形態に係る情報処理システムによるユーザの誘導の一例として、偏光法線の信頼度がより向上するようにユーザを誘導する場合の例について説明する。例えば、図６〜図８は、本実施形態に係る情報処理システムによるユーザの誘導に係る処理の一例について概要を説明するための説明図である。
【００９０】
まず、図６を参照して、本実施形態に係る情報処理装置１０によるユーザの誘導に係る処理の状態について説明する。図６は、本実施形態に係る情報処理装置１０によるユーザの誘導に係る処理の概略的な状態遷移図を示している。図６に示すように、情報処理装置１０の処理状態は、ユーザに対して報知情報を提示することで当該ユーザの誘導を行う誘導状態と、当該誘導を行わない非誘導状態と、の間で遷移する。なお、情報処理装置１０が起動した直後等に遷移する初期状態は、非誘導状態に設定されているとよい。また、情報処理装置１０の処理状態は、誘導状態及び非誘導状態のそれぞれにおいて当該状態に対応する所定の条件を満たした場合に、他の状態に遷移する。
【００９１】
次いで、図７を参照して、情報処理装置１０が、偏光法線の信頼度に応じてユーザの誘導を行うか否か（即ち、誘導状態に遷移するか否か）を判定し、判定結果に応じて誘導方向を算出する一連の処理の流れの一例について説明する。図７は、偏光法線の信頼度に応じたユーザの誘導に係る処理の流れの一例について説明するための説明図である。
【００９２】
図７に示すように、情報処理装置１０は、偏光センサ２３０により取得された偏光画像Ｄ３１１（即ち、偏光情報）に基づき、実空間内の物体（即ち、認識対象となる物体）の面（例えば、表面）の法線（即ち、偏光法線Ｄ３１３）を推定する（Ｓ３０１）。
【００９３】
次いで、情報処理装置１０は、偏光法線の推定結果の信頼度（以下、「偏光法線信頼度Ｄ３１５」と称する）を算出する（Ｓ３０３）。偏光法線信頼度Ｄ３１５については、例えば、偏光画像Ｄ３１１のピクセルごとに算出される偏光度（degree  of  polarization）の値や、当該ピクセルの画素値（即ち、偏光輝度値）が飽和しているか否か等の情報に基づき算出してもよい。もちろん、偏光法線信頼度Ｄ３１５（換言すると、偏光情報の信頼度）を算出することが可能であれば、その方法は必ずしも限定されない。
【００９４】
次いで、情報処理装置１０は、算出した偏光法線信頼度Ｄ３１５に基づき、ユーザの誘導を行うか否か（即ち、誘導状態に遷移するか否か）を判定する（Ｓ３０５）。具体的な一例として、情報処理装置１０は、偏光画像Ｄ３１１の画像平面に占める割合のより大きい領域において、偏光法線信頼度Ｄ３１５の平均、最小値等の所定の統計量が閾値以下の場合に誘導状態に遷移する。
【００９５】
情報処理装置１０は、誘導状態に遷移した場合には、入出力装置２０の自己位置Ｄ３１７に応じて誘導方向の算出を行う（Ｓ３０７）。このとき、情報処理装置１０は、例えば、偏光センサ２３０による偏光画像Ｄ３１１の撮像結果に応じた偏光法線の信頼度がより高くなる位置に当該偏光センサ２３０が位置するように、ユーザの移動を誘導する方向を算出する。そこで、当該偏光法線の信頼度がより高くなるように（即ち、偏光度がより高くなるように）誘導する場合の処理の一例について、以下により詳細に説明する。
【００９６】
図３を参照して前述したように、偏光度と、物体の面（例えば、表面）の法線を基準とした天頂角と、の間の関係としては、鏡面反射のモデルと、拡散反射のモデルと、が想定される。偏光法線については、一般的には拡散反射のモデルに基づき上記天頂角を推定するため、当該天頂角がより大きいほど偏光度がより高くなる傾向にある。そのため、情報処理装置１０は、物体の面のうち認識対象となる領域（以降では、「対象領域」とも称する）が、上記天頂角がより大きくなるような視点から観測されるように誘導を行うとよい。
【００９７】
例えば、図８は、本実施形態に係る情報処理装置によるユーザの誘導の一例について説明するための説明図であり、偏光法線の信頼度がより高くなるように誘導する場合の一例を示している。図８において、参照符号Ｍ２１１は、観測対象（即ち、認識対象）となる物体の面（例えば、表面）を模式的に示している。
【００９８】
図８に示す例では、情報処理装置１０は、例えば、ユーザに対して、対象領域中の注視点がユーザの視界中の少なくとも一部から動かないように維持しつつ（換言すると、偏光センサ２３０の検知範囲内に注視点が位置する状態を維持しつつ）、当該ユーザが左右（または上下）に移動するように誘導を行う。なお、上記注視点については、例えば、対象領域の画像上での重心や中央等を算出することで決定されればよい。このような誘導を行うことで、例えば図８に示すように、参照符号２３０ａで示す位置に位置する偏光カメラ２３０が、参照符号２３０ｂで示す位置に移動することとなる。これにより、偏光センサ２３０が、面Ｍ２１１の法線を基準とした天頂角がより大きくなる位置から当該面Ｍ２１１を観測することが可能となり、観測される偏光の偏光度がより高くなるため、偏光法線の信頼度をより向上させることが可能となる。
【００９９】
特に、上述した例では、注視点がユーザの視界中の少なくとも一部から動かないように維持する動作をユーザに促すことで、当該ユーザが面Ｍ２１１と対向している状態を維持しながら平行移動するような動作を行うこと事態の発生を防止することが可能となる。即ち、図８に示す例において、偏光センサ２３０が、参照符号２３０ａで示す位置から参照符号２３０ｃで示す位置に移動した場合には、当該偏光センサ２３０と面Ｍ２１１が対向している状態が維持され、誘導後においても上記天頂角が大きくならない。そのため、このような動作が行われたとしても、観測される偏光の偏光度が高くならず、偏光法線の信頼度を向上させることが困難となる。
【０１００】
以上のようにして、情報処理装置１０は、図７に示すように、ユーザを誘導する誘導方向Ｄ３１９を算出する。そして、情報処理装置１０は、例えば、入出力装置２０の表示部２１１に誘導方向Ｄ３１９の算出結果に応じた報知情報を報知することでユーザを誘導する。なお、当該報知情報の一例について別途詳細を後述する。
【０１０１】
以上、図６〜図８を参照して、本実施形態に係る情報処理システムによるユーザの誘導の一例として、偏光法線の信頼度がより向上するようにユーザを誘導する場合の例について説明した。
【０１０２】
＜３．３．偏光法線の不定性を解消するための誘導例＞
続いて、本実施形態に係る情報処理システムによるユーザの誘導の他の一例として、偏光法線の不定性が解消されるようにユーザを誘導する場合の例について説明する。例えば、図９〜図１２は、本実施形態に係る情報処理システムによるユーザの誘導に係る処理の他の一例について概要を説明するための説明図である。
【０１０３】
まず、偏光法線の不定性について概要を説明する。偏光法線には、原理的に１８０度の不定性が存在する。具体的には、偏光法線の算出時には、実際の法線（以降では、「真の法線」とも称する）に加えて、偏光情報を取得する視点（即ち、偏光センサ２３０）の位置と、観測対象となる面の３次元的な位置と、を結んだ入射光ベクトルを挟んで１８０度逆に偽の法線が候補として算出される。このとき、算出される２つの法線の候補のうちどちらが真の法線に相当するかを認識することは原理的には困難であるため、偏光法線を物体の認識に利用するような状況下において、このような不定性が当該認識における制約となる場合がある。即ち、観測対象となる環境の幾何構造によっては、上述した偏光法線の不定性により、当該幾何構造を正しく認識することが困難となる場合がある。
【０１０４】
例えば、図９は、偏光法線の不定性について説明するための説明図である。図９に示す例において、参照符号Ｍ２０１は、水平方向に延伸するように設けられた床面を模式的に示している。また、参照符号Ｐ２１１は、床面Ｍ２０１の真の法線である偏光法線の算出結果の一例を模式的に示している。即ち、偏光法線Ｐ２１１のベクトルは、鉛直方向（上方向）を向いている。参照符号Ｍ２０３は、鉛直方向に延伸するように設けられた壁面を模式的に示している。また、参照符号Ｐ２１３は、壁面Ｍ２０３の真の法線である偏光法線の算出結果の一例を模式的に示している。
【０１０５】
これに対して、参照符号Ｐ２１５ａ及びＰ２１５ｂは、偏光法線の不定性により、壁面Ｍ２０３の偏光法線の算出結果の一例を模式的に示している。具体的には、参照符号Ｐ２１５ａは、偏光法線の候補のうち偽の法線に相当する候補を示している。また、参照符号Ｐ２１５ｂは、偏光法線の候補のうち真の法線に相当する候補を示している。即ち、偏光センサ２３０と、床面Ｍ２０１及び壁面Ｍ２０３と、の間の位置関係に応じて、偏光法線の不定性により、当該壁面Ｍ２０３の偏光法線（例えば、法線Ｐ２１５ａ）が、床面Ｍ２０１の偏光法線（即ち、法線Ｐ２１１）と略等しい方向を向いているものと認識される場合がある。即ち、壁面Ｍ２０３の真の法線を基準として、天頂角が４５度となる方向から当該壁面Ｍ２０３が偏光センサ２３０により観測された場合に、偽の法線は、当該壁面Ｍ２０３が延伸する方向を向くこととなる。このとき、偏光センサ２３０が上方側から見下ろすように壁面Ｍ２０３を観測している場合に、偽の法線は、参照符号Ｐ２１５ａで示すように鉛直上方、即ち、床面Ｍ２０１の法線Ｐ２１１と略等しい方向を向くこととなる。このような状況下では、例えば、壁面Ｍ２０３の姿勢が誤って認識される場合も想定され得る。
【０１０６】
以上のような状況を鑑み、上述した偏光法線の不定性の解消を目的とした誘導の一例について以下に説明する。
【０１０７】
まず、偏光法線の不定性に応じて算出される真の法線及び偽の法線の特性について概要を説明する。偽の法線は、偏光情報を取得する視点（即ち、偏光センサ２３０）の位置と、観測対象となる面の３次元的な位置と、を結んだ入射光ベクトルに依存して方向が定まる。そのため、実空間内のある領域を複数の方向から観測した場合には、不定性に応じて算出される法線の候補のうち偽の法線が示す実空間内の方向は一定の方向とならずにばらつきが生じる。これに対して、真の法線は、いずれの方向から観測された場合においても、常に一定の方向を示す。即ち、以上のような特性を利用することで、真の法線と偽の法線とを判別することが可能となる。具体的には、実空間内のある対象を複数の視点（即ち、複数の方向）から観測し、視点ごとに算出される偏光法線の方向を不定性によって算出される候補（即ち、偽の法線）も含めてカウントすることで、最も頻度の高い方向を真の法線の方向として推定すればよい。
【０１０８】
続いて、図１０を参照して、情報処理装置１０が、実空間内の物体の観測状況（即ち、偏光法線の不定性が解消されているか否か）に応じてユーザの誘導を行うか否かを判定し、判定結果に応じて誘導方向を算出する一連の処理の流れの一例について説明する。図１０は、偏光法線の不定性の解消を目的としたユーザの誘導に係る処理の流れの一例について説明するための説明図である。なお、本例においても、図７を参照して説明した例と同様に、情報処理装置１０は、非誘導状態と誘導状態との２つの状態を取り得るものとする。
【０１０９】
図１０に示すように、情報処理装置１０は、偏光センサ２３０により取得された偏光画像Ｄ４１１（即ち、偏光情報）に基づき、実空間内の物体（即ち、認識対象となる物体）の面の法線（即ち、偏光法線Ｄ４１３）を推定する（Ｓ４０１）。
【０１１０】
次いで、情報処理装置１０は、偏光法線Ｄ４１３の推定結果と、偏光画像Ｄ４１１が取得されたときの偏光センサ２３０の状態を示すカメラパラメータ情報Ｄ４１５と、に応じて、当該偏光センサ２３０による偏光法線Ｄ４１３の観測状況を記録または更新する（Ｓ４０３）。カメラパラメータ情報Ｄ４１５としては、例えば、偏光センサ２３０の姿勢を示す情報や、当該偏光センサ２３０が偏光画像Ｄ４１１を撮像する範囲を示す情報（frustum）等が挙げられる。なお、カメラパラメータ情報Ｄ４１５については、偏光センサ２３０が保持された入出力装置２０の自己位置Ｄ４１９に基づき算出されてもよい。また、カメラパラメータ情報Ｄ４１５として、当該入出力装置２０の自己位置Ｄ４１９（即ち、偏光センサ２３０の自己位置）と実質的に同様の情報が利用されてもよい。
【０１１１】
具体的には、情報処理装置１０は、偏光法線Ｄ４１３の推定結果に基づき、推定された各法線がいずれの方向を向いていたかを、偏光法線の不定性によって算出される候補（偽の法線）も含めてカウントし、カウント結果を頻度情報として記録する。また、このとき情報処理装置１０は、カメラパラメータ情報Ｄ４１５に基づき、偏光センサ２３０を基点として頻度情報が記録された範囲を認識してもよい。なお、当該範囲を示す情報については、例えば、入出力装置２０の自己位置Ｄ４１９（即ち、偏光センサ２３０の自己位置）に基づき、実空間内の絶対位置に応じた範囲を示す情報に変換することも可能である。
【０１１２】
また、このとき情報処理装置１０は、入出力装置２０の自己位置Ｄ４１９に応じて、偏光法線Ｄ４１３が算出された領域（観測対象となる領域）がどの方向から観測されたのかを示す情報をアスペクト情報として記録する。
【０１１３】
なお、情報処理装置１０は、上述した頻度情報及びアスペクト情報を、例えば、入出力装置２０の自己位置Ｄ４１９に基づき、ボクセルボリュームのような３次元的な位置に対応する情報に対してフラグ等を設定することで記録してもよい。なお、以降の説明においては、上記頻度情報と上記アスペクト情報とを総じて、法線観測情報Ｄ４１７とも称する。即ち、記録された法線観測情報Ｄ４１７（頻度情報及びアスペクト情報）が、観測対象となる領域の過去の観測結果を示していることとなる。
【０１１４】
ここで、図１１を参照して、上記法線観測情報Ｄ４１７の記録に係る処理の一例についてより具体的に説明する。図１１は、本実施形態に係る情報処理装置による法線観測情報の記録に係る処理の一例について示したフローチャートである。
【０１１５】
まず、情報処理装置１０は、実空間の３次元的な幾何構造を模擬したボクセルボリュームから処理の対象とするボクセルを選択する（Ｓ４５１）。情報処理装置１０は、カメラパラメータ情報Ｄ４１５に基づき、選択したボクセルが偏光センサ２３０のフラスタム内に位置するか否かを判定する（Ｓ４５３）。なお、選択したボクセルが偏光センサ２３０のフラスタム内に位置せず（Ｓ４５３、ＮＯ）、かつ全ボクセルについて処理済ではない場合（Ｓ４６１、ＮＯ）には、ボクセルボリュームから新たなボクセルを処理の対象として選択する（Ｓ４５１）。
【０１１６】
選択したボクセルが偏光センサ２３０のフラスタム内に位置する場合には（Ｓ４５３、ＹＥＳ）、情報処理装置１０は、偏光センサ２３０の自己位置Ｄ４１９に応じて、各偏光法線がいずれの方向を向いていたかを示す頻度情報を加算する（Ｓ４５５）。
【０１１７】
また、情報処理装置１０は、選択したボクセルに対するアスペクト情報の設定状況に応じて、そのときの観測方向が、当該ボクセルを観測する各方向のうち初めて観測が行われた方向か否か（即ち、過去に観測が行われていない方向か否か）を判定する（Ｓ４５７）。なお、そのときの観測方向が、過去に観測が行われた方向であり（Ｓ４５７、ＮＯ）、かつ全ボクセルについて処理済ではない場合（Ｓ４６１、ＮＯ）には、ボクセルボリュームから新たなボクセルを処理の対象として選択する（Ｓ４５１）。
【０１１８】
一方で、そのときの観測方向が、過去に観測が行われていない方向の場合には（Ｓ４５９、ＹＥＳ）、選択したボクセルと偏光センサ２３０との間の位置関係に応じて、当該ボクセルに対してアスペクト情報のフラグを設定する（Ｓ４５９）。
【０１１９】
以上のようにして、情報処理装置１０は、全ボクセルを対象として処理が完了しない限り（Ｓ４６１、ＮＯ）、各ボクセルについて、上記頻度情報の更新に係る処理と、上記アスペクト情報の設定に係る処理と、を実行する。そして、情報処理装置１０は、全ボクセルが処理済となった場合に（Ｓ４６１、ＹＥＳ）、上述した一連の処理を終了する。
【０１２０】
以上のようにして、偏光法線の算出結果に応じて、法線観測情報Ｄ４１７（即ち、頻度情報及びアスペクト情報）が記録または更新される。
【０１２１】
次いで、図１０に示すように、情報処理装置１０は、法線観測情報Ｄ４１７（即ち、頻度情報及びアスペクト情報）に基づき、ユーザの誘導を行うか否か（即ち、誘導状態に遷移するか否か）を判定する（Ｓ４０５）。具体的には、取得された頻度情報が偏った方向（例えば、ある一方向）からのみの観測情報に基づく場合には、算出された偏光法線Ｄ４１３の信頼度がより低くなる。そのため、情報処理装置１０は、例えば、上記アスペクト情報の設定状況に応じて、どの程度ばらついた方向から観測されているかを判定し、当該判定結果に応じてユーザの誘導を行うか否かを判定してもよい。
【０１２２】
より具体的な一例として、情報処理装置１０は、モデリングの対象となる領域に関連付けて設定されたアスペクト情報に基づき、当該領域から所定の距離以上離れた位置から観測されるボクセルの数が閾値以上存在するか否かを判定してもよい。また、情報処理装置１０は、当該領域について頻度情報が記録または更新された法線の方向に関する複数の候補間において、頻度情報の差（即ち、カウント数の差）が閾値以上か否かを判定してもよい。以上のような判定に基づき、情報処理装置１０は、偏光法線の不定性を解消するために十分な観測が行われているが否か、即ち、真の法線を特定することが可能な程度に複数の方向から対象領域の観測が行われているか否かを判断する。そして、情報処理装置１０は、十分な観測が行われていないと判断した場合に、誘導状態に遷移してもよい。より具体的な一例として、情報処理装置１０は、過去に観測が行われていない方向が存在する場合や、観測された頻度が他の方向に比べて低い方向が存在する場合に、誘導状態に遷移してもよい。
【０１２３】
そして、情報処理装置１０は、ユーザの誘導を行うと判定した場合（即ち、誘導状態に遷移した場合）には、法線観測情報Ｄ４１７と、入出力装置２０の自己位置Ｄ４１９と、に基づき誘導方向Ｄ４２１を算出する。具体的な一例として、情報処理装置１０は、アスペクト情報の設定状況に応じて、対象領域を過去に観測されていない方向から観測する視点の位置に偏光センサ２３０が位置するように、誘導方向Ｄ４２１を算出してもよい。
【０１２４】
例えば、図１２は、本実施形態に係る情報処理装置によるユーザの誘導の他の一例について説明するための説明図であり、偏光法線の不定性が解消されるようにユーザを誘導する場合の一例について示している。図１２において、参照符号Ｍ２１１は、観測対象（即ち、認識対象）となる物体の面（例えば、表面）を模式的に示している。また、実線で示した矢印は、面Ｍ２１１の真の法線の方向を模式的に示している。また、二点鎖線で示した矢印は、偏光法線の不定性に応じて算出される偽の法線の方向を模式的に示している。
【０１２５】
例えば、偏光センサ２３０が、参照符号２３０ｄで示した位置に位置する場合の偏光法線の算出結果のみでは、偏光法線の不定性により算出される２つの偏光法線の算出結果のうち、いずれが真の法線を示しているかを特定することは困難である。これに対して、例えば、参照符号２３０ｄで示した位置に位置する偏光センサ２３０が、参照符号２３０ｅで示した位置に移動すると、前述の通り、真の法線の方向は変化せずに、偽の法線の方向が変化するため、真の法線の方向を特定することが可能となる。
【０１２６】
即ち、情報処理装置１０は、対象領域について設定されたアスペクト情報の設定状況に基づき、当該アスペクト情報が設定されていない方向から当該対象領域が観測されるように、ユーザを誘導すればよい。
【０１２７】
なお、参照符号２３０ｆで示すように、偏光センサ２３０の位置が変化せずに、偏光センサ２３０の姿勢のみが変化した場合には、偏光法線の候補の算出結果が変化しない。そのため、偏光法線の不定性を解消する場合には、偏光センサ２３０の位置が変化するように誘導が行われることが望ましい。
【０１２８】
以上のようにして、情報処理装置１０は、図１０に示すように、ユーザを誘導する誘導方向Ｄ４２１を算出する。そして、情報処理装置１０は、例えば、入出力装置２０の表示部２１１に誘導方向Ｄ４２１の算出結果に応じた報知情報を報知することでユーザを誘導する。なお、当該報知情報の一例について別途詳細を後述する。
【０１２９】
以上、図９〜図１２を参照して、本実施形態に係る情報処理システムによるユーザの誘導の他の一例として、偏光法線の不定性が解消されるようにユーザを誘導する場合の例について説明した。
【０１３０】
＜３．４．報知情報の一例＞
続いて、本実施形態に係る情報処理装置がユーザを誘導するために、所定の出力部を介して当該ユーザに報知する報知情報の一例について説明する。
【０１３１】
（報知情報の提示例１）
例えば、図１３は、本実施形態に係る情報処理装置がユーザを誘導するために報知する報知情報の一例について説明するための説明図であり、対象領域が異なる方向から観測されるようにユーザを誘導するために提示される報知情報の一例を示している。
【０１３２】
図１３において、参照符号Ｖ１１１で示す状態は、実空間内の認識対象（観測対象）となる領域（即ち、対象領域）をユーザが観測している状況において、ユーザによって視認される実空間の光学像の状態を模式的に示している。なお、状態Ｖ１１１は、実空間内の物体の面（以下、「対象領域Ｍ３１１」と称する）に対してユーザが正対している状態を示している。また、参照符号Ｖ１１３で示す状態は、状態Ｖ１１１において観測される対象領域Ｍ３１１に対して情報処理装置１０により表示情報（報知情報）が重畳された場合に、ユーザによって視認される光学像の状態を模式的に示している。なお、状態Ｖ１１３は、情報処理装置１０に提示された報知情報によりユーザが誘導される前の状態に対応している。また、参照符号Ｖ１１５で示された状態は、情報処理装置１０により誘導された後に、ユーザによって視認される光学像の状態を模式的に示している。
【０１３３】
例えば、状態Ｖ１１１において、情報処理装置１０は、ユーザが対象領域Ｍ３１１に対して正対しているため、当該対象領域Ｍ３１１について算出される偏光法線の信頼度（即ち、偏光センサ２３０により検出される偏光の偏光度）が低いことを認識し、誘導状態に遷移する。誘導状態に遷移すると、情報処理装置１０は、対象領域Ｍ３１１について算出される偏光法線の信頼度がより高くなるようにユーザを誘導するために、報知情報Ｖ１２１及びＶ１３１をユーザに提示する。
【０１３４】
具体的には、状態Ｖ１１３において、情報処理装置１０は、報知情報Ｖ１２１が、上記対象領域Ｍ３１１の法線方向に応じた実空間内の方向を向き、かつ当該対象領域Ｍ３１１に対応する実空間内の位置に定位するように、当該報知情報Ｖ１２１をユーザに提示する。このとき、報知情報Ｖ１２１は、ユーザが当該報知情報Ｖ１２１に対して正対している場合に、対象領域Ｍ３１１の法線を基準とした天頂角が閾値以上となる方向から当該対象領域Ｍ３１１が観測される状態となる方向を向くように提示される。また、図１３に示す例では、情報処理装置１０は、報知情報Ｖ１２１に対して正対する位置への移動を促すメッセージを報知情報Ｖ１３１としてユーザに提示している。即ち、情報処理装置１０は、報知情報Ｖ１２１及びＶ１３１をユーザに提示することで、対象領域Ｍ３１１が異なる方向から観測されるように当該ユーザを誘導している。なお、報知情報Ｖ１２１が「第１の表示情報」の一例に相当する。また、報知情報Ｖ１３１が「第２の表示情報」の一例に相当する。
【０１３５】
このような情報処理装置１０による誘導に従いユーザが移動することで、状態Ｖ１１５として示すように、対象領域Ｍ３１１が、当該対象領域Ｍ３１１の法線を基準とした天頂角がより大きくなる位置から観測される状態となる。即ち、上記誘導に伴い、対象領域Ｍ３１１について検出される偏光の偏光度がより高くなり、偏光法線の算出結果の信頼度をより向上させることが可能となる。また、上述した誘導に従いユーザが移動することで、状態Ｖ１１５として示すように、状態Ｖ１１３において対象領域Ｍ３１１が観測される方向とは異なる方向から当該対象領域Ｍ３１１が観測されることとなる。即ち、上記誘導に伴う複数の方向からの対象領域Ｍ３１１の観測結果を利用することで、偏光法線の不定性を解消することも可能となる。
【０１３６】
なお、情報処理装置１０は、誘導に従いユーザの移動が完了すると、当該ユーザに対して誘導が完了したことを報知する報知情報Ｖ１３３を提示してもよい。また、誘導が完了した場合には、情報処理装置１０は、非誘導状態に遷移してもよい。
【０１３７】
（報知情報の提示例２）
図１４は、本実施形態に係る情報処理装置がユーザを誘導するために報知する報知情報の他の一例について説明するための説明図であり、対象領域が異なる方向から観測されるようにユーザを誘導するために提示される報知情報の一例を示している。
【０１３８】
図１４において、参照符号Ｖ２１１で示す状態は、実空間内の認識対象となる領域をユーザが観測している状況において、ユーザによって視認される実空間の光学像の状態を模式的に示している。なお、状態Ｖ２１１は、対象領域Ｍ３１１に対してユーザが正対している状態を示している。また、参照符号Ｖ２１３で示す状態は、状態Ｖ２１１において観測される対象領域Ｍ３１１に対して情報処理装置１０により表示情報（報知情報）が重畳された場合に、ユーザによって視認される光学像の状態を模式的に示している。なお、状態Ｖ２１３は、情報処理装置１０に提示された報知情報によりユーザが誘導される前の状態に対応している。また、参照符号Ｖ１２５で示された状態は、情報処理装置１０により誘導された後に、ユーザによって視認される光学像の状態を模式的に示している。
【０１３９】
図１３に示す状態Ｖ１１１と同様に、状態Ｖ２１１において、情報処理装置１０は、ユーザが対象領域Ｍ３１１に対して正対しているため、当該対象領域Ｍ３１１について算出される偏光法線の信頼度（即ち、偏光センサ２３０により検出される偏光の偏光度）が低いことを認識し、誘導状態に遷移する。誘導状態に遷移すると、情報処理装置１０は、対象領域Ｍ３１１について算出される偏光法線の信頼度がより高くなるようにユーザを誘導するために、報知情報Ｖ２２１、Ｖ２２３、及びＶ２３１をユーザに提示する。
【０１４０】
具体的には、状態Ｖ２１３において、情報処理装置１０は、リング状の報知情報Ｖ２２１が対象領域Ｍ３１１に対応する実空間内の位置に定位するように、当該報知情報Ｖ２２１をユーザに提示する。また、情報処理装置１０は、偏光センサ２３０の光軸上（換言すると、入出力装置２０の正面方向）に定位するように、球状の報知情報Ｖ２２３を提示する。そのうえで、情報処理装置１０は、球状の報知情報Ｖ２２３がリング状の報知情報Ｖ２２１内に位置する状態を維持したまま、算出した誘導方向（例えば、左右のいずれかの方向）への移動をユーザに促すメッセージを報知情報Ｖ２３１としてユーザに提示している。即ち、報知情報Ｖ２２１が、ユーザの視点からの注視点を定位させる位置の指標としての役割を果たす。また、報知情報Ｖ２２３が、ユーザの視点からの注視点の位置を視認可能に当該ユーザに提示する役割を果たす。以上のようにして、情報処理装置１０は、報知情報Ｖ２２１、Ｖ２２３、及びＶ２３１をユーザに提示することで、対象領域Ｍ３１１が異なる方向から観測されるように当該ユーザを誘導している。
【０１４１】
このような情報処理装置１０による誘導に従いユーザが移動することで、状態Ｖ２１５として示すように、対象領域Ｍ３１１が、当該対象領域Ｍ３１１の法線を基準とした天頂角がより大きくなる位置から観測される状態となる。即ち、上記誘導に伴い、対象領域Ｍ３１１について検出される偏光の偏光度がより高くなり、偏光法線の算出結果の信頼度をより向上させることが可能となる。また、上述した誘導に従いユーザが移動することで、状態Ｖ２１５として示すように、状態Ｖ２１３において対象領域Ｍ３１１が観測される方向とは異なる方向から当該対象領域Ｍ３１１が観測されることとなる。即ち、上記誘導に伴う複数の方向からの対象領域Ｍ３１１の観測結果を利用することで、偏光法線の不定性を解消することも可能となる。
【０１４２】
なお、情報処理装置１０は、誘導に従いユーザの移動が完了すると、当該ユーザに対して誘導が完了したことを報知する報知情報Ｖ２３３を提示してもよい。また、誘導が完了した場合には、情報処理装置１０は、非誘導状態に遷移してもよい。
【０１４３】
なお、上述した報知情報の例はあくまで一例であり、偏光法線の信頼度の向上や偏光法線の不定性の解消を実現できるようにユーザを誘導することが可能であれば、報知情報の態様は必ずしも図１３及び図１４を参照して上述した例には限定されない。
【０１４４】
また、上述した例では、表示情報を報知情報としてユーザに提示する例について説明したが、上述の通りにユーザを誘導することが可能であれば報知情報の種別についても特に限定されない。具体的な一例として、報知情報が、音声や音響等として提示されてもよい。また、他の一例として、報知情報が、振動等により模擬された触覚や力覚（所謂、ハプティックス）として提示されてもよい。
【０１４５】
以上、図１３及び図１４を参照して、本実施形態に係る情報処理装置がユーザを誘導するために、所定の出力部を介して当該ユーザに報知する報知情報の一例について説明した。
【０１４６】
＜＜４．ハードウェア構成＞＞
続いて、図１５を参照しながら、前述した情報処理装置１０のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図１５は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【０１４７】
本実施形態に係る情報処理システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１４８】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメタ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメタ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図５に示す自己位置推定部１１０、デプス推定部１２０、法線推定部１３０、モデリング処理部１４０、及び出力制御部１５０は、ＣＰＵ９０１により構成され得る。
【０１４９】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
【０１５０】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１５１】
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。例えば、図５に示す表示部２１１は、出力装置９１７により構成され得る。
【０１５２】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。
【０１５３】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）又は電子機器等であってもよい。
【０１５４】
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
【０１５５】
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
【０１５６】
以上、本開示の実施形態に係る情報処理システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１５では図示しないが、情報処理システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
【０１５７】
なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
【０１５８】
＜＜５．むすび＞＞
以上説明したように、本実施形態に係る情報処理装置は、偏光センサにより取得された偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた偏光情報に基づき、実空間内の物体の面の少なくとも一部における法線を推定する。また、当該情報処理装置は、上記法線の推定結果に応じて、上記偏光センサの実空間内における位置が変化するように誘導する報知情報が報知されるように制御する（即ち、報知情報の出力を制御する）。具体的な一例として、情報処理装置は、上記面の法線の方向と、上記偏光センサから当該面に伸ばしたベクトルに対応する方向と、が成す角（即ち、上記法線を基準とした天頂角）がより大きくなるように誘導する報知情報が報知されるように制御する。
【０１５９】
以上のような制御により、例えば、実空間内の物体の面の少なくとも一部を対象領域として、偏光センサにより検出される偏光の偏光度がより向上する位置に当該偏光センサが移動するようにユーザを誘導することが可能となる。また、当該対象領域が互いに異なる複数の方向から観測されるように誘導することで、偏光法線の不定性を解消することも可能となる。即ち、本実施形態に係る情報処理システムに依れば、上述の通りユーザを誘導することで、実空間内の物体の認識に利用される情報をより好適な態様で取得することが可能となる。
【０１６０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１６１】
なお、上述した例では、主に、本開示に係る技術をＡＲやＶＲの実現に応用する場合の例に着目して説明したが、必ずしも当該技術の応用先を限定するものではない。即ち、上述したように、偏光センサ２３０により偏光情報がより好適な態様で取得可能となる誘導するような状況が求められれば、本開示に係る技術を応用することが可能である。また、上記では、入出力装置２０としてメガネ型のウェアラブルデバイスを適用する場合の一例について説明したが、上述した本実施形態に係るシステムの機能を実現することが可能であれば、入出力装置２０の構成は限定されない。具体的な一例として、入出力装置２０としてスマートフォン等のような携行可能に構成された端末装置が適用されてもよい。また、本開示に係る技術の応用先に応じて、入出力装置２０として適用される装置の構成が適宜変更されてもよい。
【０１６２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１６３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
偏光センサにより取得された偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた偏光情報に基づき、実空間内の物体の面の少なくとも一部における法線を推定する推定部と、
前記法線の推定結果に応じて、実空間内における位置の変更を誘導する報知情報の出力を制御する制御部と、
を備える、情報処理装置。
（２）
前記制御部は、
前記偏光センサの実空間内の位置の推定結果に応じた位置情報を取得し、
前記位置情報と、前記法線の推定結果と、に応じた前記報知情報が出力されるように制御する、
前記（１）に記載の情報処理装置。
（３）
前記報知情報は、前記偏光センサの検知範囲のうち少なくとも一部の範囲内に前記物体が位置する状態が維持され、かつ当該偏光センサの実空間内における位置が変化するように誘導する情報である、前記（１）または（２）に記載の情報処理装置。
（４）
前記報知情報は、前記偏光センサの光軸上に前記面が位置するように誘導する情報である、前記（３）に記載の情報処理装置。
（５）
前記報知情報は、前記面が異なる方向から観測されるように誘導する情報である、前記（１）または（２）に記載の情報処理装置。
（６）
前記報知情報は、前記誘導を行うための表示情報である、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記表示情報は、所定の視点からの注視点を前記面の少なくとも一部の領域に定位させるための指標となる情報を含む、前記（６）に記載の情報処理装置。
（８）
前記表示情報は、第１の表示情報と、前記第１の表示情報に対して正対するように誘導する第２の表示情報と、を含み、
前記制御部は、前記第１の表示情報を、前記法線の推定結果に応じた実空間内の方向を向くように、前記面に重畳させて提示する、
前記（６）に記載の情報処理装置。
（９）
前記制御部は、前記面の前記法線の方向と、前記偏光センサから当該面に伸ばしたベクトルに対応する方向と、が成す角がより大きくなるように誘導する前記報知情報が出力されるように制御する、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記制御部は、前記法線の推定結果の信頼度に応じて、前記報知情報の出力を制御する前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１１）
前記制御部は、前記信頼度がより高くなる方向への移動を誘導する前記報知情報の出力を制御する、前記（１０）に記載の情報処理装置。
（１２）
前記制御部は、前記信頼度が閾値以下の場合に、前記報知情報の出力を制御する、前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記制御部は、前記面の過去の観測結果に応じて、前記報知情報の出力を制御する、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１４）
前記制御部は、前記面に対する各方向のうち、過去に当該面の観測が行われていない方向への移動を誘導する前記報知情報が出力されるように制御する、前記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記面に対する各方向のうち、過去に当該面の観測が行われていない方向が存在する場合に、前記報知情報の出力を制御する、前記（１３）または（１４）に記載の情報処理装置。
（１６）
コンピュータが、
偏光センサにより取得された偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた偏光情報に基づき、実空間内の物体の面の少なくとも一部における法線を推定することと、
前記法線の推定結果に応じて、実空間内における位置の変更を誘導する報知情報の出力を制御することと、
を含む、情報処理方法。
（１７）
コンピュータに、
偏光センサにより取得された偏光方向が互いに異なる複数の偏光それぞれの検出結果に応じた偏光情報に基づき、実空間内の物体の面の少なくとも一部における法線を推定することと、
前記法線の推定結果に応じて、実空間内における位置の変更を誘導する報知情報の出力を制御することと、
を実行させるプログラムが記録された記録媒体。
【符号の説明】
【０１６４】
１        情報処理システム
１０      情報処理装置
１００    情報処理装置
１０９    法線推定部
１１０    自己位置推定部
１２０    デプス推定部
１３０    法線推定部
１４０    出力制御部
１４０    モデリング処理部
１５０    出力制御部
２０      入出力装置
２０１    デプスセンサ
２０１ａ  撮像部
２０１ｂ  撮像部
２０３ａ  撮像部
２０３ｂ  撮像部
２０７    操作部
２１０    デプスセンサ
２１１    表示部
２３０    偏光センサ
２９１    保持部
２９３ａ  レンズ
２９３ｂ  レンズ
【図１】
2019067323.tif 000003
【図２】
2019067323.tif 000004
【図３】
2019067323.tif 000005
【図４】
2019067323.tif 000006
【図５】
2019067323.tif 000007
【図６】
2019067323.tif 000008
【図７】
2019067323.tif 000009
【図８】
2019067323.tif 000010
【図９】
2019067323.tif 000011
【図１０】
2019067323.tif 000012
【図１１】
2019067323.tif 000013
【図１２】
2019067323.tif 000014
【図１３】
2019067323.tif 000015
【図１４】
2019067323.tif 000016
【図１５】
2019067323.tif 000017