(57)【要約】【課題】観測情報に従って生成された三次元モデルをより実物体に近づける技術を提供する。【解決手段】第１の三次元モデルに含まれる少なくとも一部の三次元モデルである第２の三次元モデルに、前記第２の三次元モデルの形状に応じた所定の形状を有する定型モデルを割り当てる制御部、を備える情報処理装置。【選択図】図１
2017203774.tif 000002
【特許請求の範囲】
【請求項１】
第１の三次元モデルに含まれる少なくとも一部の三次元モデルである第２の三次元モデルに、前記第２の三次元モデルの形状に応じた所定の形状を有する定型モデルを割り当てる制御部、
を備える情報処理装置。
【請求項２】
前記情報処理装置は、複数の前記定型モデルを記憶する記憶部を備え、
前記制御部は、前記記憶部に記憶された複数の前記定型モデルから、割り当てる前記定型モデルを選択する、請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、前記第２の三次元モデルと前記定型モデルとの類似度に応じて選択する、請求項２に記載の情報処理装置。
【請求項４】
前記類似度は、前記第２の三次元モデルに含まれる特徴点と前記定型モデルに含まれる頂点との距離により評価される、請求項３に記載の情報処理装置。
【請求項５】
前記類似度は、前記第２の三次元モデルに含まれる特徴点と前記定型モデルに含まれる頂点との法線の一致度により評価される、請求項３に記載の情報処理装置。
【請求項６】
前記類似度は、前記第２の三次元モデルと前記定型モデルとの重力方向の一致度により評価される、請求項３に記載の情報処理装置。
【請求項７】
前記制御部は、ユーザ操作に応じて選択する、請求項２に記載の情報処理装置。
【請求項８】
前記制御部は、割り当てられた前記定型モデルとの間で所定の関係を有する三次元モデルを前記第１の三次元モデルから削除する、請求項２に記載の情報処理装置。
【請求項９】
前記制御部は、前記第１の三次元モデルに含まれる割り当てられた前記定型モデルに対応する仮想オブジェクトを表示させるための表示制御情報を生成する、請求項１に記載の情報処理装置。
【請求項１０】
前記表示制御情報は、前記第１の三次元モデルのうち前記定型モデルが未割り当ての部分に応じた前記仮想オブジェクトを表示させるための情報を含む、請求項９に記載の情報処理装置。
【請求項１１】
前記表示制御情報は、前記第１の三次元モデルを詳細化するための追加的な観測をユーザに促す情報を表示させるための情報含む、請求項９に記載の情報処理装置。
【請求項１２】
前記第１の三次元モデルは、ユーザの周囲の実空間の三次元モデルであり、
前記表示制御情報は、前記第１の三次元モデルに含まれる割り当てられた前記定型モデルへの接近防止をユーザに促す仮想オブジェクトを表示させるための情報を含む、請求項９に記載の情報処理装置。
【請求項１３】
前記第１の三次元モデルは、ユーザの周囲の実空間の三次元モデルであり、
前記表示制御情報は、前記第１の三次元モデルに含まれる割り当てられた前記定型モデルへの接近をユーザに警告するための情報を表示させるための情報を含む、請求項９に記載の情報処理装置。
【請求項１４】
前記定型モデルは、複数の頂点の相対座標、及び前記複数の頂点から成る面を示す情報を含む、請求項１に記載の情報処理装置。
【請求項１５】
前記定型モデルは、前記面のテクスチャを示す情報、材質を示す情報、前記面の法線方向を示す情報、又は接地面を示す情報の少なくともいずれかを含む、請求項１４に記載の情報処理装置。
【請求項１６】
前記三次元モデルは、点群である、請求項１に記載の情報処理装置。
【請求項１７】
前記三次元モデルは、ポリゴンである、請求項１に記載の情報処理装置。
【請求項１８】
前記定型モデルは、ポリゴンである、請求項１に記載の情報処理装置。
【請求項１９】
第１の三次元モデルに含まれる少なくとも一部の三次元モデルである第２の三次元モデルに、前記第２の三次元モデルの形状に応じた所定の形状を有する定型モデルをプロセッサにより割り当てること、
を含む情報処理方法。
【請求項２０】
コンピュータを、
第１の三次元モデルに含まれる少なくとも一部の三次元モデルである第２の三次元モデルに、前記第２の三次元モデルの形状に応じた所定の形状を有する定型モデルを割り当てる制御部、
として機能させるためのプログラムが記憶された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法及び記憶媒体に関する。
【背景技術】
【０００２】
近年、実世界をカメラ等のセンサを用いて観測して、実物体の三次元モデルを生成する技術が注目されている。生成された三次元モデルは、ＣＧ（Computer  Graphic）又は３Ｄプリンタ等の多様なアプリケーションにおいて利用され得る。このようなアプリケーションからの要請もあり、高精度の三次元モデルを生成するための技術が開発されている。【０００３】
例えば、下記特許文献１では、立体的な画像同士を自然に合成するために、合成対象の画像からカメラの撮影位置及び方向を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３０４２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、典型的な三次元モデル生成技術では、観測情報に従って三次元モデルが生成されるに過ぎず、観測情報に含まれる誤差も生成される三次元モデルに反映されていた。そのため、生成された三次元モデルが実物体と異なるものになる場合もあった。そこで、三次元モデルをより実物体に近づける技術が提供されることが望ましい。
【課題を解決するための手段】
【０００６】
本開示によれば、第１の三次元モデルに含まれる少なくとも一部の三次元モデルである第２の三次元モデルに、前記第２の三次元モデルの形状に応じた所定の形状を有する定型モデルを割り当てる制御部、を備える情報処理装置が提供される。【０００７】
また、本開示によれば、第１の三次元モデルに含まれる少なくとも一部の三次元モデルである第２の三次元モデルに、前記第２の三次元モデルの形状に応じた所定の形状を有する定型モデルをプロセッサにより割り当てること、を含む情報処理方法が提供される。【０００８】
また、本開示によれば、コンピュータを、第１の三次元モデルに含まれる少なくとも一部の三次元モデルである第２の三次元モデルに、前記第２の三次元モデルの形状に応じた所定の形状を有する定型モデルを割り当てる制御部、として機能させるためのプログラムが記憶された記憶媒体が提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、観測情報に従って生成された三次元モデルをより実物体に近づける技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係るシステムの概略的な構成の一例を示す図である。
【図２】典型的な三次元モデル生成技術の問題点を説明するための図である。
【図３】典型的な三次元モデル生成技術の問題点を説明するための図である。
【図４】典型的な三次元モデル生成技術の問題点を説明するための図である。
【図５】本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。
【図６】本実施形態に係る端末装置の論理的な構成の一例を示すブロック図である。
【図７】本実施形態に係る提案技術の概要を説明するための図である。
【図８】本実施形態に係る提案技術の概要を説明するための図である。
【図９】本実施形態に係るシステムにおいて実行される処理の全体像を説明するための図である。
【図１０】本実施形態に係る定型モデルの一例を示す図である。
【図１１】本実施形態に係る定型モデルの一例を示す図である。
【図１２】本実施形態に係る定型モデルの割り当てを説明するための図である。
【図１３】本実施形態に係る定型モデルの割り当てを説明するための図である。
【図１４】本実施形態に係るＵＩの一例を説明するための図である。
【図１５】本実施形態に係るＵＩの一例を説明するための図である。
【図１６】本実施形態に係るＵＩの一例を説明するための図である。
【図１７】本実施形態に係るＵＩの一例を説明するための図である。
【図１８】本実施形態に係るＵＩの一例を説明するための図である。
【図１９】本実施形態に係るＵＩの一例を説明するための図である。
【図２０】本実施形態に係るシステムにおいて実行される処理の流れの一例を示すフローチャートである。
【図２１】本実施形態に係るＵＩの一例を説明するための図である。
【図２２】本実施形態に係るＵＩの一例を説明するための図である。
【図２３】本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．はじめに
１．１．システムの概要
１．２．関連技術
２．構成例
２．１．情報処理装置の構成例
２．２．端末装置の構成例
３．技術的特徴
３．１．提案技術の概要
３．２．定型モデルの登録処理
３．３．三次元モデルの生成処理
３．４．定型モデルの割り当て処理
３．５．出力制御処理
３．６．処理の流れ
４．アプリケーション例
５．ハードウェア構成例
６．まとめ
【００１３】
＜＜１．はじめに＞＞
＜１．１．システムの概要＞
まず、図１を参照して、本開示の一実施形態に係るシステムの概要を説明する。
【００１４】
図１は、本実施形態に係るシステムの概略的な構成の一例を示す図である。図１に示すように、本実施形態に係るシステム１は、情報処理装置１００及び端末装置２００を含む。図１に示した例では、情報処理装置１００はサーバであり、端末装置２００はスマートフォンである。
【００１５】
図１に示すように、ユーザは、スマートフォン２００を手に持ってディスプレイ２２０を見ており、ディスプレイ２２０の裏側に配置されたカメラ２１０がテーブル１１に向けられている。テーブル１１には、ペットボトル１２が置かれている。
【００１６】
一例として、システム１は、情報処理装置１００と端末装置２００との協働により、拡張現実（ＡＲ：Augmented  Reality）技術に基づく表示処理を行うものとする。ＡＲ技術とは、実空間に付加的な情報を重畳してユーザに提示する技術である。ＡＲ技術においてユーザに提示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想オブジェクトを用いて可視化される。仮想オブジェクトは、関連付けられる実物体の位置に応じてＡＲ空間内に配置されるが、ＡＲ空間内で移動、衝突、又は変形といった動作を行うことも可能である。
【００１７】
図１に示した例では、ディスプレイ２２０に、実物体であるテーブル１１及びペットボトル１２のスルー画像に、仮想オブジェクト１３が重畳されたＵＩ１０が表示されている。なお、実空間を実時間で撮像した撮像画像をスルー画像とも称する。例えば、仮想オブジェクト１３は、実物体であるテーブル１１及びペットボトル１２に衝突すると跳ね返る。
【００１８】
このような表現を実現するための事前準備として、まず、システム１は、実空間の三次元モデルを生成する。システム１は、三次元モデルを参照することで、仮想オブジェクトを適切な位置に表示したり、実物体により隠される仮想オブジェクトの描画を無効化するオクルージョン表現を実施したり、仮想オブジェクトと実物体との衝突等のインタラクションを表現したりすることが可能となる。
【００１９】
このような表現を適切に行うためには、的確な三次元モデルの生成が重要である。しかしながら、典型的な三次元モデル生成技術では、的確な三次元モデルを生成することが困難な場合があった。
【００２０】
＜１．２．関連技術＞
以下、図２〜図４を参照して、典型的な三次元モデル生成技術の問題点について説明する。図２〜図４は、典型的な三次元モデル生成技術の問題点を説明するための図である。
【００２１】
実空間を三次元モデリングする技術は、多様にある。そのひとつに、様々な視点からカメラ又は深度センサ等により得られた複数の観測情報を統合することで、三次元モデルを生成する技術がある。観測情報は、Ｐｏｓｅ推定による推定結果、ＳＬＡＭ（Simultaneous  Localization  and  Mapping）による観測装置の位置及び姿勢の推定結果、又は深度センサ若しくはステレオマッチングにより得られた各画像の深度情報等を含み得る。出力される三次元モデルは、例えば特徴点の集合から成る点群（Point  Cloud）又は複数の特徴点から成るポリゴンの集合（Polygon  Model）等により表現される。三次元モデルは、少なくとも特徴点の座標情報を含み、さらに特徴点間を繋いで形成される面を示す情報等も含み得る。
【００２２】
三次元モデルの品質は、観測装置の位置及び姿勢、並びに深度情報の推定精度に大きく依存する。この点、図２を参照して詳しく説明する。図２に示すように、観測装置２１により実物体２２が観測されたものとする。観測装置２１の位置が位置２３にあったと誤って推定された場合、生成される三次元モデル２４は、実物体２２とは異なるものとなってしまう。
【００２３】
そのため、複数の観測情報を平均化等してから利用することが、観測誤差を軽減するために一般的に行われている。しかし、空間的な位置ずれを平均化してしまうことで、物体境界などのエッジ部分でモデルが鈍ってしまう。この点、図３を参照して詳しく説明する。図３に示すように、ある物体のエッジ部分を観測した複数の観測情報により、それぞれ三次元モデル２５Ａ〜２５Ｄが生成されるものとする。複数の観測情報が平均化される場合、エッジ部分が鈍って表現される三次元モデル２５Ｅが生成されてしまうこととなる。
【００２４】
また、平坦領域などを安定した平面として表現することは困難であり、緩やかな湾曲又は凹凸が残ってしまいがちであった。処理の効率面からみても、平面又は曲面などの定常的な形状部分を非定常な形状部分と同様の方法で処理することは望ましくない。この点、図４を参照して詳しく説明する。図４に示すように、平面２６が観測対象であるものとする。観測装置が位置２７Ａ〜２７Ｈにある場合の各観測情報を統合することで、平面２６をモデリングすることは可能である。しかしながら、観測誤差に起因する凹凸が生じ得る上に、観測情報ごとのモデリングのための計算が要されていた。
【００２５】
そこで、上記事情を一着眼点にして本開示の一実施形態に係るシステム１を提供するに至った。本実施形態に係るシステム１は、生成された三次元モデルの少なくとも一部に定型モデルを割り当てることで、三次元モデルをより実物体に近づけることが可能である。
【００２６】
＜＜２．構成例＞＞
以下、図５及び図６を参照して、情報処理装置１００及び端末装置２００の構成例を説明する。
【００２７】
＜２．１．情報処理装置の構成例＞
図５は、本実施形態に係る情報処理装置１００の論理的な構成の一例を示すブロック図である。図５に示すように、本実施形態に係る情報処理装置１００は、通信部１１０、記憶部１２０、及び制御部１３０を含む。
【００２８】
（１）通信部１１０
通信部１１０は、有線／無線により端末装置２００との間でデータの送受信を行うための通信モジュールである。通信部１１０は、例えばＬＡＮ（Local  Area  Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は赤外線通信等の任意の通信方式に準拠した通信を行い得る。
【００２９】
（２）記憶部１２０
記憶部１２０は、情報処理装置１００の動作のためのプログラム及び様々なデータを一時的に又は恒久的に記憶する。
【００３０】
（３）制御部１３０
制御部１３０は、ＣＰＵ（Central  Processing  Unit）又はＤＳＰ（Digital  Signal  Processor）などに相当し、情報処理装置１００の様々な機能を提供するための処理を行う。図５に示すように、制御部１３０は、登録部１３１、取得部１３３、割当部１３５及び出力制御部１３７を含む。なお、制御部１３０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部１３０は、これらの構成要素の動作以外の動作も行い得る。これらの構成要素の動作については、後に詳しく説明する。
【００３１】
＜２．２．端末装置の構成例＞
図６は、本実施形態に係る端末装置２００の論理的な構成の一例を示すブロック図である。図６に示すように、本実施形態に係る端末装置２００は、入力部２１０、出力部２２０、通信部２３０、記憶部２４０、及び制御部２５０を含む。
【００３２】
（１）入力部２１０
入力部２１０は、情報の入力を受け付ける。例えば、入力部２１０は、ユーザからの情報の入力を受け付ける。他にも、入力部２１０は、画像センサ及び深度センサ等の、実空間の三次元形状に関する情報を検出するセンサを含む。また、入力部２１０は、加速度センサ、ジャイロセンサ、及び地磁気センサ等の、端末装置２００の姿勢に関する情報を検出するセンサを含む。入力部２１０は、入力された情報を出力部２２０に出力する。
【００３３】
（２）出力部２２０
出力部２２０は、情報の出力を行う。例えば、出力部２２０は、画像、音声、及び／又は振動等により情報を出力する。出力部２２０は、制御部２５０による制御に基づいて情報を出力する。
【００３４】
（３）通信部２３０
通信部２３０は、有線／無線により情報処理装置１００との間でデータの送受信を行うための通信モジュールである。通信部２３０は、例えばＬＡＮ、無線ＬＡＮ、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ又は赤外線通信等の任意の通信方式に準拠した通信を行い得る。
【００３５】
（４）記憶部２４０
記憶部２４０は、端末装置２００の動作のためのプログラム及び様々なデータを一時的に又は恒久的に記憶する。
【００３６】
（５）制御部２５０
制御部２５０は、ＣＰＵ又はＤＳＰなどに相当し、端末装置２００の様々な機能を提供するための処理を行う。図６に示すように、制御部２５０は、推定部２５１及び生成部２５３を含む。なお、制御部２５０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部２５０は、これらの構成要素の動作以外の動作も行い得る。これらの構成要素の動作については、後に詳しく説明する。
【００３７】
＜＜３．技術的特徴＞＞
＜３．１．提案技術の概要＞
まず、図７及び図８を参照して、本実施形態に係る提案技術の概要を説明する。図７及び図８は、本実施形態に係る提案技術の概要を説明するための図である。
【００３８】
図７に示すように、まず、システム１は、実物体であるペットボトル１２から三次元モデル１４を生成する。生成方法は任意であり、例えば上述した三次元モデリングのための典型的な技術が採用され得る。一例として、三次元モデル１４は点群であるものとする。そして、システム１は、生成した三次元モデル１４から三次元モデル１５を生成（即ち、更新）する。
【００３９】
例えば、システム１は、生成した三次元モデル１４に、事前に準備された類似する定型モデルを割り当てることで、三次元モデル１５を生成する。定型モデルとは、予め定められた形状を有する三次元モデルである。定型モデルの割り当てについて、図８を参照して詳しく説明する。図８に示すように、観測情報から点群１６Ａ及び１６Ｂが生成されたものとする。例えば、システム１は、点群１６Ａに、類似する平面モデル１７Ａを割り当てる。また、システム１は、点群１６Ｂに、類似する球モデル１７Ｂを割り当てる。図７に示した例では、システム１は、生成された点群１４に、円柱モデル１５Ａ、四角錐モデル１５Ｂ、直方体モデル１５Ｃ、１５Ｄ及び１５Ｅを割り当てることで、三次元モデル１５を生成する。このような割り当てにより、三次元情報を有する特徴点の集合から成る三次元モデルが、ひとつの定型モデルにより表現されることとなり、三次元モデルの情報量を縮退させることが可能である。三次元モデルが点群ではなくポリゴンで生成された場合も、このような割り当てにより、ポリゴン数を縮退させることが可能である。以上説明したように、システム１は、定型モデルを割り当てることで、膨大な情報量から成る三次元モデルを、情報量を縮退させて効率的に表現することが可能となる。
【００４０】
提案技術によれば、エッジ部分及び平坦領域を含む実物体に、三次元幾何構造を保ちながらスムーズな表面を有する三次元モデルを生成することが可能となる。具体的には、定型モデルの割り当てにより、例えば観測誤差に起因する緩やかな湾曲又は凹凸を削減することが可能である。即ち、三次元モデルをより実物体に近づけることが可能となる。さらに、システム１は、例えば実物体と仮想オブジェクトとのインタラクションを適切に表現することが可能となる。
【００４１】
また、提案技術によれば、定型モデルの割り当てにより、平面又は曲面などの定常的な形状部分を定型モデルで表現可能であることから、処理効率を向上させることが可能である。
【００４２】
また、提案技術は、未観測領域についての三次元モデルの予測を行うことも可能である。三次元モデルの予測結果は、観測情報の信頼性判定に利用されてもよいし、そのまま出力されてもよい。
【００４３】
なお、ここではＡＲ技術を一例に挙げて説明するが、本技術はかかる例に限定されない。例えば、本技術は、ＶＲ（Virtual  Reality）技術又はＭＲ（Mixed  Reality）技術等の三次元モデルを利用する技術においても、同様に適用可能である。
【００４４】
以上、提案技術の概要を説明した。
【００４５】
本実施形態に係るシステム１は、提案技術を実現するために定型モデルの登録処理、三次元モデルの生成処理、定型モデルの割り当て処理、及び出力制御処理の４種類の大別される処理を行う。以下では、図９を参照しながら、これらの４種類の処理について説明する。
【００４６】
図９は、本実施形態に係るシステム１において実行される処理の全体像を説明するための図である。処理ブロック１４０は、システム１により実行される処理を示している。システム１への入力は、ユーザが端末装置２００を操作することで、又は例えばインターネット上の外部装置と情報処理装置１００との通信により、行われ得る。また、システム１からの出力は、端末装置２００からの出力、又は情報処理装置１００からの情報送信により行われ得る。
【００４７】
＜３．２．定型モデルの登録処理＞
システム１（例えば、登録部１３１）は、入力された定型モデル（符号１５１）を登録する（符号１４１）。そして、システム１は、登録された複数の定型モデルを定型モデルＤＢ（例えば、記憶部１２０）に蓄積する（符号１４２）。
【００４８】
定型モデルとは、予め定められた形状を有する三次元モデルである。具体的には、定型モデルは、複数の頂点の相対座標、及び複数の頂点から成る面を示す情報を含む。さらに、定型モデルは、追加的な情報として、面のテクスチャを示す情報、材質を示す情報、面の法線を示す情報、又は接地面若しくは重力方向を示す情報の少なくともいずれかを含んでいてもよい。これらの追加的な情報により、システム１は、より実空間に沿った三次元モデルを生成することが可能となる。定型モデルは、ポリゴンであってもよい。定型モデルが有し得る形状は多様に考えられる。その一例を、図１０に示した。
【００４９】
図１０は、本実施形態に係る定型モデルの一例を示す図である。図１０に示すように、定型モデルは、直方体１６１、円柱１６２、円錐１６３、ドーナツ型１６４、球１６５、及び平面１６６等の多様な形状が登録され得る。
【００５０】
定型モデルは、図１０に示したような簡易な形状の他、複雑な形状も取り得る。例えば、システム１は、モデリング対象に応じた定型モデルを登録し得る。例えば、モデリング対象が屋内であれば、システム１は、屋内に存在する可能性が高い実物体の形状を有する定型モデルを登録する。その一例を、図１１に示した。
【００５１】
図１１は、本実施形態に係る定型モデルの一例を示す図である。図１１に示すように、定型モデルは、コンピュータ１７１及び電話機１７２等の多様な形状が登録され得る。他にも、定型モデルは、例えばモデリング対象が屋外であれば、車、看板及び標識等の多様な形状が登録され得る。
【００５２】
システム１は、モデリングの精度に応じて異なる定型モデルを登録してもよい。
【００５３】
以上、定型モデルの登録処理について説明した。定型モデルの登録処理は、事前に行われる処理である。
【００５４】
ユーザは、定型モデルの登録処理の後、実空間の未観測領域に端末装置２００を向けて観測（例えば、撮像画像及び深度情報の取得）を行う。システム１は、この観測に並行して又はこの観測後、以降に説明する三次元モデルの生成処理、定型モデルの割り当て処理、及び出力制御処理を行う。
【００５５】
＜３．３．三次元モデルの生成処理＞
システム１（例えば、推定部２５１及び生成部２５３）は、入力情報（符号１５３）に基づいて端末装置２００の位置及び姿勢並びに端末装置２００と周囲の実物体との関係（例えば、深度）を推定して、三次元モデルを生成する（符号１４３）。入力情報は、例えば端末装置２００により観測された撮像画像及び／又は深度情報を含む。三次元モデルの生成は、典型的には端末装置２００において行われる。情報処理装置１００（例えば、取得部１３３）は、端末装置２００により生成された三次元モデルを取得して、取得した三次元モデルを三次元モデルＤＢ（例えば、記憶部１２０）に蓄積する（符号１４４）。この蓄積は、例えば端末装置２００により実空間の未観測領域が新たに観測された場合に行われる。即ち、蓄積は、生成された三次元モデルの拡張（例えば、結合）を意味する。三次元モデルＤＢに蓄積された三次元モデルを、以下では生成三次元モデルとも称する。
【００５６】
システム１は、多様な技術を用いて三次元モデルを生成し得る。例えば、カメラの位置及び姿勢とカメラの画像に映る特徴点の位置とを同時に推定可能なＳＬＡＭが採用され得る。システム１は、ＳＬＡＭを採用する場合、端末装置２００の周囲の実空間の環境マップ（三次元モデルに相当）と端末装置２００（とりわけ、画像センサ）の位置及び姿勢を示す姿勢情報とを同時に取得可能である。
【００５７】
単眼カメラを用いたＳＬＡＭ技術の基本的な原理は、「Andrew  J.  Davison,  “Real-Time  Simultaneous  Localization  and  Mapping  with  a  Single  Camera”,  Proceedings  of  the  9th  IEEE  International  Conference  on  Computer  Vision  Volume  2,  2003,  pp.1403-1410」において説明されている。なお、カメラ画像を用いて視覚的に位置を推定するＳＬＡＭ技術は、特にＶＳＬＡＭ（visual  SLAM）とも称される。ＳＬＡＭ技術においては、環境マップとカメラ画像とを用いて、カメラの位置及び姿勢が推定される。システム１は、例えばＳＬＡＭ技術を用いる場合、環境マップと物体に属する特徴点の三次元位置とのマッチングをとることにより、当該物体の形状を構成する三次元モデルを実物体に対して高精度に位置合わせをすることができる。
【００５８】
他にも、システム１は、撮像画像に基づくＰｏｓｅ推定、及び撮像画像に基づく深度推定により又は入力された深度情報の読み込みにより、三次元モデルを生成してもよい。
【００５９】
また、システム１は、既知マーカーの利用、ＩＣＰ（Iterative  Closest  Point）、Photo  Consistency最適化などの姿勢推定技術により、端末装置２００の姿勢情報を取得してもよい。また、システム１は、加速度センサ、角速度（ジャイロ）センサ、又は地磁気センサにより検知された情報に基づいて、姿勢情報を取得してもよい。
【００６０】
なお、生成される三次元モデルは、点群であってもよいし、ポリゴンであってもよい。
【００６１】
＜３．４．定型モデルの割り当て処理＞
システム１（例えば、割当部１３５）は、生成三次元モデル（即ち、第１の三次元モデル）に含まれる少なくとも一部の三次元モデル（即ち、第２の三次元モデル）に、当該一部の三次元モデルの形状に応じた所定の形状を有する定型モデルを割り当てる。例えば、システム１は、生成三次元モデルのうち未割り当ての三次元モデルに対して逐次的に定型モデルを割り当てる。ここで、割り当てとは置き換えを意味し、例えばシステム１は、割り当てた定型モデルに包含される特徴点を削除する。システム１は、定型モデルを割り当てることで、膨大な情報量から成る生成三次元モデルを、情報量を縮退させて効率的に表現することが可能となる。
【００６２】
具体的には、システム１は、定型モデルＤＢに記憶した複数の定型モデルから、割り当てる定型モデルを選択する（符号１４５）。そして、システム１は、生成三次元モデルに選択した定型モデルを割り当てて（符号１４６）、割り当て結果を三次元モデルＤＢにフィードバックすることで、三次元モデルＤＢに蓄積された生成三次元モデルを更新する。
【００６３】
割り当てる定型モデルの選択は、多様な基準により行われ得る。例えば、システム１は、割り当て対象の一部の三次元モデルと定型モデルとの類似度に応じて選択してもよい。これにより、実物体の形状に沿った定型モデルを割り当てることが可能となる。類似度の評価及び割り当ての際には、定型モデルは任意に拡縮及び回転される。
【００６４】
類似度は、多様な方法により評価され得る。例えば、類似度は、三次元モデルに含まれる特徴点と定型モデルに含まれる頂点との距離により評価されてもよい。例えば、上記距離の和は次式により表される。
【００６５】
【数１】
2017203774.tif 000003
【００６６】
ここで、ｉは、定型モデルのインデックスである。ｊは、三次元モデルに含まれる特徴点と定型モデルに含まれる頂点との組み合わせのインデックスであり、Ｎは組み合わせの数である。例えば、システム１は、Ｄｉを最小化するｉを探索することにより、類似する定型モデルを選択する。
【００６７】
また、類似度の評価に、法線が考慮されてもよい。例えば、類似度は、三次元モデルに含まれる特徴点と定型モデルに含まれる頂点との法線の一致度により評価されてもよい。例えば、法線の一致度は、次式により表される。
【００６８】
【数２】
2017203774.tif 000004
【００６９】
ここで、ａは、三次元モデルに含まれる特徴点の法線の方向と定型モデルに含まれる頂点の法線の方向とが一致するほど値が小さくなる関数である。例えば、ａは、内積の二乗値を定数から減算した値であってもよい（例えば、ａ＝（１−（内積）２））。例えば、システム１は、Ａｉを最小化するｉを探索することにより、類似する定型モデルを選択する。
【００７０】
類似度の評価に、距離と法線との双方が考慮されてもよい。その場合、評価は次式により行われ得る。
【００７１】
【数３】
2017203774.tif 000005
【００７２】
ここで、ｗ０及びｗ１は、重みである。例えば、システム１は、Ｆｉを最小化するｉを探索することにより、類似する定型モデルを選択する。
【００７３】
また、類似度の評価に、重力方向が考慮されてもよい。例えば、類似度は、三次元モデルと定型モデルとの重力方向の一致度により評価されてもよい。例えば、システム１は、三次元モデルの重力方向（例えば、実空間の重力方向）と定型モデルの重力方向又は接地面が示す重力方向とが一致又は略一致するように、定型モデルを割り当てる。これにより、システム１は、例えば電話機の底面をテーブルの天面に接触させるような、自然な割り当てを行うことが可能となる。
【００７４】
システム１は、定型モデルを割り当て後、割り当てられた定型モデルとの間で所定の関係を有する三次元モデルを生成三次元モデルから削除する。例えば、システム１は、割り当てた定型モデルの周辺の特徴点を削除する。この点、図１２及び図１３を参照して詳しく説明する。
【００７５】
図１２は、本実施形態に係る定型モデルの割り当てを説明するための図である。図１２は、上記所定の関係が距離に関する例を示している。図１２に示すように、システム１は、三次元モデルの生成処理において、三次元モデル１８１を生成したものとする。次いで、システム１は、三次元モデル１８１に類似する直方体の定型モデル１８２を割り当て、定型モデル１８２に含まれる三次元モデル１８１の特徴点を削除する。この場合、定型モデル１８２に含まれない特徴点１８３は、残ることとなる。そして、システム１は、定型モデル１８２から所定距離内にある特徴点１８３を削除する。このような処理により、システム１は、定型モデルが割り当てられなかった特徴点を削除することが可能となる。このような特徴点は、典型的には観測誤差により生じ得るところ、システム１は、観測誤差に起因する三次元モデルの誤り（以下、ノイズとも称する）を訂正することが可能である。
【００７６】
図１３は、本実施形態に係る定型モデルの割り当てを説明するための図である。図１３は、上記所定の関係が距離及び法線に関する例を示している。図１３に示すように、システム１は、平面の定型モデル１８４を割り当て、定型モデル１８４に含まれない特徴点１８６Ａ及び１８６Ｂが残ったものとする。そして、システム１は、定型モデル１８４の法線１８５の方向と特徴点１８６Ａの法線１８７Ａの方向とが一致又は略一致するので、特徴点１８６Ａを削除する。一方、システム１は、定型モデル１８４の法線１８５の方向と特徴点１８６Ｂの法線１８７Ｂの方向とが大幅に異なるので、特徴点１８６Ｂを削除せずに残す。この後、特徴点１８６Ｂは、法線の方向が一致又は略一致する別の平面の定型モデルが割り当てられ得る。このような処理により、システム１は、別の定型モデルが割り当てられ得る特徴点を、誤って削除することを防止することが可能である。
【００７７】
割り当ては、任意のタイミングで実施され得る。例えば、割り当ては、ユーザ指示、未割り当ての特徴点の数、又は観測の経過時間若しくは移動距離に応じて実施される。また、割り当ては自動的に行われてもよいし、ユーザによる割り当て操作（符号１５２）に応じて行われてもよい。ユーザによる割り当て操作は、割り当てる定型モデルの選択、拡縮、回転、及び割り当て位置の指定を含む。以下、図１４〜図１６を参照して、割り当てがユーザ操作に応じて行われる場合の端末装置２００に表示されるＵＩの一例を説明する。なお、図１４から図１６にかけて、ＵＩが遷移するものとする。
【００７８】
図１４は、本実施形態に係るＵＩの一例を説明するための図である。ＵＩ３１０は、スルー画像３１１及び定型モデル選択ウィンドウ３１２を含む。スルー画像３１１として、テーブル３１３が表示されている。また、定型モデル選択ウィンドウには、割り当て候補の定型モデルとして、直方体、平面及び球の定型モデルが表示されている。この割り当て候補は、上述した類似度が高い定型モデルであってもよい。ＵＩ３１０では明示的に表示されていないが、テーブル３１３に対応する三次元モデルが、三次元モデルの生成処理により生成され、端末装置２００の姿勢情報に基づいてスルー画像に含まれるテーブル３１３とのマッチングがとられているものとする。
【００７９】
図１５は、本実施形態に係るＵＩの一例を説明するための図である。ＵＩ３２０は、ユーザによる割り当て操作中のＵＩであって、ＵＩ３１０の後に表示されるＵＩである。図１５に示すように、ユーザは、定型モデル選択ウィンドウ３２２において選択した定型モデルを、スルー画像３２１に含まれる実物体にドラッグアンドドロップすることで、定型モデルの割り当てを行う。図１５に示した例では、ユーザは、テーブル３２３の天面に平面の定型モデル３２４をドラッグアンドドロップしている。システム１は、本操作に基づき、テーブル３２３の天面に対応する三次元モデルに、ドラッグアンドドロップされた平面の定型モデル３５４を割り当てる。
【００８０】
図１６は、本実施形態に係るＵＩの一例を説明するための図である。ＵＩ３３０は、ユーザによる割り当て操作中のＵＩであって、ＵＩ３２０の後に表示されるＵＩである。図１６に示すように、ユーザは、定型モデル選択ウィンドウ３３２からスルー画像３３１にドラッグアンドドロップした定型モデル３３４を、割り当て対象の実物体であるテーブル３３３の天面の形状に応じて縮小する。システム１は、本操作に基づき、割り当てた定型モデルを縮小する。ユーザは、拡縮の他にも、角度の変更等を行ってもよい。
【００８１】
ここで、未割り当ての三次元モデルのなかに、定型モデルを割り当てることが困難な領域が存在することも想定される。その場合、システム１は、当該領域を包含する定型モデルを割り当てた上で、当該定型モデルにＵｎｋｎｏｗｎフラグを付与する。この場合、当該定型モデルの割り当てに伴う特徴点の削除は実施されなくてもよい。そして、例えば追加的な観測に伴い、Ｕｎｋｎｏｗｎフラグが付与された定型モデルに代わり新たな定型モデルが割り当てられてもよい。
【００８２】
その他、Ｕｎｋｎｏｗｎフラグが付与された定型モデルすらも割り当てられない見未割り当ての三次元モデルに関しては、ノイズとして削除されてもよい。例えば、空間に点在する特徴点等がノイズとして削除され得る。
【００８３】
＜３．５．出力制御処理＞
システム１（例えば、出力制御部１３７及び出力部２２０）は、情報を出力する。
【００８４】
例えば、システム１（例えば、出力制御部１３７）は、生成三次元モデルの表面を推定してポリゴンを生成する（符号１４７）。ここで、定型モデルはすでに表面を有しているので、システム１は、例えば三次元モデルに含まれる未割り当ての特徴点を繋いだ表面を推定する。そして、システム１（例えば、出力部２２０）は、生成三次元モデルを出力する（符号１５４）。生成三次元モデルは、画像出力されてもよいし、データとして出力されてもよい。
【００８５】
また、システム１（例えば、出力制御部１３７）は、三次元モデルＤＢに蓄積／更新された生成三次元モデルに基づくＵＩを表示させるための表示制御情報を生成する（符号１４８）。そして、システム１（例えば、出力部２２０）は、生成された表示制御情報に基づいてＵＩを出力する（符号１５５）。
【００８６】
生成三次元モデルに基づくＵＩとして、システム１は、生成三次元モデルに含まれる割り当てられた定型モデルに対応する仮想オブジェクトを表示してもよい。例えば、仮想オブジェクトが定型モデルの形状に類似する場合、システム１は、割り当てられた定型モデルに対応する実空間の領域の形状に類似する形状の仮想オブジェクトを表示することが可能となる。
【００８７】
ここで、仮想オブジェクトの表示の際には、端末装置２００の姿勢情報が加味される。例えば、ＡＲ表示処理においては、システム１は、端末装置２００の姿勢情報に基づいて実空間と三次元モデルとのマッチングをとり、スルー画像における適切な位置及び姿勢で仮想オブジェクトを表示する。ＶＲ及びＭＲに関しても同様である。
【００８８】
生成三次元モデルに基づくＵＩとして、システム１は、生成三次元モデルのうち定型モデルが未割り当ての部分に応じた仮想オブジェクトを表示してもよい。例えば、システム１は、Ｕｎｋｎｏｗｎフラグが付与された定型モデルを示す仮想オブジェクトを表示してもよい。また、システム１は、Ｕｎｋｎｏｗｎフラグが付与された定型モデルとの関係で他の仮想オブジェクトの表示を制御してもよい。具体的には、システム１は、Ｕｎｋｎｏｗｎフラグを付与された定型モデルより奥側に存在する仮想オブジェクトに関しては、オクルージョン表現において描画を無効化するのではなく、透過処理を行ってもよい。
【００８９】
生成三次元モデルに基づくＵＩとして、システム１は、生成三次元モデルを詳細化するための追加的な観測をユーザに促す情報を表示してもよい。例えば、システム１は、Ｕｎｋｎｏｗｎフラグが付与された定型モデルを示す仮想オブジェクトを表示することで、追加的な観測をユーザに促してもよい。未割り当て部分は、典型的には観測が十分ではない、又は実物体の形状が複雑であることに起因して生じ得るためである。他にも、システム１は、端末装置２００の位置及び姿勢を具体的に指示する情報を表示してもよい。
【００９０】
生成三次元モデルに基づくＵＩは、例えばＡＲ、ＶＲ又はＭＲ表示を含むＵＩであってもよい。以下では、図１７〜図１９を参照してＵＩの一例を説明する。
【００９１】
図１７は、本実施形態に係るＵＩの一例を説明するための図である。ＵＩ３４１は、実空間のスルー画像を示すＵＩである。ＵＩ３４２は、スルー画像に、生成三次元モデルにおける割り当てられた定型モデルに対応する仮想オブジェクトを、重畳表示させたＵＩである。例えば、テーブル上のキーボード３４３Ａに直方体の仮想オブジェクト３４４Ａが重畳され、ＰＣの筐体３４３Ｂに直方体の仮想オブジェクト３４４Ｂが重畳され、コップ３４３Ｃに円柱の仮想オブジェクト３４４Ｃが重畳されている。このようなＵＩにより、ユーザは、三次元モデルの生成状況及び割り当て状況を認識することが可能となる。
【００９２】
図１８は、本実施形態に係るＵＩの一例を説明するための図である。ＵＩ３５１は、実空間のスルー画像を示すＵＩである。ＵＩ３５２は、スルー画像に、生成三次元モデルにおける割り当てられた定型モデルに対応する仮想オブジェクトを、重畳表示させたＵＩである。とりわけ、ＵＩ３５２では、Ｕｎｋｎｏｗｎフラグを付与された定型モデルに対応する仮想オブジェクト３５３が、対応する椅子の実物体を透過して重畳表示されている。このようなＵＩにより、ユーザは割り当てが十分でない領域を認識することが可能であり、追加的な観測を行うことができる。即ち、このようなＵＩは、ユーザに追加的な観測を促すＵＩであると言える。
【００９３】
図１９は、本実施形態に係るＵＩの一例を説明するための図である。ＵＩ３６１は、図１７に示したＵＩ３４２と同様のＵＩであり、スルー画像に、生成三次元モデルにおける割り当てられた定型モデルに対応する仮想オブジェクト３６２Ａ〜３６２Ｃが重畳表示されている。ＵＩ３６３は、定型モデルに対応する仮想オブジェクトを、さらに異なる形状の仮想オブジェクトに変換したＵＩである。例えば、直方体の仮想オブジェクト３６２Ａが草の仮想オブジェクト３６４Ａに変換され、直方体の仮想オブジェクト３６２Ｂが岩壁の仮想オブジェクト３６４Ｂに変換され、円柱の仮想オブジェクトが木の仮想オブジェクト３６４Ｃに変換されている。この変換の際には、定型モデルが有する法線方向が考慮される。このように、システム１は、実空間における実物体の形状にとらわれない、自由な表現を提供することが可能である。
【００９４】
＜３．６．処理の流れ＞
続いて、図２０を参照して、本実施形態に係るシステム１において実行される処理の流れの一例を説明する。図２０は、本実施形態に係るシステム１において実行される処理の流れの一例を示すフローチャートである。なお、図２０に示す処理の前に、定型モデルの登録処理が実行済みであるものとする。
【００９５】
図２０に示すように、まず、システム１は、入力情報を取得して（ステップＳ１０２）、三次元モデルを生成する（ステップＳ１０４）。このとき、システム１は、逐次的に三次元モデルを生成及び蓄積することで、生成三次元モデルを生成する。次いで、システム１は、自動的に又はユーザ操作に基づいて定型モデルを割り当てて（ステップＳ１０６）、生成三次元モデルを更新する（ステップＳ１０８）。ここで、三次元モデルの生成と定型モデルの割り当てとは並列的に行われてもよい。次に、システム１は、生成三次元モデルの表面を推定してポリゴンを生成し（ステップＳ１１０）、表示制御情報を生成する（ステップＳ１１２）。そして、システム１は、生成した表示制御情報に基づいてＵＩを出力する（ステップＳ１１４）。このＵＩでは、例えば生成三次元モデルに含まれる割り当てられた定型モデルに対応する仮想オブジェクトが表示される。
【００９６】
以上により、処理は終了する。
【００９７】
＜＜４．アプリケーション例＞＞
続いて、本技術が利用されるアプリケーションの一例を説明する。
【００９８】
（１）内見システム用データ構築
本技術は、不動産又はイベント会場等の物件の購入又はレンタル契約のための事前の内見のために利用され得る。その場合、例えばインターネット等を介したブラウジング又はＨＭＤを利用したＡＲ／ＶＲ／ＭＲシステムにより、本技術により生成された生成三次元モデルに基づくＵＩが表示される。
【００９９】
例えば、データ作成者は、定型モデルＤＢに、内見対象の物件に散在している可能性のある実物体として、床面、壁面、ソファー、椅子、机、家電等の定型モデルを事前に登録しておく。そして、データ作成者は、内見対象の物件を観測して三次元モデルを生成させ、定型モデルの割り当てにより三次元モデルを更新させる。このとき、データ作成者の意図に応じて三次元モデルを調整することが可能である。例えば、データ作成者は、壁、ソファー、椅子、及び机に対応する三次元モデルは残し、ソファーに置いてあった衣服、本、雑貨に対応する三次元モデルを削除する、等の調整を行う。このようにして、内見システムのための三次元モデルが生成される。
【０１００】
物件の三次元モデルを伝送する場合にレイテンシは重要であり、過剰なデータを送受信することを避けながら適切な映像提示を行うことが望まれる。この点、本技術によれば、三次元モデルが効率的に表現されるので、送受信されるデータ量を抑制し、低いレイテンシを実現することが可能となる。また、三次元モデルは、割り当てられた定型モデルごとに容易に区分することが可能であるので、内見を所望する部分の三次元モデルのみを選択的に取り扱うことも可能となる。この場合、送受信されるデータ量をさらに抑制し、さらに低いレイテンシを実現することが可能となる。
【０１０１】
物件の内見の他、インターネットショッピングの展示用モデルの生成、又は家具のレイアウト確認のための自宅のモデル化等にも、本技術は利用され得る。
【０１０２】
（２）ものづくり支援
本技術は、ものづくりを支援するために利用され得る。
【０１０３】
例えば、近年、ものづくりのための技術のひとつとして、３Ｄプリンタが注目されている。３Ｄプリンタを利用するためには、プリント対象の物体の設計図（例えば、三次元モデル）が要される。この三次元モデルを生成するために、本技術が利用され得る。
【０１０４】
例えば、ユーザは、粘土を用いておおよその形状を作成し、粘土を観測して三次元モデルを生成させ、定型モデルの割り当てにより三次元モデルを更新させる。これにより、ユーザは、正確な形状を粘土で作成せずとも、的確な三次元モデルを生成させることが可能となる。ユーザは、後工程として、割り当てる定型モデルの変更、及び微調整等を行うことで、自動生成された三次元モデルを直感的且つ簡易に編集して仕上げることも可能である。
【０１０５】
（３）衝突回避支援
本技術は、ＶＲ／ＡＲ／ＭＲアプリケーションにおいてユーザが実空間を動き回る場合に、ユーザと実空間における障害物との衝突を予防するために利用され得る。
【０１０６】
例えば、ユーザは、事前に定型モデルＤＢを準備しておく。次いで、ユーザは、ユーザの周囲の実空間を観測して三次元モデルを生成させ、定型モデルの割り当てにより三次元モデルを更新させる。このとき、平面を延長する等の割り当てた定型モデルの拡張による未観測領域の補完、Ｕｎｋｎｏｗｎフラグの付与、及びノイズの削除等も行われる。次に、アプリケーションは、障害物に対応する危険領域を設定する。例えば、アプリケーションは、Ｕｎｋｏｗｎフラグが付与された定型モデルを、危険領域として設定してもよい。さらに、アプリケーションは、床面に割り当てられた平面以外のすべての定型モデルを、危険領域として設定してもよい。
【０１０７】
アプリケーションは、危険領域への接近防止をユーザに促す仮想オブジェクトを表示してもよい。例えば、当該仮想オブジェクトは、大岩又は壁等の、暗示的な警告であってもよい。ここで、当該仮想オブジェクトは、定型モデルの形状及びサイズ、並びに危険度の大きさ等に応じて大岩／小岩／壁等の種類が変更され得る。また、当該仮想オブジェクトは、危険領域の境界を強調表示する等の、明示的な警告であってもよい。このような仮想オブジェクトにより、障害物へのユーザの接近を事前に抑制することが可能となる。
【０１０８】
危険領域への接近防止をユーザに促す仮想オブジェクトが表示されるＵＩの一例を、図２１を参照して説明する。図２１は、本実施形態に係るＵＩの一例を説明するための図である。図２１に示すように、ユーザがアプリケーションを利用する場所３７０が屋内であり、壁３７１、椅子３７２及び階段３７３が存在するものとする。その場合、アプリケーションは、壁３７１に対応する岩壁の仮想オブジェクト３８１、椅子３７２に対応する岩の仮想オブジェクト３８２、及び階段３７３に対応する滝の仮想オブジェクト３８３を含むＵＩ３８０を表示する。このような表示により、アプリケーションは、危険領域への接近防止をユーザに促す。
【０１０９】
他にも、アプリケーションは、危険領域にユーザが接近している場合に緊急回避のための処理を行ってもよい。例えば、アプリケーションは、ユーザと危険領域との距離及び危険領域への接近速度に基づいて緊急度合（例えば、衝突までの残り時間）を算出し、危険度合に応じた処理を行う。具体的には、アプリケーションは、緊急度合が高（例えば、残り時間が少ない）である場合に、アプリケーションを中断する。また、アプリケーションは、緊急度合が中である場合に、危険領域への接近をユーザに警告するメッセージを表示する。また、アプリケーションは、緊急度合が低である場合に、バーチャルキャラクタを表示したりユーザが追うターゲットを別の場所に移動させたりして、ユーザをより安全な場所に誘導する。
【０１１０】
危険領域への接近をユーザに警告するメッセージが表示されるＵＩの一例を、図２２を参照して説明する。図２２は、本実施形態に係るＵＩの一例を説明するための図である。図２２に示すように、ＵＩ３８０が表示された状況下でユーザが椅子３７２に接近すると、端末装置２００は、警告メッセージ３９１を含むＵＩ３９０を表示する。このような表示により、アプリケーションは、危険領域への接近をユーザに警告する。
【０１１１】
ＶＲ／ＡＲ／ＭＲアプリケーションは、このような表示により、ユーザと実空間における障害物との衝突を予防することが可能となる。
【０１１２】
（４）物体認識
本技術は、物体認識に利用され得る。
【０１１３】
実空間は複数の物体又は領域で形成されており、各々が異なる属性を有することが想定される。本技術によれば、ひとつ以上の割り当てられた定型モデルを含む三次元モデルが生成される。そのため、定型モデルごとに実空間を分割した領域を認識処理の対象領域として設定することも可能となる。これにより、物体認識を高精度で行うことが可能である。また、複数の定型モデルを組み合わせて認識処理の対象領域が設定されてもよく、その場合は複数物体の組み合わせによるシーン認識が可能となる。
【０１１４】
定型モデルごとの実空間の分割認識は、例えば自己位置推定のためにも有用である。自己位置推定は、静止環境における自己位置を推定する技術であるため、動物体は推定の妨げとなる。そこで、定型モデル単位で動物体を検出し、例えばＳＬＡＭにおける環境マップから動物体に対応する部分を削除することで、自己位置推定の精度を向上させることが可能となる。なお、動物体の検出は、例えばカメラ動きと矛盾する動きを行う定型モデルの検出により行われる。
【０１１５】
＜＜５．ハードウェア構成例＞＞
最後に、図２３を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図２３は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２３に示す情報処理装置９００は、例えば、図５及び図６にそれぞれ示した情報処理装置１００又は端末装置２００を実現し得る。本実施形態に係る情報処理装置１００又は端末装置２００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１１６】
図２３に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１１７】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図５に示す制御部１３０、又は図６に示す制御部２５０を形成し得る。
【０１１８】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１１９】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１２０】
他にも、入力装置９０６は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図６に示す入力部２１０を形成し得る。
【０１２１】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図６に示す出力部２２０を形成し得る。
【０１２２】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図５に示す記憶部１２０、又は図６に示す記憶部２４０を形成し得る。
【０１２３】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１２４】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１２５】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図５に示す通信部１１０、又は図６に示す通信部２３０を形成し得る。
【０１２６】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１２７】
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１２８】
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能なき記憶媒体も提供することができる。記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記憶媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１２９】
＜＜６．まとめ＞＞
以上、図１〜図２３を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係るシステム１は、生成された第１の三次元モデルに含まれる少なくとも一部の三次元モデルである第２の三次元モデルに、第２の三次元モデルの形状に応じた所定の形状を有する定型モデルを割り当てる。本技術によれば、定型モデルの割り当てにより、エッジ部分及び平坦領域を含む実物体に、三次元幾何構造を保ちながらスムーズな表面を有する三次元モデルを生成することが可能となる。即ち、三次元モデルをより実物体に近づけることが可能となる。また、本技術によれば、定型モデルの割り当てにより、平面又は曲面などの定常的な形状部分を定型モデルで表現可能であることから、処理効率を向上させることが可能である。また、本技術によれば、膨大な情報量から成る三次元モデルを、情報量を縮退させて効率的に表現することが可能となる。
【０１３０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１３１】
なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、情報処理装置１００及び端末装置２００は、単独の装置として実現されてもよい。
【０１３２】
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【０１３３】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１３４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の三次元モデルに含まれる少なくとも一部の三次元モデルである第２の三次元モデルに、前記第２の三次元モデルの形状に応じた所定の形状を有する定型モデルを割り当てる制御部、
を備える情報処理装置。
（２）
前記情報処理装置は、複数の前記定型モデルを記憶する記憶部を備え、
前記制御部は、前記記憶部に記憶された複数の前記定型モデルから、割り当てる前記定型モデルを選択する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記第２の三次元モデルと前記定型モデルとの類似度に応じて選択する、前記（２）に記載の情報処理装置。
（４）
前記類似度は、前記第２の三次元モデルに含まれる特徴点と前記定型モデルに含まれる頂点との距離により評価される、前記（３）に記載の情報処理装置。
（５）
前記類似度は、前記第２の三次元モデルに含まれる特徴点と前記定型モデルに含まれる頂点との法線の一致度により評価される、前記（３）又は（４）に記載の情報処理装置。
（６）
前記類似度は、前記第２の三次元モデルと前記定型モデルとの重力方向の一致度により評価される、前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記制御部は、ユーザ操作に応じて選択する、前記（２）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記制御部は、割り当てられた前記定型モデルとの間で所定の関係を有する三次元モデルを前記第１の三次元モデルから削除する、前記（２）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記制御部は、前記第１の三次元モデルに含まれる割り当てられた前記定型モデルに対応する仮想オブジェクトを表示させるための表示制御情報を生成する、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記表示制御情報は、前記第１の三次元モデルのうち前記定型モデルが未割り当ての部分に応じた前記仮想オブジェクトを表示させるための情報を含む、前記（９）に記載の情報処理装置。
（１１）
前記表示制御情報は、前記第１の三次元モデルを詳細化するための追加的な観測をユーザに促す情報を表示させるための情報含む、前記（９）又は（１０）に記載の情報処理装置。
（１２）
前記第１の三次元モデルは、ユーザの周囲の実空間の三次元モデルであり、
前記表示制御情報は、前記第１の三次元モデルに含まれる割り当てられた前記定型モデルへの接近防止をユーザに促す仮想オブジェクトを表示させるための情報を含む、前記（９）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記第１の三次元モデルは、ユーザの周囲の実空間の三次元モデルであり、
前記表示制御情報は、前記第１の三次元モデルに含まれる割り当てられた前記定型モデルへの接近をユーザに警告するための情報を表示させるための情報を含む、前記（９）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記定型モデルは、複数の頂点の相対座標、及び前記複数の頂点から成る面を示す情報を含む、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記定型モデルは、前記面のテクスチャを示す情報、材質を示す情報、前記面の法線方向を示す情報、又は接地面を示す情報の少なくともいずれかを含む、前記（１４）に記載の情報処理装置。
（１６）
前記三次元モデルは、点群である、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記三次元モデルは、ポリゴンである、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１８）
前記定型モデルは、ポリゴンである、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
第１の三次元モデルに含まれる少なくとも一部の三次元モデルである第２の三次元モデルに、前記第２の三次元モデルの形状に応じた所定の形状を有する定型モデルをプロセッサにより割り当てること、
を含む情報処理方法。
（２０）
コンピュータを、
第１の三次元モデルに含まれる少なくとも一部の三次元モデルである第２の三次元モデルに、前記第２の三次元モデルの形状に応じた所定の形状を有する定型モデルを割り当てる制御部、
として機能させるためのプログラムが記憶された記憶媒体。
【符号の説明】
【０１３５】
１        システム
１００    情報処理装置
１１０    通信部
１２０    記憶部
１３０    制御部
１３１    登録部
１３３    取得部
１３５    割当部
１３７    出力制御部
２００    端末装置
２１０    入力部
２２０    出力部
２３０    通信部
２４０    記憶部
２５０    制御部
２５１    推定部
２５３    生成部
【図１】
2017203774.tif 000006
【図２】
2017203774.tif 000007
【図３】
2017203774.tif 000008
【図４】
2017203774.tif 000009
【図５】
2017203774.tif 000010
【図６】
2017203774.tif 000011
【図７】
2017203774.tif 000012
【図８】
2017203774.tif 000013
【図９】
2017203774.tif 000014
【図１０】
2017203774.tif 000015
【図１１】
2017203774.tif 000016
【図１２】
2017203774.tif 000017
【図１３】
2017203774.tif 000018
【図１４】
2017203774.tif 000019
【図１５】
2017203774.tif 000020
【図１６】
2017203774.tif 000021
【図１７】
2017203774.tif 000022
【図１８】
2017203774.tif 000023
【図１９】
2017203774.tif 000024
【図２０】
2017203774.tif 000025
【図２１】
2017203774.tif 000026
【図２２】
2017203774.tif 000027
【図２３】
2017203774.tif 000028
【国際調査報告】
2017203774.tif 000029
2017203774.tif 000030
2017203774.tif 000031
2017203774.tif 000032