(57)【要約】【課題】所望の態様の拡張現実感提示を実現する。【解決手段】鑑賞システムは、対象物の外観を示す３次元モデルの拡張現実感提示を行う鑑賞システムであって、対象物を撮像した撮像画像を取得する取得手段と、取得手段により取得された撮像画像に基づいて、３次元モデルを構成する構成手段と、構成手段により構成された３次元モデルを提示する提示手段と、を有する。【選択図】図４
2020149733.tif 000002
【特許請求の範囲】
【請求項１】
対象物の外観を示す３次元モデルの拡張現実感提示を行う鑑賞システムであって、
前記対象物を撮像した撮像画像を取得する取得手段と、
前記取得手段により取得された撮像画像に基づいて、前記対象物の３次元モデルを構成する構成手段と、
前記構成手段により構成された前記対象物の３次元モデルを提示する提示手段と、
を有する鑑賞システム。
【請求項２】
前記撮像画像に基づいて、前記対象物が予め登録された種別の物品であるか否かを判別する判別手段をさらに有し、
前記構成手段は、前記対象物が予め登録された種別の物品であると判別された場合に、前記対象物の３次元モデルを構成する
請求項１に記載の鑑賞システム。
【請求項３】
前記構成手段は、前記対象物を撮像した複数種類の撮像画像の取得を条件として、前記対象物の３次元モデルを構成する請求項１または２に記載の鑑賞システム。
【請求項４】
所定の物品について、予め構成された３次元モデルであるプリセットモデルを格納する格納手段と、
前記撮像画像に基づいて、前記対象物が前記所定の物品であるか否かを判断する判断手段と、
をさらに有し、
前記構成手段は、前記判断手段により前記対象物が前記所定の物品であると判断された場合に、前記格納手段に予め格納されたプリセットモデルのうちの前記対象物と対応するプリセットモデルを用いて、前記対象物の３次元モデルを構成する
請求項１乃至３のいずれか１項に記載の鑑賞システム。
【請求項５】
前記構成手段は、前記判断手段により前記対象物が前記所定の物品であると判断された場合に、前記対象物と対応するプリセットモデルを前記撮像画像中に表れる前記対象物の像に基づいて変形することで、前記対象物の３次元モデルを構成する請求項４に記載の鑑賞システム。
【請求項６】
前記対象物について、前記対象物と対応する前記所定の物品から外観が変更されている箇所を特定する特定手段をさらに有し、
前記構成手段は、前記判断手段により前記対象物が前記所定の物品であると判断された場合に、外観が変更された箇所について前記撮像画像を解析することで３次元モデルを構成し、前記対象物と対応するプリセットモデルと組み合わせることで前記対象物の３次元モデルを構成する
請求項４または５に記載の鑑賞システム。
【請求項７】
前記構成手段は、前記判断手段により前記対象物が前記所定の物品であると判断された場合に、前記対象物と対応するプリセットモデルを前記対象物の３次元モデルとして扱う請求項４に記載の鑑賞システム。
【請求項８】
前記構成手段は、前記判断手段により前記対象物が前記所定の物品ではないと判断された場合に、前記プリセットモデルは用いずに、前記撮像画像を解析することで前記対象物の３次元モデルを構成する請求項４乃至７のいずれか１項に記載の鑑賞システム。
【請求項９】
前記プリセットモデルは、前記撮像画像を解析することで構成された３次元モデルよりも高精細である請求項４乃至８のいずれか１項に記載の鑑賞システム。
【請求項１０】
前記構成手段による、前記撮像画像の解析に基づいた前記対象物の３次元モデルの構成は、該撮像画像中の該当領域の抽出、形状推定、テクスチャ生成を含む請求項１乃至９のいずれか１項に記載の鑑賞システム。
【請求項１１】
対象物の外観を示す３次元モデルを構成するモデル構成装置であって、
前記対象物を撮像した撮像画像を取得する取得手段と、
前記取得手段により取得された撮像画像に基づいて、前記対象物の３次元モデルを構成する構成手段と、
前記構成手段により構成された前記対象物の３次元モデルを出力する出力手段と、
を有するモデル構成装置。
【請求項１２】
対象物の外観を示す３次元モデルを構成するモデル構成装置の制御方法であって、
前記対象物を撮像した撮像画像を取得する取得工程と、
前記取得工程において取得された撮像画像に基づいて、前記対象物の３次元モデルを構成する構成工程と、
前記構成工程において構成された前記対象物の３次元モデルを出力する出力工程と、
を有するモデル構成装置の制御方法。
【請求項１３】
対象物の外観を示す３次元モデルを構成するコンピュータに、
前記対象物を撮像した撮像画像を取得する処理と、
取得された撮像画像に基づいて、前記対象物の３次元モデルを構成する処理と、
構成された前記対象物の３次元モデルを出力する処理と、
を実行させるプログラム。
【請求項１４】
請求項１３に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鑑賞システム、モデル構成装置、制御方法、プログラム及び記録媒体に関し、特に拡張現実感を提示する技術に関する。
【背景技術】
【０００２】
撮像画像に含まれる現実空間中の特徴点に基づいて端末の位置及び姿勢を特定し、該端末の位置及び姿勢に応じた態様で仮想オブジェクトを描画して撮像画像に重畳することで、あたかも現実空間に仮想オブジェクトが存在するかのような画像を生成することができる（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６０２１５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１において提示される仮想オブジェクトは、予め構成されたものであり、そもそもユーザが所望する外観等を示していない可能性がある。仮想オブジェクトの３次元モデルにとらせるポーズをユーザに設定可能に構成されるものもあるが、このようなポーズ設定は３次元グラフィックスの知識がない者にとっては難しく、やはりユーザが所望の外観等を示すようにすることは困難であった。
【０００５】
本発明の少なくとも１つの実施形態は、上述の問題点に鑑みてなされたものであり、所望の態様の拡張現実感提示を実現する鑑賞システム、モデル構成装置、制御方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前述の目的を達成するために、本発明の少なくとも１つの実施形態に係る鑑賞システムは、対象物の外観を示す３次元モデルの拡張現実感提示を行う鑑賞システムであって、対象物を撮像した撮像画像を取得する取得手段と、取得手段により取得された撮像画像に基づいて、３次元モデルを構成する構成手段と、構成手段により構成された３次元モデルを提示する提示手段と、を有する。
【発明の効果】
【０００７】
このような構成により本発明の少なくとも１つの実施形態によれば、所望の態様の拡張現実感提示を実現することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る鑑賞システムの構成を例示した図
【図２】本発明の実施形態に係るスマートフォン１００の機能構成を示したブロック図
【図３】本発明の実施形態に係るサーバ２００の機能構成を示したブロック図
【図４】本発明の実施形態に係る鑑賞システムにおいて行われるモデル構成処理を例示したフローチャート
【図５】本発明の実施形態に係るスマートフォン１００で実行されるモデル提示処理を例示したフローチャート
【図６】本発明の変形例に係る鑑賞システムの構成を例示した図
【図７】本発明の変形例に係る鑑賞システムにおいて行われるモデル構成処理を例示したフローチャート
【発明を実施するための形態】
【０００９】
［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
【００１０】
以下に説明する一実施形態は、鑑賞システムの一例としての、撮像装置を備えたスマートフォンと、該スマートフォンと通信可能に構成されたサーバに、本発明を適用した例を説明する。しかし、本発明は、撮像画像に基づいて対象物の３次元モデルを構成可能な機器、及び該３次元モデルを撮像画像とともに表示することで拡張現実感提示を可能ならしめる機器であれば、任意の機器に適用可能である。
【００１１】
《鑑賞システムの構成》
本実施形態に係る鑑賞システムの構成について、図１を用いて説明する。
【００１２】
図示されるように、本実施形態の鑑賞システムでは、サーバ２００は１以上のスマートフォン１００と通信可能に構成される。スマートフォン１００とサーバ２００とは、ネットワーク４００を介した通信接続が確立可能に構成されており、通信接続中、種々の情報の送受信が可能となる。
【００１３】
スマートフォン１００は、撮像機能を有しており、撮像によって現実世界に存在する物体の視覚的情報を取得することができる。図の例では、視覚的情報の取得対象の物体としてフィギュア３００が示されているが、本発明の実施において物体はこれに限定されるものではなく、いずれの物体であってもよい。スマートフォン１００の撮像により得られたフィギュア３００の撮像画像はネットワーク４００を介して送出され、サーバ２００における該画像に基づく３次元モデルの構成に用いられる。このようにして構成された３次元モデルは、サーバ２００からスマートフォン１００に提供されて格納される。
【００１４】
本実施形態の鑑賞システムでは、一度フィギュア３００の３次元モデルの構成が行われれば、その後はフィギュア３００が現実世界に配置されていなくとも、配置されているかの如き鑑賞体験（視覚的な拡張現実感の提示）を、スマートフォン１００が有する表示部１２０を介してユーザに提供することができる。より詳しくは、スマートフォン１００において、スマートフォン１００の位置及び姿勢に応じた態様でフィギュア３００の３次元モデルを描画し、リアルタイムに得られた撮像画像にこれを重畳して表示することで、フィギュア３００の鑑賞体験を実現することができる。
【００１５】
〈スマートフォン１００の構成〉
以下、本実施形態のスマートフォン１００の機能構成を、図２を参照して説明する。
【００１６】
制御部１０１は、例えばＣＰＵであり、スマートフォン１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、例えば記録媒体１０２に記録されている各ブロックの動作プログラムや本発明の拡張現実感提示に係るアプリケーションプログラム（ＡＲアプリケーション）を読み出し、メモリ１０３に展開して実行することにより各ブロックの動作を制御する。
【００１７】
記録媒体１０２は、例えば不揮発性メモリやＨＤＤ等の恒久的にデータを保持可能な記録装置である。記録媒体１０２は、スマートフォン１００が有する各ブロックの動作プログラムに加え、各ブロックの動作において必要となるパラメータ等や、本実施形態のＡＲアプリケーションに係るプログラム及び該アプリケーションに係る画面提示に使用される各種のＧＵＩや描画オブジェクト等の情報を記録する。メモリ１０３は、例えば揮発性メモリ等の一時的なデータ記憶に使用される記憶装置である。メモリ１０３は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力されたデータ等を一時的に記憶する格納領域としても用いられる。
【００１８】
撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を有する撮像装置ユニットであり、現実世界の視覚的情報の取得に用いられる。より詳しくは撮像部１０４は、３次元モデル構成のためのフィギュア３００の外観情報の取得に加えて、ＡＲアプリケーションの実行中の背景画像（実写）の取得を行う。
【００１９】
状態推定部１０５は、スマートフォン１００の状態を導出する。本実施形態では説明を簡単にするため、状態推定部１０５は、例えば加速度センサやジャイロセンサを含むものであってよいセンサ１１０からの検出結果を取得し、スマートフォン１００の３次元位置及び姿勢を推定する。スマートフォン１００の位置及び姿勢の導出はこれに限られるものではなく、スマートフォン１００外に設けられた機器によるセンシング結果や、連続して撮像した撮像画像に基づく移動推定に基づいて導出されるものであってもよい。
【００２０】
描画部１０６は、例えばＧＰＵ等の描画装置を含み、表示部１２０に表示される画面を生成する描画処理を行う。具体的には描画部１０６は、ＡＲアプリケーションの実行中において、制御部１０１により行われた処理や命令、及び状態推定部１０５により導出されたスマートフォン１００の状態推定結果に基づいて、描画処理を行う。描画部１０６は、現実空間に対応して設けられた描画用の３次元空間中にサーバ２００から取得された３次元モデルを配置し、これをスマートフォン１００の位置及び姿勢に応じた視点から描画する。そして、描画部１０６は該描画結果を対応する撮像画像に重畳することで、拡張現実感を提示するＡＲアプリケーションの画面を生成する。
【００２１】
なお、３次元空間中の３次元モデルの配置位置は、例えば撮像画像に対する指示入力に基づいて予め設定される位置や、撮像画像中に検出される平面中のいずれかの位置に決定されるものであってよい。前者の場合、設定された位置にある平面の法線が取得され、該法線情報に基づいて３次元モデルの配置姿勢が定まる。
【００２２】
表示制御部１０７は、スマートフォン１００における情報提示の一態様としての、表示部１２０への表示制御を司る。より詳しくは、ＡＲアプリケーションの実行中において、表示制御部１０７は、描画部１０６により生成された画面を表示部１２０に表示することで、フィギュア３００が現実世界に存在しているような拡張現実感を提示する。表示部１２０は、例えばＬＣＤ等のスマートフォン１００が有する表示装置である。本実施形態ではスマートフォン１００の位置姿勢に応じて表示態様を変化させてフィギュア３００の３次元モデルを提示するため、表示部１２０はスマートフォン１００に内蔵され、一体となっているものとして説明する。しかしながら、本発明の実施の態様はこれに限られるものではなく、拡張現実感提示を行う画面を表示する表示装置は、撮像を行う装置とは分離されるものであってもよい。
【００２３】
操作入力部１０８は、例えばタッチパネルやボタン等のスマートフォン１００が有するユーザインタフェースである。操作入力部１０８は、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号を制御部１０１に出力する。
【００２４】
通信部１０９は、スマートフォン１００が有する、他の装置との通信を行うための通信インタフェースである。通信部１０９は、有線無線を問わず、所定の通信方式により例えばネットワーク４００上に存在するサーバ２００等に接続し、データの送受信を行う。ＡＲアプリケーションのプログラム等の情報は、通信部１０９を介して外部の装置から受信可能に構成されるものであってよい。
【００２５】
〈サーバ２００の構成〉
次に、本実施形態のサーバ２００の機能構成について、図３のブロック図を参照して説明する。
【００２６】
サーバ制御部２０１は、サーバ２００が有する各ブロックの動作を制御する。具体的にはサーバ制御部２０１は、サーバ記録媒体２０２に記憶されている各ブロックの動作プログラムを読み出し、サーバメモリ２０３に展開して実行することにより、各ブロックの動作を制御する。
【００２７】
サーバ記録媒体２０２は、例えば書き換え可能な不揮発性メモリであり、サーバ２００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要となるパラメータ等を記憶する。またサーバメモリ２０３は、揮発性メモリであり、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。
【００２８】
モデル構成部２０４は、スマートフォン１００から受信した撮像画像に基づいて３次元モデルを構成する。本実施形態の鑑賞システムでは、現実世界のフィギュア３００の現在の外観の情報を撮像により取得し、該外観を示すフィギュア３００の３次元モデルを構成する。モデル構成部２０４による３次元モデルの構築は、複数の異なる方向からフィギュア３００を撮像した撮像画像を用いて、面及びテクスチャの情報を補完しながら行われる。本実施形態では説明を簡単にするため、テクスチャの情報が３次元モデルの情報に含まれているものとして説明するが、本発明の実施はこれに限られるものではないことは容易に理解されよう。
【００２９】
サーバ通信部２０５は、サーバ２００が有する、他の装置との通信を行うための通信インタフェースである。サーバ通信部２０５は、有線無線を問わず、所定の通信方式により例えばネットワーク４００上に存在するスマートフォン１００等と接続し、データの送受信を行う。
【００３０】
《モデル構成処理》
このような構成をもつ本実施形態の鑑賞システムにおいて、フィギュア３００の３次元モデルの構成を行うモデル構成処理について、図４のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１及びサーバ制御部２０１が、例えばそれぞれ記録媒体１０２、サーバ記録媒体２０２に記憶されている対応する処理プログラムを読み出し、メモリ１０３またはサーバメモリ２０３に展開して実行することにより実現することができる。なお、本モデル構成処理は、例えばスマートフォン１００においてＡＲアプリケーションが起動され、３次元モデル化に係る操作入力がなされた際にスマートフォン１００側の処理が開始されるものとして説明する。
【００３１】
Ｓ４０１で、表示制御部１０７は制御部１０１の制御の下、３次元モデル化するフィギュア３００の撮像を促す通知を表示部１２０に表示させるよう制御する。撮像を促す通知は、記録媒体１０２に対応する画像データが格納されており、メモリ１０３または不図示の描画メモリに展開して用いられるものとする。該撮像を促す通知は、１体のフィギュア３００の３次元モデルの構成に、複数種類の撮像画像の取得が必要となる旨の通知を含むものであってよい。
【００３２】
Ｓ４０２で、制御部１０１は、撮像指示がなされたか否かを判断する。制御部１０１は、撮像指示がなされたと判断した場合は処理をＳ４０３に移し、なされていないと判断した場合は本ステップの処理を繰り返す。
【００３３】
Ｓ４０３で、撮像部１０４は制御部１０１の制御の下、撮像を行い撮像画像を取得する。本実施形態では簡単のため、本ステップにおいて撮像された撮像画像中にフィギュア３００の像が含まれているものとして説明するが、本発明の実施はこれに限られるものではない。例えば、制御部１０１は、出力された撮像画像中にフィギュア３００の像が現れているか否かを判断し、現れている場合のみ処理を進め、現れていない場合にはその旨を通知して処理をＳ４０１に戻すものであってもよい。
【００３４】
Ｓ４０４で、制御部１０１は、Ｓ４０３において取得された撮像画像を通信部１０９に伝送し、モデル構成要求とともにサーバ２００に送信させる。
【００３５】
Ｓ４０５で、サーバ制御部２０１は、モデル構成要求をスマートフォン１００から受信したか否かを判断する。サーバ制御部２０１は、モデル構成要求をスマートフォン１００から受信したと判断した場合は処理をＳ４０６に移し、受信していないと判断した場合は本ステップの処理を繰り返す。
【００３６】
Ｓ４０６で、モデル構成部２０４はサーバ制御部２０１の制御の下、モデル構成要求とともに取得された撮像画像に基づいて、該画像中に含まれるフィギュア３００についての、３次元モデルの構成に係る処理を実行する。３次元モデルの構成に係る処理は、撮像画像中のフィギュア３００に対応する像の抽出、抽出された像に基づくフィギュア３００の形状推定、及び３次元モデルに係るテクスチャの生成（以下、これらを撮像画像の解析として言及する）を含むものであってよい。該テクスチャは、構成された３次元モデルのデータに含められ、一体となって提供可能に構成されるものであってよい。
【００３７】
なお、３次元モデルの構成を撮像画像の解析のみで行う場合には、フィギュア３００の全周の面を構成するために、複数種類の撮像画像（複数の方向から撮像された撮像画像）が必要となる。本実施形態ではモデル構成部２０４は撮像画像の解析のみに基づいて３次元モデルの構成を行うものとして説明するが、本発明の実施はこれに限られるものではない。例えば、撮像とともに撮像範囲についての深度情報を取得可能に構成されている場合は、該深度情報と撮像画像とに基づいて、３次元モデルの構成が行われるものであってもよい。
【００３８】
Ｓ４０７で、サーバ制御部２０１は、受信した撮像画像に基づく３次元モデルの構成が完了するか否かを判断する。上述したように、フィギュア３００の像の全体が現れているか否かは受信した撮像画像によるものであるため、これまでに受信した全ての撮像画像を用いて３次元モデルが構成されない（例えば３次元モデルの面が閉じていない、抜けがある）場合には、サーバ制御部２０１はＳ４０６の処理が完了しないと判断する。サーバ制御部２０１は、受信した撮像画像に基づく３次元モデルの構成が完了すると判断した場合は処理をＳ４０８に移し、完了しないと判断した場合は処理をＳ４０９に移す。
【００３９】
Ｓ４０８で、サーバ制御部２０１は、構成された３次元モデルをサーバ通信部２０５に伝送してスマートフォン１００に送信させて、サーバ２００側に係るモデル構成処理を完了する。
【００４０】
一方、受信した撮像画像に基づく３次元モデルの構成が完了しないと判断された場合、サーバ制御部２０１はＳ４０９で、フィギュア３００の３次元モデルの構成に必要な撮像画像が不足する旨を示す不足情報をスマートフォン１００に送信するよう、サーバ通信部２０５を制御し、処理をＳ４０５に戻す。不足情報は、例えば３次元モデルの構成に係る処理の状況に基づく、フィギュア３００のいずれの方向からの撮像画像が不足しているかの情報を含むものであってもよい。
【００４１】
Ｓ４１０で、制御部１０１は、送信した撮像画像に基づいて３次元モデルが構成されたか否かを判断する。本ステップの判断は、サーバ２００から３次元モデルと不足情報のどちらを受信したかにより行われるものであってよい。制御部１０１は、送信した撮像画像に基づいて３次元モデルが構成されたと判断した場合、即ち、３次元モデルを受信した場合は処理をＳ４１１に移す。一方、送信した撮像画像に基づいて３次元モデルが構成されていない、即ち、不足情報を受信した場合、制御部１０１は、３次元モデルの構成に異なる方向からの撮像が必要である旨を通知して処理をＳ４０２に戻す。
【００４２】
Ｓ４１１で、制御部１０１は、受信した３次元モデルに例えばファイル名等の識別子を付して記録媒体１０２に格納し、スマートフォン１００側に係るモデル構成処理を完了する。
【００４３】
このようにすることで本実施形態の鑑賞システムでは、フィギュア３００の３次元モデルを、撮像時の外観を有した状態で構成することができる。
【００４４】
《モデル提示処理》
次に、本実施形態のスマートフォン１００において、構成されたフィギュア３００の３次元モデルを使用して拡張現実感提示を行うモデル提示処理について、図５のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応するＡＲアプリケーションのプログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。
【００４５】
なお、本モデル提示処理は、例えばスマートフォン１００においてＡＲアプリケーションが起動され、構成された３次元モデルの鑑賞に係る操作入力がなされた際に開始されるものとして説明する。また、本モデル提示処理が行われる際には、ユーザは現実世界にフィギュア３００を配置しておく必要はない。
【００４６】
Ｓ５０１で、制御部１０１は、鑑賞を行う３次元モデル（鑑賞対象の３次元モデル）を決定する。より詳しくは、制御部１０１は、記録媒体１０２に格納されている３次元モデルの一覧を表示制御部１０７に表示させ、該一覧に対する３次元モデルの選択操作がなされたことに応じて、該当の３次元モデルを鑑賞対象として決定する。
【００４７】
Ｓ５０２で、制御部１０１は、決定した鑑賞対象の３次元モデルを記録媒体１０２から読み出し、メモリ１０３に展開する。
【００４８】
Ｓ５０３で、制御部１０１は、現実世界のいずれの位置に鑑賞対象の３次元モデルを配置するかを決定する。本ステップの処理について詳細な説明は省略するが、撮像範囲の現実空間と対応付けを行った描画用の３次元空間（以下、描画用空間）における鑑賞対象の３次元モデルの配置位置は、例えば撮像により得られた設定用画像について配置位置の指定に係る操作入力を受け付け、該配置位置における面の検出、該配置位置とスマートフォン１００との相対的な位置関係の導出を行って決定されればよい。
【００４９】
以下、ＡＲアプリケーションにおいて拡張現実感提示がなされている期間における、表示部１２０に提示される各フレームの画像生成にあたり行われる処理について説明する。図５では、便宜上、以降の処理がループするものとして示しているが、１フレームに係り行われるこれらの処理は、提示に係るフレームレートに応じて順次並行して開始されるものであることは言うまでもない。
【００５０】
Ｓ５０４で、制御部１０１は、３次元モデルに係る拡張現実感を提示するフレーム（提示フレーム）について撮像部１０４に撮像を行わせて、背景用画像を出力させる。またこのとき制御部１０１は、センサ１１０を検出可能な状態に制御し、背景用画像撮像時に係る検出を行わせる。
【００５１】
Ｓ５０５で、状態推定部１０５は制御部１０１の制御の下、背景用画像撮像時のスマートフォン１００の状態を導出する。本実施形態のＡＲアプリケーションでは、拡張現実感の提示にスマートフォン１００の３次元的位置及び姿勢を反映するものとし、状態推定部１０５は、センサ１１０の撮像時の検出結果に基づいてこれらの情報を導出する。
【００５２】
Ｓ５０６で、描画部１０６は制御部１０１の制御の下、提示フレームに係る拡張現実感提示を行う画面を生成する。より詳しくは描画部１０６は、撮像時のスマートフォン１００の状態に基づいて描画用空間中の視点位置及び姿勢の決定を行い、該視点について同空間中に配置した３次元モデルの描画を行う。さらに描画部１０６は、背景用画像に対して該描画した３次元モデルを重畳し、提示フレームに係る画面を生成する。
【００５３】
Ｓ５０７で、表示制御部１０７は制御部１０１の制御の下、提示フレームに係る画面を表示部１２０に表示させる。
【００５４】
このようにすることで、本実施形態の鑑賞システムでは、モデル構成処理において実写画像に基づいて構成された３次元モデルを用いた、拡張現実感の提示を行うことができる。
【００５５】
以上説明したように、本実施形態の鑑賞システムによれば、現実世界のフィギュア３００に基づいた、所望の態様の拡張現実感提示を実現することが可能となる。即ち、ユーザは、フィギュア３００を所望の状態にセッティングして撮像を行えば、該状態のフィギュア３００については、その後は該撮像に基づいて構成された３次元モデルを用いた拡張現実感提示により、その鑑賞を行うことができる。
【００５６】
これによりユーザは、フィギュア３００についての展示スペースを用意せずとも、所望のタイミング及び場所において該フィギュア３００を、拡張現実感提示の態様で鑑賞することができる。また例えば希少価値が高く、箱に梱包して保管することをユーザが所望するようなフィギュア３００であっても、箱から出し入れすることなく、任意のタイミングで鑑賞することをユーザに可能ならしめる。また、３次元モデルは撮像時のフィギュア３００の状態を反映して構成されるものであるため、例えば、装飾品の組換えやポーズ変更が可能に構成されたフィギュア３００や、ユーザ自身が塗装を行ったフィギュア３００等、所望の状態のフィギュア３００を３次元モデル化しておくことができる。即ち、このような構成により、ユーザは任意のタイミングで、手間をかけずに所望の状態のフィギュア３００を鑑賞することができる。
【００５７】
［変形例１］
上述した実施形態では、サーバ２００において、撮像画像の解析のみ、または深度情報をさらに組み合わせることによってフィギュア３００の３次元モデルを構成するものとして説明したが、本発明の実施はこれに限られるものではない。撮像画像等、ユーザがスマートフォン１００等を操作することで取得された情報は、対象のフィギュア３００の状態や照明条件（撮像環境）によっては、必ずしも十分な精度の情報を含んでいない可能性もあり、結果、構成された３次元モデルの品質が好適とならない可能性もある。即ち、構成に用いられる情報によっては、３次元モデルデータがフィギュア３００の外観を緻密に再現したものとならないこともある。このため、例えば構成する３次元モデルの少なくとも一部については、モデル構成要求の受信よりも前にサーバ２００に保持されていた３次元モデルのデータを利用するものとしてもよい。当該事前にサーバ２００に保持される３次元モデルのデータは、例えば該当のフィギュアの製造に先立って設けられたＣＡＤデータ及びテクスチャ等を用いることができ、撮像画像の解析から構成するものよりも、高精細に該フィギュアの形状や外観を表すデータであるものとする。
【００５８】
本変形例のサーバ２００は、図６に示されるように、上述の実施形態の構成に加えてモデルＤＢ２１１をさらに有する。モデルＤＢ２１１は、予め選択されたフィギュア（対象物）のそれぞれについて、該フィギュアを判別するための外観の特徴を記述した特徴情報、及び事前に構成された３次元モデル（プリセットモデル）のデータを含むプリセットモデル情報を管理するデータベースである。モデルＤＢ２１１には、全てのフィギュアについてのプリセットモデルが管理されるわけではなく、例えば鑑賞システムを運用する企業やサービスのスポンサー企業が販売する一部のフィギュア（商品）に限られるものであってよい。
【００５９】
《モデル構成処理》
以下、本変形例の鑑賞システムのモデル構成処理について、図７のフローチャートを用いて具体的な処理を説明する。本変形例のモデル構成処理は、サーバ２００が行う処理のみを示し、上述した実施形態の構成処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略する。本フローチャートに対応する処理は、サーバ制御部２０１が、例えばサーバ記録媒体２０２に記録されている対応する処理プログラムを読み出し、サーバメモリ２０３に展開して実行することにより実現することができる。
【００６０】
Ｓ７０１で、サーバ制御部２０１は、モデル構成要求をスマートフォン１００から受信したか否かを判断する。サーバ制御部２０１は、モデル構成要求をスマートフォン１００から受信したと判断した場合は処理をＳ７０２に移し、受信していないと判断した場合は本ステップの処理を繰り返す。
【００６１】
Ｓ７０２で、モデル構成部２０４はサーバ制御部２０１の制御の下、モデルＤＢ２１１にプリセットモデル情報が管理されているフィギュア３００についてのモデル構成要求がなされたか否かを判断する。より詳しくは、モデル構成部２０４は、モデル構成要求と共に取得された撮像画像中のフィギュア３００に対応する像が表れる領域を特定し、該領域について特徴抽出を行う。そしてモデル構成部２０４は、抽出したフィギュア３００の特徴と合致する特徴情報を有するプリセットモデル情報が、モデルＤＢ２１１に管理されているか否かに基づいて本ステップの判断を行う。モデル構成部２０４は、プリセットモデル情報が管理されているフィギュア３００についてのモデル構成要求がなされたと判断した場合は処理をＳ７０３に移し、それ以外のフィギュアについてモデル構成要求がなされたと判断した場合は処理をＳ４０６に移す。
【００６２】
なお、本実施形態では、モデル構成要求のなされたフィギュア３００が、予めモデルＤＢ２１１にプリセットモデル情報が登録されているフィギュアであるか否かの判断を撮像画像に表れるフィギュア３００の像に基づいて行うものとして説明するが、本発明の実施はこれに限られるものではない。例えば、フィギュア３００やそのパッケージに付された識別情報や購入時のレシート等の情報を追加で要求することで、サーバ２００の処理負荷を低減させつつ、フィギュアの同定精度を向上させてもよい。
【００６３】
Ｓ７０３で、モデル構成部２０４はサーバ制御部２０１の制御の下、モデル構成要求とともに取得された撮像画像と、撮像されたフィギュア３００についてモデルＤＢ２１１で管理されているプリセットモデル情報とに基づいて、フィギュア３００の３次元モデルの構成に係る処理を実行した後、処理をＳ４０７に移す。本ステップで実行される３次元モデルの構成に係る処理は、対応するフィギュアについてプリセットモデル情報に含めて管理されているプリセットモデルのデータを、撮像画像に基づいて変形することを伴うものであってよい。
【００６４】
例えば、フィギュア３００がポージングを変更可能な可動式のフィギュアである場合、プリセットモデル情報に含めて管理されるプリセットモデルのデータは例えば、可動部と対応する箇所にジョイントが設けられたデータとして構成されていればよい。この場合、モデル構成部２０４は、取得された撮像画像中に表れるフィギュア３００の像に基づいて各可動部がどのような状態にあるかを特定する。そして、特定した各可動部の状態に基づき、モデル構成部２０４はプリセットモデルのデータの各ジョイントの状態値を変更し、スマートフォン１００に送信する３次元モデルのデータを構成する。
【００６５】
あるいは、例えばフィギュア３００が可動部を持たず、固定のポージングを示すフィギュアである場合、モデル構成部２０４は、プリセットモデルのデータを、そのままスマートフォン１００に送信する３次元モデルのデータとして扱えばよい。
【００６６】
なお、フィギュア３００が可動式のフィギュアである態様において、モデル構成要求とともに取得された撮像画像中には、フィギュア３００の全ての可動部がその状態を特定可能なように表れていないこともある。この場合、サーバ制御部２０１はＳ４０７において、受信した撮像画像に基づく３次元モデルの構成が完了しないと判断し、Ｓ４０９で不足情報をスマートフォン１００に送信する。該不足情報は、上述した実施形態の撮像が不足している撮像方向を示すものに限らず、例えば追加の撮像が必要な可動部を特定する情報を含むものであってよい。
【００６７】
このようにすることで、本変形例の鑑賞システムによれば、プリセットモデル情報が登録された特定のフィギュア３００についてのモデル構成要求がなされた場合に、構成に必要となる撮像画像の解析の処理に係る演算量を低減させて、該フィギュア３００の３次元モデルのデータを構成することができる。また、撮像画像の解析のみに基づいて３次元モデルのデータを構成する態様では、撮像装置の性能や照明・撮像設定等の撮像条件によっては、その凹凸形状、細部のテクスチャや色味等が撮像画像に表れない可能性があり、構成される３次元モデルのデータの精度も低下し得るところ、本変形例の鑑賞システムでは、フィギュア３００が特定のフィギュアに該当する場合には、プリセットモデルのデータを利用することで精度を好適に上昇させることができる。
【００６８】
また、本変形例では、例えばフィギュアの製造元等のメーカーから供給されたプリセットモデルのデータがモデルＤＢ２１１に登録される態様について説明したが、本発明の実施はこれに限られるものではなく、モデルＤＢ２１１に登録されるプリセットモデルのデータは、モデル構成要求を受信するよりも前に構成された３次元モデルのデータであればよい。即ち、フィギュア３００について、１人のユーザがスマートフォン１００で撮像したことに伴ってモデル構成要求が送信された場合に利用されるプリセットモデルのデータは、該モデル構成要求が受信されるよりも前にモデルＤＢ２１１に格納されているものであればよく、例えば同一製品のフィギュア３００について、該１人のユーザまたは他のユーザからの要求に基づいて構成された３次元モデルのデータであってもよい。
【００６９】
この場合、利用されるプリセットモデルのデータの方が、撮像画像の解析を行って構成される３次元モデルのデータよりも高精細であることが好ましいため、モデルＤＢ２１１へのプリセットモデルのデータの格納については、一定の評価基準を満たすことを条件とするものとしてもよい。また、同一製品のフィギュア３００についてモデルＤＢ２１１に格納されたプリセットモデルのデータの利用は、モデル構成要求とともに受信した撮像画像の解析を行って構成されるであろう３次元モデルのデータよりも、モデルＤＢ２１１に格納されたプリセットモデルのデータの方が高い評価を示す（高精細である）場合に限定されるものであってもよい。これらの評価は、例えば３次元モデルのデータの空間分解能の高低や、テクスチャにおけるコントラスト比に基づいてなされ、高精細である（空間分解能が高い、コントラスト比が高い）ほど高い評価として導出されるものであってよい。
【００７０】
また、本変形例ではモデル構成要求とともに受信した撮像画像中に像が表れるフィギュアが、モデルＤＢ２１１にプリセットモデル情報が管理されているフィギュアであるか否かを判断することで、プリセットモデルのデータを利用するか否かを制御するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、鑑賞システムに係るサービスの提供企業や特定の販売元の製品に限り、プリセットモデルのデータの利用を可能ならしめるように構成してもよい。即ち、Ｓ７０２における判断は、撮像画像中に像が表れるフィギュアが、提供企業の製品または特定の販売元の製品であるか否かを判断することにより行われるものであってもよい。
【００７１】
［変形例２］
上述した変形例１では、モデル構成要求とともに受信した撮像画像に像が表れるフィギュアについてプリセットモデル情報が存在する場合に、該プリセットモデル情報のプリセットモデルデータを利用し、そのポージングを撮像画像に基づいて変更することで、スマートフォン１００に提供する３次元モデルのデータを構成する態様について説明した。しかしながら、本発明の実施はこれに限られるものではなく、プリセット元モデルのデータと、撮像画像の解析を行って構成された３次元モデルのデータとを組み合わせることで、スマートフォン１００に提供する３次元モデルのデータを構成するものであってもよい。
【００７２】
実施形態について前述した通り、本発明に係る鑑賞システムは、所望の状態のフィギュア３００の３次元モデル化を行い、ユーザの端末においてその鑑賞を可能ならしめるものである。即ち、ユーザによるフィギュア３００の状態変更の態様は、変形例１のようなポージングの変更に限られず、装飾品の組み換えや塗装の変更等の外観変更も含む。故に、プリセットモデルのデータのポージング変更では、所望の状態の３次元モデルのデータは必ずしも構成されない。一方で、装飾品等の３次元モデルのデータもモデルＤＢ２１１に同様に格納しておき、これを利用することで対応することも可能であるが、所望の外観となるようにユーザが自作した装飾品等も反映を可能ならしめるとの観点からも、全ての種類の装飾品のプリセットモデルのデータを網羅的にモデルＤＢ２１１に格納しておくことは現実的でない。従って、本変形例に係るサーバ２００のモデル構成処理は、以下のように行われればよい。
【００７３】
モデル構成要求をスマートフォン１００から受信した場合、モデル構成部２０４はサーバ制御部２０１の制御の下、モデルＤＢ２１１にプリセットモデル情報が管理されているフィギュア３００についてのモデル構成要求がなされたか否かを判断する。このとき、フィギュア３００の外観変更がなされている可能性もあるため、モデル構成部２０４は、撮像画像に表れるフィギュアの像について抽出した特徴との類似度が閾値を超える特徴情報を有するプリセットモデル情報がモデルＤＢ２１１に管理されているか否かで該判断を行う。
【００７４】
そしてモデル構成部２０４は、特徴情報の類似度が閾値を超えるプリセットモデル情報が存在する場合には、このうちの最も類似度が高いフィギュア（候補フィギュア）についてのモデル構成要求がなされたものとして３次元モデルのデータ構成を行う。より詳しくはモデル構成部２０４は、フィギュア３００の３次元モデルのデータ構成に際して、候補フィギュアに係るプリセットモデルのデータをベースとし、これに対して外観の差分に係る構成変更を行うことで、スマートフォン１００に提供する３次元モデルのデータを構成する。
【００７５】
ここで、候補フィギュアとの外観の差分に係る構成変更は、撮像画像中に表れるフィギュア３００の像のうち、候補フィギュアの特徴と一致しない部位について別の３次元モデルのデータが構成され、これを候補フィギュアのプリセットモデルのデータの該当部位に対して、適用、置換、組み込みを行うことにより実現される。即ち、モデル構成部２０４は、該一致しない部位については、撮像画像の解析に基づいて３次元モデルのデータを構成する。具体的にはモデル構成部２０４は、撮像画像中に表れるフィギュア３００の像のうち、候補フィギュアの特徴と一致しない領域を抽出し、該領域の物品についての形状推定、テクスチャ生成を含む処理を行って、該物品（装飾品・パーツ）の３次元モデルのデータを構成する。
【００７６】
このようにすることで、特定のフィギュアについては高精細のプリセットモデルのデータを利用可能としつつ、ユーザがフィギュアの入手後に行った外観変更を柔軟に反映させた状態としてスマートフォン１００に提供する３次元モデルのデータを構成することができる。
【００７７】
なお、上述した実施形態や変形例においては、いずれの物品であっても、本発明に係る鑑賞システムを利用することで、該物品の外観を反映させた３次元モデルのデータを容易に取得できるものとして説明したが、本発明の実施はこれに限られるものではない。例えば、対象物の販売促進の観点では、いずれの物品であっても３次元モデル化を許容するのではなく、サーバ２００に３次元モデル化が可能である物品種別の情報を予め登録しておき、対象物が予め登録された種別の物品であると判別された場合に限って３次元モデルのデータ構成に係る処理を実行するものとしてもよい。
【００７８】
［追加可能な実施形態］
（１）例えば、ゲームの背景や建物などの３次元モデルデータを予めスマートフォン側に提供しておき、フィギュアの３次元モデルを拡張現実感提示を行う態様で提示させる際に、これらの３次元モデルデータをともに表示させることで、より多彩な鑑賞を実現することができる。
【００７９】
（２）上記（１）のゲームの背景や建物などの３次元モデルデータの集合体を、ジオラマとしてパッケージ化して提供してもよい。当該ジオラマはオブジェクト全てを静止オブジェクトとして拡張現実感提示してもよいし、一部のオブジェクト（例えば背景で動いている鉄道など）を運動オブジェクトとして拡張現実感提示してもよい。その際、効果音などの音声を出力するものでもよい。
【００８０】
（３）さらに上記（２）のジオラマラマを構成するオブジェクト、あるいはフィギュアの３次元モデルを、ユーザの操作に応じて動作制御がなされている態様で拡張現実感提示させるようにしてもよい。
【００８１】
（４）フィギュアの３次元モデルおよび上記ジオラマ等を、単にスクリーンショットとしてではなく、拡張現実感提示を行う動画や、任意の端末上にて３次元的な鑑賞を可能ならしめる情報としてＳＮＳ等で他のユーザと共有できるようにしてもよい。
【００８２】
［その他の実施形態］
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、発明の要旨の範囲内で種々の変形・変更が可能である。また本発明に係る鑑賞システムは、１以上のコンピュータを該鑑賞システムとして機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供／配布することができる。
【符号の説明】
【００８３】
１００：スマートフォン、１０１：制御部、１０２：記録媒体、１０３：メモリ、１０４：撮像部、１０５：状態推定部、１０６：描画部、１０７：表示制御部、１０８：操作入力部、１０９：通信部、１１０：センサ、１２０：表示部、２００：サーバ、２０１：サーバ制御部、２０２：サーバ記録媒体、２０３：サーバメモリ、２０４：モデル構成部、２０５：サーバ通信部、２１１：モデルＤＢ、３００：フィギュア、４００：ネットワーク
【図１】
2020149733.tif 000003
【図２】
2020149733.tif 000004
【図３】
2020149733.tif 000005
【図４】
2020149733.tif 000006
【図５】
2020149733.tif 000007
【図６】
2020149733.tif 000008
【図７】
2020149733.tif 000009