(57)【要約】【課題】ユーザの負担を低減しつつ、複数の２次元画像から３次元形状を生成する。【解決手段】情報生成装置（１、１００）は、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得手段（１１、３０）と、ユーザ以外のものにより撮影され、対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得手段（１２、３０）と、ユーザ画像情報及び画像群情報に基づいて、ユーザ画像、及び取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、該推定された撮影条件、ユーザ画像情報及び画像群情報に基づいて、対象物の３次元形状に係る情報を生成する生成手段（１１、３０）と、を備える。【選択図】図１
2020194600.tif 000002
【特許請求の範囲】
【請求項１】
ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得手段と、
前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得手段と、
前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、前記推定された撮影条件、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記対象物の３次元形状に係る情報を生成する生成手段と、
を備えることを特徴とする情報生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば写真等の２次元画像から３次元形状を生成する情報生成装置及び方法、端末装置、コンピュータプログラム、並びに、該コンピュータプログラムが記録された記録媒体の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えば、対象物を撮影した動画像又は時系列的に連続的な画像列に基づいて撮影時のカメラ位置・姿勢情報を算出し、該算出されたカメラ位置・姿勢情報と対応する画像とを関連付け、予め登録されている上記対象物の３次元形状モデル上に、動画像又は画像列に含まれるテクスチャを投影する装置が提案されている（特許文献１参照）。
【０００３】
或いは、例えば非特許文献１として挙げたウェブページに記載されているように、対象物（一例としてローマ劇場）を撮影した複数の写真から、該対象物の３次元形状を復元する研究が進められている。或いは、対象物を撮影した複数の写真から該対象物の３次元形状を復元し、該復元された３次元形状から該対象物の３次元モデルを生成するソフトウェア及びサービスがウェブ上で提供されている（非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−６３０４１号公報
【非特許文献】
【０００５】
【非特許文献１】Sammeer et al.、“Building Rome in a Day”、［online］、［平成２６年４月２１日検索］、インターネット＜URL:  http://grail.cs.washington.edu/rome/＞
【非特許文献２】Michal et al.、”CMPMVS”、［online］、［平成２６年４月２１日検索］、インターネット＜URL:  http://ptak.felk.cvut.cz/sfmservice/?menu=cmpmvs＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年、３Ｄプリンタの販売価格が低下し、個人でも購入可能な価格となってきている。このため、個人が、複数の２次元画像に基づいて生成された３次元モデルを、例えばコンピュータにインストールされたビューワーソフトで観賞するだけでなく、３Ｄプリンタを用いて立体構造物として出力したいというニーズが生じる可能性がある。
【０００７】
しかしながら、上述の特許文献１に記載された技術では、対象物の３次元形状モデルを、３次元形状計測装置により予め計測してデータベースに登録しなければならないという技術的問題点がある。また、上述の非特許文献１及び２に記載された技術では、精度良く対象物の３次元形状を生成するためには、該対象物を撮影した２次元画像が大量に必要であるという技術的問題点がある（例えば非特許文献１によれば、ローマ劇場の３次元形状を生成するために、約２０００枚の写真が用いられている）。
【０００８】
本発明は、例えば上記問題点に鑑みてなされたものであり、比較的容易にして、複数の２次元画像から３次元形状を生成することができる情報生成装置及び方法、端末装置、コンピュータプログラム並びに記録媒体を提供することを課題とする。
【課題を解決するための手段】
【０００９】
本発明の請求項１に記載の情報生成装置は、上記課題を解決するために、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得手段と、前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得手段と、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、前記推定された撮影条件、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記対象物の３次元形状に係る情報を生成する生成手段と、を備える。
【００１０】
本発明の請求項７に記載の端末装置は、上記課題を解決するために、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得して、前記取得されたユーザ画像情報を、外部装置へ送信する送信手段と、（ｉ）前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報をコンピュータネットワークを介して取得し、（ｉｉ）前記送信されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、（ｉｉｉ）前記推定された撮影条件、前記送信されたユーザ画像情報及び前記取得された画像群情報に基づいて生成された前記対象物の３次元形状に係る情報を、前記外部装置から取得する情報取得手段と、前記取得された３次元形状に係る情報を提示する提示手段と、を備える。
【００１１】
本発明の請求項８に記載の情報生成方法は、上記課題を解決するために、情報生成装置によって使用される情報生成方法であって、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得工程と、前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得工程と、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、前記推定された撮影条件、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記対象物の３次元形状に係る情報を生成する生成工程と、を備える。
【００１２】
本発明の請求項９に記載のコンピュータプログラムは、上記課題を解決するために、コンピュータを、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得手段と、前記ユーザ以外のものにより撮影され、前記対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得手段と、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記ユーザ画像、及び前記取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、前記推定された撮影条件、前記取得されたユーザ画像情報及び前記取得された画像群情報に基づいて、前記対象物の３次元形状に係る情報を生成する生成手段と、として機能させる。
【００１３】
本発明の請求項１０に記載の記録媒体は、上記課題を解決するために、本発明のコンピュータプログラムが記録されている。
【００１４】
本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
【図面の簡単な説明】
【００１５】
【図１】第１実施例に係る情報生成装置の構成を示すブロック図である。
【図２】第１実施例に係る情報生成処理の概要を示すフローチャートである。
【図３】第１実施例に係る情報生成処理を示すフローチャートである。
【図４】ＳｆＭ技術を説明するためのフローチャートである。
【図５】第１実施例の第１変形例に係る情報生成処理を示すフローチャートである。
【図６】第１実施例の第２変形例に係る情報生成処理を示すフローチャートである。
【図７】第２実施例に係る情報生成装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
本発明の情報生成装置等に係る実施形態について説明する。
【００１７】
（情報生成装置）
実施形態に係る情報生成装置は、第１取得手段、第２取得手段及び生成手段を備えて構成されている。
【００１８】
第１取得手段は、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する。
【００１９】
第２取得手段は、ユーザ以外のものにより撮影され、ユーザ画像に含まれる対象物を夫々含む複数の画像を含んでなる画像群情報を取得する。ここで、「ユーザ以外のもの」とは、ユーザ以外の人に限らず、例えば監視カメラ等の自動撮影装置も含む概念である。
【００２０】
例えばメモリ、プロセッサ等を備えてなる生成手段は、取得されたユーザ画像情報及び取得された画像群情報に基づいて、ユーザ画像、及び取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定する。生成手段は、更に、該推定された撮影条件、取得されたユーザ画像情報及び取得された画像群情報に基づいて、対象物の３次元形状に係る情報を生成する。
【００２１】
生成手段は、具体的には例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）等の公知の技術を用いて、ユーザ画像及び画像群情報に含まれる複数の画像から、該ユーザ画像及び複数の画像各々の撮影時の撮影条件を推定する。例えばＳｆＭでは、撮影条件が推定される過程で、画像を構成する画素の集合である点群（ポイントクラウド）の３次元座標位置が得られるの。生成手段は、例えば点群から一又は面を形成すると共に、該形成された一又は複数の面に、ユーザ画像情報及び画像群情報に基づいて色情報を付加することにより、対象物の３次元形状に係る情報を生成する。
【００２２】
上述の如く、本実施形態に係る情報生成装置では、対象物の３次元形状に係る情報を生成するために、ユーザ画像に加えて、ユーザ以外のものにより撮影された複数の画像が用いられている。つまり、対象部の３次元形状に係る情報を生成するために、個人であるユーザ自身が、対象物を含む画像を大量に撮影する必要がない。
【００２３】
従って、本実施形態に係る情報生成装置によれば、ユーザの撮影負担を抑制しつつ、比較的容易にして、複数の２次元画像から３次元形状に係る情報を生成することができる。
【００２４】
実施形態に係る情報生成装置の一態様では、生成手段は、取得された画像群情報に基づいて、該取得された画像群情報に含まれる複数の画像各々の撮影時の撮影条件である第１撮影条件を推定すると共に、取得された画像群情報、推定された第１撮影条件及び取得されたユーザ画像情報に基づいて、ユーザ画像の撮影時の撮影条件である第２撮影条件を推定する推定手段を有し、取得された画像群情報、取得されたユーザ画像情報、推定された第１撮影条件及び推定された第２撮影条件に基づいて、対象物の３次元形状に係る情報を生成する。
【００２５】
この態様によれば、例えば第１撮影条件を推定する処理と、第２撮影条件を推定する処理とを、別々の時間帯に実施することができる。このため、例えばコンピュータネットワークの負荷の少ない時間帯に、画像群情報を取得すると共に、該取得された画像群情報に基づいて第１撮影条件を推定し、ユーザの活動時間帯に、ユーザ画像等に基づいて第２撮影条件を推定する等により、ユーザが体感する処理時間を低減することができる。
【００２６】
実施形態に係る情報生成装置の他の態様では、第２取得手段は、画像群情報に含まれる複数の画像の少なくとも一部を、コンピュータネットワークを介して取得する。
【００２７】
この態様によれば、第２取得手段は、例えばインターネット等のコンピュータネットワーク上に散在する複数の画像のうち、ユーザ画像に含まれる対象物を含む画像を、画像群情報の少なくとも一部として取得する。このように構成すれば、比較的容易にして、蒸気対象物を含む画像を比較的多く収集することができ、実用上非常に有利である。
【００２８】
実施形態に係る情報生成装置の他の態様では、取得されたユーザ画像情報及び取得された画像群情報から、対象物に係るテクスチャを生成するテクスチャ生成手段を更に備え、該テクスチャ生成手段は、生成された３次元形状に係る情報により示される３次元形状の一の部分に対応するテクスチャが、取得されたユーザ画像情報及び取得された画像群情報のいずれからも生成可能な場合、取得されたユーザ画像情報から生成されたテクスチャを選択する。
【００２９】
この態様によれば、テクスチャが付加された３次元形状のモデルの外観に起因して、ユーザが違和感を覚える可能性を低減することができ、実用上非常に有利である。
【００３０】
この態様では、テクスチャ生成手段は、生成された３次元形状に係る情報により示される３次元形状の第１部分に対応するテクスチャが、取得されたユーザ画像情報から生成された第１テクスチャであり、該第１部分に隣接する第２部分に対応するテクスチャが、取得された画像群情報から生成された第２テクスチャである場合、生成された第２テクスチャに係る特徴を、生成された第１テクスチャに係る特徴に応じて変更してよい。
【００３１】
このように構成すれば、テクスチャが付加された３次元形状のモデルの外観を、より自然なものとすることができ、実用上非常に有利である。
【００３２】
実施形態に係る情報生成装置の他の態様では、取得された画像群情報と、推定された画像群情報に含まれる複数の画像各々の撮影時の撮影条件と、を記憶する記憶手段を更に備える。
【００３３】
この態様によれば、当該情報生成装置が、例えばウェブ上のサービスシステムに適用される場合、一のユーザが、他のユーザが過去に３次元形状に係る情報を生成した対象物と同一の対象物について、３次元形状に係る情報の生成を望む際に、過去に取得された画像群情報や推定された撮影条件を用いることができるので、例えば当該情報生成装置の処理負荷を低減することができ、実用上非常に有利である。
【００３４】
（端末装置）
実施形態に係る端末装置は、送信手段、情報取得手段及び提示手段を備えて構成されている。
【００３５】
送信手段は、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得して、該取得されたユーザ画像情報を、外部装置へ送信する。ここで、「外部装置」は、当該端末装置と異なる装置であればよく、例えば当該端末装置とフラットケーブル等により接続された装置、或いは、例えば当該端末装置とネットワークを介して接続されたサーバ装置、等である。
【００３６】
外部装置は、（ｉ）ユーザ以外のものにより撮影され、対象物を夫々含む複数の画像を含んでなる画像群情報をコンピュータネットワークを介して取得し、（ｉｉ）送信されたユーザ画像情報及び取得された画像群情報に基づいて、ユーザ画像、及び画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、（ｉｉｉ）該推定された撮影条件、送信されたユーザ画像情報及び取得された画像群情報に基づいて対象物の３次元形状に係る情報を生成する。
【００３７】
情報取得手段は、外部装置により生成された対象物の３次元形状に係る情報を、該外部装置から取得する。提示手段は、取得された３次元形状に係る情報を提示する。
【００３８】
本実施形態に係る端末装置によれば、上述した実施形態に係る情報生成装置と同様に、ユーザの撮影負担を抑制しつつ、比較的容易にして、複数の２次元画像から３次元形状に係る情報を生成することができる。尚、本実施形態に係る端末装置においても、上述した実施形態に係る情報生成装置の各種態様と同様の各種態様を採ることができる。
【００３９】
（情報生成方法）
実施形態に係る情報生成方法は、情報生成装置によって使用される情報生成方法である。当該情報生成方法は、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得工程と、ユーザ以外のものにより撮影され、対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得工程と、該取得されたユーザ画像情報及び取得された画像群情報に基づいて、ユーザ画像、及び取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、該推定された撮影条件、取得されたユーザ画像情報及び取得された画像群情報に基づいて、対象物の３次元形状に係る情報を生成する生成工程と、を備える。
【００４０】
本実施形態に係る情報生成方法によれば、上述した実施形態に係る情報生成装置と同様に、ユーザの撮影負担を抑制しつつ、比較的容易にして、複数の２次元画像から３次元形状に係る情報を生成することができる。尚、本実施形態に係る情報生成方法においても、上述した実施形態に係る情報生成装置の各種態様と同様の各種態様を採ることができる。
【００４１】
（コンピュータプログラム）
実施形態に係るコンピュータプログラムは、コンピュータを、ユーザにより撮影され、対象物を含むユーザ画像に係る情報であるユーザ画像情報を取得する第１取得手段と、ユーザ以外のものにより撮影され、対象物を夫々含む複数の画像を含んでなる画像群情報を取得する第２取得手段と、該取得されたユーザ画像情報及び取得された画像群情報に基づいて、ユーザ画像、及び取得された画像群情報に含まれる複数の画像の各々の撮影時の撮影条件を推定し、該推定された撮影条件、取得されたユーザ画像情報及び取得された画像群情報に基づいて、対象物の３次元形状に係る情報を生成する生成手段と、として機能させる。
【００４２】
実施形態に係るコンピュータプログラムによれば、当該コンピュータプログラムを格納するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（ＤＶＤ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体から、当該コンピュータプログラムを、情報生成装置に備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してダウンロードさせた後に実行させれば、上述した実施形態に係る情報生成装置を比較的容易にして実現できる。これにより、上述した実施形態に係る情報生成装置と同様に、過去に撮影された第１画像についての撮影条件を推定することができる。
【００４３】
上記、実施形態に係るコンピュータプログラムが格納されたＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等が、本発明の記録媒体に係る実施形態の一例である。
【実施例】
【００４４】
本発明の情報生成装置に係る実施例を、図面に基づいて説明する。
【００４５】
＜第１実施例＞
第１実施例に係る情報生成装置の構成について、図１を参照して説明する。図１は、第１実施例に係る情報生成装置の構成を示すブロック図である。
【００４６】
図１において、情報生成装置１は、例えばメモリ、プロセッサ等を備えてなるデータ処理部１１と、通信部１２と、表示部１３と、当該情報生成装置１のユーザが撮影した画像であるユーザ画像により構築されたユーザ画像群を含むデータベース２０と、を備えて構成されている。
【００４７】
尚、データベース２０には、ユーザ画像群に限らず、例えば、ユーザがネットワーク３を介してダウンロードした画像、ユーザが知人から譲り受けた画像、等も含まれていてよい。
【００４８】
情報生成装置１は、通信部１２を介して、例えばインターネット等の広域ネットワークや、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の挟域ネットワークを含んでなるネットワーク３に接続されている。そして、情報生成装置１は、ネットワーク３上に存在する画像群２にアクセス可能に構成されている。
【００４９】
画像群２に含まれる複数の画像各々は、典型的には、当該情報生成装置１がネットワーク３を介してアクセス可能な複数の装置の少なくとも一部に格納されているが、一つのサーバ装置に格納されていてもよい。
【００５０】
ここで、本実施例では、画像群２に含まれる複数の画像のうち、同一の対象物を夫々含む複数の画像を、「基本画像群」と称する。図１において、基本画像群に付与された符号Ａ、Ｂ、…、Ｘは、対象物が異なっていることを示している。具体的には例えば、「基本画像群Ａ」が、所謂三大ピラミッドを対象物としている基本画像群であり、「基本画像群Ｂ」が、富士山を対象物としている基本画像群であってよい。
【００５１】
次に、情報生成装置１における情報生成処理の概要について、図２のフローチャートを参照して説明する。
【００５２】
図２において、先ず、データ処理部１１は、ユーザにより指定された一又は複数のユーザ画像を、データベース２０から取得する（ステップＳ１０１）。ここで、ユーザにより複数のユーザ画像が指定された場合、該指定された複数の画像には同一の対象物が含まれているものとする。該対象物は、ユーザが３次元形状の復元を所望する対象物である。
【００５３】
次に、データ処理部１１は、取得された一又は複数のユーザ画像に含まれる一の対象物の、例えば名称、場所名及び位置情報等の該一の対象物を特定する対象物情報を取得する。ここで、データ処理部１１が一の対象物情報を自動的に取得できない場合、該データ処理部１１は、例えば一の対象物を特定できない旨のメッセージ等を、表示部１３上に提示すると共に、ユーザに該一の対象物に係る情報の入力を促す。データ処理部１１は、ユーザにより入力された情報から、対象物情報を取得する。
【００５４】
続いて、データ処理部１１は、通信部１２及びネットワーク３を介して、取得された対象物情報に関連付けられた基本画像群を検索する（ステップＳ１０２）。続いて、データ処理部１１は、検索された基本画像群を構成する複数の画像を取得し、該取得された複数の画像各々のカメラパラメータを推定し、該取得された複数の画像各々の撮影時のカメラ位置及び姿勢を推定する。（ステップＳ１０３）。
【００５５】
本実施例では、カメラパラメータの推定に、ＳｆＭを利用している。尚、ＳｆＭは、未知環境下で移動するロボット等の自己位置推定やマッピングに使用される場合には、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）やＶｉｓｕａｌ  ＳＬＡＭと呼ばれることがある。
【００５６】
ここで、ＳｆＭの概要について、図４のフローチャートを参照して説明を加える。
【００５７】
図４において、先ず、複数の撮影画像が取り込まれた後（ステップＳ９０１）、取り込まれた複数の撮影画像各々の特徴点が検出される（ステップＳ９０２）。次に、２枚の画像ペアの各特徴点を比較することにより、該特徴点のうち一致する特徴点が対応点として検出される（このような処理を、適宜“マッチング”と称する）（ステップＳ９０３）。
【００５８】
尚、マッチングには、例えば近似最近傍探索（S. Arya et al. “An optimal algorithm for approximate nearest neighbor searching”, Journal of the AMC, 45, 6, pp.891-923 (1998)参照）等を適用可能である。
【００５９】
次に、検出された対応点から、２枚の画像ペアを撮影したカメラのカメラパラメータ（例えば基礎行列、基本行列、内部パラメータ等）が推定される（ステップＳ９０４）。尚、カメラパラメータの推定には、例えば８点アルゴリズム（“ディジタル画像処理” CG-ARTS協会、ISBN4-906665-47-0 p266参照）、ＤＬＴ法（Y.I. Abdel-Aziz et al. “Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry.  In Proceedings of the Symposium on Close-Range Photogrammetry”, pp-1-18. American Society of Photogrammetry, Falls Church, 1971参照）等を適用可能である。
【００６０】
次に、推定されたカメラパラメータに基づいて、カメラの位置及び姿勢が求められると共に（ステップＳ９０５）、対象物の特徴点の３次元位置が求められる（ステップＳ９０６）。尚、カメラの位置及び姿勢は、例えばカメラパラメータの一つである基本行列が、特異値分解（R. Hartley et al. “Mutiview Geometry in computer vision”, 2nd Edition, Cambridge University Press, 2004参照）により、回転行列と並進ベクトルとに分解されることにより求められてよい。
【００６１】
再び図２に戻り、ステップＳ１０３の処理の後、データ処理部１１は、ステップＳ１０１の処理において取得された一又は複数のユーザ画像と、ステップＳ１０２の処理において取得された基本画像群を構成する複数の画像と、該複数の画像各々の撮影時のカメラ位置及び姿勢と、に基づいて、該取得された一又は複数のユーザ画像各々の撮影時のカメラ位置及び姿勢を推定する。
【００６２】
そして、データ処理部１１は、一又は複数のユーザ画像各々の撮影時のカメラ位置及び姿勢と、基本画像群を構成する複数の画像各々の撮影時のカメラ位置及び姿勢と、に基づいて、一又は複数のユーザ画像及び基本画像群を構成する複数の画像各々に含まれる一の対象物の特徴点の３次元座標位置を算出する（ステップＳ１０４）。
【００６３】
次に、データ処理部１１は、３次元座標における上記特徴点の集合である点群（ポイントクラウド）からパッチ（メッシュ）を生成することにより、一の対象物に係る３次元パッチモデルを生成する（ステップＳ１０５）。続いて、データ処理部１１は、生成されたパッチに、一又は複数のユーザ画像及び基本画像群を構成する複数の画像から生成したテクスチャをマッピングすることにより、一の対象物に係る色情報が付加された３次元形状モデルを生成する（ステップＳ１０６）。
【００６４】
上記ステップＳ１０５及びＳ１０６の処理には、例えば３次元ドロネー三角形分割等の公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。尚、テクスチャマッピングの際に、相互に隣接する二つのパッチに、夫々異なる画像から生成されたテクスチャがマッピングされると、該二つのパッチの境界の模様に不整合が生じることがある。この問題に対して、例えば、飯山  将晃他、「複数視点画像からのテクスチャマッピングにおける模様の整合性の保存」、電気情報通信学会論文誌  Ｄ  Ｖｏｌ．Ｊ９３−Ｄ  Ｎｏ．８  ｐｐ．１４３９−１４４９（２０１０）等の技術が提案されている。
【００６５】
以上説明したように、本実施例に係る情報生成装置１によれば、対象物の３次元形状を復元するために、ネットワーク３上に存在する該対象物を含む複数の画像が取得される。従って、ユーザ自身が、上記対象物を含む画像を、例えば数千枚等、大量に撮影する必要がない。このため、特に、個人であるユーザの負担を抑制しつつ、例えば所謂三大ピラミッド等の大規模な対象物の３次元形状の復元を比較的精度良く行うことができる。
【００６６】
次に、本実施例に係る情報生成装置１における情報生成処理の詳細について、図３のフローチャートを参照して説明を加える。
【００６７】
図３において、先ず、データ処理部１１は、ユーザにより指定された一又は複数のユーザ画像を、データベース２０から取得する（ステップＳ２０１）。続いて、データ処理部１１は、取得された一又は複数のユーザ画像に含まれる一の対象物に係る対象物情報を取得する（ステップＳ２０２）。
【００６８】
次に、データ処理部１１は、通信部１２及びネットワーク３を介して、取得された対象物情報に関連付けられた基本画像群を検索して取得する（ステップＳ２０３）。続いて、データ処理部１１は、取得された基本画像群を構成する複数の画像各々のカメラパラメータを推定する（ステップＳ２０４）。続いて、データ処理部１１は、推定されたカメラパラメータから、上記複数の画像各々の撮影時のカメラ位置及び姿勢を推定する（ステップＳ２０５）。
【００６９】
次に、データ処理部１１は、一又は複数のユーザ画像と、上記複数の画像と、該複数の画像各々のカメラパラメータと、に基づいて、一又は複数のユーザ画像各々のカメラパラメータを推定する（ステップＳ２０６）。
【００７０】
具体的には、データ処理部１１は、上記複数の画像及び一又は複数のユーザ画像各々の特徴点を抽出し、画像間の特徴点マッチングを行う。この際、既に推定されている複数の画像各々のカメラパラメータは固定値として扱い、一又は複数のユーザ画像各々のカメラパラメータのみを推定する。より具体的には、データ処理部１１は、一又は複数のユーザ画像各々の特徴点の再投影誤差が最小になるようなカメラパラメータを、該一又は複数のユーザ画像各々のカメラパラメータと推定する。
【００７１】
次に、データ処理部１１は、該推定されたカメラパラメータから、一又は複数のユーザ画像各々の撮影時のカメラ位置及び姿勢を推定する（ステップＳ２０７）。続いて、データ処理部１１は、上記複数の画像及び一又は複数のユーザ画像各々から抽出された特徴点を、上記ステップＳ２０４及びＳ２０６の処理において推定されたカメラパラメータに基づいて、３次元空間に投影し、該投影された各特徴点の３次元座標を算出する（ステップＳ２０８）。
【００７２】
次に、データ処理部１１は、算出された３次元座標に基づいてパッチを生成する（ステップＳ２０９）。続いて、データ処理部１１は、上記ステップＳ２０５及びＳ２０７の処理において推定された撮影時のカメラ位置及び姿勢に基づいて、生成された一のパッチが、ユーザ画像の撮影時にユーザのカメラから見えていた対象物の部分に対応するか否かを判定する（ステップＳ２１０）。
【００７３】
撮影時にユーザのカメラから見えていた対象物の部分に対応していると判定された場合（ステップＳ２１０：Ｙｅｓ）、データ処理部１１は、一又は複数のユーザ画像のうち、一のパッチに対応するユーザ画像に、該一のパッチの頂点を投影し、該投影された頂点により囲まれた領域をテクスチャとして生成して、該一のパッチに付加する（ステップＳ２１１）。
【００７４】
他方、撮影時にユーザのカメラから見えていた対象物の部分に対応していないと判定された場合（ステップＳ２１０：Ｎｏ）、データ処理部１１は、基本画像群を構成する複数の画像のうち、一のパッチに対応する画像からテクスチャを生成して、該一のパッチに付加する（ステップＳ２１２）。
【００７５】
次にデータ処理部１１は、全てのパッチにテクスチャが付加されたか否かを判定する（ステップＳ２１３）。全てのパッチにテクスチャが付加されたと判定された場合（ステップＳ２１３：Ｙｅｓ）、データ処理部１１は処理を終了する。他方、全てのパッチにテクスチャが付加されていないと判定された場合（ステップＳ２１３：Ｎｏ）、データ処理部１１は、上記ステップＳ２１０の処理を実施する。
【００７６】
＜第１変形例＞
次に、第１実施例に係る情報生成装置１の第１変形例について、図５のフローチャートを参照して説明する。
【００７７】
本変形例では、ユーザが３次元形状の復元を望む対象物を、対象物としている基本画像群を構成する複数の画像各々の特徴点、画像間の特徴点の対応関係、該複数の画像各々のカメラパラメータ並びに撮影時のカメラ位置及び姿勢が、予め対応付けられており、例えば、本発明に係る「記憶手段」の一例としての、データベース２０に格納されているものとする。
【００７８】
このため、本変形例に係る情報生成処理では、図３におけるステップＳ２０４及びＳ２０５の処理が省略される。つまり、基本画像群を構成する複数の画像各々のカメラパラメータの推定（図３におけるステップＳ２０４）、並びに撮影時のカメラ位置及び姿勢の推定（図３におけるステップＳ２０５）が、情報生成処理とは異なる他の処理として実施される。
【００７９】
このように構成すれば、情報生成処理の高速化を図ることができ、実用上非常に有利である。尚、データベース２０に予め格納された基本画像群に係るカメラパラメータ等は、例えばステップＳ２０３の処理において、基本画像群と一緒に取得されてよい。
【００８０】
＜第２変形例＞
次に、第１実施例に係る情報生成装置１の第２変形例について、図６のフローチャートを参照して説明する。
【００８１】
本変形例では、上述したステップＳ２１０の処理において、撮影時にユーザのカメラから見えていた対象物の部分に対応していないと判定された場合（ステップＳ２１０：Ｎｏ）、データ処理部１１は、一のパッチに隣接するパッチに付加されたテクスチャがユーザ画像から生成されたか否かを判定する（ステップＳ３０１）。
【００８２】
隣接するパッチに付加されたテクスチャがユーザ画像から生成されたと判定された場合（ステップＳ３０１：Ｙｅｓ）、データ処理部１１は、一のパッチのテクスチャ生成に用いられる画像の特徴を、隣接するパッチに付加されたテクスチャの生成に用いられたユーザ画像の特徴に合わせて変更する（ステップＳ３０２）。続いて、データ処理部１１は、変更された画像を用いて一のパッチに対応するテクスチャを生成して、該一のパッチに付加する（ステップＳ２１２）。
【００８３】
他方、隣接するパッチに付加されたテクスチャがユーザ画像から生成されていないと判定された場合（ステップＳ３０１：Ｎｏ）、データ処理部１１は、ステップＳ２１２の処理を実施する。
【００８４】
このように構成すれば、生成された３次元形状モデルの色の変化を自然なものとすることができ、実用上非常に有利である。
【００８５】
＜第２実施例＞
本発明の情報生成装置に係る第２実施例について、図７を参照して説明する。第２実施例では、情報生成装置（システム）が、ネットワークを介して互いに接続された端末装置及びサーバ装置を備えて構成されている以外は、上述した第１実施例と同様である。よって、第２実施例について、第１実施例と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図７を参照して説明する。図７は、第２実施例に係る情報生成装置の構成を示すブロック図である。
【００８６】
図７において、情報生成システム１００は、ネットワーク３を介して互いに接続された端末装置１０と、本発明に係る「外部装置」の一例としての、サーバ装置３０とを備えて構成されている。
【００８７】
端末装置１０は、通信部１２、表示部１３及びデータベース２０を備えて構成されている。ここで、本実施例に係る「通信部１２」は、本発明に係る「送信手段」及び「情報取得手段」の一例である。本実施例に係る「表示部１３」は、本発明に係る「提示手段」の一例である。
【００８８】
当該情報生成システム１００における情報生成処理は、基本的には、上述した図２及び図３のフローチャートにより示される情報生成処理と同様である。
【００８９】
具体的には、端末装置１０の通信部１２は、ユーザにより指定された一又は複数のユーザ画像をデータベース２０から取得し、ネットワーク３を介して、サーバ装置３０に送信する。この結果、サーバ装置３０は、一又は複数のユーザ画像を取得する（ステップＳ２０１）。
【００９０】
次に、サーバ装置３０は、取得された一又は複数のユーザ画像に含まれる一の対象物に係る対象物情報を取得する（ステップＳ２０２）。続いて、サーバ装置３０は、ネットワーク３を介して、取得された対象物情報に関連付けられた基本画像群を検索して取得する（ステップＳ２０３）。
【００９１】
次に、サーバ装置３０は、取得された基本画像群を構成する複数の画像各々のカメラパラメータを推定する（ステップＳ２０４）。続いて、サーバ装置３０は、推定されたカメラパラメータから、上記複数の画像各々の撮影時のカメラ位置及び姿勢を推定する（ステップＳ２０５）。
【００９２】
次に、サーバ装置３０は、一又は複数のユーザ画像と、上記複数の画像と、該複数の画像各々のカメラパラメータと、に基づいて、一又は複数のユーザ画像各々のカメラパラメータを推定する（ステップＳ２０６）。続いて、サーバ装置３０は、一又は複数のユーザ画像各々のカメラパラメータから、該一又は複数のユーザ画像各々の撮影時のカメラ位置及び姿勢を推定する（ステップＳ２０７）。
【００９３】
次に、サーバ装置３０は、上記複数の画像、及び一又は複数のユーザ画像各々から抽出された特徴点を、上記ステップＳ２０４及びＳ２０６の処理において推定されたカメラパラメータに基づいて、３次元空間に投影し、該投影された各特徴点の３次元座標を算出する（ステップＳ２０８）。
【００９４】
次に、サーバ装置３０は、算出された３次元座標に基づいてパッチを生成する（ステップＳ２０９）。続いて、サーバ装置３０は、図３におけるステップＳ２１０〜Ｓ２１３の処理を実施して、生成された各パッチにテクスチャを付加する。
【００９５】
その後、サーバ装置３０は、一の対象物に係る色情報（テクスチャ）が付加された３次元形状モデルに係る情報を、ネットワーク３を介して、端末装置１０に送信する。端末装置１０の通信部１２は、該送信された３次元形状モデルに係る情報を受信する。続いて、端末装置１０は、受信された３次元形状モデルに係る情報を、表示部１３上に表示することにより、該端末装置１０のユーザに提示する。
【００９６】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報生成装置及び方法、コンピュータプログラム並びに記録媒体もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００９７】
１…情報生成装置、２…画像群、３…ネットワーク、１０…端末装置、１１…データ処理部、１２…通信部、１３…表示部、２０…データベース、３０…サーバ装置、１００…情報生成システム
【図１】
2020194600.tif 000003
【図２】
2020194600.tif 000004
【図３】
2020194600.tif 000005
【図４】
2020194600.tif 000006
【図５】
2020194600.tif 000007
【図６】
2020194600.tif 000008
【図７】
2020194600.tif 000009