(57)【要約】【課題】依頼者に手間をかけさせることなく、依頼者により指定された画像情報に対して類似度の高い３次元データを得ること。【解決手段】本開示に係る情報処理装置は、３次元モデルに関する３次元データと２次元入力画像との入力を受け付ける入力部と、前記３次元データに基づき、仮想空間に配置された前記３次元モデルを所与の視点から見た外観を示す２次元作成画像を生成する画像生成部と、前記２次元作成画像と前記２次元入力画像との類似度を出力する出力部と、を含む。【選択図】図１
2018055506.tif 000002
【特許請求の範囲】
【請求項１】
３次元モデルに関する３次元データと２次元入力画像との入力を受け付ける入力部と、
前記３次元データに基づき、仮想空間に配置された前記３次元モデルを所与の視点から見た外観を示す一又は複数の２次元作成画像を生成する画像生成部と、
前記２次元作成画像と前記２次元入力画像との類似度を出力する出力部と、を含む、
情報処理装置。
【請求項２】
前記画像生成部は、複数の前記２次元作成画像を生成し、
前記出力部は、複数の前記２次元作成画像のそれぞれと前記２次元入力画像との類似度の内、最も高い類似度を出力する、
請求項１に記載の情報処理装置。
【請求項３】
複数の前記２次元作成画像のそれぞれと前記２次元入力画像との類似度を算出し、最も類似度が高い２次元作成画像を複数の前記２次元作成画像の中から抽出する抽出部を更に備える、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記入力部は、複数の２次元入力画像の入力を受け付け、  
前記抽出部は、前記複数の２次元入力画像のそれぞれについて、複数の前記２次元作成画像の中から最も類似度が高い２次元作成画像を前記複数の２次元入力画像の数に応じて抽出し、
前記抽出部により抽出された複数の前記２次元作成画像と前記複数の２次元入力画像との各類似度の平均値を算出する演算部を更に含み、
前記出力部は、前記演算部が算出した前記平均値を出力する、
請求項３に記載の情報処理装置。
【請求項５】
前記平均値は、前記複数の２次元入力画像の内、特徴部を含む２次元入力画像に対して重み付けされた重み付け平均値を含む、
請求項４に記載の情報処理装置。
【請求項６】
前記入力部が入力を受け付ける前記２次元入力画像には、特徴部が含まれているか否かについての重み付け情報が付加されている、
請求項５に記載の情報処理装置。
【請求項７】
前記抽出部により抽出された前記２次元作成画像を複数の領域に分割する分割部を更に含み、
前記演算部は、前記複数の領域に対する前記２次元入力画像との類似度を算出し、
前記出力部は、前記複数の領域の内、類似度が所定の値よりも低い領域の表示を、他の領域の表示と異ならせる、
請求項３乃至６のいずれかに記載の情報処理装置。
【請求項８】
前記出力部は、前記類似度が所定の値よりも低い領域に着色をして表示する、
請求項７に記載の情報処理装置。
【請求項９】
前記２次元入力画像は写真である、
請求項１乃至８のいずれかに記載の情報処理装置。
【請求項１０】
３次元モデルに関する３次元データと２次元入力画像との入力を受け付ける入力ステップと、
前記３次元データに基づき、仮想空間に配置された前記３次元モデルを所与の視点から見た外観を示す２次元作成画像を生成する画像生成ステップと、
前記２次元作成画像と前記２次元入力画像との類似度を出力する出力ステップと、を含む、
情報処理方法。
【請求項１１】
コンピュータに、
３次元モデルに関する３次元データと２次元入力画像との入力を受け付ける入力ステップと、
前記３次元データに基づき、仮想空間に配置された前記３次元モデルを所与の視点から見た外観を示す２次元作成画像を生成する画像生成ステップと、
前記２次元作成画像と前記２次元入力画像との類似度を出力する出力ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
下記特許文献１には、依頼者により指定された複数の画像情報等を用いて３次元形状モデルを生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−４４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の情報処理装置では、依頼者に手間をかけさせる必要があった。即ち、上記従来の構成によれば、出来上がった３次元形状モデルの品質、具体的には依頼者により指定された画像情報と３次元形状モデルとが似ていることを担保するために、事前に３次元データを依頼者に送付し、似ていない場合には修正依頼を受けるなど、依頼者と連絡のやり取りを行う必要があり、依頼者に手間をかけさせてしまっていた。
【０００５】
本開示は、上記問題点に鑑みてなされたものであり、その目的は、依頼者に手間をかけさせることなく、依頼者により指定された画像情報に対して類似度の高い３次元データを得ることである。
【課題を解決するための手段】
【０００６】
（１）本開示に係る情報処理装置は、３次元モデルに関する３次元データと２次元入力画像との入力を受け付ける入力部と、前記３次元データに基づき、仮想空間に配置された前記３次元モデルを所与の視点から見た外観を示す２次元作成画像を生成する画像生成部と、前記２次元作成画像と前記２次元入力画像との類似度を出力する出力部と、を含む。
【０００７】
（２）上記（１）の情報処理装置において、前記画像生成部は、前記仮想空間に配置された前記３次元モデルを複数の視点から見た外観を示す、複数の２次元作成画像を生成し、前記出力部は、前記複数の２次元作成画像のそれぞれと前記２次元入力画像との類似度の内、最も高い類似度を出力してもよい。
【０００８】
（３）上記（１）又は（２）の情報処理装置において、前記複数の２次元作成画像のそれぞれと前記２次元入力画像との類似度を算出し、最も類似度が高い２次元作成画像を前記複数の２次元作成画像の中から抽出する抽出部を更に備えてもよい。
【０００９】
（４）上記（３）の情報処理装置において、前記入力部は、複数の２次元入力画像の入力を受け付け、前記抽出部は、前記複数の２次元入力画像のそれぞれについて、前記複数の２次元作成画像の中から最も類似度が高い２次元作成画像を前記複数の２次元入力画像の数に応じて抽出し、前記抽出部により抽出された前記複数の２次元作成画像と前記複数の２次元入力画像との各類似度の平均値を算出する演算部を更に含み、前記出力部は、前記演算部が算出した前記平均値を出力してもよい。
【００１０】
（５）上記（４）の情報処理装置において、前記平均値は、前記複数の２次元入力画像の内、特徴部を含む２次元入力画像に対して重み付けされた重み付け平均値を含んでもよい。
【００１１】
（６）上記（５）の情報処理装置において、前記入力部が入力を受け付ける前記２次元入力画像には、特徴部が含まれているか否かについての重み付け情報が付加されてもよい。
【００１２】
（７）上記（３）〜（６）の情報処理装置において、前記抽出部により抽出された前記２次元作成画像を複数の領域に分割する分割部を更に含み、前記演算部は、前記複数の領域に対する前記２次元入力画像との類似度を算出し、前記出力部は、前記複数の領域の内、類似度が所定の値よりも低い領域の表示を、他の領域の表示と異ならせてもよい。
【００１３】
（８）上記（７）の情報処理装置において、前記出力部は、前記類似度が所定の値よりも低い領域に着色をして表示してもよい。
【００１４】
（９）上記（１）〜（８）の情報処理装置において、前記２次元入力画像は写真であってもよい。
【００１５】
（１０）本開示に係る情報処理方法は、３次元モデルに関する３次元データと２次元入力画像との入力を受け付ける入力ステップと、前記３次元データに基づき、仮想空間に配置された前記３次元モデルを所与の視点から見た外観を示す２次元作成画像を生成する画像生成ステップと、前記２次元作成画像と前記２次元入力画像との類似度を出力する出力ステップと、を含む。
【００１６】
（１１）本開示に係るプログラムは、コンピュータに、３次元モデルに関する３次元データと２次元入力画像との入力を受け付ける入力ステップと、前記３次元データに基づき、仮想空間に配置された前記３次元モデルを所与の視点から見た外観を示す２次元作成画像を生成する画像生成ステップと、前記２次元作成画像と前記２次元入力画像との類似度を出力する出力ステップと、を実行させる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本実施形態に係る情報処理装置の概略図である。
【図２】図２は、本実施形態に係る情報処理方法のフローチャートである。
【図３】図３は、本実施形態に係る情報処理方法における演算ステップの概念を示す図である。
【図４】図４は、本実施形態に係る情報処理方法における演算ステップの概念を示す図である。
【発明を実施するための形態】
【００１８】
［第１の実施形態］
本開示の実施形態について、図面を用いて以下に説明する。
【００１９】
図１は、本実施形態に係る情報処理装置の概略図である。
【００２０】
図１に示すように、情報処理装置１００はサーバー装置であり、依頼者のコンピュータ、及び３次元データを作成するモデラーのコンピュータとデータの送受信を行う通信部７０と、情報処理装置１００全体を制御する制御部４０と、当該制御に用いられるプログラム等を記憶する記憶部５０と、を含む。本開示において、３次元データとは、例えば３次元ＣＡＤ（computer-aided design）データ、３次元ＣＧ（computer graphics）データ等を含む。
【００２１】
（通信部７０）
通信部７０は、有線又は無線により、依頼者、及びモデラーのコンピュータとデータの送受信を行う。通信部７０は、例えばＬＡＮ（Local Area Network）、Ｗｉ−Ｆｉ（Wireless Fidelity、登録商標）、電話回線、ブロードバンドネットワーク等を用いて、外部機器と直接又は間接的に通信する。
【００２２】
（制御部４０）
制御部４０は、記憶部５０に保存された各種プログラムに従って、情報処理装置１００の動作全般を制御する。制御部４０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。なお、制御部４０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
【００２３】
制御部４０は、３次元データ、及び２次元入力画像の入力を受け付ける入力部１０と、３次元データに基づき、２次元作成画像を生成する画像生成部２０と、類似度を出力する出力部３０とを含む。更に、本実施形態においては、制御部４０が、複数の２次元作成画像の中から２次元入力画像と最も類似度が高い２次元作成画像を抽出する抽出部２２と、２次元作成画像を複数の領域に分割する分割部２６と、複数の前記２次元作成画像と前記複数の２次元入力画像との各類似度の平均値を算出する演算部２４を含む。
【００２４】
（入力部１０）
入力部１０は、３次元形状モデルの製造を依頼する依頼者からの２次元入力画像の入力を受け付ける。ここで、２次元入力画像とは、例えば依頼者のペットの写真などである。本実施形態においては、依頼者からペットの３次元形状モデルの製造を依頼された例を説明する。２次元入力画像の入力は、依頼者が、サーバー装置である情報処理装置１００にアクセスし、上述した通信部７０を経由して２次元入力画像を入力部１０に入力することにより行われる。なお、情報処理装置１００のユーザが、依頼者からメール、記録媒体などを介して入手した２次元入力画像を、通信部７０を経由することなく、入力部１０に直接入力することも可能である。入力部１０に入力された２次元入力画像は、記憶部５０に保存される。
【００２５】
入力部１０は、モデラーが依頼者からの２次元入力画像に基づき作成した３次元モデルを示す３次元データの入力を受け付ける。３次元データの入力は、モデラーが、サーバー装置である情報処理装置１００にアクセスし、上述した通信部７０を経由して３次元データを入力部１０に入力することにより行われる。なお、情報処理装置１００のユーザが、モデラーからメール、記録媒体などを介して入手した３次元データを、通信部７０を経由することなく、入力部１０に直接入力することも可能である。入力部１０に入力された３次元データは、記憶部５０に保存される。
【００２６】
（画像生成部２０）
画像生成部２０は、モデラーにより作成された３次元データに基づき、仮想空間に配置された３次元モデルを所与の視点から見た外観を示す２次元作成画像を生成する。
【００２７】
第１の具体例として、依頼者により入力された２次元入力画像が１枚の写真であり、正面方向から見たペットの顔写真である場合について説明する。画像生成部２０は、入力された顔写真からカメラ位置を推定する。カメラ位置を推定する方法としては、例えば、画像生成部２０が、仮想空間の投影中心と３次元モデルとの間に配置された投影面において投影される３次元モデルの投影画像におけるエッジ情報を抽出することにより、依頼者により入力された２次元入力画像におけるペットの輪郭形状と、投影画像における３次元モデルの輪郭形状が最も一致する割合の高い位置をカメラ位置として推定する。次に、推定されたカメラ位置情報に基づき、仮想空間における投影中心に対する３次元モデルの位置を調整する。そして、画像生成部２０は、仮想空間の投影中心と３次元モデルとの間に配置された投影面において投影される３次元モデルの投影画像を２次元作成画像として取得する。さらに、画像生成部２０は、仮想空間に配置された３次元モデルを、例えば１度ずつ回転させながら、投影面において投影される複数の２次元作成画像を取得する。本具体例においては、依頼者により入力されたペットの顔写真に近い外観として、正面近傍の複数の角度からみたペットの顔の外観を示す２次元作成画像を複数生成する。
【００２８】
第２の具体例として、依頼者により入力された２次元入力画像が複数枚の写真であり、例えば１枚目が「正面方向から見たペットの顔写真」、２枚目が「正面方向からみたペットの全体写真」、３枚目が「側面方向から見たペットの全体写真」、４枚目が「背面方向からみたペットの全体写真」である場合は、画像生成部２０は、以下のように複数の２次元作成画像群を生成する。
【００２９】
画像生成部２０は、１枚目の「正面方向から見たペットの顔写真」から推定されたカメラ位置情報に基づき、仮想空間における投影中心と３次元モデルとの位置関係を調整する。例えば、仮想空間において、３次元モデルの顔領域が、投影中心であるカメラの視点に近い位置に配置される。そして、画像生成部２０が当該３次元モデルを正面方向から１度ずつ回転させ、正面近傍の複数の角度からみたペットの顔の外観を示す第１の２次元作成画像群を生成する。
【００３０】
画像生成部２０は、２枚目の「正面方向から見たペットの全体写真」から推定されたカメラ位置情報に基づき、仮想空間における投影中心と３次元モデルとの位置関係を調整する。例えば、仮想空間において、投影中心であるカメラの視点が、３次元モデルの正面全体を捕らえる位置に調整される。そして、画像生成部２０が当該３次元モデルの正面方向から１度ずつ回転させ、正面近傍の複数の角度からみたペットの全体の外観を示す第２の２次元作成画像群を生成する。
【００３１】
画像生成部２０は、３枚目の「側面方向から見たペットの全体写真」から推定されたカメラ位置情報に基づき、仮想空間における投影中心と３次元モデルとの位置関係を調整する。例えば、仮想空間において、投影中心であるカメラの視点が、３次元モデルの側面全体を捕らえる位置に調整される。そして、画像生成部２０が当該３次元モデルの側面方向から１度ずつ回転させ、側面近傍の複数の角度からみたペットの全体の外観を示す第３の２次元作成画像群を生成する。
【００３２】
画像生成部２０は、４枚目の「背面方向から見たペットの全体写真」から推定されたカメラ位置情報に基づき、仮想空間における投影中心と３次元モデルとの位置関係を調整する。例えば、仮想空間において、投影中心であるカメラの視点が、３次元モデルの背面全体を捕らえる位置に調整される。そして、画像生成部２０が当該３次元モデルの背面方向から１度ずつ回転させ、背面近傍の複数の角度からみたペットの全体の外観を示す第４の２次元作成画像群を生成する。
【００３３】
なお、本実施形態においては、カメラ位置を推定してから、３次元モデルを回転させ、複数の２次元作成画像を取得する例を説明したが、カメラ位置を推定するステップを省略し、３次元モデルを１度ずつ３６０度回転させ３６０枚の２次元作成画像群を生成し、後述する抽出部２２の処理において、３６０枚の２次元作成画像群から類似度が高いものを抽出する構成としても構わない。
【００３４】
また、本実施形態においては、カメラ位置を推定してから、３次元モデルを回転させ、複数の２次元作成画像を取得する例を説明したが、推定したカメラ位置から１枚の２次元作成画像を取得し、後述する出力部３０の処理において、この１枚の２次元作成画像の類似度を出力する構成としても構わない。
【００３５】
（抽出部２２）
画像生成部２０において２次元作成画像群が複数取得されている場合、抽出部２２は、２次元作成画像群と２次元入力画像との類似度を算出し、最も類似度が高い２次元作成画像を前記２次元作成画像群の中から抽出する。画像生成部２０において２次元作成画像群が一枚取得されている場合、抽出部２２は、２次元作成画像群と２次元入力画像との類似度の算出のみ行う。
【００３６】
画像生成部２０において２次元作成画像群が複数取得されている場合の具体例を説明する。画像生成部２０が生成した第１の２次元作成画像群の全ての２次元作成画像について、１枚目の写真である「正面方向から見たペットの顔写真」との類似度を算出する。ここで、類似度は、例えば、ペットの目の大きさ、耳の長さ、鼻の長さ、両目の間隔、両目の位置と鼻の位置とを結ぶ三角形における各頂点の角度等が双方でどの程度一致しているか、などを判断項目とし、算出する。この類似度の算出方法としては、例えば、強化学習や深層学習を含む、機械学習などのクラス分類アルゴリズムなどを利用して算出することも可能であり、その他、より簡易なアルゴリズムで類似度を算出してもよい。簡易なアルゴリズムでの類似度の算出方法としては、例えば、ペットの目の大きさの類似度を算出するのであれば、２次元作成画像におけるペットの目の面積と写真におけるペットの目の面積の内、大きいものから小さいものを割った値を類似度として算出してもよい。ペットの耳、又は鼻の長さの類似度を算出するのであれば、２次元作成画像におけるペットの耳、又は鼻の長さと写真におけるペットの耳、又は鼻の長さの内、大きいものから小さいものを割った値を類似度として算出してもよい。両目の間隔の類似度を算出するのであれば、例えば、２次元作成画像におけるペットの両目の間隔と写真におけるペットの両目の間隔の内、大きいものから小さいものを割った値を類似度として算出してもよい。両目の位置と鼻の位置とを結ぶ三角形の類似度を算出するのであれば、例えば、２次元作成画像における当該三角形と写真における当該三角形を重ね合わせ、２次元作成画像における当該三角形の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。そして、この第１の２次元作成画像群の中から、最も類似度が高い第１の２次元作成画像が抽出部２２により抽出される。
【００３７】
画像生成部２０が生成した第２の２次元作成画像群の全ての２次元作成画像について、２枚目の写真である「正面方向からみたペットの全体写真」との類似度を算出する。そして、この第２の２次元作成画像群の中から、最も類似度が高い第２の２次元作成画像が抽出部２２により抽出される。
【００３８】
画像生成部２０が生成した第３の２次元作成画像群の全ての２次元作成画像について、３枚目の写真である「側面方向からみたペットの全体写真」との類似度を算出する。そして、この第３の２次元作成画像群の中から、最も類似度が高い第３の２次元作成画像が抽出部２２により抽出される。
【００３９】
画像生成部２０が生成した第４の２次元作成画像群の全ての２次元作成画像について、４枚目の写真である「背面方向からみたペットの全体写真」との類似度を算出する。そして、この第４の２次元作成画像群の中から、最も類似度が高い第４の２次元作成画像が抽出部２２により抽出される。
【００４０】
（演算部２４）
演算部２４は、抽出部２２により抽出された複数の２次元作成画像と複数の２次元入力画像との各類似度の平均値を算出する。
【００４１】
本実施形態においては、図３に示すように、１枚目の写真と第１の２次元作成画像との類似度が７５点、２枚目の写真と第２の２次元作成画像との類似度が７０点、３枚目の写真と第３の２次元作成画像と類似度が９０点、４枚目の写真と第４の２次元作成画像との類似度が８０点であったとすると、その平均値である７８．７５を算出する。
【００４２】
なお、平均値は、複数の２次元入力画像の内、特徴部を含む２次元入力画像に対して重み付けされた重み付け平均値であってもよい。即ち、演算部２４が、複数の２次元作成画像と複数の２位次元入力画像との各類似度の平均値を算出する際に、複数の２次元入力画像の内、特徴部を含むものに重み付けをして、平均値を算出する構成としてもよい。例えば、正面方向から見たペットの顔や、ペットが特有のポーズをとる際の骨格形状等、ペットにおける特徴部の形状が、最終的に作成した３次元形状モデルがペット自体に似ているか否かを判断する上で重要であるような場合がある。そのような場合、ペットの顔の正面方向の写真、及びポーズをとっているペット全体の骨格形状が認識できるような写真については、当該写真の中に重み付け情報を付加しておく。こうすることで、特徴部を含む写真の類似度の算出値が、全体の類似度の算出値に与える影響度を、他の写真の類似度の算出値が、全体の類似度の算出値に与える影響度よりも大きくすることができる。
【００４３】
なお、この特徴部が含まれているか否かについての重み付け情報は、入力部１０において２次元入力画像の入力を受け付ける際に、当該２次元入力画像に対して付加してもよい。
【００４４】
（出力部３０）
画像生成部２０において２次元作成画像群が複数取得されている場合、出力部３０は、抽出部２２により最も類似度が高いと判断された２次元作成画像の類似度を出力する。また、２次元入力画像が複数の２次元入力画像である場合には、演算部２４により算出された平均値を出力する。モデラーは、この出力部３０の出力結果を、通信部７０を経由して確認することができる。画像生成部２０において２次元作成画像群が一枚取得されている場合、出力部３０は、抽出部２２により算出された２次元作成画像の類似度を出力する。
【００４５】
このような構成とすることにより、仮に出力結果が所定の値を超えていないような場合には、出力結果が所定の値を超えるまで、適宜３次元データを修正することをモデラーに促すことが可能となる。その結果、依頼者に送付する３次元データの品質を担保することができ、依頼者が修正依頼をする回数を減らすことができるため、依頼者に手間を減らすことができる。
【００４６】
（分割部２６）
また、制御部４０が、図１に示すように分割部２６を更に含む構成としてもよい。分割部２６は、抽出部２２により抽出された２次元作成画像を複数の領域に分割する。たとえば、分割部２６は、２次元作成画像におけるペットの両目と鼻とを結ぶ三角形領域、それ以外の顔領域、前足領域、後足領域、胴体の側面領域、胴体の背面領域などに分割する。このような構成とすることにより、後述する出力部３０において、類似度が所定の値よりも低い領域の表示を、他の領域の表示と異ならせることが可能となる。
【００４７】
また、制御部４０が分割部２６を含み、演算部２４が、分割部２６により分割された各領域の類似度を算出し、出力部３０が、類似度が所定の値よりも低い領域の表示を他の領域の表示と異ならせて出力するのであれば、モデラーが修正すべき点を認識しやすく、モデラーの作業効率を向上させることができる。なお、演算部２４が類似度を算出する際のアルゴリズムは、上記抽出部２２による類似度算出のアルゴリズムと同様のものを用いればよい。
【００４８】
出力部３０が、類似度が所定の値よりも低い領域の表示を他の領域の表示と異ならせる具体例としては、例えば類似度が所定の値よりも低い領域に赤色等の着色を行う、あるいは当該領域の境界線を赤線、太線で表示する、等である。又は、出力部３０が、類似度の点数に応じて、例えば、高得点の領域には青色、所定の値には達しているが高得点には達していない領域には黄色、所定の値に達していない領域には赤色、のように複数の着色を行ってもよい。
【００４９】
（記憶部５０）
記憶部５０は、所定の記録媒体に対してデータの記録再生を行う。記憶部５０は、例えばＨＤＤ(Hard Disc Drive)として実現される。記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、記憶部５０としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。記憶部５０には、制御部４０が使用するプログラムが保存されている。
【００５０】
記憶部５０は、制御部４０の指示に応じて、入力部１０に入力された２次元入力画像、及び３次元データを保存することができ、また、制御部４０の指示に応じて、２次元入力画像、及び３次元データを、制御部４０に入手させることが可能である。
【００５１】
（情報処理方法）
以下、図２を用いて、情報処理方法について説明する。
【００５２】
図２は、本実施形態に係る価格見積もり方法の一例を示すフローチャートである。
【００５３】
（入力ステップＳ３１０）
図２に示すように、入力ステップＳ３１０においては、入力部１０が、２次元入力画像の入力を受け付ける２次元入力画像入力ステップＳ３１１と、３次元データの入力を受け付ける３次元データ入力ステップＳ３１２とを含む。
【００５４】
（２次元入力画像入力ステップＳ３１１）
２次元入力画像入力ステップにおいては、入力部１０が、３次元形状モデルの製造を依頼する依頼者からの２次元入力画像を受け付ける。２次元入力画像の入力は、例えば依頼者が、自身のコンピュータからサーバー装置である情報処理装置１００にアクセスし、上述した通信部７０を経由して２次元入力画像を入力部１０に入力することにより行われる。又は、情報処理装置１００のユーザが、依頼者からメール、記録媒体などを介して入手した２次元入力画像を、入力部１０に入力することにより行われる。入力部１０に入力された２次元入力画像は、記憶部５０に保存される。
【００５５】
本実施形態においては、依頼者により入力された２次元入力画像が複数枚の写真であり、１枚目が「正面方向から見たペットの顔写真」、２枚目が「正面方向からみたペットの全体写真」、３枚目が「側面方向から見たペットの全体写真」、４枚目が「背面方向からみたペットの全体写真」であったとする。これらの「ペットの全体写真」は全てお座りの姿勢をしている。また、お座り姿勢における両前足の交差角度に特徴がある旨、依頼者より連絡を受けている。両前足の交差角度は２枚目の「正面方向からみたペットの全体写真」より明らかになっている。従って、依頼者から要望のあった２枚目の「正面方向からみたペットの全体写真」には、当該写真が特徴部を含む旨の重み付け情報が付加されている。また、一般的に３次元形状モデルの類似度に大きな影響を与える１枚目の「正面方向から見たペットの顔写真」にも、同様の重み付け情報が付加されている。
【００５６】
（３次元データ入力ステップＳ３１２）
３次元データ入力ステップにおいては、モデラーが依頼者からの２次元入力画像に基づき３次元データを作成し、モデラー又は情報処理装置１００のユーザが当該３次元データを入力部１０に入力する。
【００５７】
モデラーは、例えば自身のコンピュータから情報処理装置１００にアクセスし、通信部７０を介して記憶部５０に保存された２次元入力画像を確認することができる。モデラーは、この２次元入力画像に基づき３次元データを作成する。モデラーは、再度、自身のコンピュータから情報処理装置１００にアクセスし、通信部７０を介して記憶部５０に３次元データを保存する。又は、情報処理装置１００のユーザが、モデラーからメール、記録媒体などを介して入手した３次元データを入力部１０に入力し、記憶部５０に保存する。
【００５８】
（画像生成ステップＳ３２０）
図３に示すように、入力ステップＳ３１０が終了すると、画像生成ステップＳ３２０を開始することができる。画像生成ステップＳ３２０の開始タイミングは、情報処理装置１００のユーザが決めてもよく、モデラーが決めてもよい。
【００５９】
画像生成ステップＳ３２０においては、入力ステップＳ３１０で情報処理装置１００に入力された３次元データに基づき、仮想空間に配置された３次元モデルを所与の視点から見た外観を示す２次元作成画像を生成する。
【００６０】
本実施形態においては、依頼者により入力された２次元入力画像が４枚のペットの写真であり、例えば１枚目が「正面方向から見たペットの顔写真」、２枚目が「正面方向からみたペットの全体写真」、３枚目が「側面方向から見たペットの全体写真」、４枚目が「背面方向からみたペットの全体写真」であるとする。
【００６１】
まず、画像生成部２０は、入力された顔写真からカメラ位置を推定し、推定されたカメラ位置情報に基づき、仮想空間における３次元モデルと投影中心との位置を調整する。そして、本実施形態においては、画像生成部２０は、仮想空間に配置された３次元モデルを１度ずつ回転させながら、３次元モデルの投影画像を投影面に表示させ、依頼者により入力されたペットの顔写真に近い外観を示す２次元作成画像群を生成する。
【００６２】
なお、この画像生成ステップＳ３２０において、カメラ位置を推定するステップを省略し、例えば、画像生成部２０が、３次元モデルを１度ずつ３６０度回転させ３６０枚の２次元作成画像群を生成し、後述する抽出ステップＳ３３０において、３６０枚の２次元作成画像群から類似度が高いものを抽出する構成としても構わない。
【００６３】
なお、この画像生成ステップＳ３２０において、画像生成部２０が、複数の２次元作成画像を取得するのではなく、推定したカメラ位置から１枚の２次元作成画像を取得し、後述する抽出ステップＳ３３０において、この１枚の２次元作成画像と２次元入力画像との類似度を算出し、後述する出力ステップＳ３６０において、算出された類似度を出力する構成としても構わない。
【００６４】
本実施形態においては、画像生成部２０は、１枚目の「正面方向から見たペットの顔写真」に対して、第１の２次元作成画像群を生成し、２枚目の「正面方向から見たペットの全体写真」に対して、第２の２次元作成画像群を生成し、３枚目の「側面方向から見たペットの全体写真」に対して、第３の２次元作成画像群を生成し、４枚目の「背面方向から見たペットの全体写真」に対して、第４の２次元作成画像群を生成する。各２次元作成画像群の生成方法については、上記（画像生成部２０）にて上述したとおりである。
【００６５】
（抽出ステップＳ３３０）
抽出ステップＳ３３０においては、制御部４０に含まれる抽出部２２が、２次元作成画像群と２次元入力画像との類似度を算出し、最も類似度が高い２次元作成画像を前記２次元作成画像群の中から抽出する。
【００６６】
本実施形態においては、第１の２次元作成画像群の中から、１枚目の写真と最も類似度が高い第１の２次元作成画像が抽出され、第２の２次元作成画像群の中から、２枚目の写真と最も類似度が高い第２の２次元作成画像が抽出され、第３の２次元作成画像群の中から、３枚目の写真と最も類似度が高い第３の２次元作成画像が抽出され、第４の２次元作成画像群の中から、４枚目の写真と最も類似度が高い第４の２次元作成画像が抽出される。
【００６７】
次に、Ｓ３３１において、領域分割をするか否かを判断する。本実施形態においては、領域分割することを選択し、フローは、分割ステップＳ３４０に進む。
【００６８】
（分割ステップＳ３４０）
本実施形態においては、フローが分割ステップＳ３４０に進むため、図１に示した分割部２６が、抽出部２２により抽出された２次元作成画像を複数の領域に分割する。例えば、分割部２６は、１枚目の「正面方向から見たペットの顔写真」と最も類似度が高いと判断された第１の２次元作成画像を、ペットの両目と口とを結ぶ三角領域である「正面三角領域」と、当該三角領域以外の顔領域である「正面その他顔領域」とに分割する。また、分割部２６は、２枚目の「正面方向から見たペットの全体写真」と最も類似度が高いと判断された第２の２次元作成画像を、「正面胴体領域」と、「正面前足領域」に分割する。また、分割部２６は、３枚目の「側面方向から見たペットの全体写真」と最も類似度が高いと判断された第３の２次元作成画像を、「側面頭部領域」と、「側面胴体領域」と、「側面前足領域」と、「側面後足領域」とに分割する。更に、分割部２６は、４枚目の「背面方向から見たペットの全体写真」と最も類似度が高いと判断された第４の２次元作成画像を、「背面頭部領域」と、「背面胴体領域」とに分割する。
【００６９】
（演算ステップＳ３５０）
演算ステップＳ３５０において、演算部２４は、抽出部２２により抽出された複数の２次元作成画像と複数の２次元入力画像との各類似度の平均値を算出する。
【００７０】
図４は、本実施形態に係る情報処理方法における演算ステップの概念を示す図である。
【００７１】
演算部２４は、１枚目の写真である「正面方向から見たペットの顔写真」から認識されるペットの両目と口とを結ぶ三角領域と、第１の２次元作成画像における三角領域である「正面三角領域」との比較を行い、その一致度合いを点数にて表示する。本実施形態においては、演算部２４は、図４に示すように、各角度の一致度が８０％であり、８０点の類似度があると評価した。
【００７２】
演算部２４は、１枚目の写真である「正面方向から見たペットの顔写真」と、第１の２次元作成画像おける「正面その他顔領域」とを比較する。ここで、既にペットの両目と口とを結ぶ三角領域においては、既にその類似度を判断しているため、ここでは当該三角領域以外の顔領域についての類似度判断が行われる。例えば、顔全体における口や耳の配置、口の形状、耳の形状、顔における特定部位の長さと他の特定部位の長さとの比率、顔全体の色、模様の有無・形状などについての類似度判断が行われる。顔全体における口や耳の配置の類似度を算出するのであれば、例えば、第１の２次元作成画像におけるペットの顔の口と両耳を結ぶ三角形と、１枚目の写真におけるペットの顔の口と両耳を結ぶ三角形とを重ね合わせ、第１の２次元作成画像における当該三角形の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。口（又は耳）の形状の類似度を算出するのであれば、第１の２次元作成画像におけるペットの口（又は耳）と、１枚目の写真におけるペットの口（又は耳）とを重ね合わせ、第１の２次元作成画像における口（又は耳）の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。顔における特定部位の長さと他の特定部位の長さとの比率の類似度を算出するのであれば、第１の２次元作成画像における当該比率と１枚目の写真における当該比率の内、大きいものから小さいものを割った値を類似度として算出してもよい。本実施形態においては、演算部２４は、図４に示すように７０点の類似度があると評価した。
【００７３】
なお、入力ステップＳ３１０にて説明したとおり、正面方向から見た顔領域は、一般的に３次元形状モデルの類似度を決定付ける上で重要な領域であるため、１枚目の写真である「正面方向から見たペットの顔写真」には重み付け情報が付加されている。従って、この「正面方向から見たペットの顔写真」との比較を行う「正面三角領域」と「正面その他顔領域」とについては、図４に示すように、重み付けが行われる。
【００７４】
演算部２４は、２枚目の写真である「正面方向からみたペットの全体写真」から認識される胴体と、第２の２次元作成画像における「正面胴体領域」とを比較する。ここでは例えば、胴体の形状や縦横比、胴体全体の色、模様の有無・形状などについて類似度判断が行われる。胴体の形状の類似度を算出するのであれば、例えば、第２の２次元作成画像におけるペットの胴体と、２枚目の写真におけるペットの胴体とを重ね合わせ、第２の２次元作成画像における胴体の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部２４は、図４に示すように８０点の類似度があると評価した。
【００７５】
演算部２４は、２枚目の写真である「正面方向からみたペットの全体写真」から認識される前足と、第２の２次元作成画像における「正面前足領域」とを比較する。ここでは例えば、胴体領域に対する両前足の位置、両前足の交差角度、両前足全体の色、模様の有無・形状などについて類似度判断が行われる。両前足の位置、両前足の交差角度の類似度を算出するのであれば、例えば、第２の２次元作成画像におけるペットの両前足の付け根と両足との交差点とを結ぶ三角形と、２枚目の写真におけるペットの両前足の付け根と両足との交差点とを結ぶ三角形とを重ね合わせ、第２の２次元作成画像における当該三角形の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部２４は、図４に示すように６０点の類似度があると評価した。
【００７６】
なお、入力ステップＳ３１０にて説明したとおり、お座り姿勢における両前足の交差角度に特徴がある旨、依頼者より連絡を受けており、当該両前足の交差角度情報を含む「正面方向からみたペットの全体写真」には重み付け情報が付加されている。この２枚目の写真と比較される「正面胴体領域」、及び「正面前足領域」の双方について、重み付けを行ってもよいが、本実施形態においては、上記依頼者からの連絡内容から、「両前足の交差角度」のみを特徴部であると見做し、「正面胴体領域」おける重み付けは行わず、「正面前足領域」における重み付けのみを行う。
【００７７】
演算部２４は、３枚目の写真である「側面方向から見たペットの全体写真」から認識される頭部と、第３の２次元作成画像における「側面頭部領域」とを比較する。ここでは例えば、頭部の形状、頭部領域における目、耳、鼻、口の位置、胴体領域に対する頭部領域の位置、頭部全体の色、模様の有無・形状などについて類似度判断が行われる。頭部領域における目、耳、鼻、口の位置の類似度を算出するのであれば、例えば、第３の２次元作成画像におけるペットの目、耳、鼻、口を結ぶ四角形と、３枚目の写真におけるペットの目、耳、鼻、口を結ぶ四角形とを重ね合わせ、第３の２次元作成画像における当該四角形の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部２４は、図４に示すように、９０点の類似度があると評価した。
【００７８】
演算部２４は、３枚目の写真である「側面方向から見たペットの全体写真」から認識される胴体と、第３の２次元作成画像における「側面胴体領域」とを比較する。ここでは例えば、胴体の形状、胴体全体の色、模様の有無・形状などについて類似度判断が行われる。胴体の形状の類似度を算出するのであれば、例えば、第３の２次元作成画像におけるペットの胴体と、３枚目の写真におけるペットの胴体とを重ね合わせ、第３の２次元作成画像における胴体の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部２４は、図４に示すように、９０点の類似度があると評価した。
【００７９】
演算部２４は、３枚目の写真である「側面方向から見たペットの全体写真」から認識される前足と、第３の２次元作成画像における「側面前足領域」とを比較する。ここでは例えば、前足の形状、胴体領域に対する前足の位置、前足全体の色、模様の有無・形状などについて類似度判断が行われる。前足の形状の類似度を算出するのであれば、例えば、第３の２次元作成画像におけるペットの前足と、３枚目の写真におけるペットの前足とを重ね合わせ、第３の２次元作成画像における前足の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。胴体領域に対する前足の位置の類似度を算出するのであれば、例えば、第３の２次元作成画像におけるペットの前足の付け根の位置と、３枚目の写真におけるペットの前足付け根の位置とが一致するよう、双方の胴体領域を重ね合わせ、第３の２次元作成画像における胴体の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部２４は、図４に示すように、９０点の類似度があると評価した。
【００８０】
演算部２４は、３枚目の写真である「側面方向から見たペットの全体写真」から認識される後足と、第３の２次元作成画像における「側面後足領域」とを比較する。ここでは例えば、後足の形状、胴体領域に対する後足の位置、後足全体の色、模様の有無・形状などについて類似度判断が行われる。後足の形状の類似度を算出するのであれば、例えば、第３の２次元作成画像におけるペットの後足と、３枚目の写真におけるペットの後足とを重ね合わせ、第３の２次元作成画像における後足の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。胴体領域に対する後足の位置の類似度を算出するのであれば、例えば、第３の２次元作成画像におけるペットの後足の付け根の位置と、３枚目の写真におけるペットの後足の付け根の位置とが一致するよう、第３の２次元作成画像と３枚目の写真の胴体領域を重ね合わせ、第３の２次元作成画像における胴体の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部２４は、図４に示すように、９０点の類似度があると評価した。
【００８１】
演算部２４は、４枚目の写真である「背面方向からみたペットの全体写真」から認識される頭部と、第４の２次元作成画像における「背面頭部領域」とを比較する。ここでは例えば、頭部の形状、胴体領域に対する頭部領域の位置、頭部全体の色、模様の有無・形状などについて類似度判断が行われる。頭部の形状の類似度を算出するのであれば、例えば、第４の２次元作成画像におけるペットの頭部と、４枚目の写真におけるペットの頭部とを重ね合わせ、第４の２次元作成画像における頭部の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。胴体領域に対する頭部の位置の類似度を算出するのであれば、例えば、第４の２次元作成画像におけるペットの首の付け根の位置と、４枚目の写真におけるペットの首の付け根の位置とが一致するよう、第４の２次元作成画像と４枚目の写真の胴体領域を重ね合わせ、第４の２次元作成画像における胴体の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部２４は、図４に示すように、８０点の類似度があると評価した。
【００８２】
演算部２４は、４枚目の写真である「背面方向からみたペットの全体写真」から認識される胴体と、第４の２次元作成画像における「背面胴体領域」とを比較する。ここでは例えば、胴体の形状、胴体全体の色、模様の有無・形状などについて類似度判断が行われる。胴体の形状の類似度を算出するのであれば、例えば、第４の２次元作成画像におけるペットの胴体と、４枚目の写真におけるペットの胴体とを重ね合わせ、第４の２次元作成画像における胴体の面積を１００％とした場合における、重ね合わせられた部分の面積の割合を類似度として算出してもよい。本実施形態においては、演算部２４は、図４に示すように、８０点の類似度があると評価した。
【００８３】
この演算ステップＳ３５０においては、更に各領域において算出された類似度に関する点数の平均値を算出する。ここで、重み付け情報がない場合の平均値は、単純に１０か所の領域の合計を１０で割った値である８１点が算出結果となる。しかし、本実施形態においては、「正面三角領域」、「正面その他顔領域」、「正面前足領域」に重み付けを行っており、これらの点数に２を乗じて他の領域との合計を算出し、その合計を１３で割った値である７８．４６１５４が重み付けを考慮した算出結果となる。この重み付けを考慮した算出結果が重み付け平均値である。
【００８４】
本実施形態においては、単純平均値よりも、重み付け平均値が下回っている。これは、３次元形状モデルの類似度を判断する上で重要である「正面その他顔領域」、及び依頼者より特徴部である旨の連絡があったお座り姿勢における両前足の交差角度情報を含む「正面前足領域」の点数が低かったため、この２領域について重み付けした重み付け平均値が、重み付けを考慮しなかった単純平均値よりも低くなってしまったことを意味する。
【００８５】
（出力ステップＳ３６０）
出力ステップＳ３６０においては、出力部３０が、演算ステップＳ３５０において判断された判断結果を出力する。モデラーは、自身のコンピュータから、情報処理装置１００にアクセスし、この出力部３０の出力結果を、通信部７０を経由して確認することができる。
【００８６】
本実施形態においては、上記演算ステップＳ３５０において算出されたとおり、重み付け平均値である７８．４６１５４点が出力される。
【００８７】
さらに、本実施形態においては、出力部３０が、類似度が所定の値よりも低い領域の表示を他の領域の表示と異ならせて出力する。ここで、３次元データを依頼者に提出することができる合格ラインが８０点であるとする。本実施形態においては、図４に示すように、「正面その他顔領域」、「正面前足領域」の点数が、この合格ラインである８０点を下回っているため、出力部３０が、３次元データ上において、上記２つの領域に赤色の着色を行う、又は当該領域の境界線を赤線、太線で表示する。なお、出力部３０が、類似度の点数に応じて、例えば、９０点以上の領域には青色、８０点以上で９０点未満の領域には黄色、のように複数の着色を行ってもよい。
【００８８】
なお、Ｓ３３１において領域分割を選択しなかった場合、フローはＳ３３２に進む。
【００８９】
Ｓ３３２においては、２次元入力画像入力ステップＳ３１１において入力された２次元入力画像が一枚であるか否かを判断する。本実施形態においては、上述した２次元入力画像が４枚の写真を含むため、フローは演算ステップＳ３５０に進む。
【００９０】
Ｓ３３１において領域分割を選択しなかった場合、演算ステップＳ３５０においては、各写真と、この各写真と最も類似度が高いと判断された各２次元作成画像との類似度の平均値を算出する。例えば、図３に示すように、１枚目の写真と第１の２次元作成画像との類似度が７５点、２枚目の写真と第２の２次元作成画像との類似度が７０点、３枚目の写真と第３の２次元作成画像と類似度が９０点、４枚目の写真と第４の２次元作成画像との類似度が８０点であったとすると、演算部２４はその平均値である７８．７５を算出する。出力ステップＳ３６０においては、この７８．７５点が出力される。
【００９１】
なお、Ｓ３３１において領域分割を選択せず、且つ２次元入力画像入力ステップＳ３１１において入力された２次元入力画像が一枚だった場合、フローはＳ３３２からＳ３６０の出力ステップに進む。そして、Ｓ３３０において抽出された２次元作成画像と２次元入力画像との類似度が、そのままＳ３６０において出力される。
【００９２】
（確認ステップＳ３７０）
確認ステップＳ３７０においては、モデラーが、自身が作成した３次元データが所定の値、例えば３次元データを依頼者に提出することができる合格ラインに達しているか否かを確認する。分割ステップＳ３４０を経た本実施形態においては、３次元データを依頼者に提出することができる合格ラインが８０点であるのに対し、モデラーが作成した３次元データの類似度を示す重み付け平均値が７８．４６１５４であるため、モデラーは、自身が作成した３次元データが上記要件を満たしていないことを認識する。
【００９３】
このような情報処理方法とすることにより、モデラーが、出力結果が所定の値を超えるまで、適宜３次元データを修正する必要があることを認識することが可能となる。
【００９４】
さらに、本実施形態においては、出力ステップＳ３６０において、出力部３０が、合格ラインである８０点に達していない「正面その他顔領域」、「正面前足領域」に赤色の着色を行う、又は当該領域の境界線を赤線、太線で表示するため、モデラーは、当該２つの領域が修正すべき領域であることを即座に認識することができ、モデラーの作業効率を向上させることができる。
【００９５】
モデラーが作成した３次元データの点数が合格ラインに達していなかった本実施形態においては、３次元データ入力ステップＳ３１２に戻り、モデラーが３次元データの修正を行い、再度３次元データを入力する。本実施形態においては、モデラーは、特に類似度の評価が低かった「正面その他顔領域」、及び「正面前足領域」を重点的に修正し、３次元データ入力ステップＳ３１２にて、修正済の３次元データを入力部１０に入力する。
【００９６】
その後、上述した画像生成ステップＳ３２０、抽出ステップＳ３３０、演算ステップＳ３５０等を経て、出力ステップＳ３６０において出力部３０が合格ラインを超える算出値を出力すると、このフローは終了し、依頼者に３次元データが送付される。このような情報処理方法により、依頼者に送付する３次元データの品質を担保することができ、その結果、依頼者が修正依頼をする回数を減らすことができる。即ち、依頼者に手間をかけさせることなく、依頼者により指定された画像情報に対して類似度の高い３次元データを得ることができる。
【符号の説明】
【００９７】
１０  入力部、２０  画像生成部、２２  抽出部、２４  演算部、２６  分割部、３０  出力部、４０  制御部、５０  記憶部、７０  通信部、１００  情報処理装置、Ｓ３１０  入力ステップ、Ｓ３１１  ２次元入力画像入力ステップ、Ｓ３１２  ３次元データ入力ステップ、Ｓ３２０  画像生成ステップ、Ｓ３３０  抽出ステップ、Ｓ３４０  分割ステップ、Ｓ３５０  演算ステップ、Ｓ３６０  出力ステップ、Ｓ３７０  確認ステップ。
【図１】
2018055506.tif 000003
【図２】
2018055506.tif 000004
【図３】
2018055506.tif 000005
【図４】
2018055506.tif 000006