(57)【要約】【課題】  未知の素材を含む画像に対して、高品位なテクスチャを持つ３Ｄモデルを生成することができる技術を提供する。【解決手段】  複数の視点から撮影された画像から被写体の３次元形状を復元する画像処理装置であって、この３次元形状を推定するための３次元モデルの表面を複数の部分領域に分割する分割手段と、各のこの部分領域に対応する異なる視点の画像を取得する取得手段と、各のこの部分領域の撮影角度と輝度成分の変化から反射モデルを生成するモデル生成手段と、鏡面反射による影響を分離したテクスチャ画像を生成する画像生成手段とを備える画像処理装置。【選択図】  図４
2014002614.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から撮影された画像から被写体の３次元形状を復元する画像処理装置であって、
この３次元形状を推定するための３次元モデルの表面を複数の部分領域に分割する分割手段と、
各のこの部分領域に対応する異なる視点の画像を取得する取得手段と、
各のこの部分領域の撮影角度と輝度成分の変化から反射モデルを生成するモデル生成手段と、
鏡面反射による影響を分離したテクスチャ画像を生成する画像生成手段とを
備える画像処理装置。
【請求項２】
前記画像生成手段は、前記鏡面反射が最も少ないと推定される前記撮影角度の前記テクスチャ画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記鏡面反射の成分強度を算出し、この成分強度が所定の値よりも大きいと判定されたとき、ハイライトの存在を操作者に通知し、前記被写体のこのハイライトの該当箇所を異なる角度から撮影することを促す請求項１に記載の画像処理装置。
【請求項４】
更に前記テクスチャ画像の生成の完了を操作者に通知する通知部を備えた請求項１に記載の画像処理装置。
【請求項５】
複数の視点から撮影された画像から被写体の３次元形状を復元する画像処理装置における画像処理方法であって、
この３次元形状を推定するための３次元モデルの表面を複数の部分領域に分割する分割工程と、
各のこの部分領域に対応する異なる視点の画像を取得する取得工程と、
各のこの部分領域の撮影角度と輝度成分の変化から反射モデルを生成するモデル生成工程と、
鏡面反射による影響を分離したテクスチャ画像を生成する画像生成工程とを
含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
物体を撮影した画像を用いて、その物体の三次元モデルを作成する様々な方法が提案されている。そのような方法の１つに、視体積交差法（shape from silhouette法）がある。視体積交差法は、シルエット画像を用いて物体の三次元形状を推定する方法である。視体積交差法では、シルエットを実空間に投影した視体積の中に物体が含まれるというシルエット制約に基づいて、物体の三次元形状が推定される。視体積交差法では、複数のシルエット画像に対応する視体積の共通部分（visual hull）を、物体の三次元形状として算出するので、様々な撮影位置や角度から物体を撮影することにより、算出される三次元形状を物体に近付けることができる。
【０００３】
上述のような方法では、適切な三次元モデルを得るために、様々な撮影位置や角度から物体を撮影する必要がある。しかし、適切な三次元モデルを得るのに十分な画像が撮影されたか否かを、物体を撮影しているユーザが判断することは困難である。そのため、撮影をしながら三次元モデルの生成を行い、適切な三次元モデルが生成されたときに撮影の終了をユーザに通知する方法が提案されている。これにより、適切な三次元モデルの作成に十分な画像が得られていないことや、適切な三次元モデルの作成に十分な画像が得られているにも関わらず、ユーザが撮影を継続してしまうこと等を防止することができる。
【０００４】
関連して特許文献１に記載の方法では、複数の視点から撮影された画像から被写体の３次元形状を復元する３次元再構成において、実物体に近いテクスチャおよび反射パラメータを取得する。これによって、仮想シーンに他のＣＧモデルとともにレンダリングした際に、違和感なく融合させることができるとある。そのために、画像の部分領域ごとに反射パラメータ（拡散反射パラメータと鏡面反射パラメータ）を記憶したデータベースを使用する（図１の２５）。データベースは撮影時にシーンに存在する可能性のある物体（被写体）を光源位置が既知である環境下において予め作成しておくとある。なお、 図中、ビデオカメラが複数あるのは複数視点から動画撮影することで、動く３Ｄモデリングを作成するためである。
【０００５】
しかしながら、この先行技術の課題としては、データベースを構築するためには予めシーン内に存在する素材の反射パラメータを測定しておく必要があるが、被写体が不明である場合は不可能である。先行技術は特定分野のアーカイブを想定しているので利用可能だが、一般ユーザを対象としたコンシューマ製品では利用が困難である。
【０００６】
ここに未知の素材を含む画像に対して、高品位なテクスチャを持つ３Ｄモデルを生成することができる技術への要望があるが、かかる要望を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２０４３１８号公報（段落００２７）
【特許文献２】特開２００７−２４９５９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の実施の形態は、未知の素材を含む画像に対して、高品位なテクスチャを持つ３Ｄモデルを生成することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、実施形態によれば画像処理装置は、複数の視点から撮影された画像から被写体の３次元形状を復元する画像処理装置であって、この３次元形状を推定するための３次元モデルの表面を複数の部分領域に分割する分割手段と、各のこの部分領域に対応する異なる視点の画像を取得する取得手段と、各のこの部分領域の撮影角度と輝度成分の変化から反射モデルを生成するモデル生成手段と、鏡面反射による影響を分離したテクスチャ画像を生成する画像生成手段とを備える。
【図面の簡単な説明】
【００１０】
【図１】この発明の一実施形態に係わる電子機器の外観を示す斜視図。
【図２】同実施形態の電子機器の構成の例を示すブロック図。
【図３】同実施形態の電子機器を用いた三次元モデル生成のための操作の例を説明するための図。
【図４】同実施形態の画像処理装置の例を示す概略機能ブロック構成図。
【図５】同実施形態の画像処理装置の処理例を示すフローチャート。
【図６】同実施形態の反射モデルを示す説明図。
【図７】他の形態に用いられるテクスチャ画像を選択するフローチャート。
【発明を実施するための形態】
【００１１】
以下、実施形態を図１乃至図７を参照して説明する。
【００１２】
図１は、一実施形態に係わる電子機器の外観を示す斜視図である。この電子機器は、例えばタブレットタイプのパーソナルコンピュータ（ＰＣ）１０として実現される。また、この電子機器は、スマートフォン、ＰＤＡ、ノートブックタイプのＰＣ等としても実現され得る。図１に示すように、本コンピュータ１０は、コンピュータ本体１１とタッチスクリーンディスプレイ１７とから構成される。
【００１３】
コンピュータ本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、ＬＣＤ（liquid crystal display）１７Ａ及びタッチパネル１７Ｂが組み込まれている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面を覆うように設けられる。タッチスクリーンディスプレイ１７は、コンピュータ本体１１の上面に重ね合わせるように取り付けられている。また、ＬＣＤ１７Ａの画面を囲む端部には、カメラモジュール１２と操作ボタン群１５とが配置されている。なお、カメラモジュール１２は、コンピュータ本体１１の背面に配置されてもよい。
【００１４】
コンピュータ本体１１の上側面には、本コンピュータ１０を電源オン／電源オフするためのパワーボタン、音量調節ボタン、メモリカードスロット等が配置されている。コンピュータ本体１１の下側面には、スピーカ等が配置されている。コンピュータ本体の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１３、ＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子１等が設けられている。この外部ディスプレイ接続端子１は、デジタル映像信号を外部ディスプレイに出力するために用いられる。なお、カメラモジュール１２は、ＵＳＢコネクタ１３等を介して接続された外付けのカメラであってもよい。
【００１５】
図２は、本コンピュータ１０のシステム構成を示す図である。  
本コンピュータ１０は、図２に示されるように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスコントローラ１０５、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール１１０、カメラモジュール１２、振動モジュール１４、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ（ＥＣ）１１３、ＥＥＰＲＯＭ１１４、ＨＤＭＩ制御回路２等を備える。
【００１６】
ＣＰＵ１０１は、本コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、三次元モデル生成プログラム（３Ｄモデル生成プログラム）２０２、各種アプリケーションプログラム等を実行する。三次元モデル生成プログラム２０２は、カメラモジュール１２によって撮影された画像を用いて三次元モデルデータを生成する三次元モデル生成機能を有する。例えば、カメラモジュール１２は、ユーザ（撮影者）が、カメラモジュール１２を用いて三次元モデルを作成する対象の物体（オブジェクトとも称する）を周囲から撮影することによって、その対象物体が様々な位置及び角度から撮影された画像を生成する。カメラモジュール１２は、生成した画像を三次元モデル生成プログラム２０２に出力する。三次元モデル生成プログラム２０２は、カメラモジュール１２によって生成された画像を用いて、対象物体の三次元モデルデータを生成する。なお、三次元モデル生成プログラム２０２は、カメラモジュール１２によって生成された動画像に含まれる画像フレームを用いて、対象物体の三次元モデルデータを生成してもよい。
【００１７】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１８】
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、ＰＣＩ  ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０５との通信を実行する機能も有している。
【００１９】
グラフィクスコントローラ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０５によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて映像を表示する。
【００２０】
ＨＤＭＩ端子１は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子１は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ装置に送出することができる。ＨＤＭＩ制御回路２は、ＨＤＭＩモニタと称される外部ディスプレイ装置にデジタル映像信号をＨＤＭＩ端子１を介して送出するためのインタフェースである。
【００２１】
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。
【００２２】
サウスブリッジ１０４は、タッチパネル１７Ｂを制御するためのＵＳＢコントローラを内蔵している。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うためのポインティングデバイスである。ユーザは、タッチパネル１７Ｂを用いて、ＬＣＤ１７Ａの画面に表示されたグラフィカルユーザインタフェース（ＧＵＩ）等を操作することができる。例えば、ユーザは、画面に表示されたボタンをタッチすることによって、当該ボタンに対応する機能の実行を指示することができる。また、このＵＳＢコントローラは、例えば、ＵＳＢコネクタ１３に接続されたＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。
【００２３】
さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばＩＥＥＥ  ８０２．３規格の有線通信を実行する有線通信デバイスである。無線ＬＡＮコントローラ１１２は、例えばＩＥＥＥ  ８０２．１１ｇ規格の無線通信を実行する無線通信デバイスである。Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール１１０は、外部機器とのＢｌｕｅｔｏｏｔｈ（登録商標）通信を実行する通信モジュールである。
【００２４】
振動モジュール１４は、振動を発生させるモジュールである。振動モジュール１４は、指定された大きさの振動を発生させることができる。
【００２５】
ＥＣ１１３は、電力管理のためのエンベデッドコントローラを含む１チップマイクロコンピュータである。ＥＣ１１３は、ユーザによるパワーボタンの操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。
【００２６】
次いで、図３は、三次元モデルを作成する対象の物体２が周囲から撮影される様子を示している。ユーザは、物体２の周囲でカメラモジュール１２（電子機器１０）を移動させることにより、物体２を様々な位置及び角度から撮影する。三次元モデル生成プログラム２０２は、撮影によって得られた画像群を用いて、物体２に対応する三次元モデルデータを生成する。三次元モデル生成プログラム２０２は、物体２の表面が漏れなく撮影されることによって、欠落した部分がない良好な三次元モデルを作成できる。電子機器１０では、振動モジュール１４による振動、スピーカ１８Ａ，１８Ｂによって出力される音声、ＬＣＤ１７Ａの画面に表示される情報等によって、物体２を必要ならば次に撮影すべき位置（角度）をユーザに通知する。
【００２７】
三次元モデル生成プログラム２０２は、物体２を撮影した複数の画像を用いて、物体２の三次元形状を示す三次元モデルデータを生成する。また、三次元モデル生成プログラム２０２は、三次元モデルデータの生成に用いられる画像を効率的に取得できるように、画像を撮影するカメラ１２の位置に関する情報をユーザに通知する。
【００２８】
図４は、実施形態の画像処理装置の例を示す概略機能ブロック構成図である。この画像処理装置４０は、カメラ４１、画像取得部４２、３Dモデル生成部４３、部分領域生成部４４、出力部４５、部分領域画像取得部４６、反射モデル生成部４７、テクスチャ画像生成部４８、ハイライト検出部４９と通知部５０を備えている。
【００２９】
このうちカメラ４１、画像取得部４２は主にカメラモジュール１２に依る。また、３Dモデル生成部４３は３Ｄモデル生成プログラム２０２に依る。また、部分領域生成部４４（分割手段）、部分領域画像取得部４６（取得手段）、反射モデル生成部４７（モデル生成手段）、テクスチャ画像生成部４８（画像生成手段）とハイライト検出部４９は、主メモリ１０３上に展開される別のプログラムに依る。また出力部４５はグラフィクスコントローラ１０５を中心とし、通知部５０は振動モジュール１４、グラフィクスコントローラ１０５、サウンドコントローラ１０６などに依る。各部の動作は図５、図７のフローチャートの説明で述べる。
【００３０】
図５は、実施形態の画像処理装置４０の処理例を示すフローチャートである。
【００３１】
ステップＳ５１：  画像取得部４２は、カメラ４１を介して、入力画像を取得する。
【００３２】
ステップＳ５２：  ３Dモデル生成部４３は、従来手法により３Ｄモデルを生成する。例えば上記特許文献２による３次元再構成方法を用いても良い。
【００３３】
ステップＳ５３：  部分領域生成部４４は、パッチ（群）を取得し部分領域を生成する。
【００３４】
ステップＳ５４：  部分領域画像取得部４６は、同一の部分領域を複数の視点から撮影した画像を取得する。
【００３５】
ステップＳ５５：  反射モデル生成部４７は、反射モデルを生成する。
【００３６】
ステップＳ５６：  ハイライト検出部４９は、鏡面反射成分の強度を算出する。この強度は、例えばピーク輝度を、最頻輝度、平均輝度、最低輝度あるいは輝度の中央値で割ることにより算出できる。
【００３７】
ステップＳ５７：  ハイライト検出部４９は、この強度が閾値以上か判定しそうならば次に進み、否ならばステップＳ５２に戻り処理を継続する。
【００３８】
ステップＳ５８：  通知部５０は、操作者に角度などを変えて再撮影するよう通知する。
【００３９】
ステップＳ５９：  部分領域画像取得部４６は、同一の部分領域を複数の視点から撮影した画像を取得する。
【００４０】
ステップＳ６０：  反射モデル生成部４７は、反射モデルを生成する。
【００４１】
ステップＳ６１：  反射モデル生成部４７は、反射モデルの変化が収束したか判定しそうならば次に進み、否ならばステップＳ５９に戻る。
【００４２】
ステップＳ６２：  テクスチャ画像生成部４８は、鏡面反射の影響が少ない視点の画像を選択する。
【００４３】
ステップＳ６３：  通知部５０は、操作者に画像の取得の終了（完了）を通知する。
【００４４】
ステップＳ６４：  出力部４５は、ステップＳ６２でテクスチャ画像生成部４８により選択された画像をテクスチャ画像として出力する。
【００４５】
図６は、実施形態の反射モデルを示す説明図である。二色性反射モデルは、Ｉ＝Ｉｓ＋Ｉｄと表現される。ただし、Ｉ：観測される輝度、Ｉｓ：鏡面反射成分、Ｉｄ：拡散反射成分である。図６（ａ）、図６（ｂ）、図６（ｃ）はそれぞれ撮影角度に対するこれらの輝度の変化を現している。
【００４６】
図６（ａ）については、ハイライト部Hはこの視点の画像はテクスチャ画像にしたくない部分であり、なだらかな部分Tはこの近辺の視点の画像をテクスチャ画像としたい部分である。
【００４７】
図６は反射モデルについて説明するための図であり、発明を実施するために必ずしも反射モデル生成部４７は、鏡面反射成分と拡散反射成分を厳密に分離する必要はない。例えば、鏡面反射成分が少ない画像を選ぶために次の図７のようにしてもよい。
【００４８】
すなわち図７は、他の形態に用いられるテクスチャ画像生成部４８中心の、テクスチャ画像を選択するフローチャートである。
【００４９】
ステップＳ７１：  反射モデル生成部４７は、輝度のヒストグラム分布を作成する。
【００５０】
ステップＳ７２：  例えばテクスチャ画像生成部４８は、最頻値に属する撮影角度を選択する。
【００５１】
ステップＳ７３：  テクスチャ画像生成部４８は、選択された角度から、最も部分領域の法線方向に近いものを選択する（既知の３つの座標から算出される）。
【００５２】
ステップＳ７４：  テクスチャ画像生成部４８は当該角度の画像をテクスチャ画像として、出力部４５はこの画像を出力する。
【００５３】
上記のように複数の視点から撮影された画像から３次元モデルを作成する際に、未知の被写体に対して、不要なハイライトがない高品位なテクスチャ画像を生成できるようになった。また即ち次のように、操作者に様々な角度からの撮影を促すために、ハイライトの存在やテクスチャの取得完了を通知することで、容易な撮影を可能とした。
【００５４】
（１）被写体表面の同一箇所を異なる角度から撮影した際の輝度変化から、反射パラメータを推定することで、データベースを不要とした。
【００５５】
（２）前記、反射パラメータの取得が完了したことを撮影者に通知するようにした。
【００５６】
（実施形態の補足）
以下のような手段、機能を含んで構成することができる。
【００５７】
１．複数の視点から撮影された画像から被写体の３次元形状を復元する画像処理装置であって、下記より構成されることを特徴とする。
【００５８】
（１）３次元モデルの表面を複数の部分領域（一般的にはパッチ（群））に分割する手段
（２）各部分領域に対応する異なる視点の画像を取得する手段
（３）各部分領域の撮影角度と輝度成分の変化から反射モデルを生成する手段
（４）鏡面反射による影響を分離したテクスチャ画像を生成する手段
２．テクスチャ画像は（３）において、鏡面反射が最も少ないと推定される撮影角度の画像を選択する
３．鏡面反射成分の強度を算出し、所定の値よりも大きいとき、ハイライトの存在を操作者に通知し、該当箇所を異なる角度から撮影することを促す
４．テクスチャ画像の生成の完了を操作者に通知
５．４，５は音、振動により通知（画面を見なくてもよいという利点がある）
６．反射パラメータ（鏡面反射の強度）を付加情報としてハイライト検出部４９などへ記録（例えば、後に仮想的な照明を点灯した場合の画面を推定できるという利点がある）
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
【００５９】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００６０】
１２…カメラモジュール、１４…振動モジュール、１７Ａ…ＬＣＤ、１８Ａ，１８Ｂ…スピーカ、１０９…データ格納部、１０９Ａ…特徴点データ、１０９Ｂ…対応点データ、１０９Ｃ…仮の３Ｄモデルデータ、２０２…３Ｄモデル生成プログラム、３１…特徴点検出部、３２…対応点検出部、３３…カメラ位置・姿勢推定部、３４…３Ｄモデルデータ生成部、３５…通知制御部、４０…画像処理装置、４１…カメラ、４２…画像取得部、４３…３Dモデル生成部、４４…部分領域生成部、４５…出力部、４６…部分領域画像取得部、４７…反射モデル生成部、４８…テクスチャ画像生成部、４９…ハイライト検出部、５０…通知部。
【図１】
2014002614.tif 000003
【図２】
2014002614.tif 000004
【図３】
2014002614.tif 000005
【図４】
2014002614.tif 000006
【図５】
2014002614.tif 000007
【図６】
2014002614.tif 000008
【図７】
2014002614.tif 000009