(57)【要約】【課題】対象物により忠実な画像データを生成する。【解決手段】  所定の座標系において、対象物を撮像することにより得られた撮像データの位置と予め作成された初期画像データの位置を比較する比較部２と、比較部により得られた、対応する撮像データと初期画像データの両位置のずれに応じて、初期画像データのスケーリングを変えると共に初期画像データを回転及び平行移動させて初期画像を変形することにより画像を生成する変形部３とを備えた画像生成装置１。【選択図】  図１
2014238751.tif 000002
【特許請求の範囲】
【請求項１】
所定の座標系において、対象物を撮像することにより得られた撮像データの位置と予め作成された初期画像データの位置を比較する第一のステップと、
前記第一のステップにおいて得られた、対応する前記撮像データと前記初期画像データの両位置のずれに応じて、前記初期画像データのスケーリングを変えると共に前記初期画像データを回転および平行移動させて前記初期画像を変形することにより画像を生成する第二のステップとを有する画像生成方法。
【請求項２】
前記第二のステップでは、前記初期画像データを構成する各点の前記変形後の位置と、対応する前記撮像データの位置とのずれの二乗和が最小となるように前記スケーリングと前記回転および平行移動の程度を決定する請求項１に記載の画像生成方法。
【請求項３】
前記初期画像データ及び前記撮像データは、３次元の対象物を撮像することにより得られた前記対象物の表面を表すデータである請求項１又は２に記載の画像生成方法。
【請求項４】
前記第二のステップにおける変形により得られた形状の異なる複数の画像データ同士を、対応する点を重ね合わせることによって合成画像を生成する第三のステップをさらに有する請求項１から３のいずれかに記載の画像生成方法。
【請求項５】
所定の座標系において、対象物を撮像することにより得られた撮像データの位置と予め作成された初期画像データの位置を比較する第一のステップと、
前記第一のステップにおいて得られた、対応する前記撮像データと前記初期画像データの両位置のずれに応じて、前記初期画像データを変形する第二のステップと、
前記第二のステップにおける前記変形により明らかとなった前記撮像データの特徴点に対応する前記初期画像データの特徴点にリンクされた情報を前記撮像データに転写させる情報転写ステップとを有する画像生成方法。
【請求項６】
前記第二のステップにおける前記変形は、前記初期画像データのスケーリングを変えると共に前記初期画像データを回転および平行移動させる請求項５に記載の画像生成方法。
【請求項７】
前記第二のステップにおける前記初期画像データの変形により明らかとなった前記撮像データの対応点に応じて、前記撮像データの欠損部分を補完する補完ステップをさらに有する請求項１に記載の画像生成方法。
【請求項８】
所定の座標系において、対象物を撮像することにより得られた撮像データの位置と予め作成された初期画像データの位置を比較する比較手段と、
前記比較手段により得られた、対応する前記撮像データと前記初期画像データの両位置のずれに応じて、前記初期画像データのスケーリングを変えると共に前記初期画像データを回転および平行移動させて前記初期画像を変形することにより画像を生成する変形手段とを備えた画像生成装置。
【請求項９】
前記変形手段は、前記初期画像データを構成する各点の前記変形後の位置と、対応する前記撮像データの位置とのずれの二乗和が最小となるように前記スケーリングと前記回転の程度を決定する請求項８に記載の画像生成装置。
【請求項１０】
前記初期画像データ及び前記撮像データは、３次元の対象物を撮像することにより得られた前記対象物の表面を表すデータである請求項８又は９に記載の画像生成装置。
【請求項１１】
前記変形手段による変形により得られた形状の異なる複数の画像データ同士を、対応する点を重ね合わせることによって合成画像を生成する合成手段をさらに備えた請求項８から１０のいずれかに記載の画像生成装置。
【請求項１２】
所定の座標系において、対象物を撮像することにより得られた撮像データの位置と予め作成された初期画像データの位置を比較する比較手段と、
前記比較手段において得られた、対応する前記撮像データと前記初期画像データの両位置のずれに応じて、前記初期画像データを変形する変形手段と、
前記変形手段による前記変形により明らかとなった前記撮像データの特徴点に対応する前記初期画像データの特徴点にリンクされた情報を前記撮像データに転写させる情報転写手段とを備えた画像生成装置。
【請求項１３】
前記変形手段による前記変形は、前記初期画像データのスケーリングを変えると共に前記初期画像データを回転させるものである請求項１２に記載の画像生成装置。
【請求項１４】
前記変形手段による前記変形により明らかとなった前記撮像データの対応点に応じて、前記撮像データの欠損部分を補完する補完手段をさらに備えた請求項８に記載の画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像を生成する装置及び方法に関するものである。
【背景技術】
【０００２】
特許文献１に示されるように、従来より画像処理の分野においては、様々な形状モデリング技法が考案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６５７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理の分野における形状モデリングにおいて、基準となる画像データと取得した画像データを変形することにより生成された画像データを位置合わせする際、例えば剛体変換等にみられるように変形の自由度が低すぎると正確に位置が合わせられないという問題がある。
【０００５】
一方、局所Affine変換等にみられるように変形の自由度が高すぎると望ましくない大きな変形が生じ、元の形状の特徴が損なわれるという問題がある。
また、例えば人体の形状を計測する場合等においては、体表面の解剖学的な特徴点を特定するために熟練者による画像上のマーキング作業が必要であり、計測コストの増大と再現性の不安定を招いてしまうという問題がある。
【課題を解決するための手段】
【０００６】
本発明は上記課題を解決するためになされたもので、所定の座標系において、対象物を撮像することにより得られた撮像データの位置と予め作成された初期画像データの位置を比較し、対応する撮像データと初期画像データの両位置のずれに応じて、初期画像データのスケーリングを変えると共に初期画像データを回転および平行移動させて初期画像を非剛体的に変形することにより画像を生成することによって実現される。
【０００７】
このような手段は、先行技術に対して、対象物の形状や色等の特性をより高い精度で再現する画像データを得ることができるという貢献を果たすものであるが、以下の手段も同様な貢献を果たすものである。
【０００８】
所定の座標系において、対象物を撮像することにより得られた撮像データの位置と予め作成された初期画像データの位置を比較し、対応する撮像データと初期画像データの両位置のずれに応じて初期画像データを変形し、本変形により明らかとなった撮像データの特徴点に対応する初期画像データの特徴点にリンクされた情報を撮像データに転写させる。
【発明の効果】
【０００９】
本発明によれば、対象物の特性により合致した画像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る画像生成装置の構成を示す図である。
【図２】図１に示された画像生成装置の画像変形動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。
図１は、本発明の実施の形態に係る画像生成装置１の構成を示す図である。図１に示されるように、本発明の実施の形態に係る画像生成装置１は、比較部２と、変形部３と、合成部４と、情報転写部５と、補完部６と、撮像画像データ入力端子７と、初期画像データ入力端子８と、生成画像データ出力端子９とを含む。
【００１２】
ここで、比較部２は、撮像画像データ入力端子７と初期画像データ入力端子８に接続される。また、変形部３は、比較部２と撮像画像データ入力端子７及び初期画像データ入力端子８に接続される。合成部４は、変形部３と補完部６に接続される。情報転写部５は、変形部３と撮像画像データ入力端子７及び初期画像データ入力端子８と、補完部６に接続される。補完部６は、変形部３と撮像画像データ入力端子７及び初期画像データ入力端子８に接続される。そして、生成画像データ出力端子９は、合成部４、情報転写部５、及び補完部６に接続される。
【００１３】
図２は、図１に示された画像生成装置１の画像変形動作を示すフローチャートである。以下において、図２を参照しつつ、図１に示された画像生成装置１の画像生成動作を詳しく説明する。
【００１４】
画像生成装置１は、初期画像データ入力端子８を介して、初期画像データを入力する。この初期画像データＭはモデル化の対象となる物体表面の典型的な形状を表すデータであり、頂点の座標ｐiの集合Ｖ、すなわち
【数１】
2014238751.tif 000003
と、上記の頂点の接続性を表す集合Ｔを用いて、以下の式で定義される。
【数２】
2014238751.tif 000004
【００１５】
一方で、画像生成装置１は、撮像画像入力端子７を介して、特定の対象物の表面形状を計測して得られる撮像画像データＱを入力する。上記撮像画像データＱは、画像に含まれる点群の頂点座標ｑiを用いて以下の式で定義される。
【数３】
2014238751.tif 000005
【００１６】
ステップS1において、比較部２は、初期画像データＭが表す形状の特徴量の分布Ａを、頂点接続Ｔが定める表面座標系における座標ｃiを用いて表現する。
【数４】
2014238751.tif 000006
【００１７】
ここで、特徴量は対象物体の性質に基づいた任意の関数であり、例として、３次元人体形状モデルにおける解剖学的特徴点の位置等が含まれる。
【００１８】
次に、変形部３は、頂点接続Ｔを完全に保存し、頂点座標集合Ｖの局所的な相対位置(形状特徴)を可能な限り保存するという制約の下で、初期画像データＭが表す形状が撮像画像データＱが表す形状を最も近似するように、初期画像データＭを変形する。すなわち、変形部３は、頂点座標ｐiをｐi´(ピーアイダッシュ)に変換し、頂点座標集合ＶをＶ´(ヴィダッシュ)、すなわち
【数５】
2014238751.tif 000007
に変換し、初期画像データＭを変形画像データＭ´(エムダッシュ)、すなわち
【数６】
2014238751.tif 000008
に変換する。
具体的には、変形部３は、以下の目的関数Ｃtotalを最小化することにより変形後の頂点座標集合Ｖ´(ヴィダッシュ)を算出する。
【数７】
2014238751.tif 000009
ここで、Ｃdataは撮像画像データＱと変形画像データＭ´(エムダッシュ)がそれぞれ表す形状の距離に応じたコスト関数、Ｃsmoothは変形前後における画像データＭとＭ´(エムダッシュ)の形状特徴の変化に応じたコスト関数である。なお、α(＞０)は重みパラメータであり、変形の目的に応じて調節される。
【００１９】
ステップS2において、変形部３は、コスト関数Ｃdataを計算するために、撮像画像データＱと変形画像データＭ´(エムダッシュ)が表す形状の距離を求める。２つの形状の間の正しい対応点を見つけることは一般に困難であるため、最近傍点探索と、その結果を対応点とみなした変形推定の繰り返し処理を行う。
【００２０】
従来法ではＣdataの計算に頂点間のユークリッド距離を用いていたが、その場合、繰り返し計算の初期段階において誤った局所解に落ちやすい問題があった。そこで、変形部３は、撮像画像データＱに含まれる座標ｑiの頂点から、変形画像データＭ´(エムダッシュ)が表す形状表面への符号付き距離ｄiを用いてＣdataを構成する。具体的には以下の内積式を用いる。
【数８】
2014238751.tif 000010
ここで、ｐi”(ピーアイダッシュダッシュ)は変形画像データＭ´(エムダッシュ)が表す表面上でｑiからの距離が最も小さい点の座標、ｎiはＭ´(エムダッシュ)が表す表面のｐi”(ピーアイダッシュダッシュ)における法線ベクトルである。
【００２１】
コスト関数Ｃdataは、上記のｄiを用いて以下の式で定義される。
【数９】
2014238751.tif 000011
ここで、ｗiは対応点の信頼性を表す重みパラメータであり、対応点の距離に逆比例する0以上の値を用いる。コスト関数Ｃdataは２次式であり、以下の条件が満たされるときに最小値0をとる。
【数１０】
2014238751.tif 000012
【００２２】
次に、ステップS3において、変形部３は、コスト関数Ｃsmoothを計算するために、画像データの形状特徴の変化量を求める。形状特徴とは、局所的なスケール変換、回転、および平行移動によって変化しない値と定義する。このとき、変形前後における画像データの頂点座標ｐiおよびｐi´(ピーアイダッシュ)は、以下の式によって関係が記述される。
【数１１】
2014238751.tif 000013
ここで、ｓiはスケール、Ｒiは回転を表すものとし、Ｎiは頂点接続集合Ｔにおいて、ｉ番目の頂点に隣接する頂点の番号の集合である。なお、本画像処理においては、上式から明らかなように平行移動成分が生じないことから、本局所相似変形はスケールｓiと回転Ｒiの成分のみからなる。
【００２３】
頂点座標ｐiにおける、変形前後における形状特徴の変化量に応じたコスト関数は、以下の式で定義される。
【数１２】
2014238751.tif 000014
ここで、ｗijは初期画像データＭが表す形状表面において、ｉ番目とｊ番目の頂点を結ぶ辺が最近傍辺となる点集合の面積に比例する重みパラメータである。
このとき、ｐi´(ピーアイダッシュ)を定数とみなすと、［数１２］の値が0になるという条件から、最小二乗法でスケールｓiと回転Ｒi(スケールｓiと回転Ｒiを局所相似変形という)を求めることができる。
【００２４】
また、コスト関数Ｃsmoothは以下の式で定義される。
【数１３】
2014238751.tif 000015
【００２５】
次に、ステップS4において、変形部３は、画像データの頂点座標を微分座標へ変換し、コスト関数Ｃsmoothを最小化するための線形拘束式を構成する。具体的には、［数１３］で示された関数を座標ｐi´(ピーアイダッシュ)で微分して値が0となる条件を与えると、以下の式を得る。
【数１４】
2014238751.tif 000016
本式は、左辺が離散Laplacian作用素を用いた変形画像データの微分頂点座標、右辺が相似変換に不変な離散Laplacian作用素を用いた初期画像データの微分頂点座標である。ここで、ステップS3で求めたｓiおよびＲiを用いることにより、本式の右辺を計算することができる。
【００２６】
次に、ステップS5において、変形部３は、［数７］を最小二乗法で解くことによって、初期画像データＭの撮像画像データＱへの非剛体変形位置合わせを実現する。具体的には、［数１０］および［数１４］より、以下の線形最小二乗問題をｐ´(ピーダッシュ)に関して解くことによって、変形画像の頂点座標集合Ｖ´(ヴィダッシュ)を算出する。
【数１５】
2014238751.tif 000017
ここで、ｐ´(ピーダッシュ)は全てのｐi´(ピーアイダッシュ)を並べた縦ベクトル、Ｃは［数１０］の左辺値を全ての対応点に関してｐ´(ピーダッシュ)から生成する行列、ηは［数１０］の右辺値を全ての対応点に関して並べた縦ベクトル、Ｌは［数１４］の左辺の作用素を表す離散Laplacian行列、δは［数１４］の右辺値をすべての頂点に関して並べた縦ベクトルを示す。
【００２７】
そして、ステップS6において、変形部３は、撮像画像データＱと変形画像データＭ´(エムダッシュ)のユークリッド距離が所定のしきい値より小さい場合には当該変形が撮像画像データに一定程度近似したものとして変形の収束を判断し、変形処理を終了する。
一方、ステップS6において、変形部３が収束していないと判断した場合には、ステップS2に戻り、以降の手順を繰り返す。変形画像データの頂点座標Ｖ´(ヴィダッシュ)の初期値として、初回の計算では初期画像データの頂点座標Ｖを用い、２回目以降の計算では直前の計算で得られたＶ´(ヴィダッシュ)を用いる。
【００２８】
最後に、ステップS7において、合成部４は、複数の異なる変形画像データを同一の表面座標系で合成する。変形部３によって、異なる変形画像データが、頂点接続Ｔが定める同一の座標系で表現されることを利用して、密度や複雑性の異なる撮像画像データの頂点座標およびその他の表面属性を変形画像データを介して処理し、処理後の画像データを生成画像データ出力端子９に出力する。
【００２９】
あるいは、ステップS8において、情報転写部５は、変形画像データの頂点座標集合Ｖ´(ヴィダッシュ)と、頂点接続Ｔ、特徴点Ａを利用して、初期画像データＭが表す表面上の特徴量の座標を撮像画像データＱの計測点に転写し、転写後の画像データを生成画像データ出力端子９又は合成部４に出力する。  
【００３０】
あるいは、ステップS9において、補完部６は、変形部３によって得られた初期画像データと撮像画像データの対応点情報を参照して、撮像画像データの欠損部分を補完し、補完後の画像データを合成部４や情報転写部５、生成画像データ出力端子９に出力する。
【００３１】
以上のように、本発明の実施の形態に係る画像生成装置１によれば、画像を構成する点群間の相似変換を線形方程式の利用により簡易な計算で実現し、かつ、初期画像データが持つ形状特徴を必要に応じて保存しながら、対象物の外見により合致した精度の高い画像データを生成することができる。また、本画像生成装置１によれば、かかる画像に欠損部分があれば補完し、生成された画像同士を合成し、初期画像データにリンクする情報があればかかる情報を撮像画像データに適切に反映させることができるため、対象物の特性も反映させたより精度の高い画像データを容易に得ることができる。
【００３２】
上記の説明では、初期画像データを変形して撮像画像データを近似する方法を述べたが、全く同様の手法は、逆の組み合わせ、すなわち撮像画像データを変形して初期画像データを近似する方法、あるいはその両者の組み合わせに関して適用可能である。
【００３３】
なお、本発明の実施の形態に係る情報生成装置の上記動作は、図１に示されたハードウェア構成の他、CPUに上記動作を記述したソフトウェアプログラムを実行させることによっても実現することができる。
【符号の説明】
【００３４】
１  画像生成装置
２  比較部
３  変形部
４  合成部
５  情報転写部
６  補完部
【図１】
2014238751.tif 000018
【図２】
2014238751.tif 000019