(57)【要約】【課題】２つの画像の対応点を簡単に自動的に求める。【解決手段】対象物を、複数の異なる位置から撮影する。第１画像と第２画像のアフィンカメラ近似可能な領域内の平面近似可能曲面上に、人手により初期対応点を３組設定し、三角形を形成する。これらの初期対応点の座標に基づいて、両画像の三角形間のアフィン変換行列を求める。第１画像の三角形の重心（特定点）に対応する点として、第２画像上の対応点候補を求める。特定点の近傍画素群をアフィン変換して、テンプレートとする。第２画像上の対応点候補近傍で、テンプレートと第２画像上の画素群を比較する。最良の比較結果となる点を、特定点の対応点と決定する。【選択図】図１
2006145419.tif 000002
【特許請求の範囲】
【請求項１】
対象物を異なる位置から撮影し、撮影した第１画像と第２画像におけるアフィンカメラ近似可能な領域内の平面近似可能曲面上の３組の既知の対応点に基づいて該平面近似可能曲面間のアフィン変換行列を求め、第１画像の該平面近似可能曲面上の１つの特定点に対応する第２画像上の対応点候補を求め、第１画像上の該特定点の近傍画素群をアフィン変換してテンプレートとし、第２画像上の対応点候補近傍でテンプレートを第２画像と比較し、比較結果に基づいて該特定点に対応する第２画像上の対応点を決定することを特徴とする画像処理方法。
【請求項２】
第１画像の該平面近似可能曲面上の１つの特定点の第２画像上の対応点候補を、アフィン変換行列により求めることを特徴とする請求項１記載の画像処理方法。
【請求項３】
第１画像の該平面近似可能曲面上の１つの特定点の第２画像上の対応点候補を、エピポーラ線を利用して求めることを特徴とする請求項１記載の画像処理方法。
【請求項４】
新たに求めた対応点を既知の対応点として、既知の３つの対応点に基づいて、対応点が未知である第１画像上の点に対応する第２画像上の点を求めることを特徴とする請求項１記載の画像処理方法。
【請求項５】
対象物を異なる位置から撮影する手段と、撮影した第１画像と第２画像におけるアフィンカメラ近似可能な領域内の平面近似可能曲面上の３組の既知の対応点を設定する手段と、３組の対応点に基づいて第１画像と第２画像の間のアフィン変換行列を求める手段と、第１画像上の該平面近似可能曲面上の１つの特定点に対応する第２画像上の対応点候補を求める手段と、第１画像上の該特定点の近傍画素群をアフィン変換してテンプレートとする手段と、第２画像上の対応点候補近傍でテンプレートを第２画像と比較する手段と、比較結果に基づいて該特定点に対応する第２画像上の対応点を決定する手段とを具備することを特徴とする画像処理装置。
【請求項６】
第１画像の該平面近似可能曲面上の１つの特定点の第２画像上の対応点候補をアフィン変換行列により求める手段を設けたことを特徴とする請求項５記載の画像処理装置。
【請求項７】
第１画像の該平面近似可能曲面上の１つの特定点の第２画像上の対応点候補を、エピポーラ線を利用して求める手段を設けたことを特徴とする請求項５記載の画像処理装置。
【請求項８】
新たに求めた対応点を既知の対応点とする手段を設け、既知の３つの対応点に基づいて、対応点が未知である第１画像上の点に対応する第２画像上の点を求めることを特徴とする請求項５記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法に関し、特に、２つの画像の対応点を求める画像処理方法に関する。
【背景技術】
【０００２】
ロボットの目では、空間上の特徴点の位置を画像座標から求める必要性が多い。また、異なる点から撮影した複数の画像をもとに、物体をコンピュータ上で３次元的に復元表示する方法が種々行われている。これらの場合、第１画像、第２画像の対応する特徴点の画像上の位置が既知である必要がある。図13の例では、空間上の点Ａは、第１画像と第２画像の上では、それぞれ点aと点a'に対応する。点aがわかっているとき、点a’を自動的に求める方法が問題である。
【０００３】
従来の方法では、第１画像における点aの周辺パターンを、第２画像上のパターンと比較する。パターンの類似性が高ければ、それぞれのパターンの中央が、それぞれ点aと点a'であると判断する。この方法をパターンマッチング法という。図14に示すように、点ｐの近傍の９画素を選んでテンプレートとする。このテンプレートで第２画像上を探索し、最も類似した近傍パターンを有する点p’を対応点とする。
【０００４】
撮影方向と撮影距離がほぼ同じで、画像の大きさがほぼ同じなら、パターンマッチング法で対応点を求めることができる。しかし、撮影方向や撮影距離が大きく異なる場合は、パターンはあまり類似せず、単純なパターンマッチングは有効でない。パターンが異なることに対する対策も検討されているが、パターンに大きな相違がないことを前提にしている。したがって、パターンが異なる場合には、対応点を自動的に求めることができなかった。そこで、画像を線形変換したり射影変換したりして、対応点を求める方法が提案されている。以下に、そのような従来例をいくつかあげる。
【０００５】
特許文献１に開示された「対応点の探索方法」は、複眼撮像系から得られる複数の画像の対応する点を探索する方法である。対応点の探索を高い分解能で行うことができる。アフィン関数と重み係数を持った窓関数とを用い、対応点の画素近傍の領域で、エネルギー関数を最小にする最適のアフィン関数の行列と、最適の並進ベクトルを求める。求めた最適のアフィン関数の行列と並進ベクトルから、対応点を決める。
【０００６】
特許文献２に開示された「画像処理方法」は、複数の画像を貼り合わせる際に、指定された対応点より正確な対応点を探索し、探索された対応点に基づいてアフィン係数を求めることを可能にし、対応点の指定における操作者の負担を軽減するものである。周辺画像に指定された対応点を中心として切り出された所定の大きさのウインドウと、基準画像における当該対応点を中心とする探索範囲より順次切り出されたウインドウとの一致度を検出する。そして、最も一致度の高いウインドウの中心に当該対応点を移動し、アフィン変換で得られた周辺画像の対応点とのずれ量を検出する。このずれ量が所定の閾値より大きい対応点が存在するときは、基準画像の対応点のうちずれ量が閾値より小さい対応点を用いて周辺画像をアフィン変換し、得られた周辺画像の対応点で基準画像上の対応点を更新して上述の処理を繰り返す。
【０００７】
特許文献３に開示された「画像処理方法」は、作業者の負担を軽減しつつ、作業者の熟練度に左右されない精度の高い画像位置合わせを行う方法である。基準画像中に特徴点が指定されると、近隣画像が特定され、次にテンプレート画像が設定されると、設定されたウインドウ領域において対応点がマッチング法により探索される。以降、全画像についてこの処理が順次行われ、求められた対応点同士の誤差が最小となるように画像が幾何学的に変換される。
【０００８】
特許文献４に開示された「画像合成方法」は、奥行きの深いシーンを合成する際においても、精度の高い位置合わせが行える画像合成方法である。第１画像、第２画像および第３画像の重なり合う部分内において、複数の特徴点に対する３画像間の対応点の座標値を求める。第２画像と第３画像とが重なり合う部分内において、複数の特徴点に対する２画像間の対応点の座標値を求める。複数組の３画像間の対応点の座標値に基づいて、３画像間の関係を示すtrifocalテンソルを算出する。複数組の２画像間の対応点の座標値と、trifocalテンソルとに基づいて、２画像間の各対応点に対応する第１画像での座標値を求める。
【０００９】
特許文献５に開示された「三次元形状抽出方法」は、複数のカメラの視点が一直線上に存在せず、また、当該カメラの向きが一致しない状況において、対応点探索のテンプレートマッチング処理が単純なマルチプルベースラインステレオ法を実施することを可能とする方法である。入力された複数の画像から、ある１枚の画像をベース画像として選択する。ベース画像以外の画像のそれぞれ１枚と、ベース画像とからなる複数のステレオペアを構成する。複数のステレオペアのそれぞれについて平行化を行う。複数のステレオペアの平行化された画像に対して、マルチプルベースラインステレオ法を適用し、被写体の世界座標を求めることにより、該被写体の３次元形状を抽出する。
【００１０】
特許文献６に開示された「３次元情報測定方法」は、複数の画像を用いた測定物の３次元情報の測定において、対応付け処理を容易とし、奥行き方向の精度のよい測定を可能とする方法である。平行投影対応点探索部は、対応付けが容易だが奥行き方向の精度が悪い場合のある平行投影方式により、複数の中心投影画像と平行投影画像を用い、中心投影画像中での対象点の対応点を測定物の見え方が同じになるような平行投影画像中から平行投影方式で決定する。ステレオ対応点探索部は、基線長が長いと対応付けが困難だが奥行き方向の精度が良いステレオ方式により、中心投影画像中での対象点の対応点を他の中心投影画像から決定する。３次元情報算出部は、その両測定方式で対象点の３次元情報を算出する。３次元情報決定部は、より確からしい測定方式を決定するために両対応点に対して基準値を導入し、該基準値を比較して対象点の３次元情報を決定・出力する。
【００１１】
対応点を求めないでアフィン変換を決定する方法もある。特許文献７に開示された「モーメントを使ったアフィン変換係数の決定方法」は、計算が単純で、領域抽出処理の精度が悪い場合でも安定してアフィン変換係数を計算できるようなアフィン変換係数の決定方法である。従来は、画像の濃淡情報を利用して対応点を求めていたが、この方法では、対応点を求めないで、モーメントを使ってアフィン変換係数を決定する。カメラで撮影した２枚の画像のデータを画像処理装置に与える。２枚の画像の濃淡情報の２次までのモーメント値と、画素の座標の１次までのモーメント値を求める。求めた各モーメント値から、アフィン変換係数を未知数とする連立１次方程式を導く。その連立１次方程式を解くことによって、２つの画像間の幾何学的な変換関係を近似して、アフィン変換係数を決定する。
【００１２】
対応点を求めてから三次元位置を推定する方法としては、特許文献８に開示された「アフィンカメラ補正による三次元位置の線形推定方法」がある。これは、複数の画像を用いて、対応関係が既知の対象点の三次元位置を簡潔に推定できる方法である。透視変換でモデル化されたカメラによる透視映像を、簡潔な線形カメラモデルによる像に補正し、三次元位置を推定する。複数のカメラで、三次元空間に位置のわかっている複数の参照点を撮影する。その撮影点の各画像上での座標を得る。三次元空間と画像の間が線形であるような複数のアフィンカメラを仮定する。アフィンカメラで各参照点がどのように投影されるかを計算する。その投影点と一致するように、投影点の座標を補正する。
【特許文献１】特開平6-195446号公報
【特許文献２】特開平7-152895号公報
【特許文献３】特開平9-198503号公報
【特許文献４】特開2001-167249号公報
【特許文献５】特開2004-133556号公報
【特許文献６】特開2004-144706号公報
【特許文献７】特開平10-255031号公報
【特許文献８】特開平11-37721号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかし、従来の対応点探索方法では、射影変換や濃度モーメントなどを使って計算しているため、計算処理が複雑であり、簡単に対応点を求めることができないという問題がある。
【００１４】
対象平面とカメラのフィルム面が平行であれば、相似画像が得られるので、２つの画像が相似となり、相似変換で重ねることができるが、対象平面とカメラのフィルム面が平行でない場合は、アフィン変換ではなく射影変換となるので、２つの画像を射影変換しなければ重ねることができない。しかし、射影変換するためには撮影パラメータが必要であり、計算も複雑になる。射影変換をアフィン変換で近似すると、簡単な計算で対応点を近似的に求めることができるが、図15や図16に示すように、射影変換した画像をアフィン変換すると対応点はかなりずれるため、射影カメラ画像をアフィン変換して対応点を求めることは簡単にはできない。
【００１５】
図15に示す場合では、原図形の左側近くの位置から、右側を望むように撮影すると、第１画像が得られる。原図形の右側近くの位置から、左側を望むように撮影すると、第２画像が得られる。原図形の中ほどにある点ｐは、射影カメラで撮影すると、図形の右側または左側に寄ってしまう。図16に示す場合では、原図形の正方形を、原図形の左側近くの位置から、右側を望むように撮影すると、右側が小さい台形の第１画像が得られる。原図形の右側近くの位置から、左側を望むように撮影すると、左側が小さい台形の第２画像が得られる。これらの図形をアフィン変換すると、原図形の正方形は再現されず、変形した台形が得られる。それに従って、中心の点Ｑは、端に寄った位置に再生される。これらのことは、平面として近似できる曲面についても、ほぼ同様にいえることである。
【００１６】
本発明の目的は、上記従来の問題を解決して、画像の対応点近傍のパターンが、見かけ上は大きく異なる場合であっても、２つの画像の対応点を簡単に自動的に求めることができるようにすることである。
【課題を解決するための手段】
【００１７】
上記の課題を解決するために、本発明では、画像処理方法を、対象物を異なる位置から撮影し、撮影した第１画像と第２画像におけるアフィンカメラ近似可能な領域内の平面近似可能曲面上の３組の既知の対応点に基づいて平面近似可能曲面間のアフィン変換行列を求め、第１画像の平面近似可能曲面上の１つの特定点に対応する第２画像上の対応点候補を求め、第１画像上の特定点の近傍画素群をアフィン変換してテンプレートとし、第２画像上の対応点候補近傍でテンプレートを第２画像と比較し、比較結果に基づいて特定点に対応する第２画像上の対応点を決定する方法とした。
【発明の効果】
【００１８】
本発明では、上記のような方法としたことにより、画像の対応点近傍のパターンが、見かけ上は大きく異なる場合であっても、２つの画像の対応点を簡単に自動的に求めることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態について、図１〜図12を参照しながら詳細に説明する。
【実施例１】
【００２０】
本発明の実施例１は、撮影前に人手で初期対応点を対象物に設け、対象物を複数の異なる位置から撮影し、撮影後に人手で画像上の初期対応点の座標を抽出し、アフィンカメラ近似可能な領域内の平面近似可能曲面上の既知の３組の対応点からアフィン変換行列を求め、特定点近傍の画素群をアフィン変換したテンプレートを他方の画像と比較して、特定点の対応点を求める画像処理方法である。
【００２１】
図１は、本発明の実施例１における画像処理方法で用いる機能手段の概念図である。図１において、カメラ１は、対象物の複数の画像を撮影するカメラである。画像入力手段２は、撮影した画像をデジタルデータとして入力する手段である。画像記憶手段３は、画像のデジタルデータを格納するHDDやDRAMなどのメモリである。初期対応点設定手段４は、手動により初期対応点を設定する手段である。対応点記憶手段５は、対応点の組のデータを記憶するメモリである。特定点抽出手段６は、三角形の重心などの画像の特定点を求める手段である。特定点記憶手段７は、特定点の座標データを記憶するメモリである。
【００２２】
アフィン変換行列演算手段８は、対応点の３組からアフィン変換行列を求める演算手段である。アフィン変換演算手段９は、アフィン変換行列を使って、特定点の近傍画素群をアフィン変換してテンプレートを作成する手段である。テンプレート比較手段10は、テンプレートと対応画像領域を比較する手段である。対応点判定手段11は、比較結果から、特定点の対応点を判定する手段である。
【００２３】
図２は、画像処理方法の手順を示す流れ図である。図３は、画像処理方法のアフィン変換の説明図である。図４は、画像処理方法の原理を説明する図である。図５は、画像処理方法で用いるテンプレートの説明図である。図６は、対象物の表面を初期対応点の三角形で分割する方法と、初期対応点の座標を求める方法を示す図である。図７は、三角形を重心で分割する方法を示す図である。図８は、三角形を辺で分割する方法を示す図である。図９は、対象物の表面の三角形の大きさを変えて実験した様子を示す図である。図10は、実験結果のグラフと表である。
【００２４】
最初に、実施例１における画像処理方法で用いる対応点探索方法の原理を説明する。撮影画像から、物体形状を復元するには、多数の対応点を必要とする。しかし、多数（場合によっては数千、数万）の対応点を人手で決定することは困難である。少数の既知の対応点をもとに、新たな対応点を自動的に決定できれば都合がよい。そこで、既知の３組の対応点をもとに、新しい対応点の空間座標を求めて、各対応点を結ぶ複数の３角形で物体表面を表現する。これら一つひとつの３角形の頂点を、基準となる点Ａ、Ｂ、Ｃと考えることにより、新たな対応点ｐ、ｐ’を追加することができる。この処理を繰り返すことにより、少数の対応点から多数の対応点を決定できる。
【００２５】
本発明の画像処理方法の主な要件は、以下の通りである。
（要件１）対象物を撮影した２画像間に、アフィンカメラ近似可能な領域内の平面近似可能曲面上の既知の対応点が３点ある。アフィンカメラ近似可能な領域内の平面近似可能曲面については後述する。
（要件２）これをもとに、第１画像上の平面近似可能曲面上の特定点の近傍画素群のアフィン変換であるテンプレートを求める。
（要件３）テンプレートと第２画像でパターンマッチングを行うことにより、特定点の対応点を自動的に求める。
【００２６】
次に、図１を参照しながら、画像処理方法の概略を説明する。カメラ１により、異なる位置から対象物の画像を撮影する。対象物を立体的に再現する場合は、対象物上の１つの点が２枚以上の画像に含まれるようにして、全周を撮影する。画像入力手段２から撮影画像をデジタルデータとして入力し、画像記憶手段３に格納する。初期対応点設定手段４を使って、アフィンカメラ近似可能な領域内の平面近似可能曲面上の３組以上の対応点を人手により設定し、対応点記憶手段５に、対応点の組のデータを記憶する。特定点抽出手段６により、画像の特定点（三角形の重心や内心や外心などや、輝度変化の特徴的な点など）を求め、特定点記憶手段７に、特定点の座標データを記憶する。アフィン変換行列演算手段８で、対応点の３組からアフィン変換行列を求める。アフィン変換演算手段９で、アフィン変換行列を使って、特定点の近傍画素群をアフィン変換してテンプレートを作成する。テンプレート比較手段10で、テンプレートと対応画像領域を比較する。対応点判定手段11で、比較結果から、特定点の対応点を判定する。
【００２７】
十分遠方の平面を撮影した場合は、アフィンカメラと仮定できる。すなわち、望遠レンズで遠方の平面を撮影した場合、ほぼアフィン変換といえる画像が得られる。いわゆる標準レンズで撮影した画像でも、画角が狭い範囲を抽出すれば、その部分はアフィンカメラ画像とみなすことができる。特定点をアフィン変換した点を対応点候補とする場合は、射影変換をアフィン変換で近似しているので、真の対応点と対応点候補は少しずれる。しかし、アフィンカメラ近似可能な領域内であれば、ずれはわずかである。特定点の対応点候補を、エピポーラ線を使って求める場合は、ずれはレンズの収差などによる測定誤差だけであり、幾何学的な誤差はない。特定点の近傍画素群をアフィン変換したものをテンプレートとする。テンプレートを、対応点候補の近傍で重ね合わせる試行を繰り返す。少しずれたところで一致するはずであるので、最も一致度の高い位置を対応点位置とする。
【００２８】
次に、図２を参照しながら、対応点探索手順の概略を説明する。カメラにより、対象物を異なる位置から撮影する。例えばステレオ画像や、パノラマ画像や、六面画像や、その他、任意の異なる位置から撮影した画像でよい。ただし、対象物上のすべての点について、１つの点が２枚以上の画像に含まれるようにする。アフィンカメラ近似可能な領域内の平面近似可能曲面上の３組の対応点を人手により設定する。３点の組から、アフィン変換行列を求める。第１画像の３角形領域中の特定点Ｐをアフィン変換して、第２画像上の対応点候補Ｐ'を求める。アフィン変換でなく、エピポーラ線を利用して第２画像上の対応点候補Ｐ'を求めてもよい。点Ｐの近傍画素群をアフィン変換してテンプレートを求める。テンプレートを対応点候補Ｐ'の近傍に重ねて、最良の一致点を求める。最良の一致点を点Ｐの対応点とする。
【００２９】
次に、図３を参照しながら、アフィン変換の原理を説明する。原図形は正方形であるとする。これをアフィンカメラ近似可能な領域内となる条件で撮影すると、第１画像や第２画像が得られる。これらは、近似的に原図形のアフィン変換である。第１画像をアフィン変換により正方形に写す。第２画像もアフィン変換により正方形に写す。これらはほぼぴったりと重ねることができる。原理的には、これらの変換手順を変えることで、第１画像から第２画像へのアフィン変換行列を求めることができる。実際には、３組の対応点からアフィン変換行列を求めることができる。このことは、平面として近似できる曲面についても、ほぼ同様にいえることである。立体を撮影したものについても、各微小曲面について同様なことがいえる。
【００３０】
次に、図４を参照しながら、対応点探索の原理を説明する。対象物を任意の異なる位置で撮影した少なくとも２枚（第１画像、第２画像）の画像上で、アフィンカメラ近似可能な領域内の平面近似可能曲面上の既知の対応点をもとに、アフィン変換行列を求める。そして、第１画像上の特定点の対応点候補を求める。例えば、特定点をアフィン変換して求めてもよいし、エピポーラ線を利用してもよい。特定点を辺の中点や三角形の重心などとして、アフィン不変量を利用して特定点の対応点候補を求めてもよい。さらに、第１画像の特定点の近傍画素群をアフィン変換してテンプレートとする。その後、第１画像のテンプレートと第２画像の対応画素群との間でパターンマッチングを行うことにより、特定点の対応点を自動的に求める。
【００３１】
任意撮影の画像から、点ｐと点ｐ’の対応を求めるにあたり、対応点が３点（例えば、図４に示す原図形のＡ、Ｂ，Ｃとする）以上既知であり、以下の２条件が成り立つものとする。
（条件１）物体上で、３点Ａ，Ｂ，Ｃで形成される領域（三角形で近似できる領域）が、ほぼ平面であること。すなわち、物体表面の曲率が小さいか、３点が比較的近いこと。この条件を満たす領域を、平面近似可能曲面ということにする。平面でもよいし、曲率の小さい球面でもよい。三角形ＡＢＣの３辺のどれより小さい曲率半径の部分があるような曲面は、平面近似可能曲面とはいえない。対象物のある曲面が平面近似可能曲面でない場合は、細かく分割して、それぞれが平面近似可能曲面となるようにする。
（条件２）ある程度遠くの距離から撮影されていること。すなわち、処理対象の原図形（三角形ＡＢＣ）がアフィンカメラ近似可能な領域内に入るように撮影されていること。アフィンカメラモデルに厳密に一致することはありえないので、誤差が実用上許容できる程度の範囲で、アフィンカメラ画像とみなせる場合を、アフィンカメラ近似可能な領域内に入るように撮影されたものということにする。近くから撮影された画像の場合は、画角が小さい領域に分割することで、アフィンカメラ画像として扱うことができる。
【００３２】
このとき、３点Ａ，Ｂ，Ｃに相当する第１画像および第２画像上の対応点（ａ,ｂ,ｃ）、（ａ',ｂ',ｃ'）を基準に、図４の第１画像上の点ｐに対応する第２画像上の点ｐ’の座標を、公知の次式により計算することができる。
Ｕ'＝ＫＵ
Ｕ＝[ｕ,ｖ]T
Ｕ'＝[ｕ',ｖ']T
Ｋ＝([ｋ11,ｋ21]T,[ｋ12,ｋ22]T)
ただし、[ｕ,ｖ]Tおよび[ｕ',ｖ']Tは、それぞれ点ｐ,ｐ'の座標（画素位置）である。([ｋ11,ｋ21]T,[ｋ12,ｋ22]T)は、２×２の行列であり、（ａ,ｂ,ｃ）,(ａ',ｂ',ｃ')から決定される。式の記述を簡単にするために、平行移動については省略してある。
【００３３】
次に、図５を参照しながら、テンプレートの比較方法を説明する。第１画像上の特定点の近傍画素群を、図５（ａ）のように決める。この近傍画素群をアフィン変換して、テンプレートを作成する。第１画像上の各画素に対応する第２画像上の画素位置は、前記の計算式により予測できるので、テンプレートは図５（ｂ）のようになる。テンプレートは、正方形の近傍画素群が拡大（縮小）された平行四辺形となるので、適宜、補間または平滑化して、パターンマッチング可能なように処理する。これらの予測位置は厳密には正確ではないので、このテンプレートを第２画像上で動かし、画素値の差が最小となる位置を、第１画像の特定点の対応位置と決定する。テンプレートと第２画像の比較方法には種々の方法があるが、相関を求める方法など、目的に応じた最適な方法を採用すればよい。この例では、近傍画素群を、９画素からなる正方形の領域としたが、これ以外に、図５（ｃ）のような25画素からなる正方形、図５（ｄ）のような13画素からなる正方形、図５（ｅ）のような21画素からなる８角形などとしてもよい。
【００３４】
次に、初期対応点を人手で設定する方法を説明する。図６（ａ）に示すように、撮影前に、対象物表面の適当な点を選び、対象物の全面を三角形パッチで覆う。適当な点とは、それぞれの三角形がアフィンカメラ近似可能な領域内の平面近似可能曲面となるような点である。すなわち、曲率が大きいところでは、三角形を細かく設定し、平面に近いところでは粗く設定する。対象物に三角形の頂点を示す印を付けて、対象物を撮影する。撮影した画像上の印を、マウスやデジタイザを使って人手でプロットして、画像上の座標を求める。すなわち、図６（ｂ）、（ｃ）に示すように、撮影された各画像上の初期対応点を人手で選んでプロットする。線の交点など、特徴的な点を対応点とする場合は、撮影後に決定してもよい。この初期対応点の３点の組に基づいて、仮のアフィン変換行列を求める。初期対応点を人手で選んだ場合、必ずしも正確ではないので、アフィン変換行列は、不正確である可能性がある。そこで、このアフィン変換行列を仮のアフィン変換行列ということにする。仮のアフィン変換行列により、第１画像の初期対応点の近傍画素群をアフィン変換してテンプレートを求める。パタンーンマッチングにより、図６（ｄ）に示すように、不正確な初期対応点を修正して正確な初期対応点を求める。１画素単位で正確に初期対応点を人手で選んでプロットできれば、この過程は不要である。
【００３５】
次に、図７を参照しながら、三角形の細分化について説明する。図７（ａ）に示すように、三角形の重心の対応点候補を求め、パターンマッチングにより正確な対応点を求める。この対応点を新しい頂点として、三角形を３つに分割する。それぞれの三角形について、再び同様な処理を行ない、三角形を９つに分割する。これを繰り返して、対象物の表面を小さな細長い三角形で覆う。ただし、３角形パッチを最適にするため、対応点の設定後に３角形パッチを作り直すときは、前述したような３角形分割にはならず、例えば、図７（ｂ）のようになることも多い。三角形の重心を特定点とする代わりに、図８に示すように、各辺の中点を特定点としてもよい。辺の中点の対応点候補を求め、パターンマッチングにより正確な対応点を求める。この対応点を新しい頂点として、三角形を４つに分割する。この場合、分割された小さな三角形は細長くはならない。
【００３６】
３枚の画像から、対応点を求める方法を説明する。第１画像の特定点について、他の２画像の対応点候補を求める。これらの対応点候補の近傍でパターンマッチングを行う。１つの点について３つの対応点があるので、２つの対応点の組が３つでき、３つの空間位置座標が求まる。誤差がなければ３点は一致するはずであるが、通常は誤差があって一致しない。これらを平均して、１つの対応点の空間位置座標とする。こうして、誤差の影響を小さくできる。４枚以上の画像からも、同様にして対応点の空間位置座標を求めることができる。
【００３７】
対象物の表面に細かい凹凸がある場合は、正確に処理することができないので、滑らかな面に凹凸模様があるものとみなして処理する。大きな凹凸があって、２方向からの撮影では陰になる部分が生じる場合は、一度に処理することは不可能であるので、多くの方向から多数回撮影して、部分的な立体座標データをそれぞれ得て、各処理結果を合成する方法を用いる。
【００３８】
次に、図９と図10を参照しながら、実験結果について説明する。図９は、ぬいぐるみを撮影して、対応点を求めるときの三角形をいくつか示してある。図９（ａ）、（ｂ）は、曲率の大きい場合の例である。図９（ｃ）、（ｄ）は、曲率の小さい場合の例である。図10は、実験結果のグラフと表である。曲率小の場合は、小さい三角形では誤差は小さい。大きな三角形でも、マッチング結果の誤差は小さい。曲率大の場合は、小さい三角形では誤差は小さいが、大きな三角形では、マッチング結果の誤差が大きくなる。すなわち、曲率大の場合でも、三角形を小さくすれば誤差が小さくなり、この方法は有効であることがわかる。
【００３９】
次に、誤差について説明する。アフィンカメラ近似可能な領域内の図形を仮定しているので、実際の画像とアフィンカメラ画像との誤差が必ずある。これは、光軸に垂直でない平面を撮影した場合でも、必ず生じる誤差である。画像の画角が小さいほど、この誤差は小さくなる。さらに、曲面を平面で近似したことによる誤差がある。この誤差は、平面では０であるが、曲率が０でなければ必ず生じる誤差である。この誤差が大きいと、間違った位置でパターンマッチングの結果が最大になるので、曲率は小さいほうがよい。曲率の絶対値ではなく、三角形のサイズとの相対的な大きさが問題であるので、三角形の辺長に比べて、曲率半径が十分大きければよい。また、レンズの収差（球面収差、コマ収差）による誤差もある。焦点距離が長いほど、レンズの収差が小さいので、この誤差は小さくなるし、アフィンカメラに近くなるので、望遠レンズで撮影することが望ましい。
【００４０】
上記のように、本発明の実施例１では、画像処理方法を、撮影前に人手で初期対応点を対象物に設け、対象物を複数の異なる位置から撮影し、撮影後に人手で画像上の初期対応点の座標を抽出し、アフィンカメラ近似可能な領域内の平面近似可能曲面上の既知の３組の対応点からアフィン変換行列を求め、特定点近傍の画素群をアフィン変換したテンプレートを他方の画像と比較して、特定点の対応点を求める方法としたので、対応する図形の見かけのパターンが異なる場合にも、簡単に自動的に対応点を求めることができる。
【実施例２】
【００４１】
本発明の実施例２は、対象物を複数の異なる位置から撮影し、撮影後に自動的にすべての初期対応点を設定し、アフィンカメラ近似可能な領域内の平面近似可能曲面上の既知の３組の対応点（初期対応点と新たに求めた対応点を既知の対応点とする）からアフィン変換行列を求め、特定点近傍の画素群をアフィン変換したテンプレートを他方の画像と比較して、特定点の対応点を求める画像処理方法である。
【００４２】
本発明の実施例２における画像処理方法で用いる機能手段の基本的な構成は、実施例１と同じである。ただ、初期対応点設定手段４を、自動的にすべての初期対応点を設定する手段とした点が異なる。図11は、本発明の実施例２における画像処理方法の初期対応点の座標を求める方法を示す図である。図12は、新対応点を求める方法を説明する図である。
【００４３】
対象物を複数の異なる位置から撮影する。撮影画像を自動的に解析して、第１画像と第２画像の特徴点（角点など）をすべて求める。特に、対象物の頂点、稜の屈曲点、曲率の極大点など、平面近似できない特異点をすべて求めることが望ましい。例えば、周知の画像空間微分法などで、特異点を求めることができる。必要に応じて、特徴点がはっきりするように照明を調節して撮影する。対象物の表面に模様がない場合は、照明により模様を付ける。例えば、格子模様を対象物に投影する。あるいは、対象物に模様を描いてから撮影する。このようにして、対象物のすべての初期対応点の組を、自動的に求める。
【００４４】
これらの特徴点のうち、種々のパラメータの比較と粗いパターンマッチングで対応関係が推定できるものを、仮の初期対応点の組とする。図11（ａ）に示すように、特徴点でできた仮の初期対応点の組が、第１画像と第２画像に求まる。隣接する３点の組で三角形を形成すると、図11（ｂ）に示す三角形パッチが得られる。図11（ｃ）、（ｄ）に示すように、対応する三角形を１つ選び、この三角形について、仮のアフィン変換行列を求める。仮の初期対応点は、正確な対応点とは限らないので、アフィン変換行列も、２つの面の間の正確なアフィン変換行列とは限らない。そこで、このアフィン変換行列を仮のアフィン変換行列ということにする。仮のアフィン変換行列により、特徴点の近傍画素群をアフィン変換してテンプレートを求め、図11（ｅ）に示すように、パタンーンマッチングにより正確な対応点を求める。仮の初期対応点の所定近傍に正確な対応点が求まらない特徴点については、平面近似可能曲面上に無い点であるとして、対応点としない。
【００４５】
平面近似できる三角形が、初期対応点で形成できない場合は、既にある三角形の外側に新しい対応点を求める。３つの特徴点の組で形成される三角形のうちで、一方にしか三角形がない辺を選ぶ。その辺を対角線とする平行四辺形を、図12（ａ）に示すように形成する。新しく形成された三角形の頂点（特定点）の対応点候補は、図12（ｂ）に示すように、第２画像の対応三角形を平行四辺形にすることにより求まる。パターンマッチングにより、特定点の正しい対応点を求めると、図12（ｃ）に示すようになる。対応点が対応点候補の所定の近傍に発見できない場合は、平面近似可能曲面ではないので、元の三角形を４分割してから、再度試行する。こうして、新しい三角形の組を形成する。図12（ｄ）に示すように、既にある２つの三角形Ｒ，Ｓの頂点ｒ、ｓを結んで、図12（ｅ）に示す新しい三角形Ｔができる場合は、それを新しい三角形とする。こうしてできた新しい三角形を、実施例１と同様にして分割する。このようにして、対象物の表面を、三角形パッチで覆うことができる。
【００４６】
上記のように、本発明の実施例２では、画像処理方法を、対象物を複数の異なる位置から撮影し、撮影後に自動的に初期対応点を設定し、アフィンカメラ近似可能な領域内の平面近似可能曲面上の既知の３組の対応点からアフィン変換行列を求め、特定点近傍の画素群をアフィン変換したテンプレートを他方の画像と比較して、特定点の対応点を求める方法としたので、簡単に自動的に対応点を求めて、立体画像を復元することができる。
【産業上の利用可能性】
【００４７】
本発明の画像処理方法は、ロボットの目や立体復元装置などにおいて、２つの画像の対応点を求める画像処理方法として最適である。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施例１における画像処理方法の概念図である。
【図２】本発明の実施例１における画像処理方法の手順を示す流れ図である。
【図３】本発明の実施例１における画像処理方法でのアフィン変換原理を説明する図である。
【図４】本発明の実施例１における画像処理方法の原理を説明する図である。
【図５】本発明の実施例１における画像処理方法で用いるテンプレートの説明図である。
【図６】本発明の実施例１における画像処理方法で、対象物の表面を初期対応点の三角形で分割する方法と、初期対応点の座標を求める方法を示す図である。
【図７】本発明の実施例１における画像処理方法で、三角形を重心で分割する方法を示す図である。
【図８】本発明の実施例１における画像処理方法で、三角形を辺で分割する方法を示す図である。
【図９】本発明の実施例１における画像処理方法で、対象物の表面の三角形の大きさを変えて実験した様子を示す図である。
【図１０】本発明の実施例１における画像処理方法の実験結果のグラフと表である。
【図１１】本発明の実施例２における画像処理方法の初期対応点の座標を求める方法を示す図である。
【図１２】本発明の実施例２における画像処理方法の新対応点を求める方法を説明する図である。
【図１３】物体上の点と２つの画像の対応点の関係を説明する図である。
【図１４】従来のパターンマッチング法により対応点を求める方法を説明する図である。
【図１５】原図形を射影カメラで撮影した場合の画像の説明図である。
【図１６】射影カメラの画像をアフィン変換した画像の説明図である。
【符号の説明】
【００４９】
１  カメラ
２  画像入力手段
３  画像記憶手段
４  初期対応点設定手段
５  対応点記憶手段
６  特定点抽出手段
７  特定点記憶手段
８  アフィン変換行列演算手段
９  アフィン変換演算手段
10  テンプレート比較手段
11  対応点判定手段
【図１】
2006145419.tif 000003
【図２】
2006145419.tif 000004
【図３】
2006145419.tif 000005
【図４】
2006145419.tif 000006
【図５】
2006145419.tif 000007
【図６】
2006145419.tif 000008
【図７】
2006145419.tif 000009
【図８】
2006145419.tif 000010
【図９】
2006145419.tif 000011
【図１０】
2006145419.tif 000012
【図１１】
2006145419.tif 000013
【図１２】
2006145419.tif 000014
【図１３】
2006145419.tif 000015
【図１４】
2006145419.tif 000016
【図１５】
2006145419.tif 000017
【図１６】
2006145419.tif 000018