(57)【要約】【課題】  テンプレート・マッチング法を用いながらも、比較的少ない計算量で精度の高い対応点抽出を可能とする。【解決手段】  基準画像から該基準画像中の特定点を含むテンプレート画像を作成し、該テンプレート画像と探索画像中の各領域との類似度を求める。さらに、該類似度に基づいて上記探索画像中での上記特定点に対応する点を求める。そして、テンプレート画像内における上記特定点と該特定点以外の各点との色成分の差又は同一性を判定し、該判定結果に応じて上記類似度の算出におけるテンプレート画像内の各点の重みを異ならせる。    【選択図】  図１
2005173840.tif 000002
【特許請求の範囲】
【請求項１】
基準画像から該基準画像中の特定点を含むテンプレート画像を作成するテンプレート作成手段と、
前記テンプレート画像と探索画像中の各領域との類似度を求める類似度演算手段と、
該類似度に基づいて前記探索画像中での前記特定点に対応する点を求める対応点決定手段とを有し、
前記類似度演算手段は、前記テンプレート画像内における前記特定点と該特定点以外の各点との色成分の差を判定し、該判定結果に応じて前記類似度の算出における前記テンプレート画像内の各点の重み付けを異ならせることを特徴とする画像対応点抽出装置。
【請求項２】
前記類似度演算手段は、前記特定点の色成分との差が小さいほど、前記類似度の算出における前記特定点以外の点の重み付けを大きくすることを特徴とする請求項１に記載の画像対応点抽出装置。
【請求項３】
前記類似度は、明度又は輝度に関する類似度であることを特徴とする請求項１又は２に記載の画像対応点抽出装置。
【請求項４】
前記色成分の差は、色相の差であることを特徴とする請求項１から３のいずれか１つに記載の画像対応点抽出装置。
【請求項５】
基準画像から該基準画像中の特定点を含むテンプレート画像を作成するテンプレート作成手段と、
前記テンプレート画像と探索画像中の領域との類似度を求める類似度演算手段と、
該類似度に基づいて前記探索画像中での前記特定点に対応する点を求める対応点決定手段とを有し、
前記類似度演算手段は、前記テンプレート画像内における前記特定点と該特定点以外の各点との色成分の同一性を判定し、該判定結果に応じて前記類似度の算出における前記テンプレート画像内の各点の重みを異ならせることを特徴とする画像対応点抽出装置。
【請求項６】
前記類似度演算手段は、前記テンプレート画像内における前記特定点以外の点のうち前記特定点の色成分と同一性がない色成分を有する点の前記類似度の算出における重みを、前記特定点の色成分と同一性のある色成分を有する点の重みよりも小さくすることを特徴とする請求項５に記載の画像対応点抽出装置。
【請求項７】
前記類似度演算手段は、前記テンプレート画像内における前記特定点以外の点のうち前記特定点の色成分と同一性がない色成分を有する点の前記類似度の算出における重みを零にすることを特徴とする請求項６に記載の画像対応点抽出装置。
【請求項８】
前記類似度は、明度又は輝度に関する類似度であることを特徴とする請求項５から７のいずれか１つに記載の画像対応点抽出装置。
【請求項９】
前記色成分の同一性は、色相の同一性であることを特徴とする請求項５から８のいずれか１つに記載の画像対応点抽出装置。
【請求項１０】
前記類似度演算手段は、前記テンプレート画像内の各点の色成分について、無彩色か有彩色かを判定し、無彩色と判定したときは濃淡を、有彩色と判定したときは色相をさらに判定することを特徴とする請求項５から８のいずれか１つに記載の画像対応点抽出装置。
【請求項１１】
前記類似度演算手段は、前記テンプレート画像内の前記特定点と該特定点以外の各点の色成分の同一性判定において、前記特定点の色成分が無彩色である場合、前記特定点以外の各点の色成分が無彩色で、かつ前記特定点の色成分との濃淡差が所定範囲以内であるときは同一性のある色成分と判定し、それ以外は同一性のない色成分と判定することを特徴とする請求項１０に記載の画像対応点抽出装置。
【請求項１２】
前記類似度演算手段は、前記テンプレート画像内の前記特定点と該特定点以外の各点の色成分の同一性判定において、前記特定点の色成分が有彩色である場合、前記特定点以外の各点の色成分が有彩色で、かつ前記特定点の色成分との色相差が所定範囲以内であるときは同一性のある色成分と判定し、それ以外は同一性のない色成分と判定することを特徴とする請求項１０に記載の画像対応点抽出装置。
【請求項１３】
前記基準画像および探索画像となる複数の画像を入力する画像入力装置と、
請求項１から１２のいずれか１つに記載の画像対応点抽出装置と、
前記基準画像中の特定点の情報と前記画像対応点抽出装置により求められた前記探索画像中の対応点の情報とに基づいて処理を行う処理装置とを有することを特徴とする画像処理システム。
【請求項１４】
基準画像から該基準画像中の特定点を含むテンプレート画像を作成するテンプレート作成ステップと、
前記テンプレート画像と探索画像中の各領域との類似度を求める類似度演算ステップと、
該類似度に基づいて前記探索画像中での前記特定点に対応する点を求める対応点決定ステップとを有し、
前記類似度演算ステップにおいて、前記テンプレート画像内における前記特定点と該特定点以外の各点との色成分の差を判定し、該判定結果に応じて前記類似度の算出における前記テンプレート画像内の各点の重みを異ならせることを特徴とする画像対応点抽出方法。
【請求項１５】
前記類似度演算ステップにおいて、前記特定点の色成分との差が小さいほど、前記類似度の算出における前記特定点以外の点の重みを大きくすることを特徴とする請求項１４に記載の画像対応点抽出方法。
【請求項１６】
前記類似度は、明度又は輝度に関する類似度であることを特徴とする請求項１４又は１５に記載の画像対応点抽出方法。
【請求項１７】
前記色成分の差は、色相の差であることを特徴とする請求項１４から１６のいずれか１つに記載の画像対応点抽出方法。
【請求項１８】
基準画像から該基準画像中の特定点を含むテンプレート画像を作成するテンプレート作成ステップと、
前記テンプレート画像と探索画像中の各領域との類似度を求める類似度演算ステップと、
該類似度に基づいて前記探索画像中での前記特定点に対応する点を求める対応点決定ステップとを有し、
前記類似度演算ステップにおいて、前記テンプレート画像内における前記特定点と該特定点以外の各点との色成分の同一性を判定し、該判定結果に応じて前記類似度の算出における前記テンプレート画像内の各点の重みを異ならせることを特徴とする画像対応点抽出方法。
【請求項１９】
前記類似度演算ステップにおいて、前記テンプレート画像内における前記特定点以外の点のうち前記特定点の色成分と同一性がない色成分を有する点の前記類似度の算出における重みを、前記特定点の色成分と同一性のある色成分を有する点の重みよりも小さくすることを特徴とする請求項１８に記載の画像対応点抽出方法。
【請求項２０】
前記類似度演算ステップにおいて、前記テンプレート画像内における前記特定点以外の点のうち前記特定点の色成分と同一性がない色成分を有する点の前記類似度の算出における重みを零にすることを特徴とする請求項１９に記載の画像対応点抽出方法。
【請求項２１】
前記類似度は、明度又は輝度に関する類似度であることを特徴とする請求項１８から２０のいずれか１つに記載の画像対応点抽出方法。
【請求項２２】
前記色成分の同一性は、色相の同一性であることを特徴とする請求項１８から２１のいずれか１つに記載の画像対応点抽出方法。
【請求項２３】
前記類似度演算ステップにおいて、前記テンプレート画像内の各点の色成分について、無彩色か有彩色かを判定し、無彩色と判定したときは濃淡を、有彩色と判定したときは色相をさらに判定することを特徴とする請求項１８から２１のいずれか１つに記載の画像対応点抽出方法。
【請求項２４】
前記類似度演算ステップにおける前記テンプレート画像内の前記特定点と該特定点以外の各点の色成分の同一性判定において、前記特定点の色成分が無彩色である場合、前記特定点以外の各点の色成分が無彩色で、かつ前記特定点の色成分との濃淡差が所定範囲以内であるときは同一性のある色成分と判定し、それ以外は同一性のない色成分と判定することを特徴とする請求項２３に記載の画像対応点抽出方法。
【請求項２５】
前記類似度演算ステップにおける前記テンプレート画像内の前記特定点と該特定点以外の各点の色成分の同一性判定において、前記特定点の色成分が有彩色である場合に、前記特定点以外の各点の色成分が有彩色で、かつ前記特定点の色成分との色相差が所定範囲以内であるときは同一性のある色成分と判定し、それ以外は同一性のない色成分と判定することを特徴とする請求項２３に記載の画像対応点抽出方法。
【請求項２６】
請求項１４から２５のいずかれ１つに記載の画像対応点抽出方法をコンピュータに実行させるプログラムであることを特徴とする画像対応点抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像間の対応点を求める画像対応点抽出技術に関するものである。
【背景技術】
【０００２】
異なる視点位置あるいは異なる時点で撮影された複数の画像間の対応点を求め、それらの対応点の位置関係から、奥行き情報や動き情報を求める手法の１つとしてテンプレート・マッチング法が知られている。
【０００３】
このテンプレート・マッチング法は、複数の画像の一方を基準画像とし、他方を探索画像として、基準画像中の特定点（注目点）を含む領域の画像をテンプレート画像として作成し、探索画像内のテンプレート画像に対して類似度が高い領域（ブロック）中の点を対応点とする手法である。
【０００４】
このテンプレート・マッチング法における類似度を評価する関数の代表的なものに（１）式を用いた画素値の差の絶対値和を評価量とする関数がある。
【０００５】
【数１】
2005173840.tif 000003
ここで、Ｔ（ｉ，ｊ）は基準画像中のテンプレート画像内の画素の画素値（明度等）を、Ｉ（ｉ，ｊ）はテンプレート画像と比較される探索画像中のブロック内の画素の画素値を示している。
Ｅ（ｘ，ｙ）は（ｘ，ｙ）だけ移動した探索画像中のブロック内における画素値の差の絶対値和を表している。（１）式の評価関数を用いると、Ｅ（ｘ，ｙ）が最小となるブロック内の点が対応点となる。
【０００６】
但し、上述の評価関数を用いるテンプレート・マッチング法においては、テンプレート内に異なる奥行きあるいは異なる動きをもつ被写体が混在する被写体の境界領域において抽出精度が劣化する問題がある。これはテンプレート内に複数の被写体が混在する場合に注目点が属する被写体とは異なる被写体による類似度算出に対する影響が原因である。
【０００７】
この問題を解決する手法として、テンプレート画像内のエッジによりテンプレートを変形させる手法が提案されている(特許文献１参照)。この手法では、テンプレート画像においてエッジ抽出を行い、注目点から見てエッジの外側の領域にマスクをかけることで、注目点が属する被写体とは異なる被写体の影響を除去し、対応点抽出精度を向上させている。
【特許文献１】特開平９−２３１３５８号公報（段落００７１〜００９５、図１〜４等）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１にて提案の手法では、テンプレート・マッチング法にエッジ抽出、マスク作成などの処理が加わるため、計算処理が多くなってしまう。
【０００９】
また、エッジを用いて被写体の分離を行うため、エッジ抽出におけるしきい値の設定によってはテンプレート画像内の特徴が減少したり、細かいテクスチャーを持つ被写体においてテンプレートサイズが小さくなりすぎてしまい、誤った対応点が抽出されてしまう可能性が高くなるという問題がある。
【００１０】
本発明は、テンプレート・マッチング法を用いながらも、比較的少ない計算量で精度の高い対応点抽出を可能とすることを目的としている。
【課題を解決するための手段】
【００１１】
上述の目的を達成するため、本発明では、基準画像から該基準画像中の特定点を含むテンプレート画像を作成し、該テンプレート画像と探索画像中の各領域との類似度を求める。さらに、該類似度に基づいて上記探索画像中での上記特定点に対応する点を求める。そして、テンプレート画像内における上記特定点と該特定点以外の各点との色成分の差又は同一性を判定し、該判定結果に応じて上記類似度の算出におけるテンプレート画像内の各点の重みを異ならせる。
【発明の効果】
【００１２】
本発明では、テンプレート画像内の特定点とそれ以外の点の色成分の差若しくは同一性を判定の判定結果に応じて類似度算出における重みを変更するので、比較的少ない計算量で精度の高い対応点抽出を行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１４】
図１には、本発明の実施例１である画像対応点抽出装置１００を含む画像処理システムの構成を示している。
【００１５】
同図において、１０１は視点の異なる位置に配置された複数台のカメラ又は時系列に撮影を行うカメラなどの画像入力装置である。カメラとしては、デジタルスチルカメラやビデオカメラ等を用いることができる。
【００１６】
次に、画像対応点抽出装置１００について説明する。１０２は画像入力装置１０１により撮影された画像データの表色系を、均等色空間を持つ表色系に変換する表色系変換部である。
【００１７】
１０３は画像入力装置１０１により撮像された複数の画像データ（表色系変換部１０２によって変換されたもの）のうち基準となる画像（基準画像）を格納する基準画像メモリ、１０４は上記複数の画像のうち基準画像中の注目点（特定点）に対応する点が探索される画像（探索画像）を格納する探索画像メモリである。
【００１８】
１０５は基準画像メモリ１０３に格納された基準画像からテンプレート画像を作成するテンプレート画像作成部である。テンプレート画像は、注目点を中心に含むように設定される。
【００１９】
１０８はテンプレート画像に対する探索画像内の小領域（テンプレート画像と同じ形状および大きさを持つ領域：以下、探索領域という）の類似度を求める類似度演算部であり、色成分判定部１０６、色成分比較部１０７、差分演算部１０９、累積和演算部１１０とから構成されている。
【００２０】
色成分判定部１０６は、テンプレート画像内の注目点（注目画素）を含む各画素の色成分を判定する。
【００２１】
色成分比較部１０７は、色成分判定部１０６によって判定された、注目画素の色成分とテンプレート画像内における注目画素以外の各画素の色成分とを比較する。
【００２２】
差分演算部１０９は、テンプレート画像内の各画素の明度と探索領域内の各画素の明度（輝度）との差分を演算する。
【００２３】
累積和演算部１１０は、差分演算部１０９から出力された画素ごとの明度差分の演算結果の加重累積和を演算する。この加重累積和が当該探索領域のテンプレート画像に対する類似度となる。
【００２４】
１１１は類似度演算部１０８により類似度判定結果から、探索画像中の類似度が最も高くなる（後述する類似値が最も小さくなる）探索領域の中心点を、基準画像の注目点に対応する点（対応点）として決定する対応点決定部である。
【００２５】
なお、表色系変換部１０２〜対応点決定部１１１を１つの演算処理ユニット（ＣＰＵ等）内に構成してもよいし、これらを別々のユニットに分けて構成してもよい。
【００２６】
１２０は基準画像中の注目点の位置情報（座標）と画像対応点抽出装置（対応点決定部１１１）により決定された対応点の位置情報とに基づいて、それらの位置関係から、画像中の被写体の奥行き情報や動き情報を求める（推定処理する）処理装置である。
【００２７】
なお、画像対応点抽出装置１００と処理装置１２０とを１つの装置（コンピュータ等）として構成してもよいし、別々の装置として構成してもよい。
【００２８】
次に、上記画像対応点抽出装置１００の各部の演算処理についてさらに詳しく説明する。
【００２９】
画像入力装置１０１から視点の異なる位置で撮影された複数の画像データ又は異なる時刻に撮影された複数の画像データが表色系変換部１０２に入力されると、表色系変換部１０２は、入力された画像データをＬ*ａ*ｂ*表色系に変換する。
【００３０】
ここで、Ｌ*ａ*ｂ*表示系は、ＣＩＥ（国際照明委員会）が推奨する色空間であり、ＣＩＥ１９７６表色系（ＣＩＥＬＡＢ）とも称され、ＪＩＳＺ８７２９に規定されている。なお、本実施例では、Ｌ*ａ*ｂ*表色系に変換する場合について説明するが、これに限らず、Ｌ*ｕ*ｖ*表色系や輝度‐色差信号に変換してもよい。
【００３１】
変換後の画像データのうち、所定の視点に設置されたカメラで撮影された又は所定時刻に撮影された基準画像が基準画像メモリ１０３に、上記所定の視点以外のカメラで撮影された又は所定時刻以外の時刻に撮影された、対応点探索を行う探索画像が探索画像メモリ１０４にそれぞれ格納される。
【００３２】
テンプレート画像作成部１０５は、基準画像メモリ１０３内の画像データからユーザの操作により選択された又はテンプレート画像作成部１０５が自動的に設定した注目点を中心に含むように、ユーザ操作又は自動的に設定した形状およびサイズの領域を抽出してテンプレート画像を作成する。
【００３３】
色成分判定部１０６は、テンプレート画像作成部１０５で作成されたテンプレート画像内の各画素の色座標ａ*，ｂ*の値から色成分の判定を行う。
【００３４】
色成分比較部１０７は、色成分判定部１０６での判定結果から、注目画素の色成分とそれ以外のテンプレート内画素の色成分との比較を行う。色成分の判定および比較方法の具体例については後述する。
【００３５】
差分演算部１０９は、テンプレート画像作成部１０５で作成されたテンプレート画像内の画素の明度（輝度）Ｌ*Tと、探索画像中における探索領域内の画素の明度Ｌ*Iとの差分を演算する。
【００３６】
累積和演算部１１０は、差分演算部１０９からの画素ごとの明度の差分の演算結果に対して、色成分比較部１０７での比較結果に基づいて重み付けを行った累積和を計算し、テンプレート画像に対する探索領域の類似値を演算する。そして、演算結果を対応点決定部１１１に供給する。
【００３７】
対応点決定部１１１は、供給された探索領域の類似値から、類似度が最大となる（類似値が最小となる）探索領域の中心点を、テンプレート画像内の注目点の対応点として決定し、該対応点の位置情報を出力する。
【００３８】
次に、本実施例における画像対応点抽出処理の手順を図２のフローチャートを用いて説明する。ここでは、図１に示した画像対応点抽出装置の各部がＣＰＵ内に構成され、該ＣＰＵが不図示のハードディスクやメモリに格納されたプログラムを実行することにより、画像対応点抽出処理が行われる場合について説明する。但し、上記各部をハードウェアによって構成してもよい。
【００３９】
まず、ステップＳ２０１で、画像入力装置１０１からＣＰＵに基準画像と探索画像が入力されると、ステップＳ２０２では、ＣＰＵ（表色系変換部１０２）は、基準画像と探索画像の画像データが均等色空間を持つ表色系に変換する。本実施例では、画像データの表色系をＬ*ａ*ｂ*表色系に変換する。そして、ＣＰＵは、変換された画像データのうち基準画像のデータを基準画像メモリ１０３に、探索画像のデータを探索画像メモリ１０４にそれぞれ格納する。
【００４０】
次に、ステップＳ２０３では、ＣＰＵ（テンプレート画像作成部１０５）は、基準画像中の注目画素を中心に含む上記所定の形状および大きさの領域をテンプレート画像として抽出する。
【００４１】
次に、ステップＳ２０４では、ＣＰＵ（色成分判定部１０６）は、探索画像中の１点を選択し、該点にテンプレート画像の注目点が一致するように探索領域を設定する。
【００４２】
次に、ステップＳ２０５では、ＣＰＵ（色成分判定部１０６）は、テンプレート画像内における注目画素の色成分と注目画素以外の画素の色成分を判定する。色成分の判定は、(２)式で示される色相角θに基づいて行う。
θ＝tan-1（ｂ*／ａ*）                      ・・・（２）
次にステップＳ２０６では、ＣＰＵ（色成分比較部１０６）は、テンプレート画像内における注目画素の色成分と注目画素以外の画素の注目画素の色成分との差分演算を行う。本実施例では、（３）式を用いて、ステップＳ２０５において演算された注目画素の色相角θcと注目画素以外の画素の色相角θnの差Δθnを演算する。
【００４３】
Δθn＝｜θn−θc｜  ・・・（３）
ここで、色相角の差Δθnは、注目画素の色相角θcを基準とした他の画素の色相角θnとの差の絶対値である。
【００４４】
一方、ステップＳ２０５，２０６の処理と並行してステップＳ２０７では、ＣＰＵ（差分演算部１０９）は、式(４)を用いてテンプレート画像内の画素（座標ｉ，ｊ）の明度（輝度）（ｉ，ｊ）  と、ステップ２０４で選択した探索領域内の画素（座標ｉ−ｘ，ｉ−ｙ）の明度（ｉ−ｘ，ｊ−ｙ）との差分演算を行う。
【００４５】
ｘ，ｙはテンプレート画像内の画素の位置（座標ｉ，ｊ）からｘ軸方向およびｙ軸方向に移動した量である。
【００４６】
【数２】
2005173840.tif 000004
本実施例では、画素値（明度）の差の絶対値を演算するが、画素値の差の二乗を演算してもよい。
【００４７】
次に、ステップＳ２０８では、ＣＰＵ（累積和演算部１１０）は、ステップＳ２０７で演算された画素ごとの明度差分値のテンプレート画像内における累積和を（５）式を用いて計算する。このとき、ステップＳ２０６での色成分の比較結果に応じて差分値に重み付けを行う。重み付けは、（６）式を用い、色相角の差が大きいほど小さく（逆に言えば、色相角の差が小さいほど大きく）設定する。
【００４８】
【数３】
2005173840.tif 000005
ここで、Ｓ（ｘ，ｙ）は類似値を、ｗθ（ｉ，ｊ）は重みを示す。
【００４９】
本実施例では、類似値Ｓ（ｘ，ｙ）の値はテンプレート画像と探索領域の画像とが類似しているほど（類似度が高いほど）小さくなる。
【００５０】
このように、本実施例では、画素ごとの明度の差分値の累積和を計算する際に、色相（色相角）の差に基づいて重み付けをする。テンプレート画像内で色相が同一の画素は同じ被写体に属する可能性が高く、異なる色相の画素は同じ被写体に属する可能性が低いため、注目画素の色相に近い（色相角の差が小さい）画素ほど重みを大きく設定することで、該画素による注目画素が属する被写体への類似度に対する影響を強めることができる。逆に言えば、注目画素の色相から離れた（色相角の差が大きい）画素ほど重みが小さくなるため、該画素による注目画素が属する被写体への類似度に対する影響を弱めることができる。
【００５１】
次に、ステップＳ２０９では、ＣＰＵは、テンプレート画像内の全ての画素について、ステップＳ２０５〜Ｓ２０８の処理が行われたか否かを判定し、処理が完了していなければステップＳ２０５〜Ｓ２０７の処理を繰り返す。
【００５２】
テンプレート画像内の全ての画素についてステップＳ２０５〜Ｓ２０８の処理が行われた場合には、ステップＳ２１０に進み、ＣＰＵは、探索画像内の全ての画素についてＳ２０５〜Ｓ２０９の処理を行い、各探索領域の類似度（類似値）が演算されたか否かを判定する。処理が完了していなければステップＳ２０４に戻り、類似度の演算を繰り返す。完了した場合には、ステップＳ２０９にて、類似値が最小となる（類似度が最大となる）探索領域中の中心点を対応点と決定する。
【００５３】
以上説明したように、本実施例では、テンプレート画像内の注目点と他の点との色相の差に応じて類似度演算における重みを異ならせて、すなわち色相が近い場合は重みを大きくし、色相が離れている場合は重みを小さくして加重累積和をとり、探索領域の類似度を演算する。これにより、テンプレート画像内に複数の被写体が混在する場合に探索画像内で対応点を抽出するにあたり、テンプレート画像内の注目点が属する被写体とは異なる被写体の影響を小さくして、精度の高い対応点抽出が可能となる。
【００５４】
以下、図３〜５を用いて上記処理を具体的に説明する。
【００５５】
図３（Ａ）は、基準画像の例を示す。被写体としては、人物Ｐ（服が深緑色）、人物Ｐの背後の海Ｗ（青色、但し、波は水色）、空Ｓおよび雲Ｃが混在する。この基準画像において、注目点Ｒを背景（海Ｗ）上に設定し、この注目点Ｒを中央に含むテンプレート画像Ｔを図示のように設定する。
【００５６】
図３（Ｂ）は、基準画像が撮影された時刻よりも後の時刻に撮影された探索画像である。人物Ｐは基準画像の撮影時刻での位置に対して左側（図中の矢印方向）に動いている。背景である海Ｗ、空Ｓおよび雲Ｃに動きはない。本来、注目点Ｒが背景上にあるため、人物Ｐが動いてもテンプレート画像Ｔに対応する探索領域は移動すべきではない。
【００５７】
しかし、従来のテンプレート・マッチング法においては、テンプレート画像Ｔ内に特徴（明度）の強い人物Ｐが含まれているため、この特徴が最も類似するように探索領域Ｔ”（つまりは偽の対応点Ｒ”）が、テンプレート画像Ｔに対応する本来の領域Ｔ’（つまりは真の対応点Ｒ’）から左に動いてしまう。
【００５８】
この結果、図４に示すように、人物Ｐの輪郭の外側周辺までのハッチング領域Ａが人物Ｐの動きの一部（人物Ｐの輪郭が太った）と判定されてしまう。そしてこれにより、奥行き情報や動き情報を正確に推定することが困難になる。
【００５９】
そこで、本実施例では、以下のような手法を採用している。図５（Ａ）には、図３（Ａ）に示したテンプレート画像Ｔのカラー画像とその輝度成分を抽出した輝度（明度）画像を示す。また、図５（Ｂ）には、真の探索点（対応点）Ｒ’を中心とした小領域である探索領域Ｔ’のカラー画像と輝度画像を、図５（Ｃ）には、人物Ｐの影響を受けて移動した偽の探索点（対応点）Ｒ''を中心とした探索領域Ｔ''のカラー画像と輝度画像を示す。
【００６０】
また、図５（Ａ）に示したテンプレート画像Ｔにおける画素ごとの輝度値と色相角は図６（Ａ），（Ｂ）のようになる。
【００６１】
一方、図５（Ｂ）および（Ｃ）に示した探索領域Ｔ’およびＴ''における画素ごとの輝度値はそれぞれ、図７（Ａ）および（Ｂ）のようになる。さらに、テンプレート画像Ｔとこれら探索領域Ｔ’，Ｔ''との間の画素ごとの輝度値の差分をとると、図７（Ｃ）および（Ｄ）のようになる。そして、該差分値の累積和である類似値はこれらの図の下部に示す値となる。
【００６２】
このように、すなわち従来のように単純に各画素の明度（輝度）の差分の和を用いると、人物の特徴を合わせる方が類似値が小さくなる（類似度が高くなる）ため、探索点Ｒ''を対応点と判断する。
【００６３】
これに対し、本実施例で説明したように、図６（Ｂ）に示した色相角に基づいて、テンプレート画像内での注目画素Ｒの色相角と他の画素の色相角との差を求めると、図６（Ｃ）のようになる。そして、該色相角の差に応じた重み付けの値は、図６（Ｄ）に示すように決定される。
【００６４】
図７（Ａ）および（Ｂ）に示した探索領域Ｔ’およびＴ''における画素ごとの輝度値に対して図６（Ｄ）に示すように決定された重み付けの値を乗算し、それぞれの重み付け後の輝度値とテンプレート画像Ｔの輝度値との画素ごとの差分をとると図８（Ａ），（Ｂ）のようになる。このときの該差分値の累積和（類似値）はこれらの図の下部に示す値となる。
【００６５】
つまり、本実施例のように重み付けを行った場合、人物の特徴によって発生する類似度への寄与が小さくなるため、真の対応点である探索点Ｒ’を中心とした探索領域Ｔ’の類似値が、偽の対応点である探索点Ｒ''を中心とした探索領域Ｔ''の類似値よりも小さくなり、この結果、類似度が最も高い探索領域Ｔ’内の探索点Ｒ’が対応点として求められる。
【実施例２】
【００６６】
図９には、本発明の実施例２である画像対応点抽出装置３００を含む画像処理システムの構成を示している。
【００６７】
同図において、３０１は視点の異なる位置に配置された複数台のカメラ又は時系列に撮影を行うカメラなどの画像入力装置である。カメラとしては、デジタルスチルカメラやビデオカメラ等を用いることができる。
【００６８】
次に、画像対応点抽出装置３００について説明する。３０２は画像入力装置３０１により撮影された画像データを、輝度−色差信号に変換する輝度−色差変換部である。
【００６９】
３０３は画像入力装置３０１により撮像された複数の画像データ（輝度−色差変換部３０２によって変換されたもの）のうち基準となる画像（基準画像）を格納する基準画像メモリ、３０４は上記複数の画像のうち基準画像中の注目点（特定点）に対応する点が探索される画像（探索画像）を格納する探索画像メモリである。
【００７０】
３０５は基準画像メモリ３０３に格納された基準画像からテンプレート画像を作成するテンプレート画像作成部である。テンプレート画像は、注目点を中心に含むように設定される。
【００７１】
３０８はテンプレート画像に対する探索画像内の小領域（テンプレート画像と同じ形状および大きさを持つ領域：以下、探索領域という）の類似度を求める類似度演算部であり、色成分判定部３０６、色成分同一性判定部３０７、差分演算部３０９、累積和演算部３１０とから構成されている。
【００７２】
色成分判定部３０６は、テンプレート画像内の注目点（注目画素）を含む各画素の色成分を判定する。
【００７３】
色成分同一性判定部３０７は、色成分判定部３０６によって判定された、注目画素の色成分とテンプレート画像内における注目画素以外の各画素の色成分との同一性を判定する。
【００７４】
差分演算部３０９は、テンプレート画像内の各画素の明度と探索領域内の各画素の明度との差分を演算する。
【００７５】
累積和演算部３１０は、差分演算部３０９から出力された画素ごとの明度差分の演算結果の加重累積和を演算する。この加重累積和が当該探索領域のテンプレート画像に対する類似度となる。
【００７６】
３１１は類似度演算部３０８により類似度判定結果から、探索画像中の類似度が最も高くなる（後述する類似値が最も小さくなる）探索領域の中心点を、基準画像の注目点に対応する点（対応点）として決定する対応点決定部である。
【００７７】
なお、輝度−色差信号変換部３０２〜対応点決定部３１１を１つの演算処理ユニット（ＣＰＵ等）内に構成してもよいし、これらを別々のユニットに分けて構成してもよい。
【００７８】
３２０は基準画像中の注目点の位置情報（座標）と画像対応点抽出装置（対応点決定部１１１）により決定された対応点の位置情報とに基づいて、それらの位置関係から、画像中の被写体の奥行き情報や動き情報を求める（推定処理する）処理装置である。
【００７９】
なお、画像対応点抽出装置３００と処理装置３２０とを１つの装置（コンピュータ等）として構成してもよいし、別々の装置として構成してもよい。
【００８０】
次に、上記画像対応点抽出装置１００の各部の演算処理についてさらに詳しく説明する。
【００８１】
画像入力装置３０１から視点の異なる位置で撮影された複数の画像データ又は異なる時刻に撮影された複数の画像データが輝度−色差信号変換部３０２に入力されると、その入力された画像データは輝度−色差信号変換部３０２において、輝度−色差信号（ＹＩＱ信号またはＹＣ信号）に変換される。
【００８２】
変換された画像データのうち任意の基準となる画像が基準画像メモリ３０３に、他の対応点探索を行う画像が探索画像メモリ３０４に格納される。
【００８３】
テンプレート画像作成部３０５は、基準画像メモリ３０３内の画像データから任意の位置、サイズの領域を抽出し、テンプレート画像を生成する。
【００８４】
色成分判定部３０６は、テンプレート画像作成部３０５で作成されたテンプレート画像内の各画素の色差信号の値から色成分の判定を行う。
【００８５】
色成分同一性判定部３０７は、色成分判定部３０６の結果を用いて、テンプレート画像内の注目画素の色成分と他の画素の色成分との同一性を判定する。同一性の判定手法については後述する。
【００８６】
類似度演算部３０８を構成する差分演算部３０９は、テンプレート画像内の画素の輝度信号と比較される、探索画像における探索領域内の画素の輝度信号の差分を演算する。
【００８７】
累積和演算部３１０は、色成分同一性判定部３０７で注目画素と同一の色成分であると判定された画素について、差分演算部３０９からの画素ごとの差分演算結果の累積和を演算し、演算結果を対応点決定部３１１に供給する。
【００８８】
対応点決定部３１１は、供給された探索領域の類似度から、類似度が最大となる（類似値が最小となる）点を対応点として決定し、対応点を出力する。
【００８９】
次に、本実施例における画像対応点抽出方法の処理手順を、図１０のフローチャートを用いて説明する。ここでは、図９に示した画像対応点抽出装置の各部がＣＰＵ内に構成され、該ＣＰＵが不図示のハードディスクやメモリに格納されたプログラムを実行することにより、画像対応点抽出処理が行われる場合について説明する。但し、上記各部をハードウェアによって構成してもよい。
【００９０】
まず、ステップＳ４０１で、画像入力装置３０１からＣＰＵに基準画像と探索画像が入力されると、ステップＳ４０２では、ＣＰＵ（輝度−色差信号変換部３０２）は、基準画像と探索画像の画像データを輝度‐色差信号に変換する。ここでは、輝度信号をＹ信号、色差信号をＩ信号およびＱ信号で表す。
【００９１】
次に、ステップＳ４０３では、ＣＰＵ（テンプレート画像作成部３０５）は、基準画像中の対応点を抽出する注目画素を含む小領域をテンプレート画像として抽出する。テンプレート画像の形状およびサイズは、任意に設定可能である。
【００９２】
ステップＳ４０４では、ＣＰＵ（色成分判定部３０６）は、テンプレート画像と比較する、探索画像における探索領域内の１点を選択する。そして、ステップＳ４０５では、テンプレート画像内の注目画素と探索画像の画素と差分演算を行う画素の色成分を判定する。色成分の判定は、（７）式で示される色座標Ｉ，Ｑによる色相角θと、（８）式で示される色座標Ｉ，Ｑの原点からの距離ｄに基づいて行う。
【００９３】
【数４】
2005173840.tif 000006
次に、ステップＳ４０６では、ＣＰＵ（色成分同一性判定部３０７）は、注目画素の色成分と、探索領域の画素のうち差分演算を行う画素の色成分との同一性判定を行う。本実施例では、まず注目画素の色成分について色座標Ｉ，Ｑの原点からの距離ｄcを用いて無彩色か有彩色かを判定する。ここでは（９）)式で示されるように、色座標Ｉ，Ｑの原点からの距離ｄcが所定のしきい値ｄth未満の場合を無彩色と判定し、しきい値ｄth以上の場合を有彩色と判定する。
【００９４】
【数５】
2005173840.tif 000007
ここで、無彩色であると判定された場合は、さらにＹ信号を用いて白成分か黒成分かを判定する。（１０）式のように、ここではＹ信号の値が所定のしきい値Ｙth未満の場合を黒成分、しきい値Ｙth以上の場合を白成分と判定する。
【００９５】
【数６】
2005173840.tif 000008
ここで、Ｙcは注目画素の輝度値である。
次に、注目画素の色成分と差分演算を行う画素の色成分との同一性を判定する。注目画素の色成分が無彩色の黒成分であると判定された場合、差分演算を行う画素の色成分についても上述の判定を行い、無彩色の黒成分であると判定された場合は同一の色成分と判定し、有彩色または無彩色の白成分であると判定された場合は異なる色成分と判定する。
【００９６】
注目画素の色成分が無彩色の白成分であると判定された場合において、差分演算を行う画素が無彩色の白成分であると判定された場合は同一の色成分と、有彩色または無彩色の黒成分であると判定された場合は異なる色成分と判定する。
【００９７】
また、注目画素の色成分が有彩色であると判定された場合は、（１１）式のように、ステップＳ４０５において演算された注目画素の色成分の色相角θcを基準として、注目画素の色成分の色相角θcと、差分演算を行う画素の色成分の色相角θnとの差Δθnを演算する。そして、その演算結果が所定のしきい値Δθth未満の場合は同一の色成分であると判定し、しきい値Δθth以上の場合は異なる色成分であると判定する。
【００９８】
【数７】
2005173840.tif 000009
次にステップＳ４０７では、ＣＰＵ（累積和演算部３１０）は、テンプレート画像内の画素の明度（輝度）値と、探索領域の画素の明度（輝度）値との差の絶対値を演算する。この演算は、（４）式に従う。なお、本実施例では差の絶対値を演算するが、画素値の差の二乗を演算してもよい。そして、ステップＳ４０８では、ステップＳ４０６で注目画素と同一の色成分であると判定された画素のみについて、（５）式により、ステップＳ４０７で演算された画素ごとの輝度値の差の絶対値の累積和（類似値）を演算する。
【００９９】
なお、本実施例では、画素ごとの差分値の累積和を計算する際に、色相角、色座標の原点からの距離に基づいて、テンプレート画像内の注目画素と他の画素の色成分の同一性を判定し、色成分が異なると判定された画素の類似度への寄与の重みを零として類似度を演算する。
【０１００】
テンプレート画像内で色相が同一の画素は同じ被写体に属する可能性が高く、異なる色相の画素は同一の被写体に属する可能性が低いため、注目画素と同一の色相のみを類似度に寄与させることで、注目画素が属する被写体からの類似度への影響をより強めることができる。しかも、無彩色と有彩色の判定を行うことで、より正確に、注目画素が属する被写体とは異なる被写体からの類似度への寄与を抑制することができる。また、色相を用いて被写体の分離を行っているため、輝度信号に関する情報が多く保存されており、類似度演算において十分な画像特徴を用いて対応点抽出が可能である。
【０１０１】
次に、ステップＳ４０９では、テンプレート画像内の全ての画素についてステップＳ４０５〜Ｓ４０８の処理が行われたかを判定し、処理が完了していなければステップＳ４０５〜Ｓ４０７の処理を繰り返し、処理が完了すればステップＳ４１０に進む。
【０１０２】
ステップＳ４１０では、探索領域内の全ての画素についてステップＳ４０５〜Ｓ４０９の処理を行い、類似度が演算されたか否かを判定し、処理が完了していなければステップＳ４０４に戻り、類似度の演算を繰り返す。完了した場合は、ステップＳ４０９において類似値が最小となる（類似度が最大となる）探索領域内の中心点を対応点として決定する。
【０１０３】
ここで、図６（Ｅ）には、本実施例において、実施例１にて説明した図６（Ｄ）に対応する、テンプレート画像内での色相角の差による画素ごとの重み付けの値を示している。注目点（注目画素）が有彩色であって、色相角の差Δθnが所定のしきい値（Δθth）以上の場合は、重み付けを零としている。
【０１０４】
そして、図７（Ａ）および（Ｂ）に示した探索領域Ｔ’およびＴ''における画素ごとの輝度値に対して図６（Ｅ）に示すように決定された重み付けの値を乗算し、それぞれの重み付け後の輝度値とテンプレート画像Ｔの輝度値との画素ごとの差分をとると、図１１（Ａ），（Ｂ）のようになる。このときの該差分値の累積和（類似値）はこれらの図の下部に示す値となる。
【０１０５】
つまり、本実施例のような重み付けを行った場合、人物の特徴によって発生する差分の類似度への寄与が零となるため、真の対応点である探索点Ｒ’（図３（Ｂ）参照）を中心とした探索領域Ｔ’の類似値が、偽の対応点である探索点Ｒ''を中心とした探索領域Ｔ''の類似値に比べて非常に小さくなり、より正確に探索点Ｒ’を対応点として検出することができる。
【０１０６】
以上説明したように、本実施例では、類似度の演算の際に、テンプレート画像内の注目点と他の点の色成分の同一性を判定し、同一の色成分であると判定された場合のみ類似度に寄与させることで、テンプレート画像内に複数の被写体が混在する場合においても精度の高い対応点抽出が可能である。また、色相に関して被写体の分離を行うため、輝度信号に多く含まれる被写体の陰影などの画像特徴は保存され誤対応発生の増加は少ない。
【０１０７】
そして、本実施例では、実施例１に比べて、比較的少ない計算量の増加で、より正確な対応点抽出が可能である。
【０１０８】
なお、本発明は、上記各実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することにも適用できる。
【０１０９】
この場合、記憶媒体から読み出されたプログラムコード自体が、上記説明した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１０】
プログラムコードを供給するための記憶媒体としては、例えば、フレシキブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１１１】
また、コンピュータが読み出したプログラムコードを実行することにより、上記各実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって、上記実施例の機能が実現される場合も本発明に含まれる。
【０１１２】
また、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記実施例の機能が実現される場合も本発明に含まれる。
【０１１３】
さらに上記実施例から導かれる発明として以下のようなものも挙げることができる。
すなわち、
（１）色成分の差が、色相角に基づく色相の差であること。
（２）成分の同一性判定に際して、各点の色成分の色相角が注目点の色相角を基準として所定の角度範囲内であると同一の色成分とし、それ以外の場合は同一性がない色成分と判定すること。
（３）無彩色か有彩色かの判定を色座標の原点からの距離に基づいて行うこと。
（４）無彩色における濃淡の判定に輝度を用いること。
（５）無彩色における濃淡の判定に明度を用いること。
（６）有彩色の色相の判定を色相角に基づいて行うこと。
【図面の簡単な説明】
【０１１４】
【図１】本発明の実施例１である画像対応点抽出装置を含む画像処理システムの構成を示すブロック図である。
【図２】実施例１における画像対応点抽出方法の処理手順を示すフローチャートである。
【図３】実施例１における画像対応点抽出方法の具体例を示す図である。
【図４】実施例１における画像対応点抽出方法の具体例を示す図である。
【図５】実施例１における画像対応点抽出方法の具体例を示す図である。
【図６】実施例１（および実施例２）における画像対応点抽出方法の具体例を示す図である。
【図７】実施例１における画像対応点抽出方法の具体例を示す図である。
【図８】実施例１における画像対応点抽出方法の具体例を示す図である。
【図９】本発明の実施例２である画素対応点抽出装置を含む画像処理システムの構成を示すブロック図である。
【図１０】実施例２における画像対応点抽出方法の処理手順を示すフローチャートである。
【図１１】実施例２における画像対応点抽出方法の具体例を示す図である。
【符号の説明】
【０１１５】
１０１  画像入力部
１０２  表色系変換部
１０３  基準画像メモリ
１０４  探索画像メモリ
１０５  テンプレート画像作成部
１０６  色成分判定部
１０７  色成分比較部
１０８  類似度演算部
１０９  差分演算部
１１０  累積和演算部
１１１  対応点決定部
３０１  画像入力部
３０２  輝度‐色差信号変換部
３０３  基準画像メモリ
３０４  探索画像メモリ
３０５  テンプレート画像作成部
３０６  色成分判定部
３０７  色成分同一性判定部
３０８  類似度演算部
３０９  差分演算部
３１０  累積和演算部
３１１  対応点決定部
【図１】
2005173840.tif 000010
【図２】
2005173840.tif 000011
【図３】
2005173840.tif 000012
【図４】
2005173840.tif 000013
【図５】
2005173840.tif 000014
【図６】
2005173840.tif 000015
【図７】
2005173840.tif 000016
【図８】
2005173840.tif 000017
【図９】
2005173840.tif 000018
【図１０】
2005173840.tif 000019
【図１１】
2005173840.tif 000020