(57)【要約】従来の画像検索においては検索精度が充分ではなかった。また、汎用性が高く高速に特徴的な部位を検索可能な手法が望まれていた。画像をドットマトリクス状の画素で表現した画像データを取得し、同画像データに基づいて画像のエッジ画素を検出し、同検出されたエッジ画素とその周囲の画素とで形成するパターンが所定の抽出対象に近い場合に当該エッジ画素を特徴点として抽出し、上記画像内で当該抽出した特徴点が多く分布する所定領域を特徴領域とする。
2004051575.tif 000002
【特許請求の範囲】
【請求項１】
画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得手段と、
同画像データに基づいて画像のエッジ画素を検出するエッジ画素検出手段と、
同検出されたエッジ画素とその周囲の画素とで形成するパターンが所定の抽出対象に近い場合に当該エッジ画素を特徴点として抽出する特徴点抽出手段と、
上記画像内で当該抽出した特徴点が多く分布する所定領域を特徴領域とする特徴領域決定手段とを具備することを特徴とする特徴領域抽出装置。
【請求項２】
上記特徴点抽出手段は、エッジ画素を示すフィルタ値と非エッジ画素を示すフィルタ値とによって形成されたドットマトリクス状のフィルタであって各フィルタ値の配置によって抽出対象となるパターンを形成した複数のフィルタと上記エッジ画素を検出した後のエッジ検出データとを照合して上記フィルタの中央に相当する画素が特徴点であるか否かを決定することを特徴とする上記請求項１に記載の特徴領域抽出装置。
【請求項３】
上記照合の際には上記フィルタを各エッジ画素に対して適用し、当該エッジ画素の周囲で上記エッジ画素を示すフィルタ値と上記エッジ検出データのエッジ画素とが２箇所以上で一致するときにフィルタを適用したエッジ画素を特徴点とすることを特徴とする上記請求項２に記載の特徴領域抽出装置。
【請求項４】
上記抽出対象のパターンは、エッジが９０°以上かつ１８０°未満の角を形成する際のパターンであることを特徴とする上記請求項１〜請求項３のいずれかに記載の特徴領域抽出装置。
【請求項５】
上記フィルタは３×３画素のフィルタであり、その中央を除く画素において隣接する４画素がエッジ画素を示すフィルタ値であり隣接する他の４画素が非エッジ画素を示すフィルタ値であることを特徴とする上記請求項２〜請求項３のいずれかに記載の特徴領域抽出装置。
【請求項６】
上記特徴領域決定手段は、上記画像を所定画素数の複数の領域に分割し、当該領域内に含まれる上記特徴点の数が所定の閾値以上であるときに当該領域を上記特徴領域とすることを特徴とする上記請求項１〜請求項５のいずれかに記載の特徴領域抽出装置。
【請求項７】
上記特徴領域決定手段は、上記複数の領域のそれぞれに含まれる画素のエッジ度合の平均値を算出し、当該平均値が高い領域を上記特徴領域とすることを特徴とする上記請求項６に記載の特徴領域抽出装置。
【請求項８】
上記画像データ取得手段は第１の画像を示す第１画像データと第２の画像を示す第２画像データとを取得し、上記特徴領域決定手段は上記第１の画像内で特徴領域を決定し、当該特徴領域内の画素と上記第２の画像内の画素とを照合する領域照合手段を具備することを特徴とする上記請求項１〜請求項７のいずれかに記載の特徴領域抽出装置。
【請求項９】
上記領域照合手段は、上記特徴領域内の画素の階調値と上記第２の画像内の画素の階調値とを比較し、両者の差異が小さくなる第２の画像内の領域を抽出することを特徴とする上記請求項８に記載の特徴領域抽出装置。
【請求項１０】
上記領域照合手段は、上記第２の画像内で上記特徴領域と同等の大きさの比較対象領域を抽出し、抽出した比較対象領域の画素の階調値と上記特徴領域内の画素の階調値との差分の大きさを加え合わせて当該抽出した領域の照合値とし、照合値が小さな値となった領域を抽出することを特徴とする上記請求項９に記載の特徴領域抽出装置。
【請求項１１】
上記領域照合手段は、上記特徴領域内の画素が上記特徴点である場合に上記比較対象領域内で当該特徴点の位置に相当する画素およびその周囲の画素を抽出し、これらの画素が特徴点である場合にはその階調値と上記特徴領域内の特徴点の階調値との差分の大きさを上記照合値に加えることを特徴とする上記請求項１０に記載の特徴領域抽出装置。
【請求項１２】
上記領域照合手段における照合によって抽出された第２の画像内の領域と上記特徴領域とを重ねて上記第１の画像と第２の画像を結合した結合画像を示す結合画像データを生成する結合画像データ生成手段を具備することを特徴とする上記請求項８〜請求項１１のいずれかに記載の特徴領域抽出装置。
【請求項１３】
上記画像データ取得手段は第１の画像を示す第１画像データと第２の画像を示す第２画像データとを取得し、上記特徴領域決定手段は上記第１の画像および第２の画像のそれぞれについて特徴領域を決定し、第１の画像内で抽出された特徴領域内の画素と上記第２の画像内で抽出された特徴領域およびその周辺の領域内の画素とを照合する領域照合手段を具備することを特徴とする上記請求項１〜請求項７のいずれかに記載の特徴領域抽出装置。
【請求項１４】
画像をドットマトリクス状の画素で表現した画像データであって第１の画像を示す第１画像データと第２の画像を示す第２画像データとを取得する画像データ取得手段と、
同第１画像データおよび第２画像データのそれぞれに基づいて画像のエッジ画素を検出するエッジ画素検出手段と、
同検出されたエッジ画素とその周囲の画素とで形成するパターンが所定の抽出対象に近い場合に当該エッジ画素を特徴点とし、第１の画像内の特徴点および第２の画像内の特徴点をそれぞれ抽出する特徴点抽出手段と、
上記抽出された第１の画像内の特徴点に基づいてその配置パターンを示す配置パターンデータを作成する配置パターンデータ作成手段と、
作成された配置パターンデータを参照し、上記第２の画像内の特徴点が当該配置パターンに略一致する領域を特徴領域として抽出する特徴領域決定手段とを具備することを特徴とする特徴領域抽出装置。
【請求項１５】
上記配置パターンデータは、特徴点の相対的な位置関係を特定するデータであることを特徴とする上記請求項１４に記載の特徴領域抽出装置。
【請求項１６】
画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得工程と、
同画像データに基づいて画像のエッジ画素を検出するエッジ画素検出工程と、
同検出されたエッジ画素とその周囲の画素とで形成するパターンが所定の抽出対象に近い場合に当該エッジ画素を特徴点として抽出する特徴点抽出工程と、
上記画像内で当該抽出した特徴点が多く分布する所定領域を特徴領域とする特徴領域決定工程とを具備することを特徴とする特徴領域抽出方法。
【請求項１７】
所定の記憶媒体に画像を示す画像データを一時記憶し、この画像から特徴的な領域を抽出する特徴領域抽出プログラムであって、
上記記憶媒体に記憶された上記画像データに基づいて画像のエッジ画素を検出するエッジ画素検出機能と、
同検出されたエッジ画素とその周囲の画素とで形成するパターンが所定の抽出対象に近い場合に当該エッジ画素を特徴点として抽出する特徴点抽出機能と、
上記画像内で当該抽出した特徴点が多く分布する所定領域を特徴領域とする特徴領域決定機能とをコンピュータに実現させることを特徴とする特徴領域抽出プログラム。
【請求項１８】
画像をドットマトリクス状の画素で表現した画像データであって第１の画像を示す第１画像データと第２の画像を示す第２画像データとを取得する画像データ取得工程と、
同第１画像データおよび第２画像データのそれぞれに基づいて画像のエッジ画素を検出するエッジ画素検出工程と、
同検出されたエッジ画素とその周囲の画素とで形成するパターンが所定の抽出対象に近い場合に当該エッジ画素を特徴点とし、第１の画像内の特徴点および第２の画像内の特徴点をそれぞれ抽出する特徴点抽出工程と、
上記抽出された第１の画像内の特徴点に基づいてその配置パターンを示す配置パターンデータを作成する配置パターンデータ作成工程と、
作成された配置パターンデータを参照し、上記第２の画像内の特徴点が当該配置パターンに略一致する領域を特徴領域として抽出する特徴領域決定工程とを具備することを特徴とする特徴領域抽出方法。
【請求項１９】
所定の記憶媒体に第１の画像を示す第１画像データと第２の画像を示す第２画像データとを一時記憶し、第１の画像の一部に重ね合わせ可能な特徴領域を第２の画像から抽出する特徴領域抽出プログラムであって、
上記記憶媒体に記憶された第１画像データおよび第２画像データのそれぞれに基づいて画像のエッジ画素を検出するエッジ画素検出機能と、
同検出されたエッジ画素とその周囲の画素とで形成するパターンが所定の抽出対象に近い場合に当該エッジ画素を特徴点とし、第１の画像内の特徴点および第２の画像内の特徴点をそれぞれ抽出する特徴点抽出機能と、
上記抽出された第１の画像内の特徴点に基づいてその配置パターンを示す配置パターンデータを作成する配置パターンデータ作成機能と、
作成された配置パターンデータを参照し、上記第２の画像内の特徴点が当該配置パターンに略一致する領域を特徴領域として抽出する特徴領域決定機能とをコンピュータに実現させることを特徴とする特徴領域抽出プログラム。
【発明の詳細な説明】
【技術分野】  本発明は、特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラムに関する。
【背景技術】    近年、デジタルカメラ等による撮像画像あるいはその一部などを検索する画像検索やパノラマ写真画像を連結する際の接続位置検索等を実施するに当たり、画像において特徴的な部位を検索する種々の手法が提案されている。（例えば、”ＤＲＡによる特徴点抽出手順”、［ｏｎｌｉｎｅ］、［平成１４年１１月２０日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｋｏｓｈｉ−ｌａｂ．ｓｃｃｓ．ｃｈｕｋｙｏ−ｕ．ａｃ．ｊｐ／ｒｅｓｅａｒｃｈ／ｐｉｃａｓｓｏ／ｓｉｄｅ／ｄｒａ．ｈｔｍｌ＞参照）。
【発明の開示】
上述した従来の画像検索においては検索精度が充分ではなかった。また、汎用性が高く高速に特徴的な部位を検索可能な手法が望まれていた。例えば、上記非特許文献１における手法では、画像のエッジを抽出し、あるエッジ画素とその周囲のエッジ画素との関係から特定の条件を有するエッジ画素を削除し、当該削除を再標本点数になるまで繰り返して特徴を抽出しているので、計算量が多く、処理速度が遅かった。また、複数のエッジの集合が閉曲線を形成することが前提であり汎用性が低かった。さらに、検索精度も充分に高くはなかった。
本発明は、上記課題にかんがみてなされたもので、特徴領域の抽出精度が高く、また、汎用的であり、高速に処理を実行可能な特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラムの提供を目的とする。
上記目的を達成するため、本発明では画像内のエッジを抽出し、エッジの形状が抽出対象の形状と合致しているか否かを判定し、合致している部位を特徴領域とする。このために、本発明は画像データ取得手段とエッジ画素検出手段とを備え、画像データ取得手段で画像データを取得し、エッジ画素検出手段で画像中のエッジ画素を検出する。さらに、本発明では特徴点抽出手段と特徴領域決定手段とを備えており、特徴点抽出手段では検出されたエッジ画素とその周囲の画素が所定の抽出対象パターンに近いか否かを判定する。
これにより、エッジの形状が所定のパターンに近い部位のエッジ画素が特徴点として抽出される。特徴点として抽出されたエッジ画素は特徴領域を構成する画素の候補となる。特徴領域決定手段は、特徴点が多く分布する所定の領域を特徴領域とする。この特徴領域は、所定の抽出対象パターンを形成する特徴点を多く含む非常に特徴的な領域である。一般に、写真画像等を構成する画素は複雑であり、種々のエッジを形成するが、特徴点を多く含む点に着目することにより、画像の中で非常に特徴的な領域を容易に特定し、抽出することができる。
より具体的には、特徴点の抽出に際して抽出対象のパターンに近いものを抽出しているので、特徴点としては、通常複数個の候補が挙がる。しかし、この特徴点を多く含む領域は非常に限られてくる。従って、画像の中で特徴点が多い領域を特徴領域とすることで、微視的には所定の抽出対象が多く含まれる画像であってもその画像の中から特徴領域とすべき候補を限定することができ、その限定された候補の中から特徴的な部位を容易に抽出することができる。この構成によれば、誤りの発生確率が非常に少ない高精度の画像検索や画像照合を行うことができる。
すなわち、真に抽出すべき特徴領域には所定の抽出対象のパターンが含まれるので、単にエッジ画素の周囲がパターンに合致するか否かを判定するのみであってもこの領域内の特徴点は確実に抽出される。しかし、単にパターンに合致するか否かを判定するのみでは、偶然にそのパターンに近い画素を形成している特徴領域ではない部位をも抽出してしまう。従って、抽出誤りが多くなる。特に、自然写真画を形成する画素は複雑であってこのような抽出誤りの可能性が高くなる。
そこで、本発明では、エッジ画素とその周囲の画素とで形成するパターンが所定の抽出対象に近い場合に当該エッジ画素を特徴点とし、抽出された特徴点が多い領域を特徴領域としている。この特徴領域は抽出対象が多く含まれた部位であって自然写真画等においても非常にユニークな領域であり、同じ画像内に類似の領域が多数存在する可能性が非常に低くなる。従って、非常に高い精度でこの特徴領域を抽出することができる。
特に、画像の一部に特定の領域が存在するか否かを探す場合、例えば、パノラマ写真画像の端部を連結するために写真画像の端部同士で合致する部位を検索する場合には、連結対象となる画像のそれぞれでこのような特徴的な領域が多数個存在する可能性は低い。しかし、画像が繋がっているとすれば、それぞれの画像で１箇所ずつはほぼ確実に特徴領域が存在する。従って、本発明による特徴領域の抽出を行えば、画像の連結箇所となりうる同被写体の部分をそれぞれの画像で非常に高確率で検索することができる。従って、非常に高精度に特徴領域を抽出することができる。画像の連結等に応用する場合には、画像の右端と左端のそれぞれで特徴点数が最大となる部位を１箇所ずつ特徴領域とするなど、他の束縛条件を課することにより、さらに、精度の高い画像検索を行うことができる。
また、本発明においては、エッジ画素の検出によって特徴領域内の候補としての特徴点を抽出することができる。このとき、自然画等のエッジが比較的多い画素であっても画像全体から見た特徴点の数は非常に少なくなる。さらに、特徴点を抽出した後には、その数のみを指標として特徴領域を決定することができる。従って、画像内の画素について逐次的な比較を行って所定のパターンを抽出するパターンマッチング等と比較して非常に少ない処理対象についての判断で特徴領域を抽出することができ、高速に処理を実施することができる。さらに、エッジ画素について再標本点数分のエッジ画素を算出するために種々の処理を行う上述の従来例と比較して非常に少ない処理回数で特徴領域を抽出することができ、高速に処理を実施することができる。
また、エッジ画素の検出には種々の手法があり、非常に汎用的な手法である。さらに、特徴点の抽出に際してはエッジ検出後のデータと所定の抽出対象とを比較することができれば良く、画像やエッジ画素によらずあらゆる画像データに適用可能である。特徴領域の決定も特徴点の数を指標としているので、判断対象は画像やエッジ画素によらずあらゆる画像データに適用可能である。従って、上述の従来例のようにエッジ画素を結んだときに閉曲線を形成する等の前提がなく、本発明はあらゆる画像に対して適用できる非常に汎用的な手法である。
尚、エッジ画素検出手段においては、画像データ中のエッジ画素を検出できればよく、Ｓｏｂｅｌフィルタ，Ｐｒｅｗｉｔｔフィルタ，Ｒｏｂｅｒｔｓフィルタ，Ｌａｐｌａｃｉａｎフィルタ等の各フィルタを利用して、ある画素のエッジ度合（階調値勾配）を算出し、当該エッジ度合が所定の閾値を超えるか否かでエッジであるか否かを決定する手法等、種々の手法を採用可能である。むろん、閾値としては、エッジとして検出すべき画像勾配に応じて適宜調整可能であるし、検出対象の画像データの色は特に限定されない。すなわち、色成分毎の階調値で色を表現しているときには各色についてエッジを検出しても良いし、一旦各画素の輝度値を算出してから当該輝度値のエッジを検出しても良い。
特徴点抽出手段においては、エッジ画素とその周囲の画素とで形成するパターンが所定の抽出対象に近いか否かを判定できればよい。ここで、エッジ画素の周囲の画素としては、エッジ画素であるか非エッジ画素であるので、パターンを形成しているか否かを考える際には、エッジ画素を”１”，非エッジ画素を”０”として所定の抽出対象パターンに近いか否かを判定する等の構成を採用すると、処理が単純かつ高速に実施可能であり好ましい。
処理の単純化および高速化のためには、所定の抽出対象パターンとしても予め決められたパターンを用意しておくことが好ましく、ドットマトリクス状のフィルタを記憶しておくことが好ましい。すなわち、エッジ画素を示すフィルタ値と非エッジ画素を示すフィルタ値とによって抽出対象となるパターンを形成したフィルタを予め記憶しておけば、エッジ画素を”１”，非エッジ画素を”０”としたエッジ検出データと所定の抽出対象パターンとを容易に照合することができる。照合に際しては、種々の構成を採用可能であるが、例えば、エッジ検出データとフィルタとを重ねてエッジ画素か否かを示す値（１あるいは０）とフィルタ値とのＡＮＤを算出する構成等を採用可能である。
照合としては、エッジ検出データが形成するパターンが所定の抽出対象パターンに近いか否かを判定することができればよく、フィルタ値とエッジ検出データが一致する数が所定の数以上であるか否かを判定するなどの構成を採用することができる。より具体的には、エッジ画素であるフィルタ中心の画素の周囲の２箇所以上でエッジ画素を示すフィルタ値と上記エッジ検出データのエッジ画素とが一致する場合に当該中心のエッジ画素を特徴点とする構成等を採用可能である。むろん、２箇所以上という条件は一例であって特徴点として抽出する際の精度や特徴点の数の多少によって処理速度を調整する意味で条件を変更することは可能である。
特徴点を抽出するために設定する所定の抽出対象パターンとしても種々のパターンを採用することができる。すなわち、この抽出対象パターンが画像内のある領域に多数存在する場合にその領域を他の領域と差別化し、この意味でその領域を特徴づけ、特徴領域として抽出することができればよい。この例としては、エッジが９０°以上かつ１８０°未満の角を形成する際のパターンを採用すると好ましい。すなわち、画像内で変化のない部位、例えば空や単色の壁面等の画像は変化に乏しくこれらの画像を特徴づけるのは難しい。
また、画像を特徴づけるためには、エッジに変化が乏しい部位よりもエッジに特徴があり、かつ、自然画等においてその特徴が多く見られるような部位を抽出対象とすることが好ましい。そこで、エッジが角を形成している部位を抽出対象とすれば、エッジの角が多い部位を画像内で特徴的な部位として抽出することができる。ここで、エッジが１８０°であれば角ではないし、９０°の角は実際の画像内にそれほど多くなく抽出しにくいという状況に鑑みて９０°以上かつ１８０°未満の角としてある。また、エッジが０°〜９０°について検出しても良いがノイズが多く、無駄な処理が多く発生する。出願人の試行によれば、１３５°の角を抽出対象のパターンとしたときに多くの画像において多くの角を検出した。
さらに、上記抽出対象パターンを形成するフィルタとしても種々のフィルタを採用することができる。例えば、３×３画素や５×５画素等、種々の大きさを採用可能であるし、パターンとしても各種パターンを形成し、複数のフィルタを予め設定しておくことが可能である。高速および高精度を実現する上で好適な例としては、３×３画素のフィルタにおいて、その中央を除く画素において隣接する４画素をエッジ画素のフィルタ値とし、隣接する他の４画素を非エッジ画素のフィルタ値とした例が挙げられる。
すなわち、３×３画素であれば、少ない画素数であるがそれでもある程度の広さを有しているので所定のパターンを表現でき、少ない処理によって照合を実施可能である。さらに、フィルタにおいて中央の画素はエッジを示し、中央以外の隣接する４画素がエッジ画素を示していると、３×３画素の中で中央以外で並ぶ３個のエッジ画素と中央を含む位置で並ぶ２個のエッジ画素との計５個において１３５°の角を形成する。このパターンによって３×３画素という少ない画素であっても９０°以上１８０°未満の角を形成することができ、多くの特徴点を抽出可能な抽出対象パターンを形成することができる。従って、高速かつ高精度に処理を行うことができる。
特徴領域決定手段では、上記画像内で当該抽出した特徴点が多く分布する所定領域を特徴領域とすることができればよい。例えば、特徴領域のサイズ（縦横の画素数）を予め決定しておき、特徴点が多く分布する領域にこのサイズの領域を当てはめたときに当該領域内に最も特徴点が多く分布する領域を特徴領域とする構成を採用可能である。
さらに、画像を所定画素数の複数の領域に分割し、当該領域内に含まれる上記特徴点の数が所定の閾値以上であるときに当該領域を上記特徴領域としてもよい。さらに、これらの構成において、特徴点が多く分布する領域の中から、さらに特徴領域を限定してもよく、例えば、各領域のそれぞれに含まれる画素のエッジ度合の平均値を算出し、平均値が高い領域を特徴領域としてもよい。この処理においては、領域内の各画素についてエッジ度合を加え合わせるが、この領域は全画像の中から抽出される限られた数の領域であるため、全画像についての処理を行う場合と比較して高速に処理を行うことができる。
さらに、パノラマ写真画像等を連結する際の接続位置検索等に対して本発明を適用するための具体的構成として、複数の画像のうち少なくとも一つの画像から特徴領域を抽出し、他の画像内でこの特徴領域に類似する領域があるか否かを照合する構成を採用可能である。このために、例えば、上記画像データ取得手段によって第１および第２画像データを取得する。これらの画像のいずれかまたは双方に対して上記エッジ画素検出手段および特徴点抽出手段による処理を行う。
特徴領域決定手段によって、上記第１の画像の特徴点に対して処理を行えば、第１の画像内の特徴領域を抽出することができる。そこで、この特徴領域内の画素と上記第２の画像内の画素とを照合すれば、第２の画像から第１の画像の特徴領域と合致する領域を抽出することができる。抽出された領域の画像と特徴領域の画像はほぼ同内容の画像であると推定されるので、この照合により、同一の被写体等、重ね合わせ可能な部位を含む複数の画像から容易かつ的確に重ね合わせ部位を抽出することが可能になる。
尚、ここでは、第１の画像から特徴領域を抽出し、当該特徴領域に合致する部位を第２の画像から抽出できればよく、第１の画像から特徴領域を抽出する意味では、エッジ画素抽出手段および特徴点抽出手段による処理対象は第１の画像である。むろん、照合時に第２の画像内の特徴点を参照したり、第２の画像内の特徴領域を使用するなど必要がある場合には、適宜第２の画像に対してエッジ画素抽出手段および特徴点抽出手段による処理を実行すればよい。
領域照合手段においては、特徴領域内の画素と上記第２の画像内の画素とを照合することができればよい。すなわち、画素同士を照らし合わせることによって、第２の画像内で特徴領域内の画素に類似する画素から構成される領域を抽出することができればよい。この構成を実現する具体的手法としては種々の手法を採用可能である。例えば、画素の照合では第１の画像と第２の画像で画素が類似するか否かを判定することができればよく、画素の階調値を比較する構成を採用可能である。すなわち、階調値の差異が小さければ、両者が類似すると判定することが可能である。
ここで、階調値の差異が小さいという判断指標は、種々の指標によって実現可能である。例えば、第１の画像の特徴領域に合致する複数の領域候補を第２の画像から抽出するのであれば、階調値の差異が所定の閾値以下であるか否かを判定することによって領域候補を抽出することができる。第１の画像の特徴領域に最も近い領域を第２の画像から抽出するのであれば、階調値の差異が最も小さくなる領域を抽出することによって目的とする領域を抽出することが可能である。むろん、各画素を照合する際に使用する階調値としては種々の階調値を採用可能である。例えば、各画素の色を複数の色成分毎の階調値で表現する場合に、この色成分毎の階調値を使用しても良いし、各画素の色彩値（明度値、彩度値、色相値等）を示す階調値を使用しても良い。
さらに、照合を行う際の具体的手法として、上記第２の画像内で上記特徴領域と同等の大きさの比較対象領域を抽出し、比較対象領域内の画素と特徴領域内の画素とを照合する構成を採用可能である。ここで、同等の大きさの領域とは画素数が略同一ということである。むろん、画像の内容を照合する意味では、両画像が同じ縮尺であることが必要である。従って、同じ状況で撮影された写真等を示す画像データについては拡大処理は縮小処理をすることなく、同じ画素数の領域を比較すればよいし、縮尺が異なる場合は、少なくとも一方の画像に対して拡大処理や縮小処理を実施して比較を行えばよい。
同等の大きさで特徴領域と比較対象領域を決定すれば、両者の画素の階調値につき、対応する位置の画素同士で差分を算出することによって、両領域の類似度を評価することが可能になる。そこで、これらの差分の大きさを加え合わせて照合値とすれば、この照合値によって両領域の類似度を客観的に評価することが可能になる。すなわち、この照合値が小さいほど両領域が類似していると評価することができる。
領域照合手段によって照合を行う際に、特徴点を参照する構成を採用することも可能である。例えば、特徴点の画素同士を照合して特徴領域に合致する領域を抽出する構成にするため、上記特徴領域内の画素が上記特徴点である場合に上記比較対象領域内で当該特徴点の位置に相当する画素およびその周囲の画素を抽出し、これらの画素が特徴点である場合にはその階調値と上記特徴領域内の特徴点の階調値との差分の大きさを上記照合値に加える構成を採用可能である。
すなわち、上記特徴領域内の画素が上記特徴点である場合に上記比較対象領域内で当該特徴点の位置に相当する画素およびその周囲の画素を抽出し、これらの画素が特徴点であるか否かを判定する。そして、これらの画素が特徴点である場合には特徴点の画素同士で階調値の差分の大きさを算出する。照合値が小さいほど各領域が類似していることを示すとすれば、特徴点同士の差分の大きさを加えることで特徴点同士の比較結果を反映した照合値を算出することが可能になる。
尚、照合値を加え合わせる際に、特徴点以外の点からの実質的な寄与がないよう（計算をしないかあるいは特徴点以外であれば照合値に加える値を総て大きな値（階調値の差分の最大値等）にするなど）にすれば、特徴点のみに基づいて照合を実施することが可能になる。また、上記比較対象領域内で当該特徴点の位置に相当する画素に加えてその周囲の画素を抽出することにより、照合結果の信頼性を向上することができる。すなわち、異なる画像同士で重ね合わせが行われる領域同士では、各領域同士で対応する位置の画素の階調値が略同一になるが、画素の位置が完全に対応しているとは限らず、画素単位ではわずかなずれを生じる場合がある。
例えば、写真画素の重ね合わせなどでは、撮影装置におけるレンズの収差など種々の影響によって同じ被写体であっても画素の位置に相対的なずれが生じ得る。そこで、比較対象領域内で特徴点の位置に相当する画素に加えてその周囲の画素を抽出することによって、特徴領域内の特徴点に対応する比較対象領域内の特徴点をより確実に抽出し、照合することが可能になる。尚、特徴点の位置に相当する画素の周囲の画素を抽出する際には、特徴点の位置に相当する画素を中心に例えば３×３画素分を抽出するなど、予め抽出する画素を決めておけばよい。
尚、以上のように第２の画像における特徴点を参照するためには上述のように第２の画像に対してエッジ画素抽出手段および特徴点抽出手段による処理を実行する必要がある。以上のように、領域照合手段によって上記特徴領域と合致する第２画像内の領域を抽出することができれば、照合された領域を重ねるようにして第１の画像と第２の画像を結合することによって、適正な位置を重ね合わせながら画像を結合することが可能になる。
さらに、第２の画像に対してエッジ画素抽出手段および特徴点抽出手段による処理を実行し、特徴領域決定手段によって第２の画像においても特徴領域を抽出する構成とし、第１の画像と第２の画像とで抽出された特徴領域に基づいて照合を行っても良い。領域照合手段においては、第１の画像内で抽出された特徴領域内の画素と上記第２の画像内で抽出された特徴領域およびその周辺の領域内の画素とを照合する。すなわち、第１の画像と第２の画像で重ね合わされる領域同士では、領域内の各画素の階調値が略同一になるので、第１の画像と第２の画像に対して同じアルゴリズムを適用することによって抽出された特徴領域は、当該重ね合わされる領域である可能性が高い。
一方、第２の画像で抽出される特徴領域の周辺の領域まで含めて照合を行うことにより、第１の画像の特徴領域と合致する第２の画像内の領域を確実に抽出することが可能になる。また、この照合では、第２の画像で抽出された特徴領域およびその周辺の領域が照合対象となり、第２の画像全体が照合対象となっているわけではない。従って、照合すべき領域を効果的に限定しつつ照合を行うことが可能になり、無駄な照合を省き、高速に照合処理を終えることが可能である。むろん、特徴領域の周辺の領域としては、特徴領域を中心として周囲Ｎ画素（Ｎは自然数）以内にある領域について照合するように予め決めておくなど、種々の構成を採用可能である。
さらに、第１の画像から特徴領域を抽出したり、領域毎の照合処理を実施することなく、第１の画像の特定部分に合致する第２の画像内の領域、すなわち、第２の画像内の特徴領域を抽出する構成としても良い。このための構成例として、第１の画像および第２の画像に対してエッジ画素抽出手段および特徴点抽出手段による処理を実行して特徴点を抽出し、特徴点の配置を照合する構成を採用可能である。
すなわち、第１の画像内の特徴点に基づいてその配置パターンを示す配置パターンデータを作成し、この配置パターンデータに基づいて当該配置パターンに略一致する特徴点を第２の画像から抽出することにより、第１の画像と第２の画像とで重ね合わされる部分を特定することが可能である。尚、第２の画像内で特徴点の配置が配置パターンに略一致するか否かを判定するための構成は種々の構成を採用可能である。
例えば、特徴点の相対的な位置関係を特定するデータによって配置パターンデータを構成し、第２の画像内の特徴点を一つずつ抽出し、各特徴点を基点にして配置パターンデータが示す相対位置関係と同一の位置に特徴点が存在するか否かを判定する構成を採用可能である。むろん、ここでも、第２の画像内で配置パターンデータが示す相対位置関係と同一の位置に加えてその周辺の位置を含めて特徴点の有無を検出しても良い。
また、第２の画像内で上記配置パターン通りに特徴点が存在するか否かのみならず、特徴点が存在した場合にその画素の階調値を比較する構成を採用することも可能である。いずれにしても、かかる構成によれば、第１の画像で特徴領域を抽出したり、特徴領域毎の照合を実施したりすることなく、第１の画像と第２の画像とで合致する部位を抽出することが可能である。むろん、第２の画像から抽出する特徴領域としては、矩形の領域に限定されず、特徴点を含む任意の形状の領域が特徴領域になり得る。
ところで、上述した特徴領域抽出装置は、単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としては各種の態様を含むものであって、適宜、変更可能である。また、上述した特徴点を抽出してその分布によって特徴領域を決定する手法は、所定の手順に従って処理を進めていくうえで、その根底にはその手順に発明が存在するということは当然である。したがって、本発明は方法としても適用可能であり、請求項１６，請求項１８にかかる発明においても、基本的には同様の作用となる。本発明を実施しようとする際に、特徴領域抽出装置にて所定のプログラムを実行させる場合もある。そこで、そのプログラムとしても適用可能であり、請求項１７，請求項１９にかかる発明においても、基本的には同様の作用となる。
むろん、請求項２〜請求項１５に記載された構成を上記方法やプログラムに対応させることも可能であることは言うまでもない。また、いかなる記憶媒体もプログラムを提供するために使用可能である。例えば、磁気記録媒体や光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一部がソフトウェアであって、一部がハードウェアで実現される場合においても本発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込む形態のものも含まれる。さらに、一次複製品、二次複製品などの複製段階については全く問う余地なく同等である。
【図面の簡単な説明】  図１は、コンピュータシステムのブロック図である。
図２は、特徴領域抽出プログラムの機能ブロック図である。
図３は、パターンフィルタの例を示す図である。
図４は、特徴領域抽出プログラムでの処理フローチャートである。
図５は、動作例を説明する説明図である。
図６は、特徴領域抽出／結合プログラムの機能ブロック図である。
図７は、特徴領域抽出／結合プログラムでの処理フローチャートである。
図８は、照合／結合処理を示すフローチャートである。
図９は、動作例を説明する説明図である。
図１０は、他の実施例における動作例を説明する説明図である。
図１１は、他の実施例における動作例を説明する説明図である。
図１２は、他の実施例における照合／結合処理を示すフローチャートである。
【発明を実施するための最良の形態】  ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）システムハードウェア構成：
（２）特徴領域抽出プログラムの構成および処理：
（３）特徴領域抽出処理の例：
（４）他の実施形態：
（５）画像の結合処理：
（１）システムハードウェア構成：
図１は、本発明の一実施形態にかかる特徴領域抽出プログラムを実行するコンピュータシステムをブロック図により示している。同図において、コンピュータシステム１０は、画像入力デバイスとして、スキャナ１１ａとデジタルスチルカメラ１１ｂとビデオカメラ１１ｃとを備えており、コンピュータ本体１２に接続されている。それぞれの入力デバイスは、画像をドットマトリクス状の画素で表現した画像データを生成してコンピュータ本体１２に出力可能となっており、ここで、同画像データは、ＲＧＢの三原色においてそれぞれ２５６階調表示することにより、約１６７０万色を表現可能となっている。
コンピュータ本体１２には、外部補助記憶装置としてのフレキシブルディスクドライブ１３ａと、ハードディスク１３ｂと、ＣＤ−ＲＯＭドライブ１３ｃとが接続されている。また、ハードディスク１３ｂには、システム関連の主要プログラムが記録されており、フレキシブルディスク１３ａ１やＣＤ−ＲＯＭ１３ｃ１などから適宜必要なプログラムや画像データなどを読み込み可能となっている。
さらに、コンピュータ本体１２を外部のネットワークなどに接続するための通信デバイスとしてモデム１４ａが接続されており、外部のネットワークに同公衆通信回線等を介して接続し、ソフトウェアや画像データなどをダウンロードして導入可能となっている。この例ではモデム１４ａにて電話回線を介して外部にアクセスするようにしているが、ＬＡＮアダプタを介してネットワークに対してアクセスする構成とすることも可能であるし、ルーターを介して外部回線にアクセスしてもよい。この他、コンピュータ本体１２の操作用にキーボード１５ａやマウス１５ｂも接続されている。
また、画像出力デバイスとして、ディスプレイ１７ａとカラープリンタ１７ｂとを備えている。ディスプレイ１７ａについては水平方向に１０２４画素と垂直方向に７６８画素の表示エリアを備えており、各画素毎に上述した１６７０万色の表示が可能となっている。むろん、この解像度は一例に過ぎず、６４０×４８０画素であったり、８００×６００画素であるなど、適宜変更可能である。
一方、このような画像入力デバイスを使用して画像を入力しつつ、画像出力デバイスに表示あるいは出力するため、コンピュータ本体１２内では所定のプログラムが実行されることになる。そのうち、基本プログラムとして稼働しているのはオペレーティングシステム（ＯＳ）１２ａであり、このオペレーティングシステム１２ａにはディスプレイ１７ａでの表示を行わせるディスプレイドライバ（ＤＳＰＤＲＶ）１２ｂとカラープリンタ１７ｂに印刷出力を行わせるプリンタドライバ（ＰＲＴＤＲＶ）１２ｃが組み込まれている。これらのドライバ１２ｂ，１２ｃの類はディスプレイ１７ａやカラープリンタ１７ｂの機種に依存しており、それぞれの機種に応じてオペレーティングシステム１２ａに対して追加変更可能である。また、機種に依存して標準処理以上の付加機能を実現することもできるようになっている。すなわち、オペレーティングシステム１２ａという標準システム上で共通化した処理体系を維持しつつ、許容される範囲内での各種の追加的処理を実現できる。
むろん、このようなプログラムを実行する前提として、コンピュータ本体１２内にはＣＰＵ１２ｅとＲＯＭ１２ｆとＲＡＭ１２ｇとＩ／Ｏ１２ｈなどが備えられており、演算処理を実行するＣＰＵ１２ｅがＲＯＭ１２ｆを一時的なワークエリアや設定記憶領域として使用したりプログラム領域として使用しながら、ＲＡＭ１２ｇに書き込まれた基本プログラムを適宜実行し、Ｉ／Ｏ１２ｈを介して接続されている外部機器及び内部機器などを制御している。
この基本プログラムとしてのオペレーティングシステム１２ａ上でアプリケーション（ＡＰＬ）１２ｄが実行される。アプリケーション１２ｄの処理内容は様々であり、操作デバイスとしてのキーボード１５ａやマウス１５ｂの操作を監視し、操作された場合には各種の外部機器を適切に制御して対応する演算処理などを実行し、さらには、処理結果をディスプレイ１７ａに表示したり、カラープリンタ１７ｂに出力したりすることになる。
ここで上述したカラープリンタ１７ｂには、プリンタドライバ１２ｃを介してアプリケーション１２ｄの処理結果が印刷データとして出力され、同カラープリンタ１７ｂは色インクを用いて印刷用紙上にドットを付すことにより、対応する文字や画像を印刷する。本発明にかかる特徴領域抽出プログラムは、上記アプリケーション１２ｄとして提供することもできるし、プリンタドライバ１２ｃ，スキャナ等のドライバやアプリケーション１２ｄの機能の一部を実現するプログラムとして提供することもできる。パノラマ写真の合成プログラムや画像検索プログラムに本発明にかかる特徴領域抽出プログラムを組み込むと特に好ましい。
（２）特徴領域抽出プログラムの構成および処理：
図２は特徴領域抽出プログラムの機能ブロック図および処理において使用するデータを示しており、図３はパターンフィルタの例を示している。また、図４は特徴領域抽出プログラムでの処理フローを示している。以下、これらの図にしたがってプログラムの機能および処理を説明する。特徴領域抽出プログラム２０は、図２に示すように画像データ取得モジュール２１とエッジ画素検出モジュール２２と特徴点抽出モジュール２３と特徴領域決定モジュール２４とを備えている。
図では特徴領域抽出の対象となる画像データがハードディスク１３ｂに保存されている例について説明しているが、むろん、他の媒体に保存されていてもよいし、デジタルスチルカメラ１１ｂ等の機器から取得されるデータであってもよいし、モデム１４ａ等を介して取得されるデータであってもよい。特徴領域抽出プログラム２０の処理が開始されると、画像データ取得モジュール２１はステップＳ１００においてハードディスク１３ｂから画像データを読み出してＲＡＭ１２ｇに一時記憶させる（画像データ１２ｇ１）。
ステップＳ１０５では、エッジ画素検出モジュール２２が画像データ１２ｇ１の各画素に対して所定のエッジ検出フィルタを適用する。これにより、当該適用画素のエッジ度合が算出され、本実施形態では各画素のエッジ度合がエッジ度合データ１２ｇ２としてＲＡＭ１２ｇに記憶される。エッジ度合は、各種エッジ検出フィルタによって算出可能であり、フィルタ適用後に規格化するなど種々の処理が可能であるが、いずれにしてもこのエッジ度合データ１２ｇ２においては各画素毎にその画素でのエッジ勾配の強弱を示す階調値を備えていればよい。
ステップＳ１１０では、エッジ画素検出モジュール２２が上記算出されたエッジ度合データ１２ｇ２を参照して各画素がエッジであるか否かを決定する。すなわち、本実施形態においては予めエッジであるか否かを決定づける閾値が決められており、上記各画素のエッジ度合と当該閾値とを比較して閾値よりエッジ度合が大きな画素をエッジ画素とする。エッジ画素を決定した後には各画素がエッジであるか否かを示すエッジ検出データ１２ｇ３をＲＡＭ１２ｇに保存する。本実施形態におけるエッジ検出データ１２ｇ３は各画素２ビットのデータであり、”１”にてエッジ画素であることを示し”０”にてエッジ画素でないことを示している。
ステップＳ１１５では、エッジ画素であるか否かを決定する処理を上記取得した画像デーダ１２ｇ１の全画素について実施したか否かを判別し、同ステップＳ１１５にて全画素について処理を実施したと判別されるまでステップＳ１０５，Ｓ１１０を繰り返す。この結果、エッジ度合データ１２ｇ２とエッジ検出データ１２ｇ３とは上記画像データ１２ｇ１の全画素についてそれぞれエッジ度合およびエッジであるか否かを示すデータとなる。
ステップＳ１２０〜Ｓ１４０では、特徴点抽出モジュール２３がエッジ検出データ１２ｇ３に対してパターンフィルタデータ１２ｇ４を適用し、エッジ画素の中から特徴点を抽出するとともにその特徴点を示す特徴点データ１２ｇ５をＲＡＭ１２ｇに保存する。本実施形態において、パターンフィルタデータ１２ｇ４はエッジ画素とその周囲の画素とで形成するパターンを示すフィルタデータであり、３×３画素のそれぞれについて”１”あるいは”０”のデータを備えている。
図３は、本実施形態においてＲＡＭ１２ｇに保存されているパターンフィルタデータ１２ｇ４が示す複数のフィルタを示している。これらのパターンフィルタにおいて”１”はエッジ画素であることを示し、”０”は非エッジ画素であることを示している。これらのパターンフィルタの中央は総て”１”であり、その周囲の８画素においては、いずれのフィルタにおいても”１”が４個連続し、”０”が４個連続している。さらに、パターンフィルタデータ１２ｇ４は、”１”あるいは”０”の位置が異なるフィルタについて計８個のデータを備えている。
同図に示すパターンフィルタにおいて、”１”と”０”との境界では縦あるいは横に連続する２つの”１”と中央の”１”に対して斜めに位置する”１”を備えている。従って、”１”と”０”との境界は１３５°の角を形成しており、本実施形態においては３×３画素のパターンフィルタによって１３５°の角を抽出するといえる。
特徴点抽出モジュール２３は、ステップＳ１２０において上記エッジ検出データ１２ｇ３を参照し、エッジ画素について上記パターンフィルタデータ１２ｇ４を適用する。すなわち、エッジ画素と上記図３に示すパターンフィルタの中央の画素とを重ね合わせる。ステップＳ１２５では、エッジ検出データ１２ｇ３とパターンフィルタデータ１２ｇ４とで中央の周りの８画素（周辺画素）に関して値を比較し、同じ位置の値が双方とも”１”である画素が２箇所以上存在するか否か判別する。すなわち、パターンフィルタとエッジ検出データ１２ｇ３とが近いか否かを判定する。
パターンフィルタデータ１２ｇ４はエッジ画素に対して適用されるので、エッジ検出データ１２ｇ３とパターンフィルタデータ１２ｇ４とで周辺画素において値が双方とも”１”である画素が２箇所以上あれば、３箇所以上の位置で”１”が一致する。本実施形態においてはこの条件を満たすときにエッジ検出データ１２ｇ３内のエッジ画素の周辺とパターンフィルタが形成するパターンとが近いとしている。従って、上述の条件によってエッジ検出データ１２ｇ３が形成するエッジに１３５°の角に近いパターンが存在するか否かを判定することができる。
ステップＳ１２５において、エッジ画素の周辺で２個以上”１”が一致する箇所が存在すると判定されたときには、ステップＳ１３０にてこのエッジ画素を特徴点として登録する。特徴点として登録した画素については特徴点であることを示すフラグ”１”とし、このデータを特徴点データ１２ｇ５としてＲＡＭ１２ｇに保存する。特徴点データ１２ｇ５は少なくとも特徴点の位置と特徴点であることを示すデータを備えていればよく、ドットマトリクス状のデータにおいて特徴点を”１”、特徴点以外を”０”としたデータの他、特徴点の座標を示すデータ等によって構成することができる。
ステップＳ１３５では、エッジ検出データ１２ｇ３中の全エッジ画素についてパターンフィルタを適用したか否かを判別し、全エッジ画素についてパターンフィルタを適用したと判別されるまで一つのパターンフィルタについてステップＳ１２０〜Ｓ１３０の処理を繰り返す。さらに、ステップＳ１４０では、図３に示すパターンフィルタの総てについてステップＳ１２０〜Ｓ１３５の処理を行ったか否かを判別し、パターンフィルタの総てについてＳ１２０〜Ｓ１３５の処理を行ったと判別されるまでステップＳ１２０〜Ｓ１３５の処理を繰り返す。この結果、所定の抽出対象たる１３５°の角を形成するエッジ画素が特徴点として抽出された特徴点データ１２ｇ５が得られる。
ステップＳ１４５〜Ｓ１６０では、特徴領域決定モジュール２４が特徴点データ１２ｇ５とエッジ度合データ１２ｇ２とを参照して特徴領域を抽出する。このために、まずステップＳ１４５では、画像を所定サイズの領域に分割する。ステップＳ１５０では上記特徴点データ１２ｇ５を参照し、当該分割された領域毎に特徴点の数を計測し、各領域内に特徴点がα個以上存在する領域を抽出する。ここで、αは予め決められた閾値である。
すなわち、閾値αによる判別により特徴点が多く含まれる領域の数を限定し、特徴領域の候補を絞っている。ステップＳ１５５では、さらに上記エッジ度合データ１２ｇ２を参照し、上記ステップＳ１５０で抽出された各領域内に存在する画素のエッジ度合を加え合わせ、その平均値を算出する。そして、ステップＳ１６０では当該平均値がβ以上の領域を特徴領域とし、画像内における特徴領域の位置を示す特徴領域データ１２ｇ６をＲＡＭ１２ｇに保存する。ここで、βは予め決められた閾値である。
（３）特徴領域抽出処理の例：
次に、以上の構成および処理による動作例を説明する。図５は山を被写体とした写真の画像データ１２ｇ１について特徴領域を抽出する様子を説明する説明図である。エッジ画素検出モジュール２２は、この画像データについてエッジ検出フィルタを適用してエッジ度合データ１２ｇ２とエッジ検出データ１２ｇ３とを生成する。尚、図５にはエッジ検出フィルタとしてＳｏｂｅｌフィルタを示しているが、むろん、フィルタとしては他にも種々のフィルタを採用することができる。
エッジ度合データ１２ｇ２においてもエッジ検出データ１２ｇ３においても画像データ１２ｇ１の中から検出されたエッジを示しているといえるが、エッジ度合データ１２ｇ２は各画素についてエッジの勾配を示す階調値が与えられており、各画素８ビット等のデータである。エッジ画素については図に示すように”２３０”等の大きな階調値になり、非エッジ画素については図に示すように”０”等の小さな階調値になる。
特徴点抽出モジュール２３はエッジ検出データ１２ｇ３を参照し、エッジ画素に対してパターンフィルタデータ１２ｇ４を適用する。この結果生成される特徴点データ１２ｇ５は、図５に示すようにエッジ画素のうちその周辺画素がパターンフィルタが示すパターンに近い画素を”１”で示し、特徴点以外の画素を”０”で示したドットマトリクス状のデータである。尚、図５の特徴点データ１２ｇ５では、特徴点を黒丸、エッジ部位に相当する位置を破線によって示している。以上の処理により、画像データの中から特徴領域の候補が絞られる。すなわち、画像内で特徴的であって他の部位と差別化可能な部位が特徴点の存在する部位に限られる。真に特徴的な部位はこの限られた部位から探し出せばよく、多くの探索処理をする必要はない。
特徴領域決定モジュール２４は、図５の最下に示すように画像を所定領域毎に分割し、各分割領域内に特徴点がα個以上ある領域を抽出する。同図においては、各分割領域を破線で示し、抽出される領域を実線で示している。また、この図では特徴点が２個以上存在する領域を抽出した場合の例を示している。本実施形態においては、抽出された各領域内のエッジ度合の平均値を算出する。そして、当該平均値がβ以上の領域を特徴領域とする。図５では特徴領域として抽出される領域を太い実線で示している。
以上のように、本実施形態において全画素を対象にして行う処理としてはエッジ検出のみであり、エッジ検出は高々数画素のフィルタによる演算である。他の処理は処理対象がエッジ画素や特徴点であるなど、画像の中のごく一部である。従って、全体として非常に高速に処理を行うことができる。
（４）他の実施形態：
上記特徴領域抽出処理の構成および処理は一例であって、他にも種々の構成を採用可能である。例えば、図５の例では各データについて総てドットマトリクス状の画素データとしていたが、検出されたエッジや特徴点の座標を示すデータであってもよい。このようなデータを採用すれば、多くの場合データ容量を低減することができる。むろん、他のデータ形式を採用することも可能である。
また、特徴領域を抽出するに当たり、画像を分割して当該分割領域内の特徴点数を計測していたが、特徴点データ１２ｇ５において特徴点が多く分布する部位を抽出し、その部位について所定の大きさの領域を特徴領域とすることも可能である。さらに、上記実施形態においてはエッジ度合の平均値が大きな領域を特定領域としていたが、この条件を使わずに、特徴点数の多い領域を特徴領域としてもよい。
上記実施形態においては特徴点数が多いか否かを判定するために閾値αを使用し、エッジ度合の平均値が大きいか否かを判定するために閾値βを使用していたが、むろんこれらの数値は特に限定されない。閾値を使用する構成以外にも特徴点数やエッジ度合の平均値が最大であるか否かを判定したり、上位３位までを採用するなど、種々の構成を採用可能である。前者によれば、最も特徴的な領域を１箇所抽出することができるし、後者であれば特徴領域を複数個抽出することができる。
さらに、パターンフィルタをエッジ画素に適用し、所定の抽出対象のパターンを形成しているか否かを判定する構成としても種々の構成を採用可能である。例えば、パターンフィルタにおけるフィルタ値”１”についてのみ照合するのではなく、”０”についても照合するように構成してもよい。このように、条件を変更することによって所定の抽出対象の抽出精度を調整することができる。
さらに、本発明は種々の場面に適用することができる。例えば、上述のようにパノラマ写真の合成に際して連結する写真同士で一致する領域を特定したい場合、両画像に対して本発明にかかる特徴領域抽出プログラムを実施すると、両画像にて特徴領域として抽出される領域が一致する。従って、両者を連結する位置を容易に特定することが可能になる。
この場合、特徴領域が複数個抽出されるように上記閾値等を調整しておいても、一方の画像の左側と他方の画像の右側における特徴領域が一致するべきであるという条件を課するなどして、一致領域を特定する精度を高くすることができる。他にも、両画像において抽出された特徴領域の特徴点数やエッジ度合の平均値を比較し、最も似通った値を持つ領域同士を一致領域とするなど種々の条件を課することができる。
一方、画像の検索に本発明を適用することも可能である。例えば、ある検索元画像と一致あるいは類似する部位を含む画像を検索する場合、当該検索元画像について上記特徴点の数とエッジ度合の平均値を算出しておき、検索対象の画像について特徴領域を抽出する処理を行う。得られた特徴領域においても特徴点の数とエッジ度合の平均値が算出されているので、これらの特徴領域と上記検索元画像において特徴点数とエッジ度合の平均値を比較する。そして、特徴点数とエッジ度合の平均値が一致する特徴領域が存在すれば、当該特徴領域を含む画像を検索結果として提示すればよいし、似通った値となる特徴領域が存在すれば当該特徴領域を含む画像を類似画像として提示すればよい。
（５）画像の結合処理：
次に、複数の画像の連結を行う際の実施例を説明する。図６は、特徴領域を抽出した後、２つの画像を結合する結合処理を実施する特徴領域抽出／結合プログラム２００の機能ブロック図および処理において使用するデータを示しており、図７は特徴領域抽出／結合プログラムでの処理フローを示している。以下、これらの図にしたがってプログラムの機能および処理を説明する。尚、特徴領域抽出／結合プログラム２００の構成および処理については、上記特徴領域抽出プログラム２０と共通の部分が多い。そこで、共通の部分については上記図２，図４と同じ符号で示しており、ここでは、共通ではない部分を中心に説明する。
特徴領域抽出／結合プログラム２００は、図２と同様に画像データ取得モジュール２１とエッジ画素検出モジュール２２と特徴点抽出モジュール２３と特徴領域決定モジュール２４とを備えており、これらに加えて領域照合モジュール２５０と画像結合モジュール２６０とを備えている。この実施例では、２つの画像を結合するため、ハードディスク１３ｂに画像データ１３０ａと画像データ１３０ｂとが保存されている。画像データ１３０ａが示す画像について以下画像Ａと呼び、画像データ１３０ｂが示す画像について以下画像Ｂと呼ぶ。尚、本実施例においては、画像Ａが上記請求項における第１の画像に相当し、画像Ｂが上記請求項における第２の画像に相当する。
上記画像データ取得モジュール２１とエッジ画素検出モジュール２２と特徴点抽出モジュール２３と特徴領域決定モジュール２４とにおいては、上記図２に示す特徴領域抽出プログラム２０と同様の処理を実施するが、本実施例では、２つの画像データを処理対象とする。すなわち、画像データ取得モジュール２１はステップＳ１００’においてハードディスク１３ｂから画像データ１３０ａ，１３０ｂを読み出してＲＡＭ１２ｇに一時記憶させる（画像データ１２１ａ，１２１ｂ）。
これにより、処理対象は２枚の画像となる。エッジ画素検出モジュール２２と特徴点抽出モジュール２３とは、ステップＳ１０５〜Ｓ１４２の処理により画像データ１２１ａ，１２１ｂによる処理を行う。ここで、ステップＳ１０５〜Ｓ１４０までの処理は上記図４に示す処理と同様である。すなわち、ステップＳ１０５〜Ｓ１４２の一回目のループではエッジ画素検出モジュール２２が上記画像データ１２１ａに基づいて画像Ａのエッジ度合いを検出してエッジ度合いデータ１２２ａおよびエッジ検出データ１２３ａとし、特徴点抽出モジュール２３がエッジ検出データ１２３ａとパターンフィルタデータ１２ｇ４とに基づいて特徴点を抽出し、特徴点データ１２５ａとする。
画像データ１２１ａに基づく処理が終了すると、ステップＳ１４２にて画像データ１２１ｂ（画像Ｂ）についての処理を終えていないと判別し、ステップＳ１４４で処理対象を画像データ１２１ｂに切り換えてステップＳ１０５を繰り返す。この結果、エッジ画素検出モジュール２２がエッジ度合いデータ１２２ｂおよびエッジ検出データ１２３ｂを作成し、特徴点抽出モジュール２３が特徴点データ１２５ｂを作成する。
本実施例では、画像Ａについてのみ特徴領域を抽出し、画像Ｂ内でこの特徴領域に合致する領域が存在するか否かを検索する。このため、ステップＳ１４５’〜ステップＳ１６０’までの処理は画像Ａが処理対象である。すなわち、特徴領域決定モジュール２４はステップＳ１４５’で画像を所定サイズの領域に分割する。ステップＳ１５０では上記特徴点データ１２５ａを参照して当該分割された領域毎に特徴点の数を計測し、各領域内に特徴点がα個以上存在する領域を抽出する。ステップＳ１５５では、さらに上記エッジ度合データ１２２ａを参照し、上記ステップＳ１５０で抽出された各領域内に存在する画素のエッジ度合を加え合わせ、その平均値を算出する。
そして、ステップＳ１６０’では当該平均値がβ以上の領域を画像Ａ内の特徴領域ＳＡとし、画像Ａ内における特徴領域の座標（ＳＡ（Ｘ，Ｙ）と表記する）を示す特徴領域データ１２６ａをＲＡＭ１２ｇに保存する。尚、本実施例において、上記特徴点データ１２５ａとして抽出される特徴点の数や上記閾値αは特に限定されず、自然画の画像を結合する際に、上記抽出される特徴点の数が２００〜３００個程度になるようにしたり、閾値αを１０〜３０個程度にするなど種々の値に調整可能である。抽出される特徴点の数を調整するためには、上記ステップＳ１１０でエッジ画素であるか否かを判定するための閾値を調整することで実現可能である。また、座標ＳＡ（Ｘ，Ｙ）では特徴領域を特定することができればよく、本実施例では予め決められた大きさの矩形を想定し、その角の座標を指定している。むろん、矩形の特徴領域を想定し、当該矩形の対角の座標を指定してもよく、種々の構成を採用可能である。
以上のように、画像Ａの特徴領域を示す特徴領域データ１２６ａを作成したら、上記領域照合モジュール２５０と画像結合モジュール２６０とがステップＳ１６５にて画像Ａ，画像Ｂの照合／結合処理を実施する。図８は、照合／結合処理を示すフローチャートである。領域照合モジュール２５０は、上記特徴領域データ１２６ａと特徴点データ１２５ａ，１２５ｂとを参照し、画像Ｂの中から特徴領域ＳＡに合致する領域を抽出するモジュールであり、ステップＳ２００〜ステップＳ２８０の処理を実施する。
ステップＳ２００では、画像Ｂにおいて特徴領域ＳＡと同じ大きさの領域を領域候補ＳＢとして設定するため、領域候補の位置の座標ＳＢ（Ｘ，Ｙ）を変数として設定し、その座標を（０，０）に初期化する。また、特徴領域ＳＡ内の画素と領域候補ＳＢ内の画素との照合値の最小値を代入するための最小照合値変数Ｍ０を設定し、照合値として取り得る値の最大値を代入して初期化する。ここで、照合値は領域内の各画素の階調値の差分を加え合わせた値であり、階調値を８ｂｉｔで表現した場合には階調値域が０〜２５５になるので、照合値の最大値は２５６×（領域内の画素数）である。
ステップＳ２０５では、特徴領域ＳＡ内の画素と領域候補ＳＢ内の画素の位置を指定するための座標を示す変数として座標オフセット（Ｉ，Ｊ）を設定し、その値を（０，０）に初期化する。また、各領域について計算される照合値を代入するための照合値変数Ｍを設定し、その値を０に初期化する。ステップＳ２１０では、画素の照合に際して画素毎の差分値を代入するための差分値変数Ｖを設定し、差分値として取り得る値の最大値を代入して初期化する。ここで、差分値は画素の階調値の差分であり、階調値を８ｂｉｔで表現した場合には階調値域が０〜２５５になるので最大値は２５５である。
また、本実施形態では特徴領域ＳＡ内の特定の画素と比較する領域候補ＳＢ内の画素を当該特定の画素に対応する位置の画素に限定せず、その周辺の画素も含めて照合する。そこで、ステップＳ２１０では、当該周辺の画素を指定するための周辺画素変数（Ｋ，Ｌ）を設定し、その値を（０，０）に初期化する。ステップＳ２１５そは、画像Ａの特徴点を示す特徴点データ１２５ａおよび特徴領域データ１２６ａを参照し、座標ＳＡ（Ｘ＋Ｉ，Ｙ＋Ｊ）が特徴点であるか否かを判別する。
同ステップＳ２１５で座標ＳＡ（Ｘ＋Ｉ，Ｙ＋Ｊ）が特徴点であると判別されないときには、ステップＳ２５０において、上記照合値変数Ｍに対して差分値変数Ｖを加えた値で照合値変数Ｍを更新する。すなわち、照合値を算出するに当たり、特徴点でない画素については、画素の階調値の差分を計算することなく差分値変数Ｖの最大値を加えていく。同ステップＳ２１５で座標ＳＡ（Ｘ＋Ｉ，Ｙ＋Ｊ）が特徴点であると判別されたときには、ステップＳ２２０で、画像Ｂの特徴点を示す特徴点データ１２５ｂを参照し、座標ＳＢ（Ｘ＋Ｉ＋Ｋ，Ｙ＋Ｊ＋Ｌ）が特徴点であるか否かを判別する。
同ステップＳ２２０で座標ＳＢ（Ｘ＋Ｉ＋Ｋ，Ｙ＋Ｊ＋Ｌ）が特徴点であると判別されないときには、ステップＳ２４０にてＫ，Ｌのうち、それぞれの変数に”−１，０，１”のいずれかを代入し、総ての組み合わせについて処理を実施したか否かを判別する。そして、同ステップＳ２４０で総ての組み合わせについて処理を実施したと判別されなければ、ステップＳ２４５で（Ｋ，Ｌ）の値を”−１，０，１”のいずれかによって変更するように更新し、ステップＳ２２０以降の処理を繰り返す。
すなわち、（Ｋ，Ｌ）の値は”−１，０，１”であって、任意の組み合わせの総てについて処理が実施されるので、座標ＳＢ（Ｘ＋Ｉ，Ｙ＋Ｊ）を中心とした３×３画素についてステップＳ２２０〜Ｓ２３５の処理が実施される。また、座標ＳＡと座標ＳＢのいずれについても各領域の共通の角（例えば左上の角等）の座標を指定しているので、特徴領域ＳＡの角に対する座標ＳＡ（Ｘ＋Ｉ，Ｙ＋Ｊ）の相対的な位置関係と領域候補ＳＢの角に対する座標ＳＢ（Ｘ＋Ｉ，Ｙ＋Ｊ）の相対的な位置関係とは一致する。従って、本実施例において、特徴領域ＳＡ内の特徴点に対応する領域候補ＳＢ内の座標のみならず、その座標の周辺画素を含めて特徴点であるか否かを判別している。
ステップＳ２２０で座標ＳＢ（Ｘ＋Ｉ＋Ｋ，Ｙ＋Ｊ＋Ｌ）が特徴点であると判別された時には、ａｂｓ（ＰＡ（Ｘ＋Ｉ，Ｙ＋Ｊ）−ＰＢ（Ｘ＋Ｉ＋Ｋ，Ｙ＋Ｊ＋Ｌ））を算出し、差分値の一時変数Ｖ０に代入する。ここで、ａｂｓは絶対値を示しており、ＰＡ（Ｘ＋Ｉ，Ｙ＋Ｊ）は座標ＳＡ（Ｘ＋Ｉ，Ｙ＋Ｊ）の画素の階調値、ＰＢ（Ｘ＋Ｉ＋Ｋ，Ｙ＋Ｊ＋Ｌ）は座標ＳＢ（Ｘ＋Ｉ＋Ｋ，Ｙ＋Ｊ＋Ｌ）の画素の階調値を示している。
尚、各画素の階調値としては、各画素を色成分毎に階調表現した場合の階調値や各画素の色を示す色彩値（明度値、彩度値、色相値等）を階調表現した場合の階調値等種々の値を使用可能である。ステップＳ２２０で座標ＳＢ（Ｘ＋Ｉ＋Ｋ，Ｙ＋Ｊ＋Ｌ）が特徴点であると判別されないときには、ステップＳ２２５，Ｓ２３０をスキップしてステップＳ２４０の判別を行う。
ステップＳ２３０では、差分値の一時変数Ｖ０の値が上記画素毎の差分値変数Ｖより小さいか否かを判別し、差分値の一時変数Ｖ０の値が上記画素毎の差分値変数Ｖより小さいと判別されたときには、ステップＳ２３５にて変数Ｖ０の値を変数Ｖに代入する。ステップＳ２３５で差分値の一時変数Ｖ０の値が上記画素毎の差分値変数Ｖより小さいと判別されないときには、ステップＳ２３５をスキップする。
以上の処理の後、ステップＳ２４０の判別を行っており、このステップＳ２４０にて”−１，０，１”のいずれかを選択して生成される（Ｋ，Ｌ）の総ての組み合わせについて処理を実施したと判別されると、ステップＳ２５０にて上記照合値変数Ｍに対して差分値変数Ｖを加えた値で照合値変数Ｍを更新する。ステップＳ２２０〜Ｓ２４５の処理を経ている場合には、差分値の一時変数Ｖ０が差分値変数Ｖより小さいときに当該変数Ｖを更新する処理がなされているので、差分値変数Ｖは上述の３×３画素について照合して得られた差分値のうち、最小の値が代入されていることになる。
ステップＳ２５５では、領域内の総ての画素について以上の処理を実施したか否か、すなわち、座標オフセット（Ｉ，Ｊ）に対して、Ｉ，Ｊの所定の上限値までの任意の値を使って得られる総ての組み合わせを設定し処理を実施したか否かを判別し、領域内の総ての画素について以上の処理を実施したと判別されなければステップＳ２６０で（Ｉ，Ｊ）を更新してステップＳ２１０以降の処理を繰り返す。
以上の処理により、特徴領域ＳＡ内の全画素について領域候補ＳＢ内の画素と差分を算出するのではなく、特徴領域ＳＡ内の特徴点と領域候補ＳＢ内の特徴点とについて差分を算出して照合値変数Ｍに加えていく処理を行っていることになる。また、特徴点でない場合には、上述のように画素毎の差分の最大値を照合値変数Ｍに加えていく。この処理の結果、特徴点でない画素からの寄与は総て同じ値（最大値）になる。従って、最終的に得られた照合値Ｍの値が小さければ小さいほど、特徴点の画素の階調値の差が小さいことになる。
ステップＳ２６５では、照合値変数Ｍの値が最小照合値変数Ｍ０の値より小さいか否かを判別し、照合値変数Ｍの値が最小照合値変数Ｍ０の値より小さいと判別されたときには、変数Ｍの値がその時点での最小値であるとして、ステップＳ２７０において変数Ｍ０を変数Ｍの値で更新する。また、本実施例では、照合値が最小の値になるような領域候補ＳＢが特徴領域ＳＡに合致する領域であると見なす。そこで、ステップＳ２７０では、特徴領域ＳＡに合致する画像Ｂ内の領域を示す照合位置座標ＳＢ（Ｘ０，Ｙ０）の変数を設定し、座標ＳＢ（Ｘ，Ｙ）の値を座標ＳＢ（Ｘ０，Ｙ０）に代入する。
ステップＳ２６５で、照合値変数Ｍの値が最小照合値変数Ｍ０の値より小さいと判別されないときには領域候補ＳＢは特徴領域ＳＡに合致しないとしてステップＳ２７０をスキップする。そして、ステップＳ２７５においては、画像Ｂの全範囲について処理が終了したか否か、すなわち、画像Ｂ内で取り得る総ての座標について領域候補位置の座標ＳＢ（Ｘ，Ｙ）をを設定したか否か判別し、同ステップＳ２７５で画像Ｂの全範囲について処理が終了したと判別されなければ、ステップＳ２８０にて座標ＳＢ（Ｘ，Ｙ）を更新してステップＳ２０５以降の処理を繰り返す。
ステップＳ２７５の判別によって画像Ｂの全範囲について処理が終了したと判別されたときには、画像Ｂ内に存在する領域候補ＳＢについて照合を終えており、照合の結果、最小の照合値Ｍとなった領域の座標が座標ＳＢ（Ｘ０，Ｙ０）となっている。従って、特徴領域ＳＡに合致する画像Ｂ内の領域はその角の座標ＳＢ（Ｘ０，Ｙ０）によって特定される。
そこで、ステップＳ２８５では、画像結合モジュール２６０が当該座標ＳＢ（Ｘ０，Ｙ０）を受け取り、また、上記特徴領域データ１２６ａを参照して座標ＳＡ（Ｘ，Ｙ）を取得し、座標ＳＡ（Ｘ，Ｙ）と座標ＳＢ（Ｘ０，Ｙ０）とが重なるように画像データ１２１ａ，１２１ｂを結合し、結合画像データとして出力する。以上の処理によれば、画像Ａと画像Ｂとで同じ内容となっている部分を正確に重ね合わせながら画像を結合することが可能になる。
次に、以上の構成および処理による動作例を説明する。図９は山を被写体とした写真の画像Ａおよび画像Ｂについて適切な位置で重ね合わせて結合する様子を説明する説明図である。同図に示す画像Ａにおいては、前面に大きな山が配置され、この山の後ろに別の山の頂上付近が見えるような構図になっている。画像Ｂはこれらの山の右側を被写体としており、前方の山が画像の左側に偏り、後ろの山が大きく視認されるような構図となっている。
これらの画像を示す画像データ１２１ａ，１２１ｂに基づいてエッジ画素検出モジュール２２と特徴点抽出モジュール２３とが処理を行ったとき、例えば、山の稜線の位置にに複数の特徴点が検出される。特徴点は特徴点データ１２５ａ，１２５ｂによって示されるが、これらのデータにおいては、ドットマトリクス状の各画素について特徴点を”１”、特徴点でない画素を”０”としている。従って、図９の二段目に模式的に示すようなデータとなっている。
画像Ａについては、特徴領域決定モジュール２４によって特徴領域が抽出され、図９の三段目に示すように、特徴領域ＳＡの左上の角の座標ＳＡ（Ｘ，Ｙ）が決定される。画像Ｂについては、特徴領域決定モジュール２４によって領域候補ＳＢが設定される。領域照合モジュール２５０は、領域候補ＳＢの位置を変えながら、すなわち、画像Ｂ内で領域をスキャンさせながら、照合値Ｍを算出する。このスキャンが終了した時点で最小照合値Ｍ０が与えられた領域（座標ＳＢ（Ｘ０，Ｙ０））は、特徴領域ＳＡと比較して特徴点の画素の階調値同士の差分が一番小さい領域である。
従って、図９に示すようにこの座標ＳＢ（Ｘ０，Ｙ０）の画像と座標ＳＡ（Ｘ，Ｙ）の画像とは一致し、画像結合モジュール２６０において、この座標同士を重ねながら画像Ａ，Ｂを結合することによって的確に画像を重ね合わせることが可能である。本実施例では画像Ａの中から、特徴点を抽出し、特徴点に基づいて画像Ａの特徴領域を決定する。従って、画像Ａの中から、重ね合わせ時の基準となる部位を容易かつ高速に抽出することができる。
また、本実施形態では、画像Ａ，画像Ｂにおいてこれらの特徴点について差分を計算する。従って、画像Ａ，Ｂの総ての画素について差分を算出したり、マッチングを試みるなどの処理を行う必要はなく、高速に処理を行うことが可能である。また、エッジを抽出して特徴点を検出することにより、複雑な画像であっても、容易かつ客観的に画像の特徴的な部分を抽出し、この特徴的な部分に基づいて画像結合のための照合を行うことができる。従って、高精度かつ高速に処理を実施することができる。
尚、特徴点を抽出し、複数の画像内で結合されるべき位置を特定するための処理は上述の処理に限られない。例えば、領域候補ＳＢによってスキャンを行う対象を画像Ｂの全体とせず、その一部になるように構成することも可能である。より具体的には、上記図６に示す構成とほぼ同様の構成によって実現可能であるが、特徴領域決定モジュール２４においては、画像Ａにおける特徴領域ＳＡに加えて画像Ｂにおける特徴領域ＳＢ’も抽出する。特徴領域ＳＢ’としては、比較対象とするために上記閾値αを調整したり、平均エッジ度合いが所定の閾値以上の領域を特徴領域ＳＢ’とするなどして、複数個の領域を抽出するのが好ましい。
図１０は、上記図９に示す画像Ａ，Ｂについてこの実施例を適用した場合の例を示している。すなわち、特徴点データ図６に示す構成と同様の構成によって特徴点データ１２５ａ，１２５ｂが生成され、特徴領域決定モジュール２４によって特徴領域ＳＡ，特徴領域ＳＢ’が抽出される。ここでも、上記図８とほぼ同様の処理によって照合を行うが、領域候補ＳＢとしてスキャン対象となるのは特徴領域ＳＢ’およびその周辺の領域である。例えば、図１０に示す特徴領域ＳＢ’の周りを囲む破線をスキャン対象とし、ステップＳ２８０ではこのような限られた領域内で座標を変更して照合を行う。
すなわち、画像Ａにおいて特徴領域を抽出する際のアルゴリズムを利用すれば、その特徴領域と同じ特徴を持つ領域を画像Ｂから抽出可能であると推定される。そこで、画像Ｂについて画像Ａと同じアルゴリズムを適用し、画像Ｂにおいても特徴領域を抽出すれば、画像Ｂ全体を領域候補とする必要がなく、非常に高速に処理を終えることが可能である。図１０では、スキャン対象として特徴領域ＳＢ’の周辺も含めており、これによってより確実に特徴領域ＳＡに合致する部位を抽出することが可能になる。むろん、要求される確実性の度合いに応じて特徴領域ＳＢ’の周辺として採用すべき領域の広さを調整することができるし、周辺の領域についてスキャンを行わない構成を採用することも可能である。
さらに、上述の実施例のように、矩形等、特定の形状の領域内の画素について照合を行う構成が必須というわけではない。例えば、特徴点の相対的な位置関係によって画像Ａと画像Ｂとで合致すべき部位を検出しても良い。図１１は図９に示す画像Ａ，Ｂについてこの実施例を適用した場合の例を示す図であり、図１２はその処理を説明するフローチャートである。この実施例も上記図６と共通の構成によって実現される。
すなわち、図６におけるモジュールの処理によって画像Ａについての特徴点データ１２５ａと画像Ｂについての特徴点データ１２５ｂとを算出し、画像Ａにおいて特徴領域ＳＡを算出する。図１１の左側には、画像Ａから抽出される特徴領域の例を拡大して示している。この拡大図における黒丸は特徴点である。この実施形態における領域照合モジュールは上記図６に示す領域照合モジュール２５０と異なる処理を行う。すなわち、特徴領域ＳＡ内における特徴点の配置パターンを配置パターンデータとして取得し、画像Ｂからこの配置パターンとなっている部位を抽出する。
このために、本実施例における領域照合モジュールは、図８に示す処理の変わりに図１２に示す処理を実行する。すなわち、特徴領域ＳＡ内にある特徴点であって、最も左側に位置している画素を抽出し、座標Ａ（Ｘ０，Ｙ０）とする（ステップＳ１６５０）。次にこの座標Ａ（Ｘ０，Ｙ０）と他の特徴点との相対的な位置関係を示す配置パターンデータを作成する（ステップＳ１６５５）。
例えば、座標Ａ（Ｘ０，Ｙ０）より右側に向かって特徴点を検索し、最初見つかった特徴点と座標Ａ（Ｘ０，Ｙ０）との間に位置する横方向の画素数（ｘａ）と縦方向の画素数（ｙｂ）を特定すれば、両者の相対的な位置関係を記述することができる。そこで、座標Ａ（Ｘ０，Ｙ０）より右側に向けて移動したときに見つかる特徴点について横方向の画素数と縦方向の画素数を順に（ｘａ，ｙａ），（ｘｂ，ｙｂ），，，，とすれば、配置パターンデータを形成することが可能である。
むろん、配置パターンデータの態様はこのような態様に限られないが、いずれにしても配置パターンデータを作成した後には、この配置パターンデータに基づいて画像Ｂの特徴点と照合する。すなわち、特徴点データ１２５ｂの中から特徴点を一つ抽出してその座標を座標ｂ（Ｘ０，Ｙ０）に代入する（ステップＳ１６６０）。次に、上記配置パターンデータを参照し、当該座標ｂ（Ｘ０，Ｙ０）の右側に存在するとともに、特徴領域ＳＡ内の特徴点の位置に相当する画素を逐次抽出する。すなわち、座標ｂ（Ｘ０，Ｙ０）のｘ座標にｘａ，ｙ座標にｙａを加えて画素の位置を特定し、さらにその座標にｘｂ，ｙｂを加えて画素の位置を特定するなどの処理を逐次行う。そして、各画素の階調値を取得し、上記画像Ａにおける特徴点と照合する。すなわち、画像Ａにおける各特徴点画素の階調値と、各特徴点に対応する画素であって画像Ｂから抽出された画素の階調値との差分を算出するとともに、その差分値を加え合わせて照合値Ｍとする（ステップＳ１６６５）。
照合値Ｍを算出したら、最小の照合値を代入すべき変数Ｍ０の値より小さいか否かを判別し（ステップＳ１６７０）、照合値Ｍの値が変数Ｍ０の値より小さいと判別されたときには、変数Ｍの値がその時点での最小値であるとして変数Ｍ０を変数Ｍの値で更新する（ステップＳ１６７５）。また、このとき、座標Ａ（Ｘ０，Ｙ０）と重ね合わせるべき画像Ｂ上の座標を代入すべき変数Ｂ（Ｘ０，Ｙ０）に座標ｂ（Ｘ０，Ｙ０）の値を代入する。尚、処理の初期段階では、予め変数Ｍ０に充分大きな値を代入して初期化しておく。
そして、ステップＳ１６８０では、画像Ｂ内で総ての特徴点の値を座標ｂ（Ｘ０，Ｙ０）として処理を終えたか否かを判別し、総ての特徴点について処理が終了したと判別されるまでステップＳ１６８５にて座標ｂ（Ｘ０，Ｙ０）を更新するとともにステップＳ１６６５以降の処理を繰り返す。以上の繰り返し処理の後に座標Ｂ（Ｘ０，Ｙ０）の値として登録されている座標は画像Ｂ内の座標であって、画像Ａの座標Ａ（Ｘ０，Ｙ０）と重ね合わされるべき座標である。従って、画像結合モジュールにおいて座標Ａ（Ｘ０，Ｙ０）と座標Ｂ（Ｘ０，Ｙ０）とを重ね合わせながら画像Ａと画像Ｂとを結合する処理を行う。
以上の処理によれば、画像Ｂにおいて予め決められた大きさの領域を形成し、この領域内の画素について照合を行うような処理を実施することなく、画像Ａと画像Ｂを結合することが可能になる。尚、この実施例においては、画像Ａから配置パターンに何らかの特徴がある部位を抽出して配置パターンデータを形成することができればよく、画像Ａから特徴領域を抽出する処理が必須というわけではない。さらに、以上の実施例は、２枚の画像を結合する態様に限定されない。例えば、ある画像の左右に他の画像を結合する場合、ある画像に対して他の２枚の画像を照合させることになるし、ある画像の上下左右に他の画像を結合する場合、ある画像に対して他の４枚の画像を照合させることになる。
【産業上の利用可能性】  以上説明したように本発明によれば、デジタルカメラ等による撮像画像あるいはその一部などを検索する画像検索やパノラマ写真画像を連結する際の接続位置検索等を実施するに当たり、画像において特徴的な部位を検索する機能や、複数の画像を連結する機能等を実現するコンピュータ等を提供することができる。
【図１】
2004051575.tif 000003
【図２】
2004051575.tif 000004
【図３】
2004051575.tif 000005
【図４】
2004051575.tif 000006
【図５】
2004051575.tif 000007
【図６】
2004051575.tif 000008
【図７】
2004051575.tif 000009
【図８】
2004051575.tif 000010
【図９】
2004051575.tif 000011
【図１０】
2004051575.tif 000012
【図１１】
2004051575.tif 000013
【図１２】
2004051575.tif 000014
【国際調査報告】
2004051575.tif 000015
2004051575.tif 000016
2004051575.tif 000017