(57)【特許請求の範囲】
【請求項１】
画像同士、図表同士、又は、画像と図表との位置合わせをする計算機システムであって、
プログラムを実行する演算部と、
前記演算部によって実行されるプログラムを格納する記憶部と、
位置合わせされる前記画像及び前記図表の少なくとも二つを受け付ける入力部と、
前記受け付けた画像及び図表を記憶装置に格納するデータ記録部と、を備え、
前記受け付けた画像及び図表を前記記憶装置から読み出し、前記読み出された画像及び図表の各々をサンプル点を中心とした複数の領域に分割し、前記分割された領域の特性を判定して前記画像及び図表の特徴パターンのセットを生成する特徴パターン生成部と、
前記生成された特徴パターンを比較することによって、前記位置合わせをする画像及び図表の対応関係を計算する関係計算部と、
前記計算された対応関係に基づいて、前記位置合わせをする画像及び図表の少なくとも一つの座標系を変換する変換部と、
前記座標系が変換された画像及び図表を結合する結合部と、を含み、
前記特徴パターン生成部は、
前記サンプル点と、該サンプル点を中心とする円である前記領域の円周上の移動点とを設け、
前記移動点を前記円周上で所定の中心角毎に移動させることによって、前記サンプル点と前記移動点と結ぶ複数の走査線を生成し、
前記生成された各走査線の位置において、前記走査線毎に特徴ベクトルを生成し、
前記生成された特徴ベクトルを結合することによって、前記サンプル点の特徴パターンを生成することを特徴とする計算機システム。
【請求項２】
請求項１に記載の計算機システムであって、
前記特徴パターン生成部は、
前記生成された各走査線に沿って、前記各領域内の有意な画素数を、当該領域毎に計数し、
前記計数された有意な画素数を当該走査線上の全画素数で除することによって、当該領域の正規化された特徴値 を求め、
全ての前記特徴値を要素とする特徴ベクトルを生成し、
前記関係計算部は、前記複数のサンプル点の特徴パターンを用いて、前記位置合わせをする画像及び図表の対応関係を計算することを特徴とする計算機システム。
【請求項３】
請求項１又は２に記載の計算機システムであって、
前記特徴パターン生成部は、
前記特徴ベクトルと全ての要素が１であるベクトルとの間の角を用いて、生成された特徴パターンを評価し、
前記評価の結果、良いと判定された特徴パターンを含む特徴パターンのセットを生成することを特徴とする計算機システム。
【請求項４】
請求項３に記載の計算機システムであって、
前記特徴パターン生成部は、
全ての要素値が１である中心ベクトルと各特徴ベクトルとの間の角を計算し、
一つのサンプル点における全ての前記角の平均を、前記特徴パターンの角として計算し、
前記角の平均値が、前記中心ベクトルと各特徴ベクトルとの間の角と所定の範囲にあるか否かを判定し、
前記角の平均値を有するベクトルの向きが、前記中心ベクトルの向きとが類似するか否かを所定の閾値を用いて判定し、
前記角の平均値を有するベクトルの向きと、前記中心ベクトルの向きとが類似すると判定された場合、当該サンプル点の特徴パターンを良い特徴パターンであると判定することを特徴とする計算機システム。
【請求項５】
請求項３又は４に記載の計算機システムであって、
前記特徴パターン生成部は、
前記特徴パターンの角の平均値が所定の閾値より小さくなるように、前記良い特徴パターンを選択し、
前記選択された特徴パターンのうち、前記特徴パターンの角の平均値に最も近い特徴パターンのみを残し、選択された他の前記特徴パターンを除去することを特徴とする計算機システム。
【請求項６】
請求項１から５のいずれか一つに記載の計算機システムであって、
前記変換された座標系の座標に従って、前記位置合わせする画像及び図表の少なくとも一方に含まれる要素間の差異が減少するように、前記要素の形を変換する修正部を有し、
前記結合部は、前記要素の形が修正された画像及び図表を結合することを特徴とする計算機システム。
【請求項７】
請求項６に記載の計算機システムであって、
前記修正部は、
前記要素の形を変換する場合、マッチング対象の画像及び図表のうち、変換先となる目標画像／図表中のエッジを抽出し、
前記目標画像／図表中のエッジと一致するように変換元の画像／図表のエッジを変形することを特徴とする計算機システム。
【請求項８】
画像同士、図表同士、又は、画像と図表とを、計算機を用いて位置合わせをする方法であって、
位置合わせされる前記画像及び前記図表の少なくとも二つを受け付け、前記受け付けた画像及び図表を記憶装置に格納する入力ステップと、
前記受け付けた画像及び図表を前記記憶装置から読み出し、前記読み出された画像及び  図表の各々をサンプル点を中心とした複数の領域に分割し、前記分割された領域の特性を判定して前記画像及び図表の特徴パターンのセットを生成する特徴パターン生成ステップと、
前記生成された特徴パターンを比較することによって、前記位置合わせをする画像及び図表の対応関係を計算する関係計算ステップと、
前記計算された対応関係に基づいて、前記位置合わせをする画像及び図表の少なくとも一つの座標系を変換する変換ステップと、
前記座標系が変換された画像及び図表を結合する結合ステップと、を含み、
前記特徴パターン生成ステップでは、
前記サンプル点と、該サンプル点を中心とする円である前記領域の円周上の移動点とを設け、
前記移動点を前記円周上で所定の中心角毎に移動させることによって、前記サンプル点と前記移動点と結ぶ複数の走査線を生成し、
前記生成された各走査線の位置において、前記走査線毎に特徴ベクトルを生成し、
前記生成された特徴ベクトルを結合することによって、前記サンプル点の特徴パターンを生成することを特徴とする方法。
【請求項９】
請求項８に記載の位置合わせ方法であって、
前記特徴パターン生成ステップでは、
前記生成された各走査線に沿って、前記各領域内の有意な画素数を、当該領域毎に計数し、
前記計数された有意な画素数を当該走査線上の全画素数で除することによって、当該領域の正規化された特徴値を求め、
全ての前記特徴値を要素とする特徴ベクトルを生成し、
前記関係計算ステップでは、前記複数のサンプル点の特徴パターンを用いて、前記位置合わせをする画像及び図表の対応関係を計算することを特徴とする方法。
【請求項１０】
請求項８又は９に記載の位置合わせ方法であって、
前記特徴パターン生成ステップでは、前記特徴ベクトルと全ての要素が１であるベクトルとの間の角を用いて、生成された特徴パターンを評価し、前記評価の結果、良いと判定された特徴パターンを含む特徴パターンのセットを生成することを特徴とする方法。
【請求項１１】
請求項１０に記載の位置合わせ方法であって、
前記特徴パターン生成ステップでは、
全ての要素値が１である中心ベクトルと各特徴ベクトルとの間の角を計算し、
一つのサンプル点における全ての前記角の平均を、前記特徴パターンの角として計算し、
前記角の平均値が、前記中心ベクトルの角と所定の範囲にあるか否かを判定し、
前記角の平均値を有するベクトルの向きが、前記中心ベクトルの向きとが類似するか否かを所定の閾値を用いて判定し、
前記角の平均値を有するベクトルの向きと、前記中心ベクトルの向きとが類似すると判定された場合、当該サンプル点の特徴パターンを良い特徴パターンであると判定することを特徴とする方法。
【請求項１２】
請求項１０又は１１に記載の位置合わせ方法であって、
前記特徴パターンのセットを生成する場合に、前記特徴パターンの角の平均値が所定の閾値より小さくなるように、前記良い特徴パターンを選択し、
前記選択された特徴パターンのうち、前記特徴パターンの角の平均値に最も近い特徴パターンのみを残し、選択された他の前記特徴パターンを除去することを特徴とする方法。
【請求項１３】
請求項８から１２のいずれ一つに記載の位置合わせ方法であって、
前記変換ステップの後に、前記変換された座標系の座標に従って、前記位置合わせする画像及び図表の少なくとも一方に含まれる要素間の差異が減少するように、前記要素の形を変換し、
前記結合ステップでは、前記要素の形が修正された画像及び図表を結合することを特徴とする方法。
【請求項１４】
請求項１３に記載の位置合わせ方法であって、
前記要素の形を変換する場合、マッチング対象の画像及び図表のうち、変換先となる目標画像／図表中のエッジを抽出し、
前記目標画像／図表中のエッジと一致するように変換元の画像／図表のエッジを変形することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像間、図表間、画像と図表との位置を合わせるマッチング方法に関し、特に、隣接する領域から画像及び図表の特有の特徴を抽出して、画像及び図表の間でマッチングをする方法に関する。
【背景技術】
【０００２】
コンピュータ技術の進歩に伴い、複数の情報源から抽出されたデータを統合することへの要求が高まっている。画像マッチング技術は、データ統合の重要な技術の一つであり、多くの論文が発表されている（例えば、非特許文献１参照）。そして、従来の画像マッチング方法は、画像から端点、交差点、エッジなどの特徴点を抽出し、画像間で抽出された特徴点を対応させていた。また、地図の特徴点には、交差点、道路が用いられていた。例えば、局所特徴量であるＳＩＦＴ（Scale Invariant Feature Transform）は、高性能に不変な特徴点を見出す方法として、一般的で、よく知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６７１１２９３号明細書
【非特許文献】
【０００４】
【非特許文献１】Barbara Zitova and Jan Flusser，Image registration methods: a survey，Image and Vision Computing 21 (2003), pp. 977-1000, October 2003
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述した従来の技術では、両画像に特徴点があることを前提としているので、両画像が類似した要素を含む必要がある。画像は異なるセンサによって、異なる撮影状況（例えば、角度、明るさ、視界遮蔽）において撮影される。しかし、同一の対象 object を撮影した画像、例えば、同じ対象を異なる場所から撮影した二つの写真、又は、同じ場所を撮影した衛星写真と航空写真の中の当該対象物の画素は、近い物理的な属性を持つ。
【０００６】
しかし、画像と地図、可視画像と熱画像のような異なるタイプのデータから抽出された特徴点は、全体的に異なる属性を持ち、これらの属性の特徴点は、特徴点の間の対比に適していない。このため、従来の画像マッチング技術を、画像と図表とのマッチングや、要素が異なる画像や、要素が異なる図表のマッチングへ適用することは困難である。
【０００７】
また、従来の画像マッチング方法は、画像と地図とのマッチングに適用することは困難である。なぜなら、画像から抽出された特徴点は地図のノードに対応しているとは限らない。従来の画像と地図のマッチング方法は、画像と地図とから選択され、特徴点と等価に設定された地上基準点（ＧＣＰ）が用いられ、画像と地図との情報は、直接的には相互に利用されない。それゆえ、画像と地図とのマッチングの自動化は困難であった。
【０００８】
そこで、本発明は、異なる属性を持つ画像と図表と（又は、画像同士、図表同士）を位置合わせするための特徴量を自動的に求めることをと目的とする。
【課題を解決するための手段】
【０００９】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、画像同士、図表同士、又は、画像と図表との位置合わせをする計算機システムであって、プログラムを実行する演算部と、前記演算部によって実行されるプログラムを格納する記憶部と、位置合わせされる前記画像及び前記図表の少なくとも二つを受け付ける入力部と、前記受け付けた画像及び図表を記憶装置に格納するデータ記録部と、を備え、前記受け付けた画像及び図表を前記記憶装置から読み出し、前記読み出された画像及び図表の各々をサンプル点を中心とした複数の領域に分割し、前記分割された領域の特性を判定して前記画像及び図表の特徴パターンのセットを生成する特徴パターン生成部と、前記生成された特徴パターンを比較することによって、前記位置合わせをする画像及び図表の対応関係を計算する関係計算部と、前記計算された対応関係に基づいて、前記位置合わせをする画像及び図表の少なくとも一つの座標系を変換する変換部と、前記座標系が変換された画像及び図表を結合する結合部と、を含み、前記特徴パターン生成部は、前記サンプル点と、該サンプル点を中心とする円である前記領域の円周上の移動点とを設け、前記移動点を前記円周上で所定の中心角毎に移動させることによって、前記サンプル点と前記移動点と結ぶ複数の走査線を生成し、前記生成された各走査線の位置において、前記走査線毎に特徴ベクトルを生成し、前記生成された特徴ベクトルを結合することによって、前記サンプル点の特徴パターンを生成することを特徴とする。
【発明の効果】
【００１０】
本発明の代表的な実施の形態によれば、自動的、短時間、かつ正確に画像と図表とを位置合わせすることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態のマッチングシステムの構成を示すブロック図である。
【図２】本発明の実施の形態のマッチング処理の全体のフローチャートである。
【図３】本発明の実施の形態のマッチング方法の概念を説明する図である。
【図４】本発明の実施の形態の特徴ベクトルの正規化特徴量をを説明する図である。
【図５】本発明の実施の形態の特徴パターンを構成する特徴ベクトルを説明する図である。
【図６】本発明の実施の形態の照合候補パターン集生成処理の詳細のフローチャートである。
【図７】本実施の形態のマッチング処理の対象となる画像（航空写真）の例を説明する図である。
【図８】本実施の形態のマッチング処理の対象となる図表（地図）の例を説明する図である。
【図９】本実施の形態のマッチング処理において画像（航空写真）と図表（地図）とを重ね合わせた例を説明する図である。
【図１０】本実施の形態のマッチング処理において画像（航空写真）と図表（地図）との変形処理を説明する図である。
【図１１】本実施の形態の特徴パターンを生成する前に実行される画像及び地図の縮尺を変更する説明図である。
【発明を実施するための形態】
【００１２】
次に、本発明の実施の形態について、図面を参照して説明する。
【００１３】
本発明の発明者は、人手による地上基準点の選択に触発されて、特徴点を直接的に見付け出すより、特別な特徴を有する局所的な領域を見付け出すことを試みた。本発明では、近隣の領域から抽出された特徴ベクトル列によって定義される特徴パターンを用いて、画像及び地図の本来の特徴を抽出するための、いままでにない方法を提案する。対比すべき特徴点、特徴パターンは、局所的な変化を反映していない、ある程度の範囲の特徴の抽出には効果的である。それ故、異なるタイプの画像及び地図から類似性を見付け出すのには強固なものである。
【００１４】
本発明の特徴は、マッチングの対象のオブジェクト（画像、図表）の対応関係を見付けることにある。例えば、図３に示すように、点Ｐは領域Ｒｎ・・・Ｒ３、Ｒ２、Ｒ１に囲まれている。この場合、特徴点はほとんど見出せないが、特徴の特徴パターンは明確である。一方、図７、図８に示すように、画像（航空写真）と地図とが同じ領域を示している場合、特徴点の周囲の大きな変化によって、共有する特徴点はほとんどないが、共通の特徴点の近くの領域において似ているパターンを共有する。
【００１５】
なお、本明細書においては、一般性を損なうことなく、説明を容易にするために、特に説明が無い場合には、画像は可視画像であり、図表はデジタル地図であり、本発明を画像と地図のマッチング方法にに適用した例について説明する。しかし、本発明は、類似する要素を有するかにかかわらず、画像同士、図表同士のマッチングに適用することができる。
【００１６】
＜システム構成＞
図１は、本発明の実施の形態のマッチングシステムの構成を示すブロック図である。
【００１７】
本実施の形態のマッチングシステムは、入力部１１０、表示部１２０、データ記録部１３０、演算部１４０、照合データ出力部１５０及び記憶部１６０を有する計算機である。入力部１１０、表示部１２０、データ記録部１３０、照合データ出力部１５０及び記憶部１６０は、演算部１４０を介して（又は、相互にバスによって）、接続されている。
【００１８】
入力部１１０は、画像入力部１１１及び図表入力部１１２を有する。画像入力部１１１は、航空写真等の画像が入力される装置であり、図表入力部１１２は、デジタル化された地図が入力される装置である。画像入力部１１１及び図表入力部１１２は、例えば、光ディスクドライブ、ＵＳＢインターフェース等によって構成される。なお、画像入力部１１１と図表入力部１１２とは、同じ入力装置によって構成しても、異なる入力装置によって構成してもよい。
【００１９】
表示部１２０は、画像表示部１２１及び図表表示部１２２を有する。画像表示部１２１は、マッチングシステムによって処理される画像を表示する表示装置である。図表表示部１２２は、マッチングシステムによって処理される図表（例えば、デジタル地図）を表示する表示装置である。なお、画像表示部１２１と図表表示部１２２とは、同じ表示装置によって構成しても、異なる表示装置によって構成してもよい。
【００２０】
データ記録部１３０は、このマッチングシステムによって処理される画像データ及び図表データを格納する不揮発性記憶装置でああり、例えば、ハードディスク装置、不揮発性メモリ等によって構成される。演算部１４０は、プロセッサを含み、プログラムを実行することによって本システムで行われる処理を実行する。
【００２１】
照合データ出力部１５０は、このマッチングシステムによって処理された結果を出力する装置で、例えば、プリンタ、プロッタ等によって構成される。記憶部１６０は、演算部１４０によって実行されるプログラムを格納する記憶装置であり、例えば、ハードディスク装置、不揮発性メモリ等によって構成される。
【００２２】
＜処理＞
図２は、本発明の実施の形態のマッチング処理の全体のフローチャートである。本実施の形態のマッチング処理では、マッチングの対象となる画像及び図表からサンプル点を選択し、選択されたサンプル点の周辺の領域の特性から特徴パターンを抽出し、抽出された特徴パターンのうちマッチング処理に適する良い特徴パターンを用いて画像及び図表をマッチングする。
【００２３】
本実施の形態では、航空写真画像とデジタル地図とをマッチングする処理について説明するが、本処理は、画像同士、図表同士のマッチングにも適用できる。また、入力される画像は、航空写真の他、人体の断面の写真等の他の種類の写真でもよい。なお、入力されるデジタル地図は、ノードと、ノードを結合するリンクとによって構成されている。
【００２４】
まず、入力されるデータが画像であるか図表であるかの入力を受け付け、受け付けた入力に基づいて、入力されるデータが画像であるか図表であるかを判定する（Ｓ１）。
【００２５】
その結果、入力されるデータが画像であると判定された場合、ステップＳ２１に進み、入力された画像からマッチングに使用すべき領域を抽出し、抽出された領域に含まれる画素の画素値を用いて、画素をグルーピングする。この画素値のグルーピング処理については後述する。その後、照合候補パターン集を生成する（Ｓ２３）。このＳ２３の処理は、図６を用いて後述する。
【００２６】
一方、入力されるデータが図表であると判定された場合、ステップＳ２２に進み、前述した画像の場合のステップＳ２１と同様に、入力された図表からマッチングに使用すべき領域を抽出し、抽出された領域に含まれる画素の画素値を用いて、画素をグルーピングする。その後、照合候補パターン集を生成する（Ｓ２４）。この照合候補パターン集生成処理は、図６を用いて後述する、画像の照合候補パターン集生成処理（Ｓ２３）と同一である。
【００２７】
画素のグルーピング処理では、具体的には、抽出された領域に含まれる画素のうち、所定の条件を満たす有意な画素と、有意でない画素とを分ける。この所定の条件には、例えば、図表（地図）については、判定対象の画素に点（ノード）又は線（リンク）が存在するか否かを使用することができる。また、画像については、画素毎に変化する数値を所定の閾値で判定してもよい。例えば、画素の輝度を用いて、輝度が高い（又は、低い）画素の数Ａｉを数える。また、特定の色の彩度（色味）を用いて判定することもできる。特定の色には、ＲＧＢモデルの三原色（赤、緑、青）のうち１色を使用してもよい。また、ＨＬＳモデルの色合い、鮮やかさ又は明るさの値などを用いることができる。
【００２８】
すなわち、画素のグルーピング処理では、抽出された領域を所定の条件によって複数値分割画像（例えば、２値画像）に変換し、画素をグルーピングする。
【００２９】
マッチングされる画像（航空写真）及び図表（地図）の照合候補パターン集が生成された後、マッチングをするための最適化照合パラメータを計算する（Ｓ３）。この最適化照合パラメータの計算には、例えば、最小二乗法をベースとしたＲＡＮＳＡＣ法を用いて計算することができる。
【００３０】
そして、マッチングされる画像、図表の一方を元画像／図表と定義し、他方を目標画像／図表と定義する。そして、元画像／図表に最適化照合パラメータを適用することによって、元画像／図表の座標を幾何変換し、幾何変換された元画像／図表と目標画像／図表とを重ね合わせる（Ｓ４）。なお、図２では、図表を画像に幾何変換する例を示したが、画像を図表に幾何変換してもよい。
【００３１】
その後、境界を修正する微調整処理を行う（Ｓ５）。この微調整処理は、重ね合わされた画像及び図表の一方又は両方を局所的に変形させ、画像及び図表に含まれる要素を一致させることによって、画像及び図表に含まれる要素間の差異を減少させる。この微調整処理については、図７から図１０を用いて後述する。なお、この微調整処理は、必須の処理ではない。
【００３２】
最後に、重ね合わされた画像と地図とが結合されたデータを生成する（Ｓ６）。
【００３３】
ここで、本実施の形態のマッチング方法の概念について説明する。
【００３４】
図３は、本発明の実施の形態のマッチング方法の概念を説明する図である。
【００３５】
本実施の形態のマッチング方法では、サンプル点Ｐの周囲を所定の領域に区分し、区分された領域毎に特徴を定めて、特徴ベクトルを生成し、生成された複数の特徴ベクトルを結合することによって特徴パターンを生成する。
【００３６】
特徴パターンが生成された後、どの特徴パターンが有意義であるか、すなわち、よい特徴パターンを決定する。よい特徴パターンは多数の領域を含むべきである。前述したように、全ての要素の値が１である特徴ベクトルは、中心ベクトルである。特徴ベクトルは、各領域をパターンで表しており、中心ベクトルは、最も多くの特徴の情報を含んでいる。そのため、特徴ベクトルのベクトル角は、中心ベクトルとの間の角によって計算される。この角度は、特徴ベクトルと中心ベクトルとの近さを表す。同様に、この角度は、特徴パターンに含まれるパターン情報の多さにも適用可能である。そして、本実施の形態では、後述する式を用いて良い特徴パターンを決定する。
【００３７】
具体的には、図３に示すように、サンプル点Ｐを中心として所定の半径の円Ｃ１を設定し、円Ｃ１の中に点Ｐからの距離に応じて円Ｃ２、Ｃ３・・・Ｃｎを設定する。そして、円Ｃ１を外周とし、円Ｃ２を内周として区切られる領域Ｒ１が定められる。同様に、円Ｃ２を外周とし、円Ｃ３を内周として区切られる領域Ｒ２が、領域Ｒ１の内側に定められる。さらに、円Ｃ３を外周とし、円Ｃ４を内周として区切られる領域Ｒ３が、領域Ｒ２の内側に定められる。このようにして、領域Ｒｎが最内周に位置するように、同心円状に領域Ｒ１、Ｒ２、Ｒ３・・・Ｒｎが定められる。
【００３８】
そして、本実施の形態では、円Ｃ１上で、中心角ａ°毎に移動する点Ｑを定め、この点Ｑ及びサンプル点Ｐを両端とする走査線ＰＱを定める。走査線ＰＱ上で、各領域Ｒ１〜Ｒｎの画素を検出する。前述したようにステップＳ２１、Ｓ２２において、画素は有意な画素と有意でない画素とにグルーピングされている。
【００３９】
なお、後述するように、点Ｑは、最外郭の円Ｃ１上で中心角ａ°毎に移動し、走査線ＰＱは点Ｐを中心として角ａ°毎に回転して、点Ｐを中心とした半径ｒの円Ｃ１内の全領域をカバーする。すなわち、走査線ＰＱ毎に求められる特徴ベクトルの数は３６０／ａとなる。ａを小さな値に設定することによって、画像及び地図の小さな特徴を検出でき、画像と地図とを高い精度でマッチングすることができる。一方、ａを大きな値に設定することによって、画像と地図とのマッチング演算を高速にすることができる。
【００４０】
サンプル点Ｐは、特徴パターンが抽出される対象の画像及び地図内の全ての画素が選択されてもよいが、所定の間隔（例えば、一つおき、１０画素に一つ等）で選択されてもよい。
【００４１】
図４は、本発明の実施の形態の特徴ベクトルの正規化特徴量を説明する図であり、サンプル点Ｐ及び走査線ＰＱを示す。
【００４２】
本実施の形態では、数式［１］を用いて、第ｉ領域Ｒｉの特徴ベクトルの正規化特徴量Ｋ（ｉ，ｊ）を求める。具体的には、走査線ＰＱ上で領域Ｒｉ内の画素のうち、ステップＳ２１、Ｓ２２でグルーピングされた有意な画素の数Ａｉを数え、走査線ＰＱ上で領域Ｒｉ内の全ての画素の数Ｎを数える。そして、数式［１］を用いて、ＡｉをＮで除することによって、特徴ベクトルの正規化特徴量Ｋ（ｉ，ｊ）を求める。
【００４３】
【数１】
0005470607.tif 000002
【００４４】
すなわち、前述した地図の例では、走査線ＰＱ上で領域Ｒｉ内の全ての画素に点又は線が存在する場合、対象の全ての画素が背景でない有意な画素であると判定し、正規化特徴量Ｋ（ｉ，ｊ）は１となる。一方、走査線ＰＱ上で領域Ｒｉ内の全ての画素が背景を表す場合、対象の全ての画素は有意な画素ではないと判定し、正規化特徴量Ｋ（ｉ，ｊ）は０となる。このように求められたＫ（ｉ，ｊ）が、特徴ベクトルの要素となる。
【００４５】
図５は、本発明の実施の形態の特徴パターンを構成する特徴ベクトルを説明する図である。
【００４６】
サンプル点（特徴点）毎に求められる特徴パターンは、特徴ベクトルの列によって構成され、ｍ×ｎ個の要素を持つ二次元の行列である。
【００４７】
図５において、Ｒｉは、点Ｐを中心とした円Ｃ１・・・Ｃｎによって区分された領域であり、ｎは区分された領域の数である。また、Ｖｊは、走査線ＰＱ毎に求められる一次元の特徴ベクトルであり、数式［２］で表される。
【００４８】
【数２】
0005470607.tif 000003
【００４９】
ｍは、一つの特徴パターンに含まれる走査線の数、すなわち、特徴ベクトルの数であり、ｍ＝３６０／ａで求められる。ａは、図３に示す走査線ＰＱ間の角度である。この特徴ベクトルはｎ個の要素を有し、各要素Ｋ（ｉ，ｊ）は、領域Ｒｉに含まれる画素が正規化された特徴量である。
【００５０】
図６は、本発明の実施の形態の照合候補パターン集生成処理（Ｓ２３、Ｓ２４）の詳細のフローチャートである。
【００５１】
まず、入力された画像（又は、地図）に含まれる画素からサンプル点を選択し、選択されたサンプル点の特徴パターンを生成する（Ｓ２３１）。選択されるサンプル点（画素）は、全画素が選択されても、所定の間隔（例えば、１０画素毎）で選択されてもよい。このステップで生成される特徴パターンは、図５に示すように、複数の特徴ベクトルによって構成される。全てのサンプル点に対し、このステップＳ２３１の処理を繰り返す。
【００５２】
全てのサンプル点についてＳ２３１の処理が終了した後、各サンプル点の特徴パターンを評価する（Ｓ２３２）。この評価は、まず数式［３］を用いて、特徴ベクトルＶｊと中心ベクトルとの間の角θｊを計算する。ここで、中心ベクトルは、全ての要素が１であるベクトルである。また、数式［３］において、ｎは区分された領域の数である。
【００５３】
【数３】
0005470607.tif 000004
【００５４】
次に、数式［４］を用いて、特徴ベクトルＶｊの角θｊを平均し、特徴パターン毎に角θを求める。数式［４］において、ｍは、この特徴パターンに含まれる特徴ベクトルの数である。
【００５５】
【数４】
0005470607.tif 000005
【００５６】
そして、最後に、数式［５］を用いて特徴パターンを判定をする。すなわち、数式［５］において、ｆ＝１であれば良い特徴パターンで、ｆ＝０であれば悪い特徴パターンである。数式［５］において、αは判定閾値（許容誤差）であり、０°から４５°（例えば。３０°）を用いることができる。なお、αを大きな値に設定すれば、特徴パターンが良いと判定されるケースが多くなり、画像と地図とのマッチングに用いられる特徴点が多くなる。一方、αに小さな値を設定すれば、特徴パターンが良いと判定されるケースが少なくなり、より有意な特徴点を画像と地図とのマッチングに用いることができる。
【００５７】
【数５】
0005470607.tif 000006
【００５８】
すなわち、本実施の形態の特徴パターンの判定処理では、正規化特徴量Ｋ（ｉ，ｊ）を定める元となる画素に有意な画素が多く含まれていれば、Ｋ（ｉ，ｊ）が１に近くなり、結果としてθが０°又は１８０°に近くなる。この場合、この特徴パターンは良い特徴パターンであると判定される。一方、Ｋ（ｉ，ｊ）を定める元となる画素に有意な画素が少しだけ含まれていれば、結果としてθが９０°に近くなる。この場合、この特徴パターンは悪い特徴パターンであると判定される。
【００５９】
その後、画像のサンプル点と対応する地図のサンプル点との少なくとも一方が悪いと評価された特徴点を棄却し、画像のサンプル点と対応する地図のサンプル点との両方が良いと評価された特徴点を抽出し、抽出された特徴点を含む照合候補パターン集を生成する（Ｓ２３３）。
【００６０】
さらに、グループ内の特徴パターンの角の平均が所定の閾値より小さくなる範囲で、良いと判定された特徴パターンをグループ化してもよい。この特徴パターンのグループ化によって、特徴パターンの中心を探し出し、該中心に最も近い特徴パターンを保持し、グループに含まれる他の特徴パターンを除去するとよい。このようにすることによって、マッチングされる画像／図表を代表する特徴パターンのみを使用してマッチング処理をすることができ、少ない計算機リソースでマッチング処理を実行することができる。
【００６１】
なお、グループ化された特徴パターンのうち、角の平均値によって表される中心に位置する特徴パターンを生成して、生成された中心の特徴パターンによって当該グループの特徴パターンを代表することもできる。
【００６２】
このように、本実施の形態では、一つのサンプル点Ｐにおいて、特徴ベクトルＶｊの角度の平均を求めることによって、有意な画素に関係するサンプル点Ｐを特徴点として抽出し、各画像及び地図（図表）の照合候補パターン集を生成することができる。
【００６３】
なお、Ｓ２３１の前に、マッチングされる画像の縮尺と地図の縮尺とを合わせる処理を行ってもよい。この場合、小さな縮尺を大きな縮尺に合わせるとよい。
【００６４】
次に、微調整処理（図２のＳ５）について、図７から図１０を用いて説明する。
【００６５】
図７は、本実施の形態のマッチング処理の対象となる画像（航空写真）の例を示す。図７に示す画像には、複数に分類された領域１０１〜１０５が含まれている。写真上の境界は通常、写真の画素が不明確であるために、粗くかつ不明確である。
【００６６】
図８は、本実施の形態のマッチング処理の対象となる図表（地図）の例を示す。図８に示す地図には、複数に分類された領域１１１〜１１６が含まれている。前述したように、地図は、複数のノードとノード間を結合するリンクによって構成されているので、地図の画素は明確である。
【００６７】
このため、多くの場合、画像上の領域と地図上の領域とは一致せず、これらは局所的には全く異なっている。画像と地図とから特徴点を抽出するのは困難であり、抽出された特徴点は、全てが関係してるわけではない。しかし、ある程度似ている部分によって、両者をマッチングすることができる。
【００６８】
従来のマッチング方法の特徴点は、同種のマッチング方法においても扱うことができない。これは、特徴点は一般的な分布をしており、特徴点の類似性は特徴点の位置と分布に表れていないからである。そのため、本実施の形態では、大きな許容差で高い精度を達成するハイレベルで且つ隠れた類似性を見出すことができる。
【００６９】
前述したように、特徴パターンは特徴ベクトルの列で表される。よって、画像上の特徴点と地図上の特徴点との対応関係を構築することができる。算出された最適化パラメータに従って重ね合わされた画像と地図とを、図９に示し、境界を局所的に変形させる修正処理を図１０に示す。
【００７０】
図９を参照すると、画像の領域１０１と地図の領域１１１とが対応し、画像の領域１０２と地図の領域１１２とが対応し、画像の領域１０５と地図の領域１１５とが対応していることが分かる。
【００７１】
しかし、地図上の領域の境界と写真上の領域の境界とは完全には一致せず、両者の間に偏差がある。このため、地図の領域の境界と写真の領域の境界とを合わせるように、境界を局所的に変形させる修正処理を行う。地図及び写真の領域の境界は、地図及び写真からエッジを抽出することによって決定される。そして、一方から抽出されたエッジを、他方から抽出されたエッジに一致させることによって、地図上の境界と写真上の境界とを合わせる。
【００７２】
なお、図１０では、地図上の境界を写真上の境界に合わせる微調整処理を行っているが、写真上の境界を地図上の境界に合わせる微調整処理を行ってもよい。どちらの境界を基準とし、どちらの境界を変形させるかは、ユーザが設定することができる。
【００７３】
その後、マッチングされた画像と地図とが結合され、新しいデータセットとして出力される（図２のＳ６）。
【００７４】
次に、特徴パターンの生成時にスケーリングをする変形例について説明する。
【００７５】
図１１は、特徴パターンを生成する前に実行される画像及び地図の縮尺を変更する説明図である。
【００７６】
特徴パターンは特徴点より広い領域の特徴の情報を記録しているので、局所的な情報が欠落していたり歪んでいる場合、特徴パターンは局所的な変化を反映していない。縮尺の変化に対する安定性を高めるためには、図１１に示すように、特徴パターンを生成する間に、ピラミッドスキームが適用される。すなわち、元の縮尺（レベル０）だけでなく、小さい縮尺（レベル１）と大きい縮尺（レベル２）の二つの特徴パターンが追加される。そして、全ての特徴ベクトルは、図５に示すように、ｎ×ｍの多次元ベクトル（行列）に並べられる。
【００７７】
以上説明したように、本実施の形態は、異なるタイプの画像、図表（画像と図表、画像同士、図表同士など）に対する、極めて効果的なマッチング方法を提案する。また、本実施の形態は、異なるタイプの画像、図表（例えば、地図、可視的画像、熱画像、青写真（藍焼き）、ＣＡＤ図など）の自動マッチングに適用できる。それゆえ、本実施の形態は、ＧＩＳ、リモートセンシング等の多くのアプリケーション、特に、リモートセンシング画像と地図とのマッチングにに有意義である。
【００７８】
さらに、本発明の実施の形態は、二次元以外の画像／図表、例えば、二次元画像と三次元画像（例えば、ポイントクラウドデータ）、二次元の図表と三次元画像にも適用できる。
【００７９】
さらに、本実施の形態によって見出された特徴パターンは、従来の特徴点より特徴が顕著である。
【００８０】
以上説明したように、本発明の実施の形態によると、自動的、短時間、かつ正確に画像と図表と（又は、画像同士、図表同士）を位置合わせすることができる。また、本実施の形態の位置合わせ方法は、多様な画像／図表におけるデータの融合に適用することができる。
【符号の説明】
【００８１】
１１０  入力部
１２０  表示部
１３０  データ記録部
１４０  演算部
１５０  照合データ出力部
１６０  記憶部
【図１】
0005470607.tif 000007
【図２】
0005470607.tif 000008
【図３】
0005470607.tif 000009
【図５】
0005470607.tif 000010
【図６】
0005470607.tif 000011
【図４】
0005470607.tif 000012
【図７】
0005470607.tif 000013
【図８】
0005470607.tif 000014
【図９】
0005470607.tif 000015
【図１０】
0005470607.tif 000016
【図１１】
0005470607.tif 000017