(57)【要約】【課題】二つの画像の間の対応する範囲を判定する。【解決手段】画素評価算出部１１１は、対象画素の輝度と、隣接画素の輝度とを比較して、評価値を算出する。評価合致算出部１３１は、対象範囲設定部１２２が選択した対象範囲内の画素の評価値と、候補範囲選択部１２３が選択した候補範囲内の画素の評価値とを比較して、評価合致数を算出する。合致合計算出部１３２は、評価合致数を合計して、合致合計数を算出する。画像相関判定部１４０は、合致合計数に基づいて、候補範囲が対象範囲に対応するか否かを判定する。【選択図】図５
2010205202.tif 000002
【特許請求の範囲】
【請求項１】
データを処理する処理装置と、画素評価算出部と、評価合致算出部と、合致合計算出部と、画像相関判定部とを有し、
上記画素評価算出部は、上記処理装置を用いて、複数の画素により構成される画像のうち少なくともいずれかの画素を対象画素とし、複数の隣接方向それぞれについて、上記対象画素の輝度と、上記対象画素に対して上記隣接方向に隣接する隣接画素の輝度とを比較し、比較した複数の比較結果を、上記対象画素についての評価値とし、
上記評価合致算出部は、上記処理装置を用いて、第一の画像を構成する第一の画素と、第二の画像を構成する第二の画素との組について、上記第一の画素について上記画素評価算出部が算出した評価値と、上記第二の画素について上記画素評価算出部が算出した評価値とに基づいて、同一の隣接方向についての比較結果が一致する数を計数し、計数した数を、上記第一の画素と上記第二の画素との組についての評価合致数とし、
上記合致合計算出部は、上記処理装置を用いて、上記第一の画像内の第一の範囲と、上記第二の画像内の上記第一の範囲と同一の形状の第二の範囲との組について、上記第一の範囲内の第一の画素と、上記第二の範囲内の上記第一の画素に対応する位置の第二の画素との組それぞれについて上記評価合致算出部が算出した複数の評価合致数の合計を算出し、算出した合計を、上記第一の範囲と上記第二の範囲との組についての合致合計数とし、
上記画像相関判定部は、上記処理装置を用いて、上記第一の画像内の対象範囲と上記第二の画像内の候補範囲との組について上記合致合計算出部が算出した合致合計数に基づいて、上記候補範囲が上記対象範囲に対応するか否かを判定することを特徴とする画像相関装置。
【請求項２】
上記画像相関判定部は、上記処理装置を用いて、上記対象範囲と上記第二の画像内の第一の候補範囲との組について上記合致合計算出部が算出した合致合計数と、上記対象範囲と上記第二の画像内の第二の候補範囲との組について上記合致合計算出部が算出した合致合計数とを比較して、合致合計数が大きいほうの候補範囲を上記対象範囲に対応すると判定することを特徴とする請求項１に記載の画像相関装置。
【請求項３】
上記画像相関判定部は、上記処理装置を用いて、上記対象範囲と上記候補範囲との組について上記合致合計算出部が算出した合致合計数を所定の閾値と比較して、合致合計数が上記所定の閾値より大きい場合に、上記候補範囲が上記対象範囲に対応すると判定することを特徴とする請求項１または請求項２に記載の画像相関装置。
【請求項４】
上記評価合致算出部は、上記処理装置を用いて、上記第一の画素について上記画素評価算出部が算出した評価値と、上記第二の画素について上記画素評価算出部が算出した評価値とのうち、少なくともいずれか一方の評価値において、いずれかの隣接方向について、上記対象画素の輝度と上記いずれかの隣接方向に隣接する隣接画素の輝度とが等しいという比較結果である場合、上記いずれかの隣接方向については比較をせずに、上記評価合致数を算出し、更に、比較をした隣接方向の数を算出して比較評価数とし、
上記合致合計算出部は、更に、上記処理装置を用いて、上記評価合致算出部が算出した複数の比較評価数の合計を算出し、算出した合計で、算出した合致合計数を割った商を、上記第一の範囲と上記第二の範囲との組についての合致率とし、
上記画像相関判定部は、上記処理装置を用いて、上記第一の画像内の対象範囲と上記第二の画像内の候補範囲との組について上記合致合計算出部が算出した合致率を上記合致合計数の代わりとして、上記候補範囲が上記対象範囲に対応するか否かを判定することを特徴とする請求項１乃至請求項３のいずれかに記載の画像相関装置。
【請求項５】
上記評価合致算出部は、上記処理装置を用いて、上記第一の画素について上記画素評価算出部が算出した評価値と、上記第二の画素について上記画素評価算出部が算出した評価値とのうち、少なくともいずれか一方の評価値において、いずれかの隣接方向について、上記対象画素の輝度と上記いずれかの隣接方向に隣接する隣接画素の輝度とが等しいという比較結果である場合、上記いずれかの隣接方向についての比較結果が一致するものとして、上記評価合致数を算出することを特徴とする請求項１乃至請求項３のいずれかに記載の画像相関装置。
【請求項６】
上記評価合致算出部は、上記処理装置を用いて、上記第一の画素について上記画素評価算出部が算出した評価値と、上記第二の画素について上記画素評価算出部が算出した評価値とのうち、いずれか一方の評価値において、いずれかの隣接方向について、上記対象画素の輝度と上記いずれかの隣接方向に隣接する隣接画素の輝度とが等しいという比較結果であり、かつ、他方の評価値において、上記対象画素の輝度と上記いずれかの隣接方向に隣接する隣接画素の輝度とが等しくないという比較結果である場合、上記評価合致数に、０超１未満の所定の数を加えることを特徴とする請求項１乃至請求項３のいずれかに記載の画像相関装置。
【請求項７】
上記画像相関判定部は、上記処理装置を用いて、上記第一の画像内の第一の対象範囲に対応すると判定した候補範囲を第一の対応範囲とし、上記第一の画像内の第二の対象範囲に対応すると判定した候補範囲を第二の対応範囲とし、上記第一の対象範囲と上記第二の対象範囲との位置関係と、上記第一の対応範囲と上記第二の対応範囲との位置関係とに基づいて、判定した判定結果が正しいか否かを判定することを特徴とする請求項１乃至請求項６のいずれかに記載の画像相関装置。
【請求項８】
上記画像相関判定部は、上記処理装置を用いて、上記第二の対象範囲に対応すると判定した第二の対応範囲が複数ある場合に、上記第一の対応範囲との位置関係が上記第一の対象範囲と上記第二の対象範囲との位置関係に近いほうの第二の対応範囲を、上記第二の対象範囲に対応すると判定することを特徴とする請求項７に記載の画像相関装置。
【請求項９】
上記画像相関装置は、更に、移動目標追尾部を有し、
上記移動目標追尾部は、上記処理装置を用いて、上記第一の画像内において移動目標が写っている移動目標範囲内の対象範囲に対応すると上記画像相関判定部が判定した上記第二の画像内の候補範囲の位置に、上記移動目標が写っていると判定することを特徴とする請求項１乃至請求項８のいずれかに記載の画像相関装置。
【請求項１０】
データを処理する処理装置を有するコンピュータが実行することにより、上記コンピュータが請求項１乃至請求項９のいずれかに記載の画像相関装置として機能することを特徴とするコンピュータプログラム。
【請求項１１】
データを処理する処理装置を有する画像相関装置が、複数の画素により構成される第一の画像内の対象範囲に、複数の画素により構成される第二の画像内の上記対象範囲と同一の形状の候補範囲が対応するか否かを判定する画像相関方法において、
上記処理装置が、上記対象範囲及び上記候補範囲内の画素それぞれを対象画素とし、複数の隣接方向それぞれについて、上記対象画素の輝度と、上記対象画素に対して上記隣接方向に隣接する隣接画素の輝度とを比較し、比較した複数の比較結果を、上記対象画素についての評価値とし、
上記処理装置が、上記対象範囲内の第一の画素について算出した評価値と、上記候補範囲内の上記第一の画素に対応する位置の第二の画素について算出した評価値とに基づいて、同一の隣接方向についての比較結果が一致する数を計数し、計数した数を、上記第一の画素についての評価合致数とし、
上記処理装置が、上記対象範囲内の複数の画素について算出した複数の評価合致数の合計を算出し、算出した合計を合致合計数とし、
上記処理装置が、算出した合致合計数に基づいて、上記候補範囲が上記対象範囲に対応するか否かを判定することを特徴とする画像相関方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、２つの画像を比較して、対応する画素を判定し、画像の位置合わせを可能にする画像相関処理に関する。
【背景技術】
【０００２】
動画の連続するフレームなど二つの画像の間で対応する画素を探索する方式には、例えば、探索を行う画素の近傍の領域について、画素の輝度を特徴量とする評価値を算出し、評価値の間の相関が最も強い領域を抽出する方式がある。また、画素について直交エッジ強度符号を算出して、相関を求める方式もある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１２０３５１号公報
【特許文献２】特開２００４−６１４４６号公報
【非特許文献】
【０００４】
【非特許文献１】月山恭一、斉藤文彦著「直交エッジ強度符号相関を用いたテンプレート画像照合」画像電子学会誌第３４巻第１号、５３〜５８ページ、画像電子学会、２００５年。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画素の輝度を特徴量とする評価値や直交エッジ強度符号に基づいて、相関を取る方式は、画像内に同等の輝度を有する画素が多い場合、画像全体の画素値が変化する場合、フレーム間隔が長い場合などにおいて、マッチング率が低下して、適切な判定ができない場合がある。
この発明は、例えば、上記のような課題を解決するためになされたものであり、例えば、画像全体の明るさが変わった場合などであっても、適切な判定ができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
この発明にかかる画像相関装置は、
データを処理する処理装置と、画素評価算出部と、評価合致算出部と、合致合計算出部と、画像相関判定部とを有し、
上記画素評価算出部は、上記処理装置を用いて、複数の画素により構成される画像のうち少なくともいずれかの画素を対象画素とし、複数の隣接方向それぞれについて、上記対象画素の輝度と、上記対象画素に対して上記隣接方向に隣接する隣接画素の輝度とを比較し、比較した複数の比較結果を、上記対象画素についての評価値とし、
上記評価合致算出部は、上記処理装置を用いて、第一の画像を構成する第一の画素と、第二の画像を構成する第二の画素との組について、上記第一の画素について上記画素評価算出部が算出した評価値と、上記第二の画素について上記画素評価算出部が算出した評価値とに基づいて、同一の隣接方向についての比較結果が一致する数を計数し、計数した数を、上記第一の画素と上記第二の画素との組についての評価合致数とし、
上記合致合計算出部は、上記処理装置を用いて、上記第一の画像内の第一の範囲と、上記第二の画像内の上記第一の範囲と同一の形状の第二の範囲との組について、上記第一の範囲内の第一の画素と、上記第二の範囲内の上記第一の画素に対応する位置の第二の画素との組それぞれについて上記評価合致算出部が算出した複数の評価合致数の合計を算出し、算出した合計を、上記第一の範囲と上記第二の範囲との組についての合致合計数とし、
上記画像相関判定部は、上記処理装置を用いて、上記第一の画像内の対象範囲と上記第二の画像内の候補範囲との組について上記合致合計算出部が算出した合致合計数に基づいて、上記候補範囲が上記対象範囲に対応するか否かを判定することを特徴とする。
【発明の効果】
【０００７】
この発明にかかる画像相関装置によれば、隣接した画素間の相対的な輝度の関係に基づいて評価値を算出するので、例えば、画像全体の明るさが変わった場合などであっても、対象範囲と候補範囲との対応を判定することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１における画像処理システム８００の全体構成の一例を示すシステム構成図。
【図２】実施の形態１における画像撮影装置８１０が撮影する画像５０１の一例を示す図。
【図３】実施の形態１における画像相関装置１００の外観の一例を示す斜視図。
【図４】実施の形態１における画像相関装置１００のハードウェア資源の一例を示す図。
【図５】実施の形態１における画像相関装置１００の機能ブロックの構成の一例を示すブロック構成図。
【図６】実施の形態１における輝度データ５１１と評価値５６１との関係の一例を示す図。
【図７】実施の形態１における重なり範囲、対象範囲、候補選択範囲、候補範囲の関係の一例を示す図。
【図８】実施の形態１における評価合致数、合致合計数の一例を示す図。
【図９】実施の形態１における合致合計数と画像相関データと関係の一例を示す図。
【図１０】実施の形態１における画像相関処理の流れの一例を示すフローチャート図。
【図１１】実施の形態２における画像相関装置１００の機能ブロックの構成の一例を示すブロック構成図。
【図１２】実施の形態２における対象範囲５０７と候補範囲５０９との関係の一例を示す図。
【図１３】実施の形態２における対応範囲判定工程Ｓ６５０の流れの一例を示すフローチャート図。
【図１４】実施の形態３における画像相関装置１００の機能ブロックの構成の一例を示すブロック構成図。
【図１５】実施の形態３における対象範囲５０７と候補範囲５０９との関係の一例を示す図。
【図１６】実施の形態３における移動目標追尾処理の流れの一例を示すフローチャート図。
【発明を実施するための形態】
【０００９】
実施の形態１．
実施の形態１について、図１〜図１０を用いて説明する。
【００１０】
図１は、この実施の形態における画像処理システム８００の全体構成の一例を示すシステム構成図である。
画像処理システム８００は、画像撮影装置８１０、画像記憶装置８２０、撮影情報記憶装置８３０、画像相関装置１００を有する。
画像撮影装置８１０は、画像を撮影し、画像データ５１０と、撮影情報データ５２０とを出力する。画像データ５１０は、画像撮影装置８１０が撮影した画像を表わすデータである。撮影情報データ５２０は、画像撮影装置８１０が画像を撮影した時刻、位置、撮影した方向など、撮影した画像に関する情報を表わすデータである。画像撮影装置８１０（あるいは画像処理システム８００全体）は、例えば、移動可能なプラットフォーム上に搭載されている。撮影情報データ５２０には、画像撮影装置８１０が搭載されているプラットフォームの位置、向きなどに関する情報も含まれる。
画像撮影装置８１０は、複数の画像を撮影する。画像撮影装置８１０は、例えば、所定の間隔で、画像を繰り返し撮影する。
画像記憶装置８２０は、画像撮影装置８１０が出力した複数の画像データ５１０を蓄積して記憶する。
撮影情報記憶装置８３０は、画像撮影装置８１０が出力した複数の撮影情報データ５２０を蓄積して記憶する。
画像相関装置１００は、画像記憶装置８２０が記憶した画像データ５１０と、撮影情報記憶装置８３０が記憶した撮影情報データ５２０とに基づいて、画像撮影装置８１０が撮影した複数の画像の間の相関を取る。すなわち、画像相関装置１００は、画像撮影装置８１０が撮影した複数の画像の間の対応する部分を判定する。これにより、例えば、複数の画像を繋げて、１枚の大きな画像にすることができる。画像相関装置１００は、相関を取った結果を表わす画像相関データ５３０を出力する。
【００１１】
図２は、この実施の形態における画像撮影装置８１０が撮影する画像５０１の一例を示す図である。
画像５０１は、例えば、格子状に並んだ複数の画素により構成されている。画像撮影装置８１０が出力する画像データ５１０は、複数の輝度データ５１１により構成されている。各輝度データ５１１は、対応する各画素の輝度を表わす。例えば、画像撮影装置８１０が撮影する画像がモノクロ画像であれば、一つの画素に対して一つの輝度データ５１１が対応し、画像撮影装置８１０が撮影する画像がカラー画像であれば、一つの画素に対してＲＧＢ各成分の輝度を表わす三つの輝度データ５１１が対応する。以下の説明では、画像撮影装置８１０が撮影する画像がモノクロ画像であり、一つの画素に対応する輝度データ５１１が一つであるものとする。
【００１２】
図３は、この実施の形態における画像相関装置１００の外観の一例を示す斜視図である。
画像相関装置１００は、システムユニット９１０、ＣＲＴ（Ｃａｔｈｏｄｅ・Ｒａｙ・Ｔｕｂｅ）やＬＣＤ（液晶）の表示画面を有する表示装置９０１、キーボード９０２（Ｋｅｙ・Ｂｏａｒｄ：Ｋ／Ｂ）、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、コンパクトディスク装置９０５（ＣＤＤ）、プリンタ装置９０６、スキャナ装置９０７などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。
システムユニット９１０は、コンピュータであり、ファクシミリ機９３２、電話器９３１とケーブルで接続され、また、ローカルエリアネットワーク９４２（ＬＡＮ）、ゲートウェイ９４１を介してインターネット９４０に接続されている。
【００１３】
図４は、この実施の形態における画像相関装置１００のハードウェア資源の一例を示す図である。
画像相関装置１００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信装置９１５、表示装置９０１、キーボード９０２、マウス９０３、ＦＤＤ９０４、ＣＤＤ９０５、プリンタ装置９０６、スキャナ装置９０７、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。通信装置９１５、キーボード９０２、スキャナ装置９０７、ＦＤＤ９０４などは、入力部、入力装置の一例である。
また、通信装置９１５、表示装置９０１、プリンタ装置９０６などは、出力部、出力装置の一例である。
【００１４】
通信装置９１５は、ファクシミリ機９３２、電話器９３１、ＬＡＮ９４２等に接続されている。通信装置９１５は、ＬＡＮ９４２に限らず、インターネット９４０、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）などに接続されていても構わない。インターネット９４０或いはＩＳＤＮ等のＷＡＮに接続されている場合、ゲートウェイ９４１は不用となる。
磁気ディスク装置９２０には、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。
【００１５】
上記プログラム群９２３には、以下に述べる実施の形態の説明において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、以下に述べる実施の形態の説明において、「〜の判定結果」、「〜の計算結果」、「〜の処理結果」として説明する情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、以下に述べる実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｋ）等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００１６】
また、以下に述べる実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、以下に述べる「〜部」としてコンピュータを機能させるものである。あるいは、以下に述べる「〜部」の手順や方法をコンピュータに実行させるものである。
【００１７】
図５は、この実施の形態における画像相関装置１００の機能ブロックの構成の一例を示すブロック構成図である。
画像相関装置１００は、画素評価算出部１１１、画像評価記憶部１１２、重なり範囲判定部１２１、対象範囲設定部１２２、候補範囲選択部１２３、評価合致算出部１３１、合致合計算出部１３２、合致合計記憶部１３３、画像相関判定部１４０を有する。
【００１８】
画素評価算出部１１１は、画像５０１を構成する各画素の評価値を算出する。評価値とは、画像間の相関を取るために各画素の輝度と、各画素に隣接する画素（以下「隣接画素」と呼ぶ。）の輝度との大小関係を数値化したものである。
画素評価算出部１１１は、ＣＰＵ９１１を用いて、画像記憶装置８２０が記憶した画像データ５１０を入力する。画素評価算出部１１１は、ＣＰＵ９１１を用いて、入力した画像データ５１０に基づいて、画像データ５１０が表わす画像５０１を構成する各画素について、輝度データ５１１が表わすその画素（以下「対象画素」と呼ぶ。）の輝度と、対象画素に隣接した隣接画素の輝度とを比較する。一つの対象画素に対して、例えば、縦横斜め８方向に隣接した８つの隣接画素がある。画素評価算出部１１１は、対象画素の輝度を、８つの隣接画素それぞれの輝度と比較して、比較した比較結果を表わす８つの評価値を算出する。画素評価算出部１１１は、ＣＰＵ９１１を用いて、算出した評価値を出力する。
評価値は、対象画素の輝度と隣接画素の輝度との大小関係を表わす。例えば、評価値は、隣接画素の輝度が対象画素の輝度より大きければ「１」、小さければ「−１」、同じならば「０」とする。
また、画素評価算出部１１１は、８つの隣接画素のうち、いくつかの隣接画素だけについて評価値を算出する構成であってもよい。例えば、画素評価算出部１１１は、縦横４つの隣接画素について評価値を算出する構成であってもよいし、右上・右・右下・下の４方向の隣接画素について評価値を算出する構成であってもよい。
【００１９】
画像評価記憶部１１２は、ＣＰＵ９１１を用いて、画素評価算出部１１１が出力した各画素についての複数の評価値を入力する。画像評価記憶部１１２は、磁気ディスク装置９２０を用いて、入力した各画素についての複数の評価値を記憶する。
【００２０】
図６は、この実施の形態における輝度データ５１１と評価値５６１との関係の一例を示す図である。
例えば、輝度データ５１１によれば、対象画素５５１の輝度が「４２２４」、対象画素５５１に隣接する８つの隣接画素５５２の輝度が、上から順に時計回りにそれぞれ「４１９２」「４１８２」「４２１１」「４１８９」「４２４２」「４２５６」「４１８６」「４２２４」だったとすると、画素評価算出部１１１は、８つの方向について、上から順に時計回りにそれぞれ評価値「−１」「−１」「−１」「−１」「１」「１」「−１」「０」を算出する。
このように、画素評価算出部１１１は、一つの画素について例えば８つの評価値を算出し、例えば５×５＝２５個の画素について８×２５＝２００個の評価値を算出する。画像評価記憶部１１２は、画素評価算出部１１１が算出した評価値を、各画素及び隣接方向に対応づけて記憶する。
【００２１】
図５に戻り、画像相関装置１００の機能ブロックの説明を続ける。
重なり範囲判定部１２１は、画像撮影装置８１０が直前に撮影した画像（以下「第二の画像」と呼ぶ。）と、その一つ前に撮影した画像（以下「第一の画像」と呼ぶ。）との間の重なっている範囲（以下「重なり範囲」と呼ぶ。）を大まかに判定する。
重なり範囲判定部１２１は、ＣＰＵ９１１を用いて、撮影情報記憶装置８３０が記憶した撮影情報データ５２０のうち、第一の画像についての撮影情報データ（以下「第一撮影情報データ５２１」と呼ぶ。）と、第二の画像についての撮影情報データ「以下「第二撮影情報データ５２２」と呼ぶ。）とを入力する。重なり範囲判定部１２１は、ＣＰＵ９１１を用いて、入力した第一撮影情報データ５２１及び第二撮影情報データ５２２に基づいて、第一の画像と第二の画像との間で重なっている範囲を判定する。例えば、第一の画像の撮影した位置と第二の画像を撮影した位置とが同じで、撮影した方向も同じであれば、重なり範囲判定部１２１は、ほぼ全範囲が重なり範囲であると判定する。撮影位置が同じで、撮影方向だけ異なる場合、例えば、第一の画像の撮影方向より第二の画像の撮影方向のほうが右方向であれば、重なり範囲判定部１２１は、第一の画像の右寄りの範囲と、第二の画像の左寄りの範囲とが重なり範囲であると判定する。また、撮影位置が異なり、撮影方向が画像撮影装置８１０の移動方向に対して右方向の同じ方向であれば、重なり範囲判定部１２１は、第一の画像の左寄りの範囲と、第二の画像の右寄りの範囲とが重なり範囲であると判定する。
重なり範囲判定部１２１は、ＣＰＵ９１１を用いて、判定した重なり範囲を出力する。
【００２２】
対象範囲設定部１２２は、対象範囲を設定する。対象範囲とは、第一の画像の中の所定の形状の範囲であり、第二の画像の中に対応する範囲を探す範囲である。
対象範囲設定部１２２は、ＣＰＵ９１１を用いて、重なり範囲判定部１２１が出力した重なり範囲を入力する。対象範囲設定部１２２は、入力した重なり範囲に基づいて、第一の画像のうち、確実に第二の画像のなかに対応する範囲があると考えられる範囲を選択して、対象範囲とする。対象範囲の形状は、例えば、３×３の正方形である。対象範囲の形状は、最小で１画素である構成でもよいし、もっと大きい正方形あるいは円形あるいはその他の形状である構成でもよい。また、対象範囲は、１つの連続した範囲でなくてもよく、二つ以上の離れた範囲である構成でもよい。
対象範囲設定部１２２は、確実に第二の画像のなかに対応する範囲があると考えられる範囲として、例えば、第一の画像中の重なり範囲のほぼ中央に位置する範囲を、対象範囲として選択する。
対象範囲設定部１２２は、ＣＰＵ９１１を用いて、選択した対象範囲を出力する。
【００２３】
候補範囲選択部１２３は、候補範囲を選択する。候補範囲とは、第二の画像の中の範囲であり、対象範囲と同じ形状であって、対象範囲と対応するか否かを判定する範囲である。
候補範囲選択部１２３は、ＣＰＵ９１１を用いて、重なり範囲判定部１２１が出力した重なり範囲と、対象範囲設定部１２２が出力した対象範囲とを入力する。候補範囲選択部１２３は、ＣＰＵ９１１を用いて、入力した重なり範囲と対象範囲とに基づいて、第二の画像のうち、対象範囲と対応する可能性のある範囲（以下「候補選択範囲」と呼ぶ。）を特定する。候補範囲選択部１２３は、ＣＰＵ９１１を用いて、特定した候補選択範囲のなかから、候補範囲を選択する。候補範囲選択部１２３は、例えば、最初に、候補選択範囲の一番左上端に位置する候補範囲を選択し、その後、１画素ずつ右に候補範囲を移動させる。候補範囲が右端に達したら、候補範囲選択部１２３は、１画素下に移動して、また、左端から右端へ順に候補範囲を移動させていく。これを、候補選択範囲の一番右下端に到達するまで繰り返す。
候補範囲選択部１２３は、ＣＰＵ９１１を用いて、選択した候補範囲を出力する。
【００２４】
図７は、この実施の形態における重なり範囲、対象範囲、候補選択範囲、候補範囲の関係の一例を示す図である。
例えば、画像撮影装置８１０は、第一の画像５０２と同じ撮影位置で、画像５０２より右方向を向いて、第二の画像５０３を撮影したとする。重なり範囲判定部１２１は、第一撮影情報データ５２１及び第二撮影情報データ５２２から、撮影位置・撮影方向・画像撮影装置８１０の撮影範囲などを取得して、第一の画像５０２と第二の画像５０３との関係を求め、第一の画像５０２における重なり範囲５０５及び第二の画像５０３における重なり範囲５０６を判定する。
対象範囲設定部１２２は、重なり範囲５０５のなかから、対象範囲５０７を選択する。
候補範囲選択部１２３は、重なり範囲５０６と対象範囲５０７とから、候補選択範囲５０８を特定し、候補選択範囲５０８のなかから候補範囲５０９を選択する。候補範囲選択部１２３が選択する候補範囲５０９を、候補選択範囲５０８のなかで移動させて、第二の画像５０３のなかで、第一の画像の対象範囲５０７に対応する範囲を探す。
【００２５】
図５に戻り、画像相関装置１００の機能ブロックの説明を続ける。
評価合致算出部１３１は、対象範囲５０７と候補範囲５０９との間で、画素の評価値を比較して、評価合致数を算出する。評価合致数とは、対象範囲５０７内の画素と、候補範囲５０９内の、同じ位置の画素との間で、同じ方向の隣接画素についての評価値が合致した数である。例えば、画素評価算出部１１１が、一つの画素当たり８つの評価値を算出する構成の場合、評価合致数は、最大で８、最小で０の値を取る。
評価合致算出部１３１は、ＣＰＵ９１１を用いて、対象範囲設定部１２２が出力した対象範囲５０７と、候補範囲選択部１２３が出力した候補範囲５０９とを入力する。評価合致算出部１３１は、ＣＰＵ９１１を用いて、画像評価記憶部１１２が記憶した評価値のなかから、第一の画像５０２のうち対象範囲５０７内の画素についての評価値と、第二の画像５０３のうち候補範囲５０９内の画素についての評価値とを入力する。評価合致算出部１３１は、ＣＰＵ９１１を用いて、対象範囲５０７内の画素それぞれについて、候補範囲５０９内の同じ位置の画素と、評価値を比較して、評価合致数を算出する。評価合致算出部１３１は、ＣＰＵ９１１を用いて、算出した評価合致数を出力する。
評価合致数の算出において、評価合致算出部１３１は、評価値が同じ場合、評価値が合致したと判定する。また、評価合致算出部１３１は、評価値「１」（隣接画素の輝度が対象画素の輝度よりも大きい）と評価値「−１」（隣接画素の輝度が対象画素の輝度よりも小さい）とは、評価値が合致しないと判定する。評価値「０」（隣接画素の輝度が対象画素の輝度と等しい）は発生確率が低いので、評価値「０」以外と合致しないと判定すると、その画素についての評価合致数が、必要以上に低く算出されることになる。このため、評価合致算出部１３１は、評価値「０」と評価値「１」または「−１」とは、評価値が合致したと判定する。
なお、評価値「０」と評価値「１」または「−１」とは、評価値が半分だけ合致したと判定する構成であってもよい。すなわち、評価合致算出部１３１は、通常、評価値が合致したと判定した場合は、評価合致数に「１」を加えるところ、評価値「０」と評価値「１」または「−１」との場合は、評価合致数に「０．５」を加える。あるいは、「０．５」ではなく、０超１未満の所定の数を加える構成であってもよい。
あるいは、評価合致算出部１３１は、評価値が異なる場合、隣接画素の輝度と対象画素の輝度との差を算出し、対象範囲５０７内の画素の輝度の差と候補範囲５０９内の画素の輝度の差との間の差の絶対値を算出して、算出した絶対値が所定の閾値より小さい場合は、評価合致数に「０．５」を加える構成としてもよい。また、評価合致算出部１３１は、閾値を複数設け、輝度の差が大きくなるにつれて、段階的に、評価合致数に加える数を小さくする構成としてもよい。あるいは、評価合致算出部１３１は、輝度の差の逆数を評価合致数に加えるなど、輝度の差が大きくなるについて、連続的に、評価合致数に加える数を小さくする構成としてもよい。
【００２６】
合致合計算出部１３２は、対象範囲５０７内のすべての画素についての評価合致数を合計する。
合致合計算出部１３２は、ＣＰＵ９１１を用いて、評価合致算出部１３１が対象範囲５０７内の各画素について算出した評価合致数を入力する。合致合計算出部１３２は、ＣＰＵ９１１を用いて、入力した評価合致数を合計して、合致合計数とする。合致合計算出部１３２は、ＣＰＵ９１１を用いて、算出した合致合計数を出力する。
【００２７】
なお、合致合計算出部１３２は、合致合計数を、比較した評価値の総数で割った合致率を算出する構成としてもよい。その場合、評価合致算出部１３１は、評価合致数の算出において、評価値「０」を比較の対象としない構成としてもよい。評価合致算出部１３１は、比較の対象とした評価値の数（以下「比較評価数」と呼ぶ。）を、評価合致数とともに出力し、合致合計算出部１３２は、評価合致数の合計を、比較評価数の合計で割ることにより、合致率を算出して、以下の説明における合致合計数の代わりとする。
【００２８】
合致合計記憶部１３３は、各候補範囲５０９について合致合計数を記憶する。
合致合計記憶部１３３は、ＣＰＵ９１１を用いて、候補範囲選択部１２３が出力した候補範囲５０９と、合致合計算出部１３２が出力した合致合計数とを入力する。合致合計記憶部１３３は、磁気ディスク装置９２０を用いて、入力した候補範囲５０９と合致合計数とを対応づけて記憶する。
【００２９】
図８は、この実施の形態における評価合致数、合致合計数の一例を示す図である。
評価合致算出部１３１は、対象範囲５０７内のある画素についての評価値５６２と、候補範囲５０９内の同じ位置の画素についての評価値５６３とを比較して、評価合致数５７１（あるいは評価合致数５７２）を算出する。
合致合計算出部１３２は、例えば、対象範囲５０７（及び候補範囲５０９）の形状が３画素×３画素の正方形である場合、評価合致算出部１３１が対象範囲５０７内の９つの画素それぞれについて算出した９つの評価合致数５７１（あるいは評価合致数５７２）を合計して、合致合計数５８１（あるいは合致合計数５８２）を算出する。
【００３０】
あるいは、評価合致算出部１３１が、評価合致数と比較評価数との組５７３を算出する場合であれば、合致合計算出部１３２は、評価合致算出部１３１が算出した９つの評価合致数を合計して合致合計数を算出し、評価合致算出部１３１が算出した９との比較評価数の合計で、算出した合致合計数を割って、合致率５８３を算出する。
【００３１】
図５に戻り、画像相関装置１００の機能ブロックの説明を続ける。
画像相関判定部１４０は、合致合計算出部１３２が算出した合致合計数に基づいて、対象範囲５０７に対応する候補範囲５０９を判定する。画像相関判定部１４０は、最大判定部１４１、画像相関生成部１４５を有する。
最大判定部１４１は、ＣＰＵ９１１を用いて、合致合計記憶部１３３が各候補範囲５０９について記憶した合致合計数を入力する。最大判定部１４１は、ＣＰＵ９１１を用いて、入力した合致合計数のなかで値が最大のものを判定する。最大判定部１４１は、ＣＰＵ９１１を用いて、判定した最大の合致合計数に対応づけられた候補範囲５０９が、対象範囲５０７に対応すると判定する。最大判定部１４１は、ＣＰＵ９１１を用いて、判定した判定結果を出力する。
画像相関生成部１４５は、ＣＰＵ９１１を用いて、最大判定部１４１が出力した判定結果を入力する。画像相関生成部１４５は、ＣＰＵ９１１を用いて、入力した判定結果に基づいて、画像相関データ５３０を生成する。例えば、画像相関生成部１４５は、ＣＰＵ９１１を用いて、第一の画像５０２における対象範囲５０７の位置と、それに対応する第二の画像５０３における候補範囲５０９の位置とに基づいて、第二の画像５０３を何画素分移動させれば、第一の画像５０２と重ね合わせることができるかを算出し、算出した移動量を画像相関データ５３０とする。画像相関生成部１４５は、ＣＰＵ９１１を用いて、生成した画像相関データ５３０を出力する。
【００３２】
図９は、この実施の形態における合致合計数と画像相関データと関係の一例を示す図である。
最大判定部１４１は、合致合計算出部１３２が算出した合致合計数５８１のなかから、最大のものを判定し、それに対応する候補範囲５０９が、対象範囲５０７に対応すると判定する。
画像相関生成部１４５は、対象範囲５０７と候補範囲５０９との位置関係から、対象範囲５０７と候補範囲５０９とが重なるように、第一の画像５０２と第二の画像５０３を重ね合わせる場合の横方向の移動量５３１及び縦方向の移動量５３２をそれぞれ算出し、算出した移動量５３１，５３２を画像相関データ５３０とする。
【００３３】
図１０は、この実施の形態における画像相関処理の流れの一例を示すフローチャート図である。
画像相関処理において、画像相関装置１００は、最新の画像５０３と、一つ前の画像５０２との間で相関を取る。画像相関処理は、対象画素選択工程Ｓ６１１、画素評価算出工程Ｓ６１２、対象画素繰り返し工程Ｓ６１３、重なり判定工程Ｓ６２１、対象範囲設定工程Ｓ６２２、候補範囲選択工程Ｓ６２４、画素選択工程Ｓ６３１、評価合致算出工程Ｓ６３２、画素繰り返し工程Ｓ６３３、合致合計算出工程Ｓ６３４、候補範囲繰り返し工程Ｓ６４１、対応範囲判定工程Ｓ６５０、画像相関生成工程Ｓ６６１を有する。
画像相関処理は、画像撮影装置８１０が新たな画像５０３を撮影するたびに実行する。
【００３４】
対象画素選択工程Ｓ６１１において、画素評価算出部１１１は、ＣＰＵ９１１を用いて、画像撮影装置８１０が新たに撮影した画像５０３のなかから、画素を一つずつ順に選択する。
画素評価算出工程Ｓ６１２において、画素評価算出部１１１は、ＣＰＵ９１１を用いて、画像記憶装置８２０が記憶した画像データ５１０に基づいて、対象画素選択工程Ｓ６１１で選択した画素について、評価値を算出する。画像評価記憶部１１２は、磁気ディスク装置９２０を用いて、画素評価算出部１１１が算出した評価値を記憶する。
対象画素繰り返し工程Ｓ６１３において、画素評価算出部１１１は、ＣＰＵ９１１を用いて、対象画素選択工程Ｓ６１１で画像５０３のなかから選択すべきすべての画素を選択したか否かを判定する。まだ選択していない画素があると判定した場合、画素評価算出部１１１は、ＣＰＵ９１１を用いて、対象画素選択工程Ｓ６１１に戻り、次の画素を選択する。すべての画素を選択したと判定した場合、画素評価算出部１１１は、ＣＰＵ９１１を用いて、重なり判定工程Ｓ６２１へ進む。
なお、対象画素選択工程Ｓ６１１で選択すべき画素は、画像５０３を構成するすべての画素としてもよいし、画像５０３を構成する画素のうち、一番端の画素（８方向のいずれかに隣接画素がない画素）を除くすべての画素としてもよい。
【００３５】
こうして、画像撮影装置８１０が新たな画像５０３を撮影するたびに、評価値を算出し、画像評価記憶部１１２が記憶する。画像評価記憶部１１２は、最新の画像５０３についての評価値だけでなく、以前の画像（少なくとも一つ前の画像５０２）についての評価値も、記憶している。
【００３６】
重なり判定工程Ｓ６２１において、重なり範囲判定部１２１は、ＣＰＵ９１１を用いて、撮影情報記憶装置８３０が記憶した撮影情報データ５２０に基づいて、最新の画像５０３と、一つ前の画像５０２との間の重なり範囲を判定する。
対象範囲設定工程Ｓ６２２において、対象範囲設定部１２２は、ＣＰＵ９１１を用いて、重なり判定工程Ｓ６２１で重なり範囲判定部１２１が判定した重なり範囲に基づいて、対象範囲５０７を選択する。
候補範囲選択工程Ｓ６２４において、候補範囲選択部１２３は、ＣＰＵ９１１を用いて、重なり判定工程Ｓ６２１で重なり範囲判定部１２１が判定した重なり範囲と、対象範囲設定工程Ｓ６２２で対象範囲設定部１２２が選択した対象範囲５０７とに基づいて、候補選択範囲５０８を特定し、特定した候補選択範囲５０８のなかから、候補範囲５０９を一つずつ順に選択する。
【００３７】
画素選択工程Ｓ６３１において、評価合致算出部１３１は、ＣＰＵ９１１を用いて、対象範囲設定工程Ｓ６２２で対象範囲設定部１２２が選択した対象範囲５０７のなかから、画素を一つずつ順に選択する。
評価合致算出工程Ｓ６３２において、評価合致算出部１３１は、ＣＰＵ９１１を用いて、画像評価記憶部１１２が記憶した評価値に基づいて、画素選択工程Ｓ６３１で選択した画素と、対象範囲選択工程Ｓ６２３で候補範囲選択部１２３が選択した候補範囲５０９のなかの同じ位置の画素との合致合計数を算出する。
画素繰り返し工程Ｓ６３３において、評価合致算出部１３１は、ＣＰＵ９１１を用いて、画素選択工程Ｓ６３１で対象範囲５０７内のすべての画素を選択したか否かを判定する。まだ選択していない画素があると判定した場合、評価合致算出部１３１は、ＣＰＵ９１１を用いて、画素選択工程Ｓ６３１に戻る。すべての画素を選択したと判定した場合、評価合致算出部１３１は、ＣＰＵ９１１を用いて、合致合計算出工程Ｓ６３４へ進む。
合致合計算出工程Ｓ６３４において、合致合計算出部１３２は、ＣＰＵ９１１を用いて、評価合致算出工程Ｓ６３２で評価合致算出部１３１が算出した評価合致数を合計して、合致合計数を算出する。
【００３８】
候補範囲繰り返し工程Ｓ６４１において、候補範囲選択部１２３は、ＣＰＵ９１１を用いて、候補範囲選択工程Ｓ６２４で選択すべきすべての候補範囲５０９を選択したか否かを判定する。まだ選択していない候補範囲５０９があると判定した場合、候補範囲選択部１２３は、ＣＰＵ９１１を用いて、候補範囲選択工程Ｓ６２４に戻り、次の候補範囲５０９を選択する。すべての候補範囲５０９を選択したと判定した場合、候補範囲選択部１２３は、ＣＰＵ９１１を用いて、対応範囲判定工程Ｓ６５０へ進む。
【００３９】
対応範囲判定工程Ｓ６５０において、最大判定部１４１は、ＣＰＵ９１１を用いて、合致合計算出工程Ｓ６３４で合致合計算出部１３２が算出した合致合計数のなかから、最大のものを判定し、判定した合致合計数が対応する候補範囲５０９を、対象範囲設定工程Ｓ６２２で対象範囲設定部１２２が選択した対象範囲に対応すると判定する。
画像相関生成工程Ｓ６６１において、画像相関生成部１４５は、ＣＰＵ９１１を用いて、対応範囲判定工程Ｓ６５０で最大判定部１４１が判定した判定結果に基づいて、画像相関データ５３０を生成する。
【００４０】
この実施の形態における画像相関装置１００は、データを処理する処理装置（ＣＰＵ９１１）と、画素評価算出部１１１と、評価合致算出部１３１と、合致合計算出部１３２と、画像相関判定部１４０とを有する。
上記画素評価算出部１１１は、上記処理装置を用いて、複数の画素により構成される画像のうち少なくともいずれかの画素を対象画素とし、複数の隣接方向それぞれについて、上記対象画素の輝度と、上記対象画素に対して上記隣接方向に隣接する隣接画素の輝度とを比較し、比較した複数の比較結果を、上記対象画素についての評価値とする。
上記評価合致算出部１３１は、上記処理装置を用いて、第一の画像５０２を構成する第一の画素と、第二の画像５０３を構成する第二の画素との組について、上記第一の画素について上記画素評価算出部１１１が算出した評価値と、上記第二の画素について上記画素評価算出部１１１が算出した評価値とに基づいて、同一の隣接方向についての比較結果が一致する数を計数し、計数した数を、上記第一の画素と上記第二の画素との組についての評価合致数とする。
上記合致合計算出部１３２は、上記処理装置を用いて、上記第一の画像５０２内の第一の範囲（対象範囲５０７）と、上記第二の画像５０３内の上記第一の範囲と同一の形状の第二の範囲（候補範囲５０９）との組について、上記第一の範囲内の第一の画素と、上記第二の範囲内の上記第一の画素に対応する位置の第二の画素との組それぞれについて上記評価合致算出部１３１が算出した複数の評価合致数の合計を算出し、算出した合計を、上記第一の範囲と上記第二の範囲との組についての合致合計数とする。
上記画像相関判定部１４０は、上記処理装置を用いて、上記第一の画像５０２内の対象範囲５０７と、上記第二の画像５０３内の候補範囲５０９との組について上記合致合計算出部１３２が算出した合致合計数に基づいて、上記候補範囲５０９が上記対象範囲５０７に対応するか否かを判定する。
【００４１】
この実施の形態における画像相関装置１００によれば、隣接した画素間の相対的な輝度の関係に基づいて評価値を算出するので、例えば、画像全体の明るさが変わった場合などであっても、対象範囲５０７と候補範囲５０９との対応を判定することができる。
また、１つの画素について複数の評価値を算出して、評価合致数を算出し、対象範囲５０７内の各画素について算出した評価合致数を合計して合致合計数を算出するので、評価値が完全に一致しない場合であっても、対応を判定することができる。
【００４２】
この実施の形態における画像相関装置１００において、上記画像相関判定部１４０は、上記処理装置を用いて、上記対象範囲５０７と上記第二の画像５０３内の第一の候補範囲との組について上記合致合計算出部１３２が算出した合致合計数と、上記対象範囲５０７と上記第二の画像５０３内の第二の候補範囲との組について上記合致合計算出部１３２が算出した合致合計数とを比較して、合致合計数が大きいほうの候補範囲５０９を上記対象範囲５０７に対応すると判定する。
【００４３】
この実施の形態における画像相関装置１００によれば、二つの候補範囲５０９のうち、合致合計数が大きいほうの候補範囲５０９を対象範囲５０７に対応すると判定するので、評価値が完全に一致しない場合であっても、最善の対応を判定することができる。
【００４４】
この実施の形態における画像相関装置１００において、上記評価合致算出部１３１は、上記処理装置を用いて、上記第一の画素について上記画素評価算出部１１１が算出した評価値と、上記第二の画素について上記画素評価算出部１１１が算出した評価値とのうち、少なくともいずれか一方の評価値において、いずれかの隣接方向について、上記対象画素の輝度と上記いずれかの隣接方向に隣接する隣接画素の輝度とが等しいという比較結果である場合、上記いずれかの隣接方向については比較をせずに上記評価合致数を算出し、更に、比較をした隣接方向の数を算出して比較評価数とする。
上記合致合計算出部１３２は、更に、上記処理装置を用いて、上記評価合致算出部１３１が算出した複数の比較評価数の合計を算出し、算出した合計で、算出した合致合計数を割った商を、上記第一の範囲と上記第二の範囲との組についての合致率とする。
上記画像相関判定部１４０は、上記処理装置を用いて、上記第一の画像５０２内の対象範囲５０７と上記第二の画像５０３内の候補範囲５０９との組について上記合致合計算出部１３２が算出した合致率を上記合致合計数の代わりとして、上記候補範囲が上記対象範囲に対応するか否かを判定する。
【００４５】
この実施の形態における画像相関装置１００によれば、対象画素と隣接画素との輝度が等しい場合は、その隣接方向についての比較をせずに評価合致数を算出し、合致合計数に代えて合致率に基づいて対応を判定するので、最善の対応を判定することができる。
【００４６】
この実施の形態における画像相関装置１００において、上記評価合致算出部１３１は、上記処理装置を用いて、上記第一の画素について上記画素評価算出部１１１が算出した評価値と、上記第二の画素について上記画素評価算出部１１１が算出した評価値とのうち、少なくともいずれか一方の評価値において、いずれかの隣接方向について、上記対象画素の輝度と上記いずれかの隣接方向に隣接する隣接画素の輝度とが等しいという比較結果である場合、上記いずれかの隣接方向についての比較結果が一致するものとして、上記評価合致数を算出する。
【００４７】
この実施の形態における画像相関装置１００によれば、対象画素と隣接画素との輝度が等しい場合は、その隣接方向についての比較結果が一致するものとして、評価合致数を算出するので、偶然、隣接画素と輝度が等しかった画素を含む範囲について、合致合計数を少なく見積もってしまうのを防ぐことができ、最善の対応を判定することができる。
【００４８】
この実施の形態における画像相関装置１００において、上記評価合致算出部１３１は、上記処理装置を用いて、上記第一の画素について上記画素評価算出部１１１が算出した評価値と、上記第二の画素について上記画素評価算出部１１１が算出した評価値とのうち、いずれか一方の評価値において、いずれかの隣接方向について、上記対象画素の輝度と上記いずれかの隣接方向に隣接する隣接画素の輝度とが等しいという比較結果であり、かつ、他方の評価値において、上記対象画素の輝度と上記いずれかの隣接方向に隣接する隣接画素の輝度とが等しくないという比較結果である場合、上記評価合致数に、０超１未満の所定の数を加える。
【００４９】
この実施の形態における画像相関装置１００によれば、対象画素と隣接画素との輝度が等しい場合は、その隣接方向についての比較結果が一部合致するものとして、評価合致数を算出するので、偶然、隣接画素と輝度が等しかった画素を含む範囲について、最適な合致合計数を見積もることができ、最善の対応を判定することができる。
【００５０】
この実施の形態における画像相関装置１００は、コンピュータが上記画像相関装置１００として機能するコンピュータプログラムを、コンピュータが実行することにより実現することができる。
【００５１】
この実施の形態におけるコンピュータプログラムによれば、以上説明した効果を奏する画像相関装置１００を容易に実現することができる。
【００５２】
この実施の形態における画像相関装置１００が、複数の画素により構成される第一の画像５０２内の対象範囲５０７に、複数の画素により構成される第二の画像５０３内の上記対象範囲５０７と同一の形状の候補範囲５０９が対応するか否かを判定する画像相関方法は、以下の工程を有する。
上記処理装置が、上記対象範囲５０７及び上記候補範囲５０９内の画素それぞれを対象画素とし、複数の隣接方向それぞれについて、上記対象画素の輝度と、上記対象画素に対して上記隣接方向に隣接する隣接画素の輝度とを比較し、比較した複数の比較結果を、上記対象画素についての評価値とする。
上記処理装置が、上記対象範囲５０７内の第一の画素について算出した評価値と、上記候補範囲５０９内の上記第一の画素に対応する位置の第二の画素について算出した評価値とに基づいて、同一の隣接方向についての比較結果が一致する数を計数し、計数した数を、上記第一の画素についての評価合致数とする。
上記処理装置が、上記対象範囲５０７内の複数の画素について算出した複数の評価合致数の合計を算出し、算出した合計を合致合計数とする。
上記処理装置が、算出した合致合計数に基づいて、上記候補範囲５０９が上記対象範囲５０７に対応するか否かを判定する。
【００５３】
この実施の形態における画像相関方法によれば、隣接した画素間の相対的な輝度の関係に基づいて評価値を算出するので、例えば、画像全体の明るさが変わった場合などであっても、対象範囲５０７と候補範囲５０９との対応を判定することができる。
また、１つの画素について複数の評価値を算出して、評価合致数を算出し、対象範囲５０７内の各画素について算出した評価合致数を合計して合致合計数を算出するので、評価値が完全に一致しない場合であっても、対応を判定することができる。
【００５４】
短いフレーム間隔で連続して撮影される画像中から移動する目標を抽出する場合、撮影機材を搭載したプラットフォームの移動や動揺の影響により、フレーム間で撮影するポイントにずれが生じる可能性があり、このような入力画像をそのまま使用しては移動目標の正確な軌道を抽出することは困難であるため、入力画像に対してフレーム間で相関処理を行うことにより、フレーム間でなめらかに連続する画像を作成する。
以上説明した画像相関処理は、フレーム内の画素に対し、自画素と接する周辺８画素との画素値の大小関係を符号化した評価値を作成し、この評価値を使いフレーム間での画像の相関処理を行う。符号化の方式としては、自画素値よりも周辺画素値の方が大きい場合（自画素値＜周辺画素値）、自画素値が周辺画素値よりも大きい場合（自画素値＞周辺画素値）、自画素値と周辺画素値が同じ場合（自画素値＝周辺画素値）の三通りの符号を作成する。自画素と接する周辺８画素分の８個の符号を自画素の評価値として、フレーム間で画素の評価値を使った相関処理を行う。
【００５５】
フレーム内で隣接する画素間の画素値の大小関係を符号化し、評価値とすることで、フレーム内で同一の評価値を持つ領域を制限し、フレーム間での画素値の変動の影響を少なくすることで、フレーム間隔の長い画像間の目標領域へのマッチング率を向上させる。
【００５６】
以上説明した画像相関処理は、入力される画像に対し、画素Ａ（中心画素）を中心とする縦横の複数の画素数範囲（対象範囲）を設定し、この任意の画素数範囲内の全画素の評価値を算出しておき、相関処理を行う相手の画像内の評価値と合致率を探索する領域を設定する。前フレームで設定された相関範囲（対象範囲）内の評価値を、今フレーム画素の評価値と合致率を比較し、合致率が最も高いポイントを相関ポイントとする。
【００５７】
以上説明した画像相関処理において、合致率を算出する際に、自画素と周辺画素値が同じ場合（自画素値＝周辺画素値）に入力される符号である場合、次フレームで自画素値よりも周辺画素値が大きくなる（自画素値＜周辺画素値）か、自画素値が周辺画素値よりも大きくなる（自画素値＞周辺画素値）確率が高いため、合致率算出の対象とせずに合致率を比較する。
【００５８】
以上説明した画像相関処理は、符号が「自画素値＜周辺画素値」から「自画素値＞周辺画素値」、及び「自画素値＞周辺画素値」から「自画素値＜周辺画素値」へと変化した画素の変動画素値を算出し、評価値の変化率へ重み付けをすることで、画素値の変化量が大きい箇所と小さい箇所を判別する。
【００５９】
以上説明した画像相関処理によれば、短い間隔で連続撮影される画像が、撮影機器搭載プラットフォームの移動や動揺の影響により、フレーム間で撮影ポイント（範囲）にずれが生じた場合に、撮影されている画像内の背景画素を使った評価値を各画素に作成し、その評価値を使ったフレーム間の位置合わせをすることで、フレーム間でなめらかに推移する画像を作成し、移動目標の正確な軌道を抽出することができる。
また、目標の動きに合わせて画像の取得範囲を移動させた場合に、２フレーム間の画像の重なっている領域の位置合わせを精密に行うことで、連続した大きな画像を取得したと同等の効果が得られ、目標の連続した動きを把握することが可能となる。
【００６０】
まず、探索領域設定部（重なり範囲判定部１２１）は、探索領域（候補選択範囲）を画像内に設定する。探索領域は、フレーム間の位置合わせをする際に評価値の合致率を算出する画素を探索する範囲のことであり、最大で入力画像全体が探索領域となる。しかし、フレーム間のずれがある程度把握できている場合は、探索領域を絞ることで、処理時間の短縮が可能となる。
【００６１】
次に、探索領域内評価値算出部（画素評価算出部１１１）は、探索領域内の画素に対し、評価値を算出する。評価値の算出では、自画素と接する上下左右斜め全方位の周辺８画素との画素値を比較し、自画素値よりも周辺画素値の方が大きい場合（［自画素値］＜［周辺画素値］）の符号（例：「０」）、自画素値が周辺画素値よりも大きい場合（［自画素値］＞［周辺画素値］）の符号（例：「１」）、自画素値と周辺画素値が同じ場合（［自画素値］＝［周辺画素値］）の符号（例：「２」）といった数値を算出する。これらの処理を周辺８画素全てに対して実行し、３種類（例：「０」「１」「２」）８個の符号を、自画素から見て真上から時計回りに、右上・右・右下・下・左下・左・左上と、対応する画素との符号を順番に並べ、この８個の符号の並びを中心画素の評価値とする。この処理を探索領域内全ての画素に対して実行する。
【００６２】
次に、相関範囲設定部（対象範囲設定部１２２）は、相関範囲（対象範囲）を画像内に設定する。相関範囲は、フレーム間の位置合わせをする際に評価値の合致率を算出するテンプレートのことであり、最小で１画素が相関範囲となる。しかし、ある程度の大きさを持つ相関範囲を設定することで、評価値の数が増えることから、より高精度な位置合わせが可能となる。
【００６３】
次に、相関範囲内評価値算出部（画素評価算出部１１１）は、相関範囲の画素に対し、評価値を算出する。評価値の算出方法は「探索領域内評価値算出部」の説明で述べた方式と同じである。
【００６４】
次に、フレーム間評価値判定部（評価合致算出部１３１）は、フレーム間の評価値判定を実施する。評価値の判定では、探索領域内の全画素に対し、相関範囲と同じ画素数が確保できる範囲毎に評価値を比較する。
【００６５】
次に、フレーム間評価値合致率算出部（合致合計算出部１３２）は、フレーム間評価値の合致率を算出する。合致率の算出では、相関範囲内の全画素の評価値の全符号数に対して、探索領域内の画素の評価値と合致した符号数を確率で表示するものである。合致率の算出時は、自画素値と周辺画素値の値が同値である場合（「自画素値」＝「周辺画素値評価値」：符号「２」の場合）は、フレーム間の揺らぎ等の影響による画素値変動により、次フレームで符号が「０」もしくは「１」に変化する確率が高く、評価の対象とした場合、合致率が低下する可能性が高いため、評価の対象から外しておく（全符号数に同値画素数は入れない）。
【００６６】
次に、相関ポイント評価部（最大判定部１５１）は、相関ポイントの評価を実施する。相関ポイントの評価方法は、合致率算出処理終了後、合致率が最も高い画素を、相関範囲と探索領域の相関ポイントとし、テンプレート画像（時刻［ｔ−１］）と対応点探索画像（時刻［ｔ］）の画像相関処理を実施する。
【００６７】
以上説明した画像相関処理によれば、フレーム内での画素間の大小関係を符号化した評価値を作成し、フレーム間の相関ではこの評価値を使用することから、フレーム間での画像全体の画素値変動にも対応可能である。また、フレーム間の相関の割合を合致率という値で表示することから、相関の評価が容易となる。また、撮影するプラットフォームが移動し、撮影対象を撮影するポイントが徐々にずれた場合、合致率から判断して、完全な相関ポイントではなくても、最適な相関ポイントを抽出することが可能となる。
【００６８】
実施の形態２．
実施の形態２について、図１１〜図１３を用いて説明する。
なお、実施の形態１で説明した画像処理システム８００と共通する部分については、同一の符号を付し、説明を省略する。
【００６９】
図１１は、この実施の形態における画像相関装置１００の機能ブロックの構成の一例を示すブロック構成図である。
【００７０】
対象範囲設定部１２２は、ＣＰＵ９１１を用いて、二つ以上の対象範囲５０７を選択する。
【００７１】
画像相関判定部１４０は、閾値判定部１４２、対応範囲記憶部１４３、位置関係判定部１４４、画像相関生成部１４５を有する。
【００７２】
閾値判定部１４２は、ＣＰＵ９１１を用いて、合致合計記憶部１３３が記憶した合致合計数が、所定の閾値よりも大きい候補範囲５０９を、対象範囲５０７に対応すると判定する。例えば、画素評価算出部１１１が一つの画素について８つの評価値を算出し、対象範囲５０７が３×３＝９個の画素からなる場合、すべての評価値が合致した場合の合致合計数は、８×９＝７２である。合致率８０％以上を対象範囲５０７に対応すると判定する場合、閾値は、７２×０．８＝５７．６である。したがって、閾値判定部１４２は、合致合計数が「５８」以上である候補範囲５０９を、対象範囲５０７に対応すると判定する。閾値判定部１４２は、ＣＰＵ９１１を用いて、判定した判定結果を出力する。
閾値による判定方式の場合、一つの対象範囲に対して複数の候補範囲が対応すると判定される場合がある。したがって、閾値判定部１４２による判定結果は、最終的なものではなく、暫定的なものである。一つの対象範囲に対して複数の候補範囲が対応すると判定された場合は、そのなかから候補を絞り、最終的に、一つの対象範囲に対応する一つの候補範囲を判定する。
また、逆に、ある対象範囲に対して対応すると判定される候補範囲が一つもない場合もあり得る。その場合、その対象範囲５０７は、対象範囲設定部１２２が選択した対象範囲５０７から外し、残りの対象範囲５０７だけを用いて、以降の処理をする。あるいは、閾値を下げて、閾値判定部１４２がもう一度判定する構成としてもよい。
【００７３】
対応範囲記憶部１４３は、ＣＰＵ９１１を用いて、対象範囲設定部１２２が出力した対象範囲５０７と、閾値判定部１４２がその対象範囲５０７に対応すると判定した１以上の候補範囲５０９とを入力する。対応範囲記憶部１４３は、磁気ディスク装置９２０を用いて、入力した対象範囲５０７と候補範囲５０９とを対応づけて記憶する。
【００７４】
位置関係判定部１４４は、ＣＰＵ９１１を用いて、対応範囲記憶部１４３が記憶した対象範囲５０７と候補範囲５０９との対応関係を入力する。位置関係判定部１４４は、ＣＰＵ９１１を用いて、二つの対象範囲５０７の間の位置関係を算出する。位置関係判定部１４４は、ＣＰＵ９１１を用いて、位置関係を算出した二つの対象範囲５０７にそれぞれ対応する二つの候補範囲５０９の組それぞれについて、候補範囲５０９間の位置関係を算出する。位置関係判定部１４４は、ＣＰＵ９１１を用いて、算出した候補範囲５０９間の位置関係が、対象範囲５０７間の位置関係に最も近い組を構成する候補範囲５０９を、対象範囲５０７に対応すると判定する。位置関係判定部１４４は、ＣＰＵ９１１を用いて、判定した判定結果を出力する。
【００７５】
画像相関生成部１４５は、ＣＰＵ９１１を用いて、位置関係判定部１４４が判定した判定結果を入力し、入力した判定結果に基づいて、画像相関データ５３０を生成して、出力する。
【００７６】
図１２は、この実施の形態における対象範囲５０７と候補範囲５０９との関係の一例を示す図である。
例えば、対象範囲設定部１２２は、第一の画像５０２において、二つの対象範囲５０７ａ，５０７ｂを選択したとする。
閾値判定部１４２は、三つの候補範囲５０９ａ，５０９ｂ，５０９ｃが、対象範囲５０７ａに対応すると判定し、二つの候補範囲５０９ｄ，５０９ｅが、対象範囲５０７ｂに対応すると判定したとする。
位置関係判定部１４４は、候補範囲５０９ａと候補範囲５０９ｄ、候補範囲５０９ａと候補範囲５０９ｅ、候補範囲５０９ｂと候補範囲５０９ｄ、候補範囲５０９ｂと候補範囲５０９ｅ、候補範囲５０９ｃと候補範囲５０９ｄ、候補範囲５０９ｃと候補範囲５０９ｅという６通りの組み合わせについて、二つの候補範囲の間の位置関係を算出し、そのなかから、対象範囲５０７ａと対象範囲５０７ｂとの位置関係に最も近いものを探す。
例えば、位置関係判定部１４４は、ＣＰＵ９１１を用いて、対象範囲５０７ａが対象範囲５０７ｂに重なるように第一の画像５０２を画像５０２’へ移動させる移動量と同じ移動量だけ、第二の画像５０３を移動して画像５０３’とし、三つの候補範囲５０９ａ〜５０９ｃが移動する移動先５０９ａ’〜５０９ｃ’を算出する。位置関係判定部１４４は、ＣＰＵ９１１を用いて、三つの移動先５０９ａ’〜５０９ｃ’と、二つの候補範囲５０９ｄ〜５０９ｅとの間の距離を算出して、もっとも距離が近いものを判定することにより、位置関係が最も近いものを判定する。
この例では、移動先５０９ｂ’と候補範囲５０９ｄとの距離が最も近いので、位置関係判定部１４４は、候補範囲５０９ｂと候補範囲５０９ｄとの位置関係が、対象範囲５０７ａと対象範囲５０７ｂとの位置関係に最も近いと判定し、候補範囲５０９ｂが対象範囲５０７ａに対応し、候補範囲５０９ｄが対象範囲５０７ｂに対応すると判定する。
【００７７】
画像相関生成部１４５は、位置関係判定部１４４が判定した判定結果に基づいて、対象範囲５０７ａと候補範囲５０９ｂとが重なり、かつ、対象範囲５０７ｂと候補範囲５０９ｄとが重なるように、第一の画像５０２と第二の画像５０３を重ね合わせる場合の横方向の移動量５３１及び縦方向の移動量５３２及び回転量５３３をそれぞれ算出し、算出した移動量５３１，５３２及び回転量５３３を画像相関データ５３０とする。
【００７８】
図１３は、この実施の形態における対応範囲判定工程Ｓ６５０の流れの一例を示すフローチャート図である。
対応範囲判定工程Ｓ６５０は、対象位置関係算出工程Ｓ６５１、組選択工程Ｓ６５２、候補位置関係算出工程Ｓ６５３、位置関係評価値算出工程Ｓ６５４、組繰り返し工程Ｓ６５５、対応組判定工程Ｓ６５６を有する。
対象位置関係算出工程Ｓ６５１において、位置関係判定部１４４は、ＣＰＵ９１１を用いて、対象範囲設定工程Ｓ６２２で対象範囲設定部１２２が選択した複数の対象範囲５０７の間の位置関係を算出する。
組選択工程Ｓ６５２において、位置関係判定部１４４は、ＣＰＵ９１１を用いて、対応範囲記憶部１４３が記憶した対応関係に基づいて、対象範囲設定工程Ｓ６２２で対象範囲設定部１２２が選択した複数の対象範囲５０７それぞれに対応する１以上の候補範囲５０９のなかから候補範囲５０９を１つずつ選択した候補範囲５０９の組のなかから、候補範囲５０９の組を一つずつ順に選択する。
候補位置関係算出工程Ｓ６５３において、位置関係判定部１４４は、ＣＰＵ９１１を用いて、組選択工程Ｓ６５２で選択した候補範囲５０９の組について、候補範囲５０９の間の位置関係を算出する。
位置関係評価値算出工程Ｓ６５４において、位置関係判定部１４４は、ＣＰＵ９１１を用いて、対象位置関係算出工程Ｓ６５１で算出した対象範囲５０７間の位置関係と、候補位置関係算出工程Ｓ６５３で算出した候補範囲５０９間の位置関係との近さを表わす数値（以下「位置関係評価値」と呼ぶ。）を算出する。位置関係判定部１４４は、磁気ディスク装置９２０を用いて、算出した位置関係評価値を記憶する。位置関係評価値は、例えば、距離の差の二乗和であり、その場合、位置関係評価値が小さいほど、位置関係が近いことを表わす。
組繰り返し工程Ｓ６５５において、位置関係判定部１４４は、ＣＰＵ９１１を用いて、組選択工程Ｓ６５２で選択すべき候補範囲５０９の組をすべて選択したか否かを判定する。まだ選択していない候補範囲５０９の組があると判定した場合、位置関係判定部１４４は、ＣＰＵ９１１を用いて、組選択工程Ｓ６５２に戻り、次の組を選択する。すべての組を選択したと判定した場合、位置関係判定部１４４は、ＣＰＵ９１１を用いて、対応組判定工程Ｓ６５６へ進む。
【００７９】
対応組判定工程Ｓ６５６において、位置関係判定部１４４は、ＣＰＵ９１１を用いて、位置関係評価値算出工程Ｓ６５４で算出した位置関係評価値のなかから、最も位置関係が近いことを表わす位置関係評価値を判定する。位置関係判定部１４４は、ＣＰＵ９１１を用いて、判定した位置関係評価値が対応する候補範囲５０９の組に含まれる各候補範囲５０９を、各対象範囲５０７に対応すると判定する。
【００８０】
この実施の形態における画像相関装置１００において、上記画像相関判定部１４０は、上記処理装置を用いて、上記対象範囲５０７と上記候補範囲５０９との組について上記合致合計算出部１３２が算出した合致合計数を所定の閾値と比較して、合致合計数が上記所定の閾値より大きい場合に、上記候補範囲５０９が上記対象範囲５０７に対応すると判定する。
【００８１】
この実施の形態における画像相関装置１００によれば、閾値により、候補範囲５０９が対象範囲５０７に対応するかを判定するので、合致率が低い候補範囲５０９を対象範囲５０７に対応すると判定するのを防ぐことができ、また、合致率が高い候補範囲５０９が複数ある場合に、より柔軟に対応を判定することができる。
【００８２】
この実施の形態における画像相関装置１００において、上記画像相関判定部１４０は、上記処理装置を用いて、上記第一の画像５０２内の第一の対象範囲５０７ａに対応すると判定した候補範囲を第一の対応範囲（候補範囲５０９ａ〜５０９ｃ）とし、上記第一の画像５０２内の第二の対象範囲５０７ｂに対応すると判定した候補範囲を第二の対応範囲（候補範囲５０９ｄ〜５０９ｅ）とし、上記第一の対象範囲５０７ａと上記第二の対象範囲５０７ｂとの位置関係と、上記第一の対応範囲と上記第二の対応範囲との位置関係とに基づいて、判定した判定結果が正しいか否かを判定する。
【００８３】
この実施の形態における画像相関装置１００によれば、複数の対象範囲の位置関係と、その対象範囲に対応すると判定した候補範囲の位置関係とに基づいて、対応関係を判定するので、より高い精度で対応を判定することができる。また、第一の画像５０２と第二の画像５０３との関係が平行移動でないような場合であっても、対応を判定することができる。
【００８４】
この実施の形態における画像相関装置１００において、上記画像相関判定部１４０は、上記処理装置を用いて、上記第二の対象範囲５０７ｂに対応すると判定した第二の対応範囲が複数ある場合に、上記第一の対応範囲との位置関係が上記第一の対象範囲と上記第二の対象範囲との位置関係に近いほうの第二の対応範囲を、上記第二の対象範囲に対応すると判定する。
【００８５】
この実施の形態における画像相関装置１００によれば、位置関係が近いほうの第二の対応範囲を、第二の対象範囲５０７ｂに対応すると判定するので、より高い精度で対応を判定することができる。
【００８６】
なお、閾値判定部１４２が、対象範囲５０７に対応すると判定した候補範囲５０９が複数ある場合に候補範囲５０９を絞り込む方式として、位置関係に基づく方式以外の方式を用いる構成であってもよい。
例えば、画像相関判定部１４０は、対象範囲５０７内の全画素の輝度の平均値と、候補範囲５０９内の全画素の輝度の平均値との差を算出して、平均値の差が小さい候補範囲５０９を、対象範囲５０７と対応すると判定する構成であってもよい。
あるいは、画像相関判定部１４０は、更に、対象範囲５０７内の全画素の輝度の標準偏差と、候補範囲５０９内の全画素の輝度の標準偏差との差を算出して、平均値の差が所定の閾値より小さい候補範囲５０９のなかで、標準偏差の差が小さい候補範囲５０９を、対象範囲５０７と対応すると判定する構成であってもよい。
【００８７】
また、画像相関判定部１４０は、合致合計数（あるいは合致率）に、平均値の差や標準偏差の差に所定の重み付けをして合計して合致評価値を算出し、合致評価値を合致合計数を代わりに用いて、対応を判定する構成としてもよい。
【００８８】
以上説明した画像相関処理は、設定される相関範囲（対象範囲）をフレーム内に複数設定し、各々の合致率の高いポイントを合わせることで、位置合わせの精度を上げる。
【００８９】
以上説明した画像相関処理は、隣接する画素間の画素値の大小関係（「自画素値＜周辺画素値」、「自画素値＞周辺画素値」、「自画素値＝周辺画素値」）で示される符号以外に、相関範囲（対象範囲）内の全画素を使った「平均値」「標準偏差値」も評価に加えることで、さらに精度を上げる。
【００９０】
以上説明した画像相関処理は、テンプレート画像５０２（時刻［ｔ−１］の画像）に、相関範囲（対象範囲）を複数設定し、対応点探索を実施する画像５０３（時刻［ｔ］の画像）の探索範囲（候補選択範囲）との相関ポイントを複数探索する。テンプレート画像内の相関範囲の位置関係（配置）と、探索範囲内の相関ポイントの位置関係を合わせて評価することで、フレーム間の合致率を高めることができる。
【００９１】
実施の形態３．
実施の形態３について、図１４〜図１６を用いて説明する。
なお、実施の形態１で説明した画像処理システム８００と共通する部分については、同一の符号を付し、説明を省略する。
この実施の形態における画像相関装置１００は、第一の画像５０２と第二の画像５０３との相関を取るだけでなく、第一の画像５０２及び第二の画像５０３に写った移動目標を追尾する。
【００９２】
図１４は、この実施の形態における画像相関装置１００の機能ブロックの構成の一例を示すブロック構成図である。
画像相関装置１００は、実施の形態２で説明した構成に加えて、更に、移動目標追尾部１５０、移動目標記憶部１６１を有する。
【００９３】
移動目標記憶部１６１は、磁気ディスク装置９２０を用いて、一つ前の画像５０２において、移動目標が写っていた範囲（以下「移動目標範囲」と呼ぶ。）を記憶している。移動目標記憶部１６１は、後述する移動目標追尾部１５０が生成する移動目標データを、移動目標範囲を表わすデータとして記憶する構成であってもよいし、レーダーなど他のセンサが検知した情報に基づいて判定した結果を記憶する構成であってもよい。
【００９４】
対象範囲設定部１２２は、ＣＰＵ９１１を用いて、移動目標記憶部１６１が記憶した移動目標範囲を入力する。対象範囲設定部１２２は、ＣＰＵ９１１を用いて、第一の画像５０２と第二の画像５０３との相関を取るために選択する複数の対象範囲に加えて、移動目標を追尾するため、移動目標範囲に含まれる範囲を、更に、対象範囲（以下「移動目標対象範囲」と呼ぶ。）として選択する。
【００９５】
候補範囲選択部１２３は、ＣＰＵ９１１を用いて、対象範囲設定部１２２が選択した対象範囲に対応する可能性がある範囲を候補選択範囲とする点は既に説明したが、移動目標対象範囲に対しては、第二の画像５０３の全範囲を候補選択範囲とする。これは、移動目標の動き方が予測できないからである。なお、移動目標の移動方向や速度があらかじめわかっている場合、候補範囲選択部１２３は、ＣＰＵ９１１を用いて、第二の画像５０３のなかで移動目標が写る可能性がある範囲を特定し、候補選択範囲とする構成であってもよい。
【００９６】
画像相関判定部１４０は、ＣＰＵ９１１を用いて、対象範囲設定部１２２が選択した対象範囲について、対応する候補範囲５０９を判定する。
【００９７】
移動目標追尾部１５０は、第二の画像５０３において、移動目標が写っている位置を判定することにより、移動目標を追尾する。
移動目標追尾部１５０は、最大判定部１５１、移動目標生成部１５５を有する。
最大判定部１５１は、ＣＰＵ９１１を用いて、合致合計記憶部１３３が移動目標対象範囲について記憶した合致合計数のうちから、最大の合致合計数を判定し、対応する候補範囲５０９を、移動目標が写っている範囲であると判定する。
移動目標生成部１５５は、ＣＰＵ９１１を用いて、最大判定部１５１が判定した判定結果を入力する。移動目標生成部１５５は、ＣＰＵ９１１を用いて、入力した判定結果に基づいて、第二の画像５０３において移動目標が写っている位置を表わす移動目標データ５４０を生成する。移動目標生成部１５５は、ＣＰＵ９１１を用いて、生成した移動目標データ５４０を出力する。
【００９８】
図１５は、この実施の形態における対象範囲５０７と候補範囲５０９との関係の一例を示す図である。
例えば、対象範囲設定部１２２は、五つの対象範囲５０７ａ〜５０７ｅを選択し、そのうち対象範囲５０７ｅは、移動目標対象範囲であるものとする。
画像相関判定部１４０は、四つの対象範囲５０７ａ〜５０７ｄについて、対応する候補範囲５０９ａ〜５０９ｄを判定する。
また、移動目標追尾部１５０は、移動目標対象範囲５０７ｅについて、対応する候補範囲５０９ｅを判定する。
画像相関判定部１４０が判定した判定結果に基づいて、第一の画像５０２と第二の画像５０３とを重ね合わせることにより、移動目標追尾部１５０が判定した判定結果に基づいて、移動目標の移動方向・速度などを知ることができる。
【００９９】
なお、第一の画像５０２において移動目標が写っている位置があらかじめわかっていない場合であっても、対象範囲設定部１２２が選択した複数の対象範囲のうち、この例における対象範囲５０７ｅのように、対応する候補範囲との位置関係が他の対象範囲と明らかに異なる対象範囲がある場合には、その対象範囲が移動目標対象範囲であると判定することができる。
【０１００】
図１６は、この実施の形態における移動目標追尾処理の流れの一例を示すフローチャート図である。
移動目標追尾処理において、画像相関装置１００は、移動目標を追尾する。移動目標追尾処理は、移動目標対象範囲設定工程Ｓ７２２、候補範囲選択工程Ｓ７２４、画素選択工程Ｓ７３１、評価合致算出工程Ｓ７３２、画素繰り返し工程Ｓ７３３、合致合計算出工程Ｓ７３４、候補範囲繰り返し工程Ｓ７４１、対応範囲判定工程Ｓ７５０、移動目標生成工程Ｓ７６１を有する。
【０１０１】
移動目標対象範囲設定工程Ｓ７２２において、対象範囲設定部１２２は、ＣＰＵ９１１を用いて、移動目標記憶部１６１が記憶した移動目標範囲に基づいて、対象範囲を選択する。
候補範囲選択工程Ｓ７２４において、候補範囲選択部１２３は、ＣＰＵ９１１を用いて、移動目標対象範囲設定工程Ｓ７２２で対象範囲設定部１２２が選択した対象範囲に基づいて、候補選択範囲を特定し、特定した候補選択範囲のなかから、候補範囲５０９を一つずつ順に選択する。
【０１０２】
画素選択工程Ｓ７３１〜合致合計算出工程Ｓ７３４は、実施の形態１で説明した画素選択工程Ｓ６３１〜合致合計算出工程Ｓ６３４と同様である。
【０１０３】
候補範囲繰り返し工程Ｓ７４１において、候補範囲選択部１２３は、ＣＰＵ９１１を用いて、候補範囲選択工程Ｓ７２４で選択すべきすべての候補範囲５０９を選択したか否かを判定する。まだ選択していない候補範囲５０９があると判定した場合、候補範囲選択部１２３は、ＣＰＵ９１１を用いて、候補範囲選択工程Ｓ７２４に戻り、次の候補範囲５０９を選択する。すべての候補範囲５０９を選択したと判定した場合、候補範囲選択部１２３は、ＣＰＵ９１１を用いて、対応範囲判定工程Ｓ７５０へ進む。
【０１０４】
対応範囲判定工程Ｓ７５０において、最大判定部１５１は、ＣＰＵ９１１を用いて、合致合計算出工程Ｓ７３４で合致合計算出部１３２が算出した合致合計数のなかから、最大のものを判定し、判定した合致合計数が対応する候補範囲５０９に、移動目標が写っていると判定する。
移動目標生成工程Ｓ７６１において、移動目標生成部１５５は、ＣＰＵ９１１を用いて、対応範囲判定工程Ｓ７５０で最大判定部１５１が判定した判定結果に基づいて、移動目標データ５４０を生成する。
【０１０５】
この実施の形態における画像相関装置１００は、更に、移動目標追尾部１５０を有する。
上記移動目標追尾部１５０は、上記処理装置を用いて、上記第一の画像５０２内において移動目標が写っている移動目標範囲内の対象範囲（移動目標対象範囲）に対応すると上記画像相関判定部（最大判定部１５１）が判定した上記第二の画像５０３内の候補範囲の位置に、上記移動目標が写っていると判定する。
【０１０６】
この実施の形態における画像相関装置１００によれば、二つの画像の相関を取るだけでなく、二つの画像に写っている移動目標を追尾することができる。
【０１０７】
以上説明した画像相関処理は、フレーム間で移動する、ある領域の画素を持つ物体（移動目標）に対し、物体領域画素（移動目標範囲）内で評価値を作成し、次のフレーム内で同等の評価値を持つ領域を抽出することで、フレーム間で移動する物体の追尾が可能となる。
【０１０８】
以上説明した画像相関処理は、入力される画像のフレーム間で、複数画素で構成される領域を持つ目標（移動目標）が移動する場合、目標を構成する画素がある程度の領域（目標以外の背景画素と接していない画素が存在する程度。つまり、目標構成画素内のみで評価値符号が作成可能である場合）を保持しているならば、目標を構成する画素に対して評価値を作成し、フレーム間で同等の評価値を持つ領域を抽出することで、フレーム間で移動する目標の追尾が可能となる。
【符号の説明】
【０１０９】
１００  画像相関装置、１１１  画素評価算出部、１１２  画像評価記憶部、１２１  重なり範囲判定部、１２２  対象範囲設定部、１２３  候補範囲選択部、１３１  評価合致算出部、１３２  合致合計算出部、１３３  合致合計記憶部、１４０  画像相関判定部、１４１  最大判定部、１４２  閾値判定部、１４３  対応範囲記憶部、１４４  位置関係判定部、１４５  画像相関生成部、１５０  移動目標追尾部、１５１  最大判定部、１５５  移動目標生成部、１６１  移動目標記憶部、５０１，５０２，５０３  画像、５０５，５０６  重なり範囲、５０７  対象範囲、５０８  候補選択範囲、５０９  候補範囲、５１０  画像データ、５１１  輝度データ、５２０，５２１，５２２  撮影情報データ、５３０  画像相関データ、５３１，５３２  移動量、５３３  回転量、５４０  移動目標データ、５５１  対象画素、５５２  隣接画素、５６１，５６２，５６３  評価値、５７１，５７２  評価合致数、５８１，５８２  合致合計数、５８３  合致率、８００  画像処理システム、８１０  画像撮影装置、８２０  画像記憶装置、８３０  撮影情報記憶装置、９０１  表示装置、９０２  キーボード、９０３  マウス、９０４  ＦＤＤ、９０５  ＣＤＤ、９０６  プリンタ装置、９０７  スキャナ装置、９１０  システムユニット、９１１  ＣＰＵ、９１２  バス、９１３  ＲＯＭ、９１４  ＲＡＭ、９１５  通信装置、９２０  磁気ディスク装置、９２１  ＯＳ、９２２  ウィンドウシステム、９２３  プログラム群、９２４  ファイル群、９３１  電話器、９３２  ファクシミリ機、９４０  インターネット、９４１  ゲートウェイ、９４２  ＬＡＮ。
【図１】
2010205202.tif 000003
【図２】
2010205202.tif 000004
【図３】
2010205202.tif 000005
【図４】
2010205202.tif 000006
【図５】
2010205202.tif 000007
【図６】
2010205202.tif 000008
【図７】
2010205202.tif 000009
【図８】
2010205202.tif 000010
【図９】
2010205202.tif 000011
【図１０】
2010205202.tif 000012
【図１１】
2010205202.tif 000013
【図１２】
2010205202.tif 000014
【図１３】
2010205202.tif 000015
【図１４】
2010205202.tif 000016
【図１５】
2010205202.tif 000017
【図１６】
2010205202.tif 000018