(57)【要約】【課題】画像の幾何学的歪みを補正するための座標変換式を求める速度を向上させる。【解決手段】第１画像内の複数の第１基準点の中から選択される複数の第１選択基準点と、第２画像内の複数の第２基準点の中から選択される複数の第２選択基準点とに基づいて、第２画像の幾何学的歪みを補正すべく第２画像の座標を変換するための座標変換式を算出し、複数の第２選択基準点の座標を座標変換式によって変換した座標と、複数の第１選択基準点の座標との差を示す基準座標差を算出し、第１画像内の複数の第１確認点の座標と、第２画像内の複数の第２確認点の座標を座標変換式によって変換した座標との差を示す確認座標差を算出し、複数の第１選択基準点及び複数の第２選択基準点を繰り返し選択し直し、基準座標差及び確認座標差が所定値以下となる座標変換式に基づいて第２画像の幾何学的歪みを補正した補正画像を出力する。【選択図】図１５
2009075825.tif 000002
【特許請求の範囲】
【請求項１】
第１画像に対する第２画像の幾何学的歪みを補正する方法であって、
前記第１画像内において位置の基準となる複数の第１基準点の中から選択される複数の第１選択基準点と、前記第２画像内において前記複数の第１基準点の位置に対応する複数の第２基準点の中から選択される複数の第２選択基準点とに基づいて、前記第２画像の幾何学的歪みを補正すべく前記第２画像の座標を変換するための座標変換式を算出し、
前記複数の第２選択基準点の座標を前記座標変換式によって変換した座標と、前記複数の第１選択基準点の座標との差を示す基準座標差を算出し、
前記第１画像内において前記座標変換式による座標変換の精度を確認するための複数の第１確認点の座標と、前記第２画像内において前記複数の第１確認点の位置に対応する複数の第２確認点の座標を前記座標変換式によって変換した座標との差を示す確認座標差を算出し、
前記複数の第１選択基準点及び前記複数の第２選択基準点を繰り返し選択し直し、
前記基準座標差及び前記確認座標差が所定値以下となる前記座標変換式に基づいて、前記第２画像の幾何学的歪みを補正した補正画像を出力すること、
を特徴とする画像幾何学的歪補正方法。
【請求項２】
請求項１に記載の画像幾何学的歪補正方法であって、
前記複数の第１選択基準点及び前記複数の第２選択基準点の組合せを複数生成し、
前記複数の第１選択基準点及び前記複数の第２選択基準点の組合せの夫々について、前記基準座標差及び前記確認座標差を算出し、
前記基準座標差及び前記確認座標差がともに小さくなるように、前記複数の第１選択基準点及び前記複数の第２選択基準点の組合せを遺伝的アルゴリズムに基づいて繰り返し生成すること、
を特徴とする画像幾何学的歪補正方法。
【請求項３】
請求項２に記載の画像幾何学的歪補正方法であって、
前記補正画像内の複数の点の座標を前記座標変換式に基づいて逆変換して得られる座標と、前記補正画像内の複数の点の座標を、前記第２画像の幾何学的歪みを補正する所定の座標変換式に基づいて逆変換して得られる座標との差を示す変換差を出力すること、
を特徴とする画像幾何学的歪補正方法。
【請求項４】
請求項１〜３の何れか一項に記載の画像幾何学的歪補正方法であって、
前記複数の第２選択基準点の座標を前記座標変換式によって変換した座標と、前記複数の第１選択基準点の座標とを結ぶ基準座標差ベクトルと、前記第１画像内において前記座標変換式による座標変換の精度を確認するための複数の第１確認点の座標と、前記第２画像内において前記複数の第１確認点の位置に対応する複数の第２確認点の座標を前記座標変換式によって変換した座標とを結ぶ確認座標差ベクトルとを出力すること、
を特徴とする画像幾何学的歪補正方法。
【請求項５】
第１画像に対する第２画像の幾何学的歪みを補正する方法であって、
前記第１画像内において位置の基準となる複数の第１基準点の中から選択される複数の第１選択基準点の座標と、前記第２画像内において前記複数の第１基準点の位置に対応する複数の第２基準点の中から選択される複数の第２選択基準点の座標を任意の座標変換式によって変換した座標との差を示す基準座標差を算出し、
前記第１画像内において前記座標変換式による座標変換の精度を確認するための複数の第１確認点の座標と、前記第２画像内において前記複数の第１確認点の位置に対応する複数の第２確認点の座標を前記座標変換式によって変換した座標との差を示す確認座標差を算出し、
前記複数の第１選択基準点及び前記複数の第２選択基準点の再選択と前記座標変換式の変更を繰り返し行い、
前記基準座標差及び前記確認座標差が所定値以下となった前記座標変換式に基づいて、前記第２画像の幾何学的歪みを補正して出力すること、
を特徴とする画像幾何学的歪補正方法。
【請求項６】
請求項５に記載の画像幾何学的歪補正方法であって、
前記複数の第１選択基準点、前記複数の第２選択基準点、及び前記座標変換式の組合せを複数生成し、
前記複数の第１選択基準点、前記複数の第２選択基準点、及び前記座標変換式の組合せの夫々について、前記基準座標差及び前記確認座標差を算出し、
前記基準座標差及び前記確認座標差がともに小さくなるように、前記複数の第１選択基準点、前記複数の第２選択基準点、及び前記座標変換式の組合せを遺伝的アルゴリズムに基づいて繰り返し生成すること、
を特徴とする画像幾何学的歪補正方法。
【請求項７】
コンピュータに、
第１画像内において位置の基準となる複数の第１基準点の中から選択される複数の第１選択基準点と、前記第１画像に対する幾何学的歪みを有する第２画像内において前記複数の第１基準点の位置に対応する複数の第２基準点の中から選択される複数の第２選択基準点とに基づいて、前記第２画像の幾何学的歪みを補正すべく前記第２画像の座標を変換するための座標変換式を算出する手順と、
前記複数の第２選択基準点の座標を前記座標変換式によって変換した座標と、前記複数の第１選択基準点の座標との差を示す基準座標差を算出する手順と、
前記第１画像内において前記座標変換式による座標変換の精度を確認するための複数の第１確認点の座標と、前記第２画像内において前記複数の第１確認点の位置に対応する複数の第２確認点の座標を前記座標変換式によって変換した座標との差を示す確認座標差を算出する手順と、
前記複数の第１選択基準点及び前記複数の第２選択基準点を繰り返し選択し直す手順と、
前記基準座標差及び前記確認座標差が所定値以下となる前記座標変換式に基づいて、前記第２画像の幾何学的歪みを補正した補正画像を出力する手順と、
を実行させるためのプログラム。
【請求項８】
第１画像に対する第２画像の幾何学的歪みを補正する画像幾何学的歪補正装置であって、
前記第１画像内において位置の基準となる複数の第１基準点の中から選択される複数の第１選択基準点と、前記第２画像内において前記複数の第１基準点の位置に対応する複数の第２基準点の中から選択される複数の第２選択基準点とに基づいて、前記第２画像の幾何学的歪みを補正すべく前記第２画像の座標を変換するための座標変換式を算出する変換式算出部と、
前記複数の第２選択基準点の座標を前記座標変換式によって変換した座標と、前記複数の第１選択基準点の座標との差を示す基準座標差と、前記第１画像内において前記座標変換式による座標変換の精度を確認するための複数の第１確認点の座標と、前記第２画像内において前記複数の第１確認点の位置に対応する複数の第２確認点の座標を前記座標変換式によって変換した座標との差を示す確認座標差とを算出する座標差算出部と、
前記複数の第１選択基準点及び前記複数の第２選択基準点を繰り返し選択し直す基準点選択部と、
前記基準座標差及び前記確認座標差が所定値以下となる前記座標変換式に基づいて、前記第２画像の幾何学的歪みを補正した補正画像を出力する補正画像出力部と、
を備えることを特徴とする画像幾何学的歪補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像幾何学的歪補正方法、プログラム、及び画像幾何学的歪補正装置に関する。
【背景技術】
【０００２】
イメージスキャナやカメラ等のセンサによって取得された画像は、幾何学的歪みを有していることが多い。幾何学的歪みには、レンズの歪曲収差や検知素子の配置ずれ等、センサに起因する内部的歪みと、地球の曲率や地形の起伏等、対象物に起因する外部的歪みがある。そして、センサによって取得された画像の用途によっては、この幾何学的歪みを高精度に補正することが重要となる。
【０００３】
例えば、衛星で取得された観測画像を地図画像に重ね合わせる場合であれば、地図画像を基準として、観測画像の歪みを補正することが行われる。地図画像を基準として観測画像の歪みを補正する場合、まず、観測画像上の複数の点を画像基準点として選定するとともに、画像基準点に対応する位置にある地図画像上の点を地上基準点として選定する。そして、画像基準点の座標と、地上基準点の座標とに基づいて、地図画像に対する幾何学的歪みが補正されるように観測画像の座標を変換するための座標変換式が求められる（例えば特許文献１）。
【０００４】
ここで、幾何学的歪みを高精度に補正するためには、画像基準点及び地上基準点の組合せである基準点セットを観測画像及び地図画像の全体にわたって満遍なく選定する必要がある。基準点セットの選定後、画像基準点の座標と地上基準点の座標との関係から、例えば最小二乗法を用いて座標変換式が算出される。そして、算出された座標変換式によって画像基準点を変換した座標と地上基準点の座標との差が所定値（例えば１画素）より大きい基準点セットを除外し、残りの基準点セットで座標変換式を再度算出する処理を繰り返すことによって、補正精度を高めることが行われる。
【特許文献１】特開２００４−１７１４１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、補正精度を高めるために基準点セットを除外していくと、基準点セットの数が少なくなるとともに、画像上における基準点の位置にばらつきが生じてしまう。そのため、最終的に残った基準点セットの周囲の補正精度は高まるものの、画像全体の補正精度が悪くなってしまう場合がある。したがって、画像全体の補正精度が悪い場合には、基準点セットを人手によって選定し直し、座標変換式を再算出する処理を繰り返す必要があり、補正精度の高い座標変換式を得られるまでの時間が長くなることが多い。
【０００６】
本発明は上記課題を鑑みてなされたものであり、画像の幾何学的歪みを補正するための座標変換式を求める速度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の画像幾何学的歪補正方法は、第１画像に対する第２画像の幾何学的歪みを補正する方法であって、前記第１画像内において位置の基準となる複数の第１基準点の中から選択される複数の第１選択基準点と、前記第２画像内において前記複数の第１基準点の位置に対応する複数の第２基準点の中から選択される複数の第２選択基準点とに基づいて、前記第２画像の幾何学的歪みを補正すべく前記第２画像の座標を変換するための座標変換式を算出し、前記複数の第２選択基準点の座標を前記座標変換式によって変換した座標と、前記複数の第１選択基準点の座標との差を示す基準座標差を算出し、前記第１画像内において前記座標変換式による座標変換の精度を確認するための複数の第１確認点の座標と、前記第２画像内において前記複数の第１確認点の位置に対応する複数の第２確認点の座標を前記座標変換式によって変換した座標との差を示す確認座標差を算出し、前記複数の第１選択基準点及び前記複数の第２選択基準点を繰り返し選択し直し、前記基準座標差及び前記確認座標差が所定値以下となる前記座標変換式に基づいて、前記第２画像の幾何学的歪みを補正した補正画像を出力することとする。
【発明の効果】
【０００８】
画像の幾何学的歪みを補正するための座標変換式を求める速度を向上させることができる。
【発明を実施するための最良の形態】
【０００９】
＝＝システム構成＝＝
本発明の一実施形態である画像補正システムの構成例について説明する。図１に示すように、画像補正システムは、クライアント１０及び画像補正装置２０（画像幾何学的補正装置）を含んで構成されている。そして、クライアント１０及び画像補正装置２０は、ネットワーク３０を介して通信可能に接続されている。
【００１０】
クライアント１０は、例えば、パーソナルコンピュータや携帯情報端末、携帯電話機等の情報処理装置である。クライアント１０は、例えば衛星画像等の幾何学的歪みを有する補正対象画像をネットワーク３０経由で画像補正装置２０に送信する。そして、クライアント１０は、画像補正装置２０で補正され、ネットワーク３０を介して送信されてくる補正後の画像等を表示する。
【００１１】
画像補正装置２０は、例えば、ＰＣサーバやワークステーション等の情報処理装置である。画像補正装置２０は、クライアント１０から送信されてくる補正対象画像（第２画像）を、地図画像等の基準画像（第１画像）を基準として補正するための座標変換式を算出し、算出した座標変換式で補正した画像や補正精度に関する情報等をネットワーク３０経由でクライアント１０に送信する。
【００１２】
ネットワーク３０は、例えば、インターネットやＬＡＮ（Local Area Network）等であり、クライアント１０と画像補正装置２０とを通信可能に接続する。なお、ネットワーク３０は、有線とすることもできるし、無線とすることもできる。
【００１３】
本実施形態では、図２に示すように、補正対象画像の全体にわたって複数の画像基準点（ＩＣＰ：Image Control Point）が選定されるとともに、基準画像において画像基準点に対応する位置にある複数の地上基準点（ＧＣＰ：Ground Control Point）が選定される。本実施形態では、画像基準点（第２基準点）及び地上基準点（第１基準点）の一対の組のことを基準点セットと称することとする。また、図３に示すように、補正対象画像及び基準画像を複数のブロック（例えば９ブロック）に分割し、補正対象画像の各ブロックで画像チェックポイント（ＩＰ：Image check Point）が選定されるとともに、基準画像において画像チェックポイントに対応する位置にある複数の地上チェックポイント（ＧＰ：Ground check Point）が選定される。本実施形態では、画像チェックポイント（第２確認点）及び地上チェックポイント（第１確認点）の一対の組のことをチェックポイントセットと称することとする。
【００１４】
そして、本実施形態の画像補正システムでは、複数の基準点セットの中から選択される基準点セットにおける座標の対応関係に基づいて、補正対象画像の座標を変換するための座標変換式が算出される。そして、算出された座標変換式による基準点セットの残差とチェックポイントセットの残差とがともに小さくなるまで基準点セットの選択が繰り返し行われることによって、補正精度の高い座標変換式を得ることができる。なお、残差とは、画像基準点または画像チェックポイントの座標を座標変換式で変換した座標と、地上基準点または地上チェックポイントの座標との位置の差を示す指標である。
【００１５】
クライアント１０の構成について説明する。図４に示すように、クライアント１０は、ＣＰＵ（Central Processing Unit）４０、メモリ４１、記憶装置４２、表示インタフェース（Ｉ／Ｆ）４３、入力インタフェース（Ｉ／Ｆ）４４、通信インタフェース（Ｉ／Ｆ）４５、及び記録媒体読取装置４６を含んで構成されている。
【００１６】
ＣＰＵ４０は、メモリ４１に格納されたプログラムを実行することにより、クライアント１０を統括制御し、クライアント１０における様々な機能を実現する。メモリ４１は、例えばＲＡＭ（Random Access Memory）等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置４２は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。表示インタフェース４３は、ディスプレイ等の表示装置５０に画像を表示させるためのビデオカード等のインタフェース装置である。入力インタフェース４４は、キーボードやマウス、各種デジタル機器等の入力装置５１からデータを入力するためのＵＳＢ（Universal Serial Bus）やＰＳ／２（Personal System/2）等のインタフェース装置である。通信インタフェース４５は、ネットワーク３０を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置４６は、ＣＤ−ＲＯＭやメモリカード等の記録媒体５２に格納されたプログラムや各種データを読み取るためのＣＤ−ＲＯＭドライブやメモリカードインタフェース等のインタフェース装置である。
【００１７】
なお、クライアント１０では、補正対象画像を、例えば、記録媒体５２から読み取り、記憶装置４２に格納することができる。また、例えば、ネットワーク３０を介して他の情報処理装置から補正対象画像を取得することもできる。また、イメージスキャナやデジタルカメラ等を入力装置５１として補正対象画像を取得することもできる。
【００１８】
次に、画像補正装置２０の構成について説明する。図５に、画像補正装置２０のハードウェア構成例を示す。画像補正装置２０は、ＣＰＵ６０、メモリ６１、記憶装置６２、通信インタフェース６３、及び記録媒体読取装置６４を含んで構成されている。
【００１９】
ＣＰＵ６０は、メモリ６１に格納されたプログラムを実行することにより、画像補正装置２０を統括制御し、画像補正装置２０における様々な機能を実現する。メモリ６１は、例えばＲＡＭ等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置６２は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。通信インタフェース６３は、ネットワーク３０を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置６４は、ＣＤ−ＲＯＭやメモリカード等の記録媒体６５に格納されたプログラムや各種データを読み取るためのＣＤ−ＲＯＭドライブやメモリカードインタフェース等のインタフェース装置である。
【００２０】
図６に示すように、画像補正装置２０は、変換式算出部７０、座標差算出部７２、基準点選択部７４、及び補正画像出力部７６を含んで構成されている。これらの機能ブロック７０，７２，７４，７６は、ＣＰＵ６０がメモリ６１に格納されたプログラムを実行することにより実現される。
【００２１】
変換式算出部７０は、複数の基準点セットの中から選択された基準点セットにおける座標の対応関係に基づいて、座標変換式を算出する。座標変換の方式としては、アフィン変換やヘルマート変換、二次射影変換等、あらゆる方式を採用可能である。ここで、選択された画像基準点の座標を（ｘｉ，ｙｉ）、画像基準点の変換後の座標を（ｕｉ’，ｖｉ’）、座標変換式をｆ，ｇとすると、ｕｉ’＝ｆ（ｘｉ，ｙｉ）、ｖｉ’＝ｇ（ｘｉ，ｙｉ）となる。そして、画像基準点（ｘｉ，ｙｉ）に対応する地上基準点の座標を（ｕｉ，ｖｉ）とすると、変換式算出部７０は、残差Ｗｘｉ＝ｕｉ−ｕｉ’及び残差Ｗｙｉ＝ｖｉ−ｖｉ’の二乗和Ｑ＝Σ（Ｗｘｉ＋Ｗｙｉ）が最小になる座標変換式ｆ，ｇを最小二乗法によって算出する。なお、アフィン変換の場合、ｆ＝ａｘｉ＋ｂｙｉ＋ｃ，ｇ＝ｄｘｉ＋ｅｙｉ＋ｆと表すことができる。
【００２２】
座標差算出部７２は、変換式算出部７０によって算出された座標変換式による座標変換精度を示す座標差を算出する。本実施形態では、座標差を算出するために、次式（１）によって示されるＲＭＳ（Root Mean Square）誤差が用いられる。
【数１】
2009075825.tif 000003
【００２３】
ここで、ｍ＝１はカラム方向（南北方向）、ｍ＝２はライン方向（東西方向）、Ｕｉｍは画像基準点を座標変換式で変換した座標値、Ｖｉｍは地上基準点の座標値、ｎは選択された基準点セットの数を表している。そして、座標差算出部７２は、カラム方向及びライン方向の両方向を考慮した次式（２）によって示される閉合差Ｅを、座標差（基準座標差）として算出する。
【数２】
2009075825.tif 000004
【００２４】
さらに、座標差算出部７２は、画像チェックポイントを座標変換式で変換した座標値と、地上チェックポイントの座標値とのＲＭＳ誤差に基づく閉合差Ｅ’を、座標差（確認座標差）として同様に算出する。そして、座標差算出部７２は、閉合差Ｅ，Ｅ’を同時に評価するための指標として、適応度Ｆ＝１／（Ｅ・Ｅ’）を算出する。すなわち、閉合差Ｅ，Ｅ’は、座標変換精度が高くなるに伴って小さくなるため、基準点セットにおける座標変換精度及びチェックポイントセットにおける座標変換精度がともに高くなるにしたがって、適応度Ｆは大きくなる。
【００２５】
また、座標差算出部７２は、画像全体での画像変換精度を視覚的に表すものとして、選択された画像基準点の座標を座標変換式で変換した座標と、地上基準点の座標とを結ぶ残差ベクトル図（基準座標差ベクトル）を出力する。同様に、座標差算出部７２は、画像チェックポイントの座標を座標変換式で変換した座標と、地上チェックポイントの座標とを結ぶ残差ベクトル図（確認座標差ベクトル）を出力する。
【００２６】
基準点選択部７４は、複数の基準点セットの中から、座標変換式を算出する際に用いる複数の基準点セット、すなわち、画像基準点（第２選択基準点）及び地上基準点（第１選択基準点）を選択する。例えば、最初に人手によって選定された基準点セットの数が２７個であるとすると、基準点セットの選択／非選択は、図７に示すように２７ビットのビット列によって表すことができる。このビット列は遺伝的アルゴリズムにおける個体（解候補）であり、１ビットが１つの基準点セットに相当し、例えば“１”であれば選択、“０”であれば非選択とすることができる。基準点選択部７４は、初期処理として、例えば、２７ビットの乱数を１００回発生させることにより、１００個の個体を生成することができる。そして、基準点選択部７４は、生成された個体によって得られる適応度Ｆを大きくするように、遺伝的アルゴリズムに基づいて個体の淘汰・生成を繰り返し行う。
【００２７】
補正画像出力部７６は、決定された座標変換式に基づいて、補正対象画像の幾何学的歪みを補正した補正画像を出力する。また、補正画像出力部７６は、補正画像の全体にわたって、補正画像を生成した座標変換式で補正画像を逆変換した座標と、補正対象画像を補正するための所定の座標変換式で補正画像を逆変換した座標との相対誤差を示す画像を出力する。ここで、所定の座標変換式とは、例えば、画像基準点を変換した座標と地上基準点の座標との差が所定値（例えば１画素）より大きい基準点セットを除外し、残りの基準点セットで座標変換式を再度算出する処理を繰り返す一般的な手法により得られたものである。
【００２８】
＝＝画面説明＝＝
次に、クライアント１０に表示される画面について説明する。図８に例示される画像補正画面８０は、補正対象画像や画像を補正する際の条件等を入力し、補正画像の生成を画像補正装置２０に指示するための画面である。画像補正画面８０は、例えば、クライアント１０がＷｅｂブラウザ等から画像補正装置２０の所定のＵＲＬ（Uniform Resource Locator）を参照することによって画像補正装置２０から送信されてくるＨＴＭＬ（Hyper Markup Text Language）等により実現される。なお、画像補正装置２０にアクセスせずに、クライアント１０内部のプログラムによって画像補正画面８０が起動されることとしてもよい。
【００２９】
基準点セット入力指定エリア８２には、予め選定された例えば２７組の基準点セットに関する情報が記録されたデータの格納先（ファイルパス名等）が入力される。チェックポイントセット入力指定エリア８４には、予め選定された例えば９組のチェックポイントセットに関する情報が記録されたデータの格納先が入力される。補正対象画像入力指定エリア８６には、補正対象画像の格納先が入力される。
【００３０】
座標変換方式指定リスト８８では、アフィン変換やヘルマート変換、二次射影変換等、座標変換の方式が選択される。内挿処理方式指定リスト９０では、最近隣内挿法や共一次内挿法、三次畳み込み内挿法等、補正画像生成時の内挿処理の方式が選択される。このように、画像補正画面８０では、補正対象画面の特徴等に応じて、適切な座標変換方式及び内挿処理方式を選択することができる。
【００３１】
補正画像出力指定エリア９２には、補正対象画像を補正して得られる補正画像の出力先（ファイルパス名等）が入力される。残差ベクトル図の基準点セット出力指定エリア９４には、基準点セットの残差ベクトル図の出力先が入力される。残差ベクトル図のチェックポイントセット出力指定エリア９６には、チェックポイントセットの残差ベクトル図の出力先が入力される。補正精度出力指定エリア９８には、座標変換式による画像補正の精度を示す情報が記録されたデータの出力先が入力される。
【００３２】
実行ボタン１００が押下されると、画像補正画面８０で入力または選択された情報が画像補正装置２０に送信され、指定された基準点セット及びチェックポイントセットを用いて座標変換式を決定するための処理が実行される。そして、補正画像や残差ベクトル図等の各種データが生成されると、確認ボタン１０２，１０４，１０６，１０８、及び、相対誤差画像の作成ボタン１１０を押下可能となる。
【００３３】
確認ボタン１０２を押下すると、図９に例示する補正画像が表示される。確認ボタン１０４を押下すると、図１０に例示する最終的に選択された基準点セットにおける残差ベクトル図が表示される。確認ボタン１０６を押下すると、図１１に例示するチェックポイントセットにおける残差ベクトル図が表示される。確認ボタン１０８を押下すると、図１２に例示する補正精度を示す情報が表示される。補正精度を示す情報には、決定された座標変換式の係数に関する情報に加えて、最終的に選択された基準点セットの番号や座標値、残差、ＲＭＳ誤差、閉合差等の補正精度に関する情報が含まれる。
【００３４】
相対誤差画像の作成ボタン１１０を押下すると、図１３に例示する相対誤差画像生成画面１２０に遷移する。座標変換係数を指定するための係数入力指定エリア１２２には、本システムによって決定された座標変換式の係数に関する情報が記録されたデータの格納先が指定される。なお、図１２に例示した情報が記録されたデータを、本システムによって決定された座標変換式の係数に関するデータとして用いることとしてもよい。また、座標変換係数を指定するための係数入力指定エリア１２４には、例えば、画像基準点を変換した座標と地上基準点の座標との差が所定値（例えば１画素）より大きい基準点セットを除外し、残りの基準点セットで座標変換式を再度算出する処理を繰り返す一般的な手法により得られた座標変換式の係数に関する情報が記録されたデータの格納先が指定される。相対誤差画像の出力指定エリア１２６には、相対誤差画像の出力先が入力される。実行ボタン１２８が押下されると、相対誤差画像生成画面１２０で入力された情報が画像補正装置２０に送信されて相対誤差画像の作成処理が開始されるとともに、画像補正画面８０に遷移する。そして、相対誤差画像の作成が完了すると確認ボタン１１２を押下可能となり、確認ボタン１１２を押下すると、図１４に例示する相対誤差画像が表示される。
【００３５】
相対誤差画像は、補正画像の座標（ｕ，ｖ）を、本システムによって決定された座標変換式で逆変換して得られる座標（ｘ１，ｙ１）と、所定の座標変換式で逆変換して得られる座標（ｘ２，ｙ２）との相対誤差Ｚを次式（３）に基づいて算出し、図に表したものである。
【数３】
2009075825.tif 000005
【００３６】
例えば、本システムによって決定された座標変換式を次式（４）、所定の座標変換式を次式（５）とする。
【数４】
2009075825.tif 000006
【００３７】
この場合、座標（ｘ１，ｙ１）及び座標（ｘ２，ｙ２）は次式（６），（７）により得ることができる。
【数５】
2009075825.tif 000007
【００３８】
そして、式（６），（７）より、次式（８）が導かれる。
【数６】
2009075825.tif 000008
【００３９】
さらに、式（８）に式（４）を代入することにより、次式（９）が得られる。
【数７】
2009075825.tif 000009
【００４０】
この式（９）に基づいて（ｘ１−ｘ２）及び（ｙ１−ｙ２）が算出され、式（３）に示した相対誤差を求めることができる。そして、この相対誤差Ｚを、補正画像の全体に渡って求めることにより、図１４に例示した相対誤差画像を得ることができる。
【００４１】
＝＝処理説明＝＝
次に、画像補正システムにおける処理の流れについて説明する。図１５に示すように、まず、例えば２７組の基準点セット及び例えば９組のチェックポイントセットが選定される（Ｓ１０１）。選定された基準点セット及びチェックポイントセットに関する情報は、クライアント１０から画像補正装置２０に対して、画像補正画面８０をインタフェースとして送信される。画像補正装置２０の基準点選択部７４は、クライアント１０から受信した基準点セットの情報に基づいて、図７に例示したように、座標変換式を算出するために用いる基準点セットを選択するための初期個体（解候補）を例えば２７ビットの乱数を発生させることによって生成する（Ｓ１０２）。画像補正装置２０の変換式算出部７０は、生成された初期個体によって選択される基準点セットを用いて、画像補正画面８０で指定された座標変換方式における座標変換式を算出する（Ｓ１０３）。画像補正装置２０の座標差算出部７２は、算出された座標変換式に基づいて、選択された基準点セットにおける閉合差Ｅと、チェックポイントセットにおける閉合差Ｅ’を算出し、適応度Ｆを求める（Ｓ１０４）。そして、個体数が所定個数Ｍｎ（例えば１００）となるまで、処理（Ｓ１０２〜Ｓ１０４）が繰り返し実行される。
【００４２】
所定個数の個体における適応度の計算が完了すると（Ｓ１０５：Ｙ）、基準点選択部７４は、適応度の高い順に個体をソートし（Ｓ１０６）、閉合差Ｅ，Ｅ’がともに所定の基準値（本実施形態では１．０）以下であるか、または、適応度Ｆの変化量が収束しているかという座標変換式の決定条件を満たしているかどうかを確認する（Ｓ１０７）。
【００４３】
座標変換式の決定条件が満たされていない場合（Ｓ１０７：Ｎ）、基準点選択部７４は、Ｍｎ個の個体のうち、例えば適応度が下位３０％にある個体を淘汰する（Ｓ１０８）。なお、淘汰とは、遺伝的アルゴリズムにおける処理であり、対象の個体を解候補から除外することである。そして、基準点選択部７４は、淘汰されずに残った個体の中から、例えば乱数を発生させることによって、交叉対象とする個体を例えば２つ選定し（Ｓ１０９）、選定された個体を用いて交叉によって新しい個体を生成する（Ｓ１１０）。なお、交叉とは、遺伝的アルゴリズムにおける処理であり、複数の個体を組み合わせて新しい個体を生成することである。例えば各個体が２７ビットのビット列であり、一点交叉によって新しい個体を生成する場合であれば、例えば乱数によって個体を分割するビット位置を決定し、選定された２つの個体を決定されたビット位置で分割して相互に入れ替えることによって、２つの新しい個体を生成することができる。そして、個体数が所定個数Ｍｎ個となるまで、交叉による新しい個体の生成が繰り返される（Ｓ１０９〜Ｓ１１１）。
【００４４】
個体数が所定個数Ｍｎ個になると（Ｓ１１１：Ｙ）、基準点選択部７４は、遺伝的アルゴリズムにおける世代数が、突然変異を発生させるための所定の世代数であるかどうか確認する（Ｓ１１２）。突然変異を発生させる世代である場合（Ｓ１１２：Ｙ）、基準点選択部７４は、所定個数Ｍｎ個の個体に突然変異を発生させる（Ｓ１１３）。なお、突然変異とは、遺伝的アルゴリズムにおける処理であり、Ｍｎ個の個体の複数の箇所（ビット）を不規則に変更することである。例えば、Ｍｎ個の個体の複数の箇所を乱数に基づいて選択し、選択された箇所のデータを０から１または１から０に変更することにより、突然変異を実現することができる。その後、世代数に１が加算され（Ｓ１１４）、新しい世代のＭｎ個の個体に対して、前述の処理（Ｓ１０４〜Ｓ１１３）が繰り返し実行される。
【００４５】
遺伝的アルゴリズムに基づく処理が繰り返されるうちに、座標変換式の決定条件が満たされると（Ｓ１０７：Ｙ）、座標差算出部７２は、最終的に残っている個体の中から、適応度が最大の個体を抽出し（Ｓ１１５）、抽出された個体によって算出される座標変換式を、画像を補正するための座標変換式として決定するとともに、図１２に例示した補正精度に関する情報を出力する。そして、補正画像出力部７６は、決定された座標変換式に基づいて補正対象画像に対して再配列及び内挿を施すことにより、幾何学的歪みを補正した補正画像を生成する（Ｓ１１７）。なお、内挿は、画像補正画面８０で選択された方式に従って行われる。また、座標差算出部７２は、決定された座標変換式に基づいて、基準点セット及びチェックポイントセットに対する残差ベクトル図を生成する（Ｓ１１８）。
【００４６】
なお、図１２に例示した情報を参照することによって補正精度を確認し、所望の補正精度を得られていない場合には、基準点セットを新たに選定しなおすことにより、補正精度を更に高めることも可能である。また、残差ベクトル図については、最終的に決定された座標変換式によるもののみでなく、例えば、世代ごとに適応度が最も高い個体に対する座標変換式によるものを作成することとしてもよい。このように、世代ごとに残差ベクトル図を作成すれば、画像全体に渡る補正精度の推移を視覚的に確認することができる。
【００４７】
図１５に例示したように、基準点セットの閉合差Ｅ及びチェックポイントセットの閉合差Ｅ’がともに小さくなるように、遺伝的アルゴリズムに基づいて座標変換式を決定するための基準点セットの選択を繰り返し行うことにより、画像上における基準点セットの位置のばらつきを抑えた上で、座標変換式を求める速度を向上させることが可能となる。例えば、ある画像を図１５に示した処理に基づいて補正した一例では、図１６に示すように、１２５世代で適応度が収束していることがわかる。図１５に例示した遺伝的アルゴリズムに基づく処理を１２５世代程度実行することは、画像処理用に用いられる一般的なコンピュータであれば多大な時間を要しないことが多いといえる。
【００４８】
＝＝他の形態＝＝
図１５に例示した処理では、遺伝的アルゴリズムにおける個体を図７に示したように基準点セットの選択／非選択を示すものとしたが、図１７に例示するように、座標変換式の係数を示す情報も個体に含ませることとしてもよい。例えば、座標変換の方式としてアフィン変換を用いる場合であれば、図１７に示すように、前述した係数ａ〜ｆを示す情報に基準点セットを選択する情報を合わせたものを個体とすることができる。この場合、個体が決まれば座標変換式が決まるため、図１５に例示した処理における座標変換式を算出する処理（Ｓ１０３）は不要となるが、それ以外の処理については図１５に例示した処理と同様に行うことが可能である。なお、座標変換式の係数を示す情報を含む個体を交叉する際には、座標変換式の係数部分と基準点セットの部分とで別々に交叉させるようにしてもよい。
【００４９】
以上、本発明の実施形態について説明した。前述したように、基準点セットにおける閉合差Ｅ及びチェックポイントセットにおける閉合差Ｅ’がともに小さくなるように、基準点セットの選択を繰り返していくことにより、画像全体に渡って補正精度の高い座標変換式を求めることができる。そのため、最初に基準点セットのみを用いて座標変換式を決定する一般的な方法と比較して、補正精度の高い座標変換式を求める速度を向上させることが可能となる。
【００５０】
そして、基準点セットの選択を遺伝的アルゴリズムに基づいて行うことにより、閉合差Ｅ，Ｅ’が所定値以下となるまでの時間を短くすることが可能となり、座標変換式を求める速度を向上させることが可能となる。
【００５１】
また、例えば、残差の大きい基準点セットを除外していく一般的な方法によって得られた座標変換式による補正と、本実施形態に示した処理によって得られる座標変換式による補正との相対誤差を相対誤差画像として出力することにより、座標変換式を求める方法による違いを確認することができる。
【００５２】
また、基準点セット及びチェックポイントセットにおける残差ベクトル図を出力することにより、決定された座標変換式による画像全体にわたっての補正精度を視覚的に確認することができる。
【００５３】
なお、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【００５４】
例えば、本実施形態においては、クライアント１０を用いた構成としたが、クライアント１０を用いず、画生補正装置２０において、補正対象画像の選択や補正条件の入力、補正された画像の表示等が行われることとしてもよい。
【００５５】
また、補正対象とする画像は、衛星画像に限らず、あらゆる画像を対象とすることができる。例えば、光学センサによって得られた画像やマイクロ波レーダ画像、ハイパースペクトル画像、レーザプロファイラによって得られた画像、ＣＴスキャン等によって得られる各種医療画像、指紋や静脈パターン等の生体画像等、様々な画像を対象とすることが可能である。例えば、異なる日時に撮影された同一人物の２枚のレントゲン写真の一方を基準画像とし、他方を補正対象画像とすることにより、レントゲン写真間の幾何学的歪みを補正することができる。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態である画像補正システムの構成例を示す図である。
【図２】基準点セットの一例を示す図である。
【図３】チェックポイントセットの一例を示す図である。
【図４】クライアントの構成例を示す図である。
【図５】補正装置の構成例を示す図である。
【図６】補正装置の機能ブロックの一例を示す図である。
【図７】基準点セットの選択／非選択を決定する情報の一例を示す図である。
【図８】画像補正画面の一例を示す図である。
【図９】補正画像の一例を示す図である。
【図１０】基準点セットの残差ベクトル図の一例を示す図である。
【図１１】チェックポイントセットの残差ベクトル図の一例を示す図である。
【図１２】補正精度に関する情報の一例を示す図である。
【図１３】相対誤差画像生成画面の一例を示す図である。
【図１４】相対誤差画像の一例を示す図である。
【図１５】画像補正システムにおける処理の一例を示す図である。
【図１６】適応度の推移の一例を示す図である。
【図１７】座標変換式の係数を個体に含ませる場合の一例を示す図である。
【符号の説明】
【００５７】
１０  クライアント
２０  画像補正装置
３０  ネットワーク
４０，６０  ＣＰＵ
４１，６１  メモリ
４２，６２  記憶装置
４３  表示インタフェース
４４  入力インタフェース
４５，６３  通信インタフェース
４６，６４  記録媒体読取装置
５０  表示装置
５１  入力装置
５２，６５  記録媒体
７０  変換式算出部
７２  座標差算出部
７４  基準点選択部
７６  補正画像出力部
【図１】
2009075825.tif 000010
【図２】
2009075825.tif 000011
【図３】
2009075825.tif 000012
【図４】
2009075825.tif 000013
【図５】
2009075825.tif 000014
【図６】
2009075825.tif 000015
【図７】
2009075825.tif 000016
【図８】
2009075825.tif 000017
【図９】
2009075825.tif 000018
【図１０】
2009075825.tif 000019
【図１１】
2009075825.tif 000020
【図１２】
2009075825.tif 000021
【図１３】
2009075825.tif 000022
【図１４】
2009075825.tif 000023
【図１５】
2009075825.tif 000024
【図１６】
2009075825.tif 000025
【図１７】
2009075825.tif 000026