(57)【要約】【課題】高い精度でデジタル画像を幾何学的補正する。【解決手段】処理装置１０１とハードディスク１０５と、ディスプレイ１０２と、入力部であって、キーボード１０３とマウス１０４とを含む入力部とを有している。処理装置１０１は、画素分割処理部１１１と、ＩＣＰ／サブＩＣＰ検出部１１２と、幾何補正式決定部１１３と、幾何補正部１１４と、を有している。ハードディスク１０５は、画像データ格納ファイル１５１と、ＧＣＰ／サブＧＣＰデータ格納ファイル１５２と、ＩＣＰ／サブＩＣＰデータ格納ファイル１５３と、を有している。画素分割処理部１１１は、デジタル画像を構成する画素を分割する処理を行う。ＩＣＰ／サブＩＣＰ検出部１１２は、ＩＣＰとサブＩＣＰとを検出する処理を行う。幾何補正点決定部１１３は、幾何補正を行う基準点を決定する、幾何補正部１１４は、実際の幾何補正を行う。【選択図】  図３
2004171413.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像を補正する手順であって、
補正対象となる前記デジタル画像に対応する地図上において、それぞれ地図座標情報が既知である地図上の複数の第１基準点と該第１基準点の１つずつに対して複数選択された第２基準点と、にそれぞれ対応する画像上の第３基準点と第４基準点とを求める手順と、
前記第４基準点に基づいて、前記第３基準点に対して局所的精度の高い第５基準点を求める手順と、
複数の前記第５基準点とそれに対応する複数の第１基準点とに基づいて、前記デジタル画像における幾何学的な歪みを補正する手順と
をコンピュータに実行させるためのプログラム。
【請求項２】
補正対象となる前記デジタル画像に対応する地図上において、それぞれ位置情報が既知である地図上の複数の第１基準点と該第１基準点の１つに対して複数選択された第２基準点と、にそれぞれ対応する画像上の第３基準点と第４基準点とを求める手順は、
予め前記デジタル画像中に含まれる画素を分割して複数の分割画素を形成した後に行われる手順であることを特徴とする請求項１に記載のプログラム。
【請求項３】
補正対象となる前記デジタル画像に対応する地図上において、それぞれ位置情報が既知である地図上の複数の第１基準点と該第１基準点の１つに対して複数選択された第２基準点と、にそれぞれ対応する画像上の第３基準点と第４基準点とを求める手順は、
前記デジタル画像上においてエッジ認識を行い、認識されたエッジに対して直線近似を行うことにより、前記第３基準点と第４基準点とを決定する手順を含むことを特徴とする請求項１又は２に記載のプログラム。
【請求項４】
前記第３基準点又は複数の前記第４基準点とそれに対応する複数の第１基準点とに基づいて、前記デジタル画像における幾何学的な歪みを補正する手順は、
前記第４基準点の画像座標情報と、対応する前記第２基準点の前記地図座標情報と、に基づいて局所的な座標系変換式を求め、求められた局所的な座標系変換式を用いて前記第３基準点に対応する補正された前記第５基準点を求める手順を含むことを特徴とする請求項３に記載のプログラム。
【請求項５】
複数の前記第５基準点とそれに対応する複数の第１基準点とに基づいて、前記デジタル画像における幾何学的な歪みを補正する手順は、
前記第５基準点の画像座標情報と、対応する前記第１基準点の前記地図座標情報と、に基づいて前記デジタル画像全体の座標系変換式を求め、求められた前記デジタル画像全体の座標系変換式を用いて前記第５基準点に対応する補正された前記第１基準点を求める手順を含むことを特徴とする請求項４に記載のプログラム。
【請求項６】
デジタル画像を補正するデジタル画像処理装置であって、
補正対象となる前記デジタル画像に対応する地図上において、それぞれ地図座標情報が既知である地図上の複数の第１基準点と該第１基準点の１つに対して複数選択された第２基準点とを記憶する第１記憶部と、
前記第１基準点と前記第２基準点とに基づいて、補正対象となる前記デジタル画像上においてそれぞれ対応する第３基準点と第４基準点とを検出する検出部と、
前記検出部において検出された前記第３基準点と前記第４基準点とを記憶する第２記憶部と、
前記第４基準点に基づいて、前記第３基準点に対して局所的精度の高い第５基準点を求め、複数の前記第５基準点とそれに対応する複数の第１基準点とに基づいて、前記デジタル画像における幾何学的な歪みを補正する幾何補正式決定部と、
前記幾何補正式決定部において決定された幾何補正式に基づいて前記デジタル画像における幾何学的な歪みを補正する幾何補正部と、
を有するデジタル画像処理装置。
【請求項７】
地表座標を複数の小領域の画像とそれに含まれる点の緯経度・高度計測値を用いて、画像の幾何学的な歪みを補正する方法であって、
飛翔体から撮影したデジタル画像を入力するステップと、
前記デジタル画像に含まれる複数の第１基準点と、前記複数の第１基準点の周囲を取り囲む複数の補助的な第２基準点群の緯度経度情報と高度情報とを取得するステップと、
前記第１基準点と前記第２基準点との緯度経度情報と高度情報とを入力するステップと、
前記デジタル画像において、前記第２基準点群に対応する前記デジタル画像上の第３基準点群に基づいて、前記第１基準点に対応する前記デジタル画像上の第４基準点を求めるステップと、
前記第４基準点に基づいて、前記第３基準点に対して局所的精度の高い第５基準点を求めるステップと、
複数の前記第５基準点とそれに対応する複数の第１基準点とに基づいて、前記デジタル画像の幾何学的な歪みを補正するステップと
を備えるデジタル画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像処理技術に関し、特に、空中写真測量、例えば航空機や人工衛星により撮影したデジタル画像のように解像度（地上分解能）の低いデジタル画像に対して幾何学的歪みを補正する技術に関する。
【０００２】
【従来の技術】
近年、一般的な写真撮影や地図作製のための測量手段など種々の画像として、アナログ画像に代わってデジタル画像が用いられるようになってきた。これは、デジタル画像は経時的な劣化がなく、また、コンピュータなどの情報機器により処理するのが簡単であるためと考えられる。
【０００３】
それに伴い、空中写真測量技術においてもデジタル画像を利用する機会が増加してきている。空中写真測量とは、航空機や人工衛星などの飛翔体に取り付けた測量用カメラにより、測定を行いたい対象領域を撮影し、これに基づいて、地図の作成や地物の解析・判読を行う技術である。尚、空中写真との用語は、航空機から垂直に下方に向けて撮影する垂直空中写真を意味するのが一般的であったが、最近では、人工衛星から地上を撮影した高分解能衛星画像を用いて写真測量を行う試みがなされている。
【０００４】
空中写真測量を行う場合には、土地の高低によって画像上で大きさが異なる。さらに、投影されている位置が不正確な中心投影画像である空中写真を、撮影後の後処理によって幾何学的な歪を補正し、写真が撮影された瞬時の状態に逆投影して、映し出された地物や地形の位置・形を地図上で正しく映し出された正射投影図に変換する必要がある（例えば、非特許文献１参照）。
【０００５】
上記非特許文献１によれば、幾何学的歪の補正は、地図上における地上基準点（Ｇｒｏｕｎｄ  Ｃｏｎｔｒｏｌ  Ｐｏｉｎｔ；  ＧＣＰ）を用いて、幾何学的歪みを有している画像における座標系と、幾何歪を補正した座標系（地図座標系）と、の間の座標変換式を求めることにより実現される。この座標変換式に基づいて、画像上の各点を地図座標系上で正しい位置に変換することにより、幾何学的歪みを取り除く方法が一般的である。
【０００６】
非特許文献２によれば、例えば道路や鉄道の交差点中央や屈折部・屈曲部中央、あるいは建築物の隅部や中央などの、歪みを取り除きたい画像系座標および補正を行う際に参照したい地図の両座標系において確認が容易であり、かつ、位置や形状を正確に把握できる対象物が、ＧＣＰとして用いられる。このようなＧＣＰを、幾何学的歪みを取り除きたい画像内に数点（実際の個数は要求する補正精度による）満遍なく配置することにより、画像全体の歪みを除去することが可能になる。
【０００７】
また、航空写真の幾何学的歪みを撮影地域の地図を用いて補正する方法も提案されている。この方法は、アナログデータである航空写真と製版済み地図をスキャナで取り込み、写真と地図とが一致するように写真画像に対してアフィン変換や拡大・回転などの画像変形処理を行い、地図に対する重ね合わせを行うものである。しかしながら、この方法では、過去に作成された既存地図を基準に用いて撮影画像の歪みを除去するため、現在の道路や建物などの対象物を用いて画像の歪み補正を行うことが出来ない（例えば、特許文献１参照）。
【０００８】
さらに、幾何学的歪みの大きな航空写真を歪みの無い衛星画像に合わせることで、幾何補正を行う方法も提案されている（例えば、特許文献２参照）。この方法は、衛星画像を幾何学的歪みが殆ど無く、非常に高い位置精度が得られるものとして取り扱っている。
【０００９】
【非特許文献１】
高木幹雄、下田陽久監修、「画像解析ハンドブック」、東京大学出版会、１９９８年、ｐ．４２３−４２９。
【特許文献１】
特開平５−１６５４０２号公報
【特許文献２】
特開２０００−２７６０４５号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、実際には、衛星画像、例えば、研究・商用高分解能衛星画像においては、センサの機構に起因する内部歪みと撮影時の衛星の位置・姿勢に起因する外部歪みとを除去したシステム補正済みの画像であっても、まだ対象物の地理的特徴に起因する幾何学的な歪みが除去しきれないで残っている。
【００１１】
従来から空中測量に用いられてきた航空写真は、濃淡や色が連続的に変化するアナログ画像であり、粒子の大きさが極めて小さく事実上無限小の解像度（地上分解能）を持つと考えられる。これに対して、衛星画像はアナログ画像を同じ形状の小さなセル（画素）に分割し、各セルの平均輝度値をそのセルに於ける代表輝度値として整数値化したデジタル画像であるため、撮影された画像はセンサの画素サイズで決まる粗い標本化（サンプリング）間隔で量子化されるため、１画素が対応する地上の大きさ（地上分解能）より微細な構造は画像上に再現されない。
【００１２】
幾何学的歪みの補正精度は、選定されたＧＣＰの精度に大きく影響されるため、大縮尺地図相当の位置精度を持つ補正済み画像を得る為には、ＧＣＰによる位置合わせ精度を１画素以下に抑える必要がある。特開２０００−２７６０４５号公報では、画像の画素サイズより大幅に高い位置精度を保つと記述されているが、実際の衛星画像では量子化誤差の影響を強く受けるため、ＧＣＰを選定する際に少なくとも周囲２〜８画素程度の位置誤差が発生してしまう。
【００１３】
図１４に、衛星画像の例を示す。衛星画像では、高分解能衛星画像における１つの画素の実際の地上での対応する大きさが０．６ｍから１．０ｍ程度と非常に粗く、図１４に示すように、航空写真に比べて建物の隅や道路や橋の境界線などの正確な検出が難しい。境界線（エッジ）を正確に検出できない場合には、幾何学的歪みを取り除く際に、地形図上のＧＣＰに対応する衛星画像上の基準点（Ｉｍａｇｅ  Ｃｏｎｔｒｏｌ  Ｐｏｉｎｔ；  ＩＣＰ）を適切に選定することが難しい。適切な対応点の決定が難しいと、当然に補正精度が悪くってしまう為、衛星画像に対して従来の技術をそのまま適応すると、十分な精度の歪み補正を実現することが困難である。従って、衛星画像の地図へのマッチングが難しくなる。
【００１４】
本発明の目的は、デジタル画像を簡単かつ精度良く補正し、地図に精度良くマッチングさせる技術を提供することである。
【００１５】
【課題を解決するための手段】
本発明の一観点によれば、デジタル画像を補正する手順であって、
補正対象となる前記デジタル画像に対応する地図上において、それぞれ地図座標情報が既知である地図上の複数の第１基準点と該第１基準点の１つずつに対して複数選択された第２基準点と、にそれぞれ対応する画像上の第３基準点と第４基準点とを求める手順と、
前記第４基準点に基づいて、前記第３基準点に対して局所的精度の高い第５基準点を求める手順と、
複数の前記第５基準点とそれに対応する複数の第１基準点とに基づいて、前記デジタル画像における幾何学的な歪みを補正する手順と
をコンピュータに実行させるためのプログラムが提供される。第２基準点は、対象物として認識しやすい点を選択することが好ましい。
【００１６】
前記デジタル画像上においてエッジ認識を行い、認識されたエッジに対して例えば輝度による重み付き直線近似を行うことにより、前記第３基準点と前記第４基準点と（直線近傍にあると推定して）を決定する手順を含むのが好ましい。
【００１７】
複数のサブ基準点に基づいて幾何学的補正を行うため、上記プログラムを用いると、幾何学的な歪みの補正精度が向上する。第２基準点として、対象物として認識しやすい点を選択することにより、さらに補正精度を向上させることができる。
【００１８】
本発明の他の観点によれば、デジタル画像を補正するデジタル画像処理装置であって、補正対象となる前記デジタル画像に対応する地図上において、それぞれ地図座標情報が既知である地図上の複数の第１基準点と該第１基準点の１つに対して複数選択された第２基準点とを記憶する第１記憶部と、前記第１基準点と前記第２基準点とに基づいて、補正対象となる前記デジタル画像上においてそれぞれ対応する第３基準点と第４基準点とを検出する検出部と、前記検出部において検出された前記第３基準点と前記第４基準点とを記憶する第２記憶部と、前記第４基準点に基づいて、前記第３基準点に対して局所的精度の高い第５基準点を求め、複数の前記第５基準点とそれに対応する複数の第１基準点とに基づいて、前記デジタル画像における幾何学的な歪みを補正する幾何補正式決定部と、前記幾何補正式決定部において決定された幾何補正式に基づいて前記デジタル画像における幾何学的な歪みを補正する幾何補正部と、を有するデジタル画像処理装置
が提供される。
【００１９】
例えば、元々の画像の粗いサンプリングが原因で発生する量子化誤差を最小限に抑え、ＧＣＰに対応する画像上の点ＩＣＰの画像上における位置精度を、元の画像の画素サイズより高くする。そのためには、画像の幾何学的な歪みを補正する方式において、幾何学的歪みを取り除きたいデジタル画像を入力し、それに含まれるＧＣＰおよびサブＧＣＰ群の緯度経度・高度情報を取得・入力する。次に、入力した画像に対して、画素分割処理法とエッジ抽出処理法と重み付き最小二乗法を用いて、サブＧＣＰ群に対応するサブＩＣＰ群を求める。次に、サブＩＣＰ群とサブＧＣＰ群から、局所的な画像系座標と地図系座標との間の関係式（座標系変換式）を最小二乗法によって推定する。続いて、求めた局所的座標系変換式から、サブＩＣＰ群に隣接するＩＣＰを求め、ＧＣＰと対応する画像上のＩＣＰから画像全体の幾何学的な歪みを補正する座標系変換式を求める。これにより、精度の良い幾何学的補正を行うことができる。
【００２０】
【発明の実施の形態】
本明細書において、デジタル画像との用語は、デジタルカメラなどにより撮影したデジタル画像の他に、例えばアナログカメラにより撮影したアナログ画像をスキャナなどによりデジタル化した画像や、デジタル画像データ自体も含まれる広い概念を示す。
【００２１】
本発明の実施の形態について説明する前に、発明者の行った考察についてまず説明する。発明者は、デジタル画像のように画像中で絶対的な基準点が見あたらないケースが多い場合に、このようなデジタル画像とリファレンス（地図など）との位置合わせを行う場合に、デジタル画像における基準点（ＩＣＰ）と地図上の基準点（ＧＣＰ）の他に、これらの基準点と関連性のあるサブ基準点（デジタル画像上のサブ基準点（以下「サブＩＣＰ」と称する。）と、地図上のサブ基準点（以下「サブＧＣＰ」と称する。）と、を設定し、これらサブＩＣＰとサブＧＣＰを、補助的な基準点として活用することを思いついた。
【００２２】
例えば、基準点としては、交差点（例えば十字路）の真ん中の位置などを用いることが多いが、サブ基準点としては、この十字路の四隅に建てられている建物のコーナー（隅部）を用いることが考えられる。交差点の真ん中の位置に比べて、ビルのコーナー部は、位置が特定しやすい場合も多いからである。衛星写真などを撮影する機会は少ないと考えられるため、ＩＣＰとサブＩＣＰとなる対象をある程度目処を付けてから撮影に望むのが好ましい。以上の考察に基づき、本発明の実施の形態によるデジタル画像処理技術について、図面を参照して説明する。
【００２３】
図１は、本実施の形態によるデジタル画像処理の原理を示す模式的な図である。図２は、本発明の一実施の形態による高分解能衛星システムの全体構成を示す概略図である。図３は、デジタル画像処理システムで行われるシステム補正処理の流れを示すフローチャート図である。図４は、本発明の一実施の形態によるデジタル画像処理装置の構成例を示す機能ブロック図である。
【００２４】
図１に示すように、地図上の第１基準点に対応して複数の第２基準点が決められる。一方、画像上においては、第１基準点に対応する第３基準点と、複数の第２基準点のそれぞれ対応する複数の第４基準点とが決められる。複数の第４基準点に基づいて、第３基準点よりも幾何学的精度の高い第５基準点が決められる。全体の第１基準点と第５基準点とに基づいて、デジタル画像全体を幾何学的に補正する。
【００２５】
図２に示すように、高分解能衛星画像は、地上数百キロの上空にある人工衛星１から地上を撮影し、撮影されたデータは圧縮されて地上受信局２に送られる。受信局２で受信されたデータは、そのまま解析センター３に送られ、そこに設置されている画像処理システム４により、図３に示す数段階のデータ処理を行うことにより、一般に提供される形態になる。
【００２６】
図３は、衛星から送られてきた生データを処理する手順を示す図である。受信局において受信した生データＳ１は、まず始めに圧縮されたデータの解凍（拡張）が行われる（Ｓ２）。次に、使用した光学系や光電変換系のセンサの感度特性に起因する感度補正と、太陽高度や地形の傾斜などに起因する輝度変化の補正と、衛星と対象物との間に存在する大気による太陽光の吸収や散乱等による反射光の減衰などを補正する、いわゆる放射量補正とが行われる（Ｓ３）。その後、センサの機構に起因する内部歪みと、撮影時の人工衛星の姿勢や地球の自転などに起因する外部歪みと、を取り除くセンサ補正処理（Ｓ４）が行われる。放射量補正Ｓ３とセンサ補正Ｓ４とを含む補正処理をシステム補正と称する。入手する画像は、一般的には、Ｓ４までの処理を経たシステム補正済み画像Ｓ５である。
【００２７】
図４に示すように、本実施の一実施の形態による画像処理システムは、処理装置１０１とハードディスク（記憶装置）１０５と、ディスプレイ（表示装置）１０２と、入力部であって、キーボード１０３とマウス１０４とを含む入力部とを有している。処理装置１０１は、画素分割処理部１１１と、ＩＣＰ／サブＩＣＰ検出部１１２と、幾何補正点決定部１１３と、幾何補正部１１４と、を有している。ハードディスク１５は、画像データ格納ファイル１５１と、ＧＣＰ／サブＧＣＰデータ格納ファイル１５２と、ＩＣＰ／サブＩＣＰデータ格納ファイル１５３と、を有している。
【００２８】
画素分割処理部１１１は、デジタル画像を構成する画素を分割する処理を行う。ＩＣＰ／サブＩＣＰ検出部１１２は、ＩＣＰとサブＩＣＰとを検出する処理を行う。幾何補正式決定部１１３は、１１２で検出した基準点を用いて幾何補正式を決定する、幾何補正部１１４は、実際の幾何補正を行う。
【００２９】
図５から図８までは、本実施の形態によるデジタル画像補整処理の流れを示すフローチャート図である。図５は、処理全体の流れを、図６から図８までは図５の各ステップの処理の詳細を示す図である。
【００３０】
図５に示すように、本実施の形態による画像の歪み補正処理は、第１から第４までの各段階の補正処理を含む。第１段階の補正処理Ｓ１００は、補正を行いたい領域を含む地形図から補正に使用するＧＣＰおよびサブＧＣＰ群を選定し、現地で測量を行う方法、或いは、地形図から読み取るなどの方法などを用いることにより、それぞれの基準点の緯度経度及び高度情報を取得する。次いで、第２段階Ｓ２００では、補正を行いたい画像上で各ＧＣＰおよびサブＧＣＰ群に対応する画像上の基準点ＩＣＰ、サブＩＣＰ群を、例えば半自動的に求める。第３段階Ｓ３００は、第２段階Ｓ２００において求めたサブＩＣＰ群を用いて、局所的精度の高いＩＣＰ地点を求め、画像全体のＧＣＰ／ＩＣＰより、画像の座標変換式を求める。後述するように、Ｓ３００の最終段階３０７（図８）において、サブＧＣＰ群を画像座標形状に変換することにより変換精度の検証を行い、基準を満たす場合には、最終段階Ｓ４００に進み、実際に画像全体の座標変換を行う。
【００３１】
図６は、第１段処理Ｓ１００「実際の座標値の取得」での処理の流れを示し、ここでは実際の路線測量等で変換式を求める際に使用する基準点の座標を求める。図９は、実測を行うＧＣＰ及びサブＧＣＰ群の設定例を示す図である。まず、変換対象となる画像領域を含む地形図を入手し（Ｓ１０１）、一般的に使用されているＧＣＰ６（ここでは、十字路の真ん中の地点）に加えて、ＧＣＰ周辺にＧＣＰ同様画像上でも地形図上でも観測しやすい複数の補助的な基準点（サブＧＣＰ群）７、この場合は、十字路の四隅に建築されている建物のエッジを、ユーザが任意に設定する（Ｓ１０２）。ＧＣＰ６及びサブＧＣＰ７は、ともに画像および地図上で明瞭に判読可能な実際の構造物、例えば道路８の交差している地点や建築物９の四隅などのように境界線の交点として画像上で容易に判別できる点が好ましい。Ｓ１０３では、ＧＣＰ６の測量に加えて、サブＧＣＰ群７についても、各地点の正確な緯度経度、高度を実際の路線測量を行うか、もしくは、地形図から該当する地点の緯度経度情報を算出して求める。このようにして求めた、ＧＣＰ及びサブＧＣＰ群は、図１０に示すようにＧＣＰとサブＧＣＰとをデータベース的に関連付けした形式で、測定データを保持する。図１０は、ＧＣＰやサブＧＣＰ（ＳＧＣＰ）を特定する固有のＩＤと、その経度及び緯度（共に十進度単位）と、高度（ｍ単位）と、隣接するＧＣＰのＩＤとを対応付けたデータである。
【００３２】
ＧＣＰ及びサブＧＣＰ群として必要な基準点の個数は、歪みを除去したい画像の全体もしくは一部領域で、幾何学的歪みの補正処理過程Ｓ３００で適用する座標系変換式に含まれる未知変数の最低でも１／２以上が必要であり、好ましくは未知変数の個数以上が必要である。システム補正済みの衛星画像を入力データとして幾何学的歪み補正を行う場合には、ヘルマート変換（未知変数４）とアフィン変換（未知変数６）による補正だけで良い場合が多い。そこで、ＧＣＰは６個以上選定すれば良い。同様に各ＧＣＰの周辺で設定するサブＧＣＰの個数も、サブＩＣＰ群の各点をサブＧＣＰ群に一致させるための座標系変換式に含まれる未定係数程度の個数が必要であり、やはりＧＣＰの個数と同程度（６個以上）選定すればよい。
【００３３】
図９では、ＧＣＰより見通せるような１２点をサブＧＣＰとして設定している。サブＧＣＰは、ＧＣＰから見通せるような近隣点である必要はなく、ＧＣＰ地点と地理的に大きく変化していない地点であれば、隣のブロックなど多少離れた測定しやすい（或いは画像上で確認しやすい）地点を用いても良い。
【００３４】
但し、ＧＣＰと関連するサブＧＣＰ群は、可能な限り等高度に近い状態の地点を選択するのが望ましい。極端に高度が異なる基準点が含まれる場合には、撮影高度が高い衛星写真とは言っても有限高度からの撮影であるため、土地や建築物の高度差によって写真上の画像の位置が移動する、「倒れ込み」と呼ばれる現象が発生する可能性が高くなる。従って、高度差が大きなＧＣＰもしくはサブＧＣＰを用いる場合には、予め地形図より用いるＧＣＰ群もしくはサブＧＣＰ群を全て含む領域の平均的な地表高度を基準面高度として求め、Ｓ２００以降で、該当するＩＣＰもしくはサブＩＣＰの画像座標（ｕ，  ｖ）を用いる際に、緯度経度はそのままで、高度のみ基準面高度に投影した場合の座標（ｕ’，  ｖ’）を求め、これを後の処理過程において使用する。
【００３５】
図７に示すように、Ｓ２００は、第２段階処理「画像参照点の取得処理」の流れを示すフローチャート図であり、この過程ではＳ１００において地図座標系での座標を求めた各基準点ＧＣＰ及びサブＧＣＰ群について、衛星画像上で各々に対応するＩＣＰ、サブＩＣＰを決定する。まず始めに、Ｓ２０２で示すように、検出器の粗い画素間隔で標本化されているオリジナル入力画像画像Ｓ２０１に対して、画素分割（ピクセル分割）処理と再配列（リサンプリング）処理とを組み合わせて行い、歪み補正を行いたい画像の１画素を複数画素に分割し、１画素の画素サイズを縮小する。デジタル画像上の位置精度は、画素サイズによって決まるため、適切にこの処理を行うことにより高い精度で対応点の位置を求めることができる。
【００３６】
Ｓ２０２においては、オリジナル画像の１画素を複数の画素に分割するため、求めたい画素のデータを周辺画素の画素値から推定する必要がある。このような再配列処理を内挿法と称し、▲１▼最近隣内挿法、▲２▼共１次内挿法、▲３▼三次畳み込み内挿法などが用いられる（例えば、高木幹雄、下田陽久監修「画像解析ハンドブック」東京大学出版会、１９９８年、ｐ．４４１−４４４参照）。適切な内挿法を用いることにより、画像濃度値分布の平滑化の効果も得られ、元画像では顕著に見られた隣接画素間の急激な濃度変化が、画像上の濃度値分布のピーク位置を変えることなく、また滑らかなエッジに対してはその形状をそのまま保存するためエッジなどの画像の重要な情報を損なうことなく、滑らかな濃度値変化を得ることができる。
【００３７】
Ｓ２０２において画素分割処理が終了した画像に対して、続いてＳ２０３においてエッジ（線要素）抽出処理を行い、画像上で境界線となりそうな急激な輝度変化のみられる境界線要素又は境界線候補画素を抽出する。Ｓ１０３で設定したＧＣＰ及びサブＧＣＰ群は、何れも画像上において対象物として判読・認識しやすい地点に設定されており、画像に基づいて、線や輪郭の要素を抽出することにより、対応するＩＣＰ、サブＩＣＰ群を容易に特定することができる。代表的なエッジ抽出処理としては、カラム・ライン両方向に対してそれぞれの濃淡変化の空間一次微分（グラジエント）を利用する方法や、空間二次微分（ラプラシアン）を利用する方法、その他エッジ検出に特化したエッジ検出処理等がある（例えば、高木幹雄、下田陽久監修「画像解析ハンドブック」東京大学出版会、１９９８年、ｐ．５５０−５６４）。
【００３８】
図１１は、Ｓ２０２からＳ２０３を行った画像の例を示す図である。Ｓ２０２の画像分割処理によって、オリジナル画像１０の１画素を、２ｘ２画素に分割した分割処理後画像１１が得られる。この例では画像分割の際、内挿法として三次畳み込み内挿法を用いた。この分割処理後画像１１に対して、さらにエッジ抽出処理を行った結果として、エッジ抽出後画像１２が得られる。ここでは、エッジ抽出処理として空間一次微分を用いた。画像１１上で建築物の壁面に相当する箇所がエッジ抽出後画像１２で輝度変化の大きな画素（境界線候補画素）として検出され、明るく見えているのがわかる。
【００３９】
次にエッジ抽出画像１２に対して、Ｓ２０４からＳ２０７までの処理で、ＩＣＰ或いはサブＩＣＰを求めるのに必要な境界線を確定し、ＩＣＰ或いはサブＩＣＰ群の画像系座標を求める。より詳細には、まずＳ２０４において、座標を求めたいＩＣＰあるいはサブＩＣＰと、その基準点に隣接する複数の境界線と、を目測により推定し、それぞれの境界線を構成するであろう境界線候補画素を取り囲む領域を、ユーザ自身が、画面を見ながらマウス１４（図４）等の入力装置を用いて指定する。次にＳ２０４で指定した領域内において、各画素の輝度を重みとする重み付き最小二乗法を用いて、直線もしくは曲線にフィッティングさせることによって、指定領域内の基準線候補画素に対して尤も滑らかで現実的な最適境界線を確定する（Ｓ２０５）。
【００４０】
Ｓ２０５で行う重み付き最小二乗法では、Ｓ２０４で指定した推定境界線領域内の画素（ｕｉ，  ｖｉ）  （ｉ＝  １，  ２，…，  ｎ）の持つ輝度値ｌｉと同領域内の輝度値の総和との比から得られる次式を用いる。
【００４１】
【数１】
2004171413.tif 000003
【００４２】
上式を重みとして、例えば境界線として直線  （未定係数ａ，  ｂ）を仮定した場合には、次のような重み付き残差平方和を求める。
【００４３】
【数２】
2004171413.tif 000004
【００４４】
上式で求められた重み付き残差平方和を最小とする未定係数（ａ，  ｂ）を決定することにより、境界線である直線が得られる。Ｓ２０６は、上記Ｓ２０４からＳ２０５、までの境界線確定作業により、画像座標を確定したいＩＣＰもしくはサブＩＣＰに隣接する境界線を全て確定したか否かを判定し、まだ全ての境界線を確定していなければ、全て確定するまでＳ２０４〜Ｓ２０５を繰り返す。
【００４５】
Ｓ２０６において、座標を求めたいＩＣＰもしくはサブＩＣＰに隣接する全境界線が確定できているか否かを判定する。確定ができていれば、どの隣接する境界線も求めたいＩＣＰ、サブＩＣＰを必ず通過するので、Ｓ２０４及びＳ２０５で求めた隣接する境界線の１交点をＩＣＰ（あるいは、サブＩＣＰ）として決定する（Ｓ２０７）。図１２は、建物の隅に設定したサブＧＣＰに対応するサブＩＣＰを、Ｓ２０５で求めた建物の壁面に相当する境界線１３（白い破線で示される）の交点（隅）をサブＩＣＰ１４として決定した様子を示す図である。図１２に示すように、白い破線で明示された建物のエッジが明瞭に抽出されていることがわかる。
【００４６】
Ｓ２０８において、幾何歪み補正を行いたい画像に含まれている全てのＩＣＰと、サブＩＣＰと、の画像座標を求めたか否かを判定し、まだ求められていないＩＣＰあるいはサブＩＣＰがあればＳ２０４に戻り、同じ手順により座標を求める。Ｓ２０７のように、画像基準点の画像座標（ｕ，  ｖ）を画素ではなく境界線の交点として求めることにより、サブ画素レベル（０．１ピクセル以下）で座標を求めることが可能となり、得られる基準点の位置精度は、画素サイズよりも高い精度で求めることができる。Ｓ２００の過程において、画像基準点の画像座標（ｕ，  ｖ）を求めることにより、得られる基準点の位置座標の誤差は、Ｓ２０２の画素分割時に分割数の逆数に比例して、例えば図１０においては、位置誤差は１／２に減少する。Ｓ２０７において基準点を交点として求めることにより、誤差は１／１０以下に減少する。したがってＳ２００処理全体を通して、基準点の位置精度は、オリジナル画像により基準点を求めた場合の少なくとも１０倍以上（図１１の場合２０倍程度）まで向上させることができる。
【００４７】
図８に示すＳ３００の第３段階「幾何補正式（座標変換式）の決定」では、Ｓ２００で求めたＩＣＰ及びサブＩＣＰ群を利用して衛星画像座標系を地図座標系に変換する変換式を求め、最終的に画像を地図座標系に重ね合わせる処理を行う。まず処理Ｓ３０１で、Ｓ２００において座標を求めたＩＣＰのうちから１点を選び出し、そのＩＣＰに関連付けられるサブＩＣＰ群の画像座標情報と、各々に対応すべきサブＧＣＰ群の地図座標情報（緯度経度及び高度）と、に基づいて、画像座標（ｕ，  ｖ）と地図座標（ｘ，  ｙ）、もしくは、標高ｚを考慮に入れた座標（ｘ，  ｙ，  ｚ）を対応付ける変換式を求める。
【００４８】
図１３に、座標変換系の概念図を示す。サブＩＣＰの画像座標（ｕ，  ｖ）、対応するサブＧＣＰの地図座標（ｘ，  ｙ，  ｚ）とし、画像カラム方向の変換式をＦ（ｘ，  ｙ，  ｚ）、ライン方向の変換式をＧ（ｘ，  ｙ，ｚ）とすると、地図座標に対応する画像座標は以下の式で表される。
ｕ  ＝  Ｆ（ｘ，  ｙ，  ｚ）
ｖ  ＝  Ｇ（ｘ，  ｙ，  ｚ）
【００４９】
上記の関係式に基づいて、地図座標系１７のｘ−ｙ座標上の点が座標変換され、画像座標系１６のｕ−ｖ座標上の点として求められる。したがって、この逆変換を行う式を求める事で、画像座標系１６のｕ−ｖ座標上の点を地図座標系１７のｘ−ｙ座標上に正確に戻す事が出来る。
【００５０】
上記文献などによれば、座標変換式として一般的に用いられるには、▲１▼ヘルマート変換（縮尺歪みや回転歪みの補正、原点移動に用いる）、▲２▼アフィン変換（スキュー歪みの補正、線形変換に用いる）、▲３▼疑似アフィン変換（線形ねじれ変換に用いる）、▲４▼二／三次元射影変換（直行型・放物型歪みの補正に用いる）、▲５▼二次元射影変換（四辺形歪みの補正に用いる）、▲６▼三次元射影変換（射影歪みの補正に用いる）、▲７▼高次多項式変換（高次歪みの補正に用いる）等がある。これらの変換式を以下に示す。
【００５１】
▲１▼ヘルマート変換（未知変数ａ，  ｂ，  ｃ，  ｄ）
【数３】
2004171413.tif 000005
【００５２】
▲２▼アフィン変換（未知変数ａ，  ｂ，  ｃ，  ｄ，  ｅ，  ｆ）
【数４】
2004171413.tif 000006
【００５３】
▲３▼疑似アフィン変換（未知変数ａ１，  ａ２，  ａ３，  ａ４，  ｂ１，  ｂ２，  ｂ３，  ｂ４）
【数５】
2004171413.tif 000007
【００５４】
▲４▼二次元等角変換（未知変数ａ，  ｂ，  ｃ，  ｄ，  ｅ，  ｆ）
【数６】
2004171413.tif 000008
【００５５】
▲５▼二次元射影変換（未知変数ａ１，  ａ２，  ａ３，  ａ４，  ａ５，  ａ６，  ａ７，  ａ８）
【数７】
2004171413.tif 000009
【００５６】
▲６▼三次元射影変換（未知変数ａ１，  ａ２，  ａ３，  ａ４，  ａ５，  ａ６，  ａ７，  ａ８，  ａ９，  ａ１０，  ａ１１）
【数８】
2004171413.tif 000010
【００５７】
▲７▼高次多項式変換（未知変数ａｉｊ，  ｂｉｊ）
【数９】
2004171413.tif 000011
【００５８】
単純な画像の平行移動や回転・拡大縮小しか必要がなく、変換したい局所において変換の前後で像の形が相似であるような場合にはヘルマート変換が用いられ、線形移動と平行移動が合成されたようにｘ，  ｙを独立に線形変換させたい場合にはアフィン変換が用いられる。また、より複雑な歪み、例えばｘｙ項のような捩れを伴う変換が必要な場合には、疑似アフィン変換が用いられる（例えば、大林成行、小島尚人編著「実務者のためのリモートセッシング」、フジ・テクノシステム、２００２年、ｐ．１２２参照）。
この文献によれば、システム補正済みの衛星画像を入力データとして幾何学的歪み補正を行う場合、ヘルマート変換とアフィン変換による補正だけで良い場合が多い。
【００５９】
画像の歪みの形態から判断して最も適当だと予想される変換式を用い、サブＩＣＰ群の画像上の座標値と測定で求められたサブＧＣＰ群の緯度経度・高度から、最小二乗法により仮定した変換式の未定係数を求める。例えば、地表上では正方形の物体が衛星画像上では菱形に歪んで写っている場合、座標変換式としてアフィン変換を仮定して、サブＧＣＰの地表座標（ｘｉ，  ｙｉ）、（ｉ  ＝  １，  …，  ｎ）とそれに対応するサブＩＣＰの画像座標値（ｕｉ，  ｖｉ）とすると、理論式と観測値との差の二乗二乗を加え合わせた次式で、Ｑ１及びＱ２が最小となるように（ａ，  ｂ，  ｃ，  ｄ，  ｅ，  ｆ）を決めれば良い。Ｑ１及びＱ２のそれぞれについて、（ａ，  ｂ，  ｃ）、（ｄ，  ｅ，  ｆ）で偏微分をした結果が０に等しいとして以下の式により求めることが出来る。
【００６０】
【数１０】
2004171413.tif 000012
【００６１】
Ｓ３０１において、最小二乗法を用いて未定係数を決定する際、極端に二乗二乗誤差が大きくなるサブＩＣＰ（ｕｍ，  ｖｍ）−サブＧＣＰ  （ｘｍ，  ｙｍ）  （ｍは、１〜ｎの内の任意の値）の組については、サブＧＣＰの測定エラーやサブＩＣＰの選定ミスの可能性が高いため、未定係数を求める際に標本から除外し、（ｕｉ，  ｖｉ，  ｘｉ，  ｙｉ）（  ｉ  ＝  １，  …，  ｍ−１，  ｍ＋１，  …，  ｎ）のｎ−１個の標本から再度未知変数を求めることにより、未定係数の推定精度を高めることが出来る。
【００６２】
Ｓ３０２で示すように、局所的な座標系変換式でＩＣＰを地図座標系に変換する。Ｓ３０３において、Ｓ３０１で求めた座標系変換式が十分な精度か否かをＩＣＰの画像座標とＧＣＰの地図座標及び高度情報とを用いて判定する。Ｓ３０１で求めた変換式を用いて、画像座標系のＩＣＰ（ｕ，  ｖ）を地図座標系へ変換した座標（ｘ’，  ｙ’）と、実際のＧＣＰの地図座標（ｘ，  ｙ）と、でどれだけの距離が離れているかを誤差として求め、その誤差が期待する変換精度（例えば、画素分割処理後の画像で１．０ピクセル以下など）に到達している否かを基準にして行う。
【００６３】
Ｓ３０３において、座標変換に伴う誤差が期待値より悪い場合には、Ｓ３０１において仮定した変換式が適切でなかったと推定できるため、Ｓ３０１に戻り、再度座標変換式を検討し未定係数を決定する。設定した変換精度を満たすまでＳ３０１からＳ３０３までの過程を繰り返す。
【００６４】
いずれの変換式を用いても設定した精度が得られない場合には、設定した精度が高すぎるか、或いは、設定した精度を得るためには用意したサブＧＣＰ群が適切ではなかったかのいずれかであると推定され、再度Ｓ１００のＧＣＰ・サブＧＣＰ群の測量の過程に立ち戻ってＧＣＰの取得計画から練り直し、再度処理を行う。
【００６５】
Ｓ３０３で座標変換に伴う誤差が期待値を満たしていた場合には、Ｓ３０１で求めた地図座標系変換の逆変換を行うことで、ＧＣＰが画像座標系上に投影される地点  （ｕ’，  ｖ’）をＧＣＰに対応する真のＩＣＰとして扱う。
【００６６】
以上のように、Ｓ３０１からＳ３０４までの処理を全ＧＣＰ／ＩＣＰに対して行うことにより、各ＧＣＰ／ＩＣＰ周辺の局所的な座標変換式とＧＣＰに対応する真のＩＣＰの座標とが求められる。Ｓ３０５において、Ｓ３０１からＳ３０４までの処理が全ＧＣＰ／ＩＣＰに対して行われたか否かを判定し、まだ処理の行われていないＧＣＰが存在する場合には、Ｓ３０１からＳ３０４までの処理を行い、ＧＣＰとそれに対応するＩＣＰとの座標を求める。
【００６７】
全てのＧＣＰに対応し採用された真のＩＣＰの座標を求めた後、Ｓ３０６において、これらの全ＧＣＰと真のＩＣＰとの座標情報を用いて、Ｓ３０１と同様の処理により最終的な画像全体の座標変換式を求める。ここで、全体的な座標変換式はＳ３０１で求めた局所的変換式を基に変換式を推定し、Ｓ３０１において最小二乗法を用いて未定係数を決定した時と同様に、極端に二乗誤差が大きくなる真ＩＣＰ−ＧＣＰの組については、未定係数を求める際に標本から除外することにより、未定係数の推定精度を高めることができる。
【００６８】
Ｓ３０７において、全ブロックＳ３０６で求めた画像全体に対する座標変換式が適切なものか否かを判定し、Ｓ３０１において局所的な座標変換式を求める際に標本として使用したサブＧＣＰ−サブＩＣＰの座標値データを変換式に代入して、Ｓ３０５と同程度の変換精度が得られたか否かを調べる。この際、Ｓ３０１で局所的変換式を求める際に使用しなかった標本は用いない。Ｓ３０７において、もしも期待していた座標変換精度を満たさなかった場合には、再びＳ３０６に戻り、仮定した座標変換式を別の変換式に変更し、再度、座標変換式と未定係数とを求める。
【００６９】
次に、Ｓ３００で求めた座標変換式を用いて、画像データが、希望する地図座標系に対応するように幾何補正（座標変換）処理を行う（第４段階：Ｓ４００）。このような座標変換式で求められる幾何歪み補正済み画像における入力画像の各画素に対応する位置は、一般に整数にならない。従って、幾何補正後、画像の濃度値を求める際には、Ｓ２０１で画素分割時に行った場合と同様に内挿法による補間処理を行う。
【００７０】
以上説明したように、Ｓ１００からＳ４００までの一連の処理を行うことにより、ＧＣＰ周辺の座標変換前後の位置対応精度が大幅に向上し、また全ＧＣＰから得られる座標変換式は、式の次数および未定係数がより適切な値になるため、画像全体についても、より精度の高い変換処理が可能となる。
【００７１】
以上説明したように、本実施の形態によるデジタル画像処理装置によれば、解像度が高くないデジタル画像を用いても、高い精度で幾何学的補正を行うことが出来る。また、画素分割を用いると、粗いサンプリング間隔で取得されたデジタル画像であっても、デジタル画像上の特定地点の位置精度を画像取得時のサンプリング間隔に拘束されることなく、より精確な位置を割り出すことが出来る。
【００７２】
統計的に地上基準点に対応する画基準点を選定することにより、選定処理に必要な処理時間を短縮化でき、選定される画像基準点の位置精度の向上のみではなく、一連の基準点選定処理において処理施行者の基準点選定に伴う際の個人的な癖などが入り込まないため、画像処理における高い再現性を得ることが出来る。
【００７３】
さらに、複数のサブＩＣＰ−サブＧＣＰから求めた局所的な座標変換式に基づいて、ＧＣＰに対応するＩＣＰの画像座標を求めるため、粗いサンプリング間隔の画像上でもより高い精度でＩＣＰの座標を求めることが可能となる。
【００７４】
ＧＣＰのみで座標変換式を求めた場合に比べて、より位置精度の高いＩＣＰを用いて変換式を求めることができるため、より高次な幾何学的歪みをより高い精度での除去が可能とする。
【００７５】
尚、本実施の形態により用いられた（Ｓ１００〜Ｓ４００までで示される）幾何学的歪み補正技術は、高分解能衛星画像を対象とする場合に限られるものではなく、高分解能衛星画像よりも地上分解能の高い航空写真などを用いた空中測量においても、例えば粗い画素間隔で取得されているデジタル写真を用いた画像データを対象にする場合には有効である。
【００７６】
以上、実施の形態に沿って説明したが、本発明はこれらに制限されるものではない。その他、種々の変更、改良、組合せが可能なことは当業者に自明であろう。
【００７７】
【発明の効果】
以上説明したように、本発明のデジタル画像処理技術によれば、デジタル画像を高い精度で幾何学的補正することができるという利点がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態によるデジタル画像処理技術の原理を簡単に説明するための図である。
【図２】本発明の一実施の形態によるデジタル画像処理システムに関連する高分解能衛星システムの全体構成を示す概略図である。
【図３】本発明の一実施の形態によるデジタル画像処理システムで行われるシステム補正処理の流れを示すフローチャート図である、
【図４】本発明の一実施の形態によるデジタル画像処理装置の構成例を示す機能ブロック図である。
【図５】本発明の一実施の形態による画像処理システムにおける全体の処理の流れを示すフローチャート図である。
【図６】図５に示す全体処理のうちの実際の測量による座標値の取得処理の流れを示すフローチャート図である。
【図７】図５に示す全体処理のうちの画像参照点の取得処理の流れを示すフローチャート図である。
【図８】図５に示す全体処理のうちの幾何補正式の決定処理の流れを示すフローチャート図である。
【図９】本発明の一実施の形態による画像処理技術のうち、実測を行うＧＣＰ及びサブＧＣＰ群を設定する例を示す図である。
【図１０】本発明の一実施の形態による画像処理技術のうち、ＧＣＰ及びサブＧＣＰのデータ記録状態の例を示す図である。
【図１１】本発明の一実施の形態による画像処理技術のうち、サブピクセル化処理とエッジ抽出処理との例を示す図である。
【図１２】本発明の一実施の形態による画像処理技術のうち、エッジ抽出処理後の画像に対して境界線推定を行い、サブＩＣＰを決定した例を示す図である。
【図１３】ｕ−ｖ画像座標系とｘ−ｙ地図座標系との間の座標変換処理の概念を示す図である。
【図１４】一般的な衛星画像の例である。
【符号の説明】
１…人工衛星（高分解能撮像衛星）、２…地上受信局、３…データ解析センター（もしくは衛星運用センター）、４…画像処理システム、５…高分解能衛星画像の一部切り抜き、６…サブＧＣＰ群、７…地上基準点（ＧＣＰ）、８…道路、９…建物、１０…高分解能衛星画像の拡大図（オリジナル）、１１…サブＧＣＰ群の高分解能衛星画像をサブピクセル化（１画素から２×２画素）した画像、１２…地上基準点（ＧＣＰ）に対して空間一次微分処理によるエッジ検出処理を行った後の画像、１３…推定境界線、１４…サブＩＣＰ、１５…境界線候補画素、１６…画像座標系、１７…地図座標系。
【図１】
2004171413.tif 000013
【図２】
2004171413.tif 000014
【図３】
2004171413.tif 000015
【図４】
2004171413.tif 000016
【図５】
2004171413.tif 000017
【図６】
2004171413.tif 000018
【図７】
2004171413.tif 000019
【図８】
2004171413.tif 000020
【図９】
2004171413.tif 000021
【図１０】
2004171413.tif 000022
【図１１】
2004171413.tif 000023
【図１２】
2004171413.tif 000024
【図１３】
2004171413.tif 000025
【図１４】
2004171413.tif 000026