(57)【要約】【課題】  船舶等の目標に係る画像に基づく３次元情報抽出装置に係り、目標の高さや、目標を構成する要素（例えば、船舶の構造物等）に関する３次元情報を自動的に抽出することを課題とする。【解決手段】  画像読込部１で読み込んだ目標画像について、主成分分析部３は、主成分方向、重心、始点、終点等の主成分情報を算出する。また、リサンプリング部４は、主成分情報に基づいて、目標画像を正規化し、３次元情報算出部５は、正規化された目標画像に基づいて、目標の高さや、目標を構成する要素（例えば、船舶の構造物等）に関する３次元情報を算出する。【選択図】        図１
2005315846.tif 000002
【特許請求の範囲】
【請求項１】
以下の要素を有することを特徴とする３次元情報抽出装置
（１）目標画像の少なくとも主成分方向を算出する主成分分析部
（２）主成分方向により目標画像を正規化するリサンプリング部
（３）正規化された目標画像に基づいて、目標の高さを算出する高さ算出部。
【請求項２】
高さ算出部は、水平面と垂直面の境界を輝度の違いにより判定し、境界の高さを目標物の高さとして算出することを特徴とする請求項１記載の３次元情報抽出装置。
【請求項３】
目標は、船舶であることを特徴とする請求項１に記載の３次元情報抽出装置。
【請求項４】
以下の要素を有することを特徴とする３次元情報抽出方法
（１）目標画像の少なくとも主成分方向を算出する主成分分析工程
（２）主成分方向により目標画像を正規化するリサンプリング工程
（３）正規化された目標画像に基づいて、目標の高さを算出する高さ算出工程。
【請求項５】
３次元情報抽出装置となるコンピュータに、以下の処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
（１）目標画像の少なくとも主成分方向を算出する主成分分析処理
（２）主成分方向により目標画像を正規化するリサンプリング処理
（３）正規化された目標画像に基づいて、目標の高さを算出する高さ算出処理。
【請求項６】
３次元情報抽出装置となるコンピュータに、以下の手順を実行させるためのプログラム（１）目標画像の少なくとも主成分方向を算出する主成分分析手順
（２）主成分方向により目標画像を正規化するリサンプリング手順
（３）正規化された目標画像に基づいて、目標の高さを算出する高さ算出手順。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、船舶等の目標に係る画像に基づく３次元情報抽出装置に係り、目標の高さや、目標を構成する要素（例えば、船舶の構造物等）に関する３次元情報を自動的に抽出する技術に関する。
【背景技術】
【０００２】
図２６は、撮影画像に含まれる目標物の高さ成分の概念を示す図である。斜視撮影された画像は、ある仰角（θ）を持って撮影されている為、画像中には目標の高さの成分が含まれている。例えば、ｈ１の実際の高さが、画像上の高さ成分ｈ１´として現れる。
【０００３】
従来は、斜視撮影された画像から、以下のような（１）と（２）の手順で『高さ』諸元の算出を行っていた。
（１）画像の濃淡に基づいて、目標の高さ成分の長さ（画素数）を目視で判定する。以下に例を示して説明する。
【０００４】
図２７は、ビルの高さ成分を示す図である。ビルの部分のうち淡い色調部分を高さ成分と判定して、その高さ成分の長さ（画素数）を数える。
【０００５】
図２８は、船舶の高さ成分を示す図である。船舶の場合には、構造物の高さを算出対象とする。その為、構造物の高さ成分の長さ（画素数）を数える。
【０００６】
（２）（１）で求めた長さ（画素数）を衛星と目標の幾何関係式に適用して、実際の『高さ』諸元を算出する。図２９は、高さ成分算出の概念を示す図である。長さｈ１´をＳｉｎθで除することにより、実際の高さｈ１が得られる（正確には更に所定倍率を乗ずる。）。
【０００７】
しかし、上述の方法は、ビルのような簡単な形状の対象物にのみ適用が可能であって、船舶のように複雑な形状の目標に適用することが困難である。例えば、図２８において複雑な形状の目標である船舶の高さ諸元を目視にて判定することは困難である。尚、ここで言う船舶の高さとは、船底から最も高い構造物の上までの距離のことである。
【０００８】
また、人間による主観に依存するため、定量的な評価が困難であるという問題もある。例えば、図２６〜図２８の目標についての画素数を計測する場合に、計測者によるバラツキが生じる。特に、図２７のように高さ成分の方向が画像の垂線方向に対して傾きを持つときには、さらに定量的な評価が困難となる。
【特許文献１】特開２００３−１８７２１９号公報
【特許文献２】特開２０００−０２０６９２号公報
【特許文献３】特開２００１−２０１３４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上記した従来技術の欠点を除くためになされたものであって、その目的とするところは、計算機にて自動的に目標の高さ情報を算出し、計測の手間を軽減し、定量的な評価を可能とすることである。
【００１０】
さらに、計算機にて複雑な形状をした目標の高さ及び詳細な３次元情報（目標上の構造
物の長さ、幅、高さ、構造物始点位置、構造物終点位置）を自動的に算出することである。
【課題を解決するための手段】
【００１１】
本発明に係る３次元情報抽出装置は、
以下の要素を有することを特徴とする
（１）目標画像の少なくとも主成分方向を算出する主成分分析部
（２）主成分方向により目標画像を正規化するリサンプリング部
（３）正規化された目標画像に基づいて、目標の高さを算出する高さ算出部。
【００１２】
高さ算出部は、水平面と垂直面の境界を輝度の違いにより判定し、境界の高さを目標物の高さとして算出することを特徴とする。
【００１３】
目標は、船舶であることを特徴とする。
【００１４】
本発明に係る３次元情報抽出方法は、
以下の要素を有することを特徴とする
（１）目標画像の少なくとも主成分方向を算出する主成分分析工程
（２）主成分方向により目標画像を正規化するリサンプリング工程
（３）正規化された目標画像に基づいて、目標の高さを算出する高さ算出工程。
【００１５】
本発明に係るプログラムを記録したコンピュータ読み取り可能な記録媒体は、
３次元情報抽出装置となるコンピュータに、以下の処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする
（１）目標画像の少なくとも主成分方向を算出する主成分分析処理
（２）主成分方向により目標画像を正規化するリサンプリング処理
（３）正規化された目標画像に基づいて、目標の高さを算出する高さ算出処理。
【００１６】
本発明に係るプログラムは、
３次元情報抽出装置となるコンピュータに、以下の手順を実行させるためのプログラムであることを特徴とする
（１）目標画像の少なくとも主成分方向を算出する主成分分析手順
（２）主成分方向により目標画像を正規化するリサンプリング手順
（３）正規化された目標画像に基づいて、目標の高さを算出する高さ算出手順。
【発明の効果】
【００１７】
本発明においては、自動的に目標の高さ情報を算出することができる。また、複雑な形状をした目標の要素の３次元情報（例えば、構造物の長さ、幅、高さ、構造物始点位置、構造物終点位置）を自動的に算出することできる。
【発明を実施するための最良の形態】
【００１８】
実施の形態１．
以下本発明を図面に示す実施例に基づいて説明する。
【００１９】
図１は、３次元情報抽出装置のソフトウエア構成を示す図である。３次元情報抽出装置は、画像読込部１、画像２値化部２、主成分分析部３、リサンプリング部４、３次元情報算出部５、算出結果書込部６、３次元情報表示部７、読込画像記憶部１１、リサンプリング画像記憶部１２、及び３次元情報記憶部１３を有している。
【００２０】
続いて、処理について説明する。図２は、全体処理フローを示す図である。まず、画像読込部１により、画像読込処理（Ｓ１０）を行う。例えば、図３に示すような斜視撮影された船舶画像を読み込む。船舶は、目標の例である。
【００２１】
そして、画像２値化部２により、画像２値化処理（Ｓ２０）を行う。この処理により、目標部分とそれ以外の部分を判定し、目標部分を１に、それ以外を０に変換する。
【００２２】
次に、主成分分析部３により、主成分分析処理（Ｓ３０）を行う。この処理により、目標の主成分方向（目標の向き）・重心・全長・全幅・面積などを算出する。特に、船舶の向きを用いる。そして、以降の処理は、常に正規化された方向に対して行われる。主成分分析処理（Ｓ３０）については、図２０〜図２４を用いて、後述する。
【００２３】
そして、リサンプリング部４により、リサンプリング処理（Ｓ４０）を行う。この処理で、画像の回転・拡大・縮小により、各目標の主成分方向・重心・解像度（画素辺りの長さ）を正規化し、リサンプリングする。これにより、目標の向きが所定の方向に揃えられ、重心位置や縮小率も揃えられる。リサンプリング画像は、画像一時領域（大きさＳｈｉｐ＿ｘ×Ｓｈｉｐ＿ｙ）に再格納される。
【００２４】
３次元情報算出部５により、３次元情報算出処理（Ｓ５０）を行う。この処理により、画像から目標の３次元情報を算出する。図４は、３次元情報の例を示す図である。この処理については、図５等を用いて後に詳述する。
【００２５】
算出結果書込部６により、算出結果書込処理（Ｓ６０）を行う。この処理により、３次元情報算出処理（Ｓ５０）において算出した目標の３次元情報をハードディスクあるいはテンポラリ領域へ書き込む。
【００２６】
更に、３次元情報表示部７により、３次元情報表示処理（Ｓ７０）を行う。この処理により、３次元情報算出処理（Ｓ５０）において算出した目標の３次元情報を用いて、目標の立体像を作成することもできる。
【００２７】
続いて、３次元情報算出処理（Ｓ５０）について説明する。図５は、３次元情報算出処理フローを示す図である。図６は、３次元情報算出部のソフトウエア構成を示す図である。側舷算出部５１、構造物算出部５２、構造部分算出部５４を有している。またこれらは
、図に示した要素を有している。
【００２８】
まず、側舷算出部５１による側舷算出処理（Ｓ５０１）で、画像から側舷部分の高さを求める。また、求めた情報を用いて画像から以降の処理に必要な部分だけを抽出する。この処理については、図７を用いて後述する。
【００２９】
次に、構造物算出部５２による構造物算出処理（Ｓ５０２）で、構造物（目標を構成する要素の例）の３次元情報を算出する。また、求めた情報を用いて画像から以降の処理に必要な部分だけを抽出する。この処理については、図１４を用いて後述する。
【００３０】
構造物数分、ループ処理を行う（Ｓ５０３）。構造物上の構造部分算出処理（Ｓ５０４）では、構造物上の構造部分に対し、構造物算出処理（Ｓ５０２）における構造物に対する処理と同様の処理を行う。これによって、構造物上の構造部分の３次元情報を算出する。構造部分算出部５４による構造物上の構造部分算出処理（Ｓ５０４）については、図１７を用いて後述する。
【００３１】
側舷算出処理（Ｓ５０１）について詳述する。図７は、側舷算出処理フローを示す図である。高さ算出処理（Ｓ５０１１）で、側舷部分の高さの算出を行う。この処理では、正規化された船舶の全長方向に１ラインづつ統計処理（平均値）を求めることで目標の高さを算出する。更に、処理該当部抽出処理（Ｓ５０１２）で、高さ算出処理（Ｓ５０１１）の結果を用いて、以降の処理に必要な部分だけ抽出する。処理該当部抽出処理（Ｓ５０１２）については、図１３を用いて後述する。
【００３２】
高さの算出処理（Ｓ５０１１）について詳述する。まず、処理の概念について説明する。図８は、船舶画像の輝度分布の例を示す図である。図に示した通り、斜視撮影された画像に映し出された船舶構造物の側面での輝度は上面に比べて高い（低い）特徴がある。そこで、本発明では、甲板面（水平面の例）と側面（垂直面の例）部分の境界を輝度の違いにより側面の高さを判定し、目標物（目標物の構造物）の高さを算出する。
【００３３】
図９は、斜視画像とＸ軸方向の輝度平均の例を示す図である。図（ａ）のような斜視画像において、Ｙ軸（垂直軸）の１ライン毎にＸ軸（水平の軸）方向の統計値（ここでは平均値）を算出し、統計値のプロファイルを描くと図（ｂ）のような輝度平均値となる。図（ｂ）の矢印の長さは、側舷（構造物）の高さに比例するので、矢印部分の長さを計測すれば、１枚の画像から高さを算出することができる。
【００３４】
次に、具体的な処理について説明する。図１０は、高さ算出処理フローを示す図である。Ｙ軸方向の画素数分（Ｉ＝１〜Ｙ軸画素数）、ループ処理（Ｓ５０１１１）を行う。Ｓ５０１１２の輝度平均値算出処理では、Ｘ軸方向での輝度の平均値を算出する。この処理については、図１１を用いて後述する。
【００３５】
Ｓ５０１１３の底面輝度平均判定処理では、Ｉ＝１であるか、そうでないかを判定する。そして、Ｉ＝１の場合には、Ｓ５０１１４で、底面輝度平均設定処理を行う。この処理では、Ｉ＝１の輝度平均を低面の輝度平均値とする。
【００３６】
Ｓ５０１１５の高さ算出開始判定処理では、Ｉ＞＝２であるが、そうでないかを判定し、Ｓ５０１１６の輝度平均値判定処理（その１）では、更にＩ番目の輝度平均値が底面輝度平均値＋α（所定閾値）以上かを判定する。Ｉ＞＝２であって、Ｉ番目の輝度平均値が底面輝度平均値＋α（所定閾値）以上の場合に、Ｓ５０１１７の輝度平均値判定処理（その２）を行い、それ以外の場合には、次のＹ軸画素の処理ループに移行する。
【００３７】
Ｓ５０１１７の輝度平均値判定処理（その２）では、Ｉ番目の輝度平均値が（Ｉ−１）番目の輝度平均値以上かを判定する。当該Ｙ軸画素（Ｉ）の輝度平均値が、前のＹ軸画素（Ｉ−１）の輝度平均値以上よりも大きい場合には、Ｓ５０１１８の側面画素カウンタインクリメント処理で、側面画素カウンタをインクリメントする。
【００３８】
すべてのＹ軸画素について処理すると、Ｓ５０１１９の高さ算出処理で、側面画素数にスケールファクタ（１画素の長さ）を乗じて、高さを算出する。
【００３９】
前述のＳ５０１１２の輝度平均値算出処理について詳述する。図１１は、Ｘ軸方向輝度平均値算出処理フローを示す図である。
Ｓ５０１１２１に示す通り、Ｘ軸方向の画素数分、ループ処理を行う。Ｓ５０１１２２の輝度総和算出処理では、Ｘ＝Ｊ番目，Ｙ＝Ｉ番目の輝度（Ｉ，Ｊ）を輝度総和ＳＵＭ（Ｉ）に順次加算する。そして、ループ処理の終了後に、Ｓ５０１１２３の輝度平均値算出処理で、輝度総和ＳＵＭ（Ｉ）をＸ軸画素数で割ることにより、Ｘ軸方向の輝度平均値Ｍｅａｎ（Ｉ）を算出する。
【００４０】
この処理により、例えば図１２に示すようなビルの『高さ』や船舶の『側舷の高さ』を自動算出することができる。
【００４１】
ここで、処理該当部抽出処理（Ｓ５０１２）について詳述する。Ｓ５０１２の処理該当部抽出処理（全長方向）では、前述の処理で区分された海、側舷、甲板面、（構造物側面、構造物上面）より、以降の処理に必要な部分のみを抽出する。図１３は、処理該当部抽出処理のイメージを示す図である。
【００４２】
次に、構造物算出処理（Ｓ５０２）について詳述する。図１４は、構造物算出処理フローを示す図である。Ｓ５０２１の構造物位置算出処理では、構造物特徴長さ、幅、構造物始点位置、構造物終点位置を抽出する。図１５は、構造物位置算出処理のイメージを示す図である。
【００４３】
具体的処理は、例えば、軸方向の画素から、長さ、幅、始点位置、終点位置を抽出する。
【００４４】
そして、Ｓ５０２２の構造物高さ算出処理で、各構造物の高さを算出する。この処理は、Ｓ５０１１の処理と同様である。Ｓ５０２３の構造物抽出処理では、Ｓ５０２２の結果を用い、以降の処理に必要な構造物だけ抽出する。図１６は、構造物抽出処理のイメージを示す図である。
【００４５】
次に、構造部分算出処理（Ｓ５０４）について詳述する。この処理は、図１４に示した構造物算出処理（Ｓ５０２）で構造物に対して行った処理と同様の処理を、構造物（上位構成要素の例）上の構造部分（下位構成要素の例）に対して行う。その為、構造物位置算出処理（Ｓ５０２１）に相当する処理（構造部分位置算出処理）と、構造物高さ算出処理（Ｓ５０２２）に相当する処理（構造部分高さ算出処理）を行う。これらの処理では、構造部分の全幅方向の情報（構造部分の高さ＋構造部分の幅）を算出する。図１７は、構造部分位置算出処理及び構造部分高さ算出処理のイメージを示す図である。
【００４６】
構造物抽出算出処理（Ｓ５０２３）に相当する処理（構造部分抽出算出処理）を行う。前述の処理で抽出された構造部分の情報を用いて、以降の処理に必要な部分を抽出する。図１８は、構造部分抽出処理のイメージを示す図である。
【００４７】
このようにして抽出された構造部分を更に処理対象として、前述と同様に高さ算出処理を繰り返すことで、更に詳細な構造部分の高さ情報と幅の情報を分離することができる。また、当該処理対象について同様に位置算出処理を繰り返することにより、詳細な構造部分を抽出することができる。これらの処理を繰り返すことで、複雑な形状をした目標の高さと詳細な船舶の３次元情報を知ることが可能となる。
【００４８】
また、上述のように求めた３次元情報を元に目標の立体像を作成することも可能となる。図１９は、立体像の例を示す図である。
【００４９】
最後に、主成分分析部３による主成分分析処理（Ｓ３０）について詳述する。
図２０を用いて詳細に説明する。尚、ｘ１、ｘ２、…ｘｎ、ｙ１、ｙ２、…ｙｎ、μｘ、μｙ、Δｘ１、Δｘ２、…、Δｘｎ、Δｙ１、Δｙ２、…、Δｙｎ、Ｃ１１、Ｃ１２、Ｃ２１、Ｃ２２、ｐ１、ｑ１、ｐ２、ｑ２、Ｌ、Ｂは、書き換え可能な記憶領域に記憶される変数であり、ｓは、記憶領域に記憶されている定数である。
【００５０】
先ず、重心算出処理（Ｓｔｅｐ２００１）において、成分画素群のＸ座標の平均値μｘ、及びＹ座標の平均値μｙを算出し、成分画素群からなる領域の重心の座標（μｘ、μｙ）を求める。
【００５１】
成分画素群の画素数をｎ、各画素の座標を（ｘ１、ｙ１）、（ｘ２、ｙ２）、…、（ｘｎ、ｙｎ）とするとき、μｘ及びμｙは下記（１）、（２）式により算出する。
μｘ＝（ｘ１＋ｘ２＋…＋ｘｎ）／ｎ                      （１）
μｙ＝（ｙ１＋ｙ２＋…＋ｙｎ）／ｎ                      （２）
【００５２】
重心算出処理（Ｓｔｅｐ２００１）の手順を、図２１に示す。図中のｓｉｇｍａ＿ｘ、ｓｉｇｍａ＿ｙ、ｎは、一時記憶領域に記憶される変数である。最小矩形内の各座標について（Ｓ２１０３）、目標船舶に含まれる場合に（Ｓ２１０４）、座標値を合算し（Ｓ２１０５）、その結果としてｓｉｇｍａ＿ｘとｓｉｇｍａ＿ｙを求め、それぞれ合算した座標数ｎで割って（Ｓ２１０６）、重心のｘ座標μｘとｙ座標μｙを求めている（Ｓ２１０７）。
【００５３】
次に、相関行列の計算（Ｓｔｅｐ２００２〜Ｓｔｅｐ２００４）により、相関行列を求める。その為、先ず偏差算出処理（Ｓｔｅｐ２００２）において、成分画素群の各画素の前記重心からの偏差（Δｘ１，Δｙ１）〜（Δｘｎ、Δｙｎ）を算出する。各偏差は、重心（μｘ，μｙ）を座標原点とみなしたときの座標値にあたる。Δｘｉ及びΔｙｉ（１≦ｉ≦ｎ）は下記式（３）、（４）により算出する。
Δｘｉ＝ｘｉ−μｘ                                      （３）
Δｙｉ＝ｙｉ−μｙ                                      （４）
【００５４】
次に、偏差のベクトル化処理（Ｓｔｅｐ２００３）において、偏差のｘ成分からベクトルΔｘを、偏差のｙ成分からベクトルΔｙを得る。Δｘ及びΔｙは下記式（５）、（６）により定義される。
Δｘ＝（Δｘ１、Δｘ２、…、Δｘｎ）                    （５）
Δｙ＝（Δｙ１、Δｙ２、…、Δｙｎ）                    （６）
【００５５】
次に、相関行列算出処理（Ｓｔｅｐ２００４）において、ΔｘとΔｙの、２行２列の相関行列Ｃを算出する。Ｃの各成分はそれぞれ以下のように算出する。（・はベクトル内積の演算子である。）
Ｃ１１  ＝  Δｘ・Δｘ                                    （７）
Ｃ１２  ＝  Δｘ・Δｙ                                    （８）
Ｃ２１  ＝  Δｙ・Δｘ                                    （９）
Ｃ２２  ＝  Δｙ・Δｙ                                    （１０）
【００５６】
図２２は、相関行列算出処理の詳細を示す図である。尚、ｘ１、ｘ２、…ｘｎ、ｙ１、ｙ２、…ｙｎ、μｘ、μｙ、Ｃ１１、Ｃ１２、Ｃ２１、Ｃ２２は、書き換え可能な記憶領域に記憶される変数である。
【００５７】
先ず、Ｃ１１、Ｃ１２、Ｃ２２を０に初期化し（Ｓ２２０１）、最小矩形内の各座標について（Ｓ２２０２）、目標船舶に含まれる場合に（Ｓ２２０３）、ｘとμｘの差分を求め、その差分を一時記憶し、その差分の二乗を求め、その二乗値を一時記憶し、その二乗値をＣ１１に加算する。また、ｙとμｙの差分を求め、その差分を一時記憶し、ｘとμｘの差分とｙとμｙの差分を積算し、その積を一時記憶し、その積をＣ１２に加算する。更に、ｙとμｙの差分の二乗を求め、その二乗値を一時記憶し、その二乗値をＣ２２に加算する（Ｓ２２０４）。
【００５８】
次に、固有値及び固有ベクトルの計算（Ｓ２００５，Ｓ２００６）について説明する。先ず、全長方向算出処理（Ｓｔｅｐ２００５）において、相関行列Ｃの最大固有値λ１、及びそれに対応する固有ベクトル（ｐ１，ｑ１）を算出する。最大固有値λ１は下式により算出することができる。（尚、ｓｑｒｔ（Ｘ）はＸの平方根を表す。）
λ１＝
（Ｃ１１＋Ｃ２２＋ｓｑｒｔ（（Ｃ１１−Ｃ２２）２＋４・Ｃ１２・Ｃ２１））／２  （１１）
【００５９】
上式（１１）で求めたλ１を用いて、ｐ１及びｑ１を下式により算出することができる。
ｐ１＝Ｃ１２／ｓｑｒｔ（Ｃ１２・Ｃ２１＋（Ｃ１１−λ１）２）          
（１２）
ｑ１＝（λ１−Ｃ１１）／ｓｑｒｔ（Ｃ１２・Ｃ２１＋（Ｃ１１−λ１）２）
（１３）
【００６０】
ここで求まる（ｐ１、ｑ１）の向きは、船舶候補の成分画素群からなる領域の全長方向になる。何故ならば、重心（μｘ、μｙ）を通る直線に投影した各成分画素の直線上における位置（重心を基準点として一方を正方向、もう一方を負方向とする）の分散は、直線の方向が（ｐ１、ｑ１）の向きに一致するとき最大になるからである。このようにして、ｑ１／ｐ１により、船舶候補領域の進行方向を求めることができる。
【００６１】
同様に、全幅方向算出処理（Ｓｔｅｐ２００６）において、相関行列Ｃの最小固有値λ２とそれに対応する固有ベクトル（ｐ２、ｑ２）を算出する。最小固有値λ２は下式により算出することができる。
λ２＝
（Ｃ１１＋Ｃ２２−ｓｑｒｔ（（Ｃ１１−Ｃ２２）２＋４・Ｃ１２・Ｃ２１））／２  （１４）
【００６２】
式（１４）で求めたλ２を用いてｐ２及びｑ２は下式により算出することができる。
ｐ２＝Ｃ１２／ｓｑｒｔ（Ｃ１２・Ｃ２１＋（Ｃ１１−λ２）２）          
（１５）
ｑ２＝（λ２−Ｃ１１）／ｓｑｒｔ（Ｃ１２・Ｃ２１＋（Ｃ１１−λ２）２）
（１６）
【００６３】
（ｐ２、ｑ２）の向きは、船舶候補領域の全幅方向になる。重心（μｘ、μｙ）を通る直線に投影した各成分画素の直線上における位置の分散は、直線の方向が（ｐ２、ｑ２）の向きに一致するとき最小になるからである。又、このようにして算出した全幅方向は、上で求めた全長方向と常に直交するという性質を持つ。
【００６４】
図２３は、固有値及び固有ベクトルの計算処理を示す図である。尚、Ｃ１１、Ｃ１２、Ｃ２２、λ１、λ２、ｄｉｖｉｓｏｒ１１、ｄｉｖｉｓｏｒ１２、ｄｉｖｉｓｏｒ２１、ｄｉｖｉｓｏｒ２２、ｐ１、ｑ１、ｐ２、ｑ２は、書き換え可能な記憶領域に記憶される変数である。
【００６５】
まず、λ１とλ２を求める（Ｓ２３０１）。Ｃ１１とＣ２２の差を求め、その差を一時記憶し、その差の二乗を求め、Ｃ１１とＣ２２の差の二乗値を一時記憶し、更に、Ｃ１２の二乗を求め、Ｃ１２の二乗値を一時記憶する。Ｃ１１とＣ２２の差の二乗値とＣ１２の二乗値を加算し、その和を一時記憶し、その和の平方根を求め、その平方根を一時記憶し、Ｃ１１とＣ２２とその平方根を合算し、その結果の１／２をλ１として記憶する。また、Ｃ１１とＣ２２を加算し、その和から前述の平方根を差し引いて、その結果の１／２をλ２として記憶する。
【００６６】
次に、ｄｉｖｉｓｏｒ１１、ｄｉｖｉｓｏｒ１２、ｄｉｖｉｓｏｒ２１、及びｄｉｖｉｓｏｒ２２を求める（Ｓ２３０２）。Ｃ１１からλ１を引いて、その差を一時記憶し、Ｃ１１とλ１の差の二乗を求め、その二乗値を一時記憶する。その二乗値をＣ１２の二乗値に加え、その和を一時記憶し、その和の平方根を求め、その平方根をｄｉｖｉｓｏｒ１１として記憶する。
【００６７】
Ｃ２２からλ１を引いて、その差を一時記憶し、Ｃ２２とλ１の差の二乗を求め、その二乗値を一時記憶する。その二乗値をＣ１２の二乗値に加え、その和を一時記憶し、その和の平方根を求め、その平方根をｄｉｖｉｓｏｒ１２として記憶する。
【００６８】
Ｃ１１からλ２を引いて、その差を一時記憶し、Ｃ１１とλ２の差の二乗を求め、その二乗値を一時記憶する。その二乗値をＣ１２の二乗値に加え、その和を一時記憶し、その和の平方根を求め、その平方根をｄｉｖｉｓｏｒ２１として記憶する。
【００６９】
Ｃ２２からλ２を引いて、その差を一時記憶し、Ｃ２２とλ２の差の二乗を求め、その二乗値を一時記憶する。その二乗値をＣ１２の二乗値に加え、その和を一時記憶し、その和の平方根を求め、その平方根をｄｉｖｉｓｏｒ２２として記憶する。
【００７０】
ｄｉｖｉｓｏｒ１１とｄｉｖｉｓｏｒ１２がともに０の場合、あるいは、ｄｉｖｉｓｏｒ２１とｄｉｖｉｓｏｒ２２がともに０の場合は（Ｓ２３０３）、固有ベクトルの方向が不定と判断する（Ｓ２３０４）。それ以外の場合は、ｐ１とｑ１を求め、更に、ｐ２とｑ２を求める。
【００７１】
ｄｉｖｉｓｏｒ１１＞ｄｉｖｉｓｏｒ１２の場合には（Ｓ２３０５）、Ｃ１２をｄｉｖｉｓｏｒ１１で割り、その結果をｐ１として記憶し、λ１からＣ１１を引き、その差を一時記憶し、その差をｄｉｖｉｓｏｒ１１で割り、その結果をｑ１として記憶する（Ｓ２３０６）。ｄｉｖｉｓｏｒ１１＜ｄｉｖｉｓｏｒ１２の場合には（Ｓ２３０５）、λ１から
Ｃ２２を引き、その差を一時記憶し、その差をｄｉｖｉｓｏｒ１２で割り、その結果をｐ１として記憶し、Ｃ１２をｄｉｖｉｓｏｒ１２で割り、その結果をｑ１として記憶する（Ｓ２３０７）。
【００７２】
ｄｉｖｉｓｏｒ２１＞ｄｉｖｉｓｏｒ２２の場合には（Ｓ２３０８）、Ｃ１２をｄｉｖｉｓｏｒ２１で割り、その結果をｐ２として記憶し、λ２からＣ１１を引き、その差を一時記憶し、その差をｄｉｖｉｓｏｒ２１で割り、その結果をｑ２として記憶する（Ｓ２３０９）。ｄｉｖｉｓｏｒ２１＜ｄｉｖｉｓｏｒ２２の場合には（Ｓ２３０８）、λ２からＣ２２を引き、その差を一時記憶し、その差をｄｉｖｉｓｏｒ２２で割り、その結果をｐ２として記憶し、Ｃ１２をｄｉｖｉｓｏｒ２２で割り、その結果をｑ２として記憶する（Ｓ２３１０）。
【００７３】
次に、長さ・幅の計算の処理（Ｓ２００７，Ｓ２００８）について説明する。先ず、全長算出処理（Ｓｔｅｐ２００７）において、全長Ｌを算出する。全長Ｌの算出は下式による。
Ｌ＝（ｍａｘ（Δｘｉ・ｐ１＋Δｙｉ・ｑ１）＋
ｍａｘ（−Δｘｉ・ｐ１−Δｙｉ・ｑ１））・ｓ      （１７）
【００７４】
但し、ｉは１〜ｎ（ｎは成分画素群の画素数）についてとる。また、ｓは、衛星画像データのピクセルスペーシングであり、衛星画像データの１画素の一辺の長さである。全長Ｌは、重心（μｘ、μｙ）を通り、全長方向に平行な直線に投影した成分画素群の画素２点間の最大距離である。
【００７５】
次に、全幅算出処理（Ｓｔｅｐ２００８）において、全幅Ｂを算出する。全幅Ｂの算出は下式による。
Ｂ＝（ｍａｘ（Δｘｉ・ｐ２＋Δｙｉ・ｑ２）＋
ｍａｘ（−Δｘｉ・ｐ２−Δｙｉ・ｑ２））・ｓ      （１８）
但し、ｉは１〜ｎ（ｎは成分画素群の画素数）についてとる。全幅Ｂは重心（μｘ、μｙ）を通り全幅方向に平行な直線に投影した船舶画素群の画素２点間の最大距離である。
【００７６】
図２４は、長さ・幅の計算処理を示す図である。尚、ｍｉｎ＿ｚ１、ｍａｘ＿ｚ１、ｍｉｎ＿ｚ２、ｍａｘ＿ｚ２、ｚ１、ｚ２、ｘ、ｙ、μｘ、μｙ、ｐ１、ｑ１、ｐ２、ｑ２、ｌｅｎｇｔｈ、ｗｉｄｔｈは、書き換え可能な記憶領域に記憶される変数である。
【００７７】
先ず、ｍｉｎ＿ｚ１、ｍａｘ＿ｚ１、ｍｉｎ＿ｚ２、ｍａｘ＿ｚ２を０に初期化し（Ｓ２４０１）、最小矩形内の各座標について（Ｓ２４０２）、目標船舶に含まれる場合に（Ｓ２４０３）、ｚ１とｚ２を算出し（Ｓ２４０４）、ｚ１がｍｉｎ＿ｚ１より小さい場合に（Ｓ２４０５）、ｍｉｎ＿ｚ１にｚ１を記憶し（Ｓ１４０６）、ｚ１がｍａｘ＿ｚ１より大きい場合に（Ｓ２４０７）、ｍａｘ＿ｚ１にｚ１を記憶し（Ｓ２４０８）、ｚ２がｍｉｎ＿ｚ２より小さい場合に（Ｓ２４０９）、ｍｉｎ＿ｚ２にｚ２を記憶し（Ｓ２４１０）、ｚ２がｍａｘ＿ｚ２より大きい場合に（Ｓ２４１１）、ｍａｘ＿ｚ２にｚ２を記憶する（Ｓ２４１２）。
【００７８】
ｚ１とｚ２は、以下の処理により算出する。ｘからμｘを引いて、その差を一時記憶し、ｙからμｙを引いて、その差を一時記憶する。そして、ｐ１にｘとμｘの差を乗じて、ｐ１・（ｘ−μｘ）の積を一時記憶し、ｑ１にｙとμｙの差を乗じて、ｑ１・（ｙ−μｙ）の積を一時記憶し、ｐ１・（ｘ−μｘ）の積とｑ１・（ｙ−μｙ）の積を加算し、その和をｚ１として記憶する。また、ｐ２にｘとμｘの差を乗じて、ｐ２・（ｘ−μｘ）の積を一時記憶し、ｑ２にｙとμｙの差を乗じて、ｑ２・（ｙ−μｙ）の積を一時記憶し、ｐ２・（ｘ−μｘ）の積とｑ２・（ｙ−μｙ）の積を加算し、その和をｚ２として記憶する
。
【００７９】
最後に、ｍａｘ＿ｚ１からｍｉｎ＿ｚ１を引いて、その差をｌｅｎｇｔｈとして記憶し、ｍａｘ＿ｚ２からｍｉｎ＿ｚ２を引いて、その差をｗｉｄｔｈとして記憶する（Ｓ２４１４）。
【００８０】
３次元情報抽出装置は、コンピュータであり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。
【００８１】
図２５は、３次元情報抽出装置のハードウエア構成例を示す図である。この例では、バスに、演算装置２５０１、（インターフェースを介して）画像入力装置２５０２、メモリ２５０３、ハードディスク２５０４、表示装置２５０５が接続されている。プログラムは、例えばハードディスク２５０４に記憶されており、メモリ２５０３にロードされた状態で、順次演算装置２５０１に読み込まれ処理を行う。
【図面の簡単な説明】
【００８２】
【図１】３次元情報抽出装置のソフトウエア構成を示す図である。
【図２】全体処理フローを示す図である。
【図３】船舶画像の例を示す図である。
【図４】３次元情報の例を示す図である。
【図５】３次元情報算出処理フローを示す図である。
【図６】３次元情報算出部のソフトウエア構成を示す図である。
【図７】側舷算出処理フローを示す図である。
【図８】船舶画像の輝度分布の例を示す図である。
【図９】Ｘ軸方向の輝度平均の例を示す図である。
【図１０】高さ算出処理フローを示す図である。
【図１１】Ｘ軸方向輝度平均値算出処理フローを示す図である。
【図１２】ビルの高さと船舶の側舷の高さを示す図である。
【図１３】処理該当部抽出処理のイメージを示す図である。
【図１４】構造物算出処理フローを示す図である。
【図１５】構造物位置算出処理のイメージを示す図である。
【図１６】構造物抽出処理のイメージを示す図である。
【図１７】構造部分位置算出処理及び構造部分高さ算出処理のイメージを示す図である。
【図１８】構造部分抽出処理のイメージを示す図である。
【図１９】立体像の例を示す図である。
【図２０】主成分分析処理のフローを示す図である。
【図２１】重心の計算の処理フローを示す図である。
【図２２】相関行列の計算の処理フローを示す図である。
【図２３】固有値及び固有ベクトルの計算の処理フローを示す図である。
【図２４】長さ・幅の計算の処理フローを示す図である。
【図２５】３次元情報抽出装置のハードウエア構成を示す図である。
【図２６】撮影画像に含まれる目標物の高さ成分の概念を示す図である。
【図２７】ビルの高さ成分を示す図である。
【図２８】船舶の高さ成分を示す図である。
【図２９】高さ成分算出の概念を示す図である。
【符号の説明】
【００８３】
１  画像読込部、２  画像２値化部、３  主成分分析部、４  リサンプリング部、５  
３次元情報算出部、６  算出結果書込部、７  ３次元情報表示部、１１  読込画像記憶部、１２  リサンプリング画像記憶部、１３  及び３次元情報記憶部、５１  側舷算出部、５２  構造物算出部、５４  構造部分算出部。
【図１】
2005315846.tif 000003
【図２】
2005315846.tif 000004
【図３】
2005315846.tif 000005
【図４】
2005315846.tif 000006
【図５】
2005315846.tif 000007
【図６】
2005315846.tif 000008
【図７】
2005315846.tif 000009
【図８】
2005315846.tif 000010
【図９】
2005315846.tif 000011
【図１０】
2005315846.tif 000012
【図１１】
2005315846.tif 000013
【図１２】
2005315846.tif 000014
【図１３】
2005315846.tif 000015
【図１４】
2005315846.tif 000016
【図１６】
2005315846.tif 000017
【図１９】
2005315846.tif 000018
【図２０】
2005315846.tif 000019
【図２１】
2005315846.tif 000020
【図２２】
2005315846.tif 000021
【図２３】
2005315846.tif 000022
【図２４】
2005315846.tif 000023
【図２５】
2005315846.tif 000024
【図２６】
2005315846.tif 000025
【図２７】
2005315846.tif 000026
【図２８】
2005315846.tif 000027
【図２９】
2005315846.tif 000028
【図１５】
2005315846.tif 000029
【図１７】
2005315846.tif 000030
【図１８】
2005315846.tif 000031