(57)【要約】【課題】可視光用カメラによる撮像画像から３軸姿勢を決定するための画像処理を高速で精度良く実行できる画像処理装置を提供する。【解決手段】画像処理装置は、可視光用カメラから撮像画像を取得する画像取得部と演算部を備え、演算部は、撮像画像より地球エッジをなす点群を検出し、検出した地球エッジを可視光用カメラの光学系の焦点を中心とする単位球に投影し、単位球上に投影された地球エッジを含む平面と焦点とに基づいて地球中心方向ベクトルを算出し、撮像画像内の各画素を少なくとも陸、海、その他に識別し、焦点と地球の中心との間に仮想スクリーンを設置し、予め保持されている地図情報と撮像画像とを仮想スクリーンに投影し、投影後の地図情報と投影後の撮像画像とをそれぞれ極座標形式に変換してから陸及び海に識別された画素の位置を手掛かりとして照合し地球中心方向ベクトル周りの姿勢角を算出する。【選択図】図１
2020015416.tif 000002
【特許請求の範囲】
【請求項１】
宇宙機に搭載した可視光用カメラによる地球の撮像画像から前記可視光用カメラの地球に対する３軸姿勢を決定する処理を行う画像処理装置であって、
前記可視光用カメラから前記撮像画像を取得する画像取得部と、前記撮像画像に対して画像処理を行う演算部と、を備え、
前記演算部は、
前記撮像画像より地球エッジをなす点群を検出し、検出した地球エッジを前記可視光用カメラの光学系の焦点を中心とする単位球に投影し、前記単位球上に投影された地球エッジを含む平面と前記焦点とに基づいて、前記焦点から地球の中心の方に向かうベクトルである地球中心方向ベクトルを算出し、
前記撮像画像内の各画素を少なくとも陸、海、その他に識別し、
前記焦点と地球の中心との間に、前記地球中心方向ベクトルを中心とする仮想スクリーンを設置し、予め保持されている少なくとも陸、海、その他に識別がされた地図情報と前記撮像画像とを前記仮想スクリーンに投影し、前記仮想スクリーンに投影後の前記地図情報と前記仮想スクリーンに投影後の前記撮像画像とをそれぞれ極座標形式に変換してから陸及び海に識別された画素の位置を手掛かりとして照合し、照合した結果に基づいて前記地球中心方向ベクトル周りの姿勢角を算出することを特徴とする画像処理装置。
【請求項２】
前記演算部は、
前記画像取得部の取得した撮像画像に対して、縦方向と横方向に、それぞれ、所定の画素間隔で探索を行い、輝度が不連続に変化する箇所の画素の位置から探索している方向に前記撮像画像の端まで画素値が所定の閾値以下である場合に、当該輝度が不連続に変化する箇所の画素の位置を抽出し、
抽出された画素群の中からランダムに３つの画素を選択する操作を所定の回数繰り返して行い、当該操作の各回において、選択された３つの画素が含まれる平面と前記光学系の焦点との距離を計算し、計算した当該距離と、予め保持されている地球の直径及び前記可視光用カメラの焦点の高度と、に基づいて当該選択された３つの画素を、地球エッジをなす点群に含めるか否か判定することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記演算部は、画素の色合いと明度を基準に特徴量を算出し、算出した特徴量を入力として学習済みニューラルネットワークを用いて、前記撮像画像内の各画素を、少なくとも陸、海、その他に識別することを特徴とする、請求項１に記載の画像処理装置。
【請求項４】
前記仮想スクリーンに投影後の地図情報と前記仮想スクリーンに投影後の撮像画像との照合は、陸及び海に識別された画素のうちで位置が一致した画素数から陸及び海に識別された画素のうちで位置が一致しなかった画素数を引いた値を陸及び海に識別された画素の総数で除した値である類似度に基づいて行うことを特徴とする、請求項１に記載の画像処理装置。
【請求項５】
前記演算部は、極座標形式に変換する前記地図情報の範囲を、ＧＰＳより取得された情報に基づいて得られた地球における前記宇宙機の直下の位置を中心とする近傍範囲に限定することを特徴とする、請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可視光用カメラを有する宇宙機向け地球センサにおいて、当該可視光用カメラの撮像画像から当該カメラの地球に対する３軸姿勢を検出するための画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
人工衛星の姿勢制御やアンテナの指向制御を行うために、地球に対する姿勢を検出する地球センサが知られている。非特許文献１から非特許文献３には、二酸化炭素層からの黒体輻射を赤外線センサで検出することにより地球のエッジ（地平線、水平線）を検出する地球センサが開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】立原裕司、他４名、「民生品赤外線センサを利用した小型衛星向け地球センサの開発」、第５６回宇宙科学技術連合講演会講演集、２０１２年１１月、３Ｍ１４
【非特許文献２】立原裕司、他５名、「民生品赤外線センサを利用した小型衛星向け地球センサの軌道上初期評価結果」、第５８回宇宙科学技術連合講演会講演集、２０１４年１１月、２Ｋ１２
【非特許文献３】立原裕司、他５名、「民生品赤外線センサを利用した小型衛星向け地球センサの１年間運用結果」、第５９回宇宙科学技術連合講演会講演集、２０１５年１０月、２Ｉ１５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１から非特許文献３に開示された地球センサは、赤外線センサを用いるので高価である。また、非特許文献１から非特許文献３に開示された地球センサでは、基本的に、地球に対する２軸姿勢しか検出できず、検出精度も低いという問題があった。こういったことから、より安価な可視光用カメラによる撮像画像から、地球に対する３軸姿勢を、高速で精度良く決定する技術が望まれていた。
【０００５】
本出願は、以上の背景に鑑みなされたものであり、可視光用カメラによる撮像画像から地球に対する３軸姿勢を決定するための画像処理を高速で精度良く行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施の形態に係る画像処理装置は、宇宙機に搭載した可視光用カメラによる地球の撮像画像から前記可視光用カメラの地球に対する３軸姿勢を決定する処理を行う画像処理装置であって、前記可視光用カメラから前記撮像画像を取得する画像取得部と、前記撮像画像に対して画像処理を行う演算部と、を備え、前記演算部は、前記撮像画像より地球エッジをなす点群を検出し、検出した地球エッジを前記可視光用カメラの光学系の焦点を中心とする単位球に投影し、前記単位球上に投影された地球エッジを含む平面と前記焦点とに基づいて、前記焦点から地球の中心の方に向かうベクトルである地球中心方向ベクトルを算出し、前記撮像画像内の各画素を少なくとも陸、海、その他に識別し、前記焦点と地球の中心との間に、前記地球中心方向ベクトルを中心とする仮想スクリーンを設置し、予め保持されている少なくとも陸、海、その他に識別がされた地図情報と前記撮像画像とを前記仮想スクリーンに投影し、前記仮想スクリーンに投影後の前記地図情報と前記仮想スクリーンに投影後の前記撮像画像とをそれぞれ極座標形式に変換してから陸及び海に識別された画素の位置を手掛かりとして照合し、照合した結果に基づいて前記地球中心方向ベクトル周りの姿勢角を算出することを特徴としている。
【０００７】
本発明の一実施の形態に係る画像処理装置によれば、仮想スクリーンに投影後の地図情報と仮想スクリーンに投影後の撮像画像とをそれぞれ極座標形式に変換してから陸及び海に識別された画素の位置を手掛かりとして照合する。このように、仮想スクリーンに投影後の地図情報及び仮想スクリーンに投影後の撮像画像を極座標形式に変換してから照合を行うことで、計算コストの高い回転変換を撮像画像に対して小刻みに繰り返す必要が無くなり、計算量を大幅に削減することができる。
【０００８】
また、前記演算部は、前記画像取得部の取得した撮像画像に対して、縦方向と横方向に、それぞれ、所定の画素間隔で探索を行い、輝度が不連続に変化する箇所の画素の位置から探索している方向に前記撮像画像の端まで画素値が所定の閾値以下である場合に、当該輝度が不連続に変化する箇所の画素の位置を抽出し、抽出された画素群の中からランダムに３つの画素を選択する操作を所定の回数繰り返して行い、当該操作の各回において、選択された３つの画素が含まれる平面と前記光学系の焦点との距離を計算し、計算した当該距離と、予め保持されている地球の直径及び前記可視光用カメラの焦点の高度と、に基づいて当該選択された３つの画素を、地球エッジをなす点群に含めるか否か判定することを特徴とするのが好ましい。このようにすることで、地球エッジの点群に、誤検出された画素を含まないようにすることができるので、地球中心方向ベクトルの検出精度を高めることができる。
【０００９】
また、前記演算部は、画素の色合いと明度を基準に特徴量を算出し、算出した特徴量を入力として学習済みニューラルネットワークを用いて、前記撮像画像内の各画素を、少なくとも陸、海、その他に識別することを特徴とするのが好ましい。このようにすることで、撮像画像内の各画素を少なくとも陸、海、その他に識別する処理の精度を高め、かつ、演算負荷を低減することができる。
【００１０】
また、前記仮想スクリーンに投影後の地図情報と前記仮想スクリーンに投影後の撮像画像との照合は、陸及び海に識別された画素のうちで位置が一致した画素数から陸及び海に識別された画素のうちで位置が一致しなかった画素数を引いた値を陸及び海に識別された画素の総数で除した値である類似度に基づいて行うことを特徴とするのが好ましい。計算が容易な類似度を基準に仮想スクリーンに投影後の地図情報と仮想スクリーンに投影後の撮像画像との照合を行うことで、照合の処理を高速で行うことができる。
【００１１】
また、前記演算部は、極座標形式に変換する前記地図情報の範囲を、ＧＰＳより取得された情報に基づいて得られた地球における前記宇宙機の直下の位置を中心とする近傍範囲に限定することを特徴とするのが好ましい。容易に得られるＧＰＳからの情報により、撮像画像と照合する地球地図の範囲を限定することで、照合処理を高速化することができ、３軸姿勢を決定するための画像処理をリアルタイムで実行することが可能になる。
【発明の効果】
【００１２】
本発明により、可視光用カメラによる撮像画像から地球に対する３軸姿勢を決定するための画像処理を高速で精度良く行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本実施の形態にかかる画像処理装置の概略構成について示すブロック図である。
【図２】地球カメラの撮像画像による３軸姿勢決定手法で用いる座標系について説明するための模式図である。
【図３】地球カメラの撮像画像による３軸姿勢決定手法で求める３軸姿勢パラメータを示す模式図である。
【図４】地球中心方向ベクトル周りの姿勢角を示す模式図である。
【図５】地球カメラの撮像画像による３軸姿勢決定手法の流れについて説明するフローチャートである。
【図６】撮像画像より地球エッジを検出する方法について説明する模式図である。
【図７】地球カメラの２軸姿勢決定方法の流れについて説明するフローチャートである。
【図８】地球中心方向ベクトルを決定する方法のイメージについて模式的に示す図である。
【図９】地球中心方向ベクトルを決定する方法のイメージについて模式的に示す図である。
【図１０】地球中心方向ベクトルを決定する方法のイメージについて模式的に示す図である。
【図１１】地球中心方向ベクトルを決定する方法のイメージについて模式的に示す図である。
【図１２】撮像画像における画像識別方法について説明する模式図である。
【図１３】撮像画像における画像識別方法の処理の流れを示すフローチャートである。
【図１４】ＨＳＶカラー画像について説明する模式図である。
【図１５】地球中心方向ベクトル周りの姿勢角を決定する方法について説明する模式図である。
【図１６】撮像画像と地図情報とを、同一座標空間上に投影するイメージを示す模式図である。
【図１７】撮像画像と地図情報とのマッチングの高速化の手法について具体的に説明する模式図である。
【発明を実施するための形態】
【００１４】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【００１５】
本実施の形態にかかる画像処理装置は、宇宙機に搭載した可視光用カメラによる地球の撮像画像から可視光用カメラの地球に対する３軸姿勢を決定する処理を行うものである。まず、本実施の形態にかかる画像処理装置の構成について説明する。
図１は、本実施の形態にかかる画像処理装置１の概略構成について示すブロック図である。図１に示すよう、画像処理装置１は、画像取得部２と、演算部３と、を備えている。画像取得部２は、姿勢センサの地球カメラ２０から撮像画像を取得し、演算部３に送る。ここで、地球カメラ２０は、光学系としてのレンズ２１及びバッフル（遮光環）２２、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ）等の撮像素子２３、Ａ／Ｄ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）コンバータ２４などを備える一般的な可視光用カメラである。演算部３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、画像取得部２から送られてきた撮像画像に対し所定の画像処理を行う。
【００１６】
次に、画像処理装置１において実行する画像処理で用いる、地球カメラ２０の撮像画像による３軸姿勢決定手法について説明する。
画像処理装置１において実行する画像処理で用いる、地球カメラ２０の撮像画像による３軸姿勢決定手法は、地球カメラ２０の地球に対する３軸姿勢を求めるものである。ここで、宇宙機に対する地球カメラ２０の取り付け姿勢は既知であるとする。また、地球の慣性座標系に対する姿勢は既にモデル化されているものとする。つまり、地球カメラ２０の地球に対する３軸姿勢を求めることで、宇宙機の慣性系に対する姿勢を算出することができる。
【００１７】
地球カメラ２０の撮像画像による３軸姿勢決定手法のアルゴリズムを実行するに当たっての前提条件は以下に示す通りである。
・地球の直径は既知であるとする。
・地球は真球とする（楕円性は無視できると仮定する）。
・宇宙機の位置（緯度・経度・高度などの三次元位置）はＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等で取得されるものとして、既知であるとする。
・地球カメラ２０において、焦点距離等のカメラに関するパラメータは事前のキャリブレーション等により既知であるとする。
【００１８】
ここで、地球カメラ２０は、対角画角が７５度程度の広角を想定しており、地球全体は視野に入らず、かつ、高確率で地球の輪郭（以下、「地球エッジ」という）が視野に入るものとする。
【００１９】
図２は、地球カメラ２０の撮像画像による３軸姿勢決定手法で用いる座標系について説明するための模式図である。３次元の物体をカメラで撮像し画像を得ることは、透視投影モデルによってモデル化することができる。図２に示すように、地球カメラ２０の光学系の焦点を原点とし、地球カメラ２０の視線方向（ｓｉｇｈｔ  ｄｉｒｅｃｔｉｏｎ）をＺ軸マイナス方向とした３次元直交座標系（Ｘ、Ｙ、Ｚ）を定める。以下、この３次元直交座標系（Ｘ、Ｙ、Ｚ）をカメラ座標系（Ｓｅｎｓｏｒ  ｃｏｏｒｄｉｎａｔｅ  ｓｙｓｔｅｍ）と呼ぶ。上述したように、宇宙機の大まかな位置はＧＰＳにより把握することができ、かつ、宇宙機に対する地球カメラ２０の取り付け姿勢も既知である。よって、ＧＰＳにより取得した宇宙機の大まかな位置から、カメラ座標系の大まかな位置を把握することができる。
【００２０】
光学系の焦点距離をｆとして、Ｚ＝−ｆの平面を考え、Ｘ、Ｙ軸方向にそれぞれ対応させて(ｘ、ｙ)の２次元座標系をとる。地球カメラ２０による撮像画像は、この平面に３次元の物体を投影したものとすることができる。ここで、３次元空間上の位置Ｐｉ＝（Ｘｉ、Ｙｉ、Ｚｉ）の物体は、画像内では、位置Ｐｉと原点とを結ぶ線と仮想投影面（Ｉｍａｇｉｎａｒｙ  ｓｃｒｅｅｎ）との交点であるｐｉ＝（ｘｉ、ｙｉ）に投影される。
画像上の位置ｐｉの座標は以下の（式１）で与えられる。
【００２１】
【数１】
2020015416.tif 000003
【００２２】
図３は、地球カメラ２０の撮像画像による３軸姿勢決定手法で求める３軸姿勢パラメータを示す模式図である。図３に示すように、地球カメラ２０の焦点、すなわちカメラ座標系の原点０から地球の中心の方に向かうベクトルである地球中心方向ベクトル（Ｎａｄｉｒ  ｖｅｃｔｏｒ）を、方位角（Ａｚｉｍｕｔｈ  ａｎｇｌｅ）θ及び仰角（Ｅｌｅｖａｔｉｏｎ  ａｎｇｌｅ）φの２つのパラメータで表す。ここで、方位角θは、地球中心方向ベクトルをｘ−ｚ平面に投影したときの、ｚ方向（視線方向）とのなす角である。仰角φは、地球中心方向ベクトルとｘ−ｚ平面とのなす角である。
【００２３】
図４は、地球中心方向ベクトル周りの姿勢角ψを示す模式図である。図４に示すように、地球中心方向ベクトル周りの姿勢角ψは、カメラ座標系のＹ軸と地球中心方向ベクトルとのなす面を基準面としたときに、当該基準面から地球中心方向ベクトルを軸とする軸周りの角である。地球中心方向ベクトル周りの姿勢角ψは、地球中心方向ベクトルを軸とする反時計周りの方向を正とする。
【００２４】
図５は、地球カメラ２０の撮像画像による３軸姿勢決定手法の流れについて説明するフローチャートである。図５に示すように、まず、画像取得部２において、地球カメラ２０による撮像画像を取得する（ステップＳ１）。続いて、演算部３において、取得した撮像画像より地球エッジを検出する（ステップＳ２）。なお、ステップＳ２における地球エッジ検出方法の詳細については後述する。続いて、演算部３において、撮像画像中に地球エッジが検出されたか否かを判定する（ステップＳ３）。ステップＳ３において地球エッジが検出されなかった場合（ＮＯの場合）は処理を終了する。
【００２５】
ステップＳ３において地球エッジが検出された場合（ＹＥＳの場合）、演算部３において、検出された地球エッジに基づいて地球中心方向ベクトルを決定する（ステップＳ４）。すなわち、ステップＳ４では、撮像画像から検出した地球エッジより、地球中心方向ベクトルを表す２つのパラメータである、方位角θと仰角φを決定する。これにより地球カメラ２０の地球に対する２軸姿勢が決定される。なお、ステップＳ４における２軸姿勢決定方法の詳細については後述する。
【００２６】
続いて、演算部３において、地球カメラ２０で得た撮像画像を解析し、陸／海と、雲等の外乱と、の識別（画像識別）を行う（ステップＳ５）。なお、ステップＳ５における画像識別方法の詳細については後述する。続いて、演算部３において、画像識別の結果に基づいて、撮像画像中に地球中心方向ベクトル周りの姿勢角ψを決定するために十分な陸／海があるか否かを判定する（ステップＳ６）。ステップＳ６において撮像画像中に地球中心方向ベクトル周りの姿勢角ψを決定するために十分な陸／海が無いと判定された場合（ＮＯの場合）、処理を終了する。
【００２７】
ステップＳ６において撮像画像中に地球中心方向ベクトル周りの姿勢角ψを決定するために十分な陸／海があると判定された場合（ＹＥＳの場合）、演算部３において、識別した陸及び海の位置を手掛かりに、地球中心方向ベクトル周りの姿勢角ψを決定する（ステップＳ７）。すなわち、地球中心方向ベクトルを軸とする軸周りの姿勢を決定する。地球中心方向ベクトルを軸とする軸周りの姿勢は、予め保持されている少なくとも陸、海、その他に識別がされた地図情報（地図データ）との照合により決定する。これにより、ステップＳ４で決定した地球カメラ２０の地球に対する２軸姿勢と合わせて、地球カメラ２０の地球に対する３軸姿勢が決定される。なお、ステップＳ７における地球中心方向ベクトル周りの姿勢角ψを決定する方法の詳細については後述する。
【００２８】
次に、図５のステップＳ２における地球エッジ検出方法の詳細について説明する。
図６は、撮像画像より地球エッジを検出する方法について説明する模式図である。図６に示すように、撮像画像における地球エッジの探索は、撮像画像の縦方向、横方向にそれぞれ複数回探索を行い、それぞれにおいて輝度値の勾配を検出する、という一般的なエッジ検出の手法により行う。エッジ検出では、画像の輝度が不連続に変化している箇所をエッジとして特定する。なお、処理時間を短縮するため、撮像画像の全画素の探索は行わず、撮像画像の縦方向、横方向に、それぞれ所定の画素間隔で探索を行う。縦方向、横方向の探索でそれぞれ特定した、輝度が不連続に変化する箇所の画素の位置を抽出し、抽出された画素群の少なくとも一部を点群として線で繋ぎ地球エッジを求める。
【００２９】
地球カメラ２０の撮像画像における地球エッジは、以下に示す特徴がある。
・地球エッジを境界とし、一方は深宇宙であり、画素値はほぼ０となる。
・縦横の探索において、地球エッジから撮像画像の端まではずっと深宇宙になる。このため、地球エッジを境界として深宇宙側にある行または列は、画素値がほぼ０になる。（ただし、恒星や惑星、太陽、月等が映り込むという例外もあり得る。）
【００３０】
上記２つの特徴を利用し、撮像画像中において、地球エッジとそれ以外のエッジを識別することができる。具体的には、横方向の探索の場合、まず、検出したエッジから、左方向へ所定の距離Ｌ内にある画素群、及び、右方向へ所定の距離Ｌ内にある画素群について、それぞれ画素値が閾値s以下か否かを判定する。そして、上記判定で画素群の画素値が閾値s以下であった方向について、当該エッジから撮像画像の端まで全ての画素の画素値が閾値s以下であるか否かを判定する。当該エッジから撮像画像の端まで全ての画素の画素値が閾値s以下である場合に当該エッジは地球エッジであるとみなす。
【００３１】
縦方向の探索の場合も横方向の探索の場合と同様にする。すなわち、まず、検出したエッジから、上方向へ所定の距離Ｌ内にある画素群、及び、下方向へ所定の距離Ｌ内にある画素群について、それぞれ画素値が閾値s以下か否かを判定する。そして、上記判定で画素群の画素値が閾値s以下であった方向について、当該エッジから撮像画像の端まで全ての画素の画素値が閾値s以下であるか否かを判定する。当該エッジから撮像画像の端まで全ての画素の画素値が閾値s以下である場合に当該エッジは地球エッジであるとみなす。
【００３２】
次に、図８から図１１を参照して、図５のステップＳ４における２軸姿勢決定方法の詳細について説明する。なお、以下の説明では、図１についても適宜参照する。
【００３３】
図７は、２軸姿勢決定方法の流れについて説明するフローチャートである。図８から図１１は、地球中心方向ベクトルを決定する方法のイメージについて模式的に示す図である。
【００３４】
図７に示すように、まず、地球エッジを、光学系の焦点、すなわちカメラ座標系の原点を中心とする単位球上に投影する（ステップＳ１０１）。つまり、図８に示すように撮像画像中の地球エッジ（Ｅａｒｔｈ  ｅｄｇｅ  ｏｎ  ｐｉｃｔｕｒｅ）を単位球（ｕｎｉｔ  ｓｐｈｅｒｅ）上に投影する。単位球上に投影された地球エッジ（Ｅａｒｔｈ  ｅｄｇｅ  ｐｒｏｊｅｃｔｅｄ  ｏｎ  ｕｎｉｔ  ｓｐｈｅｒｅ）上の点は、上述の式(１)を逆に用いて、式（２）のように表すことができる。
【００３５】
【数２】
2020015416.tif 000004
【００３６】
再び図７を参照し、ステップＳ１０１に続いて、地球エッジを形成する点群のうち、もっともらしいものを選別する（ステップＳ１０２）。上述したように、演算部３は、撮像画像に対して、縦方向と横方向に、それぞれ、所定の画素間隔で探索を行い、輝度が不連続に変化する箇所の画素の位置から探索している方向に撮像画像の端まで画素値が所定の閾値以下である場合に、当該輝度が不連続に変化する箇所の画素の位置を抽出する。しかし、このように抽出した画素の位置のうち、地球エッジ上にないものが誤検出される可能性もある。誤検出された画素の位置が地球エッジの点群に含まれれば、最小二乗法の精度が低下し、地球中心方向ベクトルの検出精度が低下する。
【００３７】
そこで、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）アルゴリズムに基づいて外れ値の除去を行う。すなわち、演算部３（図１参照）は、抽出された画素群の中からランダムに３つの画素を選択する操作を所定の回数繰り返して行う。そして、演算部３は、当該操作の各回において、選択された３つの画素が含まれる平面と光学系の焦点との距離を計算し、計算した当該距離と、予め保持されている地球の直径及び前記地球カメラの焦点の高度と、に基づいて当該選択された３つの画素を、地球エッジをなす点群に含めるか否か判定する。このようにすることで、地球エッジの点群に、誤検出された画素を含まないようにすることができるので、地球中心方向ベクトルの検出精度を高めることができる。
【００３８】
図９に示すように、単位球の円から単位球の原点（すなわち、カメラ座標系の原点、光学系の焦点）までの距離Ｄは、地球の直径と単位球の原点の高度から一意に定まる。なお、上述したように、カメラ座標系の原点、すなわち単位球の原点の高度はＧＰＳにより得られる。仮に、ランダムに選択された３つの画素が地球エッジをなすとすれば、当該ランダムに選択された３つの画素が含まれる平面は単位球の円が含まれる平面に一致するはずである。当該ランダムに選択された３つの画素が含まれる平面と単位球の原点との距離Ｄｃを計算し、距離Ｄｃと距離Ｄとの差の絶対値が閾値以下になる場合、当該ランダムに選択された３つの画素を、地球エッジをなす点群に含めるようにする。
【００３９】
再び図７を参照し、ステップＳ１０２に続いて、単位球上に投影した地球エッジを延長し、単位球上に円を描く（ステップＳ１０３）。単位球上に描かれる円は、ステップＳ１０２で選ばれた地球エッジの点群が全て含まれる平面と単位球との交線である。図１０には、単位球上に描かれた円のうち、単位球上の地球エッジを延長した部分を破線で示す。
【００４０】
再び図７を参照し、ステップＳ１０３に続いて、地球中心方向ベクトルを算出する（ステップＳ１０４）。図１１に示すように、単位球の原点ＯとステップＳ１０３で単位球上に描かれた円の中心点Ｃとを結んだベクトルＯＣが地球中心方向ベクトルである。
【００４１】
なお、ベクトルＯＣは単位球面上の円への垂線であるので、地球中心方向ベクトルは、単位球の原点から地球エッジを含む平面への垂線として求めることもできる。すなわち、以下に示す式（３）の最小二乗解を求めれば、ベクトル（ａ、ｂ、ｃ）Ｔが地球中心ベクトルとなるから、以下の式（４）、（５）により地球中心方向ベクトルを表す２つのパラメータである、方位角θと仰角φを算出することができる。
【００４２】
【数３】
2020015416.tif 000005
【００４３】
【数４】
2020015416.tif 000006
【００４４】
以上で説明した処理フローにより、複雑なフィッチングをすることなく、単純な計算によって地球中心方向を求め、地球カメラ２０の２軸姿勢を決定することができる。
【００４５】
次に、図１２から図１４を参照して、図５のステップＳ５における画像識別方法の詳細について説明する。なお、以下の説明では、図１についても適宜参照する。
図１２は、画像識別方法について説明する模式図である。図１２に示すように、本画像識別方法では、スライディングウィンドウ法によって撮像画像の全域をスキャンし、識別対象の撮像画像中における位置を検出する。スライディングウィンドウ法では、画像の一部分にウィンドウ（ｗｉｎｄｏｗ）を設定し、それをスライドさせながら画像の各領域を切出しする。そして、切り出した各領域に対して学習済みのニューラルネットワーク（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いて識別を行う。
【００４６】
撮像画像中に地球中心方向ベクトル周りの姿勢角ψを決定するためには、撮像画像において、少なくとも、陸／海／その他(雲など)の３つに識別できればよい。よって、学習済みのニューラルネットワークは、少なくとも、陸／海／その他(雲など)の３つに識別できるように学習させたものである。ただし、小規模ネットワークにおいては出力を細かく刻んだ方が識別精度を向上させることができるという実験結果がある。これを踏まえて、学習済みのニューラルネットワークは、撮像画像を、厚雲（Ｔｈｉｃｋ  Ｃｌｕｕｄ）、海（Ｓｅａ）、黄砂漠（Ｙｅｌｌｏｗ  Ｄｅｓｅｒｔ）、森（Ｆｏｒｅｓｔ）、薄雲、キリ雲、赤砂漠、黒陸、都市、宇宙の１０クラスに識別することができるように学習させたものとするのが好ましい。
【００４７】
ところで、地球カメラ２０による撮像画像は、宇宙機の真下に当たる領域と、地平線付近の領域とで、同じ物体でも形状と分解能が大きく異なるという特徴がある。従って、撮像画像における物体識別では、形状情報ではなく、色合いや明度といった色情報を利用するのが有効である。例えば、海、森、黄砂漠を識別しようとすれば、それぞれ、青色、緑色、黄色といったように、多少の明るさの違いは無視して色合いによって識別する。また、同じ無色であっても、極端に暗いところは黒陸、明るいところは雲といったように明度によって識別する。
【００４８】
図１３は、本画像識別方法の処理の流れを示すフローチャートである。図１３に示すように、まず、演算部３において、所定のサイズのウィンドウにより撮像画像を切り出す（ステップＳ２０１）。
【００４９】
ステップＳ２０１に続いて、演算部３において、切り出したウィンドウにおける特徴量を算出する（ステップＳ２０２）。上述したように、撮像画像における物体識別には色合いや明度といった色情報を利用するのが有効であるので、特徴量を、色合いや明度といった色情報を表現するように設計する。撮像画像がＲＧＢである場合、切り出したウィンドウ内の各画素において、それぞれ、画素値と画素の位置情報が存在する。しかし、画素の位置情報は物体識別に有意な情報ではないので、ニューラルネットワークの識別器には、カラーヒストグラムという形で入力する。カラーヒストグラムを計算するためには、撮像画像をＲＧＢからＨＳＶへと変換する必要がある。よって、ステップＳ２０２では、切り出したウィンドウにおける特徴量の算出として、切り出したウィンドウにおけるカラー画像をＲＧＢからＨＳＶへと変換し、カラーヒストグラムを計算する。
【００５０】
図１４は、ＨＳＶカラー画像について説明する模式図である。図１４に示すように、ＨＳＶ画像は、色相(Ｈｕｅ)、彩度(Ｓａｔｕｒａｔｉｏｎ)、明度(Ｖａｌｕｅ)によって色を表す。撮像画像は、通常、（Ｒ、Ｇ、Ｂ)の各色の輝度値で表されるため、ＲＧＢ画像からＨＳＶ画像への変換を行う必要がある。ＲＧＢ画像からＨＳＶ画像への変換は、ＲＧＢ色空間からＨＳＶ色空間への非線形座標変換である。ＲＧＢからＨＳＶへの変換は、以下の式により行うことができる。なお、式中のＲ、Ｇ、Ｂ、Ｈ、Ｓ、Ｖは、全て[０、１]の範囲の値とする。
【００５１】
【数５】
2020015416.tif 000007
【００５２】
再び図１３を参照し、ステップＳ２０２に続いて、演算部３において、撮像画像のウィンドウに対する特徴量を画素の色合いと明度にするために、ＨＳＶ変換した後のカラーヒストグラムを入力とし、学習済みニューラルネットワークを用いた画像識別を行う（ステップＳ２０３）。１つの画像領域の識別が終わったら、ウィンドウを隣に移して、次の画素領域の識別を行うようにする。続いて、演算部３において、撮像画像の全域において識別が完了したか否かを判定する（ステップＳ２０４）。ステップＳ２０４において撮像画像の全域において識別が完了していないと判定された場合（ＮＯの場合）、処理をステップＳ２０１に戻す。ステップＳ２０４において撮像画像の全域において識別が完了したと判定された場合（ＹＥＳの場合）、演算部３において、１０クラスに識別した画像を、陸／海／その他(雲等)の３クラスに集約し（ステップＳ２０５）、処理を終了する。
【００５３】
以上より、本画像識別方法では、演算部３において、画素の色合いと明度を基準に特徴量を算出し、算出した特徴量を入力として学習済みニューラルネットワークを用いて、撮像画像内の各画素を、少なくとも陸、海、その他に識別する。このようにすることで、撮像画像内の各画素を少なくとも陸、海、その他に識別する処理の精度を高め、かつ、演算負荷を低減することができる。
【００５４】
次に、図１５から図１７を参照して、図５のステップＳ７における地球中心方向ベクトル周りの姿勢角ψを決定する方法の詳細について説明する。
図１５は、地球中心方向ベクトル周りの姿勢角ψを決定する方法について説明する模式図である。図１５に示すように、陸／海／その他に識別した、識別後の撮像画像と、陸／海としてデータベース化して予め保持されている地図情報との照合（マッチング）を行う。マッチングの手法としては、大きく分けて、特徴ベースマッチングと領域ベースマッチングがあるが、ここでは領域ベースマッチングを選択する。
【００５５】
特徴ベースマッチングでは、画像からエッジやコーナー等の特徴点を抽出し、その周囲の領域から特徴量を計算することで画像間のマッチングを行う。一方、領域ベースマッチングでは、探索したい画像をテンプレートとして用意し、探索対象の画像と逐一比較を行うことで類似領域を見つけ出す。本方法で特徴ベースマッチングを用いない理由は、地球カメラ２０による撮像画像には雲等の外乱があるため、例えば、海岸線のみ全て雲に覆われている場合、撮像画像内に陸／海ともに十分存在していても地球中心方向ベクトル周りの姿勢角ψを決定できない状況が考えられるからである。
【００５６】
領域ベースマッチングでは、極座標空間上において、姿勢角ψに関し、地図情報と撮像画像の相互相関関数を用いて類似度を評価し、相互相関関数の最大となるところを撮像方向と決定する。本実施の形態では、地図情報と撮像画像の相互相関関数である類似度Ｒを以下の式（９）で定義し、この類似度Ｒが最大となるような姿勢パラメータを求める。式（９）中において、「陸／海が一致した画素数」とは、撮像画像内における陸及び海に識別された画素のうちで位置が一致した画素数を意味する。「陸／海が一致しなかった画素数」とは、撮像画像内における陸及び海に識別された画素のうちで位置が一致しなかった画素数を意味する。「撮像画像内の陸／海の画素数の和」とは、撮像画像内における陸及び海に識別された画素の総数を意味する。なお、雲や氷雪といった、陸／海以外の「その他」に識別された領域、もしくは認識信頼度が低い領域は、類似度Ｒの計算には含めない。計算が容易な類似度Ｒを基準に仮想スクリーンに投影後の地図情報と仮想スクリーンに投影後の撮像画像との照合を行うことで、照合の処理を高速で行うことができる。
【００５７】
【数６】
2020015416.tif 000008
【００５８】
地球を地球カメラ２０で撮像したとき、その陸地形状は大きく歪むため、例えばメルカトル図法で予め保持されている地図情報と直接照合することは困難である。そこで、撮像画像と地図情報の両方を、同一座標空間上に投影した上でマッチングを行う。
【００５９】
図１６は、撮像画像と地図情報とを、同一座標空間上に投影するイメージを示す模式図である。図１６に示すように、まず、カメラ座標系原点と地球中心の間に、地球中心方向ベクトル（Ｎａｄｉｒ  ｖｅｃｔｏｒ）を中心とする仮想スクリーン（Ｉｍａｇｉｎａｒｙ  ｓｃｒｅｅｎ）を設置する。そして、仮想スクリーンに撮像画像（Ｐｉｃｔｕｒｅ）と地球（Ｅａｒｔｈ）の地図情報の双方を投影（Ｐｒｏｊｅｃｔｉｏｎ）する。
【００６０】
宇宙機から地球カメラ２０により撮像された撮像画像には地平線までしか映らない。このため、撮像画像に写り得る範囲の地図情報を仮想スクリーンに投影すれば、図１５に示すように、仮想スクリーンに投影後の地図情報は円形になる。この円形の中心を軸として、仮想スクリーンに投影後の撮像画像を回転させて、投影後の地図情報と投影後の撮像画像とのマッチングを行う。両画像が一致したときの地球中心方向ベクトル周りに回転させた角度ψＰが、すなわち、地球中心方向ベクトル周りの姿勢角ψである。このようにすることで、地球中心方向ベクトル周りの姿勢角ψを決定することができる。
【００６１】
次に、撮像画像と地図情報とのマッチングの高速化の手法について説明する。
上述したように、ＧＰＳにより宇宙機の大まかな位置を把握することができる。また、宇宙機の大まかな位置より、地球における宇宙機の直下の大まかな位置を把握することができる。演算部３（図１参照）は、予め保有された地図情報の探索範囲を、ＧＰＳにより取得された、地球における宇宙機の直下の位置を中心とする近傍範囲に限定する。地図情報における、当該近傍範囲を、宇宙機の直下の位置を原点とする極座標形式に変換する。また、撮像画像を、カメラ座標系の原点、すなわち光学系の焦点を中心とする極座標形式に変換する。撮像画像と地図情報とのマッチングは、極座標形式に変換後の地図情報と撮像画像とにより行う。このように、容易に得られるＧＰＳからの情報により、撮像画像と照合する地球地図の範囲を限定することで、照合処理を高速化することができ、３軸姿勢を決定するための画像処理をリアルタイムで実行することが可能になる。
【００６２】
図１７は、撮像画像と地図情報とのマッチングの高速化の手法について具体的に説明する模式図である。図１７に示すように、仮想スクリーンに投影後の地図情報及び仮想スクリーンに投影後の撮像画像は、地球の半径ｒと地球中心方向ベクトル周りに回転させた角度ψＰの極座標形式で保持する。このように、仮想スクリーンに投影後の地図情報及び仮想スクリーンに投影後の撮像画像を極座標形式に変換してからマッチングを行うことで、計算コストの高い回転変換を撮像画像に対して小刻みに繰り返す必要が無くなり、計算量を大幅に削減することができる。
【００６３】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００６４】
１  画像処理装置
２  画像取得部
３  演算部
２０  地球カメラ
２１  レンズ
２３  撮像素子
２４  Ａ／Ｄコンバータ
【図１】
2020015416.tif 000009
【図２】
2020015416.tif 000010
【図３】
2020015416.tif 000011
【図４】
2020015416.tif 000012
【図５】
2020015416.tif 000013
【図６】
2020015416.tif 000014
【図７】
2020015416.tif 000015
【図８】
2020015416.tif 000016
【図９】
2020015416.tif 000017
【図１０】
2020015416.tif 000018
【図１１】
2020015416.tif 000019
【図１２】
2020015416.tif 000020
【図１３】
2020015416.tif 000021
【図１４】
2020015416.tif 000022
【図１５】
2020015416.tif 000023
【図１６】
2020015416.tif 000024
【図１７】
2020015416.tif 000025