(57)【要約】【課題】特許文献１および２に開示の発明とは全く異なる構成により、パララックスにより生じた画像のずれを補正することが可能な画像補正装置の提供。【解決手段】画像補正装置１は、複数個のリニアアレイセンサ１１および１２と、リニアアレイセンサ１１および１２が搭載される飛翔体の飛行データおよび飛行する地形データが格納されるデータ格納部１３と、データ格納部１３に格納される飛行データおよび地形データに基づき、各リニアアレイセンサから地表までの距離を計算し、得られた距離に基づき、基準となるリニアアレイセンサで撮像された画像に対する他のリニアアレイセンサで撮像された画像の画像シフト量を計算して画像シフトを行う画像シフト部１４と、画像シフト部１４にて画像シフト後の画像を合成する画像合成部１５とを含む。【選択図】      図１
2010079328.tif 000002
【特許請求の範囲】
【請求項１】
複数個のリニアアレイセンサと、
前記リニアアレイセンサが搭載される飛翔体の飛行データおよび飛行する地形データが格納されるデータ格納部と、
前記データ格納部に格納される飛行データおよび地形データに基づき、各リニアアレイセンサから地表までの距離を計算し、得られた距離に基づき、基準となるリニアアレイセンサで撮像された画像に対する他のリニアアレイセンサで撮像された画像の画像シフト量を計算して画像シフトを行う画像シフト部と、
前記画像シフト後の画像を合成する画像合成部とを含むことを特徴とする画像補正装置。
【請求項２】
前記リニアアレイセンサの各々は並列に配置され、異なる波長帯の観測を行うことを特徴とする請求項１記載の画像補正装置。
【請求項３】
プッシュブルームスキャン方式により地表がスキャンされることを特徴とする請求項１または２記載の画像補正装置。
【請求項４】
複数個のリニアアレイセンサと、
前記リニアアレイセンサが搭載される飛翔体の飛行データおよび飛行する地形データが格納されるデータ格納部とを含む画像補正装置における画像補正方法であって、
前記データ格納部に格納される飛行データおよび地形データに基づき、各リニアアレイセンサから地表までの距離を計算する距離計算ステップと、
前記距離計算ステップで計算される距離に基づき、基準となるリニアアレイセンサで撮像された画像に対する他のリニアアレイセンサで撮像された画像の画像シフト量を計算して画像シフトを行う画像シフトステップと、
前記画像シフト後の画像を合成する画像合成ステップとを含むことを特徴とする画像補正方法。
【請求項５】
前記リニアアレイセンサの各々は並列に配置され、異なる波長帯の観測を行うことを特徴とする請求項４記載の画像補正方法。
【請求項６】
プッシュブルームスキャン方式により地表がスキャンされることを特徴とする請求項４または５記載の画像補正方法。
【請求項７】
複数個のリニアアレイセンサと、前記リニアアレイセンサが搭載される飛翔体の飛行データおよび飛行する地形データが格納されるデータ格納部とを含む画像補正装置における画像補正方法のプログラムであって、
コンピュータに、前記データ格納部に格納される飛行データおよび地形データに基づき、各リニアアレイセンサから地表までの距離を計算する距離計算ステップと、
前記距離計算ステップで計算される距離に基づき、基準となるリニアアレイセンサで撮像された画像に対する他のリニアアレイセンサで撮像された画像の画像シフト量を計算し、画像シフトを行う画像シフトステップと、
前記画像シフト後の画像を合成する画像合成ステップとを実行させるためのプログラム。
【請求項８】
前記リニアアレイセンサの各々は並列に配置され、異なる波長帯の観測を行うことを特徴とする請求項７記載のプログラム。
【請求項９】
プッシュブルームスキャン方式により地表がスキャンされることを特徴とする請求項７または８記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正装置およびその補正方法に関し、特にリニアアレイセンサを用いて航空画像あるいは衛星画像を取得する画像補正装置およびその補正方法に関する。
【背景技術】
【０００２】
航空画像あるいは衛星画像取得の手段として、リニアアレイセンサを用いたプッシュブルームスキャン方式が多く採用されている（たとえば、非特許文献１参照）。
【０００３】
また、プッシュブルームスキャン方式の原理が非特許文献２に開示されている。
【０００４】
図５は本発明に関連する画像撮影装置の一例の模式説明図である。同図を参照すると、画像撮影装置の一例はリニアアレイセンサ５１と、光学系５２とを含んでいる。
【０００５】
同図を参照すると、リニアアレイセンサ５１が航空機あるいは衛星などのプラットフォームに搭載され、プラットフォームの移動とともに光学系５２を介して地表（スキャンライン５３）をスキャンする。
【０００６】
通常、リニアアレイセンサ５１は複数個並列に配置され、それぞれのセンサは異なる波長帯の観測を行う。
【０００７】
リニアアレイセンサ５１は１次元センサであるため、空間分解能を高めやすいこと、そしてリニアアレイセンサ５１を用いたプッシュブルームスキャン方式はセンサに可動部がなく信頼性が高いことが特徴である。
【０００８】
また、図６は関連する画像撮影装置においてリニアアレイセンサを３個並列に配置した場合（リニアアレイセンサ６１〜６３）を示す図である。すなわち、リニアアレイセンサ６１が光学系５２を介してスキャンするラインがスキャンライン７１、リニアアレイセンサ６２が光学系５２を介してスキャンするラインがスキャンライン７２、リニアアレイセンサ６３が光学系５２を介してスキャンするラインがスキャンライン７３となる。
【０００９】
図７は関連する画像撮影装置の課題を説明するための模式説明図である。
【００１０】
同図を参照すると、画像撮像装置８０はリニアアレイセンサ８１および８２と、光学系８３とを含んでおり、地表面９０の上方を図面の右から左方向へ移動する場合を示している。
【００１１】
リニアアレイセンサ８１は光学系８３を介して地表面９０のスキャンライン９１をスキャンする。また、リニアアレイセンサ８２は光学系８３を介して地表面９０のスキャンライン９２をスキャンする。
【００１２】
一方、リニアアレイセンサ８１と８２は同位置に配置されるのではなく、間隔ｄ１を有して並列に配置されるため、スキャンライン９１と９２との間にも間隔ｄ２が生じることになる。
【００１３】
すなわち、リニアアレイセンサを用いたプッシュブルームスキャン方式の問題は、リニアアレイセンサが複数個搭載されていた場合に、それぞれのリニアアレイセンサがある瞬間に撮像する範囲（スキャンライン）がわずかに異なるというパララックス（ｐａｒａｌｌａｘ）の存在である。
【００１４】
図８は関連する画像撮影装置のパララックスによる色ずれの一例を示す模式説明図である。
【００１５】
同図を参照すると、リニアアレイセンサ８１で撮像された２次元画像“Ａ”（同図（ａ）参照）と、リニアアレイセンサ８２で撮像された２次元画像“Ａ”（同図（ｂ）参照）とを合成すると、両“Ａ”間に間隔ｄ３のずれが発生する（同図（ｃ）参照）。このずれがパララックスであり、色ずれの要因となる。
【００１６】
すなわち、複数のリニアアレイセンサが異なる波長帯の観測を行い、それぞれのセンサ出力を合成してマルチバンド画像やハイパースペクトル画像を得るシステムの場合、パララックスがあると合成した画像に色ずれが発生するという課題がある。
【００１７】
一方、このパララックスによる色ずれを防止するための発明が特許文献１および２に開示されている。
【００１８】
特許文献１開示の発明は画像データのみで画像取得センサそのものの姿勢変動を抽出し、パララックス歪を除去するというものである。
【００１９】
具体的には、画像取得装置の光学系結像面に第１の検出器とこれに近接して衛星の進行に伴いやや時間遅れをもって画像を取得する第２の検出器を設ける。第１の検出器から得られる画像中に第２の検出器から得られる画像の対応点を見つけ出すことにより、第１の検出器が画像を取得してから第２の検出器が画像を取得するまでの時間の間に生ずる姿勢の変化分を算出し、これを積分することにより画像取得装置の姿勢の変動を算出する。
【００２０】
また、特許文献２開示の発明は赤、緑、青の３つのセンサとは別個にレンジセンサを設け、このレンジセンサでレンズと撮像対象との距離を計測し、その計測結果に基づきパララックスを補正するというものである。
【００２１】
具体的には、まず、レンジセンサと光学および撮像系によって撮像対象の三次元物体の距離画像およびカラー画像を獲得する（Ｓ１）。次に、レンジセンサと光学系のレンズの配置から距離画像の位置補正を行いカラー画像と同一位置に配置する（Ｓ２）。
【００２２】
次に、カラー画像または距離画像の解像度に従い全ての画素に対して、距離画像の値に従って赤、緑、青それぞれの画素におけるずれを計算し（Ｓ３）、計算した各々のずれの分だけずれた位置の画素を赤、緑、青の画素ごとに引き出して合成する（Ｓ４）。最後に、カラー画像を出力する（Ｓ５）。
【００２３】
【特許文献１】特開平０５−０９４５１４号公報
【特許文献２】特開平０７−２９６１４３号公報
【非特許文献１】「デジタル写真測量の理論と実践」、日本測量協会、第４章「スリーラインスキャナによる計測理論」
【非特許文献２】「改訂版  図解リモートセンシング」、日本測量協会、第２章「プッシュブルームスキャナ」
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかし、非特許文献１および２開示の発明では、パララックスによる色ずれが発生するという課題がある。
【００２５】
一方、特許文献１および２にこの課題を解決するための発明が開示されているが、特許文献１開示の発明では通常の光電変換検出器列（第１の検出器）のほかにもう一つの検出器列（第２の検出器）を設ける必要があり、特許文献２開示の発明では赤、緑、青の３つのセンサとは別個にレンジセンサを設ける必要があるという欠点がある。
【００２６】
そこで本発明の目的は、特許文献１および２に開示の発明とは全く異なる構成により、パララックスにより生じた画像のずれを補正することが可能な画像補正装置およびその補正方法を提供することにある。
【課題を解決するための手段】
【００２７】
前記課題を解決するために本発明による画像補正装置は、複数個のリニアアレイセンサと、前記リニアアレイセンサが搭載される飛翔体の飛行データおよび飛行する地形データが格納されるデータ格納部と、前記データ格納部に格納される飛行データおよび地形データに基づき、各リニアアレイセンサから地表までの距離を計算し、得られた距離に基づき、基準となるリニアアレイセンサで撮像された画像に対する他のリニアアレイセンサで撮像された画像の画像シフト量を計算して画像シフトを行う画像シフト部と、前記画像シフト後の画像を合成する画像合成部とを含むことを特徴とする。
【００２８】
また、本発明による画像補正方法は、複数個のリニアアレイセンサと、前記リニアアレイセンサが搭載される飛翔体の飛行データおよび飛行する地形データが格納されるデータ格納部とを含む画像補正装置における画像補正方法であって、前記データ格納部に格納される飛行データおよび地形データに基づき、各リニアアレイセンサから地表までの距離を計算する距離計算ステップと、前記距離計算ステップで計算される距離に基づき、基準となるリニアアレイセンサで撮像された画像に対する他のリニアアレイセンサで撮像された画像の画像シフト量を計算し、画像シフトを行う画像シフトステップと、前記画像シフト後の画像を合成する画像合成ステップとを含むことを特徴とする。
【００２９】
また、本発明によるプログラムは、複数個のリニアアレイセンサと、前記リニアアレイセンサが搭載される飛翔体の飛行データおよび飛行する地形データが格納されるデータ格納部とを含む画像補正装置における画像補正方法のプログラムであって、コンピュータに、前記データ格納部に格納される飛行データおよび地形データに基づき、各リニアアレイセンサから地表までの距離を計算する距離計算ステップと、前記距離計算ステップで計算される距離に基づき、基準となるリニアアレイセンサで撮像された画像に対する他のリニアアレイセンサで撮像された画像の画像シフト量を計算し、画像シフトを行う画像シフトステップと、前記画像シフト後の画像を合成する画像合成ステップとを実行させるためのプログラムであることを特徴とする。
【発明の効果】
【００３０】
本発明によれば、特許文献１および２に開示の発明とは全く異なる構成により、パララックスにより生じた画像のずれを補正することが可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施形態について添付図面を参照しながら説明する。まず、第１実施形態について説明する。
【００３２】
図１は本発明に係る画像補正装置の第１実施形態の構成図である。同図を参照すると、本発明に係る画像補正装置１の第１実施形態は、複数個（本実施形態では２個）のリニアアレイセンサ（リニアアレイセンサ画像入力部）１１および１２を含んでいる。
【００３３】
さらに画像補正装置１は、リニアアレイセンサ１１および１２が搭載される飛翔体の飛行データおよび飛行する地形データが格納されるデータ格納部（地形データおよび飛行データ保存部）１３を含んでいる。
【００３４】
さらに画像補正装置１は、データ格納部１３に格納される飛行データおよび地形データに基づき、各リニアアレイセンサから地表までの距離を計算し、得られた距離に基づき、基準となるリニアアレイセンサで撮像された画像に対する他のリニアアレイセンサで撮像された画像の画像シフト量を計算して画像シフトを行う画像シフト部１４を含んでいる。
【００３５】
さらに画像補正装置１は、画像シフト部１４にて画像シフト後の画像を合成する画像合成部１５を含んでいる。
【００３６】
なお、リニアアレイセンサは２個に限定されるものではなく、３個以上設けることも可能である。
【００３７】
また、データ格納部１３には、画像補正装置１が搭載される航空機あるいは衛星などの飛翔体（プラットフォーム）の飛行データおよび飛行する地形データが格納される。
【００３８】
前述のとおり、リニアアレイセンサが複数個搭載されていた場合に、それぞれのリニアアレイセンサがある瞬間に撮像する範囲（スキャンライン）はわずかに異なる。これは各々のリニアアレイセンサから地表までの距離が異なることと同義である。
【００３９】
そこで、本発明ではこの距離をデータ格納部に格納された飛行データおよび地形データに基づき計算し、得られた距離に基づき、基準となるリニアアレイセンサで撮像された画像に対する他のリニアアレイセンサで撮像された画像の画像シフト量を計算して画像シフトを行い、画像シフト後の画像を合成する。
【００４０】
これにより、パララックスの解消が可能となる。
【００４１】
次に、図２を参照して、第１実施形態の動作について詳細に説明する。図２は本発明の第１実施形態の動作を示すフローチャートである。
【００４２】
まず、リニアアレイセンサ１１が画像Ａを読み込む（ステップＳ１）。
【００４３】
次に、リニアアレイセンサ１２が画像Ｂを読み込む（ステップＳ２）。
【００４４】
次に、画像シフト部１４がデータ格納部１３から地形データおよび飛行データを読み込む（ステップＳ３）。
【００４５】
さらに、画像シフト部１４は読み込んだ地形データおよび飛行データから各リニアアレイセンサから地表までの距離（撮影距離）を計算する（ステップＳ４）。
【００４６】
さらに、画像シフト部１４は計算した距離（撮影距離）から画像シフト量を計算し、画像シフトを行う（ステップＳ５）。
【００４７】
最後に、画像合成部１５が画像Ａおよび画像Ｂを合成する（ステップＳ６）。
【００４８】
図３は本発明の第１実施形態の効果を示す模式説明図である。
【００４９】
同図を参照すると、リニアアレイセンサ１１で撮像された２次元画像“Ａ”（同図（ａ）参照）と、リニアアレイセンサ１２で撮像された２次元画像をシフトさせた２次元画像“Ａ”（同図（ｂ）参照）とを合成すると、両２次元画像“Ａ”は等しい位置に合成される（同図（ｃ）参照）。
【００５０】
以上説明したように、本発明の第１実施形態によれば、撮影距離に応じて画像シフトが行われパララックスが相殺されるため、合成された画像には色ずれが存在しないという効果を奏する。
【００５１】
次に、本発明の第２実施形態について説明する。第２実施形態は本発明の補正方法を実行するためのプログラムに関するものである。
【００５２】
図４は本発明に係る画像補正装置の第２実施形態の構成図である。同図を参照すると、画像補正装置２は図１（第１実施形態）の構成に制御部１６およびプログラム格納部１７を追加した構成となっている。したがって、図１と同様の構成部分については同様の番号を付し、その説明を省略する。
【００５３】
制御部１６はリニアアレイセンサ１１および１２と、データ格納部１３と、画像シフト部１４と、画像合成部１５とを制御する。なお、現実には制御部１６とこれらの部位１１〜１５とを接続する接続線が存在するが、便宜上図示を省略している。
【００５４】
また、プログラム格納部１７には図２にフローチャートで示す補正方法のプログラムが格納されている。
【００５５】
制御部１６はプログラム格納部１７から補正方法のプログラムを読出し、そのプログラムにしたがって各部位１１〜１５を制御する。その制御内容については既に述べたのでここでの説明は省略する。
【００５６】
以上説明したように、本発明の第２実施形態によれば、パララックスにより生じた画像のずれを補正することが可能なプログラムが得られる。
【産業上の利用可能性】
【００５７】
本発明によれば、色ずれのないリニアセンサ画像を作成できるため、航空画像や衛星画像を用いたリモートセンシングに適用が可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明に係る画像補正装置の第１実施形態の構成図である。
【図２】本発明の第１実施形態の動作を示すフローチャートである。
【図３】本発明の第１実施形態の効果を示す模式説明図である。
【図４】本発明に係る画像補正装置の第２実施形態の構成図である。
【図５】本発明に関連する画像撮影装置の一例の模式説明図である。
【図６】図６は関連する画像撮影装置においてリニアアレイセンサを３個並列に設置した場合を示す図である。
【図７】関連する画像撮影装置の課題を説明するための模式説明図である。
【図８】関連する画像撮影装置のパララックスによる色ずれの一例を示す模式説明図である。
【符号の説明】
【００５９】
１，２  画像補正装置
１１，１２  リニアアレイセンサ
１３  データ格納部
１４  画像シフト部
１５  画像合成部
１６  制御部
１７  プログラム格納部
【図１】
2010079328.tif 000003
【図２】
2010079328.tif 000004
【図３】
2010079328.tif 000005
【図４】
2010079328.tif 000006
【図５】
2010079328.tif 000007
【図６】
2010079328.tif 000008
【図７】
2010079328.tif 000009
【図８】
2010079328.tif 000010