(57)【要約】【課題】画質劣化を低減可能な高速移動体搭載用撮像装置を提供する。【解決手段】高速移動体搭載用撮像装置は、画像を撮像し画像データを出力する撮像部と、前記画像データを補正する補正部と、前記補正部により補正された前記画像データを積分処理する積分部と、を備える。【選択図】図１
2018078493.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像し画像データを出力する撮像部と、
前記画像データを補正する補正部と、
前記補正部により補正された前記画像データを積分処理する積分部と、
を備える高速移動体搭載用撮像装置。
【請求項２】
請求項１に記載の高速移動体搭載用撮像装置において、
前記積分部により積分処理された前記画像データを圧縮する圧縮部を備える高速移動体搭載用撮像装置。
【請求項３】
請求項２に記載の高速移動体搭載用撮像装置において、
前記圧縮部により圧縮された前記画像データを地上に送信する送信部を備える高速移動体搭載用撮像装置。
【請求項４】
請求項１から請求項３までのいずれか一項に記載の高速移動体搭載用撮像装置において、
前記補正部は、歪曲収差を補正する高速移動体搭載用撮像装置。
【請求項５】
請求項４に記載の高速移動体搭載用撮像装置において、
歪曲収差の補正に用いられるデータを記憶する記憶部を備え、
前記補正部は、前記記憶部に記憶された前記データを用いて歪曲収差を補正する高速移動体搭載用撮像装置。
【請求項６】
請求項４または請求項５に記載の高速移動体搭載用撮像装置において、
前記補正部は、前記撮像部に含まれる複数の画素のそれぞれの位置に対応した歪曲収差のデータを用いて歪曲収差補正を行う高速移動体搭載用撮像装置。
【請求項７】
請求項４から請求項６までのいずれか一項に記載の高速移動体搭載用撮像装置において、
前記撮像部は複数であり、
前記補正部は、複数の前記撮像部のそれぞれの位置に対応した歪曲収差のデータを用いて歪曲収差補正を行う高速移動体搭載用撮像装置。
【請求項８】
請求項１から請求項７までのいずれか一項に記載の高速移動体搭載用撮像装置において、
前記補正部は、像振れを補正する像振れ補正を行う高速移動体搭載用撮像装置。
【請求項９】
請求項１から請求項８までのいずれか一項に記載の高速移動体搭載用撮像装置において、
前記補正部は、感度ムラを補正する感度ムラ補正、暗電流成分を除去する暗電流補正、固定パターンノイズ成分を除去する固定パターンノイズ低減処理、欠陥画素からの信号を補正する欠陥画素補正のうち少なくとも１つを行う高速移動体搭載用撮像装置。
【請求項１０】
請求項１から請求項９までのいずれか一項に記載の高速移動体搭載用撮像装置において、
前記撮像部は、ＣＭＯＳ型撮像素子を有する高速移動体搭載用撮像装置。
【請求項１１】
請求項１から請求項１０までのいずれか一項に記載の高速移動体搭載用撮像装置において、
前記補正部は、前記積分部により積分処理された前記画像データを用いて、ランダムノイズを除去するランダムノイズ低減処理、階調を圧縮する階調補正のうち少なくとも１つを行う高速移動体搭載用撮像装置。
【請求項１２】
請求項１から請求項１１までのいずれか一項に記載の高速移動体搭載用撮像装置において、
前記補正部は複数であり、
複数の前記補正部は、それぞれ異なるパラメータが設定されている高速移動体搭載用撮像装置。
【請求項１３】
請求項２または請求項３に記載の高速移動体搭載用撮像装置において、
前記補正部は複数であり、
前記圧縮部は、複数の前記補正部から出力された複数の前記画像データを用いて圧縮処理をする高速移動体搭載用撮像装置。
【請求項１４】
画像を撮像し画像データを出力する撮像部と、
前記画像データを補正する補正部と、
前記補正部により補正された前記画像データを圧縮する圧縮部と、
を備える高速移動体搭載用撮像装置。
【請求項１５】
第１時刻に高速移動体から地上の被写体を撮像した画像のデータである第１画像データと、前記第１時刻よりも後の第２時刻に前記高速移動体から前記被写体を撮像した画像のデータである第２画像データとを出力する撮像部と、
前記第１画像データ及び前記第２画像データを補正する補正部と、
前記高速移動体と前記被写体との相対的な移動量に応じて前記第１画像データと前記第２画像データとを相対的にずらして合成することにより第３画像データを生成する画像生成部とを備える高速移動体搭載用撮像装置。
【請求項１６】
請求項１４又は請求項１５に記載の高速移動体搭載用撮像装置において、
前記補正部は、歪曲収差を補正する高速移動体搭載用撮像装置。
【請求項１７】
請求項１４から請求項１６までのいずれか一項に記載の高速移動体搭載用撮像装置において、
前記撮像部は、ＣＭＯＳ型撮像素子を有する高速移動体搭載用撮像装置。
【請求項１８】
請求項１から請求項１７までのいずれか一項に記載の高速移動体搭載用撮像装置を備える高速移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速移動体搭載用撮像装置および高速移動体に関する。
【背景技術】
【０００２】
歪曲収差を解消するように撮像素子を湾曲させた撮像装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２７８２９５号公報
【発明の概要】
【０００４】
本発明の第１の態様によると、高速移動体搭載用撮像装置は、画像を撮像し画像データを出力する撮像部と、前記画像データを補正する補正部と、前記補正部により補正された前記画像データを積分処理する積分部と、を備える。
本発明の第２の態様によると、高速移動体搭載用撮像装置は、画像を撮像し画像データを出力する撮像部と、前記画像データを補正する補正部と、前記補正部により補正された前記画像データを圧縮する圧縮部と、を備える。
本発明の第３の態様によると、高速移動体搭載用撮像装置は、第１時刻に高速移動体から地上の被写体を撮像した画像のデータである第１画像データと、前記第１時刻よりも後の第２時刻に前記高速移動体から前記被写体を撮像した画像のデータである第２画像データとを出力する撮像部と、前記第１画像データ及び前記第２画像データを補正する補正部と、前記高速移動体と前記被写体との相対的な移動量に応じて前記第１画像データと前記第２画像データとを相対的にずらして合成することにより第３画像データを生成する画像生成部とを備える。
本発明の第４の態様によると、高速移動体は、第１から第３のいずれか一つの態様による高速移動体搭載用撮像装置を備える。
【図面の簡単な説明】
【０００５】
【図１】第１の実施形態に係る高速移動体搭載用撮像装置の構成を説明するためのブロック図である。
【図２】第１の実施形態に係る高速移動体搭載用撮像装置を搭載した高速移動体と地上の関係を説明する説明図である。
【図３】第１の実施形態に係る高速移動体搭載用撮像装置の撮像素子の配置例を説明するための図である。
【図４】第１の実施形態に係る高速移動体搭載用撮像装置によるＴＤＩ処理を説明するための図である。
【図５】第１の実施形態に係る高速移動体搭載用撮像装置の画像処理部の構成を説明するためのブロック図である。
【図６】第１の実施形態に係る高速移動体搭載用撮像装置による歪曲収差補正を説明するための図である。
【図７】第１の実施形態に係る高速移動体搭載用撮像装置による歪曲収差補正を説明するための図である。
【図８】第１の実施形態に係る高速移動体搭載用撮像装置による像振れ補正を説明するための図である。
【図９】第１の実施形態に係る高速移動体搭載用撮像装置の動作の一例を示したフローチャートである。
【発明を実施するための形態】
【０００６】
（第１の実施形態）
図１は、第１の実施形態に係る高速移動体搭載用撮像装置の構成を説明するためのブロック図である。図１では、第１の実施形態に係る撮像装置の一例である電子カメラ１（以下、カメラ１と称する）の構成例を示している。カメラ１は、高速移動体搭載用の撮像装置である。高速移動体は、高速で移動する物体であり、例えば、人工衛星、ロケット等の飛翔体、航空機などを含む。高速移動体は、地表との相対的な移動速度が例えば時速５００ｋｍ以上であることが好ましく、更に好ましくは、時速８００ｋｍ以上であることが好ましい。以下の実施形態では、人工衛星を例にして詳細な説明を行うが高速移動体は人工衛星に限定されるものではない。カメラ１は、撮像光学系（結像光学系）２、複数の撮像素子３、複数の画像処理部４、複数の統合部４４、圧縮部５、送信部６、制御部７、および記憶部８を備える。撮像光学系２は、複数のレンズを有し、撮像素子３に被写体像を結像する。撮像光学系２は、カメラ１から着脱可能であってもよい。
【０００７】
撮像素子３は、例えばＣＭＯＳイメージセンサであり、撮像光学系２により形成された被写体像を撮像する。ＣＭＯＳイメージセンサとは、例えば、ＣＭＯＳ(相補型金属酸化膜半導体)を使った固体撮像素子である。撮像素子３は、画素部３１が形成された第１基板と、複数のＡＤ変換部３２が形成された第２基板とを積層して構成される。画素部３１には、光電変換部を有する複数の画素が二次元状に配置される。光電変換部は、例えばフォトダイオードによって構成され、入射した光を電荷に変換する。画素部３１の画素は、光電変換部で生成された電荷に基づく画素信号をＡＤ変換部３２へ出力する。本実施形態では、第１基板と第２基板とが積層されるため、第１基板の画素部３１は、各画素からの画素信号を第２基板のＡＤ変換部３２に高速に伝送することができる。なお、第１基板と第２基板とは積層されていなくてもよい。
【０００８】
ＡＤ変換部３２は、１個が所定数（例えば４個）の画素に対して設けられ、これらの画素から入力された画素信号をデジタル信号に変換する。本実施形態では、各画素の画素信号が複数のＡＤ変換部３２により並列処理されるため、各画素の画素信号に対するＡＤ変換処理を高速に行うことができる。ＡＤ変換部３２によってデジタル信号に変換された画素信号は、画像データ（画像信号）として、ＡＤ変換部３２から直接または高速インタフェースに対応した回路等を介して、画像処理部４に出力される。なお、ＡＤ変換部３２を、画素毎に設けるようにしてもよい。
【０００９】
画像処理部４は、例えば、ＦＰＧＡやＡＳＩＣ等によって構成される。また、画像処理部４は、例えば所定数のＡＤ変換部３２毎に設けられ、ＡＤ変換部３２から入力された画像データに対して画像処理を施す。例えば、複数のＡＤ変換部３２に対して１つの画像処理部４が設けられることが好ましい。本実施形態では、例えば、１つの撮像素子３から出力された画像データを複数の画像処理部４によって並列処理するため、各画素の画像データに対する画像処理を高速に行うことができる。なお、撮像素子３と画像処理部４とは積層して配置されてもよいし、積層されていなくてもよい。
【００１０】
画像処理部４は、補正部４１、積算部４２、および転送部４３を有する。補正部４１は、撮像素子３から出力された画像データに対して、各種の補正処理を施す。補正処理には、詳細は後述するが、歪曲収差補正、像振れ補正等の補正処理が含まれる。積算部４２は、補正部４１によって補正処理された複数のフレームの画像データを積算（積分）する処理を行う。このような処理は、時間遅延積分（ＴＤＩ：Time  Delay Integration）と呼ばれている。積算部４２の処理は、複数のフレームの画像データを用いて処理するものであれば、積分処理であっても、加算処理であってもよい。また、積算部４２の処理は、複数のフレームの画像データを相対的にずらして合成する処理であってもよい。高速移動体と被写体との相対的な移動速度が速いために像が流れて撮像されてしまう場合に、像流れを防ぐためにシャッタ速度を速くすると露出がアンダーになり易い。このようにシャッタ速度を速くしないといけないが、露光時間を長くとりたい場合に、ＴＤＩを使用することができる。本実施形態においては、撮像された各フレームの画像データを、被写体像の移動に合わせてずらしながら積算することで、ＣＭＯＳイメージセンサを用いたＴＤＩを実現している。本実施形態では、画像処理部４が積分処理（ＴＤＩ処理）を行っているため、像流れを低減した適正露出の鮮明な画像を得ることができる。
【００１１】
各画像処理部４の転送部４３は、それぞれの画像処理部４においてＴＤＩ処理された画像データを、例えば、１個の統合部４４に転送して集約する。統合部４４においては、集約された複数の画像データが統合される。それぞれの統合部４４は、統合された画像データを圧縮部５に出力する。圧縮部５は、入力された画像データに対して、所定の圧縮処理を施す。圧縮部５は、例えばＪＰＥＧ等の画像圧縮方法によって画像データを圧縮する。なお、本実施形態では、圧縮部５は、画像処理部４とは別に設けられているが、画像処理部４内に設けるようにしてもよい。
【００１２】
記憶部８は、例えば、ＲＡＭやフラッシュメモリ等の記憶媒体である。記憶部８には、画像データ等が記録される。記憶部８へのデータの書き込みや、記憶部８からのデータの読み出しは、制御部７によって行われる。制御部７は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成され、制御プログラムに基づきカメラ１の各部を制御する。制御部７は、詳細は後述するが、画像データの補正処理に用いる各種の補正パラメータを算出するための各種制御、演算も行う。送信部６は、圧縮された画像データに対して変調および増幅等の処理を施した後、カメラ１が搭載される高速移動体に搭載されるアンテナ等の通信機器を介して、地上局１０に対して送信（出力）する。なお、本実施形態では、送信部６は、カメラ１に含まれているが、カメラ１とは別に設けるようにしてもよい。
【００１３】
地上局１０には、受信部１０１、伸長部１０２、および表示部１０３が設けられる。地上局１０は地上に固定されていてもよいし、高速移動体よりも低速度で移動するものでもよい。受信部１０１は、送信部６から送信された信号を受信して、受信した信号に対して復調等の処理を施した後、圧縮された状態の画像データを伸長部１０２に出力する。伸長部１０２は、圧縮された画像データを伸長（復元）する。表示部１０３は、伸長された画像データに基づく画像を表示する。
上述したように本実施形態では、積算部４２によるＴＤＩ処理、又は、圧縮部５による圧縮処理の前に補正部４１による補正が行われるので、補正部４１はＴＤＩ処理又は圧縮処理の影響を受けることなく、簡易かつ適正な補正処理を行うことができる。
更に、上述した実施形態では、補正部４１による適正な補正が施され、積算部４２によるＴＤＩ処理がされた画像データが圧縮部５により圧縮されるので、高速で移動する高速移動体と地上の地上局１０とが接近した短い期間に、圧縮部５により圧縮された信号（画像データ）をまとめて地上局１０に送信することができる。
【００１４】
図２は、第１の実施形態に係る高速移動体搭載用撮像装置を搭載した高速移動体と地上の関係を説明する説明図である。図２では、カメラ１が搭載される高速移動体である人工衛星１００、被写体２０、および地上局１０の位置関係を示している。図２に示すように、カメラ１が搭載される人工衛星１００は、所定の移動方向（スキャン方向）に移動しながら被写体２０を走査して撮像を行う。人工衛星１００は、上述したように、被写体２０を撮像して得られた画像データに対して圧縮処理等を行った後、地上局１０に送信する。地上局１０は、人工衛星１００から送信された信号を受信し、受信した信号に対して伸長等の処理を行う。
【００１５】
図３は、第１の実施形態に係る高速移動体搭載用撮像装置の撮像素子の配置例を説明するための図である。図３において、カメラ１における複数の撮像素子３の配置例を示している。図３に示すように、カメラ１では、複数の撮像素子３が千鳥状に配置（スタガ配列：Staggered Arrangement）され、撮像素子３は、スキャン方向と直交する方向において一部がオーバーラップするように配置されている。撮像素子３をスキャン方向に直交する方向に一列に配置した場合、撮像素子３の画素部の周辺回路等により、撮像されない領域が発生するという問題がある。千鳥状に撮像素子３を配置するのは、このような問題の発生を防止するためである。なお、カメラ１の撮像光学系２として反射屈折光学系を用いた場合には、光軸中央に配置された反射光学素子により、イメージサークル中央部には画像非生成領域が生じる。このような撮像光学系を採用する場合には、複数の撮像素子３は、撮像光学系２のイメージサークル中央部の画像非生成領域を避けて配置される。図３は、複数の撮像素子３がこのように配置された状態を示す。
【００１６】
図４は、第１の実施形態に係る撮像装置によるＴＤＩ処理を説明するための図である。  図４では、被写体２０を、人工衛星１００に搭載されたカメラ１の撮像素子３によって、図中矢印で示すスキャン方向に走査して撮像する例を示している。図４（ａ）〜（ｆ）は、それぞれ、撮像時の（Ｎ−１）〜（Ｎ＋４）フレームにおける撮像素子３と被写体２０との位置関係と、それぞれのフレームにおける、ＴＤＩ処理前とＴＤＩ処理後の画像データ９０ａ〜９０ｆおよび９５ａ〜９５ｆを模式的に示している。
【００１７】
図４に示す例では、撮像素子３には、スキャン方向（垂直方向）に３個、スキャン方向と直交する方向に６個の画素が配置される。すなわち、撮像素子３は、６個×３個（６列×３行）に二次元配列された画素を有している。なお、実際には、撮像素子３は、例えば、（数千〜数万個）×（数十〜数百個）程度の二次元配列された画素、又はそれ以上の画素を有する。
【００１８】
図４（ａ）に示したＮ−１フレームでは、撮像素子３の撮像領域に被写体２０が存在しないため、被写体２０に関する画像データは生成されない。図４（ｂ）に示したＮフレームの状態では、被写体２０に対して撮像素子３が移動して撮像素子３にかかり始めた状態である、図４（ｂ）に示したＮフレームの状態では、撮像素子３の第１行は、被写体２０の領域Ａを含む領域を撮像し、所定の露光時間における受光量に対応する画像データを生成する。画像処理部４は、各画素の画像データに基づいて、９０ｂに示すように、領域Ａを含む領域に対応する画像データ９０ｂを生成する。
【００１９】
図４（ｃ）に示した（Ｎ＋１）フレームの状態では、撮像素子３の第２行は、被写体２０の領域Ａを含む領域を、また、第１行は領域Ｂを含む領域を撮像して、それぞれ画素毎に画像データを生成する。画像処理部４は、各画素の画像データに基づいて、領域Ａおよび領域Ｂに関する画像データ９０ｃを生成する。画像処理部４は、画像データ９０ｃに対して所定の補正処理を行った後、Ｎフレームの状態において領域Ａを含む領域に対して撮像素子３の第１行で生成した画像データと、（Ｎ＋１）フレームの状態において領域Ａを含む領域に対して撮像素子３の第２行で生成した画像データとを積算するＴＤＩ処理を行う。また、領域Ｂを含む領域についても同様の処理を行う。これにより、画像処理部４は、画像データ９５ｃを生成する。
【００２０】
図４（ｄ）に示した（Ｎ＋２）フレームの状態では、撮像素子３は、被写体２０の領域Ａ、領域Ｂおよび領域Ｃを撮像し、画素毎の画像データを生成する。画像処理部４は、各画素の画像データに基づいて、被写体２０の全領域に関する画像データ９０ｄを生成する。同時に、上記と同様の考え方でＴＤＩ処理を行い、画像データ９５ｄを生成する。
【００２１】
図４（ｅ）に示した（Ｎ＋３）フレーム、および図４（ｆ）に示した（Ｎ＋４）フレームの状態に関しても同様の処理により、画像データ９０ｅおよび９０ｆを生成する。また、これらの画像データに基づいてＴＤＩ処理を行うことで、画像データ９５ｅおよび９５ｆを生成する。
【００２２】
このように、カメラ１は、被写体に対して相対的に移動しながらスキャン撮像を行って、被写体２０の同じ領域について複数の画像データを生成する。画像処理部４は、フレーム毎の画像データ９０ａ〜９０ｆに対してそれぞれ所定の補正処理を行った後、複数のフレームの画像データを積算するＴＤＩ処理を行う。画像処理部４は、（Ｎ−１）〜（Ｎ＋４）フレームの画像データ９０ａ〜９０ｆを用いてＴＤＩ処理を行って、図４（ａ）〜（ｆ）の右側に示すＴＤＩ処理後の画像データ９５ａ〜９５ｆを生成する。このように、画像処理部４は、一個のフレームの画像データと、そのフレームよりも時間的に後のフレームの画像データとを積算する処理を行う。
【００２３】
例えば、図４（ｆ）の右側に示すＴＤＩ処理後の画像データ９５ｆのうちの１行目のデータは、Ｎフレームの画像データ９０ｂの１行目のデータと、（Ｎ＋１）フレームの画像データ９０ｃの２行目のデータと、（Ｎ＋２）フレームの画像データ９０ｄの３行目のデータとを積算して生成される。すなわち、画像処理部４は、３フレーム分の画像データを、互いに１画素分ずつずらして積算する処理を行う。
【００２４】
ＴＤＩ処理後の画像データ９５ｆの２行目のデータは、（Ｎ＋１）フレームの画像データ９０ｃの１行目、（Ｎ＋２）フレームの画像データ９０ｄの２行目、および（Ｎ＋３）フレームの画像データ９０ｅの３行目の各々のデータを積算して生成される。ＴＤＩ処理後の画像データ９５ｆの３行目のデータは、（Ｎ＋２）フレームの画像データ９０ｄの１行目、（Ｎ＋３）フレームの画像データ９０ｅの２行目、および（Ｎ＋４）フレームの画像データ９０ｆの３行目の各々のデータを積算して生成される。なお、図４では、ＴＤＩ処理後の画像データ９５ａ〜９５ｆの信号値の積算度合いの違いを、ハッチングを用いて表現している。ＴＤＩ処理後の画像データ９５ａ〜９５ｆの各行のデータは、それぞれが所定時間遅れながら順次３個のフレームのデータが積算されて生成される。それにより、１個のフレームの画像データのみから生成する画像データに比べてＳ/Ｎ比を大きくすることができる。
【００２５】
すなわち、カメラ１は、一個の領域を垂直方向の画素の数（段数）だけ撮像し、得られた段数分のフレームの画像データを画素毎に積算することによって、被写体２０に関する１画面分の画像データを生成する。ＴＤＩ処理後の画像データは、１フレームにおける各画素の露光時間の段数倍の露光時間で生成された画像データに相当する。この結果、画像データのＳ／Ｎ比を向上させることができる。また、積算枚数分だけ階調分解能を有する高階調画像データを生成することができる。
【００２６】
人工衛星の移動方向（被写体の移動方向）に画素数が多いほどＴＤＩの段数を多くとることができるが、その分多くの画素の信号を高速にＡＤ変換処理する必要がある。本実施形態では、各画素の画素信号が複数のＡＤ変換部３２に分けて読み出されて並列処理されるため、ＡＤ変換処理を高速に行うことができる。この結果、ＴＤＩの段数を多くすることが可能となる。
【００２７】
ＴＤＩ処理後の画像データに対して歪曲収差補正等の補正処理を精度良く行うことは困難であるため、歪曲収差補正等の補正処理前にＴＤＩ処理を行った場合は画質が劣化することとなる。これに対し、本実施形態によるカメラ１は、ＴＤＩ処理を行う前に画像データに対して所定の補正処理を行って、所定の補正処理後の画像データを用いてＴＤＩ処理を行う。以下に詳細に説明する。
【００２８】
図５は、第１の実施形態に係る撮像装置の画像処理部４の構成を説明するためのブロック図である。画像処理部４の補正部４１は、歪曲収差補正部４１１、像振れ補正部４１２、感度ムラ補正部４１３、暗電流補正部４１４、固定パターンノイズ低減部４１５、欠陥画素補正部４１６、補正値記憶部４１７、および事前圧縮部４１８を有する。
【００２９】
歪曲収差補正部４１１は、各画素の画像データに対して、撮像光学系２の歪曲収差によって生じる画像の歪みを補正するための処理を行う。図６および図７は、第１の実施形態に係る撮像装置による歪曲収差補正を説明するための図である。図６および図７では、歪曲収差の一例として、樽型の歪曲収差を補正する場合の例を示している。
【００３０】
図６（ｂ）は、像高（図６（ａ）に示す画像中心からの距離）と歪曲収差量との関係を示す図である。横軸は像高を示し、縦軸は歪曲収差量を示す。歪曲収差量は像高に依存し、像高が高いと歪曲収差量が大きくなる傾向がある。カメラ１の制御部７は、実際に被写体を撮像する（以下、本撮像と称する）のに先立って、予備的な撮像（以下、予備撮像と称する）を行って、得られた画像データを用いて歪曲収差量を算出する。
【００３１】
制御部７は、例えば、歪曲収差を補正するための補正パラメータを画素毎に算出して、補正値記憶部４１７に記憶させる。歪曲収差補正部４１１は、補正値記憶部４１７に記憶された補正パラメータを参照して、本撮像を行って得られた画像データを補正する。図６（ｃ）は、歪曲収差補正前の領域１２０についての画像１３０ａを模式的に示しており、歪曲収差により歪んだ画像となっている。図６（ｄ）では、歪曲収差補正後の領域１２０についての画像１３０ｂを模式的に示しており、歪曲収差による歪みが低減されている。
【００３２】
また、本実施形態では、カメラ１には複数の撮像素子３が光軸に対して異なる位置に設けられるため、各々の撮像素子３で生じる歪曲収差量が異なる。図７では、歪曲収差補正前の撮像素子３ａ〜撮像素子３ｃによる画像１３１ａ〜１３３ａと、歪曲収差補正後の撮像素子３ａ〜撮像素子３ｃによる画像１３１ｂ〜１３３ｂとを示している。例えば、撮像素子３ａ〜撮像素子３ｃのそれぞれは像高が異なる。撮像素子３ａ〜撮像素子３ｃで生じる収差量はそれぞれ異なるため、画像１３１ａ〜１３３ａの各々における歪みが異なっている。
【００３３】
制御部７は、撮像素子毎に補正パラメータの算出を行って、それらの撮像素子に接続される画像処理部４の補正値記憶部４１７に、算出した補正パラメータを記憶させる。このため、補正値記憶部４１７に記憶される補正パラメータは、撮像面の位置（撮像素子３ａ〜撮像素子３ｃの位置）に応じて異なる。歪曲収差補正部４１１は、補正値記憶部４１７に記憶された補正パラメータを参照して、本撮像を行って得られた画像データを補正する。具体的には、歪曲収差補正部４１１は、補正パラメータに基づいて、歪曲収差がない撮像光学系２で撮像された場合の各画素の画像データとなるように画像データを補正する処理を行う。例えば、歪曲収差補正部４１１は、補正パラメータに基づいて幾何補正を行う。具体的には、例えば、画像データの座標を変換する処理を行う。これにより、歪曲収差補正部４１１は、歪曲収差による歪みが低減された画像データを生成する。
【００３４】
なお、歪曲収差量は、予備撮像により得られた画像を用いて求めなくても、撮像光学系２の歪曲収差量に関するデータを予め記憶部８に記憶しておき、そのデータを用いて補正を行ってもよい。
上述した実施形態では、撮像素子３ａ〜撮像素子３ｃの位置に応じた補正パラメータに基づいて歪曲収差の補正を行う例について詳細に説明したがこれに限定されるものではない。例えば、撮像素子３ａ〜撮像素子３ｃのそれぞれに含まれる複数の画素の像高に応じた補正パラメータを補正値記憶部４１７に記憶し、この補正パラメータを用いて歪曲収差等の収差の補正を行ってもよい。例えば、図４に示したように撮像素子３が６列×３行の画素を有している場合、６列×３行の画素のそれぞれの像高に応じた補正パラメータを補正値記憶部４１７に記憶していてもよい。
【００３５】
歪曲収差補正を行う前にＴＤＩ処理を行った場合は、著しくＭＴＦ（Modulation Transfer Function）特性が劣化することとなる。本実施形態では、歪曲収差補正部４１１は、ＴＤＩ処理を行う前に画像データに対して歪曲収差補正を行う。このため、本実施形態では、ＭＴＦ劣化等の画質劣化を抑制することができる。
【００３６】
像振れ補正部４１２は、各画素の画像データに対して、画像のブレ（像振れ）を低減するための補正処理を行う。像振れは、例えばカメラ１や人工衛星１００の振れに起因して生じる。以下では、図８を用いて像振れ補正について説明する。
【００３７】
図８は、第１の実施形態に係る撮像装置による像振れ補正を説明するための図である。画像１４１ａ〜１４３ａは、像振れ補正なしの場合の第１〜第３フレームの画像データに基づく画像を示している。画像１４１ａでは、被写体２１である「Ａ」の文字が画像の中心に位置している。画像１４２ａでは、像振れが生じて、被写体２１が画像の中心よりも右側に位置している。画像１４３ａでは、像振れが生じて、被写体２１が画像の中心よりも左側に位置している。像振れ補正を行う前にＴＤＩ処理を行った場合、すなわち画像１４１ａ〜１４３ａの画像データを積算した場合は、図８の画像１５０ａのように像振れ等の画質劣化が生じることとなる。このため、本実施形態では、像振れ補正部４１２は、ＴＤＩ処理を行う前に画像データに対して像振れ補正を行う。
【００３８】
像振れ補正部４１２は、複数フレームの画像データを用いることにより被写体２１の動きベクトルを検出する。像振れ補正部４１２は、例えば、第１および第２フレームの画像データを比較して、第２フレームにおける被写体２１の動きベクトルを検出し、第１および第３フレームの画像データを比較して、第３フレームにおける被写体２１の動きベクトルを検出する。
【００３９】
像振れ補正部４１２は、被写体２１の動きベクトルに基づいて、画像データをシフトさせる。具体的には、像振れ補正部４１２は、被写体２１の動きベクトルに基づいて、画像データの座標を変換する。像振れ補正部４１２は、複数の画像データ間のブレを検出して、それをキャンセルするように各画像データの位置合わせ（アライメント調整）を行う。図８に示す矢印１６０、１６１は、それぞれ第２フレームの画像データ、第３フレームの画像データの補正方向を模式的に示している。
【００４０】
図８の画像１４１ｂ〜１４３ｂは、像振れ補正有りの場合の第１〜第３フレームの画像データに基づく画像を示している。像振れ補正を行った後にＴＤＩ処理を行った場合、すなわち画像１４１ｂ〜１４３ｂの画像データを積算した場合は、図８の画像１５０ｂのように像振れが低減されて、画質を向上させることができる。
なお、カメラ１に角速度センサ（ジャイロセンサ）等を搭載して、その出力に基づいて像振れ量を算出してもよい。この場合、像振れ補正部４１２は、算出された像振れ量に基づいて像振れ補正を行う。
【００４１】
感度ムラ補正部４１３は、各画素の画像データに対して、感度ムラを低減するための補正処理を行う。感度ムラの補正処理は、撮像素子３に設けられた各画素の感度（例えば光電変換部の感度）のばらつきに起因する画素間のゲイン差を補正する処理である。感度ムラは、例えば、半導体製造プロセス等の撮像素子３の製造過程に起因して生じる。カメラ１の制御部７は、例えば、予備撮像を行って得られた各画素の画像データを用いて、感度ムラを補正するための補正パラメータを予め算出する。制御部７は、画素毎に補正パラメータを算出して、補正値記憶部４１７に記憶させる。感度ムラ補正部４１３は、算出された補正パラメータに基づいて、本撮像時に取得された各画素の画像データを補正する。
【００４２】
暗電流補正部４１４は、画像データから光電変換部において生じる暗電流に起因するノイズ成分を除去する。カメラ１の制御部７は、例えば、撮像素子３に設けられた遮光領域の画素（オプティカルブラック画素）の画像データを読み出すことで、暗電流成分を検出して補正値記憶部４１７に記憶させる。暗電流補正部４１４は、本撮像時に取得された各画素の画像データから暗電流成分を減算することによって、画像データから暗電流によるノイズ成分を除去する。
【００４３】
固定パターンノイズ低減部４１５は、画像データから固定パターンノイズ（ＦＰＮ：Ｆｉｘｅｄ  Ｐａｔｔｅｒｎ  Ｎｏｉｓｅ）を除去する処理を行う。固定パターンノイズは、例えば画素列毎に設けられる回路の特性ばらつきによって生じ、画像において線状（スジ状）のノイズとして現れる場合がある。カメラ１の制御部７は、例えば、遮光領域の画素の画像データを読み出して、画素列毎の固定パターンノイズ成分を検出して補正値記憶部４１７に記憶させる。固定パターンノイズ低減部４１５は、本撮像時に取得された各画素の画像データから固定パターンノイズ成分を減算することによって、画像データからノイズ成分を除去する。
【００４４】
欠陥画素補正部４１６は、受光量に応じた信号が生成されない欠陥画素の画像データを、欠陥画素の周辺画素の画像データを用いて補間する処理を行う。撮像素子３では、撮像素子３の製造過程または製造後に欠陥画素が生じる場合がある。人工衛星に搭載された状態では、放射線により欠陥画素が生じる場合がある。欠陥画素が生じた場合は、欠陥画素に起因して画像に白点や黒点等が生じるため、画質を劣化させる。カメラ１の制御部７は、遮光部材等によって画素を遮光状態にした場合に生成される画像データと、その周辺画素の画像データとの比較結果または記憶部８に記憶された所定の閾値との比較結果に基づいて欠陥画素を検出する。カメラ１の制御部７は、例えば、画像データが所定の閾値を超える画素を、欠陥画素として検出する。
【００４５】
制御部７は、画素に入射する光の光量を所定のレベルとした場合に生成される画像データと、その周辺画素の画像データとの比較結果または記憶部８に記憶された所定の閾値との比較結果に基づいて欠陥画素を検出する。制御部７は、例えば、画像データが所定の閾値に達しない画素を、欠陥画素として検出する。
【００４６】
制御部７は、検出した欠陥画素の位置（アドレス）を示す情報を、補正値記憶部４１７に記憶させる。欠陥画素補正部４１６は、本撮像時の各画素の画像データのうちの欠陥画素の画像データを、例えば、欠陥画素の周辺画素の画像データの平均値で置き換える処理を行う。
【００４７】
事前圧縮部４１８は、圧縮部５による圧縮処理の前に、画像データに対して所定の圧縮処理を行う。事前圧縮部４１８は、例えば、画像データに対して、ガンマカーブを用いた階調圧縮処理を施して、画像データのデータ量を削減する。階調圧縮処理には、種々の公知の手法を用いることができる。
【００４８】
圧縮部５は、上述した種々の補正処理およびＴＤＩ処理された画像データに対して、圧縮処理を施す。上述した各種の補正処理を行う前に圧縮処理を行った場合は、本来の被写体とは関連のない信号成分に情報量を割くことになり、圧縮効率の低下や画質の劣化を生じることとなる。このため、本実施形態では、補正部４１は、圧縮処理を行う前に補正処理を行う。そして、圧縮部５は、補正処理後の画像データに対して圧縮処理を行う。このため、圧縮部５は、不要な信号成分に対して割り振る符号量を抑制し、本来符号量を割きたい被写体に関する信号成分に符号量を割り振ることができる。また、本実施形態では、事前圧縮部４１８による処理（ガンマカーブを用いた階調圧縮処理等）によって、階調がつぶれやすい暗部階調を強調する補正処理が適用された後に、圧縮処理が行われる。このため、より効率よく（同じデータ量でより高画質に）圧縮することができる。
【００４９】
図９は、第１の実施形態に係る撮像装置の動作の一例を示したフローチャートである。この図９のフローチャートを参照して、カメラ１の動作例について説明する。図９に示す処理は、カメラ１の制御部７が撮影動作の開始指示を受け付けた場合に開始される。
【００５０】
ステップＳ１００において、撮像素子３に設けられた各画素の光電変換部は、入射した光を光電変換して電荷を生成する。画素は、生成された電荷に基づく画素信号をＡＤ変換部３２に出力する。ステップＳ１１０において、撮像素子３のＡＤ変換部３２は、入力された画素信号をデジタル信号に変換する。ステップＳ１２０において、撮像素子３は、デジタル信号に変換した信号を、画像データとして画像処理部４に出力する。
なお、ステップＳ１００〜ステップＳ１２０では、カメラ１に配置された複数の撮像素子３のそれぞれにおいて、光電変換が行われて画素信号が生成された後、画素信号がデジタル信号に変換される。各撮像素子３は、画素毎の画像データを、各々に接続された複数の画像処理部４に振り分けて出力する。
【００５１】
ステップＳ１３０において、画像処理部４の補正部４１は、画像データに対して、第１の補正処理を行う。第１の補正処理には、感度ムラ補正部４１３による補正処理、暗電流補正部４１４による補正処理、固定パターンノイズ低減部４１５による補正処理、および欠陥画素補正部４１６による補正処理が含まれる。
【００５２】
ステップＳ１４０において、補正部４１は、第１の補正処理後の画像データに対して、第２の補正処理を行う。第２の補正処理には、歪曲収差補正部４１１による補正処理、および像振れ補正部４１２による補正処理が含まれる。
【００５３】
ステップＳ１５０において、画像処理部４の積算部４２は、第１および第２の補正処理後の複数フレームの画像データを用いて、上述したようにＴＤＩ処理を行う。ステップＳ１６０において、補正部４１は、ＴＤＩ処理後の画像データに対して、第３の補正処理を行う。第３の補正処理には、事前圧縮部４１８による圧縮処理が含まれる。
【００５４】
ステップＳ１７０において、各画像処理部４の転送部４３は、それぞれの画像処理部４において圧縮処理された複数の画像データを例えば、１つの統合部４４に転送し集約する。統合部４４は、集約された複数の画像データを統合した画像データを生成して、圧縮部５に出力する。
【００５５】
ステップＳ１８０において、カメラ１の圧縮部５は、入力された画像データに対して、圧縮処理を施す。ステップＳ１９０において、カメラ１の送信部６は、圧縮処理後の画像データに対して信号処理を施した後、地上局１０に対して画像データを送信すると、図９に示す処理を終了する。
【００５６】
上述した実施形態によれば、次の作用効果が得られる。
（１）高速移動体搭載用撮像装置１は、画像を撮像し画像データを出力する撮像部（撮像素子３）と、画像データを補正する補正部４１と、補正部４１により補正された画像データを積分処理する積分部（積算部４２）と、を備える。本実施形態によるカメラ１は、ＴＤＩ処理を行う前に画像データに対して所定の補正処理を行って、補正処理後の画像データを用いてＴＤＩ処理を行う。このようにしたので、画質劣化を低減することができる。
【００５７】
（２）高速移動体搭載用撮像装置１は、画像を撮像し画像データを出力する撮像部（撮像素子３）と、画像データを補正する補正部４１と、補正部４１により補正された画像データを圧縮する圧縮部５と、を備える。本実施形態によるカメラ１は、圧縮処理を行う前に画像データに対して所定の補正処理を行って、補正処理後の画像データを用いて圧縮処理を行う。このようにしたので、圧縮効率の低下や画質の劣化を抑制することができる。
【００５８】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【００５９】
（変形例１）
上述した実施形態および変形例において、画像処理部４の補正部４１は、ステップＳ１３０において、第１の補正処理として、感度ムラ補正部４１３による補正処理、暗電流補正部４１４による補正処理、固定パターンノイズ低減部４１５による補正処理、および欠陥画素補正部４１６による補正処理のうち少なくとも１つを行うようにしてもよい。
【００６０】
（変形例２）
上述した実施形態および変形例において、画像処理部４の補正部４１は、ステップＳ１４０において、第２の補正処理として、歪曲収差補正部４１１による補正処理、および像振れ補正部４１２による補正処理のうちいずれか１つを行うようにしてもよい。
【００６１】
（変形例３）
上述した実施形態および変形例において、画像処理部４の補正部４１は、ランダムノイズ低減部を有する構成であってもよい。ランダムノイズ低減部は、例えば、ガウシアンフィルタやメディアンフィルタ等を用いて画像データの平滑化処理を行うことによってランダムノイズを低減させる。この場合、補正部４１は、ステップＳ１６０において、第３の補正処理として、事前圧縮部４１８による圧縮処理、およびランダムノイズ低減処理のうち少なくとも１つを行うようにしてもよい。また、上述した実施形態および変形例において、画像処理部４の補正部４１は、階調を圧縮する階調補正部を有する構成であってもよい。
【００６２】
上記では、種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００６３】
１  撮像装置、３  撮像素子、５  圧縮部、６  送信部、４１  補正部、４２  積算部、４１１  歪曲収差補正部、４１７  補正値記憶部
【図１】
2018078493.tif 000003
【図２】
2018078493.tif 000004
【図３】
2018078493.tif 000005
【図４】
2018078493.tif 000006
【図５】
2018078493.tif 000007
【図６】
2018078493.tif 000008
【図７】
2018078493.tif 000009
【図８】
2018078493.tif 000010
【図９】
2018078493.tif 000011