(57)【要約】      （修正有）【課題】撮像素子の画素の出力の読み出し方向が変わっても画質の低下を抑制できる撮像装置を提供する。【解決手段】画素の出力が上から下、又は、下から上に読み出される撮像素子１３０を有する撮像装置であって、画素の出力を上から下に読み出すか、又は、下から上に読み出すかによって、出力が読み出されない画素を有する第一遮光領域１１、画素の出力を上から下に読み出しても、又は、下から上に読み出しても、出力が読み出される画素を有する第二遮光領域１２、及び、入射光に対する画像データを出力する有効領域１３、を有する撮像素子と、欠陥画素の座標が登録された欠陥画素情報の記憶手段と、欠陥画素情報に登録されている欠陥画素を第二遮光領域から除外して、第二遮光領域の画素の出力から黒レベルを決定し、黒レベルに基づいて有効領域の画像を補正する画像補正手段と、を有する。【選択図】図１０
2020123857.tif 000002
【特許請求の範囲】
【請求項１】
画素の出力が上から下、又は、下から上に読み出される撮像素子を有する撮像装置であって、
画素の出力を上から下に読み出すか、又は、下から上に読み出すかによって、出力が読み出されない画素を有する第一遮光領域、
画素の出力を上から下に読み出しても、又は、下から上に読み出しても、出力が読み出される画素を有する第二遮光領域、及び、
入射光に対する画像データを出力する有効領域、を有する撮像素子と、
欠陥画素の座標が登録された欠陥画素情報の記憶手段と、
前記欠陥画素情報に登録されている前記欠陥画素を前記第二遮光領域から除外して、前記第二遮光領域の画素の出力から黒レベルを決定し、前記黒レベルに基づいて前記有効領域の画像を補正する画像補正手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記有効領域に出力が飽和した飽和領域がある場合、
前記画像補正手段は、前記飽和領域と同一の水平ラインにある前記第二遮光領域の画素を、前記第二遮光領域から除外して、前記第二遮光領域の画素の出力から黒レベルを決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像補正手段は、前記第一遮光領域において、前記撮像素子の出力を上から下に読み出しても、下から上に読み出しても画素の出力が読み出される一致領域の画素から、前記欠陥画素情報に登録されている前記欠陥画素を除外して、前記第一遮光領域の画素の出力から黒レベルを決定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第一遮光領域は前記撮像素子の上側の端部に設けられていることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記第二遮光領域は前記撮像素子の左側又は右側いずれかの端部に設けられていることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
複数の撮像素子を有し、
前記複数の撮像素子が撮像した画像データをつなぎ合わせるつなぎ合わせ手段を有し、
つなぎ合わされた２つの画像データにより全天球画像を生成することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記複数の撮像素子が撮像した画像データは読み出し方向が異なることを特徴とする請求項６に記載の撮像装置。
【請求項８】
画素の出力を上から下に読み出すか、又は、下から上に読み出すかによって、出力が読み出されない画素を有する第一遮光領域、
画素の出力を上から下に読み出しても、又は、下から上に読み出しても、出力が読み出される画素を有する第二遮光領域、及び、
入射光に対する画像データを出力する有効領域、を有する撮像素子と、
欠陥画素の座標が登録された欠陥画素情報の記憶手段と、を有し、画素の出力が上から下、又は、下から上に読み出される撮像素子を有する撮像装置が行う画像補正方法であって、
画像補正手段が、前記欠陥画素情報に登録されている前記欠陥画素を前記第二遮光領域から除外して、前記第二遮光領域の画素の出力から黒レベルを決定し、前記黒レベルに基づいて前記有効領域の画像を補正する、
ことを特徴とする画像補正方法。
【請求項９】
画素の出力を上から下に読み出すか、又は、下から上に読み出すかによって、出力が読み出されない画素を有する第一遮光領域、
画素の出力を上から下に読み出しても、又は、下から上に読み出しても、出力が読み出される画素を有する第二遮光領域、及び、
入射光に対する画像データを出力する有効領域、を有する撮像素子と、
欠陥画素の座標が登録された欠陥画素情報の記憶手段と、を有し、画素の出力が上から下、又は、下から上に読み出される撮像素子を有する撮像装置を、
前記欠陥画素情報に登録されている前記欠陥画素を前記第二遮光領域から除外して、前記第二遮光領域の画素の出力から黒レベルを決定し、前記黒レベルに基づいて前記有効領域の画像を補正する画像補正手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像補正方法、及び、プログラムに関する。
【背景技術】
【０００２】
撮像装置において暗電流による黒レベルの変化の画像への影響を低減するために、遮光領域(オプティカルブラック)を設けておき黒レベルの基準とする方法がある。
【０００３】
また、撮像素子の高解像度化に伴って撮像素子が欠陥画素を有する場合があり、従来から、出荷前に欠陥画素の座標をそれぞれ登録しておき、ユーザが撮像操作を行った際に登録されている座標の画素の出力を補正する方法が採られている。欠陥画素は遮光領域にも生じるので、遮光領域の出力から黒レベルを決定する際にも予め登録されている欠陥画素の出力は黒レベルの決定には用いられない。
【０００４】
ところで、広角な画角を撮像できる撮像装置では複数の撮像素子が搭載される場合があるが、複数の撮像素子が撮像した画像データのつなぎ目の品質を担保するために、撮像素子によって画素の出力の読み出し方向を変える技術が考案されている（例えば特許文献１参照。）。特許文献１には、つなぎ目の品質を担保するために撮像素子の露光タイミングのずれを補正する撮像装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮像素子によって画素の出力の読み出し方向が変わると、事前に登録されている欠陥画素の座標と遮光領域から読み出される欠陥画素の座標とが一致しない場合が生じ、この結果、遮光領域のうち黒レベルの補正に使用できる画素数が減少するという問題があった。黒レベルの補正に使用できる画素数が減少すると、黒レベルの精度が低下し画質が低下するおそれがある。
【０００６】
本発明は、上記課題に鑑み、撮像素子の画素の出力の読み出し方向が変わっても画質の低下を抑制できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題に鑑み、本発明は、画素の出力が上から下、又は、下から上に読み出される撮像素子を有する撮像装置であって、画素の出力を上から下に読み出すか、又は、下から上に読み出すかによって、出力が読み出されない画素を有する第一遮光領域、画素の出力を上から下に読み出しても、又は、下から上に読み出しても、出力が読み出される画素を有する第二遮光領域、及び、入射光に対する画像データを出力する有効領域、を有する撮像素子と、欠陥画素の座標が登録された欠陥画素情報の記憶手段と、前記欠陥画素情報に登録されている前記欠陥画素を前記第二遮光領域から除外して、前記第二遮光領域の画素の出力から黒レベルを決定し、前記黒レベルに基づいて前記有効領域の画像を補正する画像補正手段と、を有することを特徴とする。
【発明の効果】
【０００８】
撮像素子の画素の出力の読み出し方向が変わっても画質の低下を抑制できる撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】撮像素子と撮像素子に設けられた第一遮光領域を拡大して示す図の一例である。
【図２】撮像装置の断面図の一例である。
【図３】撮像装置のハードウェア構成図の一例である。
【図４】撮像装置が備える機能をブロック状に示す機能ブロック図の一例である。
【図５】撮像装置が実行する撮像手順を示すフローチャート図の一例である。
【図６】撮像装置における射影関係を説明する図の一例である。
【図７】全天球画像の画像データのデータ構造を説明する図の一例である。
【図８】撮像装置が用いる変換パラメータを説明する図の一例である。
【図９】撮像装置が２つの部分画像から生成する全天球画像を示す図の一例である。
【図１０】撮像素子に設けられた遮光領域と有効領域の配置例を示す図である。
【図１１】非反転読み出しと反転読み出しにおける第二遮光領域の欠陥画素の座標の一例を示す図である。
【図１２】画像補正部が遮光領域の出力を使って暗電流による有効領域の画質低下を抑制する手順を示すフローチャート図の一例である。
【図１３】有効領域の飽和による暗電流補正の影響の低減について説明する図の一例である。
【図１４】飽和領域が生じても、画像補正部が遮光領域の出力を使って暗電流による有効領域の画質低下を抑制する手順を示すフローチャート図の一例である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態の一例として、撮像装置と撮像装置が行う画像補正方法について図面を参照しながら説明する。
【００１１】
＜従来技術に関する補足＞
まず、図１を用いて従来技術について補足する。図１は、撮像素子１３０と撮像素子１３０に設けられた第一遮光領域１１を拡大して示す図である。
【００１２】
画素欠陥は長秒撮像時に多く発生する傾向があり、画質の低下を招くので出荷前の調整工程で欠陥画素の座標を登録しておくことが一般的に行われている。撮像時には登録されている座標の画素（欠陥画素）の出力を周囲の画素の出力で補正する。また、欠陥画素は第一遮光領域１１にも存在し、第一遮光領域１１の出力(検波)の値に誤差を生じさせるので、第一遮光領域１１の欠陥画素の座標も調整工程で登録されている。撮像時に黒レベルを決定する際には、登録されている座標の画素（欠陥画素）の出力を黒レベルの決定に用いない（以下、単に「除去する」という）。
【００１３】
ところで、図１のような撮像素子１３０を複数有する撮像装置では、複数の撮像素子１３０の各々により撮像された画像を繋ぎ合わせて１つの画像を生成する必要があり、つなぎ目の画質を高めるため、複数の撮像素子１３０で読み出し方向を異ならせることでつなぎ目部分の露光タイミングを合わせることが望ましいとされている。こうすることで異なる撮像素子１３０のつなぎ目部分の撮像時刻のずれを低減できつなぎ目の画質を高めることができる。
【００１４】
例えば読み出し方向を揃える方法としては物理的に異なる複数の撮像素子基板（撮像素子１３０が実装された基板）を用意することが考えられるが、この場合、異なる種類の撮像素子基板が必要になりコストが増大する。そこで、コストを抑えるために１種類の撮像素子基板を用い、撮像素子１３０からの読み出し方向（ライン単位の画素を上から読み出すか、下から読み出すか）を逆方向に動作させて、読み出し方向を調整するという手法が採用される場合がある。
【００１５】
図１の撮像素子１３０は上から下（非反転読み出し方向）、又は、下から上（反転読み出し方向）に読み出されることになるが、読み出し方向が決まる工程と、欠陥画素の座標の登録工程の順番が常に決まっているとは限らなかった。つまり、読み出し方向が定まった状態で欠陥画素の座標の事前の登録が行われるとは限らない。このため、以下のような不都合が生じる。
【００１６】
図１（ａ）は第一遮光領域１１の物理配置と、読み出し方向による読み出し領域の違いを示している。実線で囲まれた領域は非反転読み出し方向で読みだされる非反転読み出し領域３５であり、点線で囲まれた領域は反転読み出し方向で読みだされる反転読み出し領域３４である。図示するように、非反転読み出し領域３５と反転読み出し領域３４は完全には一致しない。このため、非反転読み出し領域３５の上帯部３３は反転読み出し方向の場合は読み出されず、反転読み出し領域３４の下帯部３２は非反転読み出し方向の場合は読み出されない。
【００１７】
これは、第一遮光領域１１の画素を全て読み取る必要はないこと、第一遮光領域１１の高さは必ずしも一定でないこと、又は、画像データとしてユーザが眼にすることはないため上下反転することもなく一部分だけ読み取ればよいこと、等を理由としている。なお、後述するように、被写体の画像が投影される有効領域１３（非遮光領域）が反転読み出しされた場合は、画像データが上下逆になるため、上下反転という処理が行われる。
【００１８】
非反転読み出し領域３５と反転読み出し領域３４の重複領域は、非反転読み出しでも反転読み出しでも登録されている欠陥画素の座標と一致する欠陥画素があるため、一致領域３１という。
【００１９】
図１（ｂ）は、反転読み出しされた反転読み出し領域３４と欠陥画素４１ａ〜４１ｄ、４２ａ、４２ｂを示す。反転読み出しであるため図１（ａ）の下帯部３２が上側にあり、下側に一致領域３１がある。下帯部３２と一致領域３１にそれぞれ欠陥画素が存在する。
【００２０】
図１（ｃ）は非反転読み出しされた非反転読み出し領域３５と欠陥画素を示す。非反転読み出しであるため図１（ａ）の上帯部３３が上側にあり、下側に一致領域３１がある。上帯部３３と一致領域３１にそれぞれ欠陥画素が存在する。
【００２１】
図１（ｂ）と図１（ｃ）を比較すると、一致領域３１に存在する欠陥画素４１ａ〜４１ｄは読み出し方向が反対に変わっても一致領域３１の上下に線対称な位置に存在する（一致領域３１を水平に折りたたむと別の読み出し方向の一致領域３１の欠陥画素がある）。つまり、一致領域３１の欠陥画素４１ａ〜４１ｄは、座標が事前に登録されていれば、つなぎ目の画質維持のために決定された読み出し方向が非反転読み出し方向でも反転読み出し方向でも、座標が登録されているため撮像時の黒レベルの決定から除外できる。
【００２２】
しかし、下帯部３２の欠陥画素は、つなぎ目の画質維持のために決定された読み出し方向が非反転読み出し方向の場合は、撮像時の画質補正に使用できない。上帯部３３の欠陥画素は、つなぎ目の画質維持のために決定された読み出し方向が反転読み出し方向の場合は、撮像時の画質補正に使用できない。
【００２３】
このように、欠陥画素の座標の登録工程における読み出し方向と撮像装置として出荷された状態の読み出し方向が一致しない場合、第一遮光領域１１から読み出された画像データが、欠陥画素の座標が登録されていない領域を含みうるため、結果的に第一遮光領域１１として使える領域が一致領域３１のみとなってしまい、遮光領域のサンプル数の減少により黒レベルの精度が低下してしまうという不都合があった。
【００２４】
＜用語について＞
画素の出力の読み出し方向とは１ライン分の出力が撮像素子の上から下に順番に読み出されるのか、下から上に順番に読み出されるのかをいう。
【００２５】
入射光に対する画像データを出力する有効領域とは遮光されていない画素の領域をいう。
【００２６】
画像の補正とは、真に近い値に変更すること、適切な画素値に変更すること、画質を向上させることをいう。
【００２７】
＜構成例＞
以下、図２及び図３を参照しながら、本実施形態による撮像装置１００の全体構成について説明する。図２は、本実施形態による撮像装置１００の断面図である。図２に示す撮像装置１００は、撮像体１９と、上記撮像体１９その他コントローラボードやバッテリなどの部品を保持する筐体１７と、上記筐体１７に設けられた撮像ボタン１８とを備える。
【００２８】
図２に示す撮像体１９は、２つの結像光学系２０Ａ，２０Ｂと、撮像素子１３０Ａ，撮像素子１３０Ｂと、を有する（撮像素子１３０Ａ、１３０Ｂのうち任意の撮像素子を撮像素子１３０とする）。撮像素子１３０Ａ，１３０Ｂは、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどである。結像光学系２０Ａ、２０Ｂは、例えば６群７枚の魚眼レンズとして構成される。上記魚眼レンズは、図２に示す実施形態では、１８０度（＝３６０度／ｎ；光学系の数ｎ＝２）より大きい全画角を有し、好適には、１９０度以上の画角を有する。このような広角な結像光学系２０Ａ，２０Ｂと撮像素子１３０とを１個ずつ組み合わせたものを広角撮像光学系と称する。
【００２９】
２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタ及び開口絞り）は、撮像素子１３０Ａ，１３０Ｂに対して位置が定められる。結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子１３０Ａ，１３０Ｂの受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。
【００３０】
図２に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子１３０Ａ，１３０Ｂは、受光した光分布を画像信号に変換し、コントローラボード上の画像処理ブロックに、順次、画像フレームを出力する。詳細は後述するが、撮像素子１３０Ａ，１３０Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステアラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮像地点から見渡すことのできる全ての方向を撮像したものとなる。説明する実施形態では、全天球画像を生成するものとして説明するが、水平面のみ広角に（例えば、９０度〜３６０度）を撮像した、いわゆるパノラマ画像であってもよく、全天球の全景のうちの一部を撮像した画像であってもよい。また、全天球画像は、静止画として保存することもできるし、動画として保存することもできる。
【００３１】
図３は、本実施形態による撮像装置１００のハードウェア構成を示す。撮像装置１００は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部ストレージインタフェース１２２を介して接続される外部ストレージ１３４と、外部センサインタフェース１２４を介して接続される姿勢センサ１３６と、ＵＳＢインタフェース１２６を介して接続されるＵＳＢコネクタ１３８と、シリアルブロック１２８を介して接続される無線ＮＩＣ（Network Interface Card）１４０と、映像出力インタフェース１２９と、を有する。
【００３２】
ＣＰＵ１１２は、撮像装置１００の各部の動作及び全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラム（特許請求の範囲のプログラムの一例）や各種パラメータを格納する。画像処理ブロック１１６は、撮像素子１３０Ａ，撮像素子１３０Ｂと接続され、それぞれで撮像された画像の画像信号が入力される。撮像素子１３０Ａは撮像素子１３０Ａの温度を検出する第１温度センサ１５０Ａを有し、撮像素子１３０Ｂは撮像素子１３０Ｂの温度を検出する第２温度センサ１５０Ｂを有している。
【００３３】
画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。画像処理ブロック１１６は、更に、撮像素子１３０Ａと撮像素子１３０Ｂから上記処理を経て取得された複数の画像を合成処理し、これにより、上記した全天球画像を生成する処理を行う。
【００３４】
動画圧縮ブロック１１８は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの動画圧縮及び伸張を行うコーデック・ブロックである。動画圧縮ブロック１１８は、生成された全天球画像の動画データを保存するため、又は、保存された動画データを再生出力するために用いられる。ＤＲＡＭ１３２は、各種信号処理及び画像処理を施す際にデータを一時的に保存する記憶領域を提供する。
【００３５】
姿勢センサ１３６は、加速度センサ、ジャイロセンサ、地磁気センサ又はこれらの組み合わせで構成され、撮像装置１００の姿勢を特定するために用いられる。例えば、３軸の加速度センサは、３軸の加速度成分を検出することができる。３軸のジャイロセンサは、３軸の角速度を検出することができる。地磁気センサは、磁界の向きを計測することができる。これらのセンサの出力を単独で又は組み合わせることにより、撮像装置１００の３つの姿勢角が与えられる。姿勢センサ１３６から得られる情報は、全天球画像の天頂補正を施すために用いられ、また、後述する注目点に応じた画像回転処理を施すために用いることができる。
【００３６】
外部ストレージインタフェース１２２には、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、外部ストレージ１３４に対する読み書きを制御する。
【００３７】
ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。シリアルブロック１２８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ１４０が接続される。映像出力インタフェース１２９は、ＨＤＭＩ（High−Definition Multimedia Interface，ＨＤＭＩは登録商標である。）などの外部ディスプレイと接続するためのインタフェースであり、記録前や記録中の画像又は、記録した画像を外部ディスプレイなどに映像出力することができる。
【００３８】
なお、一例として、ＵＳＢコネクタ１３８、無線ＮＩＣ１４０、ＨＤＭＩ（登録商標）による映像出力インタフェース１２９を示しているが、特定の規格に限定されるものではない。他の実施形態では、有線ＬＡＮ（Local Area Network）などの有線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）やワイヤレスＵＳＢなどの他の無線通信、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）やＶＧＡ（Video Graphics Array）などの他の映像出力インタフェースを介して、外部機器と接続されてもよい。
【００３９】
電源スイッチの操作によって通電状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれた制御プログラムに従って、装置各部の動作を制御すると共に、制御に必要なデータをメモリ上に一時的に保存する。これにより、撮像装置１００の後述する各機能部及び処理が実現される。
【００４０】
＜機能について＞
図４は、撮像装置１００が備える機能をブロック状に示す機能ブロック図の一例である。撮像装置１００は、撮像画像取得部２０２と、画像補正部２０３と、つなぎ合わせ処理部２０４と、天頂補正部２０６と、全天球画像生成部２０８と、画像圧縮部２１０とを有する。
【００４１】
また、撮像装置１００はＲＯＭ１１４などに構築された欠陥画素ＤＢ３０５を有している。表１は欠陥画素ＤＢ３０５に登録されている欠陥画素の座標を示す。
【００４２】
【表１】
2020123857.tif 000003
欠陥画素ＤＢ３０５には例えば座標順に欠陥画素の座標が登録されている。欠陥画素ＤＢ３０５は欠陥画素の座標が登録された欠陥画素情報の記憶手段である。欠陥画素とは正常画素と特性が異なる画素（典型的な例として白傷、黒傷がある）をいう。欠陥画素は撮像された画像の劣化をもたらすため、撮像装置は撮像された有効領域の画像を補正することが一般的である。なお、欠陥画素ＤＢ３０５には有効領域の欠陥画素の座標と、第一遮光領域の欠陥画素の座標と、第二遮光領域の欠陥画素の座標が登録されている。それぞれが区別して登録されていてもよい。区別されていないとしても有効領域、第一遮光領域及び第二遮光領域の座標が既知なので、欠陥画素ＤＢ３０５からそれぞれの欠陥画素を特定できる。
【００４３】
（各機能の説明）
撮像画像取得部２０２は、上記した撮像素子１３０Ａ，撮像素子１３０Ｂを制御し、それぞれからの撮像画像を取得する。静止画の場合は、シャッターが押されたタイミングで取得された１フレーム分の２つの撮像画像が取得される。動画の場合は、連続したフレームが順次撮像され、各フレームごとに２つの撮像画像が取得される。撮像素子１３０各々で撮像される画像は、概ね全天球のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子１３０それぞれが撮像した画像を部分画像と称する場合がある。
【００４４】
画像補正部２０３は（画像補正手段の一例）、欠陥画素ＤＢ３０５から欠陥画素の座標を取得し、欠陥画素の画素値を補正又は除外する。有効領域１３においては主に欠陥画素の周囲の画素の画素値を用いて欠陥画素の画素値を補正する。第一遮光領域１１及び第二遮光領域１２においては黒レベルを決定するための画素から欠陥画素を除外する。本実施形態の画像補正部２０３は図１で説明した不都合を解消するため、第二遮光領域１２の画素の出力を用いて黒レベルを決定する。
【００４５】
つなぎ合わせ処理部２０４は（つなぎ合わせ手段の一例）、取得された２つの部分画像間のつなぎ位置を検出し、２つの部分画像をつなぎ合わせるための処理を実行する。つなぎ位置検出処理では、フレーム毎に、複数の部分画像間に存在する重複領域において、複数の対応点各々の位置ずらし量を検出する処理が行われる。
【００４６】
天頂補正部２０６は、図３に示した姿勢センサ１３６を制御し、撮像装置１００の姿勢角を検出し、生成される全天球画像の天頂方向が所定の基準方向に一致するようにするための補正処理を実行する。ここで、所定の基準方向とは、典型的には、鉛直方向であり、重力加速度が作用する方向である。全天球画像の天頂方向が鉛直方向（天方向）に一致するよう補正することにより、特に動画像において、閲覧時に視野の変更を行う場合でもユーザに３次元酔いなどの違和感を与えないようにすることが可能となる。
【００４７】
全天球画像生成部２０８は、つなぎ合わせ処理部２０４及び天頂補正部２０６の処理結果が反映された状態で、撮像された２つの部分画像から全天球画像を生成する処理を実行する。なお、説明する実施形態においては、２つの部分画像から全天球画像を生成するための変換パラメータが存在し、つなぎ合わせ処理部２０４は、この変換パラメータに対し、つなぎ位置検出の結果を反映する。天頂補正部２０６も、変換パラメータに対し天頂補正の結果を反映する。そして、全天球画像生成部２０８は、これらの処理結果が反映された変換パラメータを用いて、２つの部分画像から全天球画像を生成する。このように処理することにより、最終的な全天球画像を得るための処理負荷を軽減することができる。
【００４８】
しかしながら、上記した実施形態に限定されるものではなく、２つの部分画像をつなぎ合わせて全天球画像を生成し、生成された全天球画像に対して天頂補正処理を施して、天頂補正が施された全天球画像を生成するよう構成することもできる。なお、変換パラメータについては後述する。
【００４９】
画像圧縮部２１０は、静止画圧縮ブロックを含み構成され、静止画を撮像する場合、撮像された画像を、ＪＰＥＧ（Joint Photographic Experts Group）などの所定の静止画形式の画像データに圧縮する。画像圧縮部２１０は、また、図３に示した動画圧縮ブロック１１８を制御するものであり、動画を撮像する場合、撮像された連続する画像フレームを所定の動画形式の画像データに圧縮する。動画圧縮形式としては、特に限定されるものではないが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）、Ｍｏｔｉｏｎ ＪＰＥＧ、Ｍｏｔｉｏｎ ＪＰＥＧ２０００などの種々の動画圧縮形式を挙げることができる。生成された画像データは、撮像装置１００に装着された外部ストレージ１３４や、その他、撮像装置１００が備えるフラッシュメモリなどのストレージに保存される。
【００５０】
＜全体的な手順＞
図５は、撮像装置１００が実行する撮像手順を示すフローチャート図の一例である。以下、図５を参照しながら、撮像装置１００が実行する処理について説明する。なお、図５に示す処理は、ユーザによる撮像ボタンの押下などの記録指示に応答して開始される。図５に示す処理は静止画を撮像する場合を説明している。
【００５１】
ステップＳ１０１では、撮像画像取得部２０２が撮像素子１３０Ａ，撮像素子１３０Ｂからの撮像画像を取得する。撮像画像について図６〜図８を参照して説明する。
【００５２】
図６は、本実施形態による撮像装置１００における射影関係を説明する図である。本実施形態において、１つ魚眼レンズで撮像された画像は、撮像地点から概ね半球分の方位を撮像したものとなる。また、魚眼レンズは、図６（ａ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像を生成する。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。
【００５３】
射影関数は、魚眼レンズの性質によって異なる。上記投影モデルとしては、等距離射影方式（ｈ＝ｆ・φ）、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））及び正射影方式（ｈ＝ｆ・ｓｉｎφ）を挙げることができる。いずれの方式においても、光軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。また、本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図６（ｂ）に示すように、撮像範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。
【００５４】
図７は、本実施形態で用いられる全天球画像の画像データのデータ構造を説明する図である。なお、図７はすでに２つの半球の画像がつなぎ合わされた状態を示す。図７（ｂ）に示すように、全天球画像のフォーマットは、所定の軸に対するなす角度に対応する角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。各座標値（θ，φ）は、図７（ａ）に示すように、撮像地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。
【００５５】
図８は、本実施形態による撮像装置が用いる変換パラメータを説明する図である。変換パラメータは、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を規定する。変換パラメータは、図８（ａ）及び（ｂ）に示すように、各魚眼レンズごとに、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）に対して保持したものである。図８の例示では、１画素が担当する角度は、φ方向及びθ方向いずれも１／１０度であり、変換パラメータは、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有している。オリジナルの変換パラメータは、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものを用いることができる。
【００５６】
図５に戻って説明する。ステップＳ１０２では、画像補正部２０３が撮像素子１３０Ａと撮像素子１３０Ｂがそれぞれ撮像した画像を補正する。この処理の詳細は後述する。
【００５７】
次に、ステップＳ１０３では、つなぎ合わせ処理部２０４が、取得された２つの部分画像間の重複領域にてつなぎ位置を検出し、変換パラメータに対し、つなぎ位置検出の結果を反映する。つなぎ位置検出の結果の反映により、図８（ａ）に示す変換パラメータは、補正後画像の座標値（θ,φ）に対し、つなぎ位置補正を反映した部分画像の座標値（ｘ、ｙ）が対応付けられるように修正される。
【００５８】
ステップＳ１０４では、天頂補正部２０６が、撮像装置１００の重力方向に対する姿勢角を検出し、生成される全天球画像の天頂方向が鉛直方向に一致するように変換パラメータを修正する。天頂補正は、詳細を後述する３次元回転変換と同様の処理により実施することができるが、ここでは詳細には立ち入らない。
【００５９】
ステップＳ１０５では、全天球画像生成部２０８が変換パラメータを用いて、撮像された２つの部分画像から全天球画像を生成する処理を実行する。ステップＳ１０５においては、まず、変換パラメータを用いて、部分画像が、平面座標系から球面座標系へ変換される。そして、２つの球面座標系の部分画像が画像合成されて、全天球画像が生成される。
【００６０】
図９は、本実施形態による撮像装置１００が２つの部分画像から生成する全天球画像を示す。図９（ａ）は撮像装置１００で撮像された半球画像（前側）、図９（ｂ）は撮像装置１００で撮像された半球画像（後側）、図９（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。
【００６１】
図９（ａ）に示されているように、撮像素子１３０Ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図９（ｂ）に示されているように、撮像素子１３０Ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とが合成され、図９（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。
【００６２】
OpenGL ES（Open Graphics Library for Embedded Systems）等が利用されることで、正距円筒射影画像が球面を覆うように貼り付けられ、全天球画像が作成される。このように、全天球画像は、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2−Dimensions) 及び３Ｄ(3−Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像は、静止画であっても動画であってもよい。
【００６３】
図５に戻って説明する。ステップＳ１０６では、画像圧縮部２１０が生成された全天球画像の画像データを画像圧縮し、ステップＳ１０７で、生成された画像データをストレージに保存する。
【００６４】
＜撮像素子における遮光領域について＞
続いて、図１０を用いて撮像素子１３０の遮光領域について説明する。図１０は撮像素子１３０Ａ，１３０Ｂに設けられた遮光領域と有効領域１３の配置例を示す図である。なお、２つの撮像素子１３０Ａ，１３０Ｂの構造は同じでよいため、図では１つの撮像素子１３０Ａ又は１３０Ｂのみを示した。
【００６５】
ＣＭＯＳやＣＣＤなどのイメージセンサでは、高ゲイン時、長秒撮像時、又は、高温時など画素に光が入射していなくても暗電流による出力が生じることあり、暗電流により光が入射しているかのような画像となってしまうことがある（暗いはずの部分が明るく写ってしまう等）。暗電流による画質低下を抑制するため、撮像素子１３０Ａ，１３０Ｂは１つ以上の遮光領域を有している。図１０では第一遮光領域１１と第二遮光領域１２が設けられている。上側の端部にある第一遮光領域１１をトップ遮光領域、横側（左側）の端部にある第二遮光領域１２をサイド遮光領域という場合がある。なお、有効領域１３は入射光に対する画像データを出力する（ユーザが眼にする画像データを出力する）。
【００６６】
遮光領域の画素も有効領域１３の画素に近い（同程度の）暗電流を出力するので、画像補正部２０３は遮光領域の画素の出力を検出(検波)して、有効領域１３から遮光領域の出力を減算することによって、入射光に対する有効領域１３の画素の出力のみを取り出す。より具体的には、撮像時に遮光領域の出力の平均値を求めて黒レベルとし、この平均値（黒レベル）を有効領域１３の各画素の出力から減算することで暗電流補正を行う。
【００６７】
遮光領域の画素の出力にもノイズが含まれるので、サンプル数(遮光領域の画素数)は多いほうが安定した黒レベルを算出することができる。図１にて説明したように、第一遮光領域１１ではサンプル数（画素の数）が十分でなくなるおそれがあるので、本実施形態では第二遮光領域１２を黒レベルの決定に使用する。必ずしも第二遮光領域１２の全てを使用しなくてもよく、例えば第一遮光領域１１と同程度のサイズに相当する一部の画素の出力のみを使用してもよい。なお、第二遮光領域１２は撮像素子１３０Ａ、１３０Ｂの右側にあってもよい。
【００６８】
また、撮像素子１３０は上下（又は片方）にカラム並列ＡＤＣ１５を有する。カラム並列ＡＤＣ１５は各列の出力を並列に水平の１ラインごとに読み出すＡ／Ｄコンバータである。本実施形態では上から下（非反転読み出し）、又は、下から上（反転読み出し）のいずれかで水平方向１ラインごとに各画素の出力を読み出す。
【００６９】
＜第二遮光領域の欠陥画素の座標について＞
第一遮光領域１１では撮像時にも使用できる登録されている欠陥画素の数（一致領域３１）が少なくなると説明したが、第二遮光領域１２にはそのような不都合がない。
【００７０】
図１１は、非反転読み出しと反転読み出しにおける第二遮光領域１２の欠陥画素の座標の一例を示す。図１１（ａ）は非反転読み出しによる出力画像を示し、図１１（ｂ）は反転読み出しによる出力画像を示す。図１１では「Ｆ」という文字が撮像された場合を模式的に示している。図１１（ｂ）では下から上に読み出されたため「Ｆ」の上下が反転していることが分かる。
【００７１】
第二遮光領域１２の欠陥画素５１ａ〜５１ｄも上下が反転しているが、第二遮光領域１２の欠陥画素５１ａ〜５１ｄは有効領域１３と同じ水平ライン上に存在している。このため、有効領域１３と共に第二遮光領域１２の出力も読み出され、読み出し方向によって読み出されない画素（非反転読み出しと反転読み出しで座標が一致しない画素）は全くないか又は非常に少ない。リングピクセル（フィルタ処理に必要とされる有効領域１３周辺の合理的かつ最小限の画素）やベイヤー配列による領域の不一致（ベイヤフィルタと画素のずれによる画素の不一致）は多少あるとしても、有効領域１３の画素に比べて無視できる程度である。従って、第二遮光領域１２を使って暗電流に関する画像補正を行えば、図１で説明した不都合を抑制できる。
【００７２】
＜画像補正の手順＞
図１２は、画像補正部２０３が遮光領域の出力を使って暗電流による有効領域１３の画質低下を抑制する手順を示すフローチャート図の一例である。
【００７３】
画像補正部２０３は、第一遮光領域１１の出力を取り出す（Ｓ１１）。非反転読み出しの場合は、非反転読み出し領域３５の画素が取り出され、反転読み出しの場合は反転読み出し領域３４の画素が取り出される。
【００７４】
画像補正部２０３は、一致領域３１の出力を取り出す（Ｓ１２）。欠陥画素ＤＢ３０５には一致領域３１の欠陥画素の座標しか登録されていないおそれがあるためである。一致領域３１の座標は画像補正部２０３に予め登録されているものとする。仮に登録されていない場合、ステップＳ１１で読み取った第一遮光領域１１の画素のうち下から２／３程度を一致領域３１と見なせばよい。図１（ｂ）又は図１（ｃ）に示したように非反転読み出しでも反転読み出しでも第一遮光領域１１の下側に一致領域３１が存在するためである。
【００７５】
次に、画像補正部２０３は欠陥画素ＤＢ３０５から一致領域３１の欠陥画素の座標を読み出す（Ｓ１３）。一致領域３１の画素範囲の座標を持つ欠陥画素を欠陥画素ＤＢ３０５から特定すればよい。そして、一致領域３１の画素から欠陥画素を除外する（Ｓ１４）。除外とは画素からの出力の平均の算出に使用しないことをいう。
【００７６】
次に、画像補正部２０３は第二遮光領域１２の出力を取り出す（Ｓ１５）。第二遮光領域１２は、読み出し方向が変わっても変更がない。
【００７７】
そして、画像補正部２０３は欠陥画素ＤＢ３０５から第二遮光領域１２の欠陥画素の座標を読み出す（Ｓ１６）。第二遮光領域１２の画素範囲の座標を持つ欠陥画素を欠陥画素ＤＢ３０５から特定すればよい。
【００７８】
次に、画像補正部２０３は第二遮光領域１２の画素から欠陥画素を除外する（Ｓ１７）。除外とは画素からの出力の平均の算出に使用しないことをいう。
【００７９】
画像補正部２０３は、欠陥画素を除外した一致領域３１の画素と第二遮光領域１２の画素の出力の平均（黒レベル）を算出する（Ｓ１８）。これにより、欠陥画素の出力を除いて黒レベルを決定できる。また、暗電流が有効領域１３の出力に与える影響を推定できる。
【００８０】
次に、画像補正部２０３は有効領域１３の画素の出力からステップＳ１８で算出した平均を減算する（Ｓ１９）。これにより、有効領域１３の画像データの本来は暗い領域が暗電流により明るく見えるような画質低下を抑制できる。
【００８１】
なお、図１２の処理では第一遮光領域１１を暗電流補正に使用しているが、第二遮光領域１２を使用する場合はサンプル数が十分なので第一遮光領域１１を暗電流補正に使用しなくてもよい。
【００８２】
＜有効領域の飽和による暗電流補正の影響の低減＞
図１３は有効領域１３の飽和による暗電流補正の影響の低減について説明する図である。有効領域１３の任意の画素に強い光が入射するとこの画素が飽和することが知られている。飽和とは画素で発生した電荷を蓄積するコンデンサの容量の上限まで充電することをいう。飽和した画素領域を飽和領域５３という。
【００８３】
第二遮光領域１２は有効領域１３と同じ水平ライン上に存在しているため、有効領域１３に飽和領域５３が生じると同一の水平ライン上に存在している第二遮光領域１２の画素５４の出力も影響を受けることがある。遮光されているのに、暗電流とは別に飽和領域５３から流れ出た電荷を第二遮光領域１２の画素が蓄積する場合がある。
【００８４】
本実施形態のように全天球を撮像できる広角な撮像装置では、撮像領域が広いのに対し飽和領域５３の面積は小さく、影響は軽微と考えられるが、影響を可能な限り排除することが好ましい。
【００８５】
そこで、画像補正部２０３は、飽和領域５３と同一の水平ライン上に存在している第二遮光領域１２の画素５４を検波除外領域として、黒レベルの決定の対象から除外する。こうすることで、有効領域１３で飽和領域５３が発生しても暗電流補正の効果が低下することを抑制できる。なお、飽和領域５３の検出には実画像の画素値（例えば０〜２５５の画素値を取る場合に２５５の画素値を示した画素）を使ってもよいし、ＡＥ（Automatic Exposure）で評価値の算出に用いた画素ブロックのデータを使ってもよい。なお、ＡＥは撮像素子１３０の出力から輝度値の評価値を算出し、評価値に基づいて適切な露出量が得られるようにゲイン、絞り及び露光時間（シャッター速度）を制御する機能である。
【００８６】
図１４は、飽和領域５３が生じても、画像補正部２０３が遮光領域の出力を使って暗電流による有効領域１３の画質低下を抑制する手順を示すフローチャート図の一例である。なお、図１４の説明では主に図１２との相違を説明する。まず、ステップＳ１１〜Ｓ１７の処理は図１２と同様でよい。
【００８７】
ステップＳ１７−２において、画像補正部２０３は飽和領域があるか否かを判断する（Ｓ１７−２）。そして、飽和領域がある場合、第二遮光領域１２の画素のうち飽和領域と同じ水平ラインの画素を除外する（Ｓ１７−３）。
【００８８】
こうすることで、有効領域１３で飽和領域が発生しても暗電流補正の効果が低下することを抑制できる。
【００８９】
＜まとめ＞
以上説明したように、本実施形態の撮像装置１００は、第二遮光領域１２（サイド遮光領域）を使って暗電流補正を行うので、複数の画像データをつなぎ合わせるために読み出し方向が異なる撮像素子が存在し、第一遮光領域１１のサンプル数が少なくなっても、黒レベルの決定を精度よく行うことができ、画質が低下することを抑制できる。
【００９０】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００９１】
例えば、本実施形態では、２つの画像のつなぎ合わせの前に画像を補正しているが、画像の補正はつなぎ合わせ後に行ってもよい。
【００９２】
また、本実施形態では、補正を撮像装置１００が行っているが、撮像から画像の補正までのシステムで行ってもよい。例えば、撮像装置１００は２つの画像と撮像条件をスマートフォンやサーバに送信し、スマートフォンやサーバが補正後の２つの画像データを撮像装置１００に返す。
【００９３】
また、以上の実施例で示した図４の構成例は、撮像装置１００の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。撮像装置１００は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【符号の説明】
【００９４】
１１          第一遮光領域
１２          第二遮光領域
１３          有効領域
３１          一致領域
３４          反転読み出し領域
３５          非反転読み出し領域
１００        撮像装置
【先行技術文献】
【特許文献】
【００９５】
【特許文献１】特開２０１８‐１３７５９２号公報
【図１】
2020123857.tif 000004
【図２】
2020123857.tif 000005
【図３】
2020123857.tif 000006
【図４】
2020123857.tif 000007
【図５】
2020123857.tif 000008
【図６】
2020123857.tif 000009
【図７】
2020123857.tif 000010
【図８】
2020123857.tif 000011
【図９】
2020123857.tif 000012
【図１０】
2020123857.tif 000013
【図１１】
2020123857.tif 000014
【図１２】
2020123857.tif 000015
【図１３】
2020123857.tif 000016
【図１４】
2020123857.tif 000017