(57)【要約】      （修正有）【課題】欠陥画素の補正処理にかかる時間を抑えつつ、撮影画像同士を繋ぎ合せた境界部分で生じるＳＮ比差（欠陥画素数の差に起因するＳＮ比差）を抑えることが可能な撮像装置を提供する。【解決手段】複数の撮像素子で撮影された撮影画像を繋ぎ合わせて単一の合成画像を生成する撮像装置を、複数の撮像素子のうちの少なくとも１つの撮像素子について欠陥画素の情報を記憶する記憶手段と、記憶手段に記憶された欠陥画素の情報をもとに撮像素子より出力される画像データに対して欠陥画素の補正処理を行うことにより、欠陥画素によって撮影画像内に現れる欠陥画像領域を減少させる補正手段とを備える構成とする。補正手段は、複数の撮影画像間で、単位面積当たりの欠陥画像領域の面積の差が小さくなるように、複数の撮像素子の全欠陥画素のうちの一部の欠陥画素に対して補正処理を行う。【選択図】なし【特許請求の範囲】
【請求項１】
複数の撮像素子で撮影された撮影画像を繋ぎ合わせて単一の合成画像を生成する撮像装置において、
前記複数の撮像素子のうちの少なくとも１つの撮像素子について欠陥画素の情報を記憶する記憶手段と、
前記記憶手段に記憶された欠陥画素の情報をもとに前記撮像素子より出力される画像データに対して前記欠陥画素の補正処理を行うことにより、前記欠陥画素によって前記撮影画像内に現れる欠陥画像領域を減少させる補正手段と、
を備え、
前記補正手段は、
前記複数の撮影画像間で、単位面積当たりの前記欠陥画像領域の面積の差が小さくなるように、前記複数の撮像素子の全欠陥画素のうちの一部の欠陥画素に対して前記補正処理を行う、
撮像装置。
【請求項２】
前記補正手段は、
前記複数の撮像素子のうちの一部の撮像素子より出力される画像データに対して前記補正処理を行う、
請求項１に記載の撮像装置。
【請求項３】
前記補正手段は、
前記複数の撮像素子より出力される画像データのうち、少なくとも、前記単位面積当たりの前記欠陥画像領域の面積が最も小さい撮影画像の画像データに対して前記補正処理を行わない、
請求項２に記載の撮像装置。
【請求項４】
前記補正手段は、
前記複数の撮影画像間で、前記単位面積当たりの前記欠陥画像領域の面積の差がなくなるように、前記補正処理を行う、
請求項１から請求項３の何れか一項に記載の撮像装置。
【請求項５】
前記補正手段は、
前記撮影画像内で、前記撮影画像同士の境界に近い画像領域ほど、隣接する撮影画像との前記単位面積当たりの前記欠陥画像領域の面積の差が小さくなるように、前記補正処理を行う、
請求項１から請求項４の何れか一項に記載の撮像装置。
【請求項６】
前記記憶手段は、
前記複数の撮像素子の全欠陥画素のうち、前記補正処理を施す対象の欠陥画素の情報のみ記憶する、
請求項１から請求項５の何れか一項に記載の撮像装置。
【請求項７】
新たな前記欠陥画素を検出する検出手段
を更に備え、
前記記憶手段は、
前記検出手段に新たに検出された欠陥画素の情報を追加記憶し、
前記補正手段は、
前記記憶手段に追加記憶された欠陥画素の数に応じて、前記補正処理を施す対象の欠陥画素の数を変更する、
請求項１から請求項５の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
撮影視野の一部が互いに重複するように配置された複数の撮像素子で撮影された撮影画像を繋ぎ合わせて単一の合成画像を生成する撮像装置が知られている。例えば特許文献１に、この種の撮像装置の具体的構成が記載されている。
【０００３】
特許文献１に記載の撮像装置は、感度差の異なる撮像素子で撮影された撮影画像同士を繋ぎ合せた境界部分で明るさの差が生じないように撮像素子間の露出差を補正する構成となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−５０４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１には、各撮像素子より出力される画像データに対して欠陥画素を補正することが記載されている。しかし、特許文献１に記載の構成では、欠陥画素の数が多い場合にその補正処理に時間がかかるため、合成画像を生成するまでに時間がかかるという問題が指摘される。
【０００６】
合成画像を生成するまでにかかる時間を短縮するため、欠陥画素の補正処理を省略すると、合成画像全体のＳＮ比が低下してしまう。また、欠陥画素数は撮像素子毎に異なる。そのため、欠陥画素の補正処理を省略すると、撮影画像同士を繋ぎ合せた境界部分において各撮像素子が持つ欠陥画素数の差（例えば撮影画像内に占める白キズや黒キズ等の欠陥領域の面積の差）に起因するＳＮ比差が目立つ合成画像が生成されてしまう。
【０００７】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、欠陥画素の補正処理にかかる時間を抑えつつ撮影画像同士を繋ぎ合せた境界部分で生じるＳＮ比差（欠陥画素数の差に起因するＳＮ比差）を抑えることが可能な撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明の一実施形態に係る撮像装置は、複数の撮像素子で撮影された撮影画像を繋ぎ合わせて単一の合成画像を生成する装置であり、複数の撮像素子のうちの少なくとも１つの撮像素子について欠陥画素の情報を記憶する記憶手段と、記憶手段に記憶された欠陥画素の情報をもとに撮像素子より出力される画像データに対して欠陥画素の補正処理を行うことにより、欠陥画素によって撮影画像内に現れる欠陥画像領域を減少させる補正手段とを備える。補正手段は、複数の撮影画像間で、単位面積当たりの欠陥画像領域の面積の差が小さくなるように、複数の撮像素子の全欠陥画素のうちの一部の欠陥画素に対して補正処理を行う。
【発明の効果】
【０００９】
本発明の一実施形態によれば、欠陥画素の補正処理にかかる時間を抑えつつ撮影画像同士を繋ぎ合せた境界部分で生じるＳＮ比差（欠陥画素数の差に起因するＳＮ比差）を抑えることが可能な撮像装置が提供される。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る撮像装置の構成を示すブロック図である。
【図２】図２（ａ）は、欠陥画素補正処理例１において欠陥画素補正処理を行わなかった場合の合成画像を示し、図２（ｂ）は、欠陥画素補正処理例１において欠陥画素補正処理を行った場合の合成画像を示す。
【図３】図３（ａ）は、欠陥画素補正処理例２において欠陥画素補正処理を行わなかった場合の合成画像を示し、図３（ｂ）は、欠陥画素補正処理例２において欠陥画素補正処理を行った場合の合成画像を示す。
【図４】図４（ａ）は、欠陥画素補正処理例３において欠陥画素補正処理を行わなかった場合の合成画像を示し、図４（ｂ）は、欠陥画素補正処理例３において欠陥画素補正処理を行った場合の合成画像を示す。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態に係る撮像装置について図面を参照しながら説明する。
【００１２】
図１は、本発明の一実施形態に係る撮像装置１の構成を示すブロック図である。撮像装置１は、例えば、特許文献１に例示される全天球画像を撮影可能な装置である。なお、撮像装置１は、デジタル一眼レフカメラやミラーレス一眼カメラ、ビデオカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置であってもよい。
【００１３】
図１に示されるように、撮像装置１には、複数（本実施形態では２つ）の撮影レンズ１０Ａ、１０Ｂ及び各撮影レンズ１０Ａ、１０Ｂに対応する複数（本実施形態では２つ）の撮像素子１２Ａ、１２Ｂが備えられている。本実施形態では、以下に説明するように、２組の撮影レンズ及び撮像素子によって撮影された２枚の撮影画像を繋ぎ合せて単一の合成画像（全天球画像）を生成する構成となっているが、別の実施形態では、３組以上の撮影レンズ及び撮像素子によって撮影された３枚以上の撮影画像を繋ぎ合せて単一の合成画像を生成する構成としてもよい。
【００１４】
図１に示されるように、撮像装置１は、撮影レンズ１０Ａ、１０Ｂ、撮像素子１２Ａ、１２Ｂに加えて、画像処理部１４、ＣＰＵ（Central Processing Unit）１６、ＲＯＭ（Read Only Memory）１８、ＲＡＭ（Random Access Memory）２０、ＲＡＭインタフェース２２、ストレージ２４、ストレージインタフェース２６、操作スイッチ群２８、ＬＣＤ（Liquid Crystal Display）３０、ＬＣＤドライバ３２、３軸加速度センサ３４及び電源回路３６を備えている。
【００１５】
操作スイッチ群２８には、電源スイッチやレリーズスイッチ、操作ダイヤル、操作キーなど、ユーザが撮像装置１を操作するために必要な各種操作部が含まれる。ユーザにより電源スイッチが押されると、電源回路３６は、ＣＰＵ１６の指令に従って撮像装置１の各部に電源を供給する。ＣＰＵ１６は、ＲＯＭ１８にアクセスして制御プログラムをワークエリアにロードし、ロードされた制御プログラムを実行することにより、撮像装置１全体の制御を行う。
【００１６】
撮影レンズ１０Ａと撮影レンズ１０Ｂは、同一の光学性能を有する魚眼レンズ（又は広角レンズ）であり、１８０度を超える画角を有している。撮影レンズ１０Ａと撮影レンズ１０Ｂは、光軸が同軸に位置し且つ互いが逆方向を向く姿勢で設置されている。
【００１７】
撮像素子１２Ａは、撮像面の中心（有効画素領域の中心）が撮影レンズ１０Ａの光軸と直交し且つ撮像面が撮影レンズ１０Ａの結像面となる位置に設置されている。撮像素子１２Ｂは、撮像面の中心（有効画素領域の中心）が撮影レンズ１０Ｂの光軸と直交し且つ撮像面が撮影レンズ１０Ｂの結像面となる位置に設置されている。
【００１８】
撮像素子１２Ａと撮像素子１２Ｂは、同一仕様（有効画素数や画素サイズ等が同一）のイメージセンサである。例示的には、撮像素子１２Ａ、１２Ｂは、ベイヤ配列フィルタを搭載したＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであり、それぞれ、対応する撮影レンズ１０Ａ、１２Ｂを介して撮像面上の各画素で結像した光学像を光量に応じた電荷として蓄積する。撮像素子１２Ａ、１２Ｂは、蓄積された電荷をフローティングディフュージョンアンプにて電圧（以下「画像信号」と記す。）に変換する。撮像素子１２Ａ、１２Ｂより出力された画像信号は、画像処理部１４に入力される。撮像素子１２Ａ、１２Ｂは、ＣＣＤ（Charge Coupled Device）イメージセンサであってもよく、また、補色系フィルタを搭載したイメージセンサであってもよい。
【００１９】
画像処理部１４は、撮像素子１２Ａ、１２Ｂより入力される画像データに対して所定の信号処理を施す。なお、説明の便宜上、各画素の画像信号を含む撮影画像一枚分のデータを「画像データ」と記す。また、説明の便宜上、撮像素子１２Ａより入力されて画像処理部１４内で処理される画像データを「画像データＤＡ」と記し、撮像素子１２Ｂより入力されて画像処理部１４内で処理される画像データを「画像データＤＢ」と記す。
【００２０】
画像処理部１４は、画像データＤＡ、ＤＢに対して、ＯＢ（Optical Black）補正処理、欠陥画素補正処理、リニア（Linear）補正処理、シェーディング（Shading）補正処理、領域分割平均処理を行い、領域分割平均処理後の画像データＤＡ、ＤＢをＲＡＭインタフェース２２を介してＲＡＭ２０に保存する。
【００２１】
ＲＯＭ１８には、例えば製造時の検査工程で検出された撮像素子１２Ａ及び１２Ｂの欠陥画素の情報（アドレス）が予め記憶されている。欠陥画素補正処理では、ＲＯＭ１８に記憶されたアドレスの欠陥画素に対し、隣接する複数の画素からの合成信号に基づく画素値の補正が行われる。なお、欠陥画素補正処理は、合成処理（後述）後に行われてもよい。
【００２２】
画像処理部１４は、次いで、ＲＡＭ２０に保存された画像データＤＡ、ＤＢに対して、ホワイトバランス処理、ガンマ（γ）補正処理、ベイヤ補間処理、ＹＵＶ変換処理、エッジ強調処理及び色補正処理を行い、色補正処理後の画像データＤＡ、ＤＢをＲＡＭインタフェース２２を介してＲＡＭ２０に保存する。
【００２３】
画像処理部１４は、ＲＡＭ２０に保存された色補正処理後の画像データＤＡ、ＤＢに対してクロップ処理を施し、次いで、歪曲補正処理及び合成処理を施す。歪曲補正処理では、２つの画像データＤＡ、ＤＢに対して、３軸加速度センサ３４より出力される情報をもとに歪曲補正及び天地補正（傾き補正）が施される。合成処理では、歪曲補正処理後の２つの画像データＤＡ、ＤＢが合成されて（言い換えると、撮像素子１２Ａ、１２Ｂによって撮像された２枚の撮影画像が繋ぎ合わされて）、全天球画像（立体角４πラジアンの画像）データが生成される。
【００２４】
画像処理部１４は、全天球画像データをＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。圧縮後の全天球画像データは、ストレージインタフェース２６を介してストレージ２４に保存される。ストレージ２４は、例えばＳＤカードである。
【００２５】
全天球画像データは、Wi-FiやBluetooth（登録商標）等の無線経由でスマートフォン等の外部装置に転送されてもよい。
【００２６】
ＬＣＤドライバ３２は、ＬＣＤ３０を駆動するドライブ回路である。ＬＣＤ３０には、撮像装置１に関する各種情報が表示される。例示的には、全天球画像データがストレージ２４に保存されたことを通知するアイコンが表示される。
【００２７】
画像処理部１４は、全天球画像だけでなく、撮像素子１２Ａ、１２Ｂによって撮像された２枚の撮影画像を繋ぎ合せて合成し、水平面にのみ３６０度を広がる、いわゆるパノラマ画像を生成することもできる。
【００２８】
本実施形態では、撮像素子１２Ａ、１２Ｂによって撮像された２枚の撮影画像間で、単位面積当たりの欠陥画像領域（欠陥画素によって撮影画像内に現れる白キズや黒キズ等の欠陥領域）の面積の差が小さくなるように、撮像素子１２Ａ及び１２Ｂの全欠陥画素のうちの一部の欠陥画素のみが補正されるようになっている。
【００２９】
本実施形態では、撮像素子１２Ａ及び１２Ｂの全欠陥画素のうちの一部の欠陥画素のみを補正することにより、全欠陥画素を補正する場合と比べて欠陥画素補正処理にかかる時間を抑えつつ、撮像素子１２Ａ、１２Ｂによって撮像された２枚の撮影画像間において単位面積当たりの欠陥画像領域の面積の差が小さくなるように欠陥画素補正処理を行うことにより、２枚の撮影画像同士を繋ぎ合せた境界部分で生じるＳＮ比差（欠陥画素数の差に起因するＳＮ比差）を抑えることが可能となっている。この境界部分で生じるＳＮ比差が抑えられることにより、ＳＮ比差が大きい場合と比べて合成画像全体としての画質が向上する。
【００３０】
ＲＯＭ１８には、撮像素子１２Ａ及び１２Ｂの全欠陥画素のうち、欠陥画素補正処理を施す対象の欠陥画素の情報のみが記憶されている。すなわち、ＲＯＭ１８は、複数の撮像素子のうちの少なくとも１つの撮像素子について欠陥画素の情報を記憶する記憶手段として動作する。撮像素子１２Ａ及び１２Ｂの全欠陥画素の情報をＲＯＭ１８に記憶する場合と比べて、欠陥画素補正処理の実行に必要なＲＯＭ１８のメモリ容量が抑えられる。
【００３１】
本実施形態では、撮像素子１２Ａと撮像素子１２Ｂとが同一仕様（有効画素数や画素サイズ等が同一）となっている。そのため、上記の「単位面積当たりの欠陥画像領域の面積の差が小さくなるように」は、例えば、「欠陥画像領域の数の差が少なくなるように」、「全有効画素数に対する欠陥画像領域の数の割合の差が小さくなるように」、「単位面積当たりの欠陥画像領域の数の差が少なくなるように」といった表現に置き換えることもできる。
【００３２】
以下に、本実施形態で実行される欠陥画素補正処理例を３例挙げる。各欠陥画素補正処理例では、合成画像としてパノラマ画像を示す。
【００３３】
《欠陥画素補正処理例１》
図２（ａ）は、欠陥画素補正処理例１において欠陥画素補正処理を行わなかった場合の合成画像を示す。図２（ｂ）は、欠陥画素補正処理例１において欠陥画素補正処理を行った場合の合成画像を示す。図２（ａ）及び図２（ｂ）では、説明の便宜上、合成画像の中心に、撮像素子１２Ａによる撮影画像（以下「撮影画像ＩＡ」と記す。）と撮像素子１２Ｂによる撮影画像（以下「撮影画像ＩＢ」と記す。）との境界線（破線）ＢＬを記す。境界線ＢＬは、実際の合成画像には現れない仮想的な線である。境界線ＢＬの左側の画像が撮影画像ＩＡであり、境界線ＢＬの右側の画像が撮影画像ＩＢである。欠陥画素補正処理例２以降の各図面（図３、図４）においても、合成画像の中心に境界線ＢＬを記し、境界線ＢＬの左側に撮影画像ＩＡを記し、境界線ＢＬの右側に撮影画像ＩＢを記す。
【００３４】
欠陥画素補正処理例１では、撮像素子１２Ａがｎ個の欠陥画素を有し、撮像素子１２Ｂが３ｎ個の欠陥画素を有している。欠陥画素補正処理例１では、撮影画像ＩＡ、ＩＢの欠陥画像領域の数（言い換えると、欠陥画素補正処理が施されない欠陥画素数）が共にｎ個となるように、撮像素子１２Ａ、１２Ｂのうち、欠陥画素数が最も少ない撮像素子１２Ａの画像データＤＡに対して欠陥画素補正処理を行わないと共に画像データＤＢに対して２ｎ個の欠陥画素について欠陥画素補正処理を行う。
【００３５】
欠陥画素補正処理例１では、画像データＤＡ及びＤＢのうち、画像データＤＢの一部の欠陥画素の画像信号についてのみ（具体的には、撮影画像ＩＡの欠陥画素数ｎを超える２ｎ個の画像信号についてのみ）欠陥画素補正処理を行うため、画像データＤＡ及びＤＢの全欠陥画素の画像信号を補正する場合と比べて欠陥画素補正処理にかかる時間が抑えられる。また、各撮影画像ＩＡ、ＩＢに現れる欠陥画像領域の数が同じになる（言い換えると、撮影画像ＩＡ、ＩＢ間で単位面積当たりの欠陥画像領域の面積の差がなくなる）ため、境界線ＢＬで生じるＳＮ比差が実質的に無くなる。ＳＮ比差が大きい場合と比べて合成画像全体としての画質が向上する。
【００３６】
すなわち、画像処理部１４は、複数の撮影画像ＩＡ、ＩＢ間で、単位面積当たりの欠陥画像領域の面積の差が小さくなるように、複数の撮像素子１２Ａ及び１２Ｂの全欠陥画素のうちの一部の欠陥画素に対して補正処理を行う補正手段として動作する。
【００３７】
各撮影画像ＩＡ、ＩＢに現れる欠陥画像領域の数は同じでなくてもよい。撮影画像ＩＡ、ＩＢの欠陥画像領域の数の差が欠陥画素補正処理を行わない場合と比べて少なくなれば、境界線ＢＬで生じるＳＮ比差が小さくなり、合成画像全体としての画質が向上する効果が得られる。
【００３８】
《欠陥画素補正処理例２》
図３（ａ）は、欠陥画素補正処理例２において欠陥画素補正処理を行わなかった場合の合成画像を示す。図３（ｂ）は、欠陥画素補正処理例２において欠陥画素補正処理を行った場合の合成画像を示す。
【００３９】
欠陥画素補正処理例２では、撮像素子１２Ａがｎ個の欠陥画素を有し、撮像素子１２Ｂが３ｎ個の欠陥画素を有している。欠陥画素補正処理例２においても画像データＤＡ及びＤＢのうち、画像データＤＢの一部の欠陥画素の画像信号についてのみ欠陥画素補正処理が行われる。
【００４０】
欠陥画素補正処理例２では、欠陥画素補正処理にかかる時間を欠陥画素補正処理例１よりも更に抑えるべく、撮像素子１２Ａ、１２Ｂのうち、欠陥画素数が最も少ない撮像素子１２Ａの画像データＤＡに対して欠陥画素補正処理を行わないと共に画像データＤＢに対してｎ個の欠陥画素の画像信号についてだけ欠陥画素補正処理を行う。そのため、欠陥画素補正処理例２では、ｎ個の欠陥画像領域が撮影画像ＩＡに残ると共に２ｎ個の欠陥画像領域が撮影画像ＩＢに残る。
【００４１】
欠陥画素補正処理例２では、欠陥画素補正処理を行わない場合と比べて境界線ＢＬで生じるＳＮ比差を抑えることはできるが、欠陥画像領域の数の差が大きいため、欠陥画素補正処理を単純に施しただけでは（言い換えると、撮影画像ＩＢ内の全域で欠陥画素補正処理を均等に施しただけでは）境界線ＢＬで生じるＳＮ比差が十分に抑えられているとは言い難い。
【００４２】
そこで、欠陥画素補正処理例２では、撮影画像ＩＢ内において境界線ＢＬに近い画像領域ほど、撮影画像ＩＡとの単位面積当たりの欠陥画像領域の面積の差（欠陥画像領域の数の差）が小さくなるように、欠陥画素補正処理が行われる。
【００４３】
具体的には、欠陥画素補正処理例２では、撮影画像ＩＢが３つの画像領域Ａ１、Ａ２、Ａ３に区切られる。画像領域Ａ１では、画像領域Ａ１の全欠陥画素のうち、半数（５０％）の欠陥画素の画像信号に対して欠陥画素補正処理が施される。画像領域Ａ２では、画像領域Ａ２の全欠陥画素のうち、３０％の欠陥画素の画像信号に対して欠陥画素補正処理が施される。画像領域Ａ３では、画像領域Ａ３の全欠陥画素のうち、２０％の欠陥画素の画像信号に対して欠陥画素補正処理が施される。なお、区切られる画像領域の数及び各画像領域での欠陥画素の補正率は上記に限らず、適宜変更してもよい。
【００４４】
欠陥画素補正処理例２では、境界線ＢＬに最も近い画像領域Ａ１において、撮影画像ＩＡとの単位面積当たりの欠陥画像領域の面積の差（欠陥画像領域の数の差）を重点的に小さくすることができる。ＳＮ比差による画質の劣化が目立ちやすい境界線ＢＬ付近の画像領域に対して欠陥画素補正処理を重点的に施すことにより、欠陥画素補正処理を施す対象の欠陥画素数を少なく抑えつつ（言い換えると、欠陥画素補正処理にかかる時間を抑えつつ）画像データＤＢに対してｎ個の欠陥画素の画像信号について欠陥画素補正処理を単純に施した場合と比べて合成画像全体としての画質を向上させることができる。
【００４５】
このように、欠陥画素補正処理例２では、境界線ＢＬで生じるＳＮ比差を抑えて合成画像全体としての画質を向上させるに際し、欠陥画素補正処理にかかる時間を欠陥画素補正処理例１よりも更に抑えることができる。
【００４６】
《欠陥画素補正処理例３》
図４（ａ）は、欠陥画素補正処理例３において欠陥画素補正処理を行わなかった場合の合成画像を示す。図４（ｂ）は、欠陥画素補正処理例３において欠陥画素補正処理を行った場合の合成画像を示す。
【００４７】
欠陥画素補正処理例３では、撮像素子１２Ａがｎ個の欠陥画素を有し、撮像素子１２Ｂが３ｎ個の欠陥画素を有している。欠陥画素補正処理例３では、ＲＯＭ１８のメモリ容量のうち、欠陥画素の情報を記憶するためのメモリ容量が、撮像素子１２Ａと撮像素子１２Ｂとの欠陥画素数の差（すなわち２ｎ個の欠陥画素）の情報を記憶するのに必要なメモリ容量よりも大きく且つ撮像素子１２Ａ及び撮像素子１２Ｂの合計の欠陥画素数（すなわち４ｎ個の欠陥画素）の情報を記憶するのに必要なメモリ容量よりも小さい。具体的には、最大で３ｎ個の欠陥画素の情報を記憶することが可能なメモリ容量となっている。
【００４８】
欠陥画素補正処理例３では、画像データＤＡ及びＤＢの全欠陥画素の画像信号を補正する場合と比べて欠陥画素補正処理にかかる時間を抑えつつ、ＲＯＭ１８のメモリ容量を最大限に活用して合成画像全体としての画質を欠陥画素補正処理例１や欠陥画素補正処理例２よりも向上させることができる。
【００４９】
具体的には、欠陥画素補正処理例３では、撮影画像ＩＡ、ＩＢの欠陥画像領域の数が共に０．５ｎ個となるように、画像データＤＡに対して０．５ｎ個の欠陥画素の画像信号について欠陥画素補正処理を行うと共に画像データＤＢに対して２．５ｎ個の欠陥画素の画像信号について欠陥画素補正処理を行う。
【００５０】
欠陥画素補正処理例３では、各撮影画像ＩＡ、ＩＢに現れる欠陥画像領域の数が同じで且つ少ない（０．５ｎ個となる）ため、境界線ＢＬで生じるＳＮ比差が実質的に無くなると共に欠陥画像領域の数が少ないことによる合成画像の画質向上が達成される。
【００５１】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
【００５２】
撮像装置１の出荷後に発生する欠陥画素もある。この種の欠陥画素を所定のタイミング（例えば電源オン時や撮像動作時）に検出する技術が周知技術として知られている。別の実施形態では、画像処理部１４は、撮像素子１２Ａ及び１２Ｂが遮光されている状態での画像データ（例えばＲＡＷデータ）を取り込み、信号レベルが所定の閾値より高いか否かを画像信号毎に判定する。信号レベルが所定の閾値より高く且つ欠陥画素としてＲＯＭ１８に記憶されていない画素の画像信号を検出すると、これを新たに検出された欠陥画素の画像信号と判断し、そのアドレスをＲＡＭ２０に追加記憶させる。
【００５３】
欠陥画素が増える度、撮像素子１２Ａの欠陥画素数と撮像素子１２Ｂの欠陥画素数との比率が変わる。別の実施形態では、欠陥画素が増えても各撮影画像ＩＡ、ＩＢに現れる欠陥画像領域が同じ数に維持されるように、画像データＤＡ及びＤＢのうち少なくとも一方の画像データについて、欠陥画素補正処理を施す対象の欠陥画素数を、欠陥画素の増加分に応じた数に変更してもよい。
【００５４】
上記の実施形態では、白キズと黒キズとを区別することなく、各撮影画像ＩＡ、ＩＢに現れる欠陥画像領域の数が同じになるように欠陥画素補正処理を行っているが、更に別の実施形態では、各撮影画像ＩＡ、ＩＢに現れる白キズの欠陥画像領域の数が同じで且つ各撮影画像ＩＡ、ＩＢに現れる黒キズの欠陥画像領域の数が同じになるように欠陥画素補正処理を行ってもよい。
【００５５】
シリコン半導体ウエハから矩形状に切り出された複数の矩形半導体基板（複数の撮像素子）を平面基台上にマトリックス状にタイリングすることにより、撮像面が大型化された撮像ユニットがある。この種の撮像ユニットを備える撮像装置は、単一の撮像レンズを介した光学像を平面基台上にタイリングされた各撮像素子（言い換えると、撮像エリア）で受け、各撮像素子（撮像エリア）で撮影された撮影画像を繋ぎ合せて単一の合成画像を生成する。タイリングされた複数の撮像素子（各撮像エリア）間で、単位面積当たりの欠陥画像領域の面積の差が小さくなるように、複数の撮像素子（各撮像エリア）の全欠陥画素のうちの一部の欠陥画素に対して欠陥画素補正処理を行う構成も本発明の範疇である。
【００５６】
撮影画像同士を繋ぎ合せた境界部分で生じるＳＮ比差を抑えるために欠陥画素補正処理を実行する否かは、ユーザが設定できるようにしてもよい。例示的には、ユーザは、複数の撮像素子間で単位面積当たりの欠陥画像領域の面積の差が所定閾値（例えばユーザが任意に設定した値）以下の場合（例えば上記のＳＮ比差がある程度あっても）、欠陥画素補正処理を実行しないように設定することができる。合成画像を生成する際に欠陥画素補正処理の実行を省略することにより、合成画像を生成するまでにかかる時間を短くすることができる。これとは逆に、ユーザは、複数の撮像素子間で単位面積当たりの欠陥画像領域の面積の差が僅かであっても欠陥画素補正処理を実行するように設定することもできる。この場合、上記のＳＮ比差がほぼ抑えられた合成画像を生成することが可能となる。また、ＳＮ比差をどの程度抑えるか（言い換えると、欠陥画素補正処理を施す対象の欠陥画素の数）もユーザが任意に設定できるようにしてもよい。
【符号の説明】
【００５７】
１  撮像装置
１０Ａ、１０Ｂ  撮影レンズ
１２Ａ、１２Ｂ  撮像素子
１４  画像処理部
１６  ＣＰＵ
１８  ＲＯＭ
２０  ＲＡＭ
２２  ＲＡＭインタフェース
２４  ストレージ
２６  ストレージインタフェース
２８  操作スイッチ群
３０  ＬＣＤ
３２  ＬＣＤドライバ
３４  ３軸加速度センサ
３６  電源回路
【図１】
2020036199.tif 000002
【図２】
2020036199.tif 000003
【図３】
2020036199.tif 000004
【図４】
2020036199.tif 000005