(57)【要約】【課題】高品質なハイダイナミックレンジ合成画像を取得可能とする固体撮像装置を提供すること。【解決手段】実施形態によれば、固体撮像装置５は、ＨＤＲ（ハイダイナミックレンジ）合成部１９を有する。ＨＤＲ合成部１９は、第１画素からの第１画像信号と、第２画素からの第２画像信号とを合成する。第１画素は、第１露光時間が適用される画素２３である。第２画素は、第２露光時間が適用される画素２３である。第２露光時間は、第１露光時間より短い。第１水平ライン及び第２水平ラインは、周期配列をなしている。第１水平ラインは、第１画素からなる水平ラインである。第２水平ラインは、第２画素からなる水平ラインである。水平ラインは、画素アレイ２１において水平方向へ画素を並列させたラインである。周期配列は、第１水平ラインと、第１水平ラインの数に対して２倍の数の第２水平ラインとからなる組合せを単位とする。【選択図】図１
2014086889.tif 000002
【特許請求の範囲】
【請求項１】
水平方向及び垂直方向へ複数の画素が配列された画素アレイと、
前記画素アレイにおいて前記水平方向へ前記画素を並列させた水平ラインごとに、前記画素の露光時間を、第１露光時間と、前記第１露光時間より短い第２露光時間とのいずれかとして、前記画素の駆動を制御する制御部と、
前記第１露光時間が適用される前記画素である第１画素からの第１画像信号と、前記第２露光時間が適用される前記画素である第２画素からの第２画像信号とを合成するハイダイナミックレンジ合成部と、を有し、
前記第１画素からなる前記水平ラインである第１水平ライン、及び前記第２画素からなる前記水平ラインである第２水平ラインは、前記画素アレイの前記垂直方向において、１つの前記第１水平ラインと、２つの前記第２水平ラインとからなる組合せを単位とする周期配列をなし、
前記ハイダイナミックレンジ合成部は、
ハイダイナミック合成の対象とする前記第１画素である第１対象画素について、前記第１対象画素を中心とする画素ブロック内の前記第２画素からの前記第２画像信号を使用する補間処理を、前記画素ブロックにおける前記第１水平ライン及び前記第２水平ラインの配列に応じて実施し、
ハイダイナミック合成の対象とする前記第２画素である第２対象画素について、前記第２対象画素を中心とする画素ブロック内の前記第１画素からの前記第１画像信号を使用する補間処理を、前記画素ブロックにおける前記第１水平ライン及び前記第２水平ラインの配列に応じて実施することを特徴とする固体撮像装置。
【請求項２】
水平方向及び垂直方向へ複数の画素が配列された画素アレイと、
前記画素アレイにおいて前記水平方向へ前記画素を並列させた水平ラインごとに、前記画素の露光時間を、第１露光時間と、前記第１露光時間より短い第２露光時間とのいずれかとして、前記画素の駆動を制御する制御部と、
前記第１露光時間が適用される前記画素である第１画素からの第１画像信号と、前記第２露光時間が適用される前記画素である第２画素からの第２画像信号とを合成するハイダイナミックレンジ合成部と、を有し、
前記第１画素からなる前記水平ラインである第１水平ライン、及び前記第２画素からなる前記水平ラインである第２水平ラインは、前記画素アレイの前記垂直方向において、前記第１水平ラインと、前記第１水平ラインの数に対して２倍の数の前記第２水平ラインとからなる組合せを単位とする周期配列をなしていることを特徴とする固体撮像装置。
【請求項３】
前記ハイダイナミックレンジ合成部は、ハイダイナミックレンジ合成の対象とする前記第１画素である第１対象画素について、前記第１対象画素を中心とする画素ブロック内の前記第２画素からの前記第２画像信号を使用する補間処理を実施し、ハイダイナミックレンジ合成の対象とする前記第２画素である第２対象画素について、前記第２対象画素を中心とする画素ブロック内の前記第１画素からの前記第１画像信号を使用する補間処理を実施することを特徴とする請求項２に記載の固体撮像装置。
【請求項４】
前記組合せが、１つの前記第１水平ラインと、２つの前記第２水平ラインとからなることを特徴とする請求項２に記載の固体撮像装置。
【請求項５】
前記ハイダイナミックレンジ合成部は、前記第１対象画素及び前記第２対象画素のそれぞれについて、前記画素ブロックにおける前記第１水平ライン及び前記第２水平ラインの配列に応じた前記補間処理を実施することを特徴とする請求項３に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置に関する。
【背景技術】
【０００２】
ハイダイナミックレンジ（high  dynamic  range；ＨＤＲ）合成は、通常の撮影に比べて幅広いダイナミックレンジを表現するための撮影技法として知られている。ＨＤＲ合成の手法としては、例えば、互いに露光時間を異ならせた二つの水平ラインを一組とし、露光時間が異なる画素同士の信号電荷を組ごとに加算するものがある。
【０００３】
この手法によると、水平ラインに対し垂直な方向におけるＨＤＲ合成画像の解像度は、イメージセンサの画素アレイが備える画素数に対して半分となる。画素アレイの垂直方向における画素数が、ＨＤＲ合成画像のうち垂直方向について目標とする解像度の２倍以上であると、ＨＤＲ合成画像について目標とする解像度を確保できる。画素アレイの垂直方向における画素数が、ＨＤＲ合成画像のうち垂直方向について目標とする解像度の２倍未満であると、ＨＤＲ合成画像の解像度の低下による画質の劣化が問題となる。画素アレイの垂直方向における画素数を、ＨＤＲ合成画像の目標解像度の２倍以上とすることは、カメラモジュールの光学サイズ等の関係から困難な場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２８０５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一つの実施形態は、高品質なハイダイナミックレンジ合成画像を取得可能とする固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一つの実施形態によれば、固体撮像装置は、画素アレイ、制御部及びハイダイナミックレンジ合成部を有する。画素アレイには、水平方向及び垂直方向へ複数の画素が配列されている。制御部は、水平ラインごとに、画素へ光を入射させる露光時間を第１露光時間と第２露光時間とのいずれかとして、画素の駆動を制御する。水平ラインは、画素アレイにおいて水平方向へ画素を並列させたラインである。第２露光時間は、第１露光時間より短い。ハイダイナミックレンジ合成部は、第１画素からの第１画像信号と、第２画素からの第２画像信号とを合成する。第１画素は、第１露光時間が適用される画素である。第２画素は、第２露光時間が適用される画素である。第１水平ライン及び第２水平ラインは、画素アレイの垂直方向において周期配列をなしている。第１水平ラインは、第１画素からなる水平ラインである。第２水平ラインは、第２画素からなる水平ラインである。周期配列は、第１水平ラインと、第１水平ラインの数に対して２倍の数の第２水平ラインとからなる組合せを単位とする。
【図面の簡単な説明】
【０００７】
【図１】実施形態にかかる固体撮像装置の概略構成を示すブロック図。
【図２】図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図。
【図３】画素アレイにおける画素の配列と露光時間の設定とについて説明する図。
【図４】長時間露光画素及び短時間露光画素の駆動のタイミングについて説明する図。
【図５】ＨＤＲ合成部の構成を示すブロック図。
【図６】水平遅延線の構成を示すブロック図。
【図７】ラインメモリ及び水平遅延線における同時刻化の対象とされる画素について説明する図。
【図８】画素ブロックにおける長時間露光ライン及び短時間露光ラインの配置パターンの遷移について説明する図。
【図９】混合処理部の構成を示すブロック図。
【図１０】第１補間処理回路の構成を示すブロック図。
【図１１】第２補間処理回路の構成を示すブロック図。
【図１２】混合処理部における補間処理の例を説明する図。
【図１３】混合処理部における補間処理の例を説明する図。
【図１４】実施形態の比較例による露光時間の設定について説明する図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、実施形態にかかる固体撮像装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【０００９】
（実施形態）
図１は、実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図である。
【００１０】
デジタルカメラ１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、撮像光学系４及び固体撮像装置５を有する。後段処理部３は、イメージシグナルプロセッサ（ＩＳＰ）６、記憶部７及び表示部８を有する。カメラモジュール２は、デジタルカメラ１以外に、例えばカメラ付き携帯端末等の電子機器に適用される。
【００１１】
撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５は、撮像光学系４により取り込まれた光を信号電荷に変換し、被写体像を撮像する。ＩＳＰ６は、固体撮像装置５での撮像により得られた画像信号の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。
【００１２】
固体撮像装置５は、イメージセンサ１０及び信号処理回路１１を備える。イメージセンサ１０は、例えば、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサである。イメージセンサ１０は、垂直シフトレジスタ１３、水平シフトレジスタ１４、タイミング生成部１５、相関二重サンプリング部（ＣＤＳ）１６、自動利得制御部（ＡＧＣ）１７、アナログデジタル変換器（ＡＤＣ）１８、制御部２０及び画素アレイ２１を有する。
【００１３】
画素アレイ２１は、イメージセンサ１０の撮像領域１２に設けられている。画素アレイ２１は、水平方向（行方向）及び垂直方向（列方向）へ配列された複数の画素２３からなる。各画素２３は、光電変換素子であるフォトダイオードを備える。
【００１４】
タイミング生成部１５は、制御部２０からの指示に応じて、タイミング信号を生成する。タイミング信号は、画素アレイ２１の各画素２３からの信号を読み出すタイミングを指示するパルス信号とする。タイミング生成部１５は、垂直シフトレジスタ１３及び水平シフトレジスタ１４へタイミング信号を供給する。
【００１５】
垂直シフトレジスタ１３は、タイミング生成部１５からのタイミング信号に応じて、画素アレイ２１内の画素２３を行ごとに選択する。垂直シフトレジスタ１３は、選択した行の各画素２３へ読み出し信号を出力する。
【００１６】
垂直シフトレジスタ１３から読み出し信号が入力された画素２３は、入射光量に応じて蓄積した信号電荷を出力する。画素アレイ２１は、画素２３からの信号を、垂直信号線２２を介してＣＤＳ１６へ出力する。垂直シフトレジスタ１３は、画素アレイ２１のうち、信号電荷を読み出す行を選択する行選択回路として機能する。
【００１７】
ＣＤＳ１６は、画素アレイ２１からの信号に対し、固定パターンノイズの低減のための相関二重サンプリング処理を行う。ＡＧＣ１７は、ＣＤＳ１６における相関二重サンプリング処理を経た信号を増幅する。ＡＤＣ１８は、ＡＧＣ１７における増幅を経た信号を、アナログ方式からデジタル方式へ変換する。水平シフトレジスタ１４は、ＡＤＣ１８にてデジタル方式へ変換された信号を、タイミング生成部１５からのタイミング信号に応じて、順次読み出す。
【００１８】
制御部２０は、イメージセンサ１０の駆動を制御する。制御部２０は、例えばマイクロプロセッサを備える。制御部２０は、タイミング生成部１５へ、各画素２３の制御のための指示を出力する。各画素２３の露光時間は、画素アレイ２１の水平ラインごとに、第１露光時間及び第２露光時間のいずれかとして設定されている。制御部２０は、かかる露光時間の設定に応じたタイミング信号の生成を、タイミング生成部１５へ指示する。制御部２０は、画素２３の露光時間を、水平ラインごとに第１露光時間及び第２露光時間のいずれかとして、画素２３の駆動を制御する。水平ラインは、画素アレイ２１において水平方向へ画素２３を並列させたラインとする。第１露光時間及び第２露光時間については後述する。
【００１９】
信号処理回路１１は、水平シフトレジスタ１４によって読み出されたデジタル画像信号に対し、各種の信号処理を実施する。信号処理回路１１は、ハイダイナミックレンジ（ＨＤＲ）合成部１９を有する。ＨＤＲ合成部１９は、信号処理回路１１へ入力されたデジタル画像信号に対し、ＨＤＲ合成を実施する。信号処理回路１１は、ＨＤＲ合成部１９によるＨＤＲ合成の他、例えば、キズ補正、ノイズリダクション、シェーディング補正、ホワイトバランス調整等の信号処理を実施する。固体撮像装置５は、信号処理回路１１での信号処理を経た画像信号を出力する。
【００２０】
図３は、画素アレイにおける画素の配列と露光時間の設定とについて説明する図である。画素アレイ２１は、Ｇｒ，Ｒ，Ｂ，Ｇｂの各画素２３がベイヤー配列として配置されている。Ｒ画素は、Ｒ光を検出する画素２３である。Ｂ画素は、Ｂ光を検出する画素２３である。Ｇｒ画素及びＧｂ画素は、Ｇ光を検出する画素２３である。Ｇｒ画素は、水平ラインにてＲ画素と並列している。Ｇｂ画素は、水平ラインにてＢ画素と並列している。ベイヤー配列は、Ｇｒ，Ｒ，Ｂ，Ｇｂの４つの画素２３からなる２×２画素の配置を単位とする。
【００２１】
第１水平ラインである長時間露光ライン３１は、第１画素である長時間露光画素からなる水平ラインとする。長時間露光画素は、第１露光時間が適用される画素２３とする。第２水平ラインである短時間露光ライン３２は、第２画素である短時間露光画素からなる水平ラインとする。短時間露光画素は、第２露光時間が適用される画素２３とする。第２露光時間は、第１露光時間より短い。
【００２２】
長時間露光ライン３１及び短時間露光ライン３２は、画素アレイ２１の垂直方向において、周期配列をなしている。周期配列は、１つの長時間露光ライン３１と２つの短時間露光ライン３２とからなる組合せを単位とする。制御部２０は、かかる周期配列に対応して、長時間露光ライン３１の長時間露光画素に対しては第１露光時間、短時間露光ライン３２の短時間露光画素に対しては第２露光時間をそれぞれ適用する制御を実施する。
【００２３】
図４は、長時間露光画素及び短時間露光画素の駆動のタイミングについて説明する図である。イメージセンサ１０は、信号電荷のリセット及び読み出しを、水平ラインごとの順次走査とする、いわゆるローリングシャッタ方式を採用する。
【００２４】
ｅｓｒ＿ｓｅｎ［０］は、長時間露光画素に対するリセットのタイミングを示すタイミング信号である。ｅｓｒ＿ｓｅｎ［１］は、短時間露光画素に対するリセットのタイミングを示すタイミング信号である。ｖｒｒ＿ｓｅｎは、長時間露光画素及び短時間露光画素に対する読み出しのタイミングを示すタイミング信号である。第１露光時間ＴＬは、ｅｓｒ＿ｓｅｎ［０］のタイミングからｖｒｒ＿ｓｅｎのタイミングまでの時間に相当する。第２露光時間ＴＨは、ｅｓｒ＿ｓｅｎ［１］のタイミングからｖｒｒ＿ｓｅｎのタイミングまでの時間に相当する。
【００２５】
長時間露光画素は、ｅｓｒ＿ｓｅｎ［０］の入力に応じて、長時間露光ライン３１ごとに順次信号電荷を排出する。長時間露光画素は、信号電荷の排出によるリセットタイミングｔＬ１から、第１露光時間ＴＬが経過するまでに蓄積された信号電荷を、ｖｒｒ＿ｓｅｎの入力に応じた読み出しタイミングｔＬ２において読み出す。
【００２６】
短時間露光画素は、ｅｓｒ＿ｓｅｎ［１］の入力に応じて、短時間露光ライン３２ごとに順次信号電荷を排出する。短時間露光画素は、信号電荷の排出によるリセットタイミングｔＨ１から、第２露光時間ＴＨが経過するまでに蓄積された信号電荷を、ｖｒｒ＿ｓｅｎの入力に応じた読み出しタイミングｔＨ２において読み出す。
【００２７】
ＨＤＲ合成部１９は、長時間露光画素をＨＤＲ合成の対象（第１対象画素）とする場合、第１対象画素の周辺に位置する短時間露光画素からの信号を使用する補間処理を実施する。ＨＤＲ合成部１９は、第１対象画素が検出した信号成分と、補間処理によって得た信号成分とを加算し、第１対象画素についてのＨＤＲ合成信号とする。ＨＤＲ合成部１９は、長時間露光画素に対しては、短時間露光画素に由来する信号成分の加算によるＨＤＲ合成を実施する。
【００２８】
ＨＤＲ合成部１９は、短時間露光画素をＨＤＲ合成の対象（第２対象画素）とする場合、第２対象画素の周辺に位置する長時間露光画素からの信号を使用する補間処理を実施する。ＨＤＲ合成部１９は、第２対象画素が検出した信号成分と、補間処理によって得た信号成分とを加算し、第２対象画素についてのＨＤＲ合成信号とする。ＨＤＲ合成部１９は、短時間露光画素に対しては、長時間露光画素に由来する信号成分の加算によるＨＤＲ合成を実施する。
【００２９】
長時間露光画素は、入射光量が所定の飽和光量より大きくなると、光電変換により発生する信号電荷がフォトダイオードの蓄積容量に達する。ＨＤＲ合成部１９は、入射光量が飽和光量に達した第１対象画素については、その周辺に位置する短時間露光画素に由来する信号成分を使用する補間処理によって、画像データを生成する。
【００３０】
このように、固体撮像装置５は、画素アレイ２１の全ての画素２３を対象として、ＨＤＲ合成を実施する。固体撮像装置５は、各画素２３に対するＨＤＲ合成の実施により、画素アレイ２１が備える画素数と同等の解像度を持つＨＤＲ合成画像を得ることができる。
【００３１】
図５は、ＨＤＲ合成部の構成を示すブロック図である。ＨＤＲ合成部１９は、第１画像信号及び第２画像信号を合成する。第１画像信号は、長時間露光画素からの画像信号とする。第２画像信号は、短時間露光画素からの画像信号とする。ＨＤＲ合成部１９は、ラインメモリ（４Ｈ）４１、水平遅延線４２及び混合処理部４３を有する。
【００３２】
ラインメモリ４１は、ＨＤＲ合成部１９へ入力されたデジタル画像信号を保持する。ラインメモリ４１は、４本の水平ラインについて、ラインメモリ４１への入力順に順次遅延を施す。水平遅延線４２には、ラインメモリ４１で垂直方向についての遅延が順次施された４本の水平ライン（４Ｈ，３Ｈ，２Ｈ，１Ｈ）と、ラインメモリ４１へ入力される直前の１本の水平ライン（０Ｈ）とが入力される。水平遅延線４２は、水平方向についての遅延を、５本の水平ラインのデジタル画像信号に施す。
【００３３】
図６は、水平遅延線の構成を示すブロック図である。水平遅延線４２は、画素ごとの信号を保持するフリップフロップ（ＦＦ）を備える。水平遅延線４２は、５本の水平ラインのうち中央の水平ラインを除く４本（０Ｈ，１Ｈ，３Ｈ，４Ｈ）のそれぞれについて、４個のＦＦを使用する遅延を施す。４個のＦＦは、画素ごとの信号を、水平遅延線４２への入力順に順次遅延させる。水平遅延線４２は、かかる４本の水平ラインについては、ＦＦでの遅延が順次施された４つの信号と、最初のＦＦへ入力される直前の１つの信号とを出力する。
【００３４】
水平遅延線４２は、中央の水平ライン（２Ｈ）については、２個のＦＦを使用する遅延を施す。水平遅延線４２は、かかる１本の水平ラインについては、水平遅延線４２への入力から２画素分の遅延を経た１つの信号を出力する。なお、Ｄ０，Ｄ１，Ｄ２，Ｄ３，Ｄ４は、それぞれ、水平ライン４Ｈ，３Ｈ，２Ｈ，１Ｈ，０Ｈに由来する信号であることを表す。
【００３５】
図７は、ラインメモリ及び水平遅延線における同時刻化の対象とされる画素について説明する図である。ラインメモリ４１及び水平遅延線４２は、垂直方向及び水平方向の遅延により、５×５の画素ブロック内の画素２３からの信号を同時刻化させる。図中、画素ブロックの垂直成分（Ｄ０〜Ｄ４）は、ＨＤＲ合成部１９への入力が早い成分を上側として表している。画素ブロックの水平成分（０〜４）は、ＨＤＲ合成部１９への入力が早い成分を左側として表している。かかる垂直成分及び水平成分を使用して、画素ブロック内の画素２３からの信号をＤ００〜Ｄ４４と表す。
【００３６】
ＨＤＲ合成部１９は、５×５の画素ブロックのうち中心に位置する画素を、当該画素ブロックにおけるＨＤＲ合成の対象画素とする。混合処理部４３には、水平遅延線４２にて同時刻化された信号Ｄ００〜Ｄ０４（Ｄ０），Ｄ１０〜Ｄ１４（Ｄ１），Ｄ２２（Ｄ２），Ｄ３０〜Ｄ３４（Ｄ３），Ｄ４０〜Ｄ４４（Ｄ４）が入力される。このうちＤ２２は、対象画素からの信号である。なお、画素ブロックのうち対象画素以外の画素を、適宜周辺画素と称する。
【００３７】
混合処理部４３は、画素ブロックの対象画素を対象として、信号成分の混合処理を実施する。混合処理部４３には、画素ブロック内の画素２３からの信号（Ｄ０〜Ｄ４）の他、ラインパターン識別信号４４及び色パターン識別信号４５が入力される。ラインパターン識別信号４４は、画素ブロックにおける長時間露光ライン３１及び短時間露光ライン３２の配置パターンを識別するための信号である。色パターン識別信号４５は、画素ブロック内における各色画素の配置パターンを識別するための信号である。
【００３８】
図８は、画素ブロックにおける長時間露光ライン及び短時間露光ラインの配置パターンの遷移について説明する図である。画素ブロックにおける長時間露光ライン３１及び短時間露光ライン３２の配置パターンは、画素アレイ２１上での画素ブロックの範囲を垂直方向へ走査させるごとに、図示する３つの状態の間で遷移を繰り返す。
【００３９】
ある配置パターンでは、例えば、水平ライン４Ｈ，１Ｈが長時間露光ライン３１で、他の水平ライン３Ｈ，２Ｈ，０Ｈが短時間露光ライン３２であるとする。画素ブロックにおいて、長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２は、上から順に「Ｌ，Ｓ，Ｓ，Ｌ，Ｓ」と配置されている。信号Ｄ０，Ｄ３は、長時間露光画素からの第１画像信号である。信号Ｄ１，Ｄ２，Ｄ４は、短時間露光画素からの第２画像信号である。かかる配置パターンであるとき、制御部２０は、ラインパターン識別信号４４として、例えば「０」を出力する。
【００４０】
次の配置パターンでは、例えば、水平ライン３Ｈ，０Ｈが長時間露光ライン３１で、他の水平ライン４Ｈ，２Ｈ，１Ｈが短時間露光ライン３２であるとする。画素ブロックにおいて、長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２は、上から順に「Ｓ，Ｌ，Ｓ，Ｓ，Ｌ」と配置されている。信号Ｄ１，Ｄ４は、長時間露光画素からの第１画像信号である。信号Ｄ０，Ｄ２，Ｄ３は、短時間露光画素からの第２画像信号である。かかる配置パターンであるとき、制御部２０は、ラインパターン識別信号４４として、例えば「１」を出力する。
【００４１】
さらに次の配置パターンでは、例えば、水平ライン２Ｈが長時間露光ライン３１で、他の水平ライン４Ｈ，３Ｈ，１Ｈ，０Ｈが短時間露光ライン３２であるとする。画素ブロックにおいて、長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２は、上から順に「Ｓ，Ｓ，Ｌ，Ｓ，Ｓ」と配置されている。信号Ｄ２は、長時間露光画素からの第１画像信号である。信号Ｄ０，Ｄ１，Ｄ３，Ｄ４は、短時間露光画素からの第２画像信号である。かかる配置パターンであるとき、制御部２０は、ラインパターン識別信号４４として、例えば「２」を出力する。
【００４２】
画素ブロックにおける各色画素の配置パターンは、画素アレイ２１上での画素ブロックの範囲を水平方向及び垂直方向へ走査させるごとに、画素ブロックの中心の対象画素がＲ，Ｇｒ，Ｂ，Ｇｂのうちのいずれかである４つの状態の間で遷移を繰り返す。
【００４３】
このうち、対象画素がＲ及びＢのいずれかであるとき、制御部２０は、色パターン識別信号４５として、例えば「０」を出力する。本実施形態において、混合処理部４３は、対象画素がＲであるときとＢであるときとで同様の演算処理を実施する。このため、ＨＤＲ合成部１９は、対象画素がＲである配置パターンと対象画素がＢである配置パターンとの識別を行わないものとする。
【００４４】
対象画素がＧｒ及びＧｂのいずれかであるとき、制御部２０は、色パターン識別信号４５として、例えば「１」を出力する。本実施形態において、混合処理部４３は、対象画素がＧｒであるときとＧｂであるときとで同様の演算処理を実施する。このため、ＨＤＲ合成部１９は、対象画素がＧｒである配置パターンと対象画素がＧｂである配置パターンとの識別を行わないものとする。
【００４５】
長時間露光ライン３１及び短時間露光ライン３２についての３通りのラインパターンと、各色画素についての２通りの色パターンとを掛け合わせると、画素ブロックにおける長時間露光ライン３１、短時間露光ライン３２及び各色画素の配置パターンは、６通りとなる。混合処理部４３は、かかる６通りのいずれであるかをラインパターン識別信号４４及び色パターン識別信号４５に応じて識別し、画素ブロックにおける長時間露光ライン３１、短時間露光ライン３２及び各色画素の配置パターンに応じた混合処理を実施する。
【００４６】
図９は、混合処理部の構成を示すブロック図である。混合処理部４３は、第１補間処理回路５１、第２補間処理回路５２、セレクタ５３，５４、ゲイン調整回路５５及び加算回路５６を備える。補間処理回路である第１補間処理回路５１及び第２補間処理回路５２は、画素ブロックにおける長時間露光ライン３１及び短時間露光ライン３２の配列に応じた補間処理を実施する。
【００４７】
水平遅延線４２からの信号Ｄ０〜Ｄ４は、第１補間処理回路５１及び第２補間処理回路５２へそれぞれ入力される。第１補間処理回路５１は、信号Ｄ０〜Ｄ４の入力のための３つの入力端子ＩＮ１，ＩＮ２，ＩＮ３を備える。第２補間処理回路５２は、信号Ｄ０〜Ｄ４の入力のための３つの入力端子ＩＮ４，ＩＮ５，ＩＮ６を備える。第１補間処理回路５１及び第２補間処理回路５２には、それぞれラインパターン識別信号４４が入力される。
【００４８】
第１補間処理回路５１は、画素ブロック内の対象画素をＧｒ又はＧｂと設定する場合の演算処理を実施する。第２補間処理回路５２は、画素ブロック内の対象画素をＲ又はＢと設定する場合の演算処理を実施する。混合処理部４３は、第１補間処理回路５１による処理結果と、第２補間処理回路５２による処理結果とのいずれかを、色パターン識別信号４５に応じて選択する。
【００４９】
なお、画素ブロックにおける長時間露光ライン３１、短時間露光ライン３２及び各色画素の配置パターンに応じた混合処理のための構成は、本実施形態による場合に限られない。ＨＤＲ合成部１９は、画素ブロックのラインパターン及び色パターンに応じた混合処理を実施可能ないずれの構成を採用しても良い。
【００５０】
図１０は、第１補間処理回路の構成を示すブロック図である。第１補間処理回路５１は、補間処理演算器６１，６２，６３、及びセレクタ６４，６５を備える。
【００５１】
補間処理演算器６１は、信号Ｄ０〜Ｄ４が入力される入力端子ＩＮ１を備える。補間処理演算器６１は、画素ブロックにおける長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２の配置を、上から「Ｓ，Ｓ，Ｌ，Ｓ，Ｓ」と設定する場合の演算処理を実施する。補間処理演算器６１は、対象画素からの信号（Ｄ２２）を、長時間露光画素に由来する信号成分ＤＬｏとして出力する。補間処理演算器６１は、信号Ｄ０，Ｄ１，Ｄ３，Ｄ４のうち、設定において短時間露光画素からの第２画像信号とされた所定の信号を使用して、短時間露光画素に由来する信号成分ＤＨｏを算出する。
【００５２】
補間処理演算器６２は、信号Ｄ０〜Ｄ４が入力される入力端子ＩＮ２を備える。補間処理演算器６２は、画素ブロックにおける長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２の配置を、上から「Ｓ，Ｌ，Ｓ，Ｓ，Ｌ」と設定する場合の演算処理を実施する。補間処理演算器６２は、対象画素からの信号（Ｄ２２）を、短時間露光画素に由来する信号成分ＤＨｏとして出力する。補間処理演算器６２は、信号Ｄ０，Ｄ１，Ｄ３，Ｄ４のうち、設定において長時間露光画素からの第１画像信号とされた所定の信号を使用して、長時間露光画素に由来する信号成分ＤＬｏを算出する。
【００５３】
補間処理演算器６３は、信号Ｄ０〜Ｄ４が入力される入力端子ＩＮ３を備える。補間処理演算器６３は、画素ブロックにおける長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２の配置を、上から「Ｌ，Ｓ，Ｓ，Ｌ，Ｓ」と設定する場合の演算処理を実施する。補間処理演算器６３は、対象画素からの信号（Ｄ２２）を、短時間露光画素に由来する信号成分ＤＨｏとして出力する。補間処理演算器６２は、信号Ｄ０，Ｄ１，Ｄ３，Ｄ４のうち、設定において長時間露光画素からの第１画像信号とされた所定の信号を使用して、長時間露光画素に由来する信号成分ＤＬｏを算出する。
【００５４】
セレクタ６４は、ラインパターン識別信号４４を選択制御入力信号として、補間処理演算器６１からの信号成分ＤＨｏ、補間処理演算器６２からの信号成分ＤＨｏ、補間処理演算器６３からの信号成分ＤＨｏのいずれかを選択する。ラインパターン識別信号４４が「２」であるとき、セレクタ６４は、補間処理演算器６１からの信号成分ＤＨｏを選択する。ラインパターン識別信号４４が「１」であるとき、セレクタ６４は、補間処理演算器６２からの信号成分ＤＨｏを選択する。ラインパターン識別信号４４が「０」であるとき、セレクタ６４は、補間処理演算器６３からの信号成分ＤＨｏを選択する。
【００５５】
セレクタ６５は、ラインパターン識別信号４４を選択制御入力信号として、補間処理演算器６１からの信号成分ＤＬｏ、補間処理演算器６２からの信号成分ＤＬｏ、補間処理演算器６３からの信号成分ＤＬｏのいずれかを選択する。ラインパターン識別信号４４が「２」であるとき、セレクタ６５は、補間処理演算器６１からの信号成分ＤＬｏを選択する。ラインパターン識別信号４４が「１」であるとき、セレクタ６５は、補間処理演算器６２からの信号成分ＤＬｏを選択する。ラインパターン識別信号４４が「０」であるとき、セレクタ６５は、補間処理演算器６３からの信号成分ＤＬｏを選択する。
【００５６】
第１補間処理回路５１は、セレクタ６４で選択された信号を、短時間露光画素に由来する信号成分ＤＨ１として出力する。第１補間処理回路５１は、セレクタ６５で選択された信号を、長時間露光画素に由来する信号成分ＤＬ１として出力する。
【００５７】
図１１は、第２補間処理回路の構成を示すブロック図である。第２補間処理回路５２は、補間処理演算器７１，７２，７３、及びセレクタ７４，７５を備える。第２補間処理回路５２は、補間処理演算器７１，７２，７３による演算内容が補間処理演算器６１，６２，６３による演算内容とは異なる他は、第１補間処理回路５１と同様の構成を備える。
【００５８】
補間処理演算器７１は、信号Ｄ０〜Ｄ４が入力される入力端子ＩＮ４を備える。補間処理演算器７１は、画素ブロックにおける長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２の配置を、上から「Ｓ，Ｓ，Ｌ，Ｓ，Ｓ」と設定する場合の演算処理を実施する。補間処理演算器７１は、対象画素からの信号（Ｄ２２）を、長時間露光画素に由来する信号成分ＤＬｏとして出力する。補間処理演算器７１は、信号Ｄ０，Ｄ１，Ｄ３，Ｄ４のうち、設定において短時間露光画素からの第２画像信号とされた所定の信号を使用して、短時間露光画素に由来する信号成分ＤＨｏを算出する。
【００５９】
補間処理演算器７２は、信号Ｄ０〜Ｄ４が入力される入力端子ＩＮ５を備える。補間処理演算器７２は、画素ブロックにおける長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２の配置を、上から「Ｓ，Ｌ，Ｓ，Ｓ，Ｌ」と設定する場合の演算処理を実施する。補間処理演算器７２は、対象画素からの信号（Ｄ２２）を、短時間露光画素に由来する信号成分ＤＨｏとして出力する。補間処理演算器７２は、信号Ｄ０，Ｄ１，Ｄ３，Ｄ４のうち、設定において長時間露光画素からの第１画像信号とされた所定の信号を使用して、長時間露光画素に由来する信号成分ＤＬｏを算出する。
【００６０】
補間処理演算器７３は、信号Ｄ０〜Ｄ４が入力される入力端子ＩＮ６を備える。補間処理演算器７３は、画素ブロックにおける長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２の配置を、上から「Ｌ，Ｓ，Ｓ，Ｌ，Ｓ」と設定する場合の演算処理を実施する。補間処理演算器７３は、対象画素からの信号（Ｄ２２）を、短時間露光画素に由来する信号成分ＤＨｏとして出力する。補間処理演算器７２は、信号Ｄ０，Ｄ１，Ｄ３，Ｄ４のうち、設定において長時間露光画素からの第１画像信号とされた所定の信号を使用して、長時間露光画素に由来する信号成分ＤＬｏを算出する。
【００６１】
セレクタ７４は、ラインパターン識別信号４４を選択制御入力信号として、補間処理演算器７１からの信号成分ＤＨｏ、補間処理演算器７２からの信号成分ＤＨｏ、補間処理演算器７３からの信号成分ＤＨｏのいずれかを選択する。ラインパターン識別信号４４が「２」であるとき、セレクタ７４は、補間処理演算器７１からの信号成分ＤＨｏを選択する。ラインパターン識別信号４４が「１」であるとき、セレクタ７４は、補間処理演算器７２からのＤＨｏを選択する。ラインパターン識別信号４４が「０」であるとき、セレクタ７４は、補間処理演算器７３からの信号成分ＤＨｏを選択する。
【００６２】
セレクタ７５は、ラインパターン識別信号４４を選択制御入力信号として、補間処理演算器７１からの信号成分ＤＬｏ、補間処理演算器７２からの信号成分ＤＬｏ、補間処理演算器７３からの信号成分ＤＬｏのいずれかを選択する。ラインパターン識別信号４４が「２」であるとき、セレクタ７５は、補間処理演算器７１からの信号成分ＤＬｏを選択する。ラインパターン識別信号４４が「１」であるとき、セレクタ７５は、補間処理演算器７２からの信号成分ＤＬｏを選択する。ラインパターン識別信号４４が「０」であるとき、セレクタ７５は、補間処理演算器７３からの信号成分ＤＬｏを選択する。
【００６３】
第２補間処理回路５２は、セレクタ７４で選択された信号を、短時間露光画素に由来する信号成分ＤＨ２として出力する。第２補間処理回路５２は、セレクタ７５で選択された信号を、長時間露光画素に由来する信号成分ＤＬ２として出力する。
【００６４】
以上により、第１補間処理回路５１及び第２補間処理回路５２は、長時間露光画素である対象画素（第１対象画素）については、当該第１対象画素を中心とする画素ブロックにおける長時間露光ライン３１及び短時間露光ライン３２の配列に応じて、画素ブロック内の短時間露光画素からの第２画像信号を使用する補間処理を実施する。
【００６５】
また、第１補間処理回路５１及び第２補間処理回路５２は、短時間露光画素である対象画素（第２対象画素）については、当該第２対象画素を中心とする画素ブロックにおける長時間露光ライン３１及び短時間露光ライン３２の配列に応じて、画素ブロック内の長時間露光画素からの第１画像信号を使用する補間処理を実施する。
【００６６】
図９に示すセレクタ５３は、色パターン識別信号４５を選択制御入力信号として、第１補間処理回路５１からの信号ＤＨ１と、第２補間処理回路５２からの信号ＤＨ２とのいずれかを選択する。色パターン識別信号４５が「１」であるとき、セレクタ５３は、第１補間処理回路５１からの信号ＤＨ１を選択する。色パターン識別信号４５が「０」であるとき、セレクタ５３は、第２補間処理回路５２からの信号ＤＨ２を選択する。セレクタ５３は、信号ＤＨ１，ＤＨ２のうち選択した一方を、短時間露光画素に由来する信号成分ＤＨとして出力する。
【００６７】
セレクタ５４は、色パターン識別信号４５を選択制御入力信号として、第１補間処理回路５１からの信号ＤＬ１と、第２補間処理回路５２からの信号ＤＬ２とのいずれかを選択する。色パターン識別信号４５が「１」であるとき、セレクタ５４は、第１補間処理回路５１からの信号ＤＬ１を選択する。色パターン識別信号４５が「０」であるとき、セレクタ５４は、第２補間処理回路５２からの信号ＤＬ２を選択する。セレクタ５４は、信号ＤＬ１，ＤＬ２のうち選択した一方を、長時間露光画素に由来する信号成分ＤＬとして出力する。
【００６８】
混合処理部４３は、第１補間処理回路５１、第２補間処理回路５２及びセレクタ５３，５４を使用して、画素ブロックにおける長時間露光ライン３１、短時間露光ライン３２及び各色画素の配置パターンに応じた補間処理を実施する。
【００６９】
ゲイン調整回路５５は、長時間露光画素と短時間露光画素とで出力レベルを一致させるために、短時間露光画素に由来する信号成分ＤＨに所定のゲインを乗算する。ゲインは、長時間露光画素の第１露光時間と短時間露光画素の第２露光時間の比である露光比に対応する。
【００７０】
加算回路５６は、ゲイン調整回路５５でのゲイン調整を経た信号成分ＤＨと、セレクタ５４からの信号成分ＤＬとを加算する。加算回路５６は、長時間露光画素である第１対象画素については、第１対象画素からの第１画像信号である信号成分ＤＬと、第２画像信号を使用する補間処理の結果である信号成分ＤＨとを加算する。加算回路５６は、短時間露光画素である第２対象画素については、第２対象画素からの第２画像信号である信号成分ＤＨと、第１画像信号を使用する補間処理の結果である信号成分ＤＬとを加算する。混合処理部４３は、加算回路５６での加算結果を、ＨＤＲ合成信号として出力する。
【００７１】
ＨＤＲ合成部１９は、本実施形態で説明する処理に加えて、他の処理を実施するものとしても良い。例えば、ＨＤＲ合成部１９は、信号成分ＤＬ，ＤＨに対する伸張処理、比率調整や、被写体像のモーションブラーを抑制させるブラー除去処理などを実施するものとしても良い。
【００７２】
図１２及び図１３は、混合処理部における補間処理の例を説明する図である。ここでは、短時間露光画素に由来する信号成分ＤＨと長時間露光画素に由来する信号成分ＤＬとの算出例を、長時間露光ライン３１及び短時間露光ライン３２の配置パターン（ラインパターン）ごとに表している。混合処理部４３は、補間処理として、所定の画素の信号値に補間係数を乗算し、それらを加算する処理を実施する。図１２及び図１３には、信号値を参照する画素と、各信号にそれぞれ適用する補間係数とを表している。
【００７３】
ラインパターン「０」は、画素ブロックにおける長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２の配置が、上から「Ｌ，Ｓ，Ｓ，Ｌ，Ｓ」であるときとする。ラインパターン「１」は、画素ブロックにおける長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２の配置が、上から「Ｓ，Ｌ，Ｓ，Ｓ，Ｌ」であるときとする。ラインパターン「２」は、画素ブロックにおける長時間露光ライン（Ｌ）３１及び短時間露光ライン（Ｓ）３２の配置が、上から「Ｓ，Ｓ，Ｌ，Ｓ，Ｓ」であるときとする。
【００７４】
図１２に示す例は、画素ブロックの中心に位置する対象画素がＲである場合とする。図１２に例示する演算処理は、第２補間処理回路５２が実施する。混合処理部４３は、色パターン識別信号４５が「０」であるとき、セレクタ５３及び５４において、第２補間処理回路５２からの出力を選択する。混合処理部４３は、対象画素がＢである場合も、対象画素がＲである場合と同様の演算処理を実施する。
【００７５】
ラインパターンが「０」であるとき、信号成分ＤＨの算出において、混合処理部４３は、短時間露光画素である第２対象画素Ｒの信号Ｄ２２に対し補間係数「１」を適用する。混合処理部４３は、信号Ｄ２２を、信号成分ＤＨとする。信号成分ＤＬの算出において、混合処理部４３は、長時間露光画素である周辺画素の信号値を参照する。混合処理部４３は、周辺画素Ｒの信号Ｄ０２に対し補間係数「１」、２つの周辺画素Ｇｒの信号Ｄ０１，Ｄ０３に対し補間係数「−１／３」、周辺画素Ｇｂの信号Ｄ３２に対し補間係数「２／３」をそれぞれ適用する。ラインパターンが「０」である場合に適用される演算処理は、補間処理演算器７３（図１１参照）が実施する。
【００７６】
ラインパターンが「１」であるとき、信号成分ＤＨの算出において、混合処理部４３は、短時間露光画素である第２対象画素Ｒの信号Ｄ２２に対し補間係数「１」を適用する。混合処理部４３は、信号Ｄ２２を、信号成分ＤＨとする。信号成分ＤＬの算出において、混合処理部４３は、長時間露光画素である周辺画素の信号値を参照する。混合処理部４３は、周辺画素Ｇｂの信号Ｄ１２に対し補間係数「２／３」、２つの周辺画素Ｇｒの信号Ｄ４１，Ｄ４３に対し補間係数「−１／３」、周辺画素Ｒの信号Ｄ４２に対し補間係数「１」をそれぞれ適用する。ラインパターンが「１」である場合に適用される補間処理は、補間処理演算器７２（図１１参照）が実施する。
【００７７】
ラインパターンが「２」であるとき、信号成分ＤＨの算出において、混合処理部４３は、短時間露光画素である周辺画素の信号値を参照する。混合処理部４３は、４つの周辺画素Ｇｒの信号Ｄ０１，Ｄ０３，Ｄ４１，Ｄ４３に対し補間係数「−１／４」、２つの周辺画素Ｇｂの信号Ｄ１２，Ｄ３２に対し補間係数「１／２」、２つの周辺画素Ｒの信号Ｄ０２，Ｄ４２に対し補間係数「１／２」をそれぞれ適用する。信号成分ＤＬの算出において、混合処理部４３は、長時間露光画素である第１対象画素Ｒの信号Ｄ２２に対し補間係数「１」を適用する。混合処理部４３は、信号Ｄ２２を、信号成分ＤＬとする。ラインパターンが「２」である場合に適用される補間処理は、補間処理演算器７１（図１１参照）が実施する。
【００７８】
図１３に示す例は、中心画素がＧｒである場合とする。図１３に例示する演算処理は、第１補間処理回路５１が実施する。混合処理部４３は、色パターン識別信号４５が「１」であるとき、セレクタ５３及び５４において、第１補間処理回路５１からの出力を選択する。混合処理部４３は、対象画素がＧｂである場合も、対象画素がＧｒである場合と同様の演算処理を実施する。
【００７９】
ラインパターンが「０」であるとき、信号成分ＤＨの算出において、混合処理部４３は、短時間露光画素である第２対象画素Ｇｒの信号Ｄ２２に対し補間係数「１」を適用する。混合処理部４３は、信号Ｄ２２を、信号成分ＤＨとする。信号成分ＤＬの算出において、混合処理部４３は、長時間露光画素である周辺画素の信号値を参照する。混合処理部４３は、周辺画素Ｇｒの信号Ｄ０２に対し補間係数「１／３」、２つの周辺画素Ｇｂの信号Ｄ３１，Ｄ３３に対し補間係数「１／３」をそれぞれ適用する。ラインパターンが「０」である場合に適用される演算処理は、補間処理演算器６３（図１０参照）が実施する。
【００８０】
ラインパターンが「１」であるとき、信号成分ＤＨの算出において、混合処理部４３は、短時間露光画素である第２対象画素Ｇｒの信号Ｄ２２に対し補間係数「１」を適用する。混合処理部４３は、信号Ｄ２２を、信号成分ＤＨとする。信号成分ＤＬの算出において、混合処理部４３は、長時間露光画素である周辺画素の信号値を参照する。混合処理部４３は、２つの周辺画素Ｇｂの信号Ｄ１１，Ｄ１３に対し補間係数「１／３」、周辺画素Ｇｒの信号Ｄ４２に対し補間係数「１／３」をそれぞれ適用する。ラインパターンが「１」である場合に適用される演算処理は、補間処理演算器６２（図１０参照）が実施する。
【００８１】
ラインパターンが「２」であるとき、信号成分ＤＨの算出において、混合処理部４３は、短時間露光画素である周辺画素の信号値を参照する。混合処理部４３は、４つの周辺画素Ｇｂの信号Ｄ１１，Ｄ１３，Ｄ３１，Ｄ３３に対し補間係数「１／４」をそれぞれ適用する。信号成分ＤＬの算出において、混合処理部４３は、長時間露光画素である第１対象画素Ｇｒの信号Ｄ２２に対し補間係数「１」を適用する。混合処理部４３は、信号Ｄ２２を、信号成分ＤＬとする。ラインパターンが「２」である場合に適用される補間処理は、補間処理演算器６１（図１０参照）が実施する。
【００８２】
混合処理部４３における補間処理の手法は、本実施形態で説明するものに限られず、適宜変更しても良い。混合処理部４３は、画素ブロックのうち補間処理のために信号値を参照する画素と、各信号にそれぞれ適用する補間係数とを、適宜変更しても良い。画素ブロックは、５×５画素とする場合に限られない。画素ブロックを構成する画素の数は、適宜変更しても良い。ＨＤＲ合成部１９は、画素ブロックの態様に応じて、各画素２３からの信号の同時化のための構成や、補間処理のための構成等を適宜変更しても良い。
【００８３】
図１４は、本実施形態の比較例による露光時間の設定について説明する図である。比較例も、本実施形態と同様、画素アレイ２１は、Ｇｒ，Ｒ，Ｂ，Ｇｂの各画素２３がベイヤー配列として配置されている。比較例では、長時間露光ライン３１及び短時間露光ライン３２は、垂直方向において、２つの長時間露光ライン３１と２つの短時間露光ライン３２とからなる組合せを単位とする周期配列をなしている。
【００８４】
比較例では、垂直方向について、各色画素の配置パターンの２周期とラインパターンの１周期とが一致する。比較例の場合、ＨＤＲ合成の対象とする対象画素について、当該対象画素と同色の周辺画素を使用する補間処理を実施可能とする。２つの長時間露光ライン３１を隣接させる周期配列では、長時間露光画素における入射光量の飽和は、通常、２つの長時間露光ライン３１に跨って生じる。このため、入射光量の飽和があった場合に、２つの長時間露光ライン３１ごとに画像データが失われることとなる。
【００８５】
長時間露光画素は、画像データの欠陥が画質に与える影響が、短時間露光画素より比較的大きくなる。入射光量の飽和があった場合に、２つの水平ラインごとに長時間露光画素の画像データが失われることで、ＨＤＲ合成画像の解像感の低下が生じ易くなる。入射光量の飽和によって失われた画像データは、当該２つの長時間露光ライン３１の範囲外で取得された画像データによって補間される。離れた位置の画像データが補間に使用されることで、ジャギーなどの劣化がＨＤＲ合成画像に生じ易くなる。
【００８６】
これに対して、本実施形態の固体撮像装置５は、２つの短時間露光ライン３２に対して１つの長時間露光ライン３１を配置する周期配列を採用する。固体撮像装置５は、入射光量の飽和があっても、長時間露光画素の画像データが失われる範囲を１つの水平ラインごととする制限が可能である。このため、２つの水平ラインごとに画像データが失われる比較例の場合に比べて、ＨＤＲ合成画像について高い解像感を維持することができる。
【００８７】
固体撮像装置５は、入射光量の飽和によって失われた画像データを、その部分から近くの短時間露光画素で取得された画像データを補間に使用可能とする。近くの位置の画像データが補間に使用されることで、固体撮像装置５は、ＨＤＲ合成画像におけるジャギーなどの劣化を生じにくくさせることができる。以上により、固体撮像装置５は、高品質なＨＤＲ合成画像を得ることができる。
【００８８】
固体撮像装置５は、１つの長時間露光ライン３１と２つの短時間露光ライン３２とからなる組合せを、水平ラインの周期配列の単位とするものに限られない。固体撮像装置５は、水平ラインの周期配列の単位が、長時間露光ライン３１と、長時間露光ライン３１の数に対して２倍の数の短時間露光ライン３２とからなる組合せであれば良いものとする。
【００８９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９０】
５  固体撮像装置、１０  イメージセンサ、１９  ＨＤＲ合成部、２０  制御部、２１  画素アレイ、２３  画素、３１  長時間露光ライン、３２  短時間露光ライン。
【図１】
2014086889.tif 000003
【図２】
2014086889.tif 000004
【図３】
2014086889.tif 000005
【図４】
2014086889.tif 000006
【図５】
2014086889.tif 000007
【図６】
2014086889.tif 000008
【図７】
2014086889.tif 000009
【図８】
2014086889.tif 000010
【図９】
2014086889.tif 000011
【図１０】
2014086889.tif 000012
【図１１】
2014086889.tif 000013
【図１２】
2014086889.tif 000014
【図１３】
2014086889.tif 000015
【図１４】
2014086889.tif 000016