(57)【要約】【課題】撮影における要求に応じて、最適な広ダイナミックレンジ映像を得ることを可能とする画像処理装置を提供すること。【解決手段】実施形態によれば、画像処理装置である画像処理回路２０は、ライン露光選択部２４及び画像合成部２５を有する。ライン露光選択部２４は、画素アレイのラインごとに、第１の露光時間及び第２の露光時間のいずれを適用するかを選択する。第２の露光時間は、第１の露光時間より短い。画像合成部２５は、飽和画素の信号値を、第２の画素の信号値を使用して補間する。第２の画素は、第２の露光時間が適用される画素である。ライン露光選択部２４は、第１の露光時間及び第２の露光時間を選択するパターンを切り換え可能とする。ライン露光選択部２４は、合成画像に要求されるフレームレートと、合成画像に要求される画像サイズとの少なくとも一方に応じて、パターンを切り換える。【選択図】図１
2013026722.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサの画素アレイを構成する各画素について、第１の露光時間と、前記第１の露光時間より短い第２の露光時間とのいずれを適用するかを、前記画素アレイのラインごとに選択するライン露光選択部と、
前記第１の露光時間が適用される第１の画素のうち入射光量に対する出力の飽和が生じた飽和画素の信号値を、前記第２の露光時間が適用される第２の画素の信号値を使用して補間し、前記第１の画素から得られた第１の画像信号と前記第２の画素から得られた第２画像信号との合成により合成画像を得る画像合成部と、を有し、
前記ライン露光選択部は、前記合成画像に要求されるフレームレートと、前記合成画像に要求される画像サイズとの少なくとも一方に応じて、前記第１の露光時間及び前記第２の露光時間を選択するパターンを切り換え可能とすることを特徴とする画像処理装置。
【請求項２】
前記画素アレイが持つ画素数より小さい画像サイズが要求され、かつ前記画素アレイから画像信号を出力可能な周波数に相当するフレームレートが要求されたことに応じて、前記ライン露光選択部は、２本のラインごとに前記第１の露光時間と前記第２の露光時間とを交互に選択し、
前記画像合成部は、前記第１の画像信号と、前記第１の画像信号を基準とする位相調整を経た前記第２の画像信号とを合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素アレイが持つ画素数より小さい画像サイズが要求され、かつ前記画素アレイから画像信号を出力可能な周波数より高いフレームレートが要求されたことに応じて、前記ライン露光選択部は、４本のラインごとに前記第１の露光時間と前記第２の露光時間とを交互に選択し、
前記画像合成部は、ビニング処理を経て前記イメージセンサから出力された画像信号を基に、前記飽和画素の信号値を、前記飽和画素の周辺に位置する前記第２の画素の信号値を使用して補間することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画素アレイが持つ画素数に相当する画像サイズが要求され、かつ前記画素アレイから画像信号を出力可能な周波数の半分に相当するフレームレートが要求されたことに応じて、前記ライン露光選択部は、第１フレームでは全てのラインについて前記第１の露光時間を選択し、前記第１フレームの次の第２フレームでは全てのラインについて前記第２の露光時間を選択し、
前記画像合成部は、前記第１フレームについての前記第１の画像信号と、前記第２フレームについての前記第２の画像信号とを合成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画素アレイが持つ画素数に相当する画像サイズが要求され、かつ前記画素アレイから画像信号を出力可能な周波数に相当するフレームレートが要求されたことに応じて、前記ライン露光選択部は、２本のラインごとに前記第１の露光時間と前記第２の露光時間とを交互に選択し、
前記画像合成部は、前記飽和画素の信号値を、前記飽和画素の周辺に位置する前記第２の画素の信号値を使用して補間することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
従来、露光時間を異ならせた画素群を使用することにより、広ダイナミックレンジ（wide  dynamic  range；ＷＤＲ）動作を実現させる技術が提案されている。入射光量が少ない部分については、長い露光時間とした画素群のほうが、短い露光時間とした画素群に比べて、明暗差が良好な映像情報を得ることが可能である。長い露光時間とした画素群は、入射光量が高い部分については、光電変換により得られる電荷がフォトダイオードの蓄積容量に達する場合がある。このような入射光量に対する出力の飽和が生じると、入射光量に応じた階調が得られないために、出力特性が悪化することとなる。そこで、入射光量が高い部分については、短い露光時間とした画素群を使用することで、映像の再現性を確保することが可能となる。固体撮像装置は、映像のうち、良好な出力特性が得られている部分同士を合成することで、ＷＤＲ画像を得ることができる。
【０００３】
固体撮像装置は、長い露光時間とした画素群と短い露光時間とした画素群とで出力レベルを一致させるために、短い露光時間とした画素群で得られた信号値に所定のゲインを乗算する。ゲインは、例えば、露光時間に差を持たせた双方の画素群における露光時間の比に相当する。
【０００４】
ラインごとに露光時間を異ならせるＷＤＲ動作の場合、長い露光時間とした画素群のうち出力が飽和した飽和画素については、短い露光時間とした画素群のうち、飽和画素の周辺に位置する画素の信号値を使用する補間処理を行う。この場合、ＷＤＲ動作による画像サイズの変更は生じない一方、飽和画素の部分では、垂直方向における解像度が、通常の場合に対して実質的に半分となることから、画質を劣化させることとなる。
【０００５】
また、静止画撮影等では、露光時間を異ならせて撮影された複数の画像を使用するＷＤＲ動作が実用化されている。この手法によると、画質についての問題を解決し得る一方、イメージセンサによる出力周期に対して合成画像のフレームレートが遅れることとなる。したがって、この手法は、フレームレートを優先したい動画撮影への適用が困難であることが課題となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平４−１５８６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の一つの実施形態は、撮影における要求に応じて、最適な広ダイナミックレンジ映像を得ることを可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一つの実施形態によれば、画像処理装置は、ライン露光選択部及び画像合成部を有する。ライン露光選択部は、イメージセンサの画素アレイを構成する各画素について、第１の露光時間及び第２の露光時間のいずれを適用するかを選択する。第２の露光時間は、第１の露光時間より短い。ライン露光選択部は、画素アレイのラインごとに、第１の露光時間及び第２の露光時間のいずれかを選択する。画像合成部は、飽和画素の信号値を、第２の画素の信号値を使用して補間する。飽和画素は、第１の画素のうち入射光量に対する出力の飽和が生じた画素である。第１の画素は、第１の露光時間が適用される画素である。第２の画素は、第２の露光時間が適用される画素である。画像合成部は、第１の画像信号及び第２の画像信号の合成により合成画像を得る。第１の画像信号は、第１の画素から得られる画像信号である。第２の画像信号は、第２の画素から得られる画像信号である。ライン露光選択部は、第１の露光時間及び第２の露光時間を選択するパターンを切り換え可能とする。ライン露光選択部は、合成画像に要求されるフレームレートと、合成画像に要求される画像サイズとの少なくとも一方に応じて、パターンを切り換える。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図。
【図２】図１に示す固体撮像装置を備えるカメラモジュールの構成を示すブロック図。
【図３】長時間露光画素及び短時間露光画素の出力特性と、ＷＤＲ動作後の出力特性とを示す図。
【図４】第１の動作パターンにおけるＷＤＲ動作について説明する図。
【図５】第２の動作パターンにおけるＷＤＲ動作について説明する図。
【図６】飽和画素についての信号値の補間について説明する図。
【図７】第２の実施形態にかかる固体撮像装置の概略構成を示すブロック図。
【図８】第３の動作パターンにおけるＷＤＲ動作について説明する図。
【図９】第４の動作パターンにおけるＷＤＲ動作について説明する図。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【００１１】
（第１の実施形態）
図１は、第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、図１に示す固体撮像装置を備えるカメラモジュールの構成を示すブロック図である。カメラモジュール１０は、例えば、デジタルカメラである。
【００１２】
カメラモジュール１０は、固体撮像装置１１、ＤＳＰ１２、記憶部１３及び表示部１４を有する。固体撮像装置１１は、被写体像を撮像する。ＤＳＰ１２は、固体撮像装置１１での撮像により得られた画像信号の信号処理を実施する。ＤＳＰ１２は、例えば、固体撮像装置１１から出力されたＲＡＷ画像について、シェーディング補正、自動露出（auto  exposure；ＡＥ）調整、自動ホワイトバランス（auto  white  balance；ＡＷＢ）調整、マトリクス処理、輪郭強調、輝度圧縮、ガンマ処理等を実施する。
【００１３】
記憶部１３は、ＤＳＰ１２での信号処理を経た画像を格納する。記憶部１３は、ユーザの操作等に応じて、表示部１４へ画像信号を出力する。表示部１４は、ＤＳＰ１２あるいは記憶部１３から入力される画像信号に応じて、画像を表示する。表示部１４は、例えば、液晶ディスプレイである。
【００１４】
固体撮像装置１１は、画像処理回路（画像処理装置）２０、レンズユニット２１、イメージセンサ２２及びアナログデジタル変換器（ＡＤＣ）２３を有する。レンズユニット２１は、被写体からの光を取り込み、イメージセンサ２２にて被写体像を結像させる。
【００１５】
イメージセンサ２２は、レンズユニット２１により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ２２は、ＲＧＢの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ＡＤＣ２３は、イメージセンサ２２からの画像信号をアナログ方式からデジタル方式へ変換する。
【００１６】
画像処理回路２０は、ＡＤＣ２３からの画像信号の信号処理を実施する。画像処理回路２０は、ライン露光選択部２４、画像合成部２５及びワークメモリ２６を有する。ライン露光選択部２４は、イメージセンサ２２の画素アレイを構成する各画素について、第１の露光時間及び第２の露光時間のいずれを適用するかを、画素アレイのラインごとに選択する。イメージセンサ２２は、画素アレイを構成する各画素について、第１の露光時間及び第２の露光時間のいずれを適用するかを、ラインごとに選択可能とする構成を備える。第２の露光時間は、第１の露光時間より短いものとする。
【００１７】
画像合成部２５は、長時間露光画素から得られた第１の画像信号３１と、短時間露光画素から得られた第２の画像信号３２との合成により、合成画像を得る。画像合成部２５は、ＷＤＲ合成画像信号３７を出力する。長時間露光画素は、第１の露光時間が適用される第１の画素とする。短時間露光画素は、第２の露光時間が適用される第２の画素とする。ワークメモリ２６は、画像合成部２５に入力された画像信号を適宜格納する。
【００１８】
図３は、長時間露光画素及び短時間露光画素の出力特性と、ＷＤＲ動作後の出力特性とを示す図である。長時間露光画素は、入射光量がＩ０であるとき、光電変換により発生する信号電荷がフォトダイオードの蓄積容量に達するものとする。長時間露光画素の出力Ｓ１は、入射光量がＩ０以下であるとき、入射光量の増加に比例して高くなる。長時間露光画素の出力Ｓ１は、入射光量がＩ０より大きいときは飽和し、一定となる。短時間露光画素の出力Ｓ２は、入射光量がＩ０より大きい場合も、入射光量の増加に比例して高くなる。
【００１９】
入射光量がＩ０以下である環境下では、長時間露光画素は、短時間露光画素に比べて、入射光量に対する出力の割合が高くなる。このため、低照度環境下では、長時間露光画素は、短時間露光画素に比べて、明暗差が良好な画像を得ることが可能である。入射光量がＩ０より大きくなる環境下では、長時間露光画素の出力Ｓ１は飽和するのに対して、短時間露光画素の出力Ｓ２は入射光量に応じたレベルとなる。
【００２０】
画像合成部２５は、入射光量がＩ０以下であるときの長時間露光画素の出力Ｓ１と、入射光量がＩ０より大きいときの短時間露光画素の出力Ｓ２とを合成する。画像合成部２５は、短時間露光画素の出力Ｓ２に、長時間露光画素の出力Ｓ１に対する露光量の比に相当するゲインを乗算して出力Ｓとする。画像合成部２５は、長時間露光画素の出力Ｓ１と短時間露光画素の出力Ｓとを合成する。
【００２１】
例えば、イメージセンサ２２から出力される画像信号が１０ビットであって、ゲインを４倍、８倍及び１６倍から選択可能であるものとすると、合成画像についての出力ビット数として１２ビット、１３ビット及び１４ビットを得ることが可能となる。
【００２２】
固体撮像装置１１には、フレームレート情報３３及び画像サイズ情報３４が入力される。フレームレート情報３３は、固体撮像装置１１から出力される合成画像に要求されるフレームレートを表す情報とする。画像サイズ情報３４は、固体撮像装置１１から出力される合成画像に要求される画像サイズを表す情報とする。
【００２３】
画像処理回路２０は、ＷＤＲ動作を実施する複数の動作パターンが予め設定されている。ライン露光選択部２４は、フレームレート情報３３及び画像サイズ情報３４に応じて選択された動作パターンに従うライン選択信号３５及びパターン識別信号３６を出力する。
【００２４】
ライン選択信号３５は、画素アレイのラインごとに第１の露光時間及び第２の露光時間のいずれを選択するかを表す信号とする。ライン露光選択部２４は、第１の露光時間及び第２の露光時間を選択するパターンを、ライン選択信号３５によって切り換え可能とする。イメージセンサ２２は、ライン選択信号３５に応じて、画素アレイの各ラインを長時間露光画素のラインと短時間露光画素のラインとに振り分ける。パターン識別信号３６は、動作パターンを識別するための信号とする。
【００２５】
次に、画像処理回路２０によるＷＤＲ動作の各動作パターンについて説明する。ここでは、イメージセンサ２２の画素サイズが３８４０×２１６０ピクセル（８．３メガピクセル）であって、当該画素サイズから画像信号を出力可能な周波数が３０ｆｐｓ（frame  per  second）であるものとして説明する。
【００２６】
図４は、第１の動作パターンにおけるＷＤＲ動作について説明する図である。第１の動作パターンは、画素アレイが持つ画素数に相当する画像サイズが要求され、かつ画素アレイから画像信号を出力可能な周波数の半分に相当するフレームレートが要求された場合に適用される。この例では、合成画像に要求される画像サイズは３８４０×２１６０ピクセルであって、合成画像に要求されるフレームレートは１５ｆｐｓとする。第１の動作パターンは、例えば、静止画の撮影に適している。
【００２７】
なお、ベイヤー配列は、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素を単位として構成されている。Ｒ画素は、Ｒ光を検出するための画素である。Ｂ画素は、Ｂ光を検出するための画素である。Ｇｒ画素及びＧｂ画素は、Ｇ光を検出するための画素である。Ｇｒ画素は、ラインにてＲ画素と並列している。Ｇｂ画素は、ラインにてＢ画素と並列している。
【００２８】
ライン露光選択部２４は、第１フレームＦ１では、全てのラインについて第１の露光時間の選択を指示するライン選択信号３５を出力する。画像処理回路２０は、第１フレームＦ１において、画素アレイの全ての画素を長時間露光画素４１とする。イメージセンサ２２は、ライン選択信号３５に応じて、全画面の長時間露光による第１の画像信号３１を生成する。画像合成部２５は、イメージセンサ２２からＡＤＣ２３を介して入力された第１の画像信号３１を、ワークメモリ２６に一時的に格納する。
【００２９】
第１フレームＦ１の次の第２フレームＦ２では、ライン露光選択部２４は、全てのラインについて第２の露光時間の選択を指示するライン選択信号３５を出力する。画像処理回路２０は、第２のフレームＦ２において、画素アレイの全ての画素を短時間露光画素４２とする。イメージセンサ２２は、ライン選択信号３５に応じて、全画面の短時間露光による第２の画像信号３２を生成する。
【００３０】
画像合成部２５は、第１の動作パターンを示すパターン識別信号３６に応じて、第１の動作パターンによる合成処理を実施する。第２フレームＦ２について第２の画像信号３２の１ライン目が入力されると、画像合成部２５は、ワークメモリ２６からの第１の画像信号３１の読み出しを開始する。また、画像合成部２５は、第２の画像信号３２の信号レベルにゲインを乗算する。
【００３１】
画像合成部２５は、長時間露光画素４１のうち出力の飽和が生じた飽和画素の信号値を、短時間露光画素４２の信号値を使用して補間する。画像合成部２５は、飽和画素があった場合、その画素についての第１の画像信号３１の信号値を、ゲインが乗算された後の第２の画像信号３２の信号値へ切り換える。第１フレームＦ１の画像と第２フレームＦ２の画像とは位相（位置）が一致していることから、画像合成部２５は、ゲインが乗算された第２の画像信号３２をそのまま飽和画素に適用することで、飽和が生じた箇所の階調を補間可能とする。
【００３２】
画像合成部２５は、飽和が生じていない箇所については、第１の画像信号３１を適用する。画像合成部２５は、飽和画素についての補間処理により、第１フレームＦ１についての第１の画像信号３１と第２フレームＦ２についての第２の画像信号３２とを合成し、得られたＷＤＲ合成画像信号３７を出力する。第１の動作パターンでは、第１及び第２フレームＦ１、Ｆ２を使用して合成フレームＦ０を得ることから、固体撮像装置１１のフレームレートは、イメージセンサ２２により画像信号を出力可能な周波数に対して半分の１５ｆｐｓとなる。
【００３３】
固体撮像装置１１は、第１の動作パターンによるＷＤＲ動作により、イメージセンサ２２の画素サイズ、例えば８．３メガピクセルに相当する解像度を保持することができる。固体撮像装置１１は、撮影の速さよりも画像の精細さを優先させることで、高品質な静止画を得ることができる。
【００３４】
図５は、第２の動作パターンにおけるＷＤＲ動作について説明する図である。第２の動作パターンは、画素アレイが持つ画素数に相当する画像サイズが要求され、かつ画素アレイから画像信号を出力可能な周波数に相当するフレームレートが要求された場合に適用される。この例では、合成画像に要求される画像サイズが３８４０×２１６０ピクセル、合成画像に要求されるフレームレートが３０ｆｐｓとする。第２の動作パターンは、例えば、静止画撮影において手振れの影響を低減させる場合に適している。
【００３５】
ライン露光選択部２４は、２本のラインおきに第１の露光時間と第２の露光時間とを交互に選択するライン選択信号３５を出力する。画像処理回路２０は、２本のラインの長時間露光画素４１と、２本のラインの短時間露光画素４２とを交互に設定する。イメージセンサ２２は、ライン選択信号３５に応じて、２本のラインおきの長時間露光及び短時間露光を実施する。イメージセンサ２２は、長時間露光画素４１からの第１の画像信号３１と、短時間露光画素４２からの第２の画像信号３２とを生成する。
【００３６】
画像合成部２５は、第２の動作パターンを示すパターン識別信号３６に応じて、第２の動作パターンによる合成処理を実施する。画像合成部２５は、第２の画像信号３２の信号レベルにゲインを乗算する。画像合成部２５は、２本のラインごとに、第１の画像信号３１と、ゲインが乗算された第２の画像信号３２とを交互に組み合わせる。
【００３７】
図６は、飽和画素についての信号値の補間について説明する図である。画像合成部２５は、飽和画素の信号値を、飽和画素の周辺に位置する短時間露光画素４２の信号値を使用して補間する。例えば、長時間露光画素４１のうちのＧｒ画素４３が飽和画素であったとする。Ｇｒ画素４３から１つのＲ画素を隔てて垂直方向に並列する２つのＧｒ画素４４、４５は、いずれも、短時間露光画素４２である。画像合成部２５は、例えば、２つのＧｒ画素４４、４５についてゲイン乗算後の信号値の平均を算出し、Ｇｒ画素４３の補間値とする。これにより、画像合成部２５は、飽和が生じた箇所の階調を補間する。
【００３８】
なお、画像合成部２５は、１つの飽和画素に対して２つの短時間露光画素４２を使用する補間処理を実施する場合に限られない。画像合成部２５は、１つの飽和画素に対して、周辺に位置する３つ以上の短時間露光画素４２を使用する補間処理を実施することとしても良い。また、画像合成部２５は、従来知られるいずれの手法による補間処理を実施するものであっても良い。
【００３９】
画像合成部２５は、飽和画素については補間処理を施した上で、単一のフレームＦについて第１の画像信号３１と第２の画像信号３２とを合成し、得られたＷＤＲ合成画像信号３７を出力する。第２の動作パターンでは、単一のフレームＦを使用して合成フレームＦ０を得ることから、固体撮像装置１１のフレームレートは、イメージセンサ２２が画像信号を出力可能な周波数と同じ３０ｆｐｓとなる。
【００４０】
固体撮像装置１１は、第２の動作パターンのＷＤＲ動作により、イメージセンサ２２の出力周波数に相当するフレームレートを保持することができる。固体撮像装置１１は、イメージセンサ２２の出力周期に応じた高速撮影を可能とすることで、手振れの影響を効果的に抑制させることができる。
【００４１】
ＷＤＲ動作において、画像の解像度とフレームレートとはトレードオフの関係にある。画像処理回路２０は、合成画像に要求される画像サイズ及びフレームレートに応じてＷＤＲ動作のパターンを切り換え可能とすることで、撮影における要求に応じて画質及びフレームレートが最適化されたＷＤＲ映像を得ることができる。
【００４２】
なお、ライン露光選択部２４は、長時間露光及び短時間露光を選択するパターンを、フレームレート情報３３及び画像サイズ情報３４の双方に応じて切り換え可能とする場合に限られない。ライン露光選択部２４は、長時間露光及び短時間露光を選択するパターンを、フレームレート情報３３及び画像サイズ情報３４の少なくとも一方に応じて切り換え可能であれば良いものとする。これにより、画像処理回路２０は、撮影における要求に適したＷＤＥ動作を実施することができる。
【００４３】
（第２の実施形態）
図７は、第２の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。本実施形態にかかる固体撮像装置５０は、カメラモジュール１０（図２参照）に適用される。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【００４４】
固体撮像装置５０は、画像処理回路（画像処理装置）５１、レンズユニット２１、イメージセンサ５２及びアナログデジタル変換器（ＡＤＣ）２３を有する。イメージセンサ５２は、ビニング部５３を有する。ビニング部５３は、画素アレイにて並列する所定数の画素からなる領域を１つの受光面と見立てて画像信号を読み出すためのビニング処理を実施する。
【００４５】
画像処理回路５１は、ライン選択信号３５及びパターン識別信号３６の他に、ビニング信号５４を出力する。ビニング信号５４は、ビニング部５３によるビニング処理を指示する信号とする。ライン露光選択部２４は、フレームレート情報３３及び画像サイズ情報３４に応じて選択された動作パターンに従うビニング信号５４を出力する。
【００４６】
画像処理回路５１は、第１の実施形態における第１及び第２の動作パターンに加えて、ＷＤＲ動作の第３及び第４の動作パターンが予め設定されている。
【００４７】
次に、画像処理回路５１によるＷＤＲ動作の第３及び第４の動作パターンについて説明する。ここでは、第１の実施形態と同様、イメージセンサ５２の画素サイズが３８４０×２１６０ピクセルであって、当該画素サイズから画像信号を出力可能な周波数が３０ｆｐｓであるものとして説明する。
【００４８】
図８は、第３の動作パターンにおけるＷＤＲ動作について説明する図である。第３の動作パターンは、画素アレイが持つ画素数より小さい画像サイズが要求され、かつ画素アレイから画像信号を出力可能な周波数に相当するフレームレートが要求された場合に適用される。この例では、合成画像に要求される画像サイズは１９２０×１０８０ピクセルであって、合成画像に要求されるフレームレートは３０ｆｐｓとする。第３の動作パターンは、例えば、動画の撮影に適している。
【００４９】
ライン露光選択部２４は、水平方向に並列する２つの画素を１つの画素と見立てて画像信号を読み出すビニング処理を、ビニング信号５４により指示する。ビニング部５３は、ビニング信号５４に応じて、水平方向について画素数を２分の１に見立てたビニング処理を実施する。イメージセンサ５２は、正常なアスペクト比を垂直方向へ２倍に引き伸ばした比率の画像を撮像する。この例では、イメージセンサ５２は、３８４０×２１６０ピクセルから１９２０×２１６０ピクセルへのビニング処理を経た画像信号を出力する。
【００５０】
また、ライン露光選択部２４は、第２の動作パターンと同様に、２本のラインおきに第１の露光時間と第２の露光時間とを交互に選択するライン選択信号３５を出力する。画像処理回路５１は、２本のラインの長時間露光画素４１と、２本のラインの短時間露光画素４２とを交互に設定する。イメージセンサ５２は、ライン選択信号３５に応じて、２本のラインおきの長時間露光及び短時間露光を実施する。イメージセンサ５２は、長時間露光画素４１からの第１の画像信号３１と、短時間露光画素４２からの第２の画像信号３２とを生成する。
【００５１】
画像合成部２５は、第３の動作パターンを示すパターン識別信号３６に応じて、第３の動作パターンによる合成処理を実施する。画像合成部２５は、単一のフレームＦを、長時間露光画素４１から得られる１９２０×１０８０ピクセルの長時間露光画像Ｐ１と、短時間露光画素４２から得られる１９２０×１０８０ピクセルの短時間露光画像Ｐ２とに分解する。また、画像合成部２５は、短時間露光画像Ｐ２については、第１の実施形態と同様、信号レベルにゲインを乗算する。
【００５２】
長時間露光画像Ｐ１と短時間露光画像Ｐ２とには、垂直方向に２ライン分の位相ずれがある。画像合成部２５は、長時間露光画像Ｐ１を基準として、垂直方向について短時間露光画像Ｐ２の位相を調整することにより、長時間露光画像Ｐ１の位相に短時間露光画像Ｐ２の位相を合わせ込む。
【００５３】
画像合成部２５は、例えば、フレームＦにおいて長時間露光画素４１の２ライン分垂直方向上流側に位置する短時間露光画素４２の２本のラインと、垂直方向下流側に位置する短時間露光画素４２の２本のラインとについて信号値の平均を算出することにより、短時間露光画像Ｐ２の位相調整を実施する。なお、画像合成部２５による短時間露光画像Ｐ２の位相調整の手法は、適宜変更可能であるものとする。
【００５４】
画像合成部２５は、短時間露光画素４２に比べて高精細な撮像を可能とする長時間露光画素４１で得られる第１の画像信号３１については位相を不変とする。また、第２の画像信号３２は、第１の画像信号３１に対してＳＮ比（signal-to-noise  ratio）が劣化する傾向にある。画像合成部２５における第２の画像信号３２の位相調整は、フィルター処理と等価であることから、解像度低下を生じさせ得るほかにＳＮ比の改善をもたらすこととなる。画像処理回路５１は、画像合成部２５においてこのような位相調整を実施することで、若干の解像度低下と引き換えに高画質の維持を図ることができる。
【００５５】
長時間露光画像Ｐ１、及び位相調整後の短時間露光画像Ｐ２は、イメージセンサ５２上においては、２本のラインおきとされている。画像合成部２５は、長時間露光画像Ｐ１、及び位相調整後の短時間露光画像Ｐ２を、垂直方向について２分の１に圧縮する。固体撮像装置５０は、イメージセンサ５２により、正常なアスペクト比を垂直方向へ２倍に引き伸ばした比率の画像を予め撮像することで、画像合成部２５における圧縮を経て正常なアスペクト比の画像を得ることができる。
【００５６】
画像合成部２５は、第１の動作パターンと同様に、長時間露光画素４１のうち出力の飽和が生じた飽和画素の信号値を、短時間露光画素４２の信号値を使用して補間する。画像合成部２５は、飽和画素があった場合、その画素についての第１の画像信号３１の信号値を、ゲインが乗算された後の第２の画像信号３２の信号値へ切り換える。このようにして、画像合成部２５は、第１の画像信号３１と、第１の画像信号３１を基準とする位相調整を経た第２の画像信号３２とを合成する。
【００５７】
画像合成部２５は、第１の動作パターンと同様に、飽和が生じていない箇所については、第１の画像信号３１を適用する。画像合成部２５は、飽和画素についての補間処理により、単一フレームＦについて第１の画像信号３１と第２の画像信号３２とを合成し、得られたＷＤＲ合成画像信号３７を出力する。第３の動作パターンでは、単一のフレームＦを使用して合成フレームＦ０を得ることから、固体撮像装置５０のフレームレートは、画素アレイから画像信号を出力可能な周波数と同じ３０ｆｐｓとなる。
【００５８】
固体撮像装置５０は、第３の動作パターンにおいて、第１の動作パターンと同様の合成処理により、解像度をできるだけ保持するＷＤＲ動作を可能とする。また、固体撮像装置５０は、第３の動作パターンのＷＤＲ動作により、イメージセンサ５２の出力周波数に相当するフレームレートを保持することができる。固体撮像装置５０は、イメージセンサ５２の出力周期に応じた高速撮影を可能とし、かつある程度の高画質も担保可能とすることで、良好な品質の動画を得ることができる。
【００５９】
図９は、第４の動作パターンにおけるＷＤＲ動作について説明する図である。第４の動作パターンは、画素アレイが持つ画素数より小さい画像サイズが要求され、かつ画素アレイから画像信号を出力可能な周波数より高いフレームレートが要求された場合に適用される。この例では、合成画像に要求される画像サイズは１９２０×１０８０ピクセルであって、合成画像に要求されるフレームレートは６０ｆｐｓとする。第４の動作パターンは、例えば、プレビュー等のための高速動画の撮影に適している。
【００６０】
ライン露光選択部２４は、４本のラインおきに第１の露光時間と第２の露光時間とを交互に選択するライン選択信号３５を出力する。画像処理回路５１は、４本のラインの長時間露光画素４１と、４本のラインの短時間露光画素４２とを交互に設定する。イメージセンサ５２は、ライン選択信号３５に応じて、４本のラインおきの長時間露光及び短時間露光を実施する。イメージセンサ５２は、長時間露光画素４１からの第１の画像信号３１と、短時間露光画素４２からの第２の画像信号３２とを生成する。
【００６１】
また、ライン露光選択部２４は、水平方向及び垂直方向の双方について、２つの画素を１つの画素と見立てて画像信号を読み出すビニング処理を、ビニング信号５４により指示する。ビニング部５３は、ビニング信号５４に応じて、水平方向及び垂直方向について画素数を２分の１に見立てたビニング処理を実施する。
【００６２】
イメージセンサ５２は、かかるビニング処理により、２本のラインおきに長時間露光と短時間露光とをした場合と等価の、第１の画像信号３１及び第２の画像信号３２を生成する。この例では、イメージセンサ５２は、３８４０×２１６０ピクセルから１９２０×１０８０ピクセルへのビニング処理を経た画像信号を出力する。
【００６３】
水平方向についてのビニング処理は、ラインの全体について画像信号を参照することとなるため、通常はイメージセンサ５２の出力を高速化させることにならない。これに対し、垂直方向についてのビニング処理では、読み出しライン数を擬似的に減少させることで、イメージセンサ５２の出力を高速化させることができる。イメージセンサ５２は、垂直方向についてのビニング処理を実施することで、総画素サイズについての出力周波数よりも高い周波数で画像信号を出力することが可能となる。この例では、イメージセンサ５２は、６０ｆｐｓで画像信号を出力することができる。
【００６４】
画像合成部２５は、第４の動作パターンを示すパターン識別信号３６に応じて、第４の動作パターンによる合成処理を実施する。画像合成部２５は、第２の画像信号３２の信号レベルにゲインを乗算する。画像合成部２５は、２本のラインごとに、第１の画像信号３１と、ゲインが乗算された第２の画像信号３２とを交互に組み合わせる。さらに、画像合成部２５は、第２の動作パターンと同様に、飽和画素についての信号値を補間する。
【００６５】
画像合成部２５は、飽和画素については補間処理を施した上で、単一のフレームＦについて第１の画像信号３１と第２の画像信号３２とを合成し、得られたＷＤＲ合成画像信号３７を出力する。第４の動作パターンでは、単一のフレームＦを使用して合成フレームＦ０を得ることから、固体撮像装置５０のフレームレートは、イメージセンサ５２が画像信号を出力可能な周波数と同じ６０ｆｐｓとなる。
【００６６】
固体撮像装置５０は、第４の動作パターンのＷＤＲ動作により、イメージセンサ５２における総画素サイズについての出力周波数よりも高いフレームレートによる高速撮影を実現させる。固体撮像装置５０は、第３の動作パターンよりもさらに高速な動画撮影が可能となる。このように、固体撮像装置５０は、フレームレート及び画質をどの程度優先させるかを、静止画、動画、高速動画等のユーザの要望に合わせて動的に切り換えることができる。
【００６７】
なお、本実施形態の画像処理回路５１は、ＷＤＲ動作を第１から第４の動作パターンにおいて切り換え可能とする場合に限られない。画像処理回路５１は、第１から第４の動作パターンのうちの少なくとも２つを切り換えてＷＤＲ動作を実施するものであれば良い。
【００６８】
第１及び第２の実施形態にかかる固体撮像装置１１、５０を適用するカメラモジュール１０は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等であっても良い。
【００６９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７０】
１１、５０  固体撮像装置、２０、５１  画像処理回路、２２、５２  イメージセンサ、２４  ライン露光選択部、２５  画像合成部、３１  第１の画像信号、３２  第２の画像信号、３３  フレームレート情報、３４  画像サイズ情報、４１  長時間露光画素、４２  短時間露光画素、５３  ビニング部。
【図１】
2013026722.tif 000003
【図２】
2013026722.tif 000004
【図３】
2013026722.tif 000005
【図４】
2013026722.tif 000006
【図５】
2013026722.tif 000007
【図６】
2013026722.tif 000008
【図７】
2013026722.tif 000009
【図８】
2013026722.tif 000010
【図９】
2013026722.tif 000011