(57)【要約】【課題】  CMOSセンサの画素を複数のグループに分割する分割方法と、分割して読み出した画像の合成方法を制御することで、分割した画像間で歪みの程度が違うことによる画像の劣化を低減する。【解決手段】  光を受光し画像信号に変換する複数の画素を有するCMOSセンサと、前記CMOSセンサの蓄積及び読み出しを制御する駆動制御手段と、前記CMOSセンサから読み出された画像信号に現像処理を行うカメラ信号処理手段を備え、前記駆動制御手段は前記CMOSセンサから読み出す画素を第１の画素グループと第２の画素グループに分けて、第１の画素グループを読み出した後に第２の画素グループを読み出すことを特徴とする。【選択図】  図１
2012124800.tif 000002
【特許請求の範囲】
【請求項１】
光を受光し画像信号に変換する複数の画素を有するCMOSセンサと、
前記CMOSセンサの蓄積及び読み出しを制御する駆動制御手段と、
前記CMOSセンサから読み出された画像信号に現像処理を行うカメラ信号処理手段を備え、
前記駆動制御手段は前記CMOSセンサから読み出す画素を第１の画素グループと第２の画素グループに分けて、第１の画素グループを読み出した後に第２の画素グループを読み出すことを特徴とする撮像装置。
【請求項２】
前記第１のグループに含まれる画素は離散的に配置され、前記第２のグループはそれ以外の位置に配置されていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記CMOSセンサをローリングシャッタ駆動した際の歪量を推定する歪推定手段を備え、
前記カメラ信号処理手段は、前記歪予測手段の予測結果に応じて第１の画素グループと第２の画素グループの合成方法を制御することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
撮像装置自体の動きを検出する動き検出手段を備え、
前記歪推定手段は、前記駆動制御手段の駆動制御内容と前記動き検出手段の検出結果
により歪量を推定することを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【請求項５】
画像間の比較を行う画像比較手段を備え、
前記歪推定手段は、前記画像比較手段の比較結果により歪量を推定する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【請求項６】
前記CMOSセンサの画素は、夫々異なる色成分の光を透過するカラーフィルタを備え、
前記第１の画素グループは特定色で構成されることを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【請求項７】
前記カメラ信号処理手段は、第１もしくは第２の画素グループの画像信号のみで現像処理をすることを特徴とする請求項１又は請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に撮像素子の画素を複数に分割し、読み出す場合の制御に関する。
【背景技術】
【０００２】
近年、撮像素子としてＣＭＯＳセンサを用いたビデオカメラやスチルカメラが提案されている。ＣＭＯＳセンサは、任意の領域のみの画像信号を読み出すことができるという、ＣＣＤ撮像素子には無い特徴を有する。そこで特許文献１では画像領域を複数のサブ領域に分割し、露光時間制御やオートフォーカスといった適応制御に必要なパラメータを得るための領域を先行して読み出すことで適応制御を実行するタイミングを早くする方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2008-35279号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、動画撮像に用いられるＣＭＯＳセンサでは、ローリングシャッター動作により画素の電荷蓄積時間を制御している。図２にローリングシャッター動作のタイミング図を示す。図２において、撮像素子の行単位のリセットタイミングを「黒塗り丸印」、単位の読み出しタイミングを「白塗り丸印」で示す。ローリングシャッター動作では、リセットする行及び信号を読み出す行を順次シフトすることによりリセットから読み出しまでの期間を蓄積時間とする。ここで、リセットタイミングから読み出しタイミングまでの期間Δｔをすべてのラインで同じになるように制御することで蓄積時間が一定となる。しかし、走査線の最初の行と最後の行とでは実際に蓄積している絶対時間がずれる。このため、動いている被写体を撮影した場合や、パンニング撮影等で撮像装置自体が動いている場合は撮影画像が歪むローリングシャッタ歪という問題がある。ここで、前記特許文献１では複数のフレームより歪みを推定し、画像加工により歪みを補償している。しかし、歪みを補償するためには複雑な画像処理を行う必要があり、画像加工部の回路規模が増大する。また、歪みの程度が大きいフレームを合成対象外にする方法では、すべてのフレームで歪みの程度が大きく、フレーム間で歪みの程度が違う場合は合成後の画質が劣化するという問題がある。
【課題を解決するための手段】
【０００５】
本出願に係る第１の発明は、光を受光し画像信号に変換する複数の画素を有するCMOSセンサと、前記CMOSセンサの蓄積及び読み出しを制御する駆動制御手段と、
前記CMOSセンサから読み出された画像信号に現像処理を行うカメラ信号処理手段を備え、
前記駆動制御手段は前記CMOSセンサから読み出す画素を第１の画素グループと第２の画素グループに分けて、第１の画素グループを読み出した後に第２の画素グループを読み出すことを特徴とする。
【０００６】
本出願に係る第２の発明は、前記第１のグループに含まれる画素は離散的に配置され、前記第２のグループはそれ以外の位置に配置されていることを特徴とする。      
【０００７】
本出願に係る第３の発明は、前記CMOSセンサをローリングシャッタ駆動した際の歪量を推定する歪推定手段を備え、前記カメラ信号処理手段は、前記歪予測手段の予測結果に応じて第１の画素グループと第２の画素グループの合成方法を制御することを特徴とする。
【０００８】
本出願に係る第４の発明は、撮像装置自体の動きを検出する動き検出手段を備え、
前記歪推定手段は、前記駆動制御手段の駆動制御内容と前記動き検出手段の検出結果
により歪量を推定することを特徴とする。
【０００９】
本出願に係る第５の発明は、画像間の比較を行う画像比較手段を備え、
前記歪推定手段は、前記画像比較手段の比較結果により歪量を推定することを特徴とする。
【００１０】
本出願に係る第６の発明は、前記CMOSセンサの画素は、夫々異なる色成分の光を透過するカラーフィルタを備え、前記第１の画素グループは特定色で構成されることを特徴とする。
【００１１】
本出願に係る第７の発明は、前記カメラ信号処理手段は、第１もしくは第２の画素グループの画像信号のみで現像処理をすることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、CMOSセンサの画素を複数のグループに分割する分割方法と、分割して読み出した画像の合成方法を制御することで、分割した画像間で歪みの程度が違うことによる画像の劣化を低減することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１の構成図である。
【図２】ローリングシャッタ制御の説明図である。
【図３】ＣＭＯＳセンサの画素構成図である。
【図４】実施例１の制御の説明図である。
【図５】画像合成制御の説明図である。
【図６（ａ）】従来例の制御の説明図である。
【図６（ｂ）】実施例２の制御の説明図である。
【図７】実施例２の駆動制御の説明図である。
【図８】実施例３の構成図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１５】
［実施例１］
図１は、本発明の撮像装置における第１の実施形態の構成を示す図である。システム制御手段101は撮影時の状況に合わせてレンズ制御手段102とセンサ駆動制御手段103を制御する。レンズ制御手段102はフォーカスレンズ104の位置を制御する。センサ駆動制御手段103はCMOSセンサ105の蓄積と読み出しを制御する。CMOSセンサ105は光を受光し画像信号に変換し、画像メモリ106と合焦判定手段107に出力する。画像メモリ106は入力された画像を一時保持する。合焦判定手段107は入力された画像信号を周波数解析しフォーカス評価値を算出し、システム制御手段101に出力する。画像比較手段108は複数の画像間の差分を検出し、画像合成手段109に出力する。画像合成手段109は複数の画像信号を合成し、カメラ信号処理手段110に出力する。カメラ信号処理手段110は、入力された画像に対してアパーチャ補正、ガンマ補正、及びホワイトバランス補正などの現像処理を行い、記録手段111に出力する。記録手段111はＦＬＡＳＨメモリ等の記録媒体に記録する。
【００１６】
図３にCMOSセンサ101の画素構成を示す。ＣＭＯＳセンサ101の画素数を図３（ａ）に示す水平４画素、垂直４画素とし、カラーフィルタは図４（ｂ）に示す原色ＲＧＢのベイヤー配列として説明する。図４は本実施例のセンサ駆動制御の説明図である。図４において、ＣＭＯＳセンサの画素単位のリセットタイミングを「黒塗り丸印」、画素単位の読み出しタイミングを「白塗り丸印」で示す。図１、３、４より本実施例の制御について説明する。なお、本実施例では図３の画素のなかでS0、S2、S８、S10を第１のグループとし、それ以外の画素を第２のグループとしている。
【００１７】
図４において垂直同期信号VDの周期で撮像素子より1枚の画像信号を読み出す。図４では垂直同期信号VDの後に、第１のグループの画素であるS0、S2、S８、S10の読み出しを行い、次に第２のグループの画素である残りの画素の読み出しを行なう。
【００１８】
次に、読み出された画像データの処理内容について説明する。合焦判定手段107は第１のグループの画素データを周波数解析しフォーカス評価値を算出する。システム制御手段101はフォーカス評価値よりフォーカスレンズ位置を算出し、フォーカスレンズ制御手段102に出力する。画像比較手段108は第１のグループの画素S0、S2、S８、S10と第２のグループの画素S5、S7、S13、S15を用いてパターンマッチングによりローリングシャッタ歪量を検出する。ここで、図３のカラーフィルタにおいて、第１のグループの画素はＧ１、第２のグループの画素はＧ２の画素であり、ベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂを一つの単位として考えた場合は、S0とS5は同じ単位内の画素となる。ＣＭＯＳセンサ101において一つの画素グループの配置は非常に近い位置にあるため、Ｇ１とＧ２の画素に受光する光量は非常に近い値になる。
【００１９】
これに対して、ローリングシャッタ制御により、第１のグループと第２のグループで蓄積期間の絶対時間が違う場合は、歪により受光する光量が大きく異なる可能性がある。そこで、第１のグループの画像と第２のグループの画像からＧ２を抜き出し比較することでローリングシャッタによる歪量を推定する。そして、歪量が小さいと判断した場合は、第１のグループと第２のグループをＣＭＯＳセンサ101の構成に合わせて合成する。また、大きいと判断した場合は、図５に示すようにＧ１位置をＧ２位置の画素で補間する。この結果、第１のグループと第２のグループでローリングシャッタ制御による歪量の程度が違う場合でも画像の劣化を低減することができる。
【００２０】
［実施例２］
次に、第２の実施形態について説明する。第１の実施例ではローリングシャッタによる歪量を推定し、歪量が大きいと判断した場合は、画像合成時に補間処理をしている。このため、適応処理するための評価値を早く取得することができるが、歪量が大きい場合は一つのグループとして画像を読み出す場合に比べて画質が劣化する。ここで、センサの蓄積時間は撮影時の状況によって変動する。例えば、夜間撮影時等で入力される画像の光量が低い場合は蓄積時間を長くし、スポーツ撮影等で動きが速い被写体を撮影する場合は蓄積時間を短くする。
【００２１】
また、一般的な動画撮影時は動画記録のフレームレートに合わせて、ＣＭＯＳセンサからの読み出し周期が制御される。このため、図６（ａ）に示すような動画の記録周期に対してセンサからの読み出しに必要な時間が短く蓄積時間も短い場合は、ＣＭＯＳセンサの駆動に余裕ができる。そこで、第２の実施例ではＣＭＯＳセンサの駆動に余裕がある場合に駆動方法を変えることで駆動に余裕がある場合の画質劣化を防止することを目的とする。
【００２２】
図７は、本発明の撮像装置における第２の実施形態の構成を示す図である。図７において、前記第１の実施形態を示す図１と同一の構成要素には、同一の符号が付されている。
【００２３】
動き検出手段112はジャイロセンサ等で撮像装置自体の動きを検出し、システム制御手段101に出力する。システム制御手段101は、駆動制御手段102に設定しているＣＭＯＳセンサの蓄積時間と、撮像装置の動き量より第１のグループと第２のグループの歪量を演算により推定し、画像合成手段106の合成方法を制御する。また、ＣＭＯＳセンサからの読み出し時間と蓄積時間よりＣＭＯＳセンサの駆動に余裕があるかどうかを判定し、余裕がある場合は第１のグループと第２のグループの駆動方法を変更する。
【００２４】
図６（ｂ）は、本実施例のＣＭＯＳセンサ駆動制御の説明図である。図６（ｂ）では、図６（ａ）で余っていた期間を利用して、第２のグループの駆動制御時に第１のグループと第２のグループの画像を合わせて読み出している。この結果、第１と第２のグループのローリングシャッタによる歪量が同じになるため、補間処理による画質劣化を防止することができる。
【００２５】
［実施例３］
次に、第３の実施形態について説明する。実施例１、２ではローリングシャッタによる歪量を推定し制御している。しかし、ローリングシャッタによる歪を正確に判定することは難しいため、歪推定で誤判定した場合は画質が劣化する。また、ＣＭＯＳセンサ等の撮像素子は画素の出力レベルが異常値になる不良画素が発生することがある。この不良画素は製造時だけでなく撮像装置を使用することにより発生することがあるため、信号処理による補正が行われている。そこで、第３の実施例では第１のグループの画素を不良画素として処理することで歪推定の誤判定による画質劣化を防止している。
【００２６】
図８、本発明の撮像装置における第３実施形態の構成を示す図である。図８おいて、前記第１の実施形態を示す図１と同一の構成要素には、同一の符号が付されている。
【００２７】
不良画素補正手段113は、予め設定される不良画素の位置を周囲の画素から補間することで不良画素を補間する。システム制御手段101はＣＭＯＳセンサの不良画素情報と、第１のグループの画素情報を合わせて不良画素補正手段113に出力する。この結果、ローリングシャッタによる歪量を誤判定することによる画質劣化を防止することができる。
【符号の説明】
【００２８】
101    システム制御手段
102    レンズ制御手段
103    駆動制御手段
104    フォーカスレンズ
105    ＣＭＯＳセンサ
106    画像メモリ
107    合焦判定手段
108    画像比較手段
【図１】
2012124800.tif 000003
【図２】
2012124800.tif 000004
【図３】
2012124800.tif 000005
【図４】
2012124800.tif 000006
【図５】
2012124800.tif 000007
【図６（ａ）】
2012124800.tif 000008
【図６（ｂ）】
2012124800.tif 000009
【図７】
2012124800.tif 000010
【図８】
2012124800.tif 000011