(57)【要約】【課題】グローバル露光動作において、ストロボ撮影のときの光の影響によるノイズを低減することができる固体撮像装置を提供する。【解決手段】入射光を信号電荷に変換する光電変換部と、光電変換部で発生した信号電荷を蓄積する蓄積部と、蓄積部に信号電荷を転送する転送部と、蓄積部の信号電荷を増幅する増幅部と、増幅された信号電荷を画素信号として出力信号線に出力する選択部と、蓄積部の電荷をリセットする第１のリセット部と、光電変換部をリセットする第２のリセット部と、を有する画素を、２次元の行列状に複数配列した画素部と、画素部から画素信号を順次読み出すための画素信号読み出し部と、被写体に光を照射するための発光部の発光を制御する発光制御部と、を備え、画素信号読み出し部が画素信号の読み出しを完了した時から、次に画素信号の読み出しを開始する時までの期間に、発光制御部が発光部を発光させて光を被写体に照射する。【選択図】図４
2011130263.tif 000002
【特許請求の範囲】
【請求項１】
入射光を信号電荷に変換する光電変換部と、前記光電変換部で発生した前記信号電荷を蓄積する蓄積部と、前記蓄積部に前記信号電荷を転送する転送部と、前記蓄積部に蓄積された前記信号電荷を増幅する増幅部と、前記増幅部によって増幅された前記信号電荷を画素信号として出力信号線に出力する選択部と、前記蓄積部の電荷をリセットする第１のリセット部と、前記光電変換部をリセットする第２のリセット部と、を有する画素を、２次元の行列状に複数配列した画素部と、
前記画素部から前記画素信号を順次読み出すための画素信号読み出し部と、
被写体に光を照射するための発光部による発光を制御する発光制御部と、
を備え、
前記画素信号読み出し部が前記画素信号の読み出しを完了した時から、次に前記画素信号読み出し部が前記画素信号の読み出しを開始する時までの期間に、前記発光制御部が前記発光部を発光させて光を被写体に照射する、
ことを特徴とする固体撮像装置。
【請求項２】
前記画素信号読み出し部は、
前記第１のリセット部によってリセットされたときの前記蓄積部の電荷を、前記増幅部によって増幅し、該増幅された前記電荷を前記選択部によって順次選択し、第１の画素信号として順次読み出し、
前記光電変換部で発生した前記信号電荷を前記転送部によって前記蓄積部に転送し、該転送された前記信号電荷を、前記増幅部によって増幅し、該増幅された前記信号電荷を前記選択部によって順次選択し、第２の画素信号として順次読み出し、
前記発光制御部は、
前記画素信号読み出し部が前記第１の画素信号の読み出しを完了した時から、次に前記画素信号読み出し部が前記第２の画素信号の読み出しを開始する時までの期間に、前記発光部を発光させる、
ことを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
前記画素信号読み出し部は、
前記発光制御部が前記発光部に発光させている期間に、
前記第２のリセット部による前記光電変換部のリセットを解除し、
前記光電変換部のリセットが解除されてから、予め定められた期間が経過した後に、前記転送部によって前記光電変換部で発生した前記信号電荷を前記蓄積部に蓄積させる、
ことを特徴とする請求項１に記載の固体撮像装置。
【請求項４】
前記第１のリセット部は、
複数行の画素の前記蓄積部の電荷を同時にリセットし、
前記第２のリセット部は、
前記複数行の画素の前記光電変換部を同時にリセットし、
前記転送部は、
前記複数行の画素の前記光電変換部で発生した前記信号電荷を、前記複数の画素の前記蓄積部のそれぞれに、同時に転送する、
ことを特徴とする請求項１に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ、デジタルスチルカメラ等に用いられる固体撮像装置に関する。
【背景技術】
【０００２】
近年、固体撮像素子としてＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）型撮像素子（以下、「ＭＯＳ型撮像素子」という）が注目され、実用化されている。
このＭＯＳ型撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）型撮像素子と異なり、単一電源で駆動することが可能である。また、ＣＣＤ型撮像素子では、専用の製造プロセスを必要とするのに対し、ＭＯＳ型撮像素子は、他のＬＳＩと同じ製造プロセスを用いて製造することができることからＳＯＣ（Ｓｙｓｔｅｍ  Ｏｎ  Ｃｈｉｐ）への対応が容易であり、固体撮像装置の多機能化を可能としている。
また、ＭＯＳ型撮像素子は、各画素に増幅回路を備えることによって画素内で信号電荷を増幅しているため、信号の伝達経路からのノイズの影響が少ない構成になっている。さらに、各画素の信号電荷を選択して取り出す（選択方式）ことが可能であり、原理上、信号の蓄積時間や読み出し順序を画素毎に自由に制御することができるという特徴がある。
【０００３】
ＭＯＳ型撮像素子（以下、「イメージセンサ」という）を使用した装置の一例として、一眼レフカメラ（以下、「デジタルカメラ」という）がある。このデジタルカメラは、例えば、ストロボやフラッシュなどの発光装置を備え、被写体に光を照射して撮影するストロボ撮影が可能である。また、このようなデジタルカメラにおいて、イメージセンサを遮光するためのメカニカルシャッタを搭載せず、イメージセンサの全画素を同時に露光するグローバル露光を行うものがある。
【０００４】
グローバル露光を行うデジタルカメラに搭載されるイメージセンサは、単位画素ごとに、入射した光に応じた電荷を発生するフォトダイオードＰＤと、フォトダイオードＰＤで発生した電荷を蓄積するフローティングディフュージョンＦＤとを備える。また、制御信号に基づいてフォトダイオードＰＤをリセットする機能と、フォトダイオードＰＤで発生した電荷をフローティングディフュージョンＦＤに転送する機能とを備えた構成となっている。そして、デジタルカメラは、イメージセンサ内の全ての単位画素を同時に制御することによって、グローバル露光を行っている。
【０００５】
上述のようなグローバル露光を行うデジタルカメラにおいてストロボ撮影を行う場合、イメージセンサの駆動タイミングを考慮して発光装置を発光させる必要がある。このイメージセンサと発光装置との制御方法において、例えば、特許文献１に示すような技術が考案されている。特許文献１には、グローバル露光においてストロボ発光を制御するための技術が開示されている。
【０００６】
図７は、特許文献１で開示された従来のストロボの発光タイミングを示したタイミングチャートである。図７に示したタイミングチャートを用いて、特にグローバル露光を行う場合について説明する。図７において、フォトダイオードＰＤのリセットを制御する制御信号であるＰＤリセットパルスφＰＲの“Ｈｉｇｈ”レベルによって、全単位画素内のフォトダイオードＰＤがリセットされ、その後、全単位画素が同時に露光を開始する。一定時間が経過した後、ストロボの発光を制御する制御信号であるストロボ発光パルスφＳｔｒｏｂｅが“Ｈｉｇｈ”レベルの間、発光装置が発光して被写体にストロボ光が照射される。このストロボ光の照射は、フォトダイオードＰＤで発生した電荷をフローティングディフュージョンＦＤに転送する直前、図７においては、フォトダイオードＰＤで発生した電荷のフローティングディフュージョンＦＤへの転送を制御する制御信号である転送パルスφＴＸが“Ｈｉｇｈ”レベルになる直前で停止される。
【０００７】
また、イメージセンサの固定パターンノイズを除去する方法として、例えば、入射した被写体光によって蓄積された各単位画素の画素信号と、各単位画素内のフローティングディフュージョンＦＤがリセットされた状態の画素信号との差分を取る方法がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−２１１３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載されている従来のストロボの発光タイミングによる制御では、イメージセンサの固定パターンノイズを除去する場合のストロボの発光タイミングに関する技術が開示されていない。すなわち、ストロボの発光を停止するタイミングが、フォトダイオードＰＤによって発生した入射した被写体光に応じた電荷をフローティングディフュージョンＦＤに転送する直前であるということのみが開示されている。これは、上述のように、入射した被写体光によって蓄積された各単位画素の画素信号（以下、この画素信号を「ビデオ信号」という）と、各単位画素内のフローティングディフュージョンＦＤがリセットされた状態の画素信号（以下、この画素信号を「リセット信号」という）との差分によって固定パターンノイズを除去しようとした場合、リセット信号を読み出している期間に、ストロボの発光が行われるタイミングが存在することを表している。
【００１０】
図８は、従来のストロボの発光タイミング制御における上述の問題を示したタイミングチャートである。図８におけるリセットフレーム読み出しとは、イメージセンサの行毎に、各単位画素のリセット信号を読み出し、読み出したリセット信号をデジタルカメラ内のメモリなどに記憶する動作を表す。このリセットフレーム読み出しの期間中、露光時間の設定に応じて、全ての単位画素のＰＤリセットパルスφＰＲを同時に“Ｈｉｇｈ”レベルにし、その後、“Ｌｏｗ”レベルにすることによって、全ての単位画素が同時に露光を開始する。リセットフレーム読み出しが完了した後、全ての単位画素の転送パルスφＴＸを同時に“Ｈｉｇｈ”レベルにして、フォトダイオードＰＤに蓄積された電荷を、全ての単位画素が同時にフローティングディフュージョンＦＤに転送する。その後、ビデオフレーム読み出し期間において、イメージセンサの行毎に、露光期間中に蓄積された全ての単位画素のビデオ信号を順次読み出す。
【００１１】
そして、ビデオフレーム読み出し期間に得られたビデオ信号と、リセットフレーム読み出し期間に得られ、メモリなどに記憶されたリセット信号との差分を取ることによって、単位画素毎に異なるイメージセンサの固定パターンノイズを消去する。
【００１２】
このように、異なるタイミングで得られた画素信号同士の差分を取ることによってイメージセンサの固定パターンノイズを消去する方式の場合、図８に示した従来のストロボ発光タイミング制御のように、転送パルスφＴＸが“Ｈｉｇｈ”レベルになる直前まで発光装置によって被写体を照射すると、リセットフレーム読み出し期間中のストロボ発光期間ａでは、単位画素内のフローティングディフュージョンＦＤが、発光装置の強いストロボ光の影響を受け、リセット信号にノイズが発生する場合がある。これにより、ノイズが発生しているリセット信号との差分が取られたビデオ信号にもノイズが発生し、最終的な画像にノイズが現れてしまうという問題がある。
【００１３】
本発明は、上記の課題認識に基づいてなされたものであり、グローバル露光動作によって取得したリセット信号とビデオ信号との差分を取ることによって固定パターンノイズを除去する固体撮像装置において、ストロボ撮影のときに発光装置が発光した光の影響によるノイズを低減することができる固体撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１４】
上記の課題を解決するため、本発明の固体撮像装置は、入射光を信号電荷に変換する光電変換部と、前記光電変換部で発生した前記信号電荷を蓄積する蓄積部と、前記蓄積部に前記信号電荷を転送する転送部と、前記蓄積部に蓄積された前記信号電荷を増幅する増幅部と、前記増幅部によって増幅された前記信号電荷を画素信号として出力信号線に出力する選択部と、前記蓄積部の電荷をリセットする第１のリセット部と、前記光電変換部をリセットする第２のリセット部と、を有する画素を、２次元の行列状に複数配列した画素部と、前記画素部から前記画素信号を順次読み出すための画素信号読み出し部と、被写体に光を照射するための発光部による発光を制御する発光制御部と、を備え、前記画素信号読み出し部が前記画素信号の読み出しを完了した時から、次に前記画素信号読み出し部が前記画素信号の読み出しを開始する時までの期間に、前記発光制御部が前記発光部を発光させて光を被写体に照射する、ことを特徴とする。
【００１５】
また、本発明の前記画素信号読み出し部は、前記第１のリセット部によってリセットされたときの前記蓄積部の電荷を、前記増幅部によって増幅し、該増幅された前記電荷を前記選択部によって順次選択し、第１の画素信号として順次読み出し、前記光電変換部で発生した前記信号電荷を前記転送部によって前記蓄積部に転送し、該転送された前記信号電荷を、前記増幅部によって増幅し、該増幅された前記信号電荷を前記選択部によって順次選択し、第２の画素信号として順次読み出し、前記発光制御部は、前記画素信号読み出し部が前記第１の画素信号の読み出しを完了した時から、次に前記画素信号読み出し部が前記第２の画素信号の読み出しを開始する時までの期間に、前記発光部を発光させる、ことを特徴とする。
【００１６】
また、本発明の前記画素信号読み出し部は、前記発光制御部が前記発光部に発光させている期間に、前記第２のリセット部による前記光電変換部のリセットを解除し、前記光電変換部のリセットが解除されてから、予め定められた期間が経過した後に、前記転送部によって前記光電変換部で発生した前記信号電荷を前記蓄積部に蓄積させる、ことを特徴とする。
【００１７】
また、本発明の前記第１のリセット部は、複数行の画素の前記蓄積部の電荷を同時にリセットし、前記第２のリセット部は、前記複数行の画素の前記光電変換部を同時にリセットし、前記転送部は、前記複数行の画素の前記光電変換部で発生した前記信号電荷を、前記複数の画素の前記蓄積部のそれぞれに、同時に転送する、ことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、リセット信号の取得において、ストロボ撮影のときに発光装置が発光した光の影響によるノイズを低減することができるので、ビデオ信号から固定パターンノイズを除去する際に、リセット信号のみの差分を取ることができ、最終的に得られる撮影画像のノイズを低減することができるという効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態によるデジタルカメラの概略構成を示したブロック図である。
【図２】本発明の実施形態によるイメージセンサの概略構成を示したブロック図である。
【図３】従来のイメージセンサにおける単位画素の概略構成を示した回路図である。
【図４】本発明の第１の実施形態によるストロボ発光タイミングを示したタイミングチャートである。
【図５】本発明の第２の実施形態によるストロボ発光タイミングを示したタイミングチャートである。
【図６】本発明の第２の実施形態におけるストロボ発光パターンを示したタイミングチャートである。
【図７】従来のイメージセンサにおけるストロボの発光タイミングを示したタイミングチャートである。
【図８】従来のストロボの発光タイミング制御における問題を説明するタイミングチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態のデジタルカメラの概略構成を示したブロック図である。図１に示したデジタルカメラ１０１は、レンズ２、イメージセンサ１０３、発光装置４、メモリ５、記録装置６、表示装置７、画像信号処理装置８、レンズ制御装置９、イメージセンサ制御装置１１０、発光制御装置１１１、カメラ制御装置１１２から構成される。なお、図１に示したデジタルカメラ１０１は、イメージセンサ１０３を遮光するためのメカニカルシャッタを搭載せず、全画素同時に露光するグローバル露光を行うデジタルカメラである。
【００２１】
レンズ２は、レンズ制御装置９によってズーム、フォーカス、絞りなどが駆動制御され、被写体像をイメージセンサ１０３に結像させる。
イメージセンサ１０３は、イメージセンサ制御装置１１０によって駆動、制御され、レンズ２を介してデジタルカメラ１０１内に入射した被写体光を画像信号に変換するＭＯＳ型撮像素子である。なお、このイメージセンサ１０３に関する詳細な説明は、後述する。
発光装置４は、発光制御装置１１１によって制御され、発光することによって被写体に光を照射するストロボやフラッシュなどの装置である。
画像信号処理装置８はイメージセンサ１０３から出力された画像信号に対して、信号の増幅、画像データへの変換および各種の補正、画像データの圧縮などの処理を行う。また、画像信号処理装置８は、各処理における画像データの一時記憶手段としてメモリ５を利用する。
記録装置６は、半導体メモリなどの着脱可能な記録媒体であり、画像データの記録または読み出しを行う。
表示装置７は、イメージセンサ１０３に結像され、画像信号処理装置８によって処理された画像データ、または記録装置６から読み出された画像データに基づく画像を表示する液晶などの表示装置である。
カメラ制御装置１１２は、デジタルカメラ１０１の全体の制御を行う制御装置である。また、カメラ制御装置１１２は、イメージセンサ制御装置１１０と発光制御装置１１１とを制御することによって、イメージセンサ１０３と、発光装置４とを協調制御する。
【００２２】
次に、本実施形態のイメージセンサについて説明する。図２は、本実施形態によるイメージセンサ１０３の概略構成を示したブロック図である。図２において、イメージセンサ１０３は、イメージセンサ制御信号発生回路１３１、垂直走査回路１３２、水平読み出し回路３３、画素アレイ部３４、単位画素３５、垂直信号線３６から構成される。なお、図２に示したイメージセンサ１０３では、複数の単位画素３５が、３行３列に二次元的に配置された画素アレイ部３４の例を示している。
このイメージセンサ１０３の構成によって、後述する発光タイミングでの動作を行う。
【００２３】
イメージセンサ制御信号発生回路１３１は、垂直走査回路１３２および水平読み出し回路３３を制御する。垂直走査回路１３２は、画素アレイ部３４内のそれぞれの単位画素３５を制御し、各単位画素３５の画素信号を垂直信号線３６に出力させる。水平読み出し回路３３は、垂直信号線３６に出力された画素信号を順次読み出す。このイメージセンサ制御信号発生回路１３１、垂直走査回路１３２、および水平読み出し回路３３による制御によって、イメージセンサ１０３は、入射した被写体光の画像信号を出力する。
【００２４】
図３は、単位画素３５の概略構成を示した回路図である。単位画素３５は、入射した光を電気信号に変換し、垂直走査線３６に出力する回路である。単位画素３５は、それぞれ、フォトダイオードＰＤ、フローティングディフュージョンＦＤ、ＦＤリセットトランジスタＭ１、転送トランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４、ＰＤリセットトランジスタＭ５から構成される。
【００２５】
フォトダイオードＰＤは、入射した光を光電変換して電荷を発生する光電変換部である。フローティングディフュージョンＦＤは、電荷を蓄積する。転送トランジスタＭ２は、垂直走査回路１３２から入力された転送パルスφＴＸに基づいて、フォトダイオードＰＤで発生した電荷を、増幅トランジスタＭ３のゲート端子に接続されたフローティングディフュージョンＦＤに転送する。転送トランジスタＭ２によって転送された電荷は、フローティングディフュージョンＦＤに蓄積される。増幅トランジスタＭ３は、フローティングディフュージョンＦＤに蓄積された電荷に応じた電圧を出力する。ＦＤリセットトランジスタＭ１は、垂直走査回路１３２から入力されるＦＤリセットパルスφＦＲに基づいて、フローティングディフュージョンＦＤを電源電圧Ｖｄｄにリセットする。ＰＤリセットトランジスタＭ５は、垂直走査回路１３２から入力されるＰＤリセットパルスφＰＲに基づいて、フォトダイオードＰＤを電源電圧Ｖｄｄにリセットする。選択トランジスタＭ４は、垂直走査回路１３２から入力されたセレクトパルスφＳＥに基づいて、増幅トランジスタＭ３が出力した電圧を、単位画素３５の出力として垂直走査線３６に出力する。
【００２６】
このような画素構成であるイメージセンサ１０３を搭載したデジタルカメラ１０１においてグローバル露光を行う場合、イメージセンサ１０３内の全ての単位画素３５は同時に制御される。より具体的には、ＰＤリセットパルスφＰＲによってフォトダイオードＰＤがリセットされ、その後、フォトダイオードＰＤにおいて露光が開始される。そして、露光時間が経過した後に転送パルスφＴＸによって、フォトダイオードＰＤに蓄積された電荷をフローティングディフュージョンＦＤに転送する。このように、全ての単位画素３５のＰＤリセットパルスφＰＲおよび転送パルスφＴＸを同時に制御することによってグローバル露光が行われる。
【００２７】
また、イメージセンサ１０３の固定パターンノイズを除去するため、入射した被写体光によって蓄積された各単位画素３５の画素信号（ビデオ信号）と、各単位画素３５内のフローティングディフュージョンＦＤがリセットされた状態の画素信号（リセット信号）との差分を取る。
【００２８】
＜第１の実施形態＞
次に、本実施形態におけるストロボ発光タイミングについて説明する。図４は、本第１の実施形態によるストロボ発光タイミングを示したタイミングチャートである。なお、図４に示したストロボ発光タイミングにおいては、デジタルカメラ１０１がグローバル露光を行い、さらに、入射した被写体光によって蓄積された各単位画素３５のビデオ信号と、各単位画素３５内のフローティングディフュージョンＦＤがリセットされた状態のリセット信号との差分によってイメージセンサ１０３の固定パターンノイズを除去する場合のタイミングチャートを示している。
【００２９】
図４（ａ）は、イメージセンサ１０３の露光時間が、イメージセンサ１０３のリセットフレーム読み出しの期間よりも長い場合のタイミングチャートである。時刻ｔ１のとき、例えば、デジタルカメラ１０１のレリーズボタンが押下されたことにより、レリーズパルスφＲｅｌｅａｓｅが“Ｈｉｇｈ”レベルになると、ＰＤリセットパルスφＰＲが“Ｈｉｇｈ”レベルとなる。これにより、イメージセンサ１０３内の全ての単位画素３５のＰＤリセットトランジスタＭ５がＯＮ状態となり、全ての単位画素３５のフォトダイオードＰＤが同時に電源電圧Ｖｄｄにリセットされる。
【００３０】
続いて、ＰＤリセットパルスφＰＲが“Ｌｏｗ”レベルになるのとほぼ同時刻の時刻ｔ２において、イメージセンサ１０３のフレーム読み出し（リセットフレーム読み出しおよびビデオフレーム読み出し）の開始を表すフレームスタートパルスφＶＤが“Ｈｉｇｈ”レベルになり、イメージセンサ１０３のリセットフレーム読み出し期間が始まる。このリセットフレーム読み出し期間においてイメージセンサ１０３からは、イメージセンサ１０３の行毎に各単位画素３５のリセット信号、すなわち、フローティングディフュージョンＦＤがリセットされた状態の画素信号が読み出される。
【００３１】
より具体的には、リセットフレーム読み出し期間において、垂直走査回路１３２は、画素アレイ部３４の行毎に順次、ＦＤリセットパルスφＦＲとセレクトパルスφＳＥとを“Ｈｉｇｈ”レベルにして、各単位画素３５のリセット信号を垂直信号線３６に出力させる。そして、水平読み出し回路３３は、イメージセンサ制御信号発生回路１３１による制御によって、垂直信号線３６に出力された各列のリセット信号を選択し、選択された列のリセット信号をイメージセンサ１０３のリセット画像信号として出力する。そして、イメージセンサ制御装置１１０は、イメージセンサ１０３から出力されたリセット画像信号をイメージセンサ制御装置１１０内のメモリや、デジタルカメラ１０１内のメモリ５などの記憶部に記憶する。
【００３２】
なお、図４（ａ）に示したリセットフレーム読み出しを表す斜線は、イメージセンサ１０３の１行目から最終行までのリセット画像信号を、順次読み出している様子を模式的に表したものである。なお、イメージセンサ１０３から読み出した１行目から最終行までのリセット画像信号をまとめて、「リセットフレーム」という。
また、ＰＤリセットパルスφＰＲが“Ｌｏｗ”レベルになることによって、フォトダイオードＰＤの露光、すなわち、フォトダイオードＰＤに入射した被写体光に応じた電荷の蓄積を開始する。
【００３３】
続いて、リセットフレーム読み出し期間が完全に終了した後の時刻ｔ３において、ストロボ発光パルスφＳｔｒｏｂｅが“Ｈｉｇｈ”レベルとなる。これにより、発光装置４が発光し、被写体へのストロボ光の照射が行われる。そして、一定時間（ストロボ発光時間）が経過した後に、ストロボ発光パルスφＳｔｒｏｂｅが“Ｌｏｗ”レベルになる。
【００３４】
続いて、発光装置４による発光が完全に終了した後の時刻ｔ４において、転送パルスφＴＸが“Ｈｉｇｈ”レベルになる。これにより、イメージセンサ１０３内の全ての単位画素３５の転送トランジスタＭ２がＯＮ状態となり、入射した被写体光によってフォトダイオードＰＤに蓄積された電荷が、全単位画素３５同時にフローティングディフュージョンＦＤに転送される。なお、転送パルスφＴＸが“Ｈｉｇｈ”レベルとなることによって、フォトダイオードＰＤの露光が終了したことになる。
【００３５】
続いて、フォトダイオードＰＤに蓄積された電荷のフローティングディフュージョンＦＤへの転送が完全に終了した後の時刻ｔ５において、フレームスタートパルスφＶＤが“Ｈｉｇｈ”レベルになり、フローティングディフュージョンＦＤに転送された電荷を読み出すビデオフレーム読み出し期間が始まる。このビデオフレーム読み出し期間においてイメージセンサ１０３からは、イメージセンサ１０３の行毎に各単位画素３５のビデオ信号、すなわち、入射した被写体光によってフォトダイオードＰＤに蓄積された電荷に応じた画素信号が読み出される。
【００３６】
より具体的には、ビデオフレーム読み出し期間において、垂直走査回路１３２は、画素アレイ部３４の行毎に順次、セレクトパルスφＳＥを“Ｈｉｇｈ”レベルにして、各単位画素３５のビデオ信号を垂直信号線３６に出力させる。そして、水平読み出し回路３３は、イメージセンサ制御信号発生回路１３１による制御によって、垂直信号線３６に出力された各列のビデオ信号を選択し、選択された列のビデオ信号をイメージセンサ１０３のビデオ画像信号として出力する。そして、イメージセンサ制御装置１１０は、イメージセンサ１０３から出力されたビデオ画像信号をイメージセンサ制御装置１１０内のメモリや、デジタルカメラ１０１内のメモリ５などの記憶部に記憶する。
【００３７】
なお、図４（ａ）に示したビデオフレーム読み出しを表す斜線は、イメージセンサ１０３の１行目から最終行までのビデオ画像信号を、順次読み出している様子を模式的に表したものである。なお、イメージセンサ１０３から読み出した１行目から最終行までのビデオ画像信号をまとめて、「ビデオフレーム」という。
【００３８】
その後、イメージセンサ制御装置１１０内のメモリや、デジタルカメラ１０１内のメモリ５などの記憶部に記憶されたビデオフレームとリセットフレームの各信号を、それぞれ対応する単位画素３５の信号ごとに減算することによって、単位画素３５毎に異なる固定パターンノイズを抑圧（除去）した画像を得ることができる。
【００３９】
図４（ｂ）は、イメージセンサ１０３の露光時間が、イメージセンサ１０３のリセットフレーム読み出しの期間よりも短い場合のタイミングチャートである。時刻ｔ１のとき、例えば、デジタルカメラ１０１のレリーズボタンが押下されたことにより、レリーズパルスφＲｅｌｅａｓｅが“Ｈｉｇｈ”レベルになると、ＰＤリセットパルスφＰＲが“Ｈｉｇｈ”レベルとなり、イメージセンサ１０３内の全ての単位画素３５のフォトダイオードＰＤが同時に電源電圧Ｖｄｄにリセットされる。
【００４０】
そして、フレームスタートパルスφＶＤが“Ｈｉｇｈ”レベルになり、イメージセンサ１０３のリセットフレーム読み出し期間が始まる。このリセットフレーム読み出し期間においてイメージセンサ１０３からは、イメージセンサ１０３の行毎に各単位画素３５のリセット信号が読み出され、イメージセンサ制御装置１１０内のメモリや、デジタルカメラ１０１内のメモリ５などの記憶部に記憶される。なお、図４（ｂ）に示したリセットフレーム読み出しを表す斜線の動作は、図４（ａ）に示したリセットフレーム読み出しを表す斜線の動作と同様である。
【００４１】
続いて、リセットフレームの読み出しの期間中に、イメージセンサ１０３の露光時間の設定に応じた一定時間が経過した後の時刻ｔ２において、ＰＤリセットパルスφＰＲが“Ｌｏｗ”レベルになる。これにより、フォトダイオードＰＤが露光を開始する。
【００４２】
続いて、リセットフレーム読み出し期間が完全に終了した後の時刻ｔ３において、ストロボ発光パルスφＳｔｒｏｂｅが“Ｈｉｇｈ”レベルとなり、発光装置４が発光したストロボ光の被写体への照射が行われる。そして、一定時間（ストロボ発光時間）が経過した後に、ストロボ発光パルスφＳｔｒｏｂｅが“Ｌｏｗ”レベルになる。
【００４３】
続いて、発光装置４による発光が完全に終了した後の時刻ｔ４において、転送パルスφＴＸが“Ｈｉｇｈ”レベルになり、入射した被写体光によってフォトダイオードＰＤに蓄積された電荷が、全単位画素３５同時にフローティングディフュージョンＦＤに転送される。なお、転送パルスφＴＸが“Ｈｉｇｈ”レベルとなることによって、フォトダイオードＰＤの露光が終了したことになる。
【００４４】
続いて、フォトダイオードＰＤに蓄積された電荷のフローティングディフュージョンＦＤへの転送が完全に終了した後の時刻ｔ５において、フレームスタートパルスφＶＤが“Ｈｉｇｈ”レベルになり、イメージセンサ１０３のビデオフレーム読み出し期間が始まる。このビデオフレーム読み出し期間においてイメージセンサ１０３からは、イメージセンサ１０３の行毎に各単位画素３５のビデオ信号が読み出され、イメージセンサ制御装置１１０内のメモリや、デジタルカメラ１０１内のメモリ５などの記憶部に記憶される。なお、図４（ｂ）に示したビデオフレーム読み出しを表す斜線の動作は、図４（ａ）に示したビデオフレーム読み出しを表す斜線の動作と同様である。
【００４５】
その後、イメージセンサ制御装置１１０内のメモリや、デジタルカメラ１０１内のメモリ５などの記憶部に記憶されたビデオフレームとリセットフレームの各信号を、それぞれ対応する単位画素３５の信号ごとに減算することによって、単位画素３５毎に異なる固定パターンノイズを抑圧（除去）した画像を得ることができる。
【００４６】
図４（ａ）および図４（ｂ）に示したように、ＰＤリセットパルスφＰＲが“Ｌｏｗ”レベルになるタイミング、すなわち、フォトダイオードＰＤが露光を開始する時刻が変化した場合でも、リセットフレーム読み出し期間とビデオフレーム読み出し期間とに重複しない期間にストロボ光を被写体に照射することができる。
【００４７】
上記に述べたとおり、本発明の第１の実施形態によれば、リセットフレーム読み出し期間およびビデオフレーム読み出し期間中に、発光装置４による強いストロボ光が照射されることがないため、単位画素３５内のフローティングディフュージョンＦＤに、局所的なストロボ光による影響を及ぼすことがない。これにより、最終的な画像にストロボ光によるノイズの影響がない画像を得ることができる。
【００４８】
＜第２の実施形態＞
次に、本実施形態におけるストロボ発光タイミングの第２の実施形態について説明する。図５は、本第２の実施形態によるストロボ発光タイミングを示したタイミングチャートである。図５においては、カメラ制御装置１１２が、イメージセンサ制御装置１１０と発光制御装置１１１とを制御することによって、イメージセンサ１０３と、発光装置４とを協調制御し、ストロボ発光時間を制御する場合のタイミングチャートを示している。なお、本第２の実施形態におけるデジタルカメラ１０１の露光制御およびイメージセンサ１０３の固定パターンノイズの除去方法は、第１の実施形態と同様であるため、説明を省略する。
【００４９】
図５は、イメージセンサ１０３の露光時間が、発光装置４によるストロボ発光時間よりも短い露光時間を実現する場合のタイミングチャートである。時刻ｔ１でレリーズパルスφＲｅｌｅａｓｅが“Ｈｉｇｈ”レベルになると、ＰＤリセットパルスφＰＲが“Ｈｉｇｈ”レベルとなり、イメージセンサ１０３内の全ての単位画素３５のフォトダイオードＰＤが同時に電源電圧Ｖｄｄにリセットされる。
【００５０】
続いて、時刻ｔ２において、フレームスタートパルスφＶＤが“Ｈｉｇｈ”レベルになることによって、行毎に各単位画素３５のリセット信号が読み出されるリセットフレーム読み出し期間が始まる。なお、図５に示したリセットフレーム読み出しを示す斜線の動作は、図４に示したリセットフレーム読み出しを表す斜線の動作と同様である。
【００５１】
続いて、時刻ｔ３において、リセットフレームの読み出しが終了すると、その後の時刻ｔ４において、ストロボ発光パルスφＳｔｒｏｂｅが“Ｈｉｇｈ”レベルとなり、発光装置４による被写体へのストロボ光の照射が行われる。
【００５２】
続いて、時刻ｔ５において、ＰＤリセットパルスφＰＲが“Ｌｏｗ”レベルとなり、フォトダイオードＰＤが露光を開始する。その後、イメージセンサ１０３の露光時間の設定に応じた一定時間が経過した後の時刻ｔ６において、転送パルスφＴＸが“Ｈｉｇｈ”レベルとなる。これにより、入射した被写体光によってフォトダイオードＰＤに蓄積された電荷が、全単位画素３５同時にフローティングディフュージョンＦＤに転送される。なお、転送パルスφＴＸが“Ｈｉｇｈ”レベルとなることによって、フォトダイオードＰＤの露光が終了したことになる。
【００５３】
続いて、時刻ｔ７において、転送パルスφＴＸが“Ｌｏｗ”レベルとなり、フォトダイオードＰＤに蓄積された電荷のフローティングディフュージョンＦＤへの転送が終了する。そして、フォトダイオードＰＤに蓄積された電荷のフローティングディフュージョンＦＤへの転送が終了した後の時刻において、ストロボ発光パルスφＳｔｒｏｂｅが“Ｌｏｗ”レベルになり、発光装置４による被写体へのストロボ光の照射が終了する。
【００５４】
続いて、発光装置４による発光が完全に終了した後の時刻ｔ８において、フレームスタートパルスφＶＤが“Ｈｉｇｈ”レベルになることによって、行毎に各単位画素３５のビデオ信号が読み出されるビデオフレーム読み出し期間が始まる。なお、図５に示したビデオフレーム読み出しを表す斜線の動作は、図４に示したビデオフレーム読み出しを表す斜線と同様である。
【００５５】
その後、ビデオフレームとリセットフレームの各信号を、それぞれ対応する単位画素３５の信号ごとに減算することによって、単位画素３５毎に異なる固定パターンノイズを抑圧（除去）した画像を得ることができる。
【００５６】
ここで、本第２の実施形態のストロボ発光タイミングにおけるストロボ発光パターンの違いについて説明する。図６は、本第２の実施形態におけるストロボ発光パターンを示したタイミングチャートである。図６は、ストロボ発光パターンの例として２種類のストロボ発光パターンに対するストロボ発光タイミング制御の例を示しており、図６（ａ）は閃光発光の場合、図６（ｂ）はフラット発光の場合のストロボ発光時間制御をそれぞれ示している。
【００５７】
なお、図６においては、図５に示したストロボ発光タイミングにおける時刻ｔ３〜時刻ｔ８間での期間の詳細を示しており、時刻ｔ３以前および時刻ｔ８以降のタイミングは、図５に示したストロボ発光タイミングと同様であるため説明を省略する。また、図６においては、図５に示したストロボ発光時間が、フレームスタートパルスφＶＤの“Ｌｏｗ”レベルの期間と同時刻であるとしている。すなわち、ストロボ発光時間が、リセットフレーム読み出し期間とビデオフレーム読み出し期間とに重複しない、本発明における最大の期間をストロボ発光時間としている。
【００５８】
図６（ａ）は、発光装置４が閃光発光を行う場合のタイミングチャートである。時刻ｔ１において、リセットフレーム読み出しが終了すると、ストロボ発光パルスφＳｔｒｏｂｅが“Ｈｉｇｈ”レベルとなり、発光装置４による被写体へのストロボ光の照射が開始される。図６（ａ）に示したストロボ光の波形は、発光装置４の閃光発光におけるストロボ発光強度とストロボ発光時間とを模式的に表しており、横軸をストロボ発光時間、縦軸をストロボ発光強度として表したものである。
【００５９】
続いて、時刻ｔ２において、ＰＤリセットパルスφＰＲを“Ｌｏｗ”レベルとし、フォトダイオードＰＤの露光を開始する。なお、ＰＤリセットパルスφＰＲを“Ｌｏｗ”レベルとするタイミングは、イメージセンサ１０３の露光時間の設定および発光装置４における閃光発光の発光パターンに基づいて決定される。発光装置４における閃光発光の発光パターンは、例えば、予め使用する発光装置４の発光パターンをメモリなどに記憶しておくことによって、異なる発光パターンに対応することができる。
【００６０】
続いて、イメージセンサ１０３の露光時間の設定に応じた一定時間が経過した後の時刻ｔ３において、転送パルスφＴＸを“Ｈｉｇｈ”レベルにする。これにより、フォトダイオードＰＤの露光が終了する。また、入射した被写体光によってフォトダイオードＰＤに蓄積された電荷が、全単位画素３５同時にフローティングディフュージョンＦＤに転送される。
【００６１】
続いて、時刻ｔ４において、転送パルスφＴＸを“Ｌｏｗ”レベルにして、フォトダイオードＰＤに蓄積された電荷のフローティングディフュージョンＦＤへの転送を終了する。そして、ストロボ発光パルスφＳｔｒｏｂｅが“Ｌｏｗ”レベルになり、発光装置４による被写体へのストロボ光の照射が終了する時刻ｔ７になった後、ビデオフレームの読み出しを開始する。
【００６２】
図６（ａ）に示したとおり、閃光発光においては、発光装置４の必要なストロボ発光時間の前後にも被写体にストロボ光が照射され、ストロボ光の分布が広がっている。本第２の実施形態におけるストロボ発光タイミング制御では、図６（ａ）に示したように、ストロボ光の分布に応じてＰＤリセットパルスφＰＲを“Ｌｏｗ”レベルにするタイミングと、転送パルスφＴＸを“Ｈｉｇｈ”レベルにするタイミングとを調節することができる。これにより、必要なストロボ発光時間のみ、被写体にストロボ光を照射することができる。
【００６３】
図６（ｂ）は、発光装置４がフラット発光を行う場合のタイミングチャートである。時刻ｔ１において、リセットフレーム読み出しが終了すると、ストロボ発光パルスφＳｔｒｏｂｅが“Ｈｉｇｈ”レベルとなり、発光装置４による被写体へのストロボ光の照射が開始される。図６（ｂ）に示したストロボ光の波形は、発光装置４のフラット発光におけるストロボ発光強度とストロボ発光時間とを模式的に表しており、横軸をストロボ発光時間、縦軸をストロボ発光強度として表したものである。
【００６４】
続いて、時刻ｔ５において、ＰＤリセットパルスφＰＲを“Ｌｏｗ”レベルとし、フォトダイオードＰＤの露光を開始する。なお、ＰＤリセットパルスφＰＲを“Ｌｏｗ”レベルとするタイミングは、イメージセンサ１０３の露光時間の設定および発光装置４におけるフラット発光のストロボ発光強度に基づいて決定される。発光装置４におけるフラット発光のストロボ発光強度は、例えば、予め使用する発光装置４のストロボ発光強度をメモリなどに記憶しておくことによって、異なるストロボ発光強度に対応することができる。
【００６５】
続いて、イメージセンサ１０３の露光時間の設定に応じた一定時間が経過した後の時刻ｔ６において、転送パルスφＴＸを“Ｈｉｇｈ”レベルにして、フォトダイオードＰＤの露光を終了し、入射した被写体光によってフォトダイオードＰＤに蓄積された電荷を、全単位画素３５同時にフローティングディフュージョンＦＤに転送する。
【００６６】
続いて、時刻ｔ７において、転送パルスφＴＸを“Ｌｏｗ”レベルにして、フォトダイオードＰＤに蓄積された電荷のフローティングディフュージョンＦＤへの転送を終了する。また、ストロボ発光パルスφＳｔｒｏｂｅを“Ｌｏｗ”レベルにして、発光装置４による被写体へのストロボ光の照射が終了した後、ビデオフレームの読み出しを開始する。
【００６７】
図６（ｂ）に示したとおり、フラット発光においては、発光装置４のストロボ発光強度が安定するまでの時間が、ストロボ光の強さに依存している。本第２の実施形態におけるストロボ発光タイミング制御では、図６（ｂ）に示したように、ストロボ発光強度に応じてＰＤリセットパルスφＰＲを“Ｌｏｗ”レベルにするタイミングと、転送パルスφＴＸを“Ｈｉｇｈ”レベルにするタイミングとを調節することができる。これにより、必要なストロボ発光時間に必要なストロボ発光強度のストロボ光を、被写体に照射することができる。
【００６８】
上記に述べたとおり、本発明の第２の実施形態によれば、発光装置４の発光パターンに応じて、イメージセンサ１０３内のフォトダイオードＰＤの露光を制御することができる。これにより、発光装置４の発光パターンに依存することなく、フォトダイオードＰＤの露光時間を決定することができる。
【００６９】
また、イメージセンサ１０３の露光時間をストロボ発光時間よりも短い時間に制御することが可能であり、かつ、リセットフレーム読み出し期間およびビデオフレーム読み出し期間中に、発光装置４による強いストロボ光が照射されることがないため、単位画素３５内のフローティングディフュージョンＦＤに、局所的なストロボ光による影響を及ぼすことがない。これにより、最終的な画像にストロボ光によるノイズの影響がない画像を得ることができる。
【００７０】
さらに、露光時間をイメージセンサ１０３のタイミングのみで決定することができるため、発光制御装置１１１による発光装置４のストロボ光の発光制御を高精度で行う必要がなくなる。また、例えば、発光装置４のストロボ光の分布の広がりを少なくするために必要な発光制御装置１１１内の構成要素が必要なくなり、発光制御装置１１１を簡易な回路構成で実現することができる。これにより、発光制御装置１１１の製造コストを低減することができる。
【００７１】
上記に述べたとおり、本発明を実施するための形態によれば、グローバル露光動作においてストロボ撮影を行った場合でも、発光装置が発光した光の影響によるノイズを低減することができるので、リセット信号とビデオ信号との差分を取ることによって固定パターンノイズを除去する際に、リセット信号のみの差分を取ることができる。
このことによって、最終的に得られる撮影画像において、ストロボ光によるノイズの影響を低減した画像を得ることができる。
【００７２】
また、発光装置の発光パターンに依存することなく露光時間を制御することができ、さらに、ストロボ発光時間よりも短い露光時間を実現することができる。また、露光時間をイメージセンサのタイミングのみで決定することができるため、発光装置を制御する発光制御装置を高精度にする必要がなく、簡易な回路構成で実現することができる。
このことによって、発光制御装置の製造コストを低減することができる。
【００７３】
なお、本実施形態においては、単位画素３５の行方向および列方向の配置に関して、３行３列に二次元的に配置された例を示したが、単位画素３５の行方向および列方向の配置は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において単位画素３５を配置する行方向および列方向の数を変更することができる。
【００７４】
また、本発明におけるデジタルカメラ１０１およびイメージセンサ１０３の各構成要素の具体的な構成は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更をすることができる。
例えば、本実施形態におけるイメージセンサ１０３と、発光装置４との協調制御は、カメラ制御装置１１２が実施する例を示したが、イメージセンサ１０３を制御するイメージセンサ制御装置１１０、または発光装置４を制御する発光制御装置１１１が主となり、イメージセンサ制御装置１１０と発光制御装置１１１とが通信を行うことによって、互いに協調してイメージセンサ１０３と発光装置４とを制御する構成とすることもできる。
【００７５】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【００７６】
１０１・・・デジタルカメラ
２・・・レンズ
１０３・・・イメージセンサ（固体撮像装置）
４・・・発光装置（発光部）
５・・・メモリ
６・・・記録装置
７・・・表示装置
８・・・画像信号処理装置
９・・・レンズ制御装置
１１０・・・イメージセンサ制御装置（画素信号読み出し部）
１１１・・・発光制御装置（発光制御部）
１１２・・・カメラ制御装置
１３１・・・イメージセンサ制御信号発生回路（画素信号読み出し部）
１３２・・・垂直走査回路（画素信号読み出し部）
３３・・・水平読み出し回路（画素信号読み出し部）
３４・・・画素アレイ部（画素部）
３５・・・単位画素（画素）
３６・・・垂直走査線（出力信号線）
ＰＤ・・・フォトダイオード（光電変換部）
ＦＤ・・・フローティングディフュージョン（蓄積部）
Ｍ１・・・ＦＤリセットトランジスタ（第１のリセット部）
Ｍ２・・・転送トランジスタ（転送部）
Ｍ３・・・増幅トランジスタ（増幅部）
Ｍ４・・・選択トランジスタ（選択部）
Ｍ５・・・ＰＤリセットトランジスタ（第２のリセット部）
【図１】
2011130263.tif 000003
【図２】
2011130263.tif 000004
【図３】
2011130263.tif 000005
【図４】
2011130263.tif 000006
【図５】
2011130263.tif 000007
【図６】
2011130263.tif 000008
【図７】
2011130263.tif 000009
【図８】
2011130263.tif 000010