(57)【要約】【課題】電荷保持部から増幅部へ電荷を転送する転送スイッチをオンする間に、光電変換部から電荷保持部へ電荷を転送する転送スイッチを複数回オンするような撮像方法を行った場合、ストロボ光などの閃光が発生すると、画像の色バランスがくずれてしまったりする。【解決手段】ストロボ発光有無に応じて、第１の転送スイッチをオンする時刻を変更する。【選択図】図１
2020057882.tif 000002
【特許請求の範囲】
【請求項１】
入射光によって生じた電荷の蓄積を行う光電変換部と、
前記電荷を保持する保持部と、
前記電荷に基づく信号を出力する増幅部と、
前記光電変換部から前記保持部へ前記電荷を転送する第１の転送スイッチと、前記保持部から前記増幅部へ前記電荷を転送する第２の転送スイッチと、をそれぞれが有する複数の画素と、
前記複数の画素の前記増幅部からの信号が出力される出力線と、
前記出力線から出力された信号を増幅する増幅手段と、
ストロボを発光するタイミングを制御するタイミング制御部とを持ち、
ストロボ発光有無に応じて前記第１の転送スイッチをオンする時刻を変更することを特徴とする撮像装置。
【請求項２】
前記第１の転送スイッチをオンする時刻を、前記ストロボが発光されている時間に内包することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ストロボの発光有無に応じて、前記第１の転送スイッチをオンする回数を変更することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等において、特に動画を撮影する撮像装置の動作に関する。
【背景技術】
【０００２】
ビデオカメラに代表される撮像装置の撮像素子として、ＣＭＯＳ型イメージセンサー（以下、ＣＭＯＳセンサーとする）が用いられている。ＣＭＯＳセンサーは、水平ラインを順次露光し、ラインごとに映像信号を順次読み出してひとつのフレームを生成するローリングシャッタ方式を採用したものが主流であったが、近年は、水平ラインの露光タイミングを全行で同時として映像を読み出すグローバルシャッタ方式を採用したものが増えてきている。
【０００３】
一般的に、ローリングシャッタ方式では、各行で露光時間がずれていくローリングシャッタ歪が発生するが、グローバルシャッタ方式では同時に露光を行うことで、ローリングシャッタ歪が発生せず、動体の撮影するときに有効であるとされている。
【０００４】
グローバルシャッタ方式を実現するためには、光電変換部のほか、電荷を保持する保持部を持つことが特徴の一つに挙げられる。しかしながら、ローリングシャッタ方式に比べ、保持部を持つことで光電変換部の面積が小さくなり、１画素が扱うことのできる飽和電荷量が少なくなってしまうという課題がある。
【０００５】
特許文献１には、光電変換部と、電荷を保持する保持部と、光電変換部から電荷保持部へ電荷を転送する第１の転送スイッチと、電荷保持部から増幅部へ電荷を転送する第２の転送スイッチを持ち、第２の転送スイッチがオンする間に第１の転送スイッチを複数回オンすることで、光電変換部から電荷保持部へ複数回電荷を転送し、飽和電荷量を上げる方式が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−１７７３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、電荷保持部から増幅部へ電荷を転送する転送スイッチをオンする間に、光電変換部から電荷保持部へ電荷を転送する転送スイッチを複数回オンするような撮像方法を行った場合、ストロボ光などの閃光が発生すると、画像の色バランスがくずれてしまったりする問題がある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係る撮像装置は、
入射光によって生じた電荷の蓄積を行う光電変換部と、前記電荷を保持する保持部と、前記電荷に基づく信号を出力する増幅部と、前記光電変換部から前記保持部へ前記電荷を転送する第１の転送スイッチと、前記保持部から前記増幅部へ前記電荷を転送する第２の転送スイッチと、をそれぞれが有する複数の画素と、前記複数の画素の前記増幅部からの信号が出力される出力線と、前記出力線から出力された信号を増幅する増幅手段と、ストロボを発光するタイミングを制御するタイミング制御部とを持ち、ストロボ発光有無に応じて前記第１の転送スイッチをオンする時刻を変更することを特徴とする。
【発明の効果】
【０００９】
本発明に係る撮像装置によれば、光電変換部から保持部への転送を複数回行ったときの、閃光発生時に発生する画質劣化を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置における代表的な構成を示す図である。
【図２】撮像素子内の詳細例を示す図である。
【図３】撮像素子の画素部の詳細例を示す図である。
【図４】転送スイッチの動作タイミングを示す図である。
【図５】転送スイッチの動作と電荷量の推移を示す図である。
【図６】実施例におけるフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の形態について説明する。
【実施例１】
【００１２】
図１は、本発明の実施形態に係る撮像装置におけるブロック図である。
【００１３】
図１の各ブロックについて下記に説明する。
【００１４】
光学レンズ１０１は、被写体の光を取り込み、代表的なものとしては、ピントを合わせるためのフォーカス機構、光量や被写界深度を調節する絞り機構、焦点距離を変化させるためのズーム機構を有することを特徴とし、撮像素子に光を結像して入光するための光学レンズである。
【００１５】
撮像素子１０２は光学レンズ１０１から入射光を受け、それを電気信号へ変換し、出力する。
【００１６】
本撮像素子の構成は図２を用いて後述する。
【００１７】
画像処理部１０３は、上記撮像素子１０２からの映像信号をデジタル信号として取得する。撮像素子からの出力がアナログ信号であれば、アナログ・デジタルフロントエンドを含む。画像処理部は、映像信号に対して任意の画像処理を行う。
【００１８】
露出制御部１０４は、画像処理部で得た画像信号の解析から、撮像素子やレンズ、ストロボなど、各露出の設定値を算出する。
【００１９】
撮像素子制御部１０５及びレンズ制御部１０６は、露出制御部で算出された撮像素子及びレンズへ設定値を送信する。
【００２０】
ストロボ制御部１０７は、露出制御部からストロボ発光の命令を受け、ストロボ１０８へ発光量や発光のタイミングなどを制御する。
【００２１】
なお、画像処理部、露出制御部、撮像素子制御部、レンズ制御部、ストロボ制御部は、ひとつのＬＳＩでまとめられていてもよく、本区分が形態を限定するものではない。
【００２２】
次に、図２を用いて、撮像素子と画像処理部の構成を説明する。
【００２３】
図２の各ブロックについて下記に説明する。
【００２４】
図２の２０は、並列型ＡＤ変換器を実装した撮像素子（ＣＭＯＳイメージセンサ）である。
【００２５】
図２の２１は、画像処理ＬＳＩであり、撮像素子１が出力する画像データに対し、ホワイトバランス処理や、ガンマ処理などの現像処理を行い、最終的にモニタに出力したり、記録媒体に記録したりする。
【００２６】
また、画像処理ＬＳＩはＣＰＵを内蔵しており、このＣＰＵにより、撮像装置の動作モードに応じて撮像素子と通信（例えばシリアル通信）し、制御を行う。
【００２７】
図２の２０に示す撮像装置は、タイミング制御部２００、画素部２１０、垂直走査回路２２０、列回路２３０、水平転送回路２４０、信号処理回路２５０、外部出力回路２６０、コントローラー回路２７０からなる。
【００２８】
コントローラー回路２７０は、画像処理ＬＳＩ２１とのＩ／Ｆ部であり、シリアル通信手段などを用いて、撮像素子制御部を経て撮像素子１への制御を受ける。
【００２９】
タイミング制御部２００は、この撮像素子の各ブロックに対する動作ＣＬＫを供給し、また、各ブロックにタイミング信号を供給し、動作を制御するものである。
【００３０】
画素部２１０は、入射光量に応じて光電変換し、電圧として出力する光電変換素子である。光電変換素子（フォトダイオード）表面には、各々にカラーフィルタとマイクロレンズが実装されており、Ｒ（赤），Ｇ（緑），Ｂ（青）の３色のカラーフィルタを用いることで、いわゆるＲＧＢ原色カラーフィルタによるベイヤー配列の周期構造をとっているが一般的であるが、必ずしもこの限りではない。
【００３１】
また、グローバルシャッタ方式を実現するために、画素部の構造をローリングシャッタ形式のものから変更しているものもある。本撮像装置の構造については、図３を用いて後述する。
【００３２】
垂直走査回路２２０は、２次元に配置された画素部２１０が有した画素信号電圧を、１フレーム中に順次読み出しするためのタイミング制御を行う。一般的に、映像信号は１フレーム中に上部の行から下部の行にかけて、行単位で順次読み出される。
【００３３】
列回路２３０は、列ごとに画素部２１０から読みだされた信号を電気的に増幅するためのアンプや、信号をアナログデジタル変換する回路を備える。
【００３４】
水平転送回路２４０は、列回路からの画素信号を、水平方向に送信する回路である。出力は信号処理回路２５０に入力される。信号処理回路２５０はデジタル的に信号処理を行う回路であり、デジタル処理で一定量のオフセット値を加えるほかに、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。また、画素部２１０に、意図的に遮光した画素領域を持つことで、これを利用したデジタルの黒レベルクランプ動作を行っても良い。
【００３５】
信号処理回路２５０の出力は、外部出力回路２６０に渡される。外部出力回路２６０はシリアライザー機能を有し、信号処理回路２５０からの多ビットの入力パラレル信号をシリアル信号に変換する。また、このシリアル信号を、例えばＬＶＤＳ信号等に変換し、外部デバイス（この場合、画像処理ＬＳＩ２１との画像情報の受け渡しとして出力する。
【００３６】
次に図３を用いて、図２の画素部２１０内にある単位画素あたりの構成を説明する。
【００３７】
光電変換部３１は、入射した光から生じる電荷を蓄積する。
【００３８】
図中の３５は転送スイッチ１（図面のＴＸ１）であり、３１に蓄積した電荷を保持部３２へ転送する。
【００３９】
図中の３６は転送スイッチ２（図面のＴＸ２）であり、３２で保持された電荷を増幅部３３へ転送する。
【００４０】
図中３７はリセットトランジスタであり、増幅部３３の電圧をリセットする。
【００４１】
図中３８は画素選択用のトランジスタであり、垂直出力線３９へ信号を出力する。
【００４２】
なお、図中の３４は光電変換部３１の不要な電荷をリセットするためのトランジスタである。
【００４３】
保持部３２を設けることで、垂直出力線３９へ信号を出力するまで信号を溜めておくことができ、その期間に光電変換部３１は電荷を蓄積することができる。
【００４４】
そのため、全画素同時蓄積のグローバルシャッタ動作が可能となる。
【００４５】
図４は、ＯＦＤとＴＸ１，ＴＸ２の転送スイッチのオンする時刻のタイミングを表したタイミングチャートである。
【００４６】
ＯＦＤスイッチによって光電変換部の電荷を抜いた後、光電変換部へ電荷の蓄積が始まる。ＴＸ１では、光電変換部の蓄積が終わる前に１回以上、保持部へ転送を行う。
【００４７】
図４（ａ）は、光電変換部の蓄積期間中に、保持部へ転送を２回行っている図である。
光電変換部に溜まる電荷が保持部に溜まる電荷より少なくても、転送を複数回行うことで、保持部の電荷飽和量いっぱいまで電荷を溜めることができる。
【００４８】
一方、図４（ｂ）は、光電変換部の蓄積期間の最後に、保持部へ転送を１回行っており、この場合は、光電変換部の飽和電荷量しか保持部へ転送することができない。
【００４９】
次に、保持部へ転送された電荷は、撮像素子の画素部から増幅部へ転送され、選択トランジスタを介して垂直出力線へ行ごとに順次出力される。
【００５０】
図５は、前述、光電変換部の蓄積期間中に、保持部へ転送を２回行うときの、光電変換部の電荷量と、保持部の電荷量の推移の例を示した図である。
【００５１】
図５（ａ）は、被写体の明るさによって、光電変換部の電荷量が飽和電荷量まで到達していない場合の電荷の推移を示した図である。
【００５２】
時刻ｔ１でＯＦＤがオフになってから、保持部への第一の転送が始まるｔ２の時刻まで光電変換部は第一の露光を行う。
【００５３】
時刻ｔ２からｔ３までは、光電変換部から保持部への転送スイッチがＯＮとなり、この期間で電荷が転送される。
【００５４】
時刻ｔ３からｔ４では、光電変換部で第二の露光が行われる。
【００５５】
時刻ｔ４からｔ５までは、再度光電変換部から保持部への転送スイッチがＯＮとなり、再度この期間で電荷が転送される。保持部へ転送した後、光電変換部の電荷をリセットするために、次の蓄積が始まる時刻までＯＦＤをオンする。ＯＦＤをオフする時刻は設定する蓄積時間によって異なる。
【００５６】
保持部へは光電変換部から転送された２回分の電荷が蓄積され、前記増幅部へ転送する時刻ｔ６になるまで電荷を保持し、時刻ｔ６になったら増幅部へ転送する。
【００５７】
図５（ｂ）は、図５（ａ）と同じ駆動であるが、時刻ｔ７で、ストロボ光のような閃光で、露光時間に対して充分に短い発光時間でかつ明るい被写体が発生した場合を示している。
【００５８】
この場合、時刻ｔ７で光電変換部の飽和電荷量まで蓄積される。
【００５９】
保持部の電荷量はｔ２〜ｔ３におけるはじめの転送で光電変換部の飽和電荷量まで蓄積される。次の光電変換部の露光中に閃光が発生しなければ、こちらは通常の被写体の明るさ分だけ蓄積される。
【００６０】
このような場合、通常の被写体を撮影すると、画素部に設けられたＲ、Ｇ、Ｂのカラーフィルタを通じて、その被写体の色に応じた光量が入射され、蓄積される電荷が変化するが、一回目の露光中に閃光の影響で光電変換部の飽和電荷量まで蓄積されてしまい、保持部へ転送される２回の合計の電荷のバランスが、実際の被写体の色バランスと崩れてしまい、画質劣化となってしまう。
【００６１】
前述したような問題のため、撮像装置はストロボ光を発光するタイミングを制御する。
【００６２】
図５（ｃ）は図５（ｂ）に加え、ストロボの発光期間を示したものである。
【００６３】
ストロボが発光する期間は、ストロボの種類と、設定する発光量から算出が可能である。
【００６４】
ストロボが発光する期間が、ＴＸ１がオンしている時刻ｔ２からｔ３の前（時刻ｔ１からｔ２）もしくは後（時刻ｔ３からｔ４）にあたってしまうと、前述した問題が発生してしまう。
【００６５】
そのため、ストロボ発光を開始する時刻ｔ８から、ストロボの発光が完了する時刻ｔ９を、ＴＸ１がオンする時刻ｔ２からｔ３までを内包するように、制御を行う。
【００６６】
図６（ａ）は、本実施例における撮像装置の動作を示すフローチャートである。
【００６７】
撮像装置はストロボ発光があるかどうかを露出条件などから判定し、ストロボ発光がある場合は、ストロボ発光量から発光時間を計算する。
【００６８】
そして、次の撮像動作のＯＦＤ及びストロボ発光トリガの設定値をセットし、撮像動作を行う。
【００６９】
上述したように、ＴＸ１がオンしている時間をストロボ発光時間に内包することで、第一の露光期間と第二の露光期間にストロボを発光させることができ、ストロボ発光時の画質劣化を防ぐことができる。
【実施例２】
【００７０】
本実施例では、ストロボ発光の有無により、光電変換部の蓄積が終わるまでのＴＸ１による保持部への転送回数を制御する。
【００７１】
本実施例について、図６（ｂ）を用いて説明する。
【００７２】
露出制御部により、次の撮像動作でストロボ発光を行う場合、ＴＸ１の転送回数を１回とする。転送回数を１回とすると、保持部の飽和電荷量が光電変換部の飽和電荷量よりも大きい場合は、ストロボ光によって、保持部の飽和電荷量まで蓄積がされない。
【００７３】
そのため、後段のゲインを上げることで、画質劣化となる色付きを防止する。後段のゲインとは、撮像素子内のアンプゲイン、ＡＤ変換器のゲイン、画像処理部のゲインなど、映像信号を増幅させることができるブロックを指し、本実施例は特にそのブロックを指定するものではない。
【００７４】
ＴＸ１の転送回数を１回にし、さらにゲインを上げることで、露出制御部は再度その状態で最も適する露出条件を算出し、撮像装置の各ブロックにセットする。
そして撮像動作を実施する。
【００７５】
このような撮像動作を行うことで、保持部の飽和電荷量よりも光電変換部から転送される電荷が少なくても、後段でゲインをかけることで色付きを抑制でき、閃光発生時の画質劣化を防ぐことができる。
【符号の説明】
【００７６】
１０１  光学レンズ、１０２  撮像素子、１０３  画像処理部、
１０４  露出制御部、１０５  撮像素子制御部、１０６  レンズ制御部、、
１０７  ストロボ制御部、１０８  ストロボ
【図１】
2020057882.tif 000003
【図２】
2020057882.tif 000004
【図３】
2020057882.tif 000005
【図４】
2020057882.tif 000006
【図５】
2020057882.tif 000007
【図６】
2020057882.tif 000008