(57)【要約】【課題】露光期間の長さが異なる複数の画像においてフリッカを抑制する。【解決手段】実施形態としての撮像装置において、駆動部は第１の露光時間における電荷の蓄積、および第１の露光期間とは長さの異なる第２の露光期間における電荷の蓄積を交互に光電変換部が行なうように、画素を駆動する。制御部は、検出の結果が、被写体が点滅していないことを示す場合には、第１の露光を第１の周期で行い、第２の露光を第２の周期で行う。また、制御部は、検出の結果が、被写体が点滅していることを示す場合には、第１の露光を第１の周期とは異なる周期で行う。【選択図】  図１
2019114949.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの入射光に応じた電荷を蓄積する光電変換部をそれぞれが有する複数の画素と、
第１の露光期間による第１の露光と、前記第１の露光期間よりも長い第２の露光期間による第２の露光とのそれぞれにおいて前記光電変換部が行なうように前記画素を駆動する駆動部と、
前記被写体の点滅の検出を行う検出部と、
制御部とを有し、
前記制御部は、前記検出の結果が、前記被写体が点滅していないことを示す場合には、前記第１の露光を第１の周期で行い、前記第２の露光を第２の周期で行い、
前記制御部は、前記検出の結果が、前記被写体が点滅していることを示す場合には、前記第１の露光を前記第１の周期とは異なる周期で行うことを特徴とする撮像装置。
【請求項２】
被写体からの入射光に応じた電荷を蓄積する光電変換部をそれぞれが有する複数の画素と、
電荷の蓄積を、第１の露光期間と、前記第１の露光期間よりも長い第２の露光期間とのそれぞれにおいて前記光電変換部が行なうように前記画素を駆動する駆動部と、
前記第１の露光期間に蓄積された電荷に基づく第１の画素信号、および前記第２の露光期間に蓄積された電荷に基づく第２の画素信号に基づいて前記被写体の点滅を検出する検出部と、
前記検出部が前記被写体の点滅を検出した場合に、前記第１の露光期間または前記第２の露光期間のいずれかの開始タイミングを変更する制御部とを備えることを特徴とする撮像装置。
【請求項３】
前記第１の露光期間および前記第２の露光期間をそれぞれが含む、連続する複数のフレームにおいて前記検出部が前記点滅を検出した場合に、前記制御部は前記開始タイミングを変更することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御部は前記フレームの長さを変更することで、前記開始タイミングを変更することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画素は、前記光電変換部から転送された電荷を保持する第１の保持部および第２の保持部を備え、
前記第１の保持部は前記第１の露光期間に蓄積された電荷を保持し、前記第２の保持部は前記第２の露光期間に蓄積された電荷を保持することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記画素は、前記光電変換部から転送された電荷を保持する第１の保持部および第２の保持部を備え、
前記第１の保持部は前記第１の露光期間に蓄積された電荷を保持し、前記第２の保持部は前記第２の露光期間に蓄積された電荷を保持し、
１フレームは前記第１の露光期間および前記第２の露光期間を含み、
前記制御部は、前記フレームの長さを変更せずに、前記開始タイミングを変更することを特徴とする請求項２乃至４のいずれか1項に記載の撮像装置。
【請求項７】
前記制御部は、前記第１の露光期間を分割し、分割された複数の前記第１の露光期間の間に前記第２の露光期間を設定することにより、前記第２の露光期間の前記開始タイミングを変更することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記制御部は、前記フレームにおいて前記第１の露光期間および前記第２の露光期間のそれぞれを予め複数に分割し、前記検出部が前記点滅を検出した場合に、複数の前記第２の露光期間および複数の前記第２の露光期間の少なくともいずれかの前記開始タイミングを変更することを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
前記制御部は、前記第１の画素信号および前記第２の画素信号における前記被写体の移動量に基づき、前記開始タイミングの変更量を決定する請求項２乃至４または６乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記制御部は、前記検出部が前記点滅を検出した場合に、前記開始タイミングを遅らせることを特徴とする請求項２乃至４または６乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記検出部は、前記第１の露光期間および前記第２の露光期間の比に基づき、前記第１の画素信号または前記第２の画素信号のゲインを補正し、補正された前記第１の画素信号および前記第２の画素信号に基づき、前記点滅を検出することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記第１の画素信号が飽和レベルに達した場合、前記第１の画素信号を前記第２の画素信号に置き換えた画像を合成する画像合成部をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
被写体からの入射光に応じた電荷を蓄積する光電変換部をそれぞれが有する複数の画素を備える撮像装置の駆動方法であって、
第１の露光期間における電荷の蓄積、および前記第１の露光期間とは長さの異なる第２の露光期間における電荷の蓄積を交互に前記光電変換部が行なうように前記画素を駆動し、
前記第１の露光期間に蓄積された電荷に基づく第１の画素信号、および前記第２の露光期間に蓄積された電荷に基づく第２の画素信号の比較に基づいて、前記第１の露光期間または前記第２の露光期間のいずれかの開始タイミングを変更することを特徴とする撮像装置の駆動方法。
【請求項１４】
請求項１〜１２のいずれか１項に記載の撮像装置と、
前記撮像装置から出力された画像信号を処理する信号処理装置と
を有することを特徴とする撮像システム。
【請求項１５】
前記画素が複数の前記光電変換部を含み、
前記信号処理装置は、複数の前記光電変換部にて生成された前記画像信号をそれぞれ処理し、前記撮像装置から前記被写体までの距離情報を取得することを特徴とする請求項１４に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システム、および撮像装置の駆動方法に関する。
【背景技術】
【０００２】
近年、撮像装置において、蛍光灯、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などの光源によるフリッカを抑制する技術が提案されている。特許文献１には、光源の点滅周期に応じてフリッカを抑制する撮像装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１８４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
広ダイナミックレンジ撮影などにおいては、異なる長さの露光期間で撮影された２種類の画像を読み出す必要がある。しかしながら、特許文献１に記載された撮像装置は、露光期間の長さが等しい画像においてフリッカを抑制するにすぎず、露光期間の長さが異なる複数の画像においてフリッカを抑制することはできない。
【０００５】
本発明は、上述の課題に鑑みてなされたものであって、露光期間の長さが異なる複数の画像においてフリッカを抑制することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態における撮像装置は、被写体からの入射光に応じた電荷を蓄積する光電変換部をそれぞれが有する複数の画素と、第１の露光期間による第１の露光と、前記第１の露光期間よりも長い第２の露光期間による第２の露光とのそれぞれにおいて前記光電変換部が行なうように前記画素を駆動する駆動部と、前記被写体の点滅の検出を行う検出部と、制御部とを有し、前記制御部は、前記検出の結果が、前記被写体が点滅していないことを示す場合には、前記第１の露光を第１の周期で行い、前記第２の露光を第２の周期で行い、前記制御部は、前記検出の結果が、前記被写体が点滅していることを示す場合には、前記第１の露光を前記第１の周期とは異なる周期で行う。
【０００７】
本発明の他の実施形態における撮像装置の駆動方法は、被写体からの入射光に応じた電荷を蓄積する光電変換部をそれぞれが有する複数の画素を備える撮像装置の駆動方法であって、第１の露光期間における電荷の蓄積、および前記第１の露光期間とは長さの異なる第２の露光期間における電荷の蓄積を交互に前記光電変換部が行なうように前記画素を駆動し、前記第１の露光期間に蓄積された電荷に基づく第１の画素信号、および前記第２の露光期間に蓄積された電荷に基づく第２の画素信号の比較に基づいて、前記第１の露光期間または前記第２の露光期間のいずれかの開始タイミングを変更する。
【発明の効果】
【０００８】
本発明によれば、露光期間の長さが異なる複数の画像においてフリッカを抑制することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態における撮像装置のブロック図である。
【図２】第１実施形態における撮像素子のブロック図である。
【図３】第１実施形態における画像の等価回路示す図である。
【図４】第１実施形態における広ダイナミックレンジの画像合成を説明するための図である。
【図５】広ダイナミックレンジ画像の撮影時における課題を説明するための図である。
【図６】第１実施形態における撮像装置の駆動方法を示すタイミングチャートである。
【図７Ａ】第１実施形態における点滅検出方法を説明するための図である。
【図７Ｂ】第１実施形態における点滅検出方法を説明するための図である。
【図７Ｃ】第１実施形態における点滅検出方法を説明するための図である。
【図８】第１実施形態における点滅検出方法のフローチャートである。
【図９】第１実施形態における位相変更処理のフローチャートである。
【図１０Ａ】第１実施形態における光源点滅時のタイミングチャートである。
【図１０Ｂ】第１実施形態における位相変更後のタイミングチャートである。
【図１１】第２実施形態における画素の等価回路を示す図である。
【図１２】第２実施形態における固体撮像装置の駆動方法を示すタイミングチャートである。
【図１３】第３実施形態における撮像装置の駆動方法を示すタイミングチャートである。
【図１４】第３実施形態における撮像装置の駆動方法を示すタイミングチャートである。
【図１５】第４実施形態における撮像装置の動作を説明するための図である。
【図１６】第５実施形態における撮像システムのブロック図である。
【図１７Ａ】第６実施形態における撮像システムにおける車載カメラに関する撮像システムのブロック図である。
【図１７Ｂ】第６実施形態における撮像システムにおける車載カメラに関する撮像システムのブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を説明する。第１〜第４実施形態における撮像装置において、複数の画素のそれぞれは被写体からの入射光に応じた電荷を蓄積する光電変換部を有する。駆動部は、第１の露光期間における電荷の蓄積、および第１の露光期間とは長さの異なる第２の露光期間における電荷の蓄積を交互に光電変換部が行なうように画素を駆動する。検出部は、第１の露光期間に蓄積された電荷に基づく第１の画素信号、および第２の露光期間に蓄積された電荷に基づく第２の画素信号に基づいて被写体の点滅を検出する。制御部は、検出の結果が、被写体が点滅していないことを示す場合には、第１の露光を第１の周期で行い、第２の露光を第２の周期で行う。また、制御部は、検出の結果が、被写体が点滅していることを示す場合には、第１の露光を第１の周期とは異なる周期で行う。さらに、制御部は、検出部が被写体の点滅を検出した場合に、第１の露光期間または第２の露光期間のいずれかの開始タイミングを変更しても良い。
【００１１】
本実施形態によれば、第１の露光期間または第２の露光期間のいずれかの開始タイミングを変更することで、第１の露光期間または第２の露光期間のそれぞれにおける入射光の不均一を回避することが可能となる。これにより、第１の露光期間に基づく第１の画素信号、第２の露光期間に基づく第２の画素信号におけるフリッカを回避することが可能となる。
【００１２】
以下、本発明の実施形態について図面を用いて説明する。本発明は、以下に説明される実施形態に限定されない。例えば、以下のいずれかの実施形態の一部の構成を、他の実施形態に追加し、あるいは他の実施形態の一部の構成と置換してもよい。
【００１３】
［第１実施形態］
図１は本実施形態における撮像装置のブロック図である。撮像装置は、撮像素子１、検出部２０、制御部２１、信号処理部２２を備える。撮像素子１は例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの固体撮像装置である。撮像素子１には図示されていない光学系からの被写体像が結像され、被写体像に応じた画像信号が出力される。
【００１４】
検出部２０は、画像解析部２０１、点滅検出部２０２を備える。画像解析部２０１は、露光期間の異なる２つの画像信号における被写体を検出する。例えば、画像解析部２０１は、長秒の画像信号と短秒の画像信号を比較し、同一の場所（座標）に位置する被写体を検出する。点滅検出部２０２は、画像解析部２０１によって検出された被写体のフリッカを検出する。
【００１５】
制御部２１は、露光制御部２１１、同期信号発生回路２１２を備える。露光制御部２１１は、点滅検出部２０２による検出結果に基づき、露光期間の長さおよび露光の開始タイミングを決定する。同期信号発生回路２１２はクロック回路、ゲート回路を備え、垂直同期信号、水平同期信号を生成する。
【００１６】
信号処理部２２はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などのデジタル回路から構成され、画像合成回路（画像合成部）２２１、画像処理回路２２２、フレームメモリ２２３を備える。画像合成回路２２１は露光期間の長さの異なる２つの画像を合成し、広ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像を生成する。画像処理回路２２２は撮像素子１から出力された画像信号において色キャリア除去、ノイズ除去、アパーチャー補正、ガンマ補正、色補間、データ圧縮などの処理を施し、動画ビットストリームとして出力する。フレームメモリ２２３は複数フレームの画像を保持可能であって、露光期間の長さの異なる２つの画像を保持し得る。また、信号処理部２２はフレームメモリ２２３に保持された画像において各種処理を実行する。なお、信号処理部２２は必ずしも撮像装置に含まれることを要せず、撮像装置とは別の装置に設けられても良い。
【００１７】
図２は本実施形態における撮像素子のブロック図である。撮像素子１は画素部１００、垂直走査回路（駆動部）１０１、列増幅回路１０２、水平走査回路１０３、出力回路１０４、制御回路１０５を備える。画素部１００は、ＸＹの行列状に配置された複数の画素１０を備えている。なお、本明細書において、行方向とは図面における水平方向を示し、列方向とは図面において垂直方向を示すものとする。画素１０上にはマイクロレンズ、カラーフィルタが配置され得る。カラーフィルタは例えば赤、青、緑の原色フィルタであって、ベイヤー配列に従って各画素１０に設けられている。一部の画素１０はＯＢ画素（オプティカル・ブラック画素）として遮光されている。複数の画素１０には、焦点検出用の画素信号を出力する焦点検出画素が配された測距行と、画像を生成するための画素信号を出力する撮像画素が配された複数の撮像行とが設けられ得る。
【００１８】
垂直走査回路１０１はシフトレジスタ、ゲート回路、バッファ回路などから構成され、垂直同期信号、水平同期信号、クロック信号などに基づき制御信号を画素１０に出力し、行毎に画素１０を駆動する。列信号線１１０は画素１０の列毎に設けられ、同一列の画素１０は共通の列信号線１１０に画素信号を出力する。列増幅回路１０２は列信号線１１０に出力された画素信号を増幅し、画素１０のリセット時の信号および光電変換時の信号に基づく相関二重サンプリング処理を行う。水平走査回路１０３は、列増幅回路１０２の増幅器に接続されたスイッチと、該スイッチをオンまたはオフに制御するための制御信号を供給する。出力回路１０４はバッファアンプ、差動増幅器などから構成され、列増幅回路１０２からの画素信号を撮像装置の外部の信号処理部に出力する。なお、ＡＤ変換部を撮像素子に設け、デジタルの画像信号を出力しても良い。制御回路１０５は、クロック信号、同期信号などに基づき様々な制御信号、駆動信号を生成し、垂直走査回路１０１、列増幅回路１０２、水平走査回路１０３を制御する。
【００１９】
図３は本実施形態における画素１０の等価回路を示している。図３には、行方向および列方向に２次元配列された複数の画素１０のうち、２行×２列の４個の画素１０が示されているが、撮像装置はさらに多くの画素を有している。各画素１０は、光電変換部ＰＤ、浮遊拡散部ＦＤ、転送トランジスタＭ１、増幅トランジスタＭ３、選択トランジスタＭ４、リセットトランジスタＭ５を備える。
【００２０】
光電変換部ＰＤは、入射光を光電変換するとともに、光電変換による電荷を蓄積する。転送トランジスタＭ１は、オンとなることにより光電変換部ＰＤの電荷を浮遊拡散部ＦＤに転送する。増幅トランジスタＭ３のドレインには電源電圧ＶＤＤが印加され、ソースは選択トランジスタＭ４を介して列信号線１１０に接続されている。増幅トランジスタＭ３はソースフォロアを構成し、浮遊拡散部ＦＤの電圧に基づく信号を選択トランジスタＭ４を介して列信号線１１０に出力する。列信号線１１０には定電流源１６が接続されている。リセットトランジスタＭ５のドレインには電源電圧ＶＤＤが印加され、リセットトランジスタＭ５は、オンとなることにより浮遊拡散部ＦＤの電圧をリセットする。
【００２１】
同一行の画素１０に対しては共通の制御信号が垂直走査回路１０１から供給される。すなわち、第ｍ行の画素１０の転送トランジスタＭ１、選択トランジスタＭ４、リセットトランジスタＭ５には、制御信号ＴＸ（ｍ）、ＳＥＬ（ｍ）、ＲＥＳ（ｍ）がそれぞれ供給される。これらのトランジスタは、制御信号がハイレベルのときにオンとなり、ローレベルのときにオフとなる。各行の制御信号を同時にオンまたはオフに制御することにより、複数の画素１０における露光期間の制御を同時に行うことができる。なお、複数の画素１０が１つの増幅トランジスタＭ３を共有しても良い。
【００２２】
図４は、広ダイナミックレンジの画像合成を説明するための図である。横軸は画素１０に入射された被写体の明るさを示し、縦軸は画素１０から出力される画素信号のレベルを示している。画素信号４０ａ、画素信号４０ｂの入射光強度に対する画素信号のレベルの特性が示されている。画素信号４０ａは画素信号４０ｂに比べて長い電荷蓄積時間の電荷に基づいて生成されている。以下の説明において、画素信号４０ａの電荷蓄積時間（第１の露光期間）を長秒露光または長秒露光期間と称し、画素信号４０ｂの電荷蓄積時間（第２の露光期間）を短秒露光または短秒露光期間と称する。長秒露光は例えば短秒露光の長さの２００倍程度であり得るが、撮像装置に応じて適宜変更可能である。
【００２３】
被写体が暗い場合、画素信号４０ａ、画素信号４０ｂは飽和しない（領域４０１）。この場合、画素信号４０ａを用いることで、信号対雑音比の高い画像を得ることができる。被写体が明るい場合、画素信号４０ｂは飽和しないが、長秒露光の画素信号４０ａは飽和する（領域４０２）。画像合成回路２２１は、領域４０２における画素信号４０ｂをデジタル信号処理によって増幅し、飽和した画素信号４０ａを増幅後の画素信号４０ｂに置き換える。これにより、画素信号４０ａの飽和レベルを超えた広ダイナミックレンジ画像を生成することができる。
【００２４】
図５は広ダイナミックレンジ画像の撮影時における課題を説明するための図であって、光源を撮影した場合における露光および読み出しの動作、読み出された画像を表している。ここでは、光源はＬＥＤを用いた信号機であって、３つのＬＥＤのうちの右側のＬＥＤが点灯しているとする。ＬＥＤは、人間の目では残像により点灯して見えるが、数百Ｈｚで点滅している。画素１０におけるリセット動作がなされた後、画素１０は長秒露光（Ａ）を開始する。長秒露光（Ａ）には光源の点灯期間が含まれるため、画素１０には入射光に応じた電荷が蓄積される。光源が極めて明るい場合には、画素１０における電荷は飽和する。長秒露光（Ａ）における画素信号が画素１０から読み出され、画素１０は短秒露光（Ｂ）を開始する。短秒露光（Ｂ）には光源の消灯期間のみが含まれているため、画素１０に蓄積される電荷は少なくなる。その後、短秒露光（Ｂ）における画素信号が画素１０から読み出さる。なお、図５には、第ｍ行の露光タイミングのみが図示されているが、各行の露光は所定時間だけずれて駆動され、画素信号は行毎に順に読み出される。このようにして、長秒露光画像５０Ａ、短秒露光画像５０Ｂがそれぞれ読み出される。
【００２５】
長秒露光画像５０Ａ、短秒露光画像５０Ｂにおいて、黒色は消灯を表し、白色は点灯を表している。長秒露光画像５０Ａにおいては、点灯した光源が被写体５０ａとして含まれているが、被写体５０ａの信号は飽和し、色情報が失われている。一方、短秒露光画像５０Ｂにおいては、光源の被写体５０ｂは消灯している。広ダイナミックレンジ画像５０Ｃにおいては、長秒露光画像５０Ａの飽和した被写体５０ａが短秒露光画像５０Ｂの被写体５０ｂに置き換えられる。しかしながら、被写体５０ｂは消灯しているため、広ダイナミックレンジ画像５０Ｃにおける被写体５０ｃも消灯し、フリッカを十分に抑制することができなくなる。以下に、上述の課題を解決するための撮像装置の駆動方法を説明する。
【００２６】
図６は本実施形態における撮像装置の駆動方法を説明するための図であって、光源、垂直同期信号ＶＤ、露光タイミング、読み出しタイミング、点滅ステータス、露光画像、広ダイナミックレンジ画像を示している。光源は上述の例と同様にＬＥＤを用いた信号機であって、所定の光源周期で点灯および点滅を繰り返している。ここでは、理解を容易にするため、１行分（第ｍ行）の露光タイミングのみが示されているが、各行の露光タイミングは互いに所定時間だけずれて駆動される。
【００２７】
時刻ｔ０において、第ｍ行の画素１０の長秒露光（Ａ）が開始し、光電変換部ＰＤは入射光に応じた電荷を蓄積し始める。時刻ｔ１〜ｔ２において、光源が点灯し、光電変換部ＰＤにおいて電荷が飽和し得る。
【００２８】
時刻ｔ３において、同期信号発生回路２１２は垂直同期信号ＶＤを出力し、長秒露光（Ａ）を終了し、短秒露光（Ｂ）を開始する。垂直走査回路１０１は制御信号ＴＸをハイレベルとし、転送トランジスタＭ１をオンとする。光電変換部ＰＤに蓄積された電荷は浮遊拡散部ＦＤに転送され、浮遊拡散部ＦＤの電位は電荷に応じて低下する。増幅トランジスタＭ３は浮遊拡散部ＦＤの電位に応じた画素信号を列信号線１１０を介して列増幅回路１０２に出力する。列増幅回路１０２は画素信号を増幅し、水平走査回路１０３からの制御信号に従い、長秒露光（Ａ）における１行分の画素信号を順次出力する。上述したように、画素１０の露光および読み出しは行毎に所定時間だけずれて駆動される。画素１０においては、制御信号ＴＸがローレベルとなり、短秒露光（Ｂ）が開始する。時刻ｔ３〜ｔ４において、光源は消灯しているため、光電変換部ＰＤに蓄積される電荷は少ない。
【００２９】
時刻ｔ４において、垂直走査回路１０１は制御信号ＴＸをハイレベルとし、転送トランジスタＭ１をオンとする。これにより、短秒露光（Ｂ）において光電変換部ＰＤに蓄積された電荷が浮遊拡散部ＦＤに転送され、短秒露光（Ｂ）における画素信号が画素１０から読み出される。短秒露光（Ｂ）の画素信号は行毎に順次読み出される。
【００３０】
時刻ｔ４〜ｔ５において、転送トランジスタＭ１はオフとなり、光電変換部ＰＤは電荷を蓄積する。長秒露光（Ａ）において、光源が点灯しているため、前回の長秒露光（Ａ）と同様に、光電変換部ＰＤにおける電荷が飽和し得る。
【００３１】
時刻ｔ５において、同期信号発生回路２１２は垂直同期信号ＶＤを出力し、短秒露光（Ｂ）を開始する。また、長秒露光（Ａ）における画素信号が順次読み出される。時刻ｔ６において、転送トランジスタＭ１がオンとなり、短秒露光（Ｂ）における画素信号が順次読み出される。時刻ｔ６において、短秒露光（Ｂ）において光電変換部ＰＤに蓄積された電荷が浮遊拡散部ＦＤに転送され、短秒露光（Ｂ）における画素信号が画素１０から読み出される。
【００３２】
信号処理部２２は上述の処理により読み出された画素信号をデジタルデータに変換し、フレームメモリ２２３に格納する。本実施形態においては、画像解析部２０１は長秒露光画像５１Ａ、短秒露光画像５１Ｂを比較し、同一の位置にある被写体５１ａ、５１ｂを検出する。点滅検出部２０２は被写体５１ａ、５１ｂのそれぞれの画素値が露光期間に比例するか否かを判断する。ここで、短秒露光画像５１Ｂの被写体５１ｂは消灯しているため、被写体５１ａ、５１ｂのそれぞれの画素値は露光期間に比例しない。従って、点滅検出部２０２は被写体５１ａ、５１ｂが点滅していると判断する。連続した２フレームにおいて、点滅検出部２０２が点滅を検出すると、点滅検出部２０２はステータスを「点灯」から「点滅」に変更する（時刻ｔ７）。露光制御部２１１は「点滅」のステータスを受け取り、次の短秒露光（Ｂ）の開始タイミングを変更する。時刻ｔ８は変更前の短秒露光（Ｂ）の開始時刻である。露光制御部２１１は短秒露光（Ｂ）の開始を時刻ｔ８から時刻ｔ９に変更する。すなわち、短秒露光（Ｂ）の開始タイミングは前フレームにおける開始時刻よりもΔｔだけ遅くなり、フレーム期間Ｌ１（時刻ｔ５〜ｔ９）は前のフレーム期間Ｌ（時刻ｔ３〜ｔ５）よりもΔｔだけ長くなる。つまり、露光制御部２１１は、ステータスが「点灯」から「点滅」に変更されると、短秒露光の周期（複数の短秒露光のそれぞれの開始タイミングの間隔とも言える）を、「点灯」の状態における所定の周期から変更する。
【００３３】
時刻ｔ９において、短秒露光（Ｂ）が開始するとともに、長秒露光（Ａ１）による画素信号が読み出される。短秒露光（Ｂ）の位相は遅らせられているため、短秒露光（Ｂ）の期間に、光源が点灯する期間が含まれるようになる。時刻ｔ１０において、短秒露光（Ｂ）における画素信号が読み出される。時刻ｔ１１において、露光制御部２１１はステータスを「点滅」から「点灯」に変更する。時刻ｔ１２において、通常のフレーム周期に従い、短秒露光（Ｂ）が開始する。すなわち、フレーム期間は再びＬとなる。時刻ｔ１２以後の短秒露光（Ｂ）においても、光源が点灯する期間が含まれている。
【００３４】
このように、短秒露光（Ｂ）の開始タイミングを変更することにより、短秒露光（Ｂ）に光源が点灯する期間が含まれるようになり、短秒露光画像５２Ｂの被写体５２ｂは点灯する。画像合成回路２２１は被写体５２ｂの画素値を露光期間の長さに比例して増幅し、長秒露光画像５２Ａにおいて飽和した被写体５２ａを増幅後の被写体５２ｂに置き換える。生成された広ダイナミックレンジ画像５２Ｃにおいては、被写体５２ｃは消灯していない。従って、フリッカを抑制しながら、広ダイナミックレンジ画像５２Ｃを生成することが可能となる。
【００３５】
図７Ａ、図７Ｂ、図７Ｃは本実施形態における点滅検出方法を説明するための図である。図７Ａは、光源が点灯している場合における、露光タイミング、各行読み出しタイミング、露光画像を表している。光源は第１、第２フレームにおいて点灯しており、長秒露光（Ａ）、短秒露光（Ｂ）のいずれにおいても、光源からの光が光電変換部ＰＤに入射する。長秒露光画像７１Ａ、７２Ａ、短秒露光画像７１Ｂ、７２Ｂのそれぞれの画素値は露光期間の長さに比例した値となる。但し、長秒露光画像７１Ａ、７２Ａの画素値が飽和した場合には、画素値は必ずしも露光期間の長さに比例しない。さらに、長秒露光画像７１Ａ、７２Ａのそれぞれの画素値は一致し、短秒露光画像７１Ｂ、７２Ｂのそれぞれの画素値も一致する。すなわち、光源が点灯している場合、第１フレーム、第２フレームにおける画素値は一致する。
【００３６】
図７Ｂは、光源がパルス点灯した場合における、露光タイミング、各行読み出しタイミング、露光画像を表している。第１フレームの長秒露光（Ａ）においてのみ、単一のパルス光が光電変換部ＰＤに入射する。従って、長秒露光画像７３Ａのみが点灯し、長秒露光画像７４Ａ、短秒露光画像７３Ｂ、７４Ｂは消灯する。短秒露光（Ｂ）において、光電変換部ＰＤへの入射光がないため、長秒露光画像７３Ａ、短秒露光画像７３Ｂのそれぞれの画素値は露光期間の長さに比例しない。また、フレームの異なる長秒露光画像７３Ａ、７４Ａの画素値は一致しない。
【００３７】
図７Ｃは、光源が点滅した場合における、露光タイミング、各行読み出しタイミング、露光画像を表している。光源は第１、第２フレームの長秒露光（Ａ）において点灯し、第１、第２フレームの短秒露光（Ｂ）において消灯している。この場合に、長秒露光画像７５Ａ、７６Ａは点灯し、短秒露光画像７５Ｂ、７６Ｂは消灯する。光源が点滅しているため、長秒露光画像７５Ａ、短秒露光画像７５Ｂのそれぞれの画素値は露光期間の長さに比例しない。また、長秒露光画像７５Ａ、７６Ａの画素値は一致し、短秒露光画像７５Ｂ、７６Ｂの画素値も一致する。
【００３８】
以上のように、連続する２つのフレームにおける４枚の画像を比較することにより、光源の点灯、単パルス点灯、点滅を検出することが可能となる。本実施形態における点滅検出方法の詳細を図８および上述した図７Ａ、図７Ｂ、図７Ｃを参照しながら説明する。
【００３９】
図８は本実施形態における点滅検出方法を表すフローチャートである。ステップＳ８０１において、点滅検出部２０２は動作を開始すると、ステータスの初期値を「点灯」に設定する。ステータスは点滅検出部２０２による検出結果を表し、「点灯」、「点滅」の値をとり得る。「点灯」の検出結果は、別の言い方をすれば、被写体の点滅が検出されないことを表している。続いて、点滅検出部２０２は点滅ＦＬＡＧの初期値を「０」に設定する（ステップＳ８０２）。点滅ＦＬＡＧは、連続する２フレームにおいて点滅が検出されたか否かを表している。
【００４０】
第１フレームにおいて、撮像素子１は同期信号発生回路２１２からの同期信号に従い、長秒露光画像を撮像し、信号処理部２２に出力する（ステップＳ８０４）。画像処理回路２２２は長秒露光画像において、露光期間の長さに応じたゲイン処理、相関二重サンプリングなどの画像処理を行い、長秒露光画像をフレームメモリ２２３に格納する（ステップＳ８０５）。同様に、撮像素子１は短秒露光画像を撮像し（ステップＳ８０６）、画像処理回路２２２は画像処理後の短秒露光画像をフレームメモリ２２３に格納する（ステップＳ８０７）。
【００４１】
画像解析部２０１は、フレームメモリ２０５に格納された長秒露光画像、短秒露光画像の同一位置に対応する信号があるか否かを判断する（ステップＳ８１０）。光源が点灯している場合（図７Ａ）には、長秒露光画像、短秒露光画像の同一位置における２つの画素値は露光期間の長さに比例する。長秒露光画像、短秒露光画像のそれぞれの画素値の相関が高くなり、同一位置に対応する信号が存在する（ステップＳ８１０でＹＥＳ）。点滅検出部２０２はステータスを「点灯」に設定するとともに（ステップＳ８１２）、点滅ＦＬＡＧを「０」に設定する（ステップＳ８１３）。ここでは、ステータス、点滅ＦＬＡＧの各値は初期値のままとなる。ステータスが「点灯」である場合、露光制御部２１１はフレームの開始タイミングを変更することなく、長秒露光画像、短秒露光画像の読み出しを継続する。点滅検出部２０２はステップＳ８０４〜Ｓ８１０の処理を繰り返す。
【００４２】
一方、図７Ｂ、図７Ｃに示されたように、光源がパルス点灯または点滅している場合には、第１フレームにおいて長秒露光画像の光源は点灯しているが、短秒露光画像の光源は消灯している。点滅検出部２０２は長秒露光画像、短秒露光画像の同一位置に対応する信号がないと判断する（ステップＳ８１０でＮＯ）。この場合、単パルス点灯（図７Ｂ）、点滅（図７Ｃ）を区別することはできず、点滅検出部２０２はステップＳ８２０以降の処理を実行する。ステップＳ８２０において、点滅検出部２０２は点滅ＦＬＡＧが「１」であるか否かを判断する。ここでは、点滅ＦＬＡＧは「０」であるため（ステップＳ８２０でＮＯ）、点滅検出部２０２は点滅ＦＬＡＧを「１」に設定し（ステップＳ８２１）、第２フレームにおけるステップＳ８０４の処理に戻る。
【００４３】
第２フレームにおいて、点滅検出部２０２は長秒露光画像、短秒露光画像の同一位置に対応する信号がそれぞれ存在するか否かを再度判断する（ステップＳ８１０）。図７Ｂに示されたように、光源が単パルス点灯する場合には、第２フレームにおいて長秒露光画像、短秒露光画像のそれぞれの光源はいずれも消灯する。従って、点滅検出部２０２は長秒露光画像、短秒露光画像の同一位置に対応する信号があると判断し（ステップＳ８１０でＹＥＳ）、ステータスを「点灯」に設定するとともに（ステップＳ８１２）、点滅ＦＬＡＧを「０」にリセットする（ステップＳ８１３）。この後、点滅検出部２０２はステップＳ８０１〜Ｓ８１０の処理を繰り返す。
【００４４】
図７Ｃに示されたように、光源が点滅している場合には、長秒露光画像の光源は点灯し、短秒露光画像の光源は消灯している。この場合、点滅検出部２０２は長秒露光画像、短秒露光画像の同一位置に対応する信号がないと判断し（ステップＳ８１０でＮＯ）、さらに点滅ＦＬＡＧが「１」であるか否かを判断する（ステップＳ８２０）。第１フレームにおいて点滅ＦＬＡＧが「１」に設定されているため、ステップＳ８２０の判断結果はＹＥＳとなり、点滅検出部２０２はステータスを「点滅」に設定する（ステップＳ８２５）。露光制御部２１１は、ステータスが「点滅」に設定されたことに応答して、フレームの位相変更処理を実行する（ステップＳ８３０）。この後、点滅検出部２０２はステップＳ８０４以降の処理を繰り返す。
【００４５】
このように、連続する２つのフレームにおいて光源が点灯、消灯を繰り返した場合に、点滅検出部２０２はステータスを「点灯」から「点滅」に変更している。これにより、光源の点灯、短パルス点灯、点滅を判断することが可能となる。
【００４６】
図９は、本実施形態における位相変更処理のフローチャートであって、図８の位相変更処理（ステップＳ８３０）の詳細を表している。露光制御部２１１は、「点滅」のステータスに応答して、フレームの位相変更処理を実行する（ステップＳ９０１）。すなわち、露光制御部２１１は垂直同期信号ＶＤの位相を変更し、短秒露光の開始タイミングをΔｔだけずらす。この後、撮像素子１は同期信号発生回路２１２からの同期信号に従い、長秒露光画像を撮像し（ステップＳ９０２）、画像処理回路２２２は長秒露光画像において、露光期間の長さに応じたゲイン処理、相関二重サンプリングなどの画像処理を行う（ステップＳ９０３）。同様に、撮像素子１は短秒露光画像を撮像し（ステップＳ９０４）、画像処理回路２２２は画像処理後の短秒露光画像をフレームメモリ２２３に格納する（ステップＳ９０５）。
【００４７】
画像解析部２０１はフレームメモリ２２３に格納された短秒露光画像において光源の入光があるか否かを判断する（ステップＳ９０６）。画像解析部２０１が短秒露光画像において光源の入光がないと判断すると（ステップＳ９０６でＮＯ）、露光制御部２１１は位相の変更量Δｔを調整する（ステップＳ９０７）。露光制御部２１１はステップＳ９０７において調整された位相変更量だけ短秒露光の開始タイミングをさらに遅らせる（ステップＳ９０１）。短秒露光画像において光源の入光があると判断されるまで（ステップＳ９０６でＹＥＳ）、露光制御部２１１はステップＳ９０１〜Ｓ９０７の処理を繰り返す。画像解析部２０１が短秒露光画像に光源の入光があると判断すると（ステップＳ９０６でＹＥＳ）、露光制御部２１１は位相変更処理を終了する（ステップＳ９０８）。さらに、露光制御部２１１はステータスを「点滅」から「点灯」に変更し（ステップＳ９１０）、図８のフローチャートに処理を戻す。
【００４８】
上述したように、露光制御部２１１は短秒露光画像に入光がなされるまで短秒露光の開始タイミングをずらしている。これにより、長秒露光画像、短秒露光画像のそれぞれにおいて入射光が不均一となるのを回避し、フリッカを抑制することができる。また、長秒露光画像、短秒露光画像から合成された広ダイナミックレンジ画像において、光源が消灯するなどの画質の劣化を回避することが可能となる。
【００４９】
図１０Ａ、図１０Ｂは本実施形態における効果を模式的に示したものである。図１０Ａは、位相変更前における露光タイミング、露光画像、広ダイナミックレンジ画像を示している。長秒露光画像８０Ａの被写体８０ａは点灯しているが、短秒露光画像８０Ｂの被写体８０ｂは消灯している。このため、長秒露光画像８０Ａ、短秒露光画像８０Ｂから広ダイナミックレンジ画像８０Ｃを合成すると、光源の被写体８０ｃが消灯してしまう。図１０Ｂは、位相変更後における露光タイミング、露光画像、広ダイナミックレンジ画像を示している。短秒露光（Ｂ）の開始タイミングを変更することにより、短秒露光画像９０Ｂに光源が入光し、被写体９０ｂが点灯する。長秒露光（Ａ）においては、光源が点灯する時間が短くなるため、蓄積される電荷量は減少するが、ここでは被写体９０ｂは飽和レベルであるとする。長秒露光画像９０Ａ、短秒露光画像９０Ｂを合成することで広ダイナミックレンジ画像９０Ｃにおいては、被写体９０ｃは点灯する。
【００５０】
以上述べたように、本実施形態によれば、露光期間の長さの異なる２つの画像におけるフリッカを抑制することができる。また、長秒露光画像、短秒露光画像を合成した広ダイナミックレンジ画像において、高輝度の被写体が暗くなるなどの画質の劣化を回避することが可能となる。なお、本実施形態の撮像装置は、被写体の点滅を検出した際に、短秒露光の開始タイミングを遅らせているが、開始タイミングを早めても良い。さらに、１フレームにおける長秒露光、短秒露光の順序は必ずしも上述の例に限定されない。
【００５１】
［第２実施形態］
第２実施形態における撮像装置について第１実施形態と異なる構成を中心に説明する。第１実施形態における撮像装置は、短秒露光の位相を変更する際に、１フレームの長さも変更している。本実施形態においては、長秒露光、短秒露光のそれぞれの電荷保持部を設けることで、１フレームの長さを変更することなく、露光の位相を変更することが可能である。
【００５２】
図１１は本実施形態における画素１１の等価回路を示している。図１１には、行方向および列方向に２次元配列された複数の画素１１のうち、２行×２列の４個の画素１１が示されているが、撮像装置はさらに多くの画素を有している。各画素１１は、光電変換部ＰＤ、浮遊拡散部ＦＤ、第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１、第１の転送トランジスタＭ１２、第２の転送トランジスタＭ２２、増幅トランジスタＭ３、選択トランジスタＭ４、リセットトランジスタＭ５、第１の保持部Ｃ１、第２の保持部Ｃ２を備える。
【００５３】
光電変換部ＰＤは、入射光を光電変換するとともに、光電変換による電荷を蓄積する。第１のメモリ転送トランジスタＭ１１は光電変換部ＰＤの電荷を第１の保持部Ｃ１に転送し、第１の転送トランジスタＭ１２は第１の保持部Ｃ１の電荷を浮遊拡散部ＦＤに転送する。同様に、第２のメモリ転送トランジスタＭ２１は光電変換部ＰＤの電荷を第２の保持部Ｃ２に転送し、第２の転送トランジスタＭ２２は第２の保持部Ｃ２の電荷を浮遊拡散部ＦＤに転送する。増幅トランジスタＭ３のドレインには電源電圧ＶＤＤが印加され、ソースは選択トランジスタＭ４を介して列信号線１１０に接続されている。増幅トランジスタＭ３はソースフォロアを構成し、浮遊拡散部ＦＤの電圧に基づく信号を選択トランジスタＭ４を介して列信号線１１０に出力する。列信号線１１０には定電流源１６が接続されている。リセットトランジスタＭ５のドレインには電源電圧ＶＤＤが印加され、リセットトランジスタＭ５は、オンとなることにより浮遊拡散部ＦＤの電圧をリセットする。
【００５４】
同一行の画素１１に対しては共通の制御信号が垂直走査回路１０１から供給される。すなわち、第ｍ行の画素１１の第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１、第１の転送トランジスタＭ１２、第２の転送トランジスタＭ２２、選択トランジスタＭ４、リセットトランジスタＭ５には、制御信号ＧＳ１（ｍ）、ＧＳ２（ｍ）、ＴＸ１（ｍ）、ＴＸ２（ｍ）、ＳＥＬ（ｍ）、ＲＥＳ（ｍ）がそれぞれ供給される。これらのトランジスタは、制御信号がハイレベルのときにオンとなり、ローレベルのときにオフとなる。各行の制御信号を同時にオンまたはオフに制御することにより、複数の画素１１における露光期間の制御を同時に行うことができる。なお、複数の画素１１が１つの増幅トランジスタＭ３を共有しても良い。また、光電変換部ＰＤにオーバーフロードレイントランジスタを設けても良い。画素部１００には、有効画素の他に、遮光画素、光電変換部を有さないダミー画素などのように画像を出力しない画素が含まれ得る。
【００５５】
画素１１において、第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１のオンまたはオフのタイミングを制御することによって短秒露光、長秒露光の画像を取得することができる。第１のメモリ転送トランジスタＭ１１をオンとすることで、長秒露光の電荷を光電変換部ＰＤから第１の保持部Ｃ１に転送することができる。また、第２のメモリ転送トランジスタＭ２１をオンとすることで、短秒露光の電荷を光電変換部ＰＤから第２の保持部Ｃ２に転送することができる。
【００５６】
光電変換部ＰＤから第１の保持部Ｃ１、第２の保持部Ｃ２に電荷を転送する順序および回数は適宜定められ得る。例えば、第１のメモリ転送トランジスタＭ１１をオンとした後に、第２のメモリ転送トランジスタＭ２１にオンとし、さらに第１のメモリ転送トランジスタをオンとしても良い。第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１を排他的にオン、オフさせることにより、長秒露光の電荷を第１の保持部Ｃ１に蓄積し、短秒露光の電荷を第２の保持部Ｃ２に蓄積しても良い。この場合、第１の保持部Ｃ１に保持される電荷量は、第１のメモリ転送トランジスタＭ１１のオンの合計時間において露光された電荷量となる。第２の保持部Ｃ２に保持される電荷量は第２のメモリ転送トランジスタＭ２１のオンの時間に露光された露光量となる。また、メモリ転送トランジスタＭ１１、Ｍ２１がオフの期間において光電変換部ＰＤに電荷を蓄積し、メモリ転送トランジスタＭ１１、Ｍ２１をオンとすることで電荷を第１の保持部Ｃ１、第２の保持部Ｃ２に転送してもよい。この場合、第１の保持部Ｃ１、第２の保持部Ｃ２に保持される電荷量は、メモリ転送トランジスタＭ１１、Ｍ２１がオフの期間に光電変換部ＰＤに蓄積された電荷量となる。
【００５７】
図１２は、本実施形態における撮像装置の駆動方法を説明するための図であって、光源、垂直同期信号ＶＤ、露光タイミング、読み出しタイミング、点滅ステータス、露光画像、広ダイナミックレンジ画像を示している。本実施形態に置いては、同期信号発生回路２１２は一定の周期で垂直同期信号ＶＤを出力しており、１フレームの長さは一定となっている。
【００５８】
時刻ｔ２０において、第１フレームにおける長秒露光（Ａ）が開始し、光電変換部ＰＤは入射光に応じた電荷を蓄積し始める。時刻ｔ２１において、光電変換部ＰＤに蓄積された電荷が第１の保持部Ｃ１に転送されるとともに、光電変換部ＰＤは短秒露光（Ｂ）における電荷を蓄積し始める。時刻ｔ２１〜ｔ２２において、光源は消灯しているため、光電変換部ＰＤに蓄積される電荷は少ない。
【００５９】
時刻ｔ２２において、光電変換部ＰＤに蓄積された電荷が第２の保持部Ｃ２に転送され、短秒露光（Ｂ）が終了する。続いて、時刻ｔ２２〜ｔ２４において、第２フレームの長秒露光（Ａ）が行われ、時刻ｔ２４〜ｔ２５において、短秒露光（Ｂ）が行われる。
【００６０】
時刻ｔ２２〜ｔ２４において光電変換部ＰＤが電荷を蓄積している間、第１フレームの画素信号が行毎に読み出される。例えば、第ｍ行において、第１の転送トランジスタＭ１２がオンとなり、第１の保持部Ｃ１に保持された電荷が浮遊拡散部ＦＤに転送される。増幅トランジスタＭ３は長秒露光（Ａ）における画素信号を列信号線１１０に出力する。続いて、第２の転送トランジスタＭ２２がオンとなり、第２の保持部Ｃ２に保持された電荷が浮遊拡散部ＦＤに転送される。増幅トランジスタＭ３は短秒露光（Ｂ）における画素信号を列信号線１１０に出力する。信号処理部２２は上述の処理により読み出された画素信号をデジタルデータに変換し、フレームメモリ２２３に格納する。第１フレームにおける長秒露光画像９２Ａにおいては、被写体９２ａは飽和レベルとなっているが、短秒露光画像９２Ｂにおいては、被写体９２ｂは消灯している。このため、広ダイナミックレンジ画像９２Ｃの被写体９２ｃも消灯する。本実施形態においても、点滅検出部２０２は、連続した２フレームにおいて点滅を検出すると、ステータスを「点灯」から「点滅」に変更する（時刻ｔ２３）。
【００６１】
時刻ｔ２３において、露光制御部２１１は「点滅」のステータスを受け取り、短秒露光（Ｂ）の開始タイミングを変更する。例えば、露光制御部２１１は、時刻ｔ２５〜時刻ｔ２６における第１の長秒露光（Ａ１）、時刻ｔ２６〜ｔ２７における短秒露光（Ｂ）、時刻ｔ２７〜ｔ２９における第２の長秒露光（Ａ２）の順に露光を行う。第１の長秒露光（Ａ１）と第２の長秒露光（Ａ２）との合計時間は長秒露光（Ａ）の時間に等しい。また、短秒露光（Ｂ）の長さ、１フレームの長さは各フレームにおいて一定である。第３フレームにおいて、露光制御部２１１は短秒露光（Ｂ）の開始タイミングを変更することにより、短秒露光画像９３Ｂに光源を入光させることができる。画像解析部２０１が短秒露光画像９３Ｂに光源の入光があると判断すると、露光制御部２１１は位相変更処理を終了する。さらに、点滅検出部２０２はステータスを「点滅」から「点灯」に変更する（時刻ｔ２８）。
【００６２】
第４フレームにおいて、第３フレームと同様に露光がなされる。すなわち、時刻ｔ２９〜ｔ３０における第１の長秒露光（Ａ１）、時刻ｔ３０〜ｔ３１における短秒露光（Ｂ）、時刻ｔ３１〜ｔ３２における第２の長秒露光（Ａ２）がなされる。
【００６３】
このように、短秒露光（Ｂ）の開始タイミングを変更することにより、短秒露光（Ｂ）に光源が点灯する期間が含まれるようになり、長秒露光画像９３Ａと同様に、短秒露光画像９３Ｂの被写体９３ｂは点灯する。従って、本実施形態においても、露光期間の長さの異なる２つの画像において入射光の不均一を回避し、フリッカを抑制することが可能となる。また、画像合成回路２２１は、被写体９３ｂの画素値を露光時間に比例して増幅し、長秒露光画像９３Ａにおいて飽和した被写体９３ａを増幅後の被写体９３ｂに置き換える。生成された広ダイナミックレンジ画像９３Ｃにおいては、被写体９３ｃは点灯する。従って、フリッカを抑制しながら、広ダイナミックレンジ画像９３Ｃを生成することが可能となる。また、本実施形態においては、１フレームの長さを変更することなく、短秒露光の開始タイミングを変更することが可能である。
【００６４】
なお、１フレームにおける長秒露光、短秒露光の順序、回数、タイミングは上述の例に限定されない。短秒露光の合計時間が一定である限り、短秒露光を複数回に分割して行っても良い。また、短秒露光、長秒露光を１フレームにおいて複数回、繰り返しても良い。また、第１実施形態と同様に、１フレームの長さを変更する駆動方法を併せて実行しても良い。
【００６５】
［第３の実施形態］
第３実施形態における撮像装置について第２実施形態と異なる構成を中心に説明する。第２実施形態において、１フレームにおけるメモリ転送トランジスタＭ１１、Ｍ２１のスイッチングの回数に制約はない。但し、メモリ転送トランジスタＭ１１、Ｍ２１のスイッチングの回数が増加すると、消費電力の増加、放射ノイズの発生が生じ得る。本実施形態においては、消費電力、ノイズ、光源の周期などの要因に基づき、１フレームにおけるメモリ転送トランジスタＭ１１、Ｍ２１のスイッチング回数を予め最適な初期値に設定される。位相変更は、初期値における露光タイミングを変更することにより行われる。
【００６６】
図１３、図１４は、本実施形態における撮像装置の駆動方法を示すタイミングチャートである。図１３では、１フレームにおけるメモリ転送トランジスタＭ１１、Ｍ２１のスイッチング回数の初期値は４回に設定されている。すなわち、メモリ転送トランジスタＭ１１、Ｍ２１のスイッチングは長秒露光（Ａ１）、短秒露光（Ｂ１）、長秒露光（Ａ２）、短秒露光（Ｂ２）、長秒露光（Ａ３）、短秒露光（Ｂ３）、長秒露光（Ａ４）、短秒露光（Ｂ４）の順に行われる。光源の点滅が１フレームにおいて複数回繰り返される場合には、図１３に示された初期値は有効である。なお、メモリ転送トランジスタＭ１１、Ｍ２１のスイッチング回数は必ずしも４回に限定されるものではない。
【００６７】
図１４は、図１３の光源の点滅周期の１／２、すなわち２倍の周波数の光源を撮影した場合の露光を示している。点滅検出前の露光においては、短秒露光（Ｂ１）に入光が無いため、この短秒露光画像から合成された広ダイナミックレンジ画像は消灯された画像となってしまう。本実施形態の撮像装置は、図８に示す方法にて点滅を検出すると、短秒露光（Ｂ１）を長秒露光（Ａ１）長さの半分のタイミングに移動させる。このように、図１４の例においては、広ダイナミックレンジ撮影が可能となる点滅周波数が２倍となる。
【００６８】
本実施形態においても、フリッカを抑制しながら、広ダイナミックレンジ撮影を実現することが可能である。また、本実施形態においては、１フレームにおけるメモリ転送トランジスタＭ１１、Ｍ２１のスイッチング回数を予め最適な初期値に設定することで、消費電力、ノイズ等の影響を最小限に抑えながら、位相変更の頻度を低減することができる。
【００６９】
[第４実施形態]
第１〜第３実施形態における撮像装置は、長秒露光画像、短秒露光画像を用いて光源の点滅を検出している。本実施形態においては、長秒露光画像、短秒露光画像を用いて、さらに被写体の移動速度の算出などのオブジェクト検出を行うことも可能である。以下、上述の実施形態と異なる構成を中心に説明する。
【００７０】
図１５は本実施形態における撮像装置の動作を説明するための図である。長秒露光画像１５０Ａ、短秒露光画像１５０Ｂは１フレーム内において所定時間だけずれて撮影される。このため、長秒露光画像１５０Ａの被写体１５０ａは短秒露光画像１５０Ｂにおいて被写体１５０ｂの位置に移動している。検出部２０は、被写体１５０ａ、被写体１５０ｂの移動量Δｄと撮影時間の差に基づき、被写体１５０ａの移動速度を算出することが可能である。さらに、検出部２０は、車両などの移動体、信号機などの静止体を判断可能である。検出部２０は、被写体の速度に応じて短秒露光の位相変更量を最適な値に調整し、より高精度な広ダイナミックレンジの画像を撮影することが可能となる。
【００７１】
［第５実施形態］
上述の実施形態における固体撮像装置は種々の撮像システムに適用可能である。撮像システムとして、デジタルスチルカメラ、デジタルカムコーダ、カメラヘッド、複写機、ファックス、携帯電話、車載カメラ、観測衛星、監視カメラなどがあげられる。図１６に、撮像システムの例としてデジタルスチルカメラのブロック図を示す。
【００７２】
図１６に示す撮像システムは、バリア１００１、レンズ１００２、絞り１００３、撮像装置１００４、信号処理装置１００７、タイミング発生部１００８、全体制御・演算部１００９、メモリ部１０１０、記録媒体制御Ｉ／Ｆ部１０１１、記録媒体１０１２、外部Ｉ／Ｆ部１０１３を含む。バリア１００１はレンズ１００２を保護し、レンズ１００２は被写体の光学像を撮像装置１００４に結像させる。絞り１００３はレンズ１００２を通った光量を可変する。撮像装置１００４は上述の実施形態の固体撮像装置を含み、レンズ１００２により結像された光学像を画像データに変換する。信号処理装置１００７は撮像装置１００４より出力された画像データに各種の補正、データ圧縮を行う。タイミング発生部１００８は撮像装置１００４および信号処理装置１００７に、各種タイミング信号を出力する。全体制御・演算部１００９はデジタルスチルカメラ全体を制御し、メモリ部１０１０は画像データを一時的に記憶する。記録媒体制御Ｉ／Ｆ部１０１１は記録媒体１０１２に画像データの記録または読み出しを行うためのインターフェースであり、記録媒体１０１２は撮像データの記録または読み出しを行うための半導体メモリ等の着脱可能な記録媒体である。外部Ｉ／Ｆ部１０１３は外部コンピュータ等と通信するためのインターフェースである。タイミング信号などは撮像システムの外部から入力されてもよく、撮像システムは少なくとも撮像装置１００４と、撮像装置１００４から出力された画像信号を処理する信号処理装置１００７とを有すればよい。
【００７３】
本実施形態では、撮像装置１００４とＡＤ変換部とが同一の半導体基板に設けられた構成を説明した。しかし、撮像装置１００４とＡＤ変換部とが別の半導体基板に形成されていてもよい。また、撮像装置１００４と信号処理装置１００７とが同一の半導体基板に形成されていてもよい。
【００７４】
また、それぞれの画素が第１の光電変換部と、第２の光電変換部を含んでもよい。信号処理装置１００７は、第１の光電変換部で生じた電荷に基づく画素信号と、第２の光電変換部で生じた電荷に基づく画素信号とを処理し、撮像装置１００４から被写体までの距離情報を取得するように構成されてもよい。
【００７５】
［第６実施形態］
図１７Ａ、図１７Ｂは、本発明の第６実施形態における車載カメラに関する撮像システムの一例を示したものである。撮像システム２０００は、上述した実施形態の撮像装置１００４を有する。撮像システム２０００は、撮像装置１００４により取得された複数の画像データに対し、画像処理を行う画像処理部２０３０と、撮像システム２０００より取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差算出部２０４０を有する。また、撮像システム２０００は、算出された視差に基づいて対象物までの距離を算出する距離計測部２０５０と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部２０６０とを有する。ここで、視差算出部２０４０、距離計測部２０５０は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部２０６０はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）によって実現されてもよいし、これらの組合せによって実現されてもよい。
【００７６】
撮像システム２０００は車両情報取得装置２３１０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム２０００には、衝突判定部２０６０での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ２４１０が接続されている。また、撮像システム２０００は、衝突判定部２０６０での判定結果に基づいて、ドライバーへ警報を発する警報装置２４２０とも接続されている。例えば、衝突判定部２０６０の判定結果として衝突可能性が高い場合、制御ＥＣＵ２４１０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置２４２０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。撮像システム２０００は上述のように車両を制御する動作の制御を行う制御手段として機能する。
【００７７】
本実施形態では車両の周囲、例えば前方または後方を撮像システム２０００で撮像する。図１７Ｂに、車両前方（撮像範囲２５１０）を撮像する場合の撮像システムを示した。撮像制御手段としての車両情報取得装置２３１０が、上述の第１乃至第５実施形態に記載した動作を行うように撮像システム２０００ないしは撮像装置１００４に指示を送る。撮像装置１００４の動作は、第１乃至第４の実施形態と同じなので、ここでは説明を省略する。このような構成により、測距の精度をより向上させることができる。
【００７８】
上述では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
【００７９】
［他の実施形態］
本発明は、上述の実施形態に限らず種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
【００８０】
なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００８１】
１  撮像素子
２０  検出部
２１  制御部
２２  画像処理部
１０１  垂直走査回路
２０２  点滅検出部
２１２  同期信号発生回路
２２１  画像合成回路
ＰＤ  光電変換部
Ｃ１、Ｃ２  保持部
【図１】
2019114949.tif 000003
【図２】
2019114949.tif 000004
【図３】
2019114949.tif 000005
【図４】
2019114949.tif 000006
【図５】
2019114949.tif 000007
【図６】
2019114949.tif 000008
【図７Ａ】
2019114949.tif 000009
【図７Ｂ】
2019114949.tif 000010
【図７Ｃ】
2019114949.tif 000011
【図８】
2019114949.tif 000012
【図９】
2019114949.tif 000013
【図１０Ａ】
2019114949.tif 000014
【図１０Ｂ】
2019114949.tif 000015
【図１１】
2019114949.tif 000016
【図１２】
2019114949.tif 000017
【図１３】
2019114949.tif 000018
【図１４】
2019114949.tif 000019
【図１５】
2019114949.tif 000020
【図１６】
2019114949.tif 000021
【図１７Ａ】
2019114949.tif 000022
【図１７Ｂ】
2019114949.tif 000023