(57)【要約】【課題】撮像装置においてフラッシュ光等の外部閃光による白帯状の妨害を抑え、且つ本来必要とするフラッシュ光による明るい撮像画像を得ることを目的とする。【解決手段】撮像装置１００は、レンズ部１１０より結像される被写体から撮像信号を取得する撮像部１０１と、撮像部１０１のシャッター時間を制御し、シャッター時間を示すシャッター時間情報を出力するタイミング生成部１０２と、タイミング生成部１０２からのシャッター時間情報に基づき、撮像信号からフラッシュを検出するフラッシュ検出部１０４と、撮像信号に対してカメラ処理を施し、画像データを出力するカメラ処理部１０３と、画像データを一時的に格納するバッファ１０５と、を備える。カメラ処理部１０３は、フラッシュ検出部１０４のフラッシュ検出結果に応じて、バッファ１０５から連続する複数のフレームの画像データを取り出し、複数のフレームの画像データを加算し、出力する。【選択図】図１
2010278728.tif 000002
【特許請求の範囲】
【請求項１】
レンズ部より結像される被写体から撮像信号を取得する撮像部と、
前記撮像部のシャッター時間を制御し、シャッター時間を示すシャッター時間情報を出力するタイミング生成部と、
前記タイミング生成部からのシャッター時間情報に基づき、撮像信号からフラッシュを検出するフラッシュ検出部と、
撮像信号に対してカメラ処理を施し、画像データを出力するカメラ処理部と、
画像データを一時的に格納するバッファと、
を備え、
前記カメラ処理部は、前記フラッシュ検出部のフラッシュ検出結果に応じて、前記バッファから連続する複数のフレームの画像データを取り出し、前記複数のフレームの画像データを加算し、出力する、
撮像装置。
【請求項２】
前記フラッシュ検出部がフラッシュを検出したとき、前記タイミング生成部は、前記撮像部のシャッター動作をオフにするよう制御する、
請求項１記載の撮像装置。
【請求項３】
前記フラッシュ検出部がフラッシュを所定の期間内に所定の回数以上検出したとき、前記タイミング生成部は、前記撮像部のシャッター動作をオフにするよう制御する、
請求項１記載の撮像装置。
【請求項４】
前記タイミング生成部が前記撮像部のシャッター動作をオフに制御したとき、前記カメラ処理部は、出力信号が所定レベルとなるように撮像信号に対するゲインを調整する、
請求項２又は３記載の撮像装置。
【請求項５】
前記カメラ処理部は、前記撮像部のシャッター動作がオフの場合のみ、前記バッファから連続する複数のフレームの画像データを取り出し、前記複数のフレームの画像データを加算し、出力する、
請求項１記載の撮像装置。
【請求項６】
前記フラッシュ検出部が所定の期間内にフラッシュを検出しないとき、前記タイミング生成部は、前記撮像部のシャッター動作をオンにするよう制御する、
請求項１記載の撮像装置。
【請求項７】
レンズ部より結像される被写体から撮像信号を取得する撮像部と、
前記撮像部のシャッター時間を制御し、シャッター時間を示すシャッター時間情報を出力するタイミング生成部と、
前記タイミング生成部からのシャッター時間情報に基づき、撮像信号からフラッシュを検出するフラッシュ検出部と、
撮像信号に対してカメラ処理を施し、画像データを出力するカメラ処理部と、
画像データを一時的に格納するバッファと、
を備え、
前記フラッシュ検出部がフラッシュを所定の期間内に所定の回数以上検出したとき、前記タイミング生成部は、前記撮像部のシャッター動作をオフにするよう制御し、
前記カメラ処理部は、
前記タイミング生成部が前記撮像部のシャッター動作をオフに制御したとき、出力信号が所定のレベルとなるように撮像信号に対するゲインを調整し、
前記撮像部のシャッター動作がオフの場合であって且つ前記フラッシュ検出部がフラッシュを検出した場合に、前記バッファから連続する複数のフレームの画像データを取り出し、前記複数のフレームの画像データを加算し、出力する、
撮像装置。
【請求項８】
レンズ部より結像される被写体から撮像信号を取得する撮像部を備える撮像装置に用いられる集積回路であって、
前記撮像部のシャッター時間を制御し、シャッター時間を示すシャッター時間情報を出力するタイミング生成部と、
前記タイミング生成部からのシャッター時間情報に基づき、撮像信号からフラッシュを検出するフラッシュ検出部と、
撮像信号に対してカメラ処理を施し、画像データをバッファに格納し又は出力するカメラ処理部と、
を備え、
前記カメラ処理部は、前記フラッシュ検出部のフラッシュ検出結果に応じて、バッファに格納された連続する複数のフレームの画像データを取り出し、前記複数のフレームの画像データを加算し、出力する、
集積回路。
【請求項９】
レンズ部より結像される被写体から撮像信号を取得する撮像部と、画像データを一時的に格納するバッファと、を備える撮像装置に用いられる画像処理方法であって、
前記撮像部のシャッター時間を制御し、シャッター時間を示すシャッター時間情報を出力するタイミング生成ステップと、
前記シャッター時間情報に基づき、撮像信号からフラッシュを検出するフラッシュ検出ステップと、
フラッシュを所定の期間内に所定の回数以上検出したとき、前記撮像部のシャッター動作をオフにするシャッター動作制御ステップと、
撮像信号に対してカメラ処理を施し、画像データを出力するカメラ処理ステップと、
前記シャッター動作制御ステップにおいてシャッター動作をオフに制御したとき、出力信号が所定のレベルとなるように撮像信号に対するゲインを調整するゲイン調整ステップと、
前記撮像部のシャッター動作がオフの場合であって且つ前記フラッシュ検出ステップにおいてフラッシュを検出した場合に、前記バッファから連続する複数のフレームの画像データを取り出し、前記複数のフレームの画像データを加算し、出力する、画像データ出力ステップと、
を備える、画像処理方法。
【請求項１０】
レンズ部より結像される被写体から撮像信号を取得する撮像部と、画像データを一時的に格納するバッファと、を備える撮像装置に用いられる画像処理方法をコンピュータに実行させるプログラムであって、
前記撮像部のシャッター時間を制御し、シャッター時間を示すシャッター時間情報を出力するタイミング生成ステップと、
前記シャッター時間情報に基づき、撮像信号からフラッシュを検出するフラッシュ検出ステップと、
フラッシュを所定の期間内に所定の回数以上検出したとき、前記撮像部のシャッター動作をオフにするシャッター動作制御ステップと、
撮像信号に対してカメラ処理を施し、画像データを出力するカメラ処理ステップと、
前記シャッター動作制御ステップにおいてシャッター動作をオフに制御したとき、出力信号が所定のレベルとなるように撮像信号に対するゲインを調整するゲイン調整ステップと、
前記撮像部のシャッター動作がオフの場合であって且つ前記フラッシュ検出ステップにおいてフラッシュを検出した場合に、前記バッファから連続する複数のフレームの画像データを取り出し、前記複数のフレームの画像データを加算し、出力する、画像データ出力ステップと、
を備える画像処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続画像を撮像するデジタルカメラやビデオカメラ等の撮像装置において、フラッシュ等の閃光による撮像画像の品質（画質）への悪影響を低減する技術に関するものである。
【背景技術】
【０００２】
近年、小型、低消費電力、高速撮像等の特徴をもつCMOS（Complementary Metal Oxide Semiconductor、以降CMOSと記載）撮像素子を用いた撮像装置が民生用ビデオカメラ及び業務用ビデオカメラの分野で躍進してきている。
CMOSは、従来のCCD（Charge Coupled Device、以降CCDと記載）に比べ、種々の特長をもつ。CMOSでは、PD（Photo Diode、以降PDと記載）の電荷読み出しが、CCDのように全画素で同一タイミングでの読出し（いわゆるグローバルシャッター）でなく、ライン（画素）単位で読出しタイミングがずれていく（いわゆるローリングシャッター）ため、各画素の蓄積期間のタイミングがずれる。CMOSでは、これに起因する問題が発生する。
その一つに、スチルカメラ等のフラッシュ光が焚かれている被写体をCMOS撮像素子のビデオカメラで撮像した時に、画像に白帯状の妨害が発生するという問題がある。
【０００３】
以下その現象について図２、図３を用いて説明する。
図２はCMOS撮像素子の蓄積期間と、読み出し、走査期間を模式化した図である。図２は撮像素子を駆動するフレーム周期TFと、撮像素子に電荷を蓄積する蓄積期間TSが同じ、つまりシャッター動作を行っていない（シャッター・オフ）場合の図である。
ここで蓄積期間とは、スチルカメラで言うところのシャッターが開いている露光期間にあたるものでシャッター期間とも言う。
ローリングシャッターのCMOS撮像素子では図のように蓄積期間TSのタイミングがライン毎にずれている。
このため、例えば図２に示したようなタイミングでフラッシュが焚かれると、フレーム１の後半の露光期間とフレーム２前半の露光期間に明るいフラッシュ光が影響する。図ではフラッシュ光がLine3からLine5で異なるフレームの蓄積期間をまたいでいる。
【０００４】
つまりフレーム１ではLine2より前のラインはフラッシュ光の影響は受けず、Line3からLine5はフラッシュ光の影響を受けて徐々に光量が増える。そしてLine6以降はフラッシュ光の全光量の影響を受ける。フレーム２でも同様にLine2より前ではフラッシュ光の全光量の影響を受け、Line3からLine5は徐々に光量が減っていき、Line6以降はフラッシュ光の影響を受けない。
フラッシュ光の影響の結果、カメラ出力画像には、図２に示すように、フレーム１では下側が明るく、フレーム２では上側が明るい、白帯状の妨害が現れる。なお、白帯の発生原理から明らかなように、白帯の時間幅は蓄積期間とほぼ等しく、白帯の縁において信号レベルが変化する時間幅はフラッシュ光が光っている時間幅とほぼ等しくなる。
次に、CMOS撮像素子の駆動においてシャッターがかかっている（シャッター・オン）場合について図３を用いて説明する。
【０００５】
シャッターがかかっている場合、蓄積期間TSが図のように短くなるためフラッシュ光の影響を受けるラインが少なくなる。このためカメラ出力画像に現れる白帯状の妨害の幅はシャッター・オフの場合と比べて狭くなる。なお、この場合も白帯の時間幅は蓄積期間とほぼ等しくなる。
以上説明したように、従来、グローバルシャッターのCCD撮像素子であればフラッシュを焚くと画面全体が一様に明るくなるが、ローリングシャッターのCMOS撮像素子では画面に白帯状の妨害が発生するという課題があった。
この課題を解決するため、従来、次のような撮像装置が知られている（例えば、特許文献1参照）。図６は従来の撮像装置の構成例を示すブロック図である。図６に示す撮像装置１０は、レンズ部１２と、撮像部１３と、画像処理部１４と、バッファ部１５と、記録表示処理部１６と、バッファ部１７と、記録部１８と、表示部１９と、評価部２０と、制御部２３と、を備える。
【０００６】
以上のように構成された従来の撮像装置１０の動作について、以下に説明する。
まず、レンズ部１２から入射する被写体からの光を撮像部１３で撮像信号に変換し画像処理部１４に供給する。
画像処理部１４では撮像信号に対して所定の画像処理を施し、記録表示処理部１６及び評価部２０に供給する。
バッファ部１５には画像処理部１４が画像処理を行う際に、一時的に記憶する必要があるデータが記憶される。
記録表示処理部１６には、画像処理部１４から画像処理が施された画像データが供給され、その画像データを記録部１８に記録させる記録制御、及び表示部１９に表示させる表示制御を行う。
【０００７】
バッファ部１７には、記録表示処理部１６が、記録制御や表示制御を行う際に、一時的に記憶させる必要があるデータが記憶される。
評価部２０は、画像処理部１４から供給された画像から得られる情報、例えば、画像の所定の部分の明るさを示す情報等を評価値として制御部２３へ供給する。
例えば、制御部２３は、その評価値に基づいて、外部のフラッシュ光による悪影響を受けた画像と判断した場合はその画像を排除し、外部のフラッシュ光による悪影響を受けていない画像を記録部１８に記録させる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−３０６２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記従来の撮像装置では、フラッシュ光等の外部閃光による白帯状の妨害を除去することができるが、フラッシュ光による影響を受けた画像は排除するため、フラッシュ光による明るい撮像画像を得ることができない。
本発明は、上記従来の問題点を解決するもので、フラッシュ光等の外部閃光による白帯状の妨害を抑え、且つ本来必要とするフラッシュ光による明るい撮像画像を得ることができる撮像装置、集積回路、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の発明は、撮像部と、タイミング生成部と、フラッシュ検出部と、カメラ処理部と、バッファと、を備える撮像装置である。
撮像部は、レンズ部より結像される被写体から撮像信号を取得する。タイミング生成部は、撮像部のシャッター時間を制御し、シャッター時間を示すシャッター時間情報を出力する。フラッシュ検出部は、タイミング生成部からのシャッター時間情報に基づき、撮像信号からフラッシュを検出する。カメラ処理部は、撮像信号に対してカメラ処理を施し、画像データを出力する。バッファは、画像データを一時的に格納する。
さらにカメラ処理部は、フラッシュ検出部のフラッシュ検出結果に応じて、バッファから連続する複数のフレームの画像データを取り出し、複数のフレームの画像データを加算し、出力する。
【００１１】
ここで、フラッシュ検出部がフラッシュを検出するとは、例えば、撮像部からの撮像信号のレベルが所定のレベルを超えた時間幅とシャッター時間とを比較し、両者がほぼ一致する場合はフラッシュと判定することを含む。また、複数のフレームの画像データを加算するとは、加算の他、加算平均も含む。
この撮像装置では、フラッシュ検出部のフラッシュ検出結果に応じて、カメラ処理部により複数のフレームの画像データを加算し、出力するため、複数のフレームにまたがったフラッシュ光等の外部閃光による白帯状の妨害を抑え、且つ本来必要とするフラッシュ光による明るい撮像画像を得ることができる。
第２の発明は、第１の発明であって、フラッシュ検出部がフラッシュを検出したとき、タイミング生成部は、撮像部のシャッター動作をオフにするよう制御する。
【００１２】
この撮像装置では、フラッシュ検出部によりフラッシュを検出した場合、タイミング生成部により撮像部のシャッター動作をオフに制御することにより、本来必要とするフラッシュ光による明るい撮像画像を確実に得ることができる。
第３の発明は、第１の発明であって、フラッシュ検出部がフラッシュを所定の期間内に所定の回数以上検出したとき、タイミング生成部は、撮像部のシャッター動作をオフにするよう制御する。
この撮像装置では、フラッシュ検出部によるフラッシュの検出を、より確実に行うことができる。
第４の発明は、第２又は第３の発明であって、タイミング生成部が撮像部のシャッター動作をオフに制御したとき、カメラ処理部は、出力信号が所定レベルとなるように撮像信号に対するゲインを調整する。
【００１３】
この撮像装置では、タイミング生成部によりシャッター動作がオフに切り替えられたとき、カメラ処理部１０３により撮像信号のゲインを調整することにより、シャッター動作オン時とオフ時の間において得られる画像の明るさに差が出ることを抑制でき、画像の品質を保証することができる。
第５の発明は、第１の発明であって、カメラ処理部は、撮像部のシャッター動作がオフの場合のみ、バッファから連続する複数のフレームの画像データを取り出し、複数のフレームの画像データを加算し、出力する。
この撮像装置では、撮像部のシャッター動作がオフの場合のみ、フラッシュ検出結果に応じてカメラ処理部により画像データを加算し、出力するため、本来必要とするフラッシュ光による明るい撮像画像をより確実に得ることができる。
【００１４】
第６の発明は、第１の発明であって、フラッシュ検出部が所定の期間内にフラッシュを検出しないとき、タイミング生成部は、撮像部のシャッター動作をオンにするよう制御する。
この撮像装置では、不必要にシャッター・オフ状態が続くことを防ぐことができる。
第７の発明は、撮像部と、タイミング生成部と、フラッシュ検出部と、カメラ処理部と、バッファと、を備える撮像装置である。
撮像部は、レンズ部より結像される被写体から撮像信号を取得する。タイミング生成部は、撮像部のシャッター時間を制御し、シャッター時間を示すシャッター時間情報を出力する。フラッシュ検出部は、タイミング生成部からのシャッター時間情報に基づき、撮像信号からフラッシュを検出する。カメラ処理部は、撮像信号に対してカメラ処理を施し、画像データを出力する。バッファは、画像データを一時的に格納する。
【００１５】
さらに、フラッシュ検出部がフラッシュを所定の期間内に所定の回数以上検出したとき、タイミング生成部は、撮像部のシャッター動作をオフにするよう制御する。また、カメラ処理部は、タイミング生成部が撮像部のシャッター動作をオフに制御したとき、出力信号が所定のレベルとなるように撮像信号に対するゲインを調整する。カメラ処理部はさらに、撮像部のシャッター動作がオフの場合であって且つフラッシュ検出部がフラッシュを検出した場合に、バッファから連続する複数のフレームの画像データを取り出し、複数のフレームの画像データを加算し、出力する。
この撮像装置では、複数のフレームにまたがったフラッシュ光等の外部閃光による白帯状の妨害を抑え、且つ本来必要とするフラッシュ光による明るい撮像画像を得ることができる。
【００１６】
第８の発明は、レンズ部より結像される被写体から撮像信号を取得する撮像部を備える撮像装置に用いられる集積回路であって、タイミング生成部と、フラッシュ検出部と、カメラ処理部と、を備える。
タイミング生成部は、撮像部のシャッター時間を制御し、シャッター時間を示すシャッター時間情報を出力する。フラッシュ検出部は、タイミング生成部からのシャッター時間情報に基づき、撮像信号からフラッシュを検出する。カメラ処理部は、撮像信号に対してカメラ処理を施し、画像データをバッファに格納し又は出力する。
さらにカメラ処理部は、フラッシュ検出部のフラッシュ検出結果に応じて、バッファに格納された連続する複数のフレームの画像データを取り出し、複数のフレームの画像データを加算し、出力する。
【００１７】
この集積回路では、撮像装置において、複数のフレームにまたがったフラッシュ光等の外部閃光による白帯状の妨害を抑え、且つ本来必要とするフラッシュ光による明るい撮像画像を得ることができる。
第９の発明は、レンズ部より結像される被写体から撮像信号を取得する撮像部と、画像データを一時的に格納するバッファと、を備える撮像装置に用いられる画像処理方法であって、タイミング生成ステップと、フラッシュ検出ステップと、シャッター動作制御ステップと、カメラ処理ステップと、ゲイン調整ステップと、画像データ出力ステップと、を備える。
タイミング生成ステップにおいては、撮像部のシャッター時間を制御し、シャッター時間を示すシャッター時間情報を出力する。フラッシュ検出ステップにおいては、シャッター時間情報に基づき、撮像信号からフラッシュを検出する。シャッター動作制御ステップにおいては、フラッシュを所定の期間内に所定の回数以上検出したとき、撮像部のシャッター動作をオフにする。カメラ処理ステップにおいては、撮像信号に対してカメラ処理を施し、画像データを出力する。ゲイン調整ステップにおいては、シャッター動作制御ステップにおいてシャッター動作をオフに制御したとき、出力信号が所定のレベルとなるように撮像信号に対するゲインを調整する。画像データ出力ステップにおいては、撮像部のシャッター動作がオフの場合であって且つフラッシュ検出ステップにおいてフラッシュを検出した場合に、バッファから連続する複数のフレームの画像データを取り出し、複数のフレームの画像データを加算し、出力する。
【００１８】
この画像処理方法では、撮像装置において、複数のフレームにまたがったフラッシュ光等の外部閃光による白帯状の妨害を抑え、且つ本来必要とするフラッシュ光による明るい撮像画像を得ることができる。
第１０の発明は、レンズ部より結像される被写体から撮像信号を取得する撮像部と、画像データを一時的に格納するバッファと、を備える撮像装置に用いられる画像処理方法をコンピュータに実行させるプログラムであって、タイミング生成ステップと、フラッシュ検出ステップと、シャッター動作制御ステップと、カメラ処理ステップと、ゲイン調整ステップと、画像データ出力ステップと、を備える。
タイミング生成ステップにおいては、撮像部のシャッター時間を制御し、シャッター時間を示すシャッター時間情報を出力する。フラッシュ検出ステップにおいては、シャッター時間情報に基づき、撮像信号からフラッシュを検出する。シャッター動作制御ステップにおいては、フラッシュを所定の期間内に所定の回数以上検出したとき、撮像部のシャッター動作をオフにする。カメラ処理ステップにおいては、撮像信号に対してカメラ処理を施し、画像データを出力する。ゲイン調整ステップにおいては、シャッター動作制御ステップにおいてシャッター動作をオフに制御したとき、出力信号が所定のレベルとなるように撮像信号に対するゲインを調整する。画像データ出力ステップにおいては、撮像部のシャッター動作がオフの場合であって且つフラッシュ検出ステップにおいてフラッシュを検出した場合に、バッファから連続する複数のフレームの画像データを取り出し、複数のフレームの画像データを加算し、出力する。
【００１９】
このプログラムでは、撮像装置において、複数のフレームにまたがったフラッシュ光等の外部閃光による白帯状の妨害を抑え、且つ本来必要とするフラッシュ光による明るい撮像画像を得ることができる。
【発明の効果】
【００２０】
以上のように本発明は、フラッシュ光等の外部閃光による白帯状の妨害を抑え、且つ本来必要とするフラッシュ光による明るい撮像画像を得ることができるという優れた効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一の実施の形態における撮像装置の構成を示すブロック図
【図２】同実施の形態において、シャッター・オフ時の撮像装置の動作説明のためのタイミングチャート図
【図３】同実施の形態において、シャッター・オン時の撮像装置の動作説明のためのタイミングチャート図
【図４】同実施の形態において、シャッター・オン時の撮像装置の動作説明のためのタイミングチャート図
【図５】同実施の形態における撮像装置の動作のタイミングチャート図
【図６】従来の撮像装置の構成を示すブロック図
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図１から図５を用いて説明する。
（実施の形態）
＜１．１．撮像装置１００の構成＞
図１は本発明による一つの実施の形態における撮像装置１００の構成を示すブロック図である。
図１において、撮像装置１００は、レンズ部１１０と、撮像部１０１と、タイミング生成部（TG）１０２と、カメラ処理部１０３と、フラッシュ検出部１０４と、フレームバッファ（バッファ）１０５と、記録部１０６と、表示部１０７とを備える。カメラ処理部１０３及びフラッシュ検出部１０４は、ＬＳＩ等の集積回路で構成されている。なお、この集積回路は、フレームバッファ１０５も含まれるよう構成されていてもよい。
【００２３】
レンズ部１１０は、光学系を備える。
撮像部１０１は、CMOS撮像素子等を含み、レンズ部１１０より結像される被写体から撮像信号を取得し、カメラ処理部１０３及びフラッシュ検出部１０４に出力する。撮像部１０１はさらに、タイミング生成部１０２から出力されるシャッター動作制御信号を入力とし、同信号に基づいて撮像部１０１のシャッター時間が制御される。なお、シャッター時間とは、いわゆる電子シャッターにより調整される撮像素子による電荷の蓄積期間である。また、シャッター時間を変更するとは、後述するようなシャッター・オンとシャッター・オフの切替えを含む。
タイミング生成部１０２は、撮像部１０１に対しシャッター動作制御信号を出力して撮像部１０１のシャッター動作を制御し、フラッシュ検出部１０４に対しシャッター時間を示すシャッター時間情報を出力する。ここで、シャッター時間情報とは、撮像部１０１におけるシャッター時間そのものであったり、撮像部１０１での撮像間隔に対する比率で表現したりする。タイミング生成部１０２はまた、次に述べるフラッシュ検出部１０４より出力されるシャッター制御信号を入力とし、同信号に応じて撮像部１０１のシャッター時間を制御する。
【００２４】
フラッシュ検出部１０４は、撮像部１０１から出力される撮像信号と、タイミング生成部１０２から出力されるシャッター時間情報とを入力とする。フラッシュ検出部１０４は、撮像信号が所定の信号レベルを超える期間の長さ（図２で示す白帯のラインが連続する幅）と、シャッター時間情報とからフラッシュが焚かれたかどうかを判断する。
フラッシュ検出部１０４は更に、後述するように、所定の条件を満たすフラッシュを検出したとき、撮像部１０１がシャッター・オン状態の場合は、タイミング生成部１０２にシャッター制御信号を出力して、撮像部１０１のシャッター動作をオフに制御する。フラッシュ検出部１０４は、シャッター動作をオフに切り替えた後所定のタイミングで、カメラ処理部１０３に画像処理制御信号（ゲイン調整）を出力し、後述するように撮像信号のゲインをシャッター時間に応じて調整させる。
【００２５】
フラッシュ検出部１０４はまた、後述するようにシャッター・オフ時にフラッシュが焚かれたと判断した場合、所定のタイミングで画像処理制御信号（フレーム加算）をカメラ処理部１０３に出力し、後述するように複数フレームの画像データの加算処理を実行させる。
カメラ処理部１０３は、撮像部１０１から出力される撮像信号を入力とし、撮像信号に対しカメラの所定の処理、例えばブラックバランス、ホワイトバランス、ゲイン調整、ガンマ等の処理を行う。カメラ処理部１０３はまた、フラッシュ検出部１０４から出力される画像処理制御信号（ゲイン調整・フレーム加算）を入力とし、同制御信号に応じて、撮像信号のゲインの調整を行ったり、フレームバッファ１０５より読み出した複数のフレームの画像データを同時に読み出して加算したりする。なお、複数のフレームの画像データは、加算のみしてもよいし、加算平均してもよい。
【００２６】
フレームバッファ１０５は、カメラ処理部１０３で処理された撮像信号に基づき生成される、連続する複数のフレームの画像データを一時的に格納する。
記録部１０６は、カメラ処理部１０３で処理された画像データを記録する、磁気テープ、光ディスク、磁気ディスク、半導体メモリ等の記録メディアを含む。表示部１０７は、カメラ処理部１０３で処理された画像データを表示するＣＲＴやＬＣＤ等の表示デバイスを含む。
＜１．２．撮像装置１００の動作＞
以上のように構成された撮像装置１００について、図１〜図４を用いてその動作を説明する。
＜１．２．１．シャッター・オフ時の動作＞
まず、フラッシュ検出部１０４により、シャッター動作がオフのときに焚かれたフラッシュを検出する場合について説明する。なお、シャッター・オフとは、撮像素子の電荷の蓄積期間とフレーム周期とが同じに設定されている状態をいう。
【００２７】
図２は、CMOS撮像素子の蓄積期間と、読み出し、走査期間を模式化した図である。図２は、撮像素子を駆動するフレーム周期TFと、撮像素子に電荷を蓄積する蓄積期間TS、つまりシャッター時間TSとは同じであり、撮像装置１００がシャッター動作を行っていない（シャッター・オフ）場合のタイミングチャートを示す。いわゆるローリングシャッターのCMOS撮像素子では、図２のように蓄積期間TSのタイミングがライン毎にズレており、ライン毎に蓄積期間TSが終わると、電荷が読み出され、走査期間に撮像信号が出力される。このため、図２に示すようなタイミングでフラッシュが焚かれると、フレーム１の後半ラインの蓄積期間TSとフレーム２の前半ラインの蓄積期間TSにフラッシュ光が影響する。同図ではフラッシュ光がLine3からLine5で異なるフレームの蓄積期間TSをまたいでいる。
つまりフレーム１ではLine2以前のラインはフラッシュ光の影響は受けず、Line3からLine5はフラッシュ光の影響を受けて徐々に光量が増える。そしてLine6以降はフラッシュ光の全光量の影響を受けて明るくなる。
【００２８】
フレーム２ではLine2以前ではフラッシュ光の全光量の影響を受けて明るくなり、Line3からLine5は徐々に光量が減っていき、Line6以降はフラッシュ光の影響を受けない。
このようにフラッシュ光の影響の結果、カメラ出力画像には、フレーム１では下側が明るく、フレーム２では上側が明るい、白帯状の妨害が現れる。
白帯の発生原理からも明らかなように、白帯の時間幅は蓄積期間TSと等しく、白帯の縁において信号レベルが変化する時間幅はフラッシュの発光時間と等しくなる。なお、フラッシュの発光時間は、フレーム周期に対して十分に短く、白帯の縁における信号レベルの変化は急峻である。
つまり、シャッター・オフの場合、撮像信号に所定のレベルを超えた明るいラインが連続して出力される白帯の時間幅とフレーム周期とを比較することにより、フラッシュが焚かれたことを検出できる。つまり連続するフレームにおいて、前側のフレームで白帯が始まるライン位置と、後側のフレームで白帯が終わるライン位置とが同じライン位置にあればフラッシュを撮像したことが分かる。
【００２９】
なお、白帯が始まるライン位置及び白帯が終わるライン位置は、例えば、次のようにして特定できる。フラッシュ検出部１０４は、例えば、図２のカメラ出力レベルに示すような所定の急峻なレベル変化を検出し、そのレベル変化の中間のタイミングｔ１とｔ２を検出することによりこれらのライン位置を特定できる。
一方、所定のレベルを超えた明るいラインがカメラ出力に存在しても、その開始位置、終了位置が同じライン位置になければ、それはフラッシュが焚かれた被写体を撮影したのではなく、例えば、単なる明るい被写体を撮影したものとして区別できる。
フラッシュは時間的にランダムに焚かれるため、白帯は連続する２つのフレームにまたがることが多いが、単独のフレームだけが明るくなることもある。しかし、いずれの場合でもシャッター動作がオフのときであれば、白帯の時間幅は１フレームの長さ、つまりフレーム周期と一致する。
【００３０】
図２のように白帯が撮像信号の２つのフレームにまたがった場合は、カメラ処理部１０３は、フレームバッファ１０５から白帯がまたがった連続するフレーム１とフレーム２の画像データを読み出す。そして、カメラ処理部１０３が二つのフレームを加算するよう処理を変更することでフレーム全体が一様に明るくなった画像を得ることができる。フラッシュの焚かれるタイミングによって、白帯が撮像信号の２つのフレームにまたがらず単独のフレームだけが明るくなった場合は、前後いずれかのフレームと加算する必要はないが、加算するようにしても特に害はない。
＜１．２．２．シャッター・オン時の動作＞
次に、CMOS撮像素子の駆動においてシャッターがかかっている（シャッター・オン）場合について、図３、図４のタイミングチャートを用いて説明する。なお、シャッター・オンとは、撮像素子の電荷の蓄積期間がフレーム周期より短く設定されている状態をいう。
【００３１】
シャッター・オンの場合、蓄積期間、つまりシャッター時間TSが図のようにフレーム周期より短くなるため、フラッシュ光の影響を受けるラインが１フレーム分より少なくなる。このためカメラ出力画像に現れる白帯状の妨害の幅は、シャッター・オフの場合と比べて狭くなる。しかし、この場合も白帯の時間幅は蓄積期間TSと一致する。
つまり、シャッター・オンの場合もまた、所定のレベルを超えた明るいラインが連続する白帯の時間幅が蓄積期間TSと一致するかどうかを判定することでフラッシュが焚かれたことを検出できる。
しかし、シャッター・オンの場合は、図４に示すフレーム１とフレーム２を加算してもフレーム全体が明るくなった画像にはならない。
そこで、本実施の形態による撮像装置１００は、フラッシュが頻繁に焚かれた場合、つまりフラッシュ検出部１０４が所定の期間内に所定の回数以上フラッシュの発光を検出した場合には、タイミング生成部１０２にシャッター制御信号を出力して、撮像部１０１のシャッター動作をオフに制御する。これにより、図２のように白帯の時間幅が１フレームとなるよう制御することが可能となる。また、シャッター動作のオフへの切替え後、所定のタイミングで、フラッシュ検出部１０４より画像処理制御信号（ゲイン調整）がカメラ処理部１０３に出力され、撮像信号のゲイン調整が行われる。なお、このゲイン調整の詳細については後述する。
【００３２】
そして、シャッター・オフ時以降にフラッシュが焚かれた時には、フラッシュ検出部１０４より画像処理制御信号（フレーム加算）がカメラ処理部１０３に出力され、カメラ処理部１０３は、白帯がまたがった連続する２つのフレームを加算することでフレーム全体が一様に明るくなった画像を得るようにする。
＜１．２．３．撮像装置１００の動作タイミング＞
図５は、本実施の形態による撮像装置１００の動作のタイミングチャート図である。
図５において、（Ａ）は撮像部１０１から出力される撮像信号、（Ｂ）はカメラ処理部１０３において撮像信号に施されるゲイン調整のゲイン、（Ｃ）は撮像信号に対してカメラ処理部１０３でゲイン調整を施した後の撮像信号、（Ｄ）はカメラ処理部１０３から最終的に出力されるカメラ出力信号である。
【００３３】
以下、図示された撮像装置１００の各部が出力する信号の変化に沿って、同装置の動作を説明する。
まず、撮像部１０１がシャッター・オン状態で動作している時には、タイミング生成部１０２からシャッター時間情報として蓄積期間TSがフラッシュ検出部１０４に入力されている。撮像部１０１からの撮像信号（Ａ）に所定のレベルを超えた明るいラインが時刻（ａ）から（ａ'）にかけて連続して出力された時、フラッシュ検出部１０４は、その長さと蓄積期間TSとを比較し、一致していればフラッシュが焚かれた被写体を撮像したと判定する。所定の期間内に所定の回数以上フラッシュが焚かれたという判定、つまり、ある頻度を超えてフラッシュが焚かれたことを検出すると、図５の時刻（ｂ）にあるようにタイミング生成部１０２のシャッター動作をオフにし、カメラ処理部１０３のゲインを（Ｂ）のように変化させる。
【００３４】
このとき、撮像部１０１のシャッター動作をオンからオフにすると撮像部１０１から出力される撮像信号の信号レベルは蓄積期間の長さに比例して上がるため、カメラ処理部１０３は、ゲイン（Ｂ）を変更する。具体的には、フラッシュ検出部１０４からカメラ処理部１０３に入力された画像処理制御信号（ゲイン調整）に基づき、シャッター時間に応じたゲイン調整を行う。ゲイン調整は、シャッター・オンの時を基準（１．０）として、シャッター・オフの時にはゲインを（TS/TF）とする。これにより、シャッター動作をオフにする前後において撮像信号のレベルを（Ｃ）のように保つことができる。
次に、撮像部１０１がシャッター・オフ状態で動作している時には、タイミング生成部１０２からシャッター時間情報として出力される蓄積期間TSはフレーム周期TFと等しい。この時、撮像部１０１からの撮像信号（Ａ）に所定のレベルを超えた明るいラインが時刻（ｃ）から（ｃ'）にかけて連続して出力された時、フラッシュ検出部１０４は、その長さと蓄積期間TSとを比較し、一致していればフラッシュが焚かれた被写体を撮像したと判定する。フラッシュ検出部１０４がフラッシュを検出すると、カメラ処理部１０３は、フレームバッファ１０５からフラッシュによる白帯状の妨害を含むフレーム４、５を取り出して加算したものを新たなフレーム４'、５'として出力する。シャッター・オフ状態では、フラッシュによる白帯状の妨害が始まるフレーム４のライン位置と、白帯状の妨害が終わるフレーム５のライン位置とは一致するので、フレーム４とフレーム５をフレーム加算することでフレーム全体が一様に明るくなった画像を得ることができる。
【００３５】
なお、図５ではフラッシュによる白帯状の妨害の信号レベルが２値的に変化するものとして説明したが、白帯の縁で信号レベルがフラッシュの発光時間幅の勾配を持っていてもフレーム加算した結果は同様になる。
＜１．３．本実施の形態の効果＞
以上のように本実施の形態によれば、フラッシュ検出部１０４によりフラッシュを検出し、フラッシュを検出した場合はカメラ処理部１０３による複数のフレームの加算処理を行うことにより、フラッシュを撮像したことによる白帯状の妨害を抑えるだけでなく、従来のCCD撮像素子を用いたような全面が一様に明るくなった画像を得ることができる。
また、上記実施の形態によれば、フラッシュ検出部１０４は、頻繁にフラッシュが焚かれたのを検出してシャッター動作をオフに切り替えるため、フラッシュの検出を確実に行うことができるとともに、本来必要とするフラッシュ光による明るい撮像画像をより確実に得ることができる。
【００３６】
また、上記実施の形態によれば、カメラ処理部１０３は、シャッター動作がオフの場合においてフラッシュを検出した場合のみ、複数のフレームの加算処理を行うため、本来必要とするフラッシュ光による明るい撮像画像をより確実に得ることができる。
さらに、上記実施の形態によれば、フラッシュ検出によりシャッター動作がオフに切り替えられたとき、カメラ処理部１０３は撮像信号のゲインを調整する。これにより、シャッター動作オン時とオフ時の間において得られる画像の明るさに差が出ることを抑制でき、画像の品質を保証することができる。
＜２．変形例＞
＜２．１．変形例１＞
上記実施の形態では、フラッシュ検出部１０４は、頻繁にフラッシュが焚かれたのを検出してシャッター・オフに切り替えて白帯状の妨害を抑える処理をするようにしている。これに加えて、フラッシュ検出部１０４は、シャッター・オフの状態で所定の期間フラッシュを検出しない場合には、元のシャッター・オンの状態に戻すように撮像部１０１を制御するようにしてもよい。
【００３７】
これにより、不必要にシャッター・オフ状態が続くことを防ぐことができる。
＜２．２．変形例２＞
上記実施の形態においては、フラッシュ検出によりシャッター動作がオフに切り替えられたとき、カメラ処理部１０３は撮像信号のゲインを調整しているが、行わなくてもよい。
（その他実施の形態）
上記実施形態で説明した撮像装置１００において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００３８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なFPGA（Field  Programmable  Gate  Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置１００をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【００３９】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００４０】
本発明は、CMOS撮像素子を用いるビデオカメラ等の撮像装置、集積回路、画像処理方法及びプログラムとして幅広く適用出来る。
【符号の説明】
【００４１】
１０    撮像装置
１００  撮像装置
１０１  撮像部
１０２  タイミング生成部
１０３  カメラ処理部
１０４  フラッシュ検出部
１０５  フレームバッファ
１１０  レンズ部
【図１】
2010278728.tif 000003
【図２】
2010278728.tif 000004
【図３】
2010278728.tif 000005
【図４】
2010278728.tif 000006
【図５】
2010278728.tif 000007
【図６】
2010278728.tif 000008