(57)【要約】【課題】撮像装置のダイナミックレンジ不足を解消する。【解決手段】メモリ制御ブロック１０４により、撮像素子１０１で撮像された現フレームの画像データをシステム共用メモリ１０５に書き込む処理と、システム共用メモリ１０５に格納された前フレームの画像データを読み出す処理と、画像合成ブロック１０３で生成された合成画像データをシステム共用メモリ１０５に書き込む処理とをそれぞれ並行して行う。【選択図】図１
2007201985.tif 000002
【特許請求の範囲】
【請求項１】
フレーム毎に異なる電荷蓄積期間の画像データを撮像可能な撮像素子と、
前記画像データに対してＤＣ調整、ゲイン調整、及びガンマ特性調整を行う前処理ブロックと、
前記画像データを格納するデータ格納メモリと、
前記データ格納メモリに対する画像データの書き込み又は読み出し動作を制御するメモリ制御ブロックと、
前記電荷蓄積期間の異なる２フレーム分の画像データを合成演算処理して合成画像データを生成する画像合成ブロックと、
前記合成画像データに対する映像信号処理を行う画像処理ブロックとを備え、
前記メモリ制御ブロックは、
前記撮像素子で撮像された現フレームの画像データを前記データ格納メモリに書き込む処理と、
前記データ格納メモリに格納された前フレームの画像データを読み出す処理と、
前記画像合成ブロックで生成された合成画像データを前記データ格納メモリに書き込む処理とをそれぞれ並行して処理可能に構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項２】
請求項１において、
前記撮像素子は、２フレーム１サイクルとして１フレーム毎に電荷蓄積期間の異なる画像データを連続して出力するように構成され、
前記メモリ制御ブロックは、
前記撮像素子で撮像された画像データを前記データ格納メモリにフレーム周期で書き込む処理と、
前記データ格納メモリに格納された画像データをフレーム周期で読み出す処理と、
前記画像合成ブロックで生成された合成画像データを前記データ格納メモリにフレーム毎に書き込む処理とをそれぞれ並行して処理可能に構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項３】
請求項１において、
前記画像データを格納する専用フレームバッファメモリと、
前記専用フレームバッファメモリに対する画像データの書き込み又は読み出し動作を制御する専用メモリ制御ブロックとを備え、
前記撮像素子は、１フレームおきに長時間露光フレームと短時間露光フレームとを撮像することで、１フレーム毎に電荷蓄積期間の異なる画像データを連続して出力するように構成され、
前記専用メモリ制御ブロックは、前記専用フレームバッファメモリに格納された前フレームの画像データを読み出す一方、同一アドレスに前記撮像素子で撮像された現フレームの画像データを書き込むように構成され、
前記画像合成ブロックは、前記現フレーム及び前フレームの画像データを合成演算処理して生成した合成画像データを前記データ格納メモリに格納するように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項４】
請求項１において、
前記画像データを格納する専用フレームバッファメモリと、
前記専用フレームバッファメモリに対する画像データの書き込み又は読み出し動作を制御する専用メモリ制御ブロックとを備え、
前記撮像素子は、１フレームおきに長時間露光フレームと短時間露光フレームとを撮像することで、１フレーム毎に電荷蓄積期間の異なる画像データを連続して出力するように構成され、
前記専用メモリ制御ブロックは、前記専用フレームバッファメモリに格納された前フレームの画像データを読み出す一方、同一アドレスに前記撮像素子で撮像された現フレームの画像データを書き込むように構成され、
前記画像合成ブロックは、前記現フレーム及び前フレームの画像データを合成演算処理して生成した合成画像データを、連続で映像信号処理すべく前記画像処理ブロックに直接入力するように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項５】
請求項１において、
前記画像データを格納する２つの専用フレームバッファメモリと、
前記専用フレームバッファメモリに対する画像データの書き込み又は読み出し動作を制御する専用メモリ制御ブロックとを備え、
前記撮像素子は、１フレームおきに長時間露光フレームと短時間露光フレームとを撮像することで、１フレーム毎に電荷蓄積期間の異なる画像データを連続して出力するように構成され、
前記専用メモリ制御ブロックは、長時間露光フレームデータと短時間露光フレームデータをフレーム単位で切り替えて前記２つの専用フレームバッファメモリのうち一方に書き込むと同時に、フレーム周期にあわせて他方の専用フレームバッファメモリを読み出すように構成され、
前記画像合成ブロックは、前記現フレーム及び前フレームの画像データを合成演算処理して生成した合成画像データを前記データ格納メモリに格納するように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項６】
請求項１において、
前記画像データを格納する２つの専用フレームバッファメモリと、
前記専用フレームバッファメモリに対する画像データの書き込み又は読み出し動作を制御する専用メモリ制御ブロックとを備え、
前記撮像素子は、１フレームおきに長時間露光フレームと短時間露光フレームとを撮像することで、１フレーム毎に電荷蓄積期間の異なる画像データを連続して出力するように構成され、
前記専用メモリ制御ブロックは、長時間露光フレームデータと短時間露光フレームデータをフレーム単位で切り替えて前記２つの専用フレームバッファメモリのうち一方に書き込むと同時に、フレーム周期にあわせて他方の専用フレームバッファメモリを読み出すように構成され、
前記画像合成ブロックは、前記現フレーム及び前フレームの画像データを合成演算処理して生成した合成画像データを、連続で映像信号処理すべく前記画像処理ブロックに直接入力するように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項７】
請求項１において、
前記画像合成ブロックは、生成した合成画像データにおける輝度信号処理及び色信号処理の演算ビット幅を撮像信号データのビット幅より１ビット増やして前記データ格納メモリに格納するように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項８】
請求項４乃至７のうち何れか１項において、
前記前処理ブロックから出力された画像データと、前記画像合成ブロックから出力された合成画像データとを入力とし、そのうちの一方を選択的に出力する出力信号選択ブロックをさらに備えたことを特徴とする広ダイナミックレンジ撮像装置。
【請求項９】
請求項４乃至７のうち何れか１項において、
前記画像合成ブロックは、前記専用フレームバッファメモリに格納されている前フレームの画像データを読み出してゲインを０にし、前記現フレーム及び前フレームの画像データを合成演算処理するように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項１０】
請求項１において、
前記前処理ブロックは、前記電荷蓄積期間の異なる２フレーム分の画像データに対してそれぞれ異なる特性調整を行うように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項１１】
請求項１において、
前記画像合成ブロックは、前記電荷蓄積期間の異なる２フレーム分の画像データを合成演算処理して合成画像データを生成した後、該合成画像データに対して非線形ゲイン処理を行うように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項１２】
請求項１において、
フレーム毎に読み出される画像内におけるハイライト部分を検出するハイライト検出ブロックをさらに備え、
前記画像合成ブロックは、前記ハイライト検出ブロックにおいて所定の閾値以上のデータをエリア内でカウントした積算量が任意設定値以上になったことが検出されたときに、自動又はＣＰＵを用いたフィードバック設定処理により、通常撮像から広ダイナミックレンジ撮像に切り替えるように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項１３】
請求項１２において、
前記ハイライト検出ブロックは、１フレームおきに読み出される長時間露光データ画像内におけるハイライト部分を検出するように構成され、
前記画像合成ブロックは、前記ハイライト検出ブロックにおいて一定レベル以上のエリアデータの積算量が任意設定値以下になったことが検出されたときに、自動又はＣＰＵを用いたフィードバック設定処理により、広ダイナミックレンジ撮像から通常撮像に切り替えるように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項１４】
請求項１３において、
前記ハイライト検出ブロックは、１フレームおきに読み出される短時間露光データ画像内におけるハイライト部分を検出するように構成され、
前記画像合成ブロックは、前記ハイライト検出ブロックにおいて一定レベル以上のエリアデータの積算量が任意設定値以下になったことが検出されたときに、自動又はＣＰＵを用いたフィードバック設定処理により、広ダイナミックレンジ撮像から通常撮像に切り替わるように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項１５】
請求項１において、
フレーム毎に読み出される複数の画像の相関に基づいて動き検出を行う動き検出ブロックをさらに備え、
前記画像データ中の注目設定エリアの動き検出レベル量が一定レベル以下になったときに、自動又はＣＰＵを用いたフィードバック設定処理により、通常撮像から広ダイナミックレンジ撮像に切り替えるように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項１６】
請求項１５において、
前記画像合成ブロックは、前記画像データ中の注目設定エリアの動き検出レベル量が一定レベル以上になったときに、自動又はＣＰＵを用いたフィードバック設定処理により、広ダイナミックレンジ撮像から通常撮像に切り替えるように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項１７】
請求項１５又は１６において、
前記動き検出ブロックは、ＭＰＥＧ機能の動きベクトルを入力情報として動き検出信号を生成するように構成され、
前記画像合成ブロックは、前記動き検出信号に基づいて通常撮像と広ダイナミックレンジ撮像とを切り替えるように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【請求項１８】
請求項１において、
前記撮像素子で撮像された現フレームの画像データと前記データ格納メモリに格納された前フレームの画像データとを前記画像合成ブロックで合成演算処理して該データ格納メモリに格納するまでの撮像動作を行う前処理と、該画像合成ブロックで生成された合成画像データを読み出して映像信号処理を行う後処理とが、非同期なメモリ制御動作によりそれぞれ並行して行われるように構成されていることを特徴とする広ダイナミックレンジ撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ用に開発されたイメージセンサに対応する映像データを処理する広ダイナミックレンジ撮像装置に関するものである。
【背景技術】
【０００２】
近年、カメラ業界におけるアナログ技術からデジタル技術への移行にはめざましいものがある。特に、フィルムも現像も不要なデジタルスチルカメラは活況を呈し、携帯電話においてもデジタルカメラ搭載型が主流を占めるようになってきている。
【０００３】
現状では、色再現性重視の観点から、原色フィルター搭載センサに対応する信号処理を採用したデジタルカメラが主流となっている。さらに、解像度を重視しつつ色のＳ／Ｎに優れ、階調特性が豊かで且つ高感度なデジタルカメラの信号処理方式の提案が必要となっている。
【０００４】
このような分野の技術として、例えば特許文献１には、撮像素子の露光量（電荷蓄積期間）を制御し、画像を連続して合成することで動画に対応できるようにしたものが開示されている。
【０００５】
図７は、従来の広ダイナミックレンジ撮像装置の構成を示すブロック図である。図７において、２０１はアナログ・ディジタル変換器、２０２は制御回路、２０３はディジタル・アナログ変換器、２０４はカメラ信号処理回路、２０５は被写体の光電変換を行う撮像素子、２０６，２０７はフィールドメモリ、２０８は切り替え回路である。以下、従来の広ダイナミックレンジ撮像装置の動作について説明する。
【０００６】
まず、前記撮像素子２０５において、電荷蓄積期間を１／１０００秒と１／１２０秒とに切り替えながら順次撮像を行う（図８（ａ）参照）。ここで、電荷蓄積期間を１／１０００秒として撮像した画像を、一旦フィールドメモリ２０６に記録する。
【０００７】
次に、電荷蓄積期間１／１２０秒で得られる画像のタイミングで、電荷蓄積期間１／１０００秒で記録された画像をフィールドメモリ２０６から読み出す（図８（ｂ）参照）。そして、電荷蓄積期間１／１２０秒か１／１０００秒かを所定の条件に応じて切り替え（合成し）ながら、フィールドメモリ２０７に書き込む。なお、電荷蓄積期間が１／１２０秒で白とびであり且つ１／１０００秒で黒つぶれで無い条件を満たす場合に、１／１２０秒の画像から１／１０００秒の画像に切り替えるものとする。このように、制御回路２０２において画像を切り替える合成を行う（図８（ｃ）参照）。
【０００８】
そして、合成された画像信号に対し、フィールドメモリ２０７において速度変換を行い、走査速度を通常のＴＶ信号の速度に戻して出力する（図８（ｄ）参照）。
【０００９】
以上のような画像合成処理を行うことにより、従来では白とびや黒つぶれになっていた画像を、電荷蓄積期間が異なる画像と置き換えることで、画像のダイナミックレンジの拡大を実現することができる。
【特許文献１】特開昭６３−３０６７７９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の広ダイナミックレンジ撮像装置では、出力された画像は飽和や黒沈みのない部分を切り出したものとなり、信号レベルが連続して変化するコントラストの高い画像の場合には、切り出した部分において不連続となる部分が発生して画質が低下してしまうという問題があった。
【００１１】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、撮像合成された画像の信号のレベルが、コントラストの高い画像に対して全てのレンジにおいて連続となるような画像を出力できるようにすることにある。
【００１２】
さらに、別の目的は、広ダイナミックレンジな撮像と同時にカラー画像を撮像できるようにすることにある。
【課題を解決するための手段】
【００１３】
すなわち、本発明は、フレーム毎に異なる電荷蓄積期間の画像データを撮像可能な撮像素子と、
前記画像データに対してＤＣ調整、ゲイン調整、及びガンマ特性調整を行う前処理ブロックと、
前記画像データを格納するデータ格納メモリと、
前記データ格納メモリに対する画像データの書き込み又は読み出しを制御するメモリ制御ブロックと、
前記データ格納メモリに格納された前記電荷蓄積期間の異なる２フレーム分の画像データを合成演算処理して合成画像データを生成する画像合成ブロックと、
前記合成画像データに対する映像信号処理を行う画像処理ブロックとを備え、
前記メモリ制御ブロックは、
前記撮像素子で撮像された画像データを前記データ格納メモリに書き込む処理と、
前記データ格納メモリに格納された画像データを読み出す処理と、
前記画像合成ブロックで生成された合成画像データを前記データ格納メモリに書き込む処理とをそれぞれ並行して処理可能に構成されていることを特徴とする広ダイナミックレンジ撮像装置に関するものである。
【発明の効果】
【００１４】
以上のように、本発明によれば、フレーム毎に前フレームデータと現フレームデータとの合成演算結果を出力して合成階調特性を最適化した後、輝度信号処理及び色信号処理を行うようにしたから、画像内の暗い部分から明るい部分まで飽和やノイズが少なく、自然で違和感がないダイナミックレンジの高い動画画像を撮像することが可能となる。
【００１５】
また、動き検出とハイライト検出結果に基づいて、通常撮影と広ダイナミックレンジ撮影とを自動で切り替えることにより、被写体の条件と状況にあわせて広ダイナミックレンジ撮影と動画解像度を重視した通常撮影とに自動的に切り替えることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。
【００１７】
＜実施形態１＞
図１は、本発明の実施形態１に係る広ダイナミックレンジ撮像装置の構成を示すブロック図である。図１において、１０１は被写体の光電変換を行う撮像素子であり、撮像素子１０１で光電変換された画像信号は前処理ブロック１０２に出力される。
【００１８】
前記前処理ブロック１０２は、入力された画像信号に対してＤＣ調整、ゲイン調整、及びガンマ特性調整を行うものであり、画像調整された画像信号は画像合成ブロック１０３に出力される。
【００１９】
前記画像合成ブロック１０３は、システム共用メモリ１０５との間で書き込みデータ及び読み出しデータの入出力を行うインターフェースを有し、２枚のフレームデータを合成して非線形特性調整を行うものであり、生成された合成画像信号がメモリ制御ブロック１０４を介してシステム共用メモリ１０５に出力される。また、画像合成ブロック１０３には、画像信号のハイライトレベルを検出するハイライト検出ブロック１０７が接続されている。
【００２０】
前記メモリ制御ブロック１０４は、画像データを記録するシステム共用メモリ１０５に対して画像データの読み出し及び書き込み制御を行うものである。
【００２１】
前記システム共用メモリ１０５に記録された画像データは、画像処理ブロック１０６及びＭＰＥＧ処理ブロック１０８で読み出される。
【００２２】
前記画像処理ブロック１０６では、合成画像信号に対して輝度信号処理及び色信号処理が行われ、その処理結果がシステム共用メモリ１０５にフィードバックされる。
【００２３】
前記ＭＰＥＧ処理ブロック１０８では、画像処理されたデータに対してＭＰＥＧ処理が行われ、ＭＰＥＧ処理の動きベクトルデータが動き検出ブロック１０９に出力される。
【００２４】
前記動き検出ブロック１０９では、前記ＭＰＥＧ処理の動きベクトルデータから動き検出が行われ、検出結果に基づいて撮影モードの切り替えが行われるようになっている。
【００２５】
次に、以上のように構成された本実施形態１に係る広ダイナミックレンジ撮像装置の動作について説明する。
【００２６】
まず、前記撮像素子１０１の撮像部において、光強度の差で構成される被写体が結像され、電気信号（電荷）に変換される。ここで、光の強度は電荷量に比例することから、一定期間（電荷蓄積期間）中に得られた電荷を電圧に変換することで電気信号として出力する構造となっている。従って、電荷蓄積期間を短くすれば光強度が強くても信号の飽和は発生しない。一方、電荷蓄積期間を長くすれば光強度が弱くても十分に大きな信号が得られる。
【００２７】
次に、撮像素子１０１の電荷蓄積期間（光電変換期間）を制御することによるセンサのフレーム出力について説明する。
【００２８】
図２は、フレーム単位で電荷蓄積時間を制御したときの出力波形を示す図である。本実施形態１では、２フレームを１サイクルとして１フレーム毎に露光時間の違う出力を連続して出力させ、前処理ブロック１０２でフレーム単位にＤＣレベル、ホワイトバランス、ブラックバランスを取った上でガンマ処理を行うようにしている。
【００２９】
そして、フレーム周期で、現フレームの画像データをシステム共用メモリ１０５に取り込むとともにシステム共用メモリ１０５に格納されている前フレームデータを読み出し、前フレームデータと現フレームデータとの演算出力をフレーム毎にシステム共用メモリ１０５内に格納する。
【００３０】
ここで、システム共用メモリ１０５に２種類の画像データを書き込む際、画像合成ブロック１０３で現フレームデータに非線形ゲイン処理を行うことにより、フレーム信号に重み付けを行うことも可能である。
【００３１】
また、合成フレーム画像データに非線形ゲイン処理を行うことにより、異なる２フレーム合成画像の信号のつながり（連続性）が悪い場合の信号特性を改善することも可能である。
【００３２】
すなわち、合成フレーム画像データをシステム共用メモリ１０５に出力する前に、前処理ブロック１０２の設定による合成階調特性に対して非線形ゲイン処理を行い、データ合成による特性の変化点特性を滑らかな連続特性にするようにしている。
【００３３】
図３はダイナミックレンジの拡大出力波形を示す図である。本実施形態１では、２フレームを１サイクルとして撮像素子１０１の出力信号を合成するようにしている。
【００３４】
図３に示すように、電荷蓄積時間が長い場合、撮像素子１０１の出力信号は高輝度被写体部分が飽和してレベルがクリップされるが、電荷蓄積時間の短い撮像素子１０１の出力信号を合成することにより、低照度部の階調を損なうことなくレベル合成することができる。
【００３５】
このように、ダイナミックレンジの異なる２種類のフレーム画像信号に重み付けを行って画像合成ブロック１０３で加算することで、階調合成した１枚の画像とすることができ、ダイナミックレンジの高い画像を合成することができる。
【００３６】
このように合成された合成画像データは、システム共用メモリ１０５に格納され、メモリ制御ブロック１０４により前記画像の取り込みと同期して又は非同期に読み出され、画像処理ブロック１０６にて輝度信号及び色信号が生成される。このとき、同時並行動作で、メモリ制御ブロック１０４により輝度信号及び色信号がシステム共用メモリ１０５に書き込まれる。
【００３７】
また、同時並行動作にて格納された輝度信号及び色信号を読み出し、ＭＰＥＧ処理ブロック１０８のＭＰＥＧ処理を行う過程で生成される動きベクトル信号を動き検出ブロック１０９に入力して注目エリアの動きを検出し、通常撮像と広ダイナミックレンジ撮像を自動で切り替えることも可能である。
【００３８】
例えば、動画撮影で広ダイナミックレンジ撮像から通常撮像の切り替えを行う際、１フレームおきに読み出される短時間露光データ画像内でのハイライト部分の検出を行い、一定レベル以上のエリアデータの積算量が任意設定値以下になったときに、自動又はＣＰＵを使用したフィードバック設定処理により通常撮像に切り替えることが可能である。
【００３９】
また、動画撮影で通常撮像と広ダイナミックレンジ撮像の切り替えを行う際、フレーム毎に読み出される複数の画像の相関により動き検出を行い、注目設定エリアの動き検出レベル量が一定レベル以下になったときに、自動又はＣＰＵを使用したフィードバック設定処理により広ダイナミックレンジ撮像に切り替えることが可能である。
【００４０】
さらに、ハイライト検出ブロック１０７により、フレーム毎のハイライト検出出力と連動させて通常撮像と広ダイナミックレンジ撮像とを自動で切り替え可能な広ダイナミックレンジ撮像装置を実現できる。
【００４１】
例えば、動画撮影で通常撮像と広ダイナミックレンジ撮像の切り替えを行う際、フレーム毎に読み出される画像内でのハイライト部分の検出を行い、ある閾値以上のデータをエリア内でカウントした積算量が任意設定値以上になったときに、自動又はＣＰＵを使用したフィードバック設定処理により広ダイナミックレンジ撮像に切り替えることができる。
【００４２】
また、動画撮影で広ダイナミックレンジ撮像から通常撮像の切り替えを行う際、１フレームおきに読み出される長時間露光データ画像内でのハイライト部分の検出を行い、一定レベル以上のエリアデータの積算量が任意設定値以下になったとき、自動又はＣＰＵを使用したフィードバック設定処理により通常撮像に切り替えることができる。
【００４３】
ここで、合成された画像の信号レベルは、非線形ゲイン処理を行わない場合には最大で２００％となるが、システム共用メモリ１０５に書き込む際、１００％に圧縮して書き込みしても良い。また、Ｓ／Ｎ向上の観点から、２００％のままデータレンジを１ビット増やして書き込み、後段の画像処理において入力データのレンジを１ビット増やして信号処理を行うことも可能である。
【００４４】
以上のように、本実施形態１に係る撮像装置によれば、フレーム毎に前フレームデータと現フレームデータとの合成演算結果を出力して合成階調特性を最適化した後、輝度信号処理及び色信号処理を行うようにしたから、画像内の暗い部分から明るい部分まで飽和やノイズが少なく、自然で違和感がないダイナミックレンジの高い動画画像を撮像することが可能となる。
【００４５】
＜実施形態２＞
図４は、本発明の実施形態２に係る広ダイナミックレンジ撮像装置の構成を示すブロック図である。前記実施形態１との違いは、画像データ格納用にシステム共用メモリを使用せず、専用フレームバッファを用いて書き込み及び読み出し制御を行うようにした点である。
【００４６】
図４において、４０１は被写体の光電変換を行う撮像素子であり、撮像素子４０１で光電変換された画像信号は前処理ブロック４０２に出力される。
【００４７】
前記前処理ブロック４０２は、入力された画像信号に対してＤＣ調整、ゲイン調整、及びガンマ特性調整を行うものであり、画像調整された画像信号は画像合成ブロック４０３及び出力信号選択ブロック４０７に出力される。
【００４８】
前記画像合成ブロック４０３は、専用フレームバッファ４０５との間で書き込みデータ及び読み出しデータの入出力を行うインターフェースを有し、２枚のフレームデータを合成して非線形特性調整を行うものであり、生成された合成画像信号はメモリ書き込み制御ブロック４０４に出力される。
【００４９】
また、画像合成ブロック４０３には、画像信号のハイライトレベルを検出するハイライト検出ブロック４０８と、ＭＰＥＧ処理の動きベクトルデータから動き検出を行う動き検出ブロック４０９とが接続されている。
【００５０】
前記メモリ書き込み制御ブロック４０４は、画像データを記録する専用フレームバッファ４０５に対して画像データの書き込み制御を行うものである。
【００５１】
前記専用フレームバッファ４０５に記録された画像データは、メモリ読み出し制御ブロック４０６により読み出し制御され、画像合成ブロック４０３にフィードバックされる。そして、画像合成ブロック４０３から合成画像信号が出力信号選択ブロック４０７に出力される。
【００５２】
前記出力信号選択ブロック４０７は、前処理ブロック４０２から出力された画像信号と画像合成ブロック４０３から出力された合成画像信号とを選択的に出力するものであり、選択された画像信号は広ダイナミックレンジセンサデータとして出力される。
【００５３】
図５は、広ダイナミックレンジ撮像処理されたセンサデータを入力して画像信号処理を行う第１の形態を示すブロック図である。図５に示すように、広ダイナミックレンジセンサデータは画像処理ブロック５０１に入力され、画像処理ブロック５０１において輝度信号処理及び色信号処理が行われる。
【００５４】
図６は、広ダイナミックレンジ撮像処理されたセンサデータを入力して画像信号処理を行う第２の形態を示すブロック図である。図６に示すように、広ダイナミックレンジセンサデータはメモリ制御ブロック６０１に入力され、メモリ制御ブロック６０１によりシステム共用メモリ６０２にデータが書き込まれ、同時並行動作により読み出し処理が行われ、画像処理ブロック６０３において輝度信号及び色信号が生成され、再びシステム共用メモリ６０２に輝度信号及び色信号の書き込みが行われる。
【００５５】
次に、以上のように構成された本実施形態２の広ダイナミックレンジ撮像装置の動作について説明する。
【００５６】
本実施形態２において、撮像素子４０１の電荷蓄積期間（光電変換期間）を制御することによるセンサのフレーム出力について説明する。まず、２フレームを１サイクルとして１フレーム毎に露光時間の違う出力を連続して出力させ、前処理ブロック４０２でフレーム単位にＤＣレベル、ホワイトバランス、ブラックバランスを取った上でガンマ処理を行う。
【００５７】
そして、フレーム周期で、現フレームの画像データを専用フレームバッファ４０５に取り込むとともに専用フレームバッファ４０５に格納されている前フレームデータを読み出し、前フレームデータと現フレームデータとの演算出力をフレーム毎に後段の処理部に出力する。
【００５８】
ここで、専用フレームバッファ４０５に２種類の画像データを書き込む際、画像合成ブロック４０３で現フレームデータに非線形ゲイン処理を行うことにより、フレーム信号に重み付けを行うことも可能である。
【００５９】
また、合成フレーム画像データに非線形ゲイン処理を行うことにより、異なる２フレーム合成画像の信号のつながり（連続性）が悪い場合の信号特性を改善することも可能である。
【００６０】
このように、ダイナミックレンジの異なる２種類のフレーム画像信号に重み付けを行って画像合成ブロック４０３で加算することで、階調合成した１枚の画像とすることができ、ダイナミックレンジの高い画像を合成することができる。
【００６１】
このように合成された合成画像データは、専用フレームバッファ４０５に格納され、メモリ書き込み制御ブロック４０４及びメモリ読み出し制御ブロック４０６により前記画像の取り込みと同期して又は非同期に読み出され、出力信号選択ブロック４０７によって合成信号又はスルー信号が選択的に出力される。
【００６２】
ここで、図５に示す第１の形態で画像処理を行う場合には、出力された合成信号は画像処理ブロック５０１に入力され、画像処理ブロック５０１にて同時処理で輝度信号及び色信号が生成される。
【００６３】
一方、図６に示す第２の形態で画像処理を行う場合には、前記実施形態１と同様に、出力された合成信号はシステム共用メモリ６０２に書き込まれ、メモリ制御ブロック６０１により並行動作にて読み出し処理が行われ、画像処理ブロック６０３にて輝度信号及び色信号が生成される。そして、メモリ制御ブロック６０１により輝度信号及び色信号がシステム共用メモリ６０２に再び書き込まれる。
【００６４】
なお、前記実施形態１と同様に、同時並行動作にて格納された輝度信号及び色信号を読み出し、ＭＰＥＧ処理ブロックでＭＰＥＧ処理を行い、動きベクトル信号から注目エリアの動きを検出し、通常撮像と広ダイナミックレンジ撮像を出力信号選択ブロック４０７の出力選択に基づいて自動で切り替えることも可能である。
【００６５】
また、出力信号選択ブロック４０７の出力選択を使用せず、画像合成ブロック４０３の加算回路により前フレームの信号データを専用フレームバッファ４０５に格納する際、非線形ゲイン処理でゲイン０として０データとし、合成センサデータの信号のゲインを調整してスルー出力とすることも可能である。
【００６６】
さらに、前記実施形態１と同様に、ハイライト検出ブロック４０８により、フレーム毎のハイライト検出出力と連動させて通常撮像と広ダイナミックレンジ撮像とを自動で切り替え可能な広ダイナミックレンジ撮像装置を実現できる。
【００６７】
また、合成された画像の信号レベルは、非線形ゲイン処理を行わない場合には最大で２００％となるが、システム共用メモリ６０２に書き込む際、１００％に圧縮して書き込みしても良い。また、Ｓ／Ｎ向上の観点から、２００％のままデータレンジを１ビット増やして書き込み、後段の画像信号処理において入力データのレンジを１ビット増やして信号処理を行うことも可能である。
【００６８】
以上のように、本実施形態２に係る撮像装置によれば、フレーム毎に前フレームデータと現フレームデータとの合成演算結果を出力して合成階調特性を最適化した後、輝度信号処理及び色信号処理を行うようにしたから、画像内の暗い部分から明るい部分まで飽和やノイズが少なく、自然で違和感がないダイナミックレンジの高い動画画像を撮像することが可能となる。
【００６９】
さらに、民生用に最も普及している、撮像素子を１つ用いた単板の撮像装置において、その性能上最も課題とされている、ダイナミックレンジの大幅な改善が実現できることから、実用的価値は非常に高い。
【００７０】
なお、本実施形態２では、電荷蓄積期間の異なる複数の画像を２フレーム１サイクルとしたが、３フレーム以上１サイクルとしてシステム共有メモリ又は複数の専用フレームバッファから２フレーム以上の前フレーム読み出して現フレームデータと合成を行うようにしても構わない。
【００７１】
また、専用フレームバッファに格納された前フレームの画像データを読み出す一方、同一アドレスに撮像素子で撮像された現フレームの画像データを書き込むようにすれば、最小のバッファメモリサイズで画像データの読み書きが可能となる。
【００７２】
なお、本発明の実施形態は装置の形態で示したが、この構成に従って計算機で処理を行うソフトウェアとして実現してもよいのはもちろんである。
【産業上の利用可能性】
【００７３】
以上説明したように、本発明は、撮像装置のダイナミックレンジ不足を解消することができるという実用性の高い効果が得られることから、きわめて有用で産業上の利用可能性は高い。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施形態１に係る広ダイナミックレンジ撮像装置の構成を示すブロック図である。
【図２】フレーム単位で電荷蓄積時間を制御したときの出力波形を示す図である。
【図３】ダイナミックレンジの拡大出力波形を示す図である。
【図４】本実施形態２に係る広ダイナミックレンジ撮像装置の構成を示すブロック図である。
【図５】画像信号処理を行う第１の形態を示すブロック図である。
【図６】画像信号処理を行う第２の形態を示すブロック図である。
【図７】従来の広ダイナミックレンジ撮像装置の構成を示すブロック図である。
【図８】従来の撮像装置の動作を説明する図である。
【符号の説明】
【００７５】
１０１    撮像素子
１０２    前処理ブロック
１０３    画像合成ブロック
１０４    メモリ制御ブロック
１０５    システム共用メモリ
１０６    画像処理ブロック
１０７    ハイライト検出ブロック
１０８    ＭＰＥＧ処理ブロック
１０９    検出ブロック
２０１    アナログ・ディジタル変換器
２０２    制御回路
２０３    ディジタル・アナログ変換器
２０４    カメラ信号処理回路
２０５    撮像素子
２０６    フィールドメモリ
２０７    フィールドメモリ
２０８    切り替え回路
４０１    撮像素子
４０２    前処理ブロック
４０３    画像合成ブロック
４０４    メモリ書き込み制御ブロック
４０５    専用フレームバッファ
４０６    メモリ読み出し制御ブロック
４０７    出力信号選択ブロック
４０８    ハイライト検出ブロック
４０９    検出ブロック
５０１    画像処理ブロック
６０１    メモリ制御ブロック
６０２    システム共用メモリ
６０３    画像処理ブロック
【図１】
2007201985.tif 000003
【図２】
2007201985.tif 000004
【図３】
2007201985.tif 000005
【図４】
2007201985.tif 000006
【図５】
2007201985.tif 000007
【図６】
2007201985.tif 000008
【図７】
2007201985.tif 000009
【図８】
2007201985.tif 000010