(57)【要約】【課題】コンポジット撮影において、映像に急激な輝度変化が発生した場合でも、符号化処理を維持したまま、符号量の増大を防ぐことができるようにする。【解決手段】コンポジット撮影を行う際に、撮像素子から読み出した画像に係る輝度変化量の算出、及び算出した輝度値と保持している前回算出の輝度値との比較を輝度変化量算出回路により行い、比較の結果、輝度値が増加しているとともに変化量が所定の値よりも大きく、かつ次の符号化処理で生成する画像タイプがＢピクチャ又はＰピクチャである場合には、制御回路により累算回路での画像信号の加算処理を終了させるようにして合成処理する枚数を制御し、急激な輝度変化が発生した場合であっても、ＢピクチャやＰピクチャの符号化時の輝度変化を抑制し、符号化処理を維持しかつ符号量が増大するのを防ぐことができるようにする。【選択図】図１
2008306297.tif 000002
【特許請求の範囲】
【請求項１】
記録方式で定められる１フィールド期間内に複数回の露光及び読み出しに係る動作を行い、画像を電気信号に変換する撮像手段と、
前記撮像手段で撮像された画像に係る輝度変化量を算出する輝度変化量算出手段と、
累算手段の出力信号を保持する第１の保持手段と、
前記累算手段を制御する制御手段と、
前記制御手段による制御に応じて、前記撮像手段の出力信号と前記第１の保持手段の出力信号とを加算処理して出力する累算手段と、
前記累算手段の出力信号又は前記第１の保持手段の出力信号に信号処理を施す信号処理手段と、
前記信号処理手段により信号処理が施された信号に符号化処理を施すとともに、次の符号化処理で生成するピクチャの画像タイプを示す第１の情報を出力する符号化処理手段とを備え、
前記輝度変化量算出手段は、算出した輝度値と、保持している前回算出の輝度値とを比較し、
前記制御手段は、前記輝度変化量算出手段による比較の結果、輝度値が増加しているとともに変化量が所定の値よりも大きく、かつ前記符号化処理手段から出力された前記第１の情報がＢピクチャ又はＰピクチャを示すものである場合には、前記累算手段での加算処理を終了させることを特徴とする撮像装置。
【請求項２】
前記信号処理手段は、前記累算手段の出力信号又は前記第１の保持手段の出力信号を１フィールド期間保持する第２の保持手段と、
前記第２の保持手段の出力信号にカメラ信号処理を施すカメラ信号処理手段とを有することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記輝度変化量算出手段は、１フレーム期間毎に前記輝度変化量を算出することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記輝度変化量算出手段は、前記撮像手段における蓄積期間毎に前記輝度変化量を算出することを特徴とする請求項１又は２記載の撮像装置。
【請求項５】
記録方式で定められるフィールド期間に対して、１フィールド期間内に複数回の露光及び読み出しに係る動作を行い、画像を電気信号に変換する撮像手段と、
累算手段の出力信号を保持する第１の保持手段と、
前記撮像手段の出力信号と前記第１の保持手段の出力信号を加算処理して出力する累算手段と、
前記累算手段の出力信号に基づいて、画像の輝度変化量を１フレーム期間毎に算出する輝度変化量算出手段と、
前記輝度変化量算出手段の出力信号に応じて、前記累算手段の制御信号を出力する制御手段と、
前記累算手段の出力信号又は前記第１の保持手段の出力信号の一方を選択し出力する選択手段と、
前記選択手段の出力信号を前記記録方式で定められるフィールド期間保持する第２の保持手段と、
前記第２の保持手段の出力信号にカメラ信号処理を施すカメラ信号処理手段と、
前記カメラ信号処理手段の出力信号に符号化処理を施す符号化処理手段とを備え、
前記符号化処理手段は、符号化処理されるピクチャの画像タイプを示す情報を第１の情報として出力し、
前記輝度変化量算出手段は、前記累算手段の出力信号に基づいて算出した輝度値と保持していた１フィールド前の輝度値との比較を行い、輝度変化量が所定の値よりも大きく、かつ前記累算手段の出力信号に基づいて算出した輝度値が増加しているか否かを示す輝度変化検出信号を出力し、
前記制御手段は、前記輝度変化量算出手段からの輝度変化検出信号及び前記符号化処理手段からの第１の情報により、前記輝度変化検出信号が増加を示し、かつ前記第１の情報がＢピクチャ又はＰピクチャを示す場合には、加算処理を終了するように前記累算手段に制御信号を出力することを特徴とする撮像装置。
【請求項６】
記録方式で定められるフィールド期間に対して、１フィールド期間内に複数回の露光及び読み出しに係る動作を行い、画像を電気信号に変換する撮像手段と、
累算手段の出力信号を保持する第１の保持手段と、
前記撮像手段の出力信号と前記第１の保持手段の出力信号を加算処理して出力する累算手段と、
前記撮像手段の出力信号に基づいて、画像の輝度変化量を前記撮像手段の蓄積期間毎に算出する輝度変化量算出手段と、
前記輝度変化量算出手段の出力信号に応じて、前記累算手段の制御信号を出力する制御手段と、
前記累算手段の出力信号を前記記録方式で定められるフィールド期間保持するための第２の保持手段と、
前記第２の保持手段の出力信号にカメラ信号処理を施すカメラ信号処理手段と、
前記カメラ信号処理手段の出力信号に符号化処理を施す符号化処理手段とを備え、
前記符号化処理手段は、符号化処理されるピクチャの画像タイプを示す情報を第１の情報として出力し、
前記輝度変化量算出手段は、前記累算手段の出力信号に基づいて算出した輝度値と保持していた前回蓄積の輝度値との比較を行い、輝度変化量が所定の値よりも大きく、かつ前記累算手段の出力信号に基づいて算出した輝度値が増加しているか否かを示す輝度変化検出信号を出力し、
前記制御手段は、前記輝度変化量算出手段からの輝度変化検出信号及び前記符号化処理手段からの第１の情報により、前記輝度変化検出信号が増加を示し、かつ前記第１の情報がＢピクチャ又はＰピクチャを示す場合には、加算処理を終了するように前記累算手段に制御信号を出力することを特徴とする撮像装置。
【請求項７】
入射光量を制御するアイリスを備え、
前記制御手段は、
前記輝度変化量算出手段による比較の結果、輝度値が増加しているとともに変化量の絶対値が所定の値よりも大きく、かつ前記符号化処理手段から出力された前記第１の情報がＢピクチャ又はＰピクチャを示すものである場合には、アイリスを絞るように前記アイリスを制御し、
前記輝度変化量算出手段による比較の結果、輝度値が減少しているとともに変化量の絶対値が所定の値よりも大きく、かつ前記符号化処理手段から出力された前記第１の情報がＢピクチャ又はＰピクチャを示すものである場合には、アイリスを開くように前記アイリスを制御することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【請求項８】
前記累算手段は、前記制御手段による制御が引き続き加算処理を行わせるためのものであるときは、前記撮像手段の出力信号と前記第１の保持手段の出力信号との加算処理を行い出力し、前記制御手段による制御が加算処理を終了させるためのものであるときは、前記加算処理を行わずに前記第１の保持手段の出力信号を出力することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項９】
記録方式で定められる１フィールド期間内に複数回の露光及び読み出しに係る動作を行い、画像を電気信号に変換する撮像工程と、
前記撮像工程で撮像された画像に係る輝度変化量を算出する輝度変化量算出工程と、
累算工程での出力を保持手段に保持させる保持工程と、
前記累算工程に係る制御を行う制御工程と、
前記制御工程による制御に応じて、前記撮像工程での出力と前記保持手段の出力とを加算処理して出力する累算工程と、
前記累算工程での出力又は前記保持手段の出力に信号処理を施す信号処理工程と、
前記信号処理工程にて信号処理が施された信号に符号化処理を施し、かつ次の符号化処理で生成するピクチャの画像タイプを示す第１の情報を出力する符号化処理工程とを有し、
前記輝度変化量算出工程では、算出した輝度値と、保持している前回算出の輝度値とを比較し、
前記制御工程では、前記輝度変化量算出工程での比較の結果、輝度値が増加しているとともに変化量が所定の値よりも大きく、かつ前記符号化処理工程にて出力された前記第１の情報がＢピクチャ又はＰピクチャを示すものである場合には、前記累算工程での加算処理を終了させることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラ等の撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
図２２に、ＭＰＥＧ符号化規格で規定されているＧＯＰ（Group Of Picture）の構成を示す。ＧＯＰは、ＭＰＥＧ符号化規格で規定されている画像データのある単位である。図２２に示すように１つのＧＯＰは、３種類のピクチャから構成されている。各ピクチャは１枚の画像である。
【０００３】
Ｉピクチャ（フレーム内符号化画像）Ｉ１は、フレーム内の画像データのみで符号化（イントラ符号化）されている。Ｐピクチャ（フレーム間順方向予測符号化画像）Ｐ１〜Ｐ４は、それ以前のＩピクチャ又はＰピクチャから動きを予測し、動きベクトルとその差分データを符号化したものである。また、Ｂピクチャ（双方向予測符号化画像）Ｂ１〜Ｂ１０は、それ以前及び以後のＩピクチャ又はＰピクチャからの動きベクトルとその差分データを符号化したものである。
【０００４】
また、動画撮影時に複数枚の画像信号を合成処理して１枚の画像信号を生成する、いわゆるコンポジット撮影技術が提案されている（例えば、特許文献１参照。）。これは、周期的に出力された画像信号を複数枚取得し、それらを合成処理して１枚の画像信号を生成することにより、合成画像の輝度情報及び色差情報の値を大きくし、動画像の滑らかさを失わずに暗所撮影を可能にするというものである。
【０００５】
【特許文献１】特開２０００−３０７９６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
撮像装置において動画を撮影中に急激な輝度変化が発生した場合、蓄積される画像が瞬時に変わってしまうため、フレーム毎の差分が大きくなる。このような場合には、ＭＰＥＧ符号化処理における動き予測が正常に動作しなくなり、ＢピクチャやＰピクチャを符号化したときに符号量が増大してしまうという問題がある。
【０００７】
また、動画撮影時に複数枚の画像信号を合成して１枚の画像信号を生成する手法は、輝度情報及び色差情報の値が小さい場合にのみ有効な手法であり、輝度変化が発生した場合には滑らかに動画像を撮影することができないという問題がある。
【０００８】
本発明の目的は、撮影した画像において急激な輝度変化が発生した場合でも、符号化処理を維持したまま、符号量の増大を防ぐことができるコンポジット撮影可能な撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の撮像装置は、記録方式で定められる１フィールド期間内に複数回の露光及び読み出しに係る動作を行い、画像を電気信号に変換する撮像手段と、前記撮像手段で撮像された画像に係る輝度変化量を算出する輝度変化量算出手段と、累算手段の出力信号を保持する第１の保持手段と、前記累算手段を制御する制御手段と、前記制御手段による制御に応じて、前記撮像手段の出力信号と前記第１の保持手段の出力信号とを加算処理して出力する累算手段と、前記累算手段の出力信号又は前記第１の保持手段の出力信号に信号処理を施す信号処理手段と、前記信号処理手段により信号処理が施された信号に符号化処理を施すとともに、次の符号化処理で生成するピクチャの画像タイプを示す第１の情報を出力する符号化処理手段とを備え、前記輝度変化量算出手段は、算出した輝度値と、保持している前回算出の輝度値とを比較し、前記制御回路は、前記輝度変化量算出手段による比較の結果、輝度値が増加しているとともに変化量が所定の値よりも大きく、かつ前記符号化処理手段から出力された前記第１の情報がＢピクチャ又はＰピクチャを示すものである場合には、前記累算手段での加算処理を終了させることを特徴とする。
本発明の撮像装置は、記録方式で定められるフィールド期間に対して、１フィールド期間内に複数回の露光及び読み出しに係る動作を行い、画像を電気信号に変換する撮像手段と、累算手段の出力信号を保持する第１の保持手段と、前記撮像手段の出力信号と前記第１の保持手段の出力信号を加算処理して出力する累算手段と、前記累算手段の出力信号に基づいて、画像の輝度変化量を１フレーム期間毎に算出する輝度変化量算出手段と、前記輝度変化量算出手段の出力信号に応じて、前記累算手段の制御信号を出力する制御手段と、前記累算手段の出力信号又は前記第１の保持手段の出力信号の一方を選択し出力する選択手段と、前記選択手段の出力信号を前記記録方式で定められるフィールド期間保持する第２の保持手段と、前記第２の保持手段の出力信号にカメラ信号処理を施すカメラ信号処理手段と、前記カメラ信号処理手段の出力信号に符号化処理を施す符号化処理手段とを備え、前記符号化処理手段は、符号化処理されるピクチャの画像タイプを示す情報を第１の情報として出力し、前記輝度変化量算出手段は、前記累算手段の出力信号に基づいて算出した輝度値と保持していた１フィールド前の輝度値との比較を行い、輝度変化量が所定の値よりも大きく、かつ前記累算手段の出力信号に基づいて算出した輝度値が増加しているか否かを示す輝度変化検出信号を出力し、前記制御手段は、前記輝度変化量算出手段からの輝度変化検出信号及び前記符号化処理手段からの第１の情報により、前記輝度変化検出信号が増加を示し、かつ前記第１の情報がＢピクチャ又はＰピクチャを示す場合には、加算処理を終了するように前記累算手段に制御信号を出力することを特徴とする。
本発明の撮像装置は、記録方式で定められるフィールド期間に対して、１フィールド期間内に複数回の露光及び読み出しに係る動作を行い、画像を電気信号に変換する撮像手段と、累算手段の出力信号を保持する第１の保持手段と、前記撮像手段の出力信号と前記第１の保持手段の出力信号を加算処理して出力する累算手段と、前記撮像手段の出力信号に基づいて、画像の輝度変化量を前記撮像手段の蓄積期間毎に算出する輝度変化量算出手段と、前記輝度変化量算出手段の出力信号に応じて、前記累算手段の制御信号を出力する制御手段と、前記累算手段の出力信号を前記記録方式で定められるフィールド期間保持するための第２の保持手段と、前記第２の保持手段の出力信号にカメラ信号処理を施すカメラ信号処理手段と、前記カメラ信号処理手段の出力信号に符号化処理を施す符号化処理手段とを備え、前記符号化処理手段は、符号化処理されるピクチャの画像タイプを示す情報を第１の情報として出力し、前記輝度変化量算出手段は、前記累算手段の出力信号に基づいて算出した輝度値と保持していた前回蓄積の輝度値との比較を行い、輝度変化量が所定の値よりも大きく、かつ前記累算手段の出力信号に基づいて算出した輝度値が増加しているか否かを示す輝度変化検出信号を出力し、前記制御手段は、前記輝度変化量算出手段からの輝度変化検出信号及び前記符号化処理手段からの第１の情報により、前記輝度変化検出信号が増加を示し、かつ前記第１の情報がＢピクチャ又はＰピクチャを示す場合には、加算処理を終了するように前記累算手段に制御信号を出力することを特徴とする。
本発明の撮像方法は、記録方式で定められる１フィールド期間内に複数回の露光及び読み出しに係る動作を行い、画像を電気信号に変換する撮像工程と、前記撮像工程で撮像された画像に係る輝度変化量を算出する輝度変化量算出工程と、累算工程での出力を保持手段に保持させる保持工程と、前記累算工程に係る制御を行う制御工程と、前記制御工程による制御に応じて、前記撮像工程での出力と前記保持手段の出力とを加算処理して出力する累算工程と、前記累算工程での出力又は前記保持手段の出力に信号処理を施す信号処理工程と、前記信号処理工程にて信号処理が施された信号に符号化処理を施し、かつ次の符号化処理で生成するピクチャの画像タイプを示す第１の情報を出力する符号化処理工程とを有し、前記輝度変化量算出工程では、算出した輝度値と、保持している前回算出の輝度値とを比較し、前記制御工程では、前記輝度変化量算出工程での比較の結果、輝度値が増加しているとともに変化量が所定の値よりも大きく、かつ前記符号化処理工程にて出力された前記第１の情報がＢピクチャ又はＰピクチャを示すものである場合には、前記累算工程での加算処理を終了させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数枚の画像信号を合成処理して１枚の画像信号を生成するコンポジット撮影において、急激な輝度変化が発生した場合には、符号化時のピクチャタイプに係る情報に応じて、撮像手段の出力信号に係る累算を終了させる。これにより、合成処理を行う際の合成枚数を制御し、ＢピクチャやＰピクチャの符号化時の輝度変化を抑制することができ、急激な輝度変化が発生しても、符号化処理を維持しかつ符号量が増大するのを防ぐことができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。
本発明の各実施形態に係る撮像装置は、複数回の撮影動作（画像取得動作）を行って、得られる複数枚の画像信号を合成して１枚の画像信号を生成するコンポジット撮影が可能な撮像装置である。
【００１２】
（第１の実施形態）
本発明の第１の実施形態について説明する。
【００１３】
図１は、第１の実施形態に係る撮像装置の構成例を示すブロック図である。
第１の実施形態に係る撮像装置は、撮像素子１、アナログ−デジタル変換器２、フレームメモリＡ３、累算回路４、輝度変化量算出回路５Ａ、制御回路６Ａ、選択回路７、及びフレームメモリＢ８を有する。さらに、第１の実施形態に係る撮像装置は、カメラ信号処理回路９、符号化処理回路１０、アイリス１１、及びレンズ１２を有する。
【００１４】
撮像手段としての撮像素子１は、例えば電荷結合素子（ＣＣＤ）で構成され、レンズ１２及び入射光量を制御するアイリス１１を介して結像された画像を電気信号に変換して出力信号（アナログの画像信号）Ｓ１として出力する。また、アナログ−デジタル変換器（Ａ／Ｄ）２は、撮像素子１から出力されたアナログの画像信号をアナログ−デジタル変換して、出力信号（デジタルの画像信号）Ｓ２として出力する。
【００１５】
なお、撮像素子１及びＡ／Ｄ２による処理は、記録方式で定められる１フィールド期間よりも短い期間（以下、この期間を「フレーム期間」とも称す。）で行われる。すなわち、本実施形態に係る撮像装置では、記録方式で定められる１フィールド期間内に、撮像素子１及びＡ／Ｄ２において複数回の露光、読み出し及びアナログ−デジタル変換に係る動作が行われる。
【００１６】
累算手段としての累算回路４は、制御回路６Ａからの制御信号Ｓ６０に応じて、Ａ／Ｄ２の出力信号Ｓ２とフレームメモリＡ３の出力信号Ｓ３の加算処理を行い、加算した結果を出力信号Ｓ４として出力する。
【００１７】
第１の保持手段としてのフレームメモリＡ３は、累算回路４の出力信号（累算回路４での加算処理結果）Ｓ４を１フレーム分保持して出力信号Ｓ３として出力する。フレームメモリＡ３は、２バンク制御で使用される。具体的には、フレームメモリＡ３は、入力データの書き込みを行う領域と出力用データの読み出しを行う領域とを区別し、これらの領域を周期的に切り替えて使用することで、書き込み及び読み出しのタイミング調整を意識することなく処理を行うことができる。
【００１８】
輝度変化量算出手段としての輝度変化量算出回路５Ａは、累算回路４の出力信号Ｓ４に基づいて、１フレーム期間毎に画像の輝度変化量を算出する。具体的には、輝度変化量算出回路５Ａは、累算回路４の出力信号Ｓ４を基に輝度値を算出し、前回算出した輝度値との比較を行う。さらに、輝度変化量算出回路５Ａは、比較結果に応じて輝度変化が発生しているか否かを示す情報を出力信号（輝度変化検出信号）Ｓ５０として出力するとともに、比較を行った前回算出の輝度値を出力信号Ｓ５１として出力する。
【００１９】
制御手段としての制御回路６Ａは、輝度変化量算出回路５Ａの出力信号Ｓ５０及び符号化処理回路１０の出力信号Ｓ１０１に基づいて、累算回路４にて加算処理を行うか否かの判定を行う。制御回路６Ａは、判定結果に応じて、累算回路４に対して加算処理を行うか否かを指示する制御信号Ｓ６０を出力する。また、制御回路６Ａは、選択回路７に対して加算処理が終了したかどうかを示す制御信号Ｓ６１を出力する。
【００２０】
選択手段としての選択回路７は、輝度変化量算出回路５Ａの出力信号Ｓ５１及び制御回路６Ａからの制御信号Ｓ６１に応じて、累算回路４の出力信号Ｓ４又はフレームメモリＡ３の出力信号Ｓ３のいずれか一方を選択して出力信号Ｓ７として出力する。
【００２１】
第２の保持手段としてのフレームメモリＢ８は、選択回路７の出力信号Ｓ７をカメラ信号処理回路９で使用するカメラ信号処理用の画像データとして１フィールド期間保持する。フレームメモリＢ８に保持された画像データは出力信号Ｓ８として出力される。フレームメモリＢ８は、２バンク制御で使用される。具体的には、フレームメモリＢ８は、入力データの書き込みを行う領域と出力用データの読み出しを行う領域とを区別し、これらの領域を周期的に切り替えて使用することで、書き込み及び読み出しのタイミング調整を意識することなく処理を行うことができる。なお、書き込みが行われるデータである選択回路７の出力信号Ｓ７は、撮像素子１の蓄積のタイミングで更新可能であるため、１フィールド期間よりも短い期間で更新されることがある。一方、カメラ信号処理回路９は１フィールド期間で読み出しを行う。
【００２２】
カメラ信号処理手段としてのカメラ信号処理回路９は、フレームメモリＢ８の出力信号Ｓ８が入力される。カメラ信号処理回路９は、フレームメモリＢ８の出力信号Ｓ８に対して、アパーチャ補正、ガンマ補正、及びホワイトバランス補正など撮像系の信号処理を施し、出力信号Ｓ９として出力する。
【００２３】
符号化処理手段としての符号化処理回路１０は、カメラ信号処理回路９の出力信号Ｓ９、すなわちカメラ信号処理回路９にて信号処理が施された信号（画像データ）が入力される。符号化処理回路１０は、カメラ信号処理回路９の出力信号Ｓ９に、ＭＰＥＧ符号化方式に従った圧縮符号化（ＭＰＥＧ符号化処理）を行い、得られた符号化データを出力信号Ｓ１０として出力する。
【００２４】
また、符号化処理回路１０は、次の符号化処理で生成する画像タイプが、ＭＰＥＧ符号化方式におけるＧＯＰ構造にて何れのピクチャであるのかを示す情報（第１の情報）を出力信号Ｓ１０１として出力する。すなわち、符号化処理回路１０は、次の符号化処理で生成される画像タイプがＩピクチャ、Ｂピクチャ、Ｐピクチャの何れであるのかを示す情報を出力信号Ｓ１０１により出力する。
【００２５】
次に、上述した累算回路４、輝度変化量算出回路５Ａ、制御回路６Ａ、及び選択回路７についての詳細を以下に説明する。
【００２６】
まず、累算回路４についての詳細を説明する。
累算回路４は、制御回路６Ａからの制御信号Ｓ６０、Ａ／Ｄ２の出力信号Ｓ２及びフレームメモリＡ３の出力信号Ｓ３が入力される。累算回路４は、制御信号Ｓ６０の値が“０”の場合には、Ａ／Ｄ２の出力信号Ｓ２とフレームメモリＡ３の出力信号Ｓ３との加算処理を行い、加算結果を出力信号Ｓ４として出力する。一方、累算回路４は、制御信号Ｓ６０の値が“１”の場合には、Ａ／Ｄ２の出力信号Ｓ２とフレームメモリＡ３の出力信号Ｓ３との加算処理を行わずに、フレームメモリＡ３の出力信号Ｓ３をそのまま出力信号Ｓ４として出力する。
【００２７】
次に、輝度変化量算出回路５Ａについての詳細を説明する。
輝度変化量算出回路５Ａは、入力される累算回路４の出力信号Ｓ４を用いて輝度変化量判定処理を行い、出力信号（輝度変化検出信号）Ｓ５０として輝度変化の情報を出力し、出力信号Ｓ５１として保持している１フィールド前の輝度値を出力する。出力信号Ｓ５１として出力される保持している輝度値は、選択回路７にて、累算回路４の出力信号Ｓ４とフレームメモリＡ３の出力信号Ｓ３との比較を行うときに使用される。
【００２８】
図２は、第１の実施形態における輝度変化量判定処理動作を示すフローチャートである。輝度変化量算出回路５Ａは、輝度変化量判定処理を開始すると、外部定数αを読み込む（ＳＴ１１）。この外部定数αは、予め定めたものである。
【００２９】
次に、輝度変化量算出回路５Ａは、入力される累算回路４の出力信号Ｓ４に基づいて、画像の輝度値（Ｆ１）を算出し（ＳＴ１２）、算出した輝度値（Ｆ１）と保持していた１フィールド前の輝度値（Ｆ０）との比較を行う（ＳＴ１３）。
ここで、輝度値の算出は、フィールド内全体の輝度値の平均値を求める。または、フィールド内の１つ以上の特定の領域の値をそのまま使用しても良いし、その領域の値の平均値、中央値、最大値、最小値などを用いても良い。以下に説明する各実施形態においても同様である。
【００３０】
ステップＳＴ１３での比較の結果、算出した輝度値（Ｆ１）と１フィールド前の輝度値（Ｆ０）との差が定数α以上である場合には、輝度変化量算出回路５Ａは、出力信号Ｓ５０として値“１”を出力する（ＳＴ１４）。一方、比較の結果、算出した輝度値（Ｆ１）と１フィールド前の輝度値（Ｆ０）との差が定数α未満である場合には、輝度変化量算出回路５Ａは、出力信号Ｓ５０として値“０”を出力する（ＳＴ１５）。
【００３１】
続いて、輝度変化量算出回路５Ａは、累算回路４の出力信号Ｓ４から算出した輝度値（Ｆ１）を１フィールド前の輝度値（Ｆ０）として更新して保持し（ＳＴ１６）、輝度変化量判定処理を終了する。
【００３２】
以上のように、輝度変化量算出回路５Ａは、１フィールド前の輝度値（Ｆ０）を保持しておき、累算回路４の出力信号Ｓ４から算出した輝度値（Ｆ１）との比較を行う。その結果、定数α以上の差があり、かつ累算回路４の出力信号Ｓ４から求めた輝度値（Ｆ１）の方が大きい場合には、輝度変化量算出回路５Ａは、値“１”を出力信号Ｓ５０として出力する。また、それ以外の場合には、輝度変化量算出回路５Ａは、値“０”を出力信号Ｓ５０として出力する。
【００３３】
次に、制御回路６Ａについての詳細を説明する。
制御回路６Ａは、輝度変化量算出回路５Ａの出力信号Ｓ５０及び符号化処理回路１０の出力信号Ｓ１０１が入力される。制御回路６Ａは、出力信号Ｓ５０及び出力信号Ｓ１０１に基づいて、累算回路４を制御するための制御信号Ｓ６０及び選択回路７を制御するための制御信号Ｓ６１を生成し出力する。なお、制御回路６Ａには、累算回路４で加算する回数は定数Ｎとして予め設定されている。
【００３４】
図３は、累算回路４を制御するための制御信号Ｓ６０を生成する制御信号生成処理動作を示すフローチャートである。
まず、制御回路６Ａは、制御信号生成処理（累算回路用）を開始すると、輝度変化量算出回路５Ａの出力信号Ｓ５０の値を判定する（ＳＴ２１）。その結果、出力信号Ｓ５０の値が“１”の場合には、制御回路６Ａは、符号化処理回路１０の出力信号Ｓ１０１に基づいて、符号化処理回路１０で次の符号化処理で生成する画像タイプがＩピクチャ、Ｂピクチャ、Ｐピクチャの何れであるのか判定する（ＳＴ２２）。一方、出力信号Ｓ５０の値が“０”の場合には、制御回路６Ａは、制御信号Ｓ６０として値“０”を出力し（ＳＴ２４）、処理を終了する。
【００３５】
ステップＳＴ２２での判定の結果、次の符号化処理で生成する画像タイプがＢピクチャ又はＰピクチャである場合には、制御回路６Ａは、制御信号Ｓ６０として値“１”を出力し（ＳＴ２３）、処理を終了する。一方、ステップＳＴ２２での判定の結果、次の符号化処理で生成する画像タイプがＩピクチャである場合には、制御回路６Ａは、制御信号Ｓ６０として値“０”を出力し（ＳＴ２４）、処理を終了する。
【００３６】
以上のように、制御回路６Ａは、輝度変化量算出回路５Ａの出力信号Ｓ５０の値が“０”の場合には、加算する回数が定数Ｎに達するまで累算回路４で加算処理を行わせるため、値“０”を制御信号Ｓ６０として出力する。
【００３７】
また、制御回路６Ａは、輝度変化量算出回路５Ａの出力信号Ｓ５０の値が“１”の場合には、フィールド間において所定の量を超える輝度変化が発生したということであるので、符号化処理回路１０の出力信号Ｓ１０１に応じて制御を行う。制御回路６Ａは、出力信号Ｓ１０１により示される次の符号化処理で生成する画像タイプがＢピクチャ又はＰピクチャの場合には、符号量の増加を抑えるために累算回路４での加算処理を停止させるように、値“１”を制御信号Ｓ６０として出力する。制御回路６Ａは、出力信号Ｓ１０１により示される次の符号化処理で生成する画像タイプがＩピクチャの場合には、画像の劣化を防ぐために加算した回数が定数Ｎに達するまで、値“０”を制御信号Ｓ６０として出力する。
【００３８】
図４は、選択回路７を制御するための制御信号Ｓ６１を生成する制御信号生成処理動作を示すフローチャートである。
まず、制御回路６Ａは、制御信号生成処理（選択回路用）を開始すると、累算回路４で加算を行った回数が定数Ｎに達したか否かを判定する（ＳＴ３１）。その結果、加算を行った回数が定数Ｎに達した場合には、制御回路６Ａは、制御信号Ｓ６１として値“１”を出力し（ＳＴ３２）、処理を終了する。
【００３９】
一方、ステップＳＴ３１での判定の結果、加算を行った回数が定数Ｎに達していない場合には、制御回路６Ａは、輝度変化量算出回路５Ａの出力信号Ｓ５０の値を判定する（ＳＴ３３）。その結果、出力信号Ｓ５０の値が“１”の場合には、制御回路６Ａは、符号化処理回路１０の出力信号Ｓ１０１に基づいて、次の符号化処理で生成する画像タイプがＩピクチャ、Ｂピクチャ、Ｐピクチャの何れであるのか判定する（ＳＴ３４）。一方、出力信号Ｓ５０の値が“０”の場合には、制御回路６Ａは、制御信号Ｓ６１として値“０”を出力し（ＳＴ３６）、処理を終了する。
【００４０】
ステップＳＴ３４での判定の結果、次の符号化処理で生成する画像タイプがＢピクチャ又はＰピクチャである場合には、制御回路６Ａは、制御信号Ｓ６１として値“２”を出力し（ＳＴ３５）、処理を終了する。一方、ステップＳＴ３４での判定の結果、次の符号化処理で生成する画像タイプがＩピクチャである場合には、制御回路６Ａは、制御信号Ｓ６１として値“０”を出力し（ＳＴ３６）、処理を終了する。
【００４１】
以上のように、制御回路６Ａは、輝度変化量算出回路５Ａの出力信号Ｓ５０の値が“０”、又は加算を行った回数が定数Ｎよりも小さい場合には、引き続き加算処理を行うため、値“０”を制御信号Ｓ６１として出力する。また、制御回路６Ａは、加算を行った回数が定数Ｎになった場合には、加算処理を制御なしで終了するので、値“１”を制御信号Ｓ６１として出力する。
【００４２】
また、制御回路６Ａは、加算を行った回数が定数Ｎより小さく、かつ輝度変化量算出回路５Ａの出力信号Ｓ５０の値が“１”である場合には、以下のように制御を行う。次の符号化処理で生成する画像タイプがＢピクチャ又はＰピクチャである場合には、制御回路６Ａは、加算処理を打ち切って終了し、選択回路７にて比較処理を行わせるために、値“２”を制御信号Ｓ６１として出力する。次の符号化処理で生成する画像タイプがＩピクチャである場合には、制御回路６Ａは、値“０”を制御信号Ｓ６１として出力する。
【００４３】
次に、選択回路７についての詳細を説明する。
選択回路７は、累算回路４の出力信号Ｓ４及びフレームメモリＡ３の出力信号Ｓ３が入力されるとともに、輝度変化量算出回路５Ａの出力信号Ｓ５１及び制御回路６Ａからの制御信号Ｓ６１が入力される。選択回路７は、これらの入力された信号を用いて選択回路処理を行い、累算回路４の出力信号Ｓ４又はフレームメモリＡ３の出力信号Ｓ３を選択し出力する。
【００４４】
図５は、選択回路処理動作を示すフローチャートである。
選択回路７は、選択回路処理を開始すると、制御回路６Ａからの制御信号Ｓ６１の値を判定する（ＳＴ４１）。その結果、制御信号Ｓ６１の値が“０”の場合には、選択回路７は、何ら処理を行わずに選択回路処理を終了する。また、制御信号Ｓ６１の値が“１”の場合には、選択回路７は、累算回路４の出力信号Ｓ４を選択して出力信号Ｓ７として出力する（Ｓ４２）。
【００４５】
また、制御信号Ｓ６１の値が“２”の場合には、選択回路７は、累算回路４の出力信号Ｓ４から輝度値（Ｆ４）を算出し（ＳＴ４３）、続いてフレームメモリＡ３の出力信号Ｓ３から輝度値（Ｆ３）を算出する（ＳＴ４４）。そして、選択回路７は、累算回路４の出力信号Ｓ４から求めた輝度値（Ｆ４）とフレームメモリＡ３の出力信号Ｓ３から求めた輝度値（Ｆ３）の何れが、輝度変化量算出回路５Ａの出力信号Ｓ５１により供給される輝度値に近いか判定する。
【００４６】
その結果、累算回路４の出力信号Ｓ４から求めた輝度値（Ｆ４）の方が輝度変化量算出回路５Ａの出力信号Ｓ５１の輝度値に近いと判定した場合には、選択回路７は、累算回路４の出力信号Ｓ４を選択して出力信号Ｓ７として出力する（Ｓ４２）。一方、フレームメモリＡ３の出力信号Ｓ３から求めた輝度値（Ｆ３）の方が輝度変化量算出回路５Ａの出力信号Ｓ５１の輝度値に近いと判定した場合には、選択回路７は、フレームメモリＡ３の出力信号Ｓ３を選択して出力信号Ｓ７として出力する（Ｓ４６）。
【００４７】
以上のように、選択回路７は、制御回路６Ａからの制御信号Ｓ６１の値が“０”の場合には、引き続き加算処理が行われる状態であるので何も処理を行わない。また、選択回路７は、制御回路６Ａからの制御信号Ｓ６１の値が“１”の場合には、加算処理が終了した状態であるので、累算回路４の出力信号Ｓ４を出力信号Ｓ７として出力する。
【００４８】
また、選択回路７は、制御回路６Ａからの制御信号Ｓ６１の値が“２”の場合には、加算処理が打ち切られて終了した状態であるので、累算回路４の出力信号Ｓ４から算出した輝度値と、フレームメモリ３の出力信号Ｓ３から算出した輝度値とを比較する。そして、選択回路７は、出力信号Ｓ４及び出力信号Ｓ３のうち、輝度変化量算出回路５の出力信号Ｓ５１の輝度値に近い方の信号を出力信号Ｓ７として出力する。なお、これは一例であり、出力信号Ｓ４及び出力信号Ｓ３から算出した輝度値の比較を行わずに、常に累算回路４の出力信号Ｓ４を出力信号Ｓ７として出力しても良いし、常にフレームメモリ３の出力信号Ｓ３を出力信号Ｓ７として出力しても良い。
【００４９】
これらの上述した各処理のタイミングをまとめたタイミングチャートの一例を図６に示す。
図６に示すように、本実施形態によれば、コンポジット撮影において、急激な輝度変化が発生していない場合には、累算回路４により所定枚数分を加算して得られた画像データが出力される。
一方、急激な輝度変化が発生した場合には、次の符号化処理で生成する画像タイプがＩピクチャ以外のピクチャであれば累算回路４で加算する枚数（合成処理する合成枚数）を制御し、輝度変化量が少なくなるように制御する。これにより、Ｂピクチャ又はＰピクチャのＭＰＥＧ符号化時の輝度変化を抑制することができ、符号化処理（ＧＯＰ構造）を維持したまま、符号量が増大してしまうことを防ぐことができる。
【００５０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図７は、第２の実施形態に係る撮像装置の構成例を示すブロック図である。この図７において、図１に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
【００５１】
第２の実施形態に係る撮像装置は、撮像素子１、Ａ／Ｄ２、フレームメモリＡ３、累算回路４、輝度変化量算出回路５Ｂ、制御回路６Ｂ、フレームメモリＢ８、カメラ信号処理回路９、符号化処理回路１０、アイリス１１、及びレンズ１２を有する。本実施形態では、累算回路４は、制御回路６Ｂからの制御信号Ｓ６２により制御されるが、制御信号Ｓ６２は第１の実施形態における制御信号Ｓ６０と同様である。また、本実施形態では、フレームメモリＢ８には、累算回路４の出力信号Ｓ４が入力される。
【００５２】
輝度変化量算出手段としての輝度変化量算出回路５Ｂは、Ａ／Ｄ２の出力信号Ｓ２に基づいて、撮像素子１の蓄積期間毎に画像の輝度変化量を算出する。輝度変化量算出回路５Ｂは、Ａ／Ｄ２の出力信号Ｓ２を基に輝度値を算出して、前回蓄積した輝度値との比較を行い、比較結果に応じて輝度変化が発生しているか否かを示す情報を出力信号（輝度変化検出信号）Ｓ５２として出力する。
【００５３】
具体的には、輝度変化量算出回路５Ｂは、入力されるＡ／Ｄ２の出力信号Ｓ２を用いて輝度変化量判定処理を行い、出力信号（輝度変化検出信号）Ｓ５２として輝度変化の情報を出力する。
【００５４】
図８は、第２の実施形態における輝度変化量判定処理動作を示すフローチャートである。
輝度変化量算出回路５Ｂは、輝度変化量判定処理を開始すると、外部定数αを読み込む（ＳＴ５１）。次に、輝度変化量算出回路５Ｂは、入力されるＡ／Ｄ２の出力信号Ｓ２に基づいて、画像の輝度値（Ｆ１）を算出し（ＳＴ５２）、算出した輝度値（Ｆ１）と前回蓄積時の輝度値（Ｆ０）との比較を行う（ＳＴ５３）。
【００５５】
その結果、算出した輝度値（Ｆ１）と前回蓄積時の輝度値（Ｆ０）との差が定数α以上である場合には、輝度変化量算出回路５Ｂは、出力信号Ｓ５２として値“１”を出力する（ＳＴ５４）。一方、算出した輝度値（Ｆ１）と前回蓄積時の輝度値（Ｆ０）との差が定数α未満である場合には、輝度変化量算出回路５Ｂは、出力信号Ｓ５２として値“０”を出力する（ＳＴ５５）。
【００５６】
続いて、輝度変化量算出回路５Ｂは、Ａ／Ｄ２の出力信号Ｓ２から算出した輝度値（Ｆ１）を前回蓄積時の輝度値（Ｆ０）として更新して保持し（ＳＴ５６）、輝度変化量判定処理を終了する。
【００５７】
以上のように、輝度変化量算出回路５Ｂは、前回蓄積時の輝度値（Ｆ０）を保持しておき、Ａ／Ｄ２の出力信号Ｓ２から算出した輝度値（Ｆ１）との比較を行う。その結果、定数α以上の差があり、かつＡ／Ｄ２の出力信号Ｓ２から求めた輝度値（Ｆ１）の方が輝度値（Ｆ０）より大きい場合には、輝度変化量算出回路５Ｂは、値“１”を出力信号Ｓ５２として出力する。また、定数α未満の差又はＡ／Ｄ２の出力信号Ｓ２から求めた輝度値（Ｆ１）の方が輝度値（Ｆ０）より小さい場合には、輝度変化量算出回路５Ｂは、値“０”を出力信号Ｓ５２として出力する。なお、上述した処理は一例であり、前回蓄積時の輝度値を保持せずに、Ａ／Ｄ２の出力信号Ｓ２から求めた輝度値を輝度変化量として使用しても同様の効果を得ることができる。
【００５８】
制御手段としての制御回路６Ｂは、輝度変化量算出回路５Ｂの出力信号Ｓ５２及び符号化処理回路１０の出力信号Ｓ１０１に基づいて、累算回路４にて加算処理を行うか否かの判定を行う。制御回路６Ｂは、判定結果に応じて、累算回路４に対して加算処理を行うか否かを指示する制御信号Ｓ６２を出力する。
【００５９】
図９は、輝度変化量算出回路５Ｂの出力信号Ｓ５２及び符号化処理回路１０の出力信号Ｓ１０１に基づいて、累算回路４を制御するための制御信号Ｓ６２を生成する制御信号生成処理動作を示すフローチャートである。なお、図９に示す第２の実施形態における制御信号生成処理動作は、図３に示す第１の実施形態での動作とは、出力信号Ｓ５０が出力信号Ｓ５２となるとともに制御信号Ｓ６０が制御信号Ｓ６２となる点が異なる。図９に示した各ステップＳＴ６１〜ＳＴ６４での処理は、図３に示した対応する各ステップＳＴ２１〜ＳＴ２４での処理と同様である。
【００６０】
すなわち、制御回路６Ｂは、輝度変化量算出回路５Ｂの出力信号Ｓ５２の値が“０”の場合には、加算する回数が定数Ｎに達するまで累算回路４で加算処理を行わせるため、値“０”を制御信号Ｓ６２として出力する。
また、制御回路６Ｂは、輝度変化量算出回路５Ｂの出力信号Ｓ５０の値が“１”の場合には、所定の量を超える輝度変化が発生したということであるので符号化処理回路１０の出力信号Ｓ１０１に応じて制御を行う。制御回路６Ｂは、出力信号Ｓ１０１により示される次の符号化処理で生成する画像タイプがＢピクチャ又はＰピクチャの場合には、符号量の増加を抑えるために累算回路４での加算処理を停止させるように、値“１”を制御信号Ｓ６２として出力する。制御回路６Ｂは、出力信号Ｓ１０１により示される次の符号化処理で生成する画像タイプがＩピクチャの場合には、画像の劣化を防ぐために加算した回数が定数Ｎに達するまで、値“０”を制御信号Ｓ６２として出力する。
【００６１】
第２の実施形態における各処理のタイミングの一例を示すタイミングチャートを図１０に示す。本実施形態では、１フィールド期間の終了時における累算回路４の出力信号Ｓ４が、フレームメモリＢ８における２つの異なる領域（バンク）に交互に書き込まれる。
【００６２】
第２の実施形態によれば、第１の実施形態と同様にコンポジット撮影で急激な輝度変化が発生した場合には、次の符号化処理で生成する画像タイプがＩピクチャ以外のピクチャであれば累算回路４で加算する枚数を制御し、輝度変化量が少なくなるように制御する。これにより、Ｂピクチャ又はＰピクチャのＭＰＥＧ符号化時の輝度変化を抑制することができ、符号化処理（ＧＯＰ構造）を維持したまま、符号量が増大してしまうことを防ぐことができる。
【００６３】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図１１は、第３の実施形態に係る撮像装置の構成例を示すブロック図である。この図１１において、図１及び図７に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
【００６４】
第３の実施形態に係る撮像装置は、撮像素子１、Ａ／Ｄ２、フレームメモリＡ３、累算回路４、輝度変化量算出回路５Ｃ、制御回路６Ｃ、選択回路７、フレームメモリＢ８、カメラ信号処理回路９、符号化処理回路１０、アイリス１１、及びレンズ１２を有する。第３の実施形態に係る撮像装置は、第１の実施形態に係る撮像装置において、さらにアイリス１１を制御回路６Ｃにより制御するようにするものである。本実施形態では、アイリス１１は、制御回路６Ｃからの制御信号Ｓ６３に応じて入射光量の制御を行う。
【００６５】
輝度変化量算出手段としての輝度変化量算出回路５Ｃは、累算回路４の出力信号Ｓ４に基づいて、１フレーム期間毎に画像の輝度変化量を算出する。輝度変化量算出回路５Ｃは、累算回路４の出力信号Ｓ４を基に輝度値を算出して、前回算出した輝度値との比較を行い、比較結果に応じて輝度変化が発生しているかどうかを示す情報を出力信号（輝度変化検出信号）Ｓ５３として出力する。また、輝度変化量算出回路５Ｃは、比較を行った前回算出の輝度値を出力信号Ｓ５１として出力する。
【００６６】
具体的には、輝度変化量算出回路５Ｃは、累算回路４の出力信号Ｓ４を用いて輝度変化量判定処理を行い、出力信号（輝度変化検出信号）Ｓ５３として輝度変化の情報を出力し、出力信号Ｓ５１として保持している１フィールド前の輝度値を出力する。
【００６７】
図１２は、第３の実施形態における輝度変化量判定処理動作を示すフローチャートである。
輝度変化量算出回路５Ｃは、輝度変化量判定処理を開始すると、外部定数αを読み込む（ＳＴ７１）。次に、輝度変化量算出回路５Ｃは、入力される累算回路４の出力信号Ｓ４に基づいて、画像の輝度値（Ｆ１）を算出し（ＳＴ７２）、算出した輝度値（Ｆ１）と保持していた１フィールド前の輝度値（Ｆ０）との比較を行う（ＳＴ７３、ＳＴ７５）。
【００６８】
その結果、算出した輝度値（Ｆ１）が１フィールド前の輝度値（Ｆ０）に対して定数α以上大きくなった場合（輝度値が増加しその変化量の絶対値が定数α以上の場合）には、輝度変化量算出回路５Ｃは、出力信号Ｓ５３として値“１”を出力する（ＳＴ７４）。また、算出した輝度値（Ｆ１）が１フィールド前の輝度値（Ｆ０）に対して定数α以上小さくなった場合（輝度値が減少しその変化量の絶対値が定数α以上の場合）には、輝度変化量算出回路５Ｃは、出力信号Ｓ５３として値“２”を出力する（ＳＴ７６）。また、算出した輝度値（Ｆ１）と１フィールド前の輝度値（Ｆ０）との差が定数α未満である場合には、輝度変化量算出回路５Ｃは、出力信号Ｓ５３として値“０”を出力する（ＳＴ７７）。
【００６９】
続いて、輝度変化量算出回路５Ｃは、累算回路４の出力信号Ｓ４から算出した輝度値（Ｆ１）を１フィールド前の輝度値（Ｆ０）として更新して保持し（ＳＴ７８）、輝度変化量判定処理を終了する。
【００７０】
以上のように、輝度変化量算出回路５Ｃは、１フィールド前の輝度値（Ｆ０）を保持しておき、累算回路４の出力信号Ｓ４から算出した輝度値（Ｆ１）との比較を行う。その結果、輝度変化量算出回路５Ｃは、輝度値（Ｆ１）が輝度値（Ｆ０）に対して、定数α以上大きい場合には値“１”を出力信号Ｓ５３として出力し、定数α以上小さい場合には値“２”を出力信号Ｓ５３として出力する。また、輝度値（Ｆ１）と輝度値（Ｆ０）との差が、定数α未満の場合には、輝度変化量算出回路５Ｃは、値“０”を出力信号Ｓ５３として出力する。
【００７１】
制御手段としての制御回路６Ｃは、輝度変化量算出回路５Ｃの出力信号Ｓ５３及び符号化処理回路１０の出力信号Ｓ１０１に基づいて、累算回路４にて加算処理を行うか否かの判定を行う。制御回路６Ｃは、判定結果に応じて、累算回路４に対して加算処理を行うか否かを指示する制御信号Ｓ６０を出力し、選択回路７に対して加算処理が終了したかどうかを示す制御信号Ｓ６１を出力する。また、制御回路６Ｃは、輝度変化量算出回路５Ｃの出力信号Ｓ５３及び符号化処理回路１０の出力信号Ｓ１０１に基づいて、アイリス１１に対してその動作を制御するための制御信号Ｓ６３を出力する。
【００７２】
具体的には、制御回路６Ｃは、輝度変化量算出回路５Ｃの出力信号Ｓ５３及び符号化処理回路１０の出力信号Ｓ１０１が入力される。制御回路６Ｃは、出力信号Ｓ５３及び出力信号Ｓ１０１に基づいて、累算回路４を制御するための制御信号Ｓ６０、選択回路７を制御するための制御信号Ｓ６１、アイリスを制御するための制御信号Ｓ６３を生成し出力する。なお、制御回路６Ｃには、累算回路４で加算する回数は定数Ｎとして予め設定されている。
【００７３】
図１３は、累算回路４を制御するための制御信号Ｓ６０を生成する制御信号生成処理動作を示すフローチャートであり、図１４は、選択回路７を制御するための制御信号Ｓ６１を生成する制御信号生成処理動作を示すフローチャートである。なお、図１３及び図１４に示す第３の実施形態における制御信号生成処理動作は、図３及び図４に示した第１の実施形態での動作とは、出力信号Ｓ５０が出力信号Ｓ５３となる点が異なる。図１３に示す各ステップＳＴ８１〜ＳＴ８４の処理は、図３に示した対応する各ステップＳＴ２１〜ＳＴ２４の処理と同様であり、図１４に示す各ステップＳＴ９１〜ＳＴ９６の処理は、図４に示した対応する各ステップＳＴ３１〜ＳＴ３６の処理と同様である。
【００７４】
図１５は、アイリス１１を制御するための制御信号Ｓ６３を生成する制御信号生成処理動作を示すフローチャートである。
制御回路６Ｃは、制御信号生成処理（アイリス用）を開始すると、輝度変化量算出回路５Ｃの出力信号Ｓ５３の値を判定する（ＳＴ１０１）。その結果、出力信号Ｓ５３の値が“０”の場合には、制御回路６Ｃは、何ら処理を行わずに制御信号生成処理を終了する。
【００７５】
出力信号Ｓ５３の値が“１”の場合には、制御回路６Ｃは、符号化処理回路１０の出力信号Ｓ１０１を基に、次の符号化処理で生成する画像タイプがＩピクチャ、Ｂピクチャ、Ｐピクチャの何れであるのか判定する（ＳＴ１０２）。判定の結果、次の符号化処理で生成する画像タイプがＢピクチャ又はＰピクチャである場合には、制御回路６Ｃは、アイリス１１を絞るように制御するための情報を制御信号Ｓ６３として出力し（ＳＴ１０３）、制御信号生成処理を終了する。一方、次の符号化処理で生成する画像タイプがＩピクチャである場合には、制御回路６Ｃは、アイリス１１に対する制御は行わずに制御信号生成処理を終了する。
【００７６】
ステップＳＴ１０１での判定の結果、出力信号Ｓ５３の値が“２”の場合には、制御回路６Ｃは、ステップＳＴ１０２と同様に、次の符号化処理で生成する画像タイプがＩピクチャ、Ｂピクチャ、Ｐピクチャの何れであるのか判定する（ＳＴ１０４）。判定の結果、次の符号化処理で生成する画像タイプがＢピクチャ又はＰピクチャである場合には、制御回路６Ｃは、アイリス１１を開放するように制御するための情報を制御信号Ｓ６３として出力し（ＳＴ１０５）、制御信号生成処理を終了する。一方、次の符号化処理で生成する画像タイプがＩピクチャである場合には、制御回路６Ｃは、アイリス１１に対する制御は行わずに制御信号生成処理を終了する。
【００７７】
以上のように、制御回路６Ｃは、輝度変化量算出回路５Ｃの出力信号Ｓ５３の値が“０”の場合には、輝度変化がないもしくは小さいということなので、アイリス１１に対して特殊な制御は行わない。
また、制御回路６Ｃは、出力信号Ｓ５３の値が“１”、かつ次の符号化処理で生成する画像タイプがＢピクチャ又はＰピクチャである場合には、急激に輝度が高くなったということなので、アイリス１１を絞るよう制御信号Ｓ６３を出力する。また、制御回路６Ｃは、出力信号Ｓ５３の値が“２”、かつ次の符号化処理で生成する画像タイプがＢピクチャ又はＰピクチャである場合には、急激に輝度が低下したということなので、アイリス１１を開放するよう制御信号Ｓ６３を出力する。なお、制御回路６Ｃは、出力信号Ｓ５３の値が“１”又は“２”であっても、次の符号化処理で生成する画像タイプがＩピクチャである場合には、アイリス１１に対する制御を行わない。
第３の実施形態における各処理のタイミングの一例を示すタイミングチャートを図１６に示す。
【００７８】
第３の実施形態によれば、第１の実施形態と同様にコンポジット撮影で急激な輝度変化が発生した場合には、次の符号化処理で生成する画像タイプがＩピクチャ以外のピクチャであれば累算回路４で加算する枚数を制御し、輝度変化量が少なくなるように制御する。これにより、Ｂピクチャ又はＰピクチャのＭＰＥＧ符号化時の輝度変化を抑制することができ、符号化処理（ＧＯＰ構造）を維持したまま、符号量が増大してしまうことを防ぐことができる。
また、輝度変化量に応じてアイリス１１を制御することにより、輝度が急激に小さくなるような輝度変化が発生したとしても、輝度変化を抑制することができ画質が低下するのを抑制することができる。
【００７９】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
図１７は、第４の実施形態に係る撮像装置の構成例を示すブロック図である。この図１７において、図１、図７及び図１１に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
【００８０】
第４の実施形態に係る撮像装置は、撮像素子１、Ａ／Ｄ２、フレームメモリＡ３、累算回路４、輝度変化量算出回路５Ｄ、制御回路６Ｄ、フレームメモリＢ８、カメラ信号処理回路９、符号化処理回路１０、アイリス１１、及びレンズ１２を有する。第４の実施形態に係る撮像装置は、第２の実施形態に係る撮像装置において、さらにアイリス１１を制御回路６Ｄにより制御するようにするものである。本実施形態では、アイリス１１は、制御回路６Ｄからの制御信号Ｓ６４に応じて入射光量の制御を行う。
【００８１】
輝度変化量算出手段としての輝度変化量算出回路５Ｄは、Ａ／Ｄ２の出力信号Ｓ２に基づいて、撮像素子１の蓄積期間毎に画像の輝度変化量を算出する。輝度変化量算出回路５Ｄは、Ａ／Ｄ２の出力信号Ｓ２を基に輝度値を算出して、前回蓄積した輝度値との比較を行い、比較結果に応じて輝度変化が発生しているかどうかを示す情報を出力信号（輝度変化検出信号）Ｓ５４として出力する。
【００８２】
具体的には、輝度変化量算出回路５Ｄは、Ａ／Ｄ２の出力信号Ｓ２を用いて輝度変化量判定処理を行い、出力信号（輝度変化検出信号）Ｓ５４として輝度変化の情報を出力する。
【００８３】
図１８は、第４の実施形態における輝度変化量判定処理動作を示すフローチャートである。
輝度変化量算出回路５Ｄは、輝度変化量判定処理を開始すると、外部定数αを読み込む（ＳＴ１１１）。次に、輝度変化量算出回路５Ｄは、入力されるＡ／Ｄ２の出力信号Ｓ２に基づいて、画像の輝度値（Ｆ１）を算出し（ＳＴ１１２）、算出した輝度値（Ｆ１）と前回蓄積時の輝度値（Ｆ０）との比較を行う（ＳＴ１１３、ＳＴ１１５）。
【００８４】
その結果、算出した輝度値（Ｆ１）が前回蓄積時の輝度値（Ｆ０）に対して定数α以上大きくなった場合（輝度値が増加しその変化量の絶対値が定数α以上の場合）には、輝度変化量算出回路５Ｄは、出力信号Ｓ５４として値“１”を出力する（ＳＴ１１４）。また、算出した輝度値（Ｆ１）が前回蓄積時の輝度値（Ｆ０）に対して定数α以上小さくなった場合（輝度値が減少しその変化量の絶対値が定数α以上の場合）には、輝度変化量算出回路５Ｄは、出力信号Ｓ５４として値“２”を出力する（ＳＴ１１６）。また、算出した輝度値（Ｆ１）と前回蓄積時の輝度値（Ｆ０）との差が定数α未満である場合には、輝度変化量算出回路５Ｄは、出力信号Ｓ５４として値“０”を出力する（ＳＴ１１７）。
【００８５】
続いて、輝度変化量算出回路５Ｄは、Ａ／Ｄ２の出力信号Ｓ２から算出した輝度値（Ｆ１）を前回蓄積時の輝度値（Ｆ０）として更新して保持し（ＳＴ１１８）、輝度変化量判定処理を終了する。
【００８６】
以上のように、輝度変化量算出回路５Ｄは、前回蓄積時の輝度値（Ｆ０）を保持しておき、Ａ／Ｄ２の出力信号Ｓ２から算出した輝度値（Ｆ１）との比較を行う。その結果、輝度変化量算出回路５Ｄは、輝度値（Ｆ１）が輝度値（Ｆ０）に対して、定数α以上大きい場合には値“１”を出力信号Ｓ５５４として出力し、定数α以上小さい場合には値“２”を出力信号Ｓ５４として出力する。また、輝度値（Ｆ１）と輝度値（Ｆ０）との差が、定数α未満の場合には、輝度変化量算出回路５Ｄは、値“０”を出力信号Ｓ５４として出力する。
【００８７】
制御手段としての制御回路６Ｄは、輝度変化量算出回路５Ｄの出力信号Ｓ５４及び符号化処理回路１０の出力信号Ｓ１０１に基づいて、累算回路４にて加算処理を行うか否かの判定を行う。制御回路６Ｄは、判定結果に応じて、累算回路４に対して加算処理を行うか否かを指示する制御信号Ｓ６２を出力する。また、制御回路６Ｄは、輝度変化量算出回路５Ｄの出力信号Ｓ５４及び符号化処理回路１０の出力信号Ｓ１０１に基づいて、アイリス１１に対してその動作を制御するための制御信号Ｓ６４を出力する。
【００８８】
具体的には、制御回路６Ｄは、輝度変化量算出回路５Ｄの出力信号Ｓ５４及び符号化処理回路１０の出力信号Ｓ１０１が入力される。制御回路６Ｄは、出力信号Ｓ５４及び出力信号Ｓ１０１に基づいて、累算回路４を制御するための制御信号Ｓ６２、及びアイリス１１を制御するための制御信号Ｓ６４を生成し出力する。
【００８９】
図１９は、累算回路４を制御するための制御信号Ｓ６２を生成する制御信号生成処理動作を示すフローチャートである。図１９に示す制御信号生成処理動作は、図９に示した第２の実施形態での動作とは、出力信号Ｓ５２が出力信号Ｓ５４となる点が異なる。図１９に示す各ステップＳＴ１２１〜ＳＴ１２４の処理は、図９に示した対応する各ステップＳＴ６１〜ＳＴ６４の処理と同様である。
【００９０】
また、図２０は、アイリス１１を制御するための制御信号Ｓ６４を生成する制御信号生成処理動作を示すフローチャートである。図２０に示す制御信号生成処理動作は、図１５に示した第３の実施形態での動作とは、出力信号Ｓ５３が出力信号Ｓ５４となる点が異なる。図２０に示す各ステップＳＴ１３１〜ＳＴ１３５の処理は、図１５に示した対応する各ステップＳＴ１０１〜ＳＴ１０５の処理と同様である。
第４の実施形態における各処理のタイミングの一例を示すタイミングチャートを図２１に示す。
【００９１】
第４の実施形態によれば、コンポジット撮影で急激な輝度変化が発生した場合には、次の符号化処理で生成する画像タイプがＩピクチャ以外のピクチャであれば累算回路４で加算する枚数を制御し、輝度変化量が少なくなるように制御する。これにより、Ｂピクチャ又はＰピクチャのＭＰＥＧ符号化時の輝度変化を抑制することができ、符号化処理（ＧＯＰ構造）を維持したまま、符号量が増大してしまうことを防ぐことができる。また、輝度変化量に応じてアイリス１１を制御することにより、輝度が急激に小さくなるような輝度変化が発生したとしても、輝度変化を抑制することができ画質が低下するのを抑制することができる。
【００９２】
（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が上述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００９３】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００９４】
【図１】第１の実施形態に係る撮像装置の構成例を示す図である。
【図２】第１の実施形態における輝度変化量判定処理を示すフローチャートである。
【図３】第１の実施形態における制御信号生成処理（累算回路用）を示すフローチャートである。
【図４】第１の実施形態における制御信号生成処理（選択回路用）を示すフローチャートである。
【図５】第１の実施形態における選択回路処理を示すフローチャートである。
【図６】第１の実施形態における各処理のタイミングの一例を示すタイミングチャートである。
【図７】第２の実施形態に係る撮像装置の構成例を示す図である。
【図８】第２の実施形態における輝度変化量判定処理を示すフローチャートである。
【図９】第２の実施形態における制御信号生成処理を示すフローチャートである。
【図１０】第２の実施形態における各処理のタイミングの一例を示すタイミングチャートである。
【図１１】第３の実施形態に係る撮像装置の構成例を示す図である。
【図１２】第３の実施形態における輝度変化量判定処理を示すフローチャートである。
【図１３】第３の実施形態における制御信号生成処理（累算回路用）を示すフローチャートである。
【図１４】第３の実施形態における制御信号生成処理（選択回路用）を示すフローチャートである。
【図１５】第３の実施形態における制御信号生成処理（アイリス用）を示すフローチャートである。
【図１６】第３の実施形態における各処理のタイミングの一例を示すタイミングチャートである。
【図１７】第４の実施形態に係る撮像装置の構成例を示す図である。
【図１８】第４の実施形態における輝度変化量判定処理を示すフローチャートである。
【図１９】第４の実施形態における制御信号生成処理（累算回路用）を示すフローチャートである。
【図２０】第４の実施形態における制御信号生成処理（アイリス用）を示すフローチャートである。
【図２１】第４の実施形態における各処理のタイミングの一例を示すタイミングチャートである。
【図２２】ＭＰＥＧ符号化規格で規定されているＧＯＰの構成を示す図である。
【符号の説明】
【００９５】
１  撮像素子
２  アナログ−デジタル変換器（Ａ／Ｄ）
３、８  フレームメモリ
４  累算回路
５Ａ、５Ｂ、５Ｃ、５Ｄ  輝度変化量算出回路
６Ａ、６Ｂ、６Ｃ、６Ｄ  制御回路
７  選択回路
９  カメラ信号処理回路
１０  符号化処理回路
【図１】
2008306297.tif 000003
【図２】
2008306297.tif 000004
【図３】
2008306297.tif 000005
【図４】
2008306297.tif 000006
【図５】
2008306297.tif 000007
【図６】
2008306297.tif 000008
【図７】
2008306297.tif 000009
【図８】
2008306297.tif 000010
【図９】
2008306297.tif 000011
【図１０】
2008306297.tif 000012
【図１１】
2008306297.tif 000013
【図１２】
2008306297.tif 000014
【図１３】
2008306297.tif 000015
【図１４】
2008306297.tif 000016
【図１５】
2008306297.tif 000017
【図１６】
2008306297.tif 000018
【図１７】
2008306297.tif 000019
【図１８】
2008306297.tif 000020
【図１９】
2008306297.tif 000021
【図２０】
2008306297.tif 000022
【図２１】
2008306297.tif 000023
【図２２】
2008306297.tif 000024