(57)【特許請求の範囲】
【請求項１】
被写体からの光を電気的な画像信号に変換して周期的に出力する画像出力手段と、
前記画像出力手段より周期的に出力される画像信号から複数枚の画像信号を順次取得する画像取得手段と、
前記画像取得手段によって取得された複数枚の画像信号を合成処理して一枚の画像信号を生成する処理を周期的に実行する動画像生成手段とを備え、
前記画像取得手段は、数枚分の画像信号を順次取得するとともに、前記数枚分の画像信号を順次取得する際に少なくとも一枚の画像信号を重複して取得し、
前記動画像生成手段は、前記複数枚の画像信号の各々に対して、画像信号間の時間的な距離に応じた重み付けを個別に行ってから加算を行う
ことを特徴とする動画像生成装置。
【請求項２】
前記動画像生成手段は、前記複数枚の画像信号を加算合成して一枚の画像信号を生成することを特徴とする請求項１記載の動画像生成装置。
【請求項３】
前記動画像生成手段は、新しい画像信号ほど大きな値の重み付けを行うことを特徴とする請求項１記載の動画像生成装置。
【請求項４】
前記動画像生成手段は、前記複数枚の画像信号間の動き補償予測演算を行い、該演算によって得られた予測画像信号を、前記複数の画像信号の一つに加算処理して一枚の画像信号を生成することを特徴とする請求項１記載の動画像生成装置。
【請求項５】
画像出力手段によって周期的に出力された画像信号から複数枚の画像信号を順次取得する画像取得ステップと、
前記画像取得ステップで取得された複数枚の画像信号を合成処理して一枚の画像信号を生成する処理を周期的に実行する動画像生成ステップとを含み、
前記画像取得ステップは、数枚分の画像信号を順次取得するとともに、前記数枚分の画像信号を順次取得する際に少なくとも一枚の画像信号を重複して取得し、
前記動画像生成ステップは、前記複数枚の画像信号の各々に対して、画像信号間の時間的な距離に応じた重み付けを個別に行ってから加算を行う
ことを特徴とする動画像生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像生成装置及び動画像生成方法に関し、詳しくは、テレビカメラ、ビデオカメラ、動画カメラなどに適用できる動画像生成装置及び動画像生成方法に関する。
【０００２】
【従来の技術】
テレビカメラ、ビデオカメラ、動画カメラなどの適正露出は、被写体の輝度をＢ、感光材料の感度をＳ、レンズの明るさを１／Ｆ2、露光時間をＴとすれば、
ＢＳ・Ｔ／Ｆ2＝Ｋ  又は  Ｆ2／Ｔ＝ＢＳ／Ｋ
の関係式の解で与えられため、例えば、Ｂが小さい場合（以下「暗所撮影時」という）の対策は、
（１）感度Ｓの高い感光材料を使用する
（２）絞りを開いて１／Ｆ2を大きくする
（３）露出時間Ｔを長くする
のいずれかになる。
【０００３】
ここに、対策（２）は写真レンズのＦナンバー（レンズ有効口径Ｄの焦点距離ｆに対する比Ｄ／ｆの逆数ｆ／Ｄである。焦点距離ｆと区別してＦナンバーと呼ばれている。）で制限されるため、一般にこの対策だけでの暗所撮影は無理があり、他の対策と併用されることが多い。
一方、対策（１）は銀塩フィルムを用いるカメラに適用される対策であり、固体撮像素子や撮像管を用いるカメラにあっては、その感度Ｓが特定の値に決まっているため、かかる撮像デバイスを備えるテレビカメラ、ビデオカメラ、動画カメラなどの対策とはなり得ない。
なお、撮像デバイスの出力信号を高ゲインで増幅することにより、感度Ｓを向上できるが、かかる高ゲイン増幅はノイズ分も一緒に大きくすることとなるため、理想的対策とは言えない。
【０００４】
したがって、固体撮像素子や撮像管を備えるテレビカメラ、ビデオカメラ、動画カメラなど（以下「撮像システム」という）を用いて暗所撮影を行う場合、すなわち、絞りを最大に開いても適正露出が得られない場合は上記の対策（３）より、固体撮像素子や撮像管の露出時間Ｔを長くするしか術がないことになる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記の撮像システムにおいては、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＭＯＳ（Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子若しくはサチコンやハーピコンなどの撮像管を用いて被写体からの光を画像信号に変換し、フレーム（Ｆｒａｍｅ）と呼ばれる単位で周期的に出力しており、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）規格の画像信号を出力する固体撮像素子または撮像管にあっては、その出力周期（フレーム周期）が１／３０秒であるため、このフレーム周期を越えて露出時間Ｔを設定できず、したがって、上記対策（３）によっても、暗所撮影を行えないという問題点があった。
【０００６】
なお、フレーム周期を長くすれば、かかる問題点を解決できるが、反面、画像信号のコマ数が少なくなって滑らかな動画像を得られないという新たな問題点を招来する。
【０００７】
以上のことから、本発明が解決しようとする課題は、動画像の滑らかさを失わずに暗所撮影を可能にすることにある。
【０００８】
【課題を解決するための手段】
請求項１記載の発明は、被写体からの光を電気的な画像信号に変換して周期的に出力する画像出力手段と、前記画像出力手段より周期的に出力される画像信号から複数枚の画像信号を順次取得する画像取得手段と、前記画像取得手段によって取得された複数枚の画像信号を合成処理して一枚の画像信号を生成する処理を周期的に実行する動画像生成手段とを備え、前記画像取得手段は、数枚分の画像信号を順次取得するとともに、前記数枚分の画像信号を順次取得する際に、少なくとも一枚の画像信号を重複して取得し、前記動画像生成手段は、前記複数枚の画像信号の各々に対して、画像信号間の時間的な距離に応じた重み付けを個別に行ってから加算を行うことを特徴とする。
請求項２記載の発明は、請求項１記載の発明において、前記動画像生成手段は、前記複数枚の画像信号を加算合成して一枚の画像信号を生成することを特徴とする。
請求項３記載の発明は、請求項１記載の発明において、前記動画像生成手段は、新しい画像信号ほど大きな値の重み付けを行うことを特徴とする。
請求項４記載の発明は、請求項１記載の発明において、前記動画像生成手段は、前記複数枚の画像信号間の動き補償予測演算を行い、該演算によって得られた予測画像信号を、前記複数の画像信号の一つに加算処理して一枚の画像信号を生成することを特徴とする。
請求項５記載の発明は、画像出力手段によって周期的に出力された画像信号から複数枚の画像信号を順次取得する画像取得ステップと、前記画像取得ステップで取得された複数枚の画像信号を合成処理して一枚の画像信号を生成する処理を周期的に実行する動画像生成ステップとを含み、前記画像取得ステップは、数枚分の画像信号を順次取得するとともに、前記数枚分の画像信号を順次取得する際に少なくとも一枚の画像信号を重複して取得し、前記動画像生成ステップは、前記複数枚の画像信号の各々に対して、画像信号間の時間的な距離に応じた重み付けを個別に行ってから加算を行うことを特徴とする。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を、動画撮影可能な電子スチルカメラを例にして、図面を参照しながら説明する。
図１において、１０は写真レンズ、１１は写真レンズ１０の光軸上に設けられた絞り機構、１２は絞り機構１１の駆動部、１３は絞り機構１１を通過した光を受けて被写体の撮像信号を出力する固体撮像素子（以下ＣＣＤ）、１４はＣＣＤ１３のドライバ、１５はＣＣＤ１３の露光時間（電子的なシャッタ時間：以下、単にシャッタ時間ということもある）を制御する信号などの各種タイミング信号を発生するタイミング発生器、１６はＣＣＤ１３からの画像信号をサンプリングしてノイズを除去するサンプルホールド回路、１７はノイズ除去後の画像信号をディジタル信号に変換するアナログディジタル変換器、１８はアナログディジタル変換器１７の出力から輝度・色差合成信号（以下ＹＵＶ信号と言う）を生成するカラープロセス回路であり、ＣＣＤ１３、サンプルホールド回路１６、アナログディジタル変換器１７及びカラープロセス回路１８は発明の要旨の画像出力手段に相当する。
【００１０】
また、１９はビデオトランスファー回路、２０は順次生成されるＹＵＶ信号を保持するバッファメモリ、２１はＹＵＶ信号の記録時と再生時に所定の符号化方式（一般にＪＰＥＧ方式）で圧縮／伸長処理する圧縮・伸張回路、２２は被写体の明るさを測定する測光センサ、２３は圧縮処理されたＹＵＶ信号を記録する固定又は取り外し可能なフラッシュメモリであり、バッファメモリ２０は発明の要旨に記載の画像取得手段及び保持手段に相当する。
また、２４はプログラムＲＯＭ２４ａに格納された制御プログラムをワークＲＡＭ２４ｂにロードして実行し、画像の記録制御や再生制御並びにこれらの制御に付帯する各種制御を行うＣＰＵであり、ＣＰＵ２４は発明の要旨に記載の動画像生成手段に相当する。
また、２５はシャッターボタンや各種ボタンの操作に応答してキー入力信号を発生するキー入力部、２６はバッファメモリ２０に保持されているＹＵＶ信号を表示に適した信号形式に変換するディジタルビデオエンコーダ、２７はディジタルビデオエンコーダ２６からの信号を表示する画像モニター用の液晶ディスプレイ、２８は各部を接続するバスである。
【００１１】
このような構成を有する電子スチルカメラは、キー入力部２５の所定のキー操作により、画像の記録モードと再生モードに切替えることができ、さらに記録モードは、ＣＣＤ１３から周期的（便宜的にＮＴＳＣ規格のフレーム周期〔１／３０秒〕とする）に取り出される撮像信号を表示に適した信号に変換して液晶ディスプレイ２７に順次表示するスルーモードと、シャッタキーを操作して所望の１枚の画像信号（静止画）又は所定期間に撮像された複数枚の画像信号（動画）をフラッシュメモリ２３に記録するキャプチャモードと、フラッシュメモリ２３から所望の静止画又は動画を読み出して液晶ディスプレイ２７に表示する再生モードとに分けられる。
【００１２】
スルーモードでは、写真レンズ１０の後方に配置されたＣＣＤ１３がドライバ１４からの信号で駆動され、写真レンズ１０で集められた被写体像が一定周期毎に光電変換されて１画像分の撮像信号が出力される。そして、この撮像信号がサンプルホールド回路１６でサンプリングされ、アナログディジタル変換器１７でディジタル信号に変換された後、カラープロセス回路１８でＹＵＶ信号が生成される。このＹＵＶ信号は、ビデオトランスファー回路１９を介してバッファメモリ２０の画像バッファに転送され、同バッファへの転送完了後に、ビデオトランスファー回路１９によって読み出され、ディジタルビデオエンコーダ２６を介して液晶ディスプレイ２７に送られ、スルー画像として表示される。
【００１３】
この状態でカメラの向きを変えると、液晶ディスプレイ２７に表示されているスルー画像の構図が変化し、適宜の時点（所望の構図が得られた時点）でシャッターキーを“半押し”して露出とフォーカスをセットした後、“全押し”すると、キャプチャーモードに切り替わり、静止画の記録モードであれば、バッファメモリ２０の画像バッファに保存されているＹＵＶ信号がその時点のＹＵＶ信号で固定され、かつ液晶ディスプレイ２７に表示されているスルー画像も同時点の画像で固定される。そして、その時点でバッファメモリ２０の画像バッファに保存されているＹＵＶ信号は、ビデオトランスファー回路１９を介して圧縮・伸長回路２１に送られ、輝度情報と色差情報の各コンポーネント毎に８×８画素の基本ブロックと呼ばれる単位でＪＰＥＧ符号化された後、フラッシュメモリ２３に記録される。
但し、動画の記録モードの場合は、シャッターキーの全押し操作から所定期間の間に１／３０秒のフレーム周期で生成されたすべてのＹＵＶ信号がバッファメモリ２０の画像バッファに保存され、同期間の経過直後にバッファメモリ２０から読み出されて圧縮・伸長回路２１でＪＰＥＧ符号化（動画像の符号化標準であるＭＰＥＧ符号化を用いてもよい）された後、フラッシュメモリ２３に記録される。
【００１４】
一方、再生モードでは、ＣＣＤ１３からバッファメモリ２０までの経路が停止されるとともに、最新のキャプチャー画像（静止画又は動画）がフラッシュメモリ２３から読み出され、圧縮・伸長回路２１で伸張処理された後、ビデオトランスファー回路１９を介してバッファメモリ２０の画像バッファに送られる。そして、この画像バッファのデータがビデオトランスファー回路１９とディジタルビデオエンコーダ２６を介して液晶ディスプレイ２７に送られ、再生画像として表示される。
【００１５】
図２は、バッファメモリ２０の構造図であり、特に動画の撮影モードで使用される二種類の画像バッファ（便宜的に入力画像バッファ３０と出力画像バッファ３１）を模式化して示している。
図２において、入力画像バッファ３０は複数個（図では便宜的に３個）のバッファ領域ＢＩ1〜ＢＩ3からなり、また、出力画像バッファ３１はｍ個のバッファ領域ＢＯ1〜ＢＯmからなる。入力画像バッファ３０の各バッファ領域ＢＩ1〜ＢＩ3のサイズは、カラープロセス回路１８から出力される１画像分のＹＵＶ信号を保存できる充分な大きさであり、出力画像バッファ３１の各バッファ領域ＢＯ1〜ＢＯmのサイズも同程度の大きさである。
【００１６】
図３は、図２の入力画像バッファ３０と出力画像バッファ３１を利用する動画撮影モードのプログラムを示すフローチャートである。このプログラムはＣＰＵ２４のプログラムＲＯＭ２４ａに予め格納されており、キー入力部２５の所定のキー操作によってＣＰＵ２４のワークＲＡＭ２４ｂにロードされ、実行される。
プログラムを実行すると、まず、ループ変数ｊに初期値の１をセットし（Ｓ１）、ｊ＞ｍであるか否か、すなわち、ループ変数ｊの値が出力画像バッファ３１の領域数ｍを越えたか否かを判定する（Ｓ２）。ここに、出力画像バッファ３１の領域数ｍは、動画の記録時間を決定する要素である。例えば、フレーム周期を１／３０秒とし、ｍ＝３０とすると、動画の記録時間は１秒となる。
【００１７】
次いで、入力画像バッファ３０のバッファ領域ＢＩ１に画像信号を格納する（Ｓ３）。この画像信号はカラープロセス回路１８から出力されたＹＵＶ信号である。
次いで、合成処理を実行（Ｓ４）する。合成処理は、図４に示すように、入力画像バッファ３０の各バッファ領域ＢＩ1〜ＢＩ3の保存情報を加算合成し、その合成結果を出力画像バッファ３１のｊ番目のバッファ領域ＢＯjに格納するというものである（Ｓ４＿１）。
【００１８】
合成処理を完了すると、次に、入力画像バッファ３０の各バッファ領域ＢＩ1〜ＢＩ3の内容を移し替える（Ｓ５）。移し替えは、まず、ＢＩ2の内容をＢＩ3に移し、次いで、ＢＩ1の内容をＢＩ2に移すという順番である。すなわち、ＢＩ1→ＢＩ2→ＢＩ3の方向に格納情報を移し替える。
そして、最後にループ変数ｊを＋１し（Ｓ６）、以上の処理をｊ＞ｍになるまで繰り返してｊ＞ｍになったときにプログラムを終了する。
【００１９】
図５は、上記加算合成の概念図であり、符号３２は図４の加算処理（Ｓ４＿１）を模式的に表している。なお、この図は便宜的にｊ＝５のときの様子を示している。図５において、入力画像バッファ３０の１番目のバッファ領域ＢＩ1には動画記録モードの期間中にカラープロセス回路１８から出力された５枚目のＹＵＶ信号ＰＩ5が格納されており、２番目のバッファ領域ＢＩ2には同期間中にカラープロセス回路１８から出力された４枚目のＹＵＶ信号ＰＩ4が格納されており、さらに、３番目のバッファ領域ＢＩ3には同期間中にカラープロセス回路１８から出力された３枚目のＹＵＶ信号ＰＩ3が格納されている。
【００２０】
そして、出力画像バッファ３１のｊ番目（ｊ＝５であるから５番目）のバッファ領域ＢＯ5には、ＢＩ1、ＢＩ2及びＢＩ3の内容を加算した画像信号ＰＯ5が格納されている。なお、ＰＯ4は４番目のバッファ領域ＢＯ4に格納された加算画像信号、ＰＯ3は３番目のバッファ領域ＢＯ3に格納された加算画像信号、ＰＯ2は２番目のバッファ領域ＢＯ2に格納された加算画像信号、ＰＯ1は１番目のバッファ領域ＢＯ1に格納された加算画像信号である。なお、ＰＯ2＝Ｉ１＋ＰＩ２、ＰＯ１＝ＰＩ１である。ｍ個のバッファ領域ＢＯ1〜ＢＯmのすべてに加算画像信号が格納されると、ｊ＞ｍの判定結果が真（ＹＥＳ）になる。
【００２１】
今、例えば、ＰＯ5に注目すると、このＰＯ5は上述のとおり、ＢＩ1〜ＢＩ3の格納内容、すなわち、三つの画像信号（ＰＩ5、ＰＩ4及びＰＩ3）を加算した画像信号である。これらの画像信号は被写体の二次元像であり、被写体各部の輝度情報（Ｙ）や色差情報（ＵＶ）を二次元平面に並べたものである。したがって、一連の動画記録モード中にカラープロセス回路１８から出力された画像信号のうち時間的に近いもの同士の相関性が高く、二次元平面内の輝度情報（Ｙ）や色差情報（ＵＶ）の値にも類似性がある。
このため、時間的に連続する三つの画像信号（ＰＩj-2、ＰＩj-1及びＰＩj）を加算した画像信号ＰＯjは、これら三つの画像信号の輝度情報（Ｙ）や色差情報（ＵＶ）の加算情報を持つこととなり、被写体の動きをゼロとすれば、単純計算でほぼ３倍の輝度情報（Ｙ）や色差情報（ＵＶ）を持つことになる。その結果、実質的に感光材料の感度Ｓを大きくするのと同等の効果を得ることができ、ＣＣＤ１３のフレーム周期を変更することなく、暗所撮影を行うことができるという格別の効果が得られる。
【００２２】
因みに、上述の加算処理は、画像信号中のランダムノイズも同時に加算することとなるが、例えば、二つの画像信号を加算した場合、周期性のある信号成分が２倍になるのに対して、周期性のないランダムノイズは√２倍にしかならないことが知られているから、Ｓ／Ｎの悪化を招く心配はない。
【００２３】
なお、図４の加算処理では、三つの画像信号（ＰＩj-2、ＰＩj-1及びＰＩj）を単純に加算しているが、三つの画像信号（ＰＩj-2、ＰＩj-1及びＰＩj）の各々に適当な重み値を与えてから加算するようにしてもよい。すなわち、図６に示すように、入力画像バッファ３０の各バッファ領域ＢＩ1〜ＢＩ3の内容にそれぞれ適当な重み値Ａ、Ｂ、Ｃを与えた後、それらを加算して出力画像バッファ３１のｊ番目のバッファ領域ＢＯjに格納してもよい（Ｓ４＿２）。図７はその概念図であり、図中の符号３３〜３５は重み付け要素を模式化したものである。
重み値の与え方は、三つの画像信号（ＰＩj-2、ＰＩj-1及びＰＩj）のうちｊ番目の画像信号ＰＩjに最大の値を持つＣを、ｊ−１番目の画像信号ＰＩj-1に次位の値を持つＢを、ｊ−２番目の画像信号ＰＩj-2に最小の値を持つＡを与えることが望ましい。ｊ番目の画像信号との間の時間的な距離に応じた重み付けを行うことができ、画像の動きを考慮した合成画像信号を得ることができるからである。
【００２４】
または、図４の合成処理を、図８のように変形させてもよい。すなわち、ＢＩ1とＢＩ2の間の動き補償予測演算を行い、その演算結果を変数Ｍａに格納（Ｓ４＿３）するとともに、ＢＩ2とＢＩ3の間の動き補償予測演算を行い、その演算結果を変数Ｍｂに格納（Ｓ４＿４）した後、ＢＩ1とＭａ及びＭｂを加算して、その加算結果をＢＯjに格納（Ｓ４＿５）してもよい。図９はその概念図であり、図中の符号３６は動き補償予測演算要素を模式化したものである。なお、ＭａとＭｂの加算対象はＢＩ1に限らない。ＢＩ1〜ＢＩ3のいずれかであればよい。
【００２５】
動き補償予測演算（動き補償フレーム間予測演算ともいう）とは、例えば、あるフレームの被写体が時間的に隣接する他のフレームのどの部分に一番にているかを探索し、その探索方向と探索距離を隣接フレーム間の動き情報として算出するものであり、動画像における時間領域の冗長度除去技術の一手法である。したがって、これによれば、動きのある被写体を暗所撮影することができる。また、この手法はＭＰＥＧ符号化の骨格技術であるから、例えば、圧縮・伸長回路２１でＭＰＥＧ符号化を行う場合は、その圧縮アルゴリズムの流用が可能である。
【００２６】
以上のとおり、本実施の形態によれば、カラープロセス回路１８から所定のフレーム周期（例えば１／３０秒周期）で順次に出力される画像信号ＰＩj、画像信号ＰＩj-1、画像信号ＰＩj-2を三つのバッファ領域ＢＩ1〜ＢＩ3に格納するとともに、三つのバッファ領域ＢＩ1〜ＢＩ3の内容を加算処理して１枚の画像信号ＰＯjを生成し、これを出力画像バッファ３１のバッファ領域ＢＯjに格納して動画のコマ画像としたので、動画のコマ画像各部の輝度値や色差値を元画像（ＰＩj、ＰＩj-1及びＰＩj-2）の加算数に応じて倍増することができる。
【００２７】
したがって、例えば、元画像の輝度値をｎとすると、動画のコマ画像各部の輝度値を単純計算で「加算数×ｎ」とすることができ、一般に輝度値ｎは値が大きくなるほど白レベルに近くなるから、露出を大きくしたことと同等の効果（対策（１）〜（３）の効果）を得ることができる。その結果、ＣＣＤ１３のフレーム周期を変更することなく、暗所撮影を行うことができ、テレビカメラ、ビデオカメラ又は動画カメラにとって格別有益な効果を奏することができる。
【００２８】
また、元画像（ＰＩj、ＰＩj-1及びＰＩj-2）の各々に、元画像の時間的な距離に対応した重み値を与えた後に加算すると、画像の動きを考慮した合成画像信号が得られるので好ましい。
また、元画像（ＰＩj、ＰＩj-1及びＰＩj-2）間の動き補償予測演算を行い、その演算結果を元画像の一つ（例えば、ＰＩj）に加算してもよい。上記演算結果は、被写体の動き部分を表すので、特に動きのある被写体の暗所撮影に好適なものとすることができる。
【００２９】
なお、以上の各実施の形態は、画像信号単位（フレーム単位）に加算処理を行っているが、これに限らない。特にＣＣＤ等の固体撮像素子から出力された画像信号は、画素単位の取り扱いが容易であるため、フレーム単位でなく画素単位の加算処理を行ってもよい。
図１０は、画素単位で加算処理を行う場合のバッファメモリ２０の構造図であり、図示の例では、各々一つのバッファ領域ＢＩ、ＢＯを含む入力画像バッファ３０と出力画像バッファ３１が示されている。
【００３０】
入力画像バッファ３０のバッファ領域ＢＩのサイズは、カラープロセス回路１８から出力される１画像分のＹＵＶ信号を保存できる充分な大きさであり、出力画像バッファ３１のバッファ領域ＢＯのサイズも同程度の大きさである。
【００３１】
図１１は、バッファ領域ＢＩ、ＢＯに保存される画像信号の画素配置図であり、桝目の一つ一つが画素である。横方向はＣＣＤ１３の水平走査方向に対応し、縦方向は同垂直走査方向に対応する。以下、画素位置を（ｉ，ｊ）の座標で表すことにする。ここに、ｉは横方向座標値、ｊは縦方向座標値である。今、注目画素の座標を（ｉ，ｊ）とすると、その上下左右に隣接する８個の隣接画素の座標は、図１２に示すように、（ｉ−１，ｊ−１）、（ｉ，ｊ−１）、（ｉ＋１，ｊ−１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）、（ｉ，ｊ＋１）、（ｉ−１，ｊ＋１）、（ｉ−１，ｊ）で表すことができる。
【００３２】
図１３は、図１０の入力画像バッファ３０と出力画像バッファ３１を利用する動画撮影モードのプログラムを示すフローチャートである。このプログラムはＣＰＵ２４のプログラムＲＯＭ２４ａに予め格納されており、キー入力部２５の所定のキー操作によってＣＰＵ２４のワークＲＡＭ２４ｂにロードされ、実行される。
【００３３】
このプログラムは、入力画像バッファ３０のバッファ領域ＢＩに格納された画像信号のｉ×ｊ個の画素を注目画素として巡回しつつ、その周囲の８個の隣接画素の画素値を注目画素の画素値に加算し、その加算結果を出力画像バッファ３１のバッファ領域ＢＯに逐次に格納するというものである。
すなわち、プログラムを開始すると、まず、ループ変数ｉ、ｊに初期値の１をセットし（Ｓ２０）、次いで、後述の加算処理（Ｓ２１）を実行した後、入力画像バッファ３０のバッファ領域ＢＩに格納された画像信号のｉ×ｊ個の画素のすべてに対して同加算処理を実行する（Ｓ２２〜Ｓ２６）。なお、Ｓ２２、Ｓ２３は水平走査方向の画素選択ステップ、Ｓ２４〜Ｓ２６は垂直方向の画素選択ステップである。また、水平方向と垂直方向の画素数は便宜的に１２としている（Ｓ２２、Ｓ２４参照）。
【００３４】
図１４は、Ｓ２１の加算処理の詳細である。この図において、右上にダッシュ（′）を付した注目画素（ｉ，ｊ）′は、出力画像バッファ３１のバッファ領域ＢＯに格納される画素であり、この注目画素（ｉ，ｊ）′には、入力画像バッファ３０のバッファ領域ＢＩに格納された画像信号の注目画素（ｉ，ｊ）の画素値と、その周囲の８個の隣接画素（ｉ−１，ｊ−１）、（ｉ，ｊ−１）、（ｉ＋１，ｊ−１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）、（ｉ，ｊ＋１）、（ｉ−１，ｊ＋１）、（ｉ−１，ｊ）の画素値との加算値、すなわち、図１２の９個の画素値を加算した値がセットされる（Ｓ２１＿１）。
【００３５】
今、図１２の９個の画素値を便宜的にａとすると、（ｉ，ｊ）′の値は「ａ×９」となる。このことは、（ｉ，ｊ）の画素値を９倍にして（ｉ，ｊ）′にセットすることに相当する。したがって、画素値の増加は白レベルへの接近を意味するから、本実施の形態においてもＣＣＤ１２のフレーム周期を変えることなく、暗所撮影を行うことができる。
【００３６】
なお、図１４の加算処理では、注目画素の画素値とその周囲の８個の隣接画素の画素値を加算している。この様子は、図１５のように示すことができる。
図１５において、クロスハッチングは注目画素、左下がりハッチングは隣接画素である。このような画素配列は、注目画素の座標がｉ＞ｉmin、ｉ＜ｉmax、ｊ＞ｊmin且つｊ＜ｊmaxの条件をすべて満たしているときである。但し、ｉminは座標ｉの最小値、ｉmaxは座標ｉの最大値、ｊminは座標ｊの最小値、ｊmaxは座標ｊの最大値である。
【００３７】
図１６は、かかる条件を満たしていない各ケースを示す図である。すなわち、（ａ）はｉ＞ｉminとｊ＞ｊminを満たしておらず、（ｂ）はｉ＜ｉmaxとｊ＞ｊminを満たしておらず、（ｃ）はｉ＜ｉmaxとｊ＜ｊmaxを満たしておらず、（ｄ）はｉ＞ｉminとｊ＜ｊmaxを満たしておらず、（ｅ）はｊ＞ｊminを満たしておらず、（ｆ）はｊ＜ｊmaxを満たしておらず、（ｇ）はｉ＞ｉminを満たしておらず、（ｈ）はｉ＜ｉmaxを満たしていない。これらの各ケースにおいては、隣接画素の一部が存在しない（図中の破線で示す桝目）ため、その非存在画素の画素値を０とみなして加算する必要がある。
【００３８】
図１４の加算処理では、注目画素の画素値とその周囲の８個の隣接画素の画素値を単純に加算しているが、これに限らない。例えば、図１７に示すような重み値ＷNW、ＷN、ＷNE、ＷE、ＷSE、ＷS、ＷSW、ＷW、ＷCを適用してもよい。
ここに、ＷNWは注目画素（ｉ，ｊ）の左上に位置する隣接画素（ｉ−１，ｊ−１）の重み値、ＷNは注目画素（ｉ，ｊ）の上に位置する隣接画素（ｉ，ｊ−１）の重み値、ＷNEは注目画素（ｉ，ｊ）の右上に位置する隣接画素（ｉ＋１，ｊ−１）の重み値、ＷEは注目画素（ｉ，ｊ）の右に位置する隣接画素（ｉ＋１，ｊ）の重み値、ＷSEは注目画素（ｉ，ｊ）の右下に位置する隣接画素（ｉ＋１，ｊ＋１）の重み値、ＷSは注目画素（ｉ，ｊ）の下に位置する隣接画素（ｉ，ｊ＋１）の重み値、ＷSWは注目画素（ｉ，ｊ）の左下に位置する隣接画素（ｉ−１，ｊ＋１）の重み値、ＷWは注目画素（ｉ，ｊ）の左に位置する隣接画素（ｉ−１，ｊ）の重み値、ＷCは注目画素（ｉ，ｊ）の重み値である。
【００３９】
各重み値は、注目画素からの距離が遠いほど小さい値にする。例えば、ＷNW＝ＷNE＝ＷSE＝ＷSW＝１、ＷN＝ＷE＝ＷS＝ＷW＝３、ＷC＝５にしてもよい。注目画素からの距離が遠くなるほど、画素値の相関性が低くなるから、加算に伴う画質の劣化を回避できる。
【００４０】
また、図１４の加算処理を、図１８のように改良してもよい。この改良例は、注目画素とその周囲の隣接画素との間の相関性を調べ、相関性の高い隣接画素の画素値を注目画素の画素値に加算するというものである。加算に伴う画質の劣化をより積極的に回避できる。
図１８の加算処理を開始すると、まず、注目画素（ｉ，ｊ）の画素値と左隣の隣接画素（ｉ−１，ｊ）の画素値との差を演算し、その演算結果の絶対値を変数ＶLにセットする（Ｓ２２＿２）とともに、注目画素（ｉ，ｊ）の画素値と右隣の隣接画素（ｉ＋１，ｊ）の画素値との差を演算し、その演算結果の絶対値を変数ＶRにセットする（Ｓ２２＿３）。次に、ＶLとＶRとを比較してＶL＞ＶRであるか否かを判定する（Ｓ２２＿４）。
【００４１】
判定結果がＹＥＳの場合は（ＶL＞ＶRである場合は）、注目画素（ｉ，ｊ）の画素値と左隣の隣接画素（ｉ−１，ｊ）の画素値との差の絶対値が、注目画素（ｉ，ｊ）の画素値と右隣の隣接画素（ｉ＋１，ｊ）の画素値との差の絶対値よりも大きく、この場合は注目画素（ｉ，ｊ）に対して右隣の隣接画素（ｉ＋１，ｊ）の相関性が高いから、図１９（ａ）に示すように、右隣の隣接画素（ｉ＋１，ｊ）を含む５つの隣接画素（ｉ，ｊ−１）、（ｉ＋１，ｊ−１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）、（ｉ，ｊ＋１）の画素値を注目画素（ｉ，ｊ）の画素値に加算する（Ｓ２２＿５）。
【００４２】
一方、判定結果がＮＯの場合は（ＶL＞ＶRでない場合は）、注目画素（ｉ，ｊ）の画素値と左隣の隣接画素（ｉ−１，ｊ）の画素値との差の絶対値が、注目画素（ｉ，ｊ）の画素値と右隣の隣接画素（ｉ＋１，ｊ）の画素値との差の絶対値よりも小さく、この場合は注目画素（ｉ，ｊ）に対して左隣の隣接画素（ｉ−１，ｊ）の相関性が高いから、図１９（ｂ）に示すように、左隣の隣接画素（ｉ−１，ｊ）を含む５つの隣接画素（ｉ，ｊ−１）、（ｉ−１，ｊ−１）、（ｉ−１，ｊ）、（ｉ−１，ｊ＋１）、（ｉ，ｊ＋１）の画素値を注目画素（ｉ，ｊ）の画素値に加算する（Ｓ２２＿６）。
【００４３】
このようにすると、注目画素（ｉ，ｊ）に対して相関性の低い隣接画素の画素値を加算対象から省くことができるので、被写体の輪郭等のボケを回避して画質の向上を図ることができる。
なお、図１８の加算処理では、注目画素に対する右隣と左隣の隣接画素の相関性を調べているが、上下の隣接画素であってもよいことはもちろんである。
【００４４】
【発明の効果】
本発明によれば、合成画像信号の輝度情報や色差情報の値を大きくすることができ、フレーム周期を変更することなく、暗所撮影を行うことができる。
【図面の簡単な説明】
【図１】電子スチルカメラのブロック図である。
【図２】一の実施の形態に係るバッファメモリの構造図である。
【図３】一の実施の形態に係る動画記録プログラムのフローチャートである。
【図４】合成処理のフローチャート（単純加算の例）である。
【図５】合成処理の概念図（単純加算の例）である。
【図６】合成処理のフローチャート（重み付け加算の例）である。
【図７】合成処理の概念図（重み付け加算の例）である。
【図８】合成処理のフローチャート（動き補償予測演算の併用例）である。
【図９】合成処理の概念図（動き補償予測演算の併用例）である。
【図１０】他の実施の形態に係るバッファメモリの構造図である。
【図１１】他の実施の形態に係る画像信号の画素構造図である。
【図１２】注目画素とその周囲の隣接画素を示す図である。
【図１３】他の実施の形態に係る動画記録プログラムのフローチャートである。
【図１４】合成処理のフローチャート（画素値の単純加算の例）である。
【図１５】加算対象画素を示す図である。
【図１６】一部の隣接画素を欠く画素配列図である。
【図１７】注目画素とその周囲の隣接画素に付与する重み値を示す図である。
【図１８】合成処理のフローチャート（相関性の評価を併用する例）である。
【図１９】合成処理の概念図（相関性の評価を併用する例）である。
【符号の説明】
１３  ＣＣＤ（画像出力手段）
１６  サンプルホールド回路（画像出力手段）
１７  アナログディジタル変換器（画像出力手段）
１８  カラープロセス回路（画像出力手段）
２０  バッファメモリ（画像取得手段、保持手段）
２４  ＣＰＵ（動画像生成手段）
【図１】
0004544661.tif 000002
【図２】
0004544661.tif 000003
【図３】
0004544661.tif 000004
【図４】
0004544661.tif 000005
【図５】
0004544661.tif 000006
【図６】
0004544661.tif 000007
【図７】
0004544661.tif 000008
【図８】
0004544661.tif 000009
【図９】
0004544661.tif 000010
【図１０】
0004544661.tif 000011
【図１１】
0004544661.tif 000012
【図１２】
0004544661.tif 000013
【図１３】
0004544661.tif 000014
【図１４】
0004544661.tif 000015
【図１５】
0004544661.tif 000016
【図１６】
0004544661.tif 000017
【図１７】
0004544661.tif 000018
【図１８】
0004544661.tif 000019
【図１９】
0004544661.tif 000020