(57)【要約】【課題】画像全体として比較的高いＳ／Ｎ比と高感度とを実現しつつ、滑らかな動画出力が可能な撮像技術を提供する。【解決手段】撮像システムは、撮像素子で順次に取得されたフレームを格納する５のフレームメモリを有している。人物ＨＭが出現する前には、各フレームメモリには更新履歴の順に５のフレームＦ１〜Ｆ５が格納されている。人物ＨＭが出現した最新フレームが取得されると、その直前の画像Ｆ５との差分演算が行われるとともに、この差分画像に対して空間ローパスフィルタ処理が施され平滑化差分画像ＦＤが生成される。そして、平滑化差分画像ＦＤが、各フレームＦ２〜Ｆ５にそれぞれ加算され、加算画像Ｆ２ａ〜Ｆ５ａが生成される。これらの加算画像Ｆ２ａ〜Ｆ５ａと最新フレームＦ６とが総加算されて総加算画像ＦＳが生成される。これにより、画像全体として比較的高いＳ／Ｎ比と高感度とを実現しつつ、滑らかな動画像データを生成できる。【選択図】　　　　図３
2004032517.tif 000002
【特許請求の範囲】
【請求項１】
動画出力が可能な撮像システムであって、
被写体に係るフレームの画像データを順次に取得する撮像手段と、
前記撮像手段で順次に取得される一連のフレームのうち、新しい順に所定数のフレームの画像データを格納する格納手段と、
ｎを２以上の整数とし、前記所定数のフレームのうち最新のフレームを第ｎフレームとしたとき、第ｎフレームの画像データと、第１〜第（ｎ−１）フレームを代表的に表現した基準画像データとの差分画像データを生成する差分手段と、
前記差分画像データに対してローパスフィルタ処理を施し、平滑化差分画像データを生成する平滑化手段と、
第１〜第ｎフレームの画像データと、前記平滑化差分画像データの（ｎ−１）倍分との総和に対応する合成画像データを求める合成手段と、
第２〜第（ｎ−１）フレームの画像データのそれぞれと前記平滑化差分画像データとの和に相当する値、および第ｎフレームの画像データの値によって、第１〜第（ｎ−１）フレームについての新たな画像データを定義する更新手段、
を備え、
前記合成画像データに基づいて前記動画出力の１フレーム分を得ることを特徴とする撮像システム。
【請求項２】
請求項１に記載の撮像システムにおいて、
整数ｎの値を変更する変更手段、
をさらに備えることを特徴とする撮像システム。
【請求項３】
請求項２に記載の撮像システムにおいて、
前記変更手段は、
第ｎフレームの画像データに係る輝度情報に基づき、整数ｎの値を変更する手段、
を有することを特徴とする撮像システム。
【請求項４】
請求項２または請求項３に記載の撮像システムにおいて、
前記被写体に係る照度を検出する検出手段、
をさらに備え、
前記変更手段は、
前記検出手段で検出された前記照度に基づき、整数ｎの値を変更する手段、
を有することを特徴とする撮像システム。
【請求項５】
被写体に係るフレームの画像データを順次に取得する撮像装置と通信可能に接続されて動画出力が可能な画像処理装置であって、
前記撮像装置で順次に取得される一連のフレームのうち、新しい順に所定数のフレームの画像データを格納する格納手段と、
ｎを２以上の整数とし、前記所定数のフレームのうち最新のフレームを第ｎフレームとしたとき、第ｎフレームの画像データと、第１〜第（ｎ−１）フレームを代表的に表現した基準画像データとの差分画像データを生成する差分手段と、
前記差分画像データに対してローパスフィルタ処理を施し、平滑化差分画像データを生成する平滑化手段と、
第１〜第ｎフレームの画像データと、前記平滑化差分画像データの（ｎ−１）倍分との総和に対応する合成画像データを求める合成手段と、
第２〜第（ｎ−１）フレームの画像データのそれぞれと前記平滑化差分画像データとの和に相当する値、および第ｎフレームの画像データの値によって、第１〜第（ｎ−１）フレームについての新たな画像データを定義する更新手段、
を備え、
前記合成画像データに基づいて前記動画出力の１フレーム分を得ることを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、出力画像データに基づき動画出力が可能な撮像技術に関する。
【０００２】
【従来の技術】
被写体を撮影する撮像装置（撮像システム）は、その原理により複数のタイプに分類されるが、いずれも使用されている撮像素子の感度は必ずしも高いとは言えない。撮像素子として最も普及しているＣＣＤイメージセンサでは、対象物体面上において１００［ｌｘ］オーダ、撮像面上においては１０−１［ｌｘ］オーダの最低照度が必要である。この照度値から、例えば夜間の無照明での撮影が極めて困難であると言える。
【０００３】
そこで、撮像装置の感度を高めるために様々な技術が試みられている。この高感度化のための技術は５種類に大別される。それぞれの特徴を以下で説明する。
【０００４】
（１）撮像素子から出力される画像信号に対して、後段の信号処理回路における利得（ゲイン）を高める方法で、通常撮影の延長上にある技術である。これにより、微弱な画像信号が増強される。しかし、同時にノイズ成分までも増強されるため、出力画像の品質は劣悪なものとなる欠点がある。
【０００５】
（２）撮像素子上で隣接関係にある複数の画素の出力値を加算する技術で、例えば特開平９−１８２０９０はこれを応用している。各画素の出力値は微弱であっても、互いに加算することにより増強が可能となる。しかし、複数の画素の出力値を合計するため、解像度が著しく低下する欠点がある。
【０００６】
（３）被写体像を光学的に増倍する倍増素子を構成に付加する技術である。この倍増素子としてイメージインテンシファイアと称されるものがある。対物レンズ系によって結像した光学像を一旦光電膜で電子に変換し、生成された電子を電界により加速して蛍光膜に衝突させて、もとの光学像よりも輝度の高い蛍光像を形成する。これにより、比較的高いＳ／Ｎ比でリアルタイムの動画像を撮影できる。しかし、カラー画像の撮影が困難で、またコストが高いという欠点がある。
【０００７】
（４）撮像素子での光エネルギーの蓄積時間を延長する方法で、端的に言えばスローシャッタにより露光時間を長くする技術である。例えば特開昭６４−７８０８１にはこの技術が開示されている。低照度の微弱な画像でも露光量を増やせば画像信号の強度が増すとともに、蓄積時間を長くすることによりランダムノイズが平準化されその影響が減少するため、画像の品質も保たれる。しかし、シャッター速度が遅いため、動きのある被写体に追従できず、残像が発生するなど動解像度が低下するという欠点がある。
【０００８】
（５）順次に撮影される複数の画像データを、メモリ上で繰り返し加算する方法で、例えば特開平５−１０３２６６には、この方法を応用した技術が開示されている。この技術は、原理的には上記（４）の方法に類似しており、実質的に露光時間を延ばすことによってランダムノイズの低減を図るものである。
【０００９】
図７は、上記（５）の技術に係る撮像システム９の要部構成を示す概略図である。
【００１０】
レンズ光学系（図示せず）を介して撮像面に結像される被写体の光学像は、撮像素子９１で電気信号に変換されて画像信号として出力される。Ａ／Ｄ変換部９２は、撮像素子９１から出力される画像信号を、デジタル信号に変換して出力する。フレームメモリ群９３は、Ｎ（Ｎ≧２）枚の単位フレームメモリ（１）〜（Ｎ）を有しており、Ａ／Ｄ変換部９２で生成された画像データをそれぞれ格納する。
【００１１】
選択更新部９４は、Ａ／Ｄ変換部９２から出力される画像データを、単位フレームメモリ（１）〜（Ｎ）の中から更新履歴の最も古い１のフレームメモリを選択して転送し、選択されたフレームメモリの記憶内容を破棄して最新の画像データで更新する。総加算部部９５は、単位フレームメモリ（１）〜（Ｎ）に格納されている画像データを互いに加算して、出力画像データを生成する。出力画像処理部９６は、出力画像データを変換処理し、モニタなどの外部機器に動画出力する。
【００１２】
撮像システム９では、総加算部９５による出力画像データの生成は、単位フレームメモリ（１）〜（Ｎ）が一渡り更新される毎に行われる。よって、出力画像処理部９６から出力される画像の時間間隔は、撮像素子９１のフレームレートをＮ倍したものとなる。
【００１３】
以上の撮像システム９の動作により、高Ｓ／Ｎ比が達成でき、カラー撮影が可能となる。また、原理の類似した上記（４）の方法と異なって撮像素子の駆動に特別な構成を要しないという点で、優れた技術であると考えられる。
【００１４】
【発明が解決しようとする課題】
しかしながら、上記（５）の方法では、実質的な露光時間の延長と等しいため、上述したように出力画像処理部９６から動画像として出力される画像データのフレームレートが撮像素子の１／Ｎ倍と低下する。したがって、動きのある被写体を撮影する場合には、その動きに追従できず動解像度が低下するため、被写体の視認が困難な低品質の動画像となってしまう。
【００１５】
この問題を解消する技術として、例えば特開２００１−２３０９６５には、画像から動きのある部分と背景部分とを分離し、前者にはその大きさに応じて利得をかけ、後者にはデータ加算処理を施す方法が開示されている。しかし、この方法では、最終的に出力される画像で残像は低減できるが、動作の連続性が低下する。つまりフレームレートが減少して、いわゆるコマ飛びのように滑らかな動画像の出力が困難となる。
【００１６】
本発明は、上記課題に鑑みてなされたものであり、画像全体として比較的高いＳ／Ｎ比と高感度とを実現しつつ、滑らかな動画出力が可能な撮像技術を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明は、動画出力が可能な撮像システムであって、被写体に係るフレームの画像データを順次に取得する撮像手段と、前記撮像手段で順次に取得される一連のフレームのうち、新しい順に所定数のフレームの画像データを格納する格納手段と、ｎを２以上の整数とし、前記所定数のフレームのうち最新のフレームを第ｎフレームとしたとき、第ｎフレームの画像データと、第１〜第（ｎ−１）フレームを代表的に表現した基準画像データとの差分画像データを生成する差分手段と、前記差分画像データに対してローパスフィルタ処理を施し、平滑化差分画像データを生成する平滑化手段と、第１〜第ｎフレームの画像データと、前記平滑化差分画像データの（ｎ−１）倍分との総和に対応する合成画像データを求める合成手段と、第２〜第（ｎ−１）フレームの画像データのそれぞれと前記平滑化差分画像データとの和に相当する値、および第ｎフレームの画像データの値によって、第１〜第（ｎ−１）フレームについての新たな画像データを定義する更新手段を備え、前記合成画像データに基づいて前記動画出力の１フレーム分を得る。
【００１８】
また、請求項２の発明は、請求項１の発明に係る撮像システムにおいて、整数ｎの値を変更する変更手段をさらに備える。
【００１９】
また、請求項３の発明は、請求項２の発明に係る撮像システムにおいて、前記変更手段は、第ｎフレームの画像データに係る輝度情報に基づき、整数ｎの値を変更する手段を有する。
【００２０】
また、請求項４の発明は、請求項２または請求項３の発明に係る撮像システムにおいて、前記被写体に係る照度を検出する検出手段、をさらに備え、前記変更手段は、前記検出手段で検出された前記照度に基づき、整数ｎの値を変更する手段を有する。
【００２１】
また、請求項５の発明は、被写体に係るフレームの画像データを順次に取得する撮像装置と通信可能に接続されて動画出力が可能な画像処理装置であって、前記撮像装置で順次に取得される一連のフレームのうち、新しい順に所定数のフレームの画像データを格納する格納手段と、ｎを２以上の整数とし、前記所定数のフレームのうち最新のフレームを第ｎフレームとしたとき、第ｎフレームの画像データと、第１〜第（ｎ−１）フレームを代表的に表現した基準画像データとの差分画像データを生成する差分手段と、前記差分画像データに対してローパスフィルタ処理を施し、平滑化差分画像データを生成する平滑化手段と、第１〜第ｎフレームの画像データと、前記平滑化差分画像データの（ｎ−１）倍分との総和に対応する合成画像データを求める合成手段と、第２〜第（ｎ−１）フレームの画像データのそれぞれと前記平滑化差分画像データとの和に相当する値および第ｎフレームの画像データの値によって、第１〜第（ｎ−１）フレームについての新たな画像データを定義する更新手段を備え、前記合成画像データに基づいて前記動画出力の１フレーム分を得る。
【００２２】
【発明の実施の形態】
＜第１実施形態＞
＜撮像システムの要部構成＞
図１は、本発明の第１実施形態に係る撮像システム１Ａの要部構成を示す概略図である。
【００２３】
撮像システム１Ａは、監視カメラ２Ａと、ケーブルＣＢ１を介して監視カメラ２Ａを制御するコントローラ３Ａとを有している。このコントローラ３Ａは、ケーブルＣＢ２を介して表示装置４と通信可能に接続している。表示装置４は、コントローラ３Ａから出力される動画像の表示が可能である。
【００２４】
監視カメラ２Ａは、撮影レンズ２１を有しており、撮影装置として機能する。
【００２５】
コントローラ３Ａは、画像処理装置として機能し、その前面には、電源スイッチ３１と、液晶モニタ３２と、操作ボタン３３（３３ａ、３３ｂ）とが設けられている。
【００２６】
操作ボタン３３は、ユーザの操作入力を受付ける部位で、この操作ボタン３３が操作されることで撮像システム１Ａの設定状態を変更することができる。また、液晶モニタ３２では、この設定状態が表示可能な構成となっている。
【００２７】
図２は、撮像システム１Ａの機能的構成を示すブロック図である。
【００２８】
監視カメラ２Ａは、撮像レンズ２１の奥に設けられる撮像素子２２と、撮像素子２２に電気的に接続するＡ／Ｄ変換部２３とを有している。
【００２９】
撮像素子２２は、例えばＣＣＤとして構成され、撮影レンズ２１によって結像する被写体の光学像を電気信号に変換し、フレームの画像信号を出力する。この画像信号の出力は、所定のフレームレート、例えば１／３０秒の周期で継続的に行われる。
【００３０】
Ａ／Ｄ変換部２３は、撮像素子２２からのアナログ信号をデジタル信号に変換する部位である。
【００３１】
コントローラ３Ａは、監視カメラ２Ａで生成される画像データを１フレーム分記憶する単位フレームメモリとして構成される、最新フレームメモリ５０、直前フレームメモリ５１、差分メモリ５２および平滑化差分メモリ５３を備えている。また、コントローラ３Ａは、５つの単位フレームメモリ５４〜５８で構成されるフレームメモリ群５９を有しており、このフレームメモリ群５９では、後述するように最新フレームの画像データとともに、最新フレームの取得時点から１／３０秒前（前回）、２／３０秒前（２回前）、３／３０秒前（３回前）および４／３０秒前（４回前）の４つの画像データが格納される。
【００３２】
監視カメラ２Ａから送信された最新フレームの画像データは、最新フレームメモリ５０に格納される。この最新フレームメモリ５０内の画像データは、新たに監視カメラ２で画像データが取得されコントローラ３に送信される場合には、直前フレームメモリ５１に転送されて格納される。すなわち、最新フレームメモリ５０に格納される画像データと、直前フレームメモリ５１に格納される画像データとは、画像取得時について１／３０秒のずれが生じている。
【００３３】
また、コントローラ３Ａは、選択更新部３４と、差分部３５と、空間ローパスフィルタ部３６と、選択加算部３７と、総加算部３８と、出力画像処理部３９と、これらの各部を統括制御する全体制御部３０とを有している。
【００３４】
選択更新部３４は、最新フレームメモリ５０に格納される最新フレームの画像データをフレームメモリ群５９に転送し、フレームメモリ群５９内の１つの単位フレームメモリの記憶内容を更新する。ここでは、フレームメモリ群５９のうち更新履歴の最も古い画像データ、具体的には、最新フレームの取得時点から５／３０秒前の画像データを破棄して更新する。これにより、撮像素子２２で取得された最新（今回）のフレームの画像データと、前回から順に４回前までに撮像素子２２で取得された４回分のフレームの画像データとを格納できることとなる。
【００３５】
差分部３５は、直前フレームメモリ５１に格納される直前フレームの画像データに対する、最新フレームメモリ５０に格納される最新フレームの画像データの差分画像データを演算する。そして、差分部３５で生成された差分画像データは、差分フレームメモリ５２に格納される。
【００３６】
空間ローパスフィルタ部３６は、差分フレームメモリ５２に格納される差分画像データに、例えばガウシアンフィルタを利用して空間ローパスフィルタ処理を施す。この空間ローパスフィルタ処理とは、画像上に存在する二次元パターンのうち比較的高周波の成分を低減させる処理である。これにより、差分画像データに含まれる空間的高周波の成分（ノイズ成分）を低減して平滑化し、平滑化差分画像データを生成できる。そして、空間ローパスフィルタ部３６で生成された平滑化差分画像データは、平滑化差分フレームメモリ５３に格納される。
【００３７】
選択加算部３７は、フレームメモリ群５９の５つの単位フレームメモリ５４〜５８のうち、選択更新部３４により最新フレームの画像データで更新された単位フレームメモリを除く４つの単位フレームメモリを順に選択し、選択された単位フレームメモリに格納される画像データに平滑化差分画像データを加算する。
【００３８】
総加算部３８は、フレームメモリ群５９の５つの単位フレームメモリ５４〜５８に格納されている５つの画像データを互いに対応画素ごとに加算し、出力画像データを生成する。この出力画像データの生成は、監視カメラ２のフレームレートと同一のフレームレート、すなわち１／３０秒ごとに行われる。
【００３９】
出力画像処理部３９は、総加算部３８で加算された出力画像データを、適切なデータ形態あるいは信号形式に変換処理して、モニタ４などの外部機器に動画出力を行う。この適切なデータ形態および信号形式とは、デジタル出力が要求される場合には例えばＭＰＥＧ形式が挙げられ、アナログ信号出力が要求される場合には例えばＹ／Ｃ形式が挙げられる。
【００４０】
全体制御部３０は、ＣＰＵおよびメモリを有しており、上記の各部と有機的に結合して統括制御を行う。特に、監視カメラ２の監視領域が暗い場合に、以下で説明する画像処理を行う。
【００４１】
＜画像処理について＞
撮像システム１Ａにおける低照度環境下での画像処理を、図３を参照しつつ説明する。図３は、ドアＤＲを含む監視領域に人物ＨＭが出現した場合の画像処理を具体的に説明するためのイメージ図となっている。
【００４２】
人物ＨＭが出現する前には、フレームメモリ群５９には更新履歴の順に５つのフレームＦ１〜Ｆ５が格納されている。そして、人物ＨＭが出現した最新（今回）のフレームの画像データが監視カメラ２から送信されると、最新フレームの画像データが最新フレームメモリ５０に格納されるとともに、選択更新部３４によって更新履歴の最も古いフレームＦ１の代わりに最新フレームＦ６がフレームメモリ群５９に格納される。
【００４３】
ここで、直前フレームメモリ５１に格納されている直前（前回）のフレームＦ５と最新フレームＦ６との差分演算が差分部３５で行われた後、空間ローパスフィルタ部３６で高周波ノイズ成分が低減されて平滑化差分画像ＦＤが生成される。
【００４４】
そして、平滑化差分画像ＦＤは、選択加算部３７によりフレームメモリ群５９に格納されるフレームＦ２〜Ｆ５にそれぞれ加算され、加算画像Ｆ２ａ〜Ｆ５ａがフレームメモリ群５９に格納される。
【００４５】
最後に、総加算部３８により、フレームメモリ群５９に格納される４つの加算画像Ｆ２ａ〜Ｆ５ａと最新フレームＦ６とが総加算されて出力画像ＦＳが生成される。
【００４６】
以上のように、前回以前に取得された４回分のフレームＦ２〜Ｆ５を互いに加算した画像と、平滑化差分画像ＦＤを４回分加算した画像と、最新フレームＦ６とが総加算され出力画像ＦＳが生成されることによって、ｎ＝５としたときに、ｎ回分のフレームＦ２〜Ｆ６と、平滑化差分画像ＦＳの（ｎ−１）倍分との総和に対応する合成画像データ（出力画像ＦＳ）が得られることになる。したがって、低照度環境下でも輝度が高い、すなわち感度が高い画像を取得できるとともに、画像データの総加算によって高周波のランダムノイズが平均化されることでＳ／Ｎ比が改善され、画像全体として高いＳ／Ｎ比を達成できる。なお、人物ＨＭが出現する直前の出力画像ＦＢも、フレームＦ１〜Ｆ５が総加算されたものであるため、出力画像ＦＳと同様である。
【００４７】
また、平滑化差分画像ＦＤをフレームＦ２〜Ｆ５に加算するため、人物ＨＭの出現という画像変化が生じても、これを的確に反映した動画像の出力が可能となる。
【００４８】
上記の画像処理では、被写体成分は画像からノイズ成分を除くものであるので、最新フレームＦ６が取得された時点で、フレームメモリ群５９内の各フレームＦ２〜Ｆ５における被写体成分が実質的に同一となっているのが前提条件となるが、平滑化差分画像データが過去の各フレームに常に加算されるため、フレームＦ２ａ〜Ｆ５ａ、Ｆ６のような関係を持つ被写体成分の等しい画像が時々刻々と生成されるので上記条件は満たされることとなる。すなわち、第２〜第（ｎ−１）フレームの画像データのそれぞれと平滑化差分画像ＦＳとの和に相当する値、および第ｎフレームの画像データの値によって、第１〜第（ｎ−１）フレームについての新たな画像データが定義されることによって、動画出力の各フレームの生成プロセスを繰り返すことができる。
【００４９】
なお、監視カメラ２での撮影開始直後には、フレームメモリ群５９にフレームの画像データが存在せず空の画像データが格納されているが、ここで最新フレームの画像データが取得されると、空の画像データとの差分画像データが空の画像データに加算される、すなわち最新フレームの画像データが各フレームメモリに複写されるため、出力画像は輝度が改善されたものとなる。この場合には、最新フレームのノイズ成分まで同一の複写であるために、画像全体のＳ／Ｎ比の向上は見込めない。しかし、順次に取得されるフレームの画像データが蓄積されることにより、徐々にＳ／Ｎ比が改善できることとなる。そして、フレームメモリ群５９で５つのフレームの画像データが蓄積された後には、一定の高Ｓ／Ｎ比が実現できる。
【００５０】
＜撮像システム１Ａの動作＞
図４は、撮像システム１Ａの基本的な動作を説明するフローチャートである。本動作は、全体制御部３０により実行される。ただし、撮影の初期状態では各フレームの画像データは入っていないが、撮影の最初に取得された１フレームの画像データを各フレームメモリに複写しておくことにより、下記の処理を開始可能である。もっとも、以下のルーチンは、既にある程度以上のフレーム数の画像データが取得されて各フレームメモリに格納され、上記の初期状態のダミー的状況が解消した後の期間に主として効果を発揮する。
【００５１】
ステップＳ１では、変数ｉに１を代入する。
【００５２】
ステップＳ２では、撮像素子２２でフレーム（ｉ）を取得する。このフレーム（ｉ）とは、撮影開始から第ｉ回目に取得されるフレームを示している。
【００５３】
ステップＳ３では、ステップＳ２で取得されたフレーム（ｉ）をＡ／Ｄ変換部２３でデジタル信号に変換する。
【００５４】
ステップＳ４では、選択更新部３４により、フレームメモリ群５９に格納される更新履歴の最も古いフレームを選択し、最新のフレーム（ｉ）で更新する。
【００５５】
ステップＳ５では、差分部３５により、直前のフレーム（ｉ−１）に対する最新のフレーム（ｉ）の差分演算を行う。
【００５６】
ステップＳ６では、空間ローパスフィルタ部３６により、ステップＳ５で演算された差分画像データに対して空間ローパスフィルタ処理を施す。これにより、図３に示す画像ＦＤのように、平滑化差分画像データが生成できる。
【００５７】
ステップＳ７では、選択加算部３７により、ステップＳ６で生成された平滑化差分画像データを、最新のフレーム（ｉ）を除くフレームメモリ群５９内の各フレームに加算する。これにより、図３に示す画像Ｆ２ａ〜Ｆ５ａのような加算画像データが生成できる。
【００５８】
ステップＳ８では、総加算部３８により、フレームメモリ群５９内の全フレーム、すなわち図３に示す加算画像Ｆ２ａ〜Ｆ５ａおよび最新画像Ｆ６を加算する。これにより、図３に示す出力画像ＦＳのような出力画像データが生成できる。
【００５９】
ステップＳ９では、出力画像処理部３９により、ステップＳ８で生成された画像を変換処理して、表示装置４などの外部機器に出力する。これにより、表示装置４では、低照度環境下の撮影画像であっても比較的鮮明に表示できることとなる。
【００６０】
ステップＳ１０では、直前フレームメモリ５１に格納されているフレーム（ｉ−１）を最新のフレーム（ｉ）で更新する。
【００６１】
ステップＳ１１では、変数ｉにｉ＋１を代入する。
【００６２】
以上で説明した撮像システム１Ａの動作を、以下でモデル式を用い補足的に説明する。図５は、撮像システム１Ａにおける画像処理の概念を説明するための図である。なお、図５に表す各矩形内の曲線Ｇは、画像信号を示している。また、画像処理の概念を一般化するため、フレームメモリ群５９内の単位フレームメモリの数をｎとし、またフレーム（ｉ）が取得された時点で、単位フレームメモリ（１）〜（ｎ）のうち更新履歴が最も古い画像データを格納しているものが単位フレームメモリ（ｎ）であると仮定する。
【００６３】
上記のステップＳ２およびＳ３で生成される最新のフレーム（ｉ）の画像データＤｉは、図５の画像信号Ｇｔｏに示すような純粋な被写体像成分Ｏｉと、ノイズ成分Ｒｉとの合成信号Ｇｔと考えられるため、次の式（１）のように表される。
【００６４】
【数１】
2004032517.tif 000003
【００６５】
ステップＳ４でのフレームの更新により、単位フレームメモリ（ｎ）に格納されるデータＤｉｎは、次の式（２）で表される。
【００６６】
【数２】
2004032517.tif 000004
【００６７】
また、単位フレームメモリ（ｎ−１）に格納されているデータＤｉ−１ｎ−１は、次の式（３）で表される。
【００６８】
【数３】
2004032517.tif 000005
【００６９】
従って、ステップＳ５での差分演算により生成される差分画像データΔＤｉは、次の式（４）のように示される。
【００７０】
【数４】
2004032517.tif 000006
【００７１】
ここで、差分画像データΔＤｉは、画面内で被写体が変化することによって発生する差分ΔＯｉと、ノイズ成分の時間変化によって発生する差分ΔＲｉとの合成信号Ｇｄとなるため、次の式（５）で表される。
【００７２】
【数５】
2004032517.tif 000007
【００７３】
画像データに含まれるノイズ成分は、その大部分が空間的および時間的に高周波でばらつくという特性がある。一方、純粋な被写体像の動きは、空間的および時間的に低周波であることが一般的である。
【００７４】
よって、ステップＳ６における空間ローパスフィルタ処理により、ΔＯｉは殆ど影響を受けないが、一方ΔＲｉは低減されることとなる。すなわち、平滑化差分画像データΔＤｉ’は、次の式（６）に示すように被写体像成分の差分ΔＯｉと近似できる。
【００７５】
【数６】
2004032517.tif 000008
【００７６】
ステップＳ７では、画像信号Ｇｆに示すような平滑化差分画像データΔＤｉ’が、単位フレームメモリ（ｎ）以外の各単位フレームメモリ（１）〜（ｎ−１）に加算される。ここで、単位フレームメモリ（ｎ−１）に着目すると、このメモリ（ｎ−１）に格納されているデータＤｉｎ−１は、次の式（７）で表されることとなる。
【００７７】
【数７】
2004032517.tif 000009
【００７８】
式（７）に式（３）を代入すると、次の式（８）が導かれる。
【００７９】
【数８】
2004032517.tif 000010
【００８０】
ここで、Ｏｉ−１とΔＯｉとの加算は、フレーム（ｉ−１）における純粋な被写体像成分と、フレーム（ｉ−１）からフレーム（ｉ）への純粋な被写体像成分の差分との加算を意味する。すなわち、Ｏｉ−１とΔＯｉとの加算は、フレーム（ｉ）における純粋な被写体像の成分Ｏｉを表すこととなる。よって、式（８）から次の式（９）が導かれ、この画像データＤｉが単位フレームメモリ（ｎ−１）に格納される。
【００８１】
【数９】
2004032517.tif 000011
【００８２】
上述した単位フレームメモリ（ｎ−１）内の画像データと同様に、単位フレームメモリ（１）〜（ｎ−２）内の画像データに対して平滑化差分画像データを加算すると、各単位フレームメモリ（１）〜（ｎ）に格納される画像データＤｉ１〜Ｄｉｎは、次の式（１０）で表される。
【００８３】
【数１０】
2004032517.tif 000012
【００８４】
そして、ステップＳ８で単位フレームメモリ（１）〜（ｎ）の各画像データＤｉ１〜Ｄｉｎが総加算され、次の式（１１）で表される出力画像データＰｉ（画像信号Ｇｋ参照）が生成できる。
【００８５】
【数１１】
2004032517.tif 000013
【００８６】
ここで、式（１１）の右辺第２項は、過去の各時点のフレームにおけるノイズ成分を加算したものである。上述したようにノイズ成分は空間的および時間的に高周波で分散するため、式（１１）の右辺第２項のように時系列で連続する複数のフレームにわたり加算すると、加算されるフレームの数すなわちｎの値が大きければ画像全体で均一な値に近づくこととなる。よって、式（１１）は、定数ｃを使って次の式（１２）のような近似が可能となる。
【００８７】
【数１２】
2004032517.tif 000014
【００８８】
ここで、式（１２）の右辺第１項は、現時点の最新フレーム（ｉ）における純粋な被写体像を倍率ｎで増倍したものである。また、式（１２）の右辺第２項ｃは定数であるため、その除去が容易である。
【００８９】
以上説明したように撮像システム１Ａでは、純粋な被写体像Ｏｉにノイズ成分Ｒｉが重畳した最新の画像データＧｔに基づき、画像信号Ｇｋのように、最新の画像データＧｔと位相が等しく倍増された純粋な被写体像Ｏｉに、低減されたノイズが重畳した画像データＰｉを、監視カメラ２と同一フレームレートで生成できることとなる。この生成される出力画像データは、複数のフレームにわたる単なる加算で生成される画像データＧｓｔのように最新の画像データＧｔと位相が異なる（画像変化が反映されない）ものでなく、また最新の画像データＧｔを単純に倍増して生成される画像データＧｔｋのようにノイズ成分が大きくならない。すなわち、従来技術の欠点が改善されたものとなっている。
【００９０】
以上の撮像システム１Ａの動作により、最新のフレームと直前のフレームに基づき生成される平滑化差分画像データをフレームメモリに記憶される過去のフレームに加算した後に、これらと最新のフレームとの加算を行って出力画像データを生成するため、画像全体として比較的高いＳ／Ｎ比と高感度とを実現しつつ、滑らかな動画出力が可能となる。
【００９１】
＜第２実施形態＞
図６は、本発明の第２実施形態に係る撮像システム１Ｂの機能的構成を示すブロック図である。
【００９２】
撮像システム１Ｂのコントローラ３Ｂは、図２に示す第１実施形態のコントローラ３Ａに対して、選択フレーム数制限部６１と操作入力部６２とが付加されている。この操作入力部６２は、図１に示す操作ボタン３３を有している。
【００９３】
選択フレーム数制限部６１は、フレームメモリ群５９の５枚の単位フレームメモリ５４〜５８のうち、選択更新部３４および選択加算部３７で処理対象となる単位フレームメモリの数を制限する部位である。この選択フレーム数制限部６１により、加算されるフレーム数ｎを変更できるため、出力画像データの輝度調整を行えることとなる。
【００９４】
低照度環境といっても、実際の照度値は様々である。したがって、高感度化を目的として常にフレームメモリ群５９の全フレームメモリを総加算するのでは、照度値が比較的高い場合に出力画像が露出オーバによる白飛び状態となる可能性がある。そこで、選択フレーム数制限部６１は、単位フレームメモリ５４〜５８のうち処理対象の単位フレームメモリをＮｏ枚、例えば３枚に制限する。具体的には、選択フレーム数制限部６１は、Ａ／Ｄ変換部２３から受信する最新のフレームの画像データから導出される輝度情報に基づき、処理対象の単位フレームメモリを制限できる構成、より具体的には被写体の輝度が高いほど加算するフレームの数を減少させるという関係での制御構成となっている。
【００９５】
また、選択フレーム数制限部６１は、操作入力部６２に対してユーザが操作入力を行うことにより、選択対象の単位フレームメモリ数を制限できる。
【００９６】
撮像システム１Ｂの監視カメラ２Ｂは、図２に示す第１実施形態の監視カメラ２Ａに対して、測光センサ２４が付加されている。
【００９７】
測光センサ２４は、被写体の照度を測定する部位である。この測光センサ２４で検出された被写体の照度に基づき、選択フレーム数制限部６１では処理対象の単位フレームメモリ数を制限できる。
【００９８】
撮像システム１Ｂの動作は、図４のフローチャートに示す動作に類似しているが、選択フレーム数制限部６１によるフレーム数の制限動作が付加されている。
【００９９】
すなわち、例えば操作入力部６２に対するユーザの操作入力で設定された処理対象の単位フレームメモリに対して、平滑化差分データの加算処理が行われるとともに、これらのフレームの総加算が行われる。
【０１００】
なお、操作入力部６２から入力される設定値に基づき処理対象のフレームメモリを制限するのは必須でなく、上述した測光センサ２４や、Ａ／Ｄ変換部２３から出力された最新のフレームの画像データに基づき制限しても良い。
【０１０１】
以上の撮像システム１Ｂにより、第１実施形態と同様の効果を奏することとなる。さらに、撮像システム１Ｂでは、処理対象のフレーム数を制限できるため、出力画像データの輝度調整を適切に行える。
【０１０２】
＜変形例＞
◎上記の各実施形態については、監視カメラとコントローラとが分離するのは必須でなく、監視カメラにコントローラの機能を搭載しても良い。この場合には、監視カメラの出力画像が、画像全体として比較的高いＳ／Ｎ比と高感度とを実現した画像となる。
【０１０３】
◎上記の各実施形態における撮像素子は、ＣＣＤであるのは必須でなく、ＣＭＯＳイメージセンサでも良い。また、所定のフレームレートは、１／３０秒に限らず１／６０秒など一定の時間間隔であれば良い。
【０１０４】
◎上記の各実施形態におけるフレームメモリ群は、５個の単位フレームメモリから構成されているのは必須でなく、２個でも３個でも６個以上でも良い。また、第２実施形態に係る処理対象となるフレームの数ｎについても、２以上の任意の整数で良いが、好ましくは３以上、さらに好ましくは５以上である。
【０１０５】
◎上記の各実施形態においては、図３に示すように、以前に取得した各フレームＦ２〜Ｆ５に平滑化差分画像ＦＤを加算した後に、これらの加算画像Ｆ２ａ〜Ｆ５ａと最新のフレームＦ６とを加算して出力画像ＦＳを生成するのは必須でなく、以前の各フレームＦ２〜Ｆ５を互いに加算した画像と、平滑化差分画像ＦＤを４回加算した画像つまり４倍に増幅した画像と、最新のフレームＦ６とを加算して出力画像ＦＳを生成しても良い。この場合にも、上記の各実施形態と同様の効果を発揮できる。
【０１０６】
◎上記の各実施形態において、平滑化差分画像ＦＳ（図３参照）を得るにあたっては、最新のフレームＦ６とその直前のフレームＦ５との差ではなく、それ以前のフレーム（たとえばＦ４）と最新のフレームＦ６との差を求めても良い。すなわち、最新のフレームを第ｎフレームとしたとき、第１〜第（ｎ−１）フレームの被写体の画像状況は前回の更新によって実質的に同じになっているから、第ｎフレームの画像データとの差分を求める対象（基準画像データ）としては第１〜第（ｎ−１）フレームのいずれでもよく、また、これらのうちの複数のフレームの平均や加重平均を使用してもよいことになる。
【０１０７】
◎上述した具体的実施形態には、以下の構成を有する発明が含まれている。
【０１０８】
（１）操作入力を受付ける操作入力部をさらに備え、設定手段は前記操作入力に応答して整数ｎの値を変更する手段を有することを特徴とする撮像システム。
【０１０９】
これにより、出力画像データの輝度調整をユーザが行える。
【０１１０】
【発明の効果】
以上説明したように、請求項１ないし請求項５の発明によれば、第ｎフレームの画像データと、第１〜第（ｎ−１）フレームを代表的に表現した基準画像データとの差分画像データに対してローパスフィルタ処理を施して平滑化差分画像データを生成した後、第１〜第ｎフレームの画像データと、平滑化差分画像データの（ｎ−１）倍分との総和に対応する合成画像データを求める。その結果、画像全体として比較的高いＳ／Ｎ比と高感度とを実現しつつ、滑らかな動画出力が可能となる。
【０１１１】
特に、請求項２の発明においては、整数ｎの値を変更する変更手段をさらに備えるため、合成画像データの輝度調整が容易となる。
【０１１２】
また、請求項３の発明においては、第ｎフレームの画像データに係る輝度情報に基づき、整数ｎの値を変更するため、合成画像データの輝度調整を適切に行える。
【０１１３】
また、請求項４の発明においては、被写体に係る照度に基づき、整数ｎの値を変更するため、合成画像データの輝度調整を適切に行える。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る撮像システム１の要部構成を示す概略図である。
【図２】撮像システム１Ａの機能的構成を示すブロック図である。
【図３】撮像システム１Ａにおける画像処理方法を説明するための図である。
【図４】撮像システム１Ａの基本的な動作を説明するフローチャートである。
【図５】撮像システム１Ａにおける画像処理の概念を説明するための図である。
【図６】本発明の第２実施形態に係る撮像システム１Ｂの機能的構成を示すブロック図である。
【図７】従来技術に係る撮像システム９の要部構成を示す概略図である。
【符号の説明】
１Ａ、１Ｂ　撮像システム
２Ａ、２Ｂ　監視カメラ
３Ａ、３Ｂ　コントローラ
４　表示装置
３０　全体制御部
３４　選択更新部
３５　差分部
３６　空間ローパスフィルタ部
３７　選択加算部
３８　総加算部
３９　出力画像処理部
５９　フレームメモリ群
【図１】
2004032517.tif 000015
【図２】
2004032517.tif 000016
【図３】
2004032517.tif 000017
【図４】
2004032517.tif 000018
【図５】
2004032517.tif 000019
【図６】
2004032517.tif 000020
【図７】
2004032517.tif 000021