(57)【特許請求の範囲】
【請求項１】
インターレース出力の撮像手段と、
上記撮像手段から供給される画像データからノンインターレースのフレーム画像データとフィールド画像データを生成するフレーム画像作成手段及びフィールド画像作成手段と、
上記撮像手段から供給される画像データに基づいて被写体の動体検出を行う動体検出手段と、
上記動体検出手段による検出出力に基づいて、上記撮像手段から供給される画像データが静止画の画像データであるか動画の画像データであるかを判定し、上記撮像手段から供給される画像データが静止画の画像データであるときには上記フレーム画像作成手段により生成されたフレーム画像データ選択し、また、上記撮像手段から供給される画像データが動画の画像データであるときには上記フィールド画像作成手段により生成されたフィールド画像データを選択する画像データ選択手段と、
上記画像データ選択手段により選択された画像データを圧縮画像データに変換する圧縮処理手段と、
上記圧縮処理手段により得られる圧縮画像データをネットワークに送出するネットワークインターフェース手段と、
複数フレーム分の記憶領域を有するフレームメモリと、
上記フレームメモリへの画像データの書き込み開始時には、画像データの読み出しを行っていない領域を選択し、上記フレームメモリからの画像データの読み出し開始時には、画像データの書き込みを１フィールド以上終わった領域を選択して、上記フレームメモリに対する画像データの書き込み／読み出しを行うメモリ制御手段とを備え、
上記フレーム画像作成手段は、上記撮像手段から供給される画像データを上記フレームメモリを介してノンインターレースのフレーム画像データとして読み出すことにより、フレーム画像データを生成し、
上記ネットワークインターフェース手段は、インターネットに接続され、上記インターネットに接続された複数のクライアントに選択された画像サイズに基づいて、上記圧縮画像データをリアルタイムで配信することを特徴とするネットワークカメラ。
【請求項２】
上記動体検出手段は、上記撮像手段から供給される画像データと上記フレームメモリから読み出される１フレーム前の画像データの差分絶対値と差分閾値を比較することにより、上記差分閾値よりも大きな差分絶対値を与える画素を画像の動きがあった画素として検出する比較手段と、この比較手段により検出された画素数をカウントする１フレーム周期でリセットされるカウント手段と、上記差分閾値が設定される差分閾値レジスタとからなり、
上記差分閾値レジスタに設定される差分閾値を上記撮像手段の設定情報に応じて更新するようにしたことを特徴とする請求項１記載のネットワークカメラ。
【請求項３】
インターレース出力の画像データ供給装置から供給される画像データをネットワークを介してクライアントに配信する画像配信処理装置であって、
上記画像データ供給装置から供給される画像データからノンインターレースのフレーム画像データとフィールド画像データを生成するフレーム画像作成手段及びフィールド画像作成手段と、
上記撮像手段から供給される画像データに基づいて被写体の動体検出を行う動体検出手段と、
上記動体検出手段による検出出力に基づいて、上記撮像手段から供給される画像データが静止画の画像データであるか動画の画像データであるかを判定し、上記撮像手段から供給される画像データが静止画の画像データであるときには上記フレーム画像作成手段により生成されたフレーム画像データ選択し、また、上記撮像手段から供給される画像データが動画の画像データであるときには上記フィールド画像作成手段により生成されたフィールド画像データを選択する画像データ選択手段と、
上記画像データ選択手段により選択された画像データを圧縮画像データに変換する圧縮処理手段と、
上記圧縮処理手段により得られる圧縮画像データをネットワークに送出するネットワークインターフェース手段と、
複数フレーム分の記憶領域を有するフレームメモリと、
上記フレームメモリへの画像データの書き込み開始時には、画像データの読み出しを行っていない領域を選択し、上記フレームメモリからの画像データの読み出し開始時には、画像データの書き込みを１フィールド以上終わった領域を選択して、上記フレームメモリに対する画像データの書き込み／読み出しを行うメモリ制御手段とを備え、
上記フレーム画像作成手段は、上記撮像手段から供給される画像データを上記フレームメモリを介してノンインターレースのフレーム画像データとして読み出すことにより、フレーム画像データを生成し、
上記ネットワークインターフェース手段は、インターネットに接続され、上記インターネットに接続された複数のクライアントに選択された画像サイズに基づいて、上記圧縮画像データをリアルタイムで配信することを特徴とする画像配信処理装置。
【請求項４】
上記動体検出手段は、上記撮像手段から供給される画像データと上記フレームメモリから読み出される１フレーム前の画像データの差分絶対値と差分閾値を比較することにより、上記差分閾値よりも大きな差分絶対値を与える画素を画像の動きがあった画素として検出する比較手段と、この比較手段により検出された画素数をカウントする１フレーム周期でリセットされるカウント手段と、上記差分閾値が設定される差分閾値レジスタとからなり、
上記差分閾値レジスタに設定される差分閾値を上記撮像手段の設定情報に応じて更新するようにしたことを特徴とする請求項３記載の画像配信処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、インターネット等のネットワークを介してクライアントに向けて画像データを配信するためのネットワークカメラ及び画像配信処理装置に関する。
【０００２】
【従来の技術】
近年、インターネット等のネットワークを介してクライアントに向けて画像データを配信する画像配信システムが普及し始めている。この種の画像配信システムは、予め蓄積された画像ファイルから画像データを読み出しながら伝送するビデオオンデマンド型のシステムと、ビデオカメラなどからの画像をその場で圧縮符号化して伝送するリアルタイム放送型のシステムに分けられる。
【０００３】
リアルタイム放送型の画像配信システムは、画像を入力するビデオカメラ、ビデオカメラから与えられた画像をインターネット等のネットワークを介して配信する画像サーバ、画像サーバから配信された画像を受信する複数の受信クライアントからなるクライアント・サーバシステムとして構成される。ネットワークへの接続機能を備えるネットワークカメラをカメラサーバとして用いて、インターネット等のネットワークに接続される複数の受信クライアントにカメラサーバから画像を配信することもできる。
【０００４】
上記カメラサーバとして用いられるネットワークカメラは、図８に示すような構成となっている。
【０００５】
すなわち、図８に示すネットワークカメラ１００は、撮像用のカメラブロック１１０、カメラブロック１１０による撮像出力が供給される信号処理部１２０、外部のネットワークに接続して通信を行うための通信インターフェース部１３０、これらを制御するためのシステム制御部１４０などからなる。
【０００６】
カメラブロック１１０は、インターライン型ＣＣＤイメージセンサ１１１、このインターライン型ＣＣＤイメージセンサ１１１を動作させる為のタイミングジェネレーター１１２、上記インターライン型ＣＣＤイメージセンサ１１１による撮像出力が供給されるフロントエンド部１１３、このフロントエンド部１１３の出力が供給されるデジタル信号処理部１１４、このデジタル信号処理部１１４の動作を制御したり、上記デジタル信号処理部１１４からの情報をもとにホワイトバランス、フォーカス等のカメラ制御を行う為のカメラ制御用ＣＰＵ１１５等により構成されている。
【０００７】
このカメラブロック１１０において、上記インターライン型ＣＣＤイメージセンサ１１１は、フィールド周期で光電変換を行い、インターレース出力すなわち１フレームを構成する奇数フィールドの撮像出力と偶数フィールドの撮像出力を交互に出力するもので、各フィールドの撮像出力としてアナログ撮像信号を順次出力する。また、上記フロントエンド部１１３は、上記インターライン型ＣＣＤイメージセンサ１１１からのアナログ撮像信号をサンプルホールドし、アナログ／デジタル変換を行うＡ／Ｄ変換器等で構成される。そして、上記デジタル信号処理部１１４は、上記フロントエンド部１１３からのデジタル撮像信号にデジタル信号処理を施し、インターレースＹＵＶ（４：１：１）デジタル画像信号を出力する。
【０００８】
信号処理部１２０は、上記カメラブロック１１０のデジタル信号処理部１１４からインターレースＹＵＶ（４：１：１）デジタル画像信号が供給されるフォーマット変換部１１７、このフォーマット変換部１１７の出力が供給されるライトＦＩＦＯメモリ１１８、このライトＦＩＦＯメモリ１１８の出力が供給されるフレームメモリライトコントローラ１１９、このフレームメモリライトコントローラ１１９の出力が供給されるフレームメモリインターフェイス部１２１、このフレームメモリインターフェイス部１２１に接続されたフレームメモリ１３１、上記フレームメモリインターフェイス部１２１の出力が供給されるフレーム画像用フレームメモリリードコントローラ１２２及びフィールド画像用フレームメモリリードコントローラ１２３、上記フレーム画像用フレームメモリリードコントローラ１２２又はフィールド画像用フレームメモリリードコントローラ１２３の出力が画像選択器１２４を介して選択的に供給されるリードＦＩＦＯメモリ１２５、このリードＦＩＦＯメモリ１２５の出力が供給されるＪＰＥＧ・Ｉ／Ｆ部１２６、このＪＰＥＧ・Ｉ／Ｆ部１２６に接続されたＪＰＥＧ圧縮処理部１２７及びラインバッファメモリ１３２、上記ＪＰＥＧ圧縮処理部１２７の出力が供給されるＣＰＵ・Ｉ／Ｆ部１２８、このＣＰＵ・Ｉ／Ｆ部１２８に接続された画像選択ビットレジスタ１２９等により構成されている。
【０００９】
この信号処理部１２０において、上記フォーマット変換部１１７は、上記デジタル信号処理部１１４からのインターレースＹＵＶ（４：１：１）デジタル画像信号をＪＰＥＧ圧縮する為にＹＣｂＣｒ（４：２：２）信号に変換する。
【００１０】
また、上記ライトＦＩＦＯメモリ１１８は、上記カメラブロック１１０からの信号の速度とフレームメモリ１３１に書き込む速度の差を吸収する。そして、上記フレームメモリライトコントローラ１１９は、上記フォーマット変換部１１７から上記ライトＦＩＦＯメモリ１１８を介して供給されるＹＣｂＣｒ（４：２：２）信号をインターレース信号からノンインターレース信号に変換するために、上記フレームメモリインターフェイス部１２１を介して上記フレームメモリ１３１に書き込みむ制御を行う。
【００１１】
上記フレームメモリインターフェイス部１２１は、上記フレームメモリ１３１に対してライト、リード、リフレッシュを時分割に制御する。
【００１２】
上記フレーム画像用フレームメモリリードコントローラ１２２は、上記フレームメモリ１３１から上記フレームメモリインターフェイス部１２１を介して第１フィールド画像及び第２フィールド画像を１枚のフレーム画像として読み出す制御を行う。
【００１３】
また、上記フィールド画像用フレームメモリリードコントローラ１２３は、上記フレームメモリ１３１から上記フレームメモリインターフェイス部１２１を介して第１フィールド画像もしくは第２フィールド画像のみを読み出す制御を行う。
【００１４】
そして、上記画像選択器１２４は、システム制御部１４０のシステム制御用ＣＰＵ１４１から上記ＣＰＵ・Ｉ／Ｆ部１２８を介して画像選択ビットレジスタ１２９に供給される画像選択ビットに基づくＳｅｌ信号により、上記フレーム画像用フレームメモリリードコントローラ１２２により上記フレームメモリ１３１から読み出されるフレーム画像のＹＣｂＣｒ（４：２：２）信号、又は、上記フィールド画像用フレームメモリリードコントローラ１２３により上記フレームメモリ１３１から読み出されるフィールド画像のＹＣｂＣｒ（４：２：２）信号を選択する。
【００１５】
上記リードＦＩＦＯメモリ１２５は、上記フレームメモリ１３１から読み出されるフレーム画像又はフィールド画像のＹＣｂＣｒ（４：２：２）信号の速度とＪＰＥＧ圧縮速度の差を吸収する。上記ＪＰＥＧ  Ｉ／Ｆ部１２６は、上記画像選択器１２４を介して供給されるフレーム画像又はフィールド画像のＹＣｂＣｒ（４：２：２）信号をラインバッファメモリ１３２に一時蓄積し、ラスター・ブロック変換を行ってＪＰＥＧ圧縮処理部１２７に入力するとともに、上記ＪＰＥＧ圧縮処理部１２７の動作を制御する。そして、上記ＪＰＥＧ圧縮処理部１２７は、ラスター・ブロック変換されたＹＣｂＣｒ（４：２：２）信号について、ＪＰＥＧに準拠した圧縮処理を行う。このＪＰＥＧ圧縮処理部１２７の出力すなわちＪＰＥＧ圧縮画像データは、ＣＰＵ・Ｉ／Ｆ部１２８を経由してシステム制御部１４０のシステムＲＡＭ１４２に書き込まれる。
【００１６】
上記ＪＰＥＧ圧縮画像データは、例えばシステム制御用ＣＰＵのＤＭＡ機能を使用したり、システム制御用ＣＰＵ１４１経由でシステムＲＡＭ１４２に書き込まれる。
【００１７】
上記通信インターフェース部１３０は、ネットワークインターフェイス用のＥｔｈｅｒｎｅｔコントローラー（ＭＡＣ）１３５、物理層チップ１３６、インピーダンスマッチングを取る為のパルストランス１３７、ＲＪ−４５コネクタ１３８などより構成されている。
【００１８】
上記システム制御部１４０は、バスを介して接続されたシステム制御用ＣＰＵ１４１、バッファ及びワーキングエリア用システムＲＡＭ１４２、プログラム用のシステムＲＯＭ１４３からなり、上記システム制御用ＣＰＵ１４１によりシステムの制御やカメラ制御用ＣＰＵ１１５と通信を行う。
【００１９】
そして、このネットワークカメラ１００は、ソフトウエアとして、ＴＣＰ／ＩＰ、ＨＴＴＰ等のプロトコルスタックを搭載し、インターネットエクスプローラー（ＩＥ）等のビューワで遠隔から画像を見たり、カメラのコントロールができるようになっている。カメラコントロールメニューには画像サイズを選ぶ事が可能で、たとえば６４０ｘ４８０（フレーム画像）、６４０×２４０（フィールド画像）の画像をユーザーが選べられるようになっている。
【００２０】
【発明が解決しようとする課題】
ところで、上述の如き構成の従来のネットワークカメラ１００では、６４０×４８０の画像サイズ（フレーム画像）を選んだ場合、動きの無い静止物が被写体の時は６４０×２４０（フィールド画像）に比べて垂直の解像度が高いため高画質であるが、動体の被写体に対しては、第１フィールド画像と第２フィールド画像がインターライン型ＣＣＤイメージセンサ１１１の蓄積タイミングが違うために、水平方向にずれた画像になり、画質が劣化するという問題点があった。また、それを回避する為に６４０×２４０（フィールド画像）の画像サイズつまりフィールド画像を選んだ時は、ビューワ側で垂直ラインを単純に２倍に拡大して表示するので、動体の被写体に対しても静止物の被写体と同様にインターライン型ＣＣＤイメージセンサ１１１による水平方向にずれた画像にはならないが、静止物被写体の時には６４０×４８０の時よりも垂直解像度が落ちるため、画質が劣化していた。
【００２１】
また、カメラブロック１１０からの画像信号速度（フレームメモリ１３１への書込み速度）と処理系速度（フレームメモリ１３１からの読み出し速度）が違うため、１枚のフレーム画像を読み出し中に次のフレーム画像書込みが追い越し、動きのある被写体の場合、追い越し操作ノイズが発生していた。
【００２２】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、インターレース出力の画像データ供給装置から供給される画像データをネットワークを介してクライアントに配信するにあたり、高画質画像出力を得ることができるようにすることにある。また、本発明の目的は、追い越し走査ノイズを削除して、高画質画像出力を得ることができる。さらに、本発明の目的は、フィールド画像とフレーム画像の切り替えを撮像手段のＧａｉｎ値等の設定情報に追従させて適応的に行うことができるようにすることにある。
【００２３】
【課題を解決するための手段】
本発明に係るネットワークカメラは、インターレース出力の撮像手段と、上記撮像手段から供給される画像データからノンインターレースのフレーム画像データとフィールド画像データを生成するフレーム画像作成手段及びフィールド画像作成手段と、上記撮像手段から供給される画像データに基づいて被写体の動体検出を行う動体検出手段と、上記動体検出手段による検出出力に基づいて、上記撮像手段から供給される画像データが静止画の画像データであるか動画の画像データであるかを判定し、上記撮像手段から供給される画像データが静止画の画像データであるときには上記フレーム画像作成手段により生成されたフレーム画像データ選択し、また、上記撮像手段から供給される画像データが動画の画像データであるときには上記フィールド画像作成手段により生成されたフィールド画像データを選択する画像データ選択手段と、上記画像データ選択手段により選択された画像データを圧縮画像データに変換する圧縮処理手段と、上記圧縮処理手段により得られる圧縮画像データをネットワークに送出するネットワークインターフェース手段と、複数フレーム分の記憶領域を有するフレームメモリと、上記フレームメモリへの画像データの書き込み開始時には、画像データの読み出しを行っていない領域を選択し、上記フレームメモリからの画像データの読み出し開始時には、画像データの書き込みを１フィールド以上終わった領域を選択して、上記フレームメモリに対する画像データの書き込み／読み出しを行うメモリ制御手段とを備え、上記フレーム画像作成手段は、上記撮像手段から供給される画像データを上記フレームメモリを介してノンインターレースのフレーム画像データとして読み出すことにより、フレーム画像データを生成し、上記ネットワークインターフェース手段は、インターネットに接続され、上記インターネットに接続された複数のクライアントに選択された画像サイズに基づいて、上記圧縮画像データをリアルタイムで配信することを特徴とする。
【００２４】
また、本発明は、インターレース出力の画像データ供給装置から供給される画像データをネットワークを介してクライアントに配信する画像配信処理装置であって、上記画像データ供給装置から供給される画像データからノンインターレースのフレーム画像データとフィールド画像データを生成するフレーム画像作成手段及びフィールド画像作成手段と、上記撮像手段から供給される画像データに基づいて被写体の動体検出を行う動体検出手段と、上記動体検出手段による検出出力に基づいて、上記撮像手段から供給される画像データが静止画の画像データであるか動画の画像データであるかを判定し、上記撮像手段から供給される画像データが静止画の画像データであるときには上記フレーム画像作成手段により生成されたフレーム画像データ選択し、また、上記撮像手段から供給される画像データが動画の画像データであるときには上記フィールド画像作成手段により生成されたフィールド画像データを選択する画像データ選択手段と、上記画像データ選択手段により選択された画像データを圧縮画像データに変換する圧縮処理手段と、上記圧縮処理手段により得られる圧縮画像データをネットワークに送出するネットワークインターフェース手段と、複数フレーム分の記憶領域を有するフレームメモリと、上記フレームメモリへの画像データの書き込み開始時には、画像データの読み出しを行っていない領域を選択し、上記フレームメモリからの画像データの読み出し開始時には、画像データの書き込みを１フィールド以上終わった領域を選択して、上記フレームメモリに対する画像データの書き込み／読み出しを行うメモリ制御手段とを備え、上記フレーム画像作成手段は、上記撮像手段から供給される画像データを上記フレームメモリを介してノンインターレースのフレーム画像データとして読み出すことにより、フレーム画像データを生成し、上記ネットワークインターフェース手段は、インターネットに接続され、上記インターネットに接続された複数のクライアントに選択された画像サイズに基づいて、上記圧縮画像データをリアルタイムで配信することを特徴とする。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２６】
本発明に係るネットワークカメラは、例えば図１に示すように構成される。
【００２７】
すなわち、図１に示すネットワークカメラ１は、撮像用のカメラブロック１０、カメラブロック１０による撮像出力が供給される信号処理部２０、外部のネットワークに接続して通信を行うための通信インターフェース部３０、これらを制御するためのシステム制御部４０などからなる。
【００２８】
カメラブロック１０は、インターライン型ＣＣＤイメージセンサ１１、このインターライン型ＣＣＤイメージセンサ１１を動作させる為のタイミングジェネレーター１２、上記インターライン型ＣＣＤイメージセンサ１１による撮像出力が供給されるフロントエンド部１３、このフロントエンド部１３の出力が供給されるデジタル信号処理部１４、このデジタル信号処理部１４の動作を制御したり、上記デジタル信号処理部１４からの情報をもとにホワイトバランス、フォーカス等のカメラ制御を行う為のカメラ制御用ＣＰＵ１５等により構成されている。
【００２９】
このカメラブロック１０において、上記インターライン型ＣＣＤイメージセンサ１１は、フィールド周期で光電変換を行い、インターレース出力すなわち１フレームを構成する奇数フィールドの撮像出力と偶数フィールドの撮像出力を交互に出力するもので、各フィールドの撮像出力としてアナログ撮像信号を順次出力する。また、上記フロントエンド部１３は、上記インターライン型ＣＣＤイメージセンサ１１からのアナログ撮像信号をサンプルホールドし、アナログ／デジタル変換を行うＡ／Ｄ変換器等で構成される。そして、上記デジタル信号処理部１４は、上記フロントエンド部１３からのデジタル撮像信号にデジタル信号処理を施し、インターレースＹＵＶ（４：１：１）デジタル画像信号を出力する。
【００３０】
信号処理部２０は、上記カメラブロック１０のデジタル信号処理部１４から供給される垂直同期信号ＶＤに基づいてフレーム同期信号ＸＶＤ及びフィールド信号ＦＬＤを生成するフレーム同期信号生成部１６、上記カメラブロック１０のデジタル信号処理部１４からインターレースＹＵＶ（４：１：１）デジタル画像信号及び垂直同期信号ＶＤ、水平同期信号ＨＤ、フィールド信号ＦＬＤ、カメラ同期クロックＣＣＬＫが供給されるとともに上記フレーム同期信号生成部１６からフレーム同期信号ＸＶＤが供給されるフォーマット変換部１７、このフォーマット変換部１７の出力が供給されるライトＦＩＦＯメモリ１８、このライトＦＩＦＯメモリ１８の出力が供給されるフレームメモリライトコントローラ１９、このフレームメモリライトコントローラ１９の出力が供給されるフレームメモリインターフェイス部２１、このフレームメモリインターフェイス部２１に接続された動体検知用フレームメモリリードコントローラ３１及びフレームメモリ３４、上記フレームメモリインターフェイス部２１の出力が供給されるフレーム画像用フレームメモリリードコントローラ２２及びフィールド画像用フレームメモリリードコントローラ２３、上記フレーム画像用フレームメモリリードコントローラ２２又はフィールド画像用フレームメモリリードコントローラ２３の出力が画像選択器２４を介して選択的に供給されるリードＦＩＦＯメモリ２５、このリードＦＩＦＯメモリ２５の出力が供給されるＪＰＥＧ・Ｉ／Ｆ部２６、このＪＰＥＧ・Ｉ／Ｆ部２６に接続されたＪＰＥＧ圧縮処理部２７及びラインバッファメモリ３５、上記ＪＰＥＧ圧縮処理部２７の出力が供給されるＣＰＵ・Ｉ／Ｆ部２８、このＣＰＵ・Ｉ／Ｆ部２８に接続された画像選択ビットレジスタ２９、上記動体検知用フレームメモリリードコントローラ３１の出力が供給される動体検知用ＦＩＦＯメモリ３２、この動体検知用ＦＩＦＯメモリ３２の出力及び上記ライトＦＩＦＯメモリ１８の出力が供給される動体検知器３３等により構成されている。
【００３１】
この信号処理部２０において、フレーム同期信号生成部１６は、上記カメラブロック１０のデジタル信号処理部１４から供給されるフィールド周期の垂直同期信号ＶＤに基づいて生成したフレーム同期信号ＸＶＤ及びフィールド信号ＦＬＤをフォーマット変換部１７及びフレームメモリライトコントローラ１９に供給するとともに、システム制御部４０のシステム制御用ＣＰＵ４１に供給する。
【００３２】
上記フォーマット変換部１７は、上記デジタル信号処理部１４からのインターレースＹＵＶ（４：１：１）デジタル画像信号をＪＰＥＧ圧縮する為にＹＣｂＣｒ（４：２：２）信号に変換する。
【００３３】
また、上記ライトＦＩＦＯメモリ１８は、上記カメラブロック１０からの信号の速度とフレームメモリ３４に書き込む速度の差を吸収する。
【００３４】
そして、上記フレームメモリライトコントローラ１９は、上記フォーマット変換部１７から上記ライトＦＩＦＯメモリ１８を介して供給されるＹＣｂＣｒ（４：２：２）信号をインターレース信号からノンインターレース信号に変換するために、上記フレームメモリインターフェイス部２１を介して上記フレームメモリ３４に書き込みむ制御を行う。
【００３５】
上記フレームメモリインターフェイス部２１は、上記フレームメモリ３４に対してライト、リード、リフレッシュを時分割に制御する。上記フレームメモリインターフェイス部２１によるメモリ制御タイミイングの例を図２に示す。
【００３６】
上記フレーム画像用フレームメモリリードコントローラ２２は、上記フレームメモリ３４から上記フレームメモリインターフェイス部２１を介して第１フィールドの画像データ及び第２フィールドの画像データを１枚のフレーム画像データとして読み出す制御を行う。
【００３７】
また、上記フィールド画像用フレームメモリリードコントローラ２３は、上記フレームメモリ３４から上記フレームメモリインターフェイス部２１を介して第１フィールドの画像データもしくは第２フィールドの画像データのみを読み出し、各ライン間に上下のラインデータの平均データを作成、補間する。
【００３８】
このネットワークカメラ１において、上記フレームメモリ３４は、少なくとも２フレーム以上の画像領域を設ける。
【００３９】
そして、動体検知用フレームメモリコントローラ３１は、動体検知用にカメラブロック１０から上記ライトＦＩＦＯメモリ１８を介して動体検出器３３に供給される画像データに同期して、上記フレームメモリ３４から上記フレームメモリインターフェイス部２１を介して１フレーム前の画像データを読み出す。
【００４０】
動体検知ＦＩＦＯメモリ３２は、上記ライトＦＩＦＯメモリ１８を介して動体検出器３３に供給される画像データの速度と、上記動体検知用フレームメモリコントローラ３１により上記フレームメモリ３４から読み出される１フレーム前の画像データの速度の差を吸収する。
【００４１】
動体検知器３３は、上記カメラブロック１０からライトＦＩＦＯメモリ１８を介して供給される画像データと上記動体検知用フレームメモリコントローラ３１により上記フレームメモリ３４から読み出される１フレーム前の画像データを比較することにより、動体検知出力を得る。
【００４２】
この動体検知器３３は、例えば図３に示すように構成される。
【００４３】
すなわち、図３に示す動体検知器３３は、システム制御部４０のシステム制御用ＣＰＵ４１からＣＰＵ・Ｉ／Ｆ部２８を介して差分閾値ＴＨが設定される差分閾値レジスタ３３１と、上記カメラブロック１０からライトＦＩＦＯメモリ１８を介して供給される画像（輝度）データＹｃと上記動体検知用フレームメモリコントローラ３１により上記フレームメモリ３４から読み出される１フレーム前の画像（輝度）データＹｏが供給される差分絶対値回路３３２と、上記差分閾値レジスタ３３１に設定された差分閾値ＴＨと上記差分絶対値回路３３２により得られる差分絶対値を比較する比較器３３３と、この比較器３３３に応じたカウント動作を行う画素数カウンタ３３４と、画素数カウンタ３３４のカウント値が与えられる画素数レジスタ３３５からなる。
【００４４】
この動体検知器３３では、上記カメラブロック１０からライトＦＩＦＯメモリ１８を介して供給される画像（輝度）データＹｃと上記動体検知用フレームメモリコントローラ３１により上記フレームメモリ３４から読み出される１フレーム前の画像（輝度）データＹｏとの差分の絶対値ＡＢＳΔを差分絶対値回路３３２により求め、この差分絶対値回路３３２により得られた差分絶対値ＡＢＳΔを上記差分閾値レジスタ３３１に設定された差分閾値ＴＨと上記比較器２３３により比較することによって、上記差分閾値ＴＨよりも大きな差分絶対値ＡＢＳΔを与える画素を画像の動きがあった画素として検出して、フレーム同期信号ＸＶＤによりフレーム周期でリセットされる画素数カウンタ３３４でカウントする。上記画素数カウンタ３３４のカウント値すなわち上記差分閾値ＴＨよりも大きな差分絶対値ＡＢＳΔを与える画素の数を上記フレーム同期信号ＸＶＤでリセットする前に画素数レジスタ３２５にコピーする。
【００４５】
上記画素数レジスタ３２５にコピーされた画素数カウント値は、上記ＣＰＵ・Ｉ／Ｆ部２８を介してシステム制御部４０のシステム制御用ＣＰＵ４１により読み出される。
【００４６】
上記システム制御部４０のシステム制御用ＣＰＵ４１は、上記画素数レジスタ３２５にコピーされた画素数カウント値に基づいて、上記カメラブロック１０から出力されている画像が動画であるが静止画であるかを判定することができる。
【００４７】
そして、上記画像選択器２４は、上記システム制御部４０のシステム制御用ＣＰＵ４１から上記ＣＰＵ・Ｉ／Ｆ部２８を介して画像選択ビットレジスタ２９に供給される画像選択ビットに基づく選択信号により、上記フレーム画像用フレームメモリリードコントローラ２２により上記フレームメモリ３４から読み出されるフレーム画像のＹＣｂＣｒ（４：２：２）信号、又は、上記フィールド画像用フレームメモリリードコントローラ２３により上記フレームメモリ３４から読み出されるフィールド画像のＹＣｂＣｒ（４：２：２）信号を選択する。
【００４８】
上記リードＦＩＦＯメモリ２５は、上記フレームメモリ３４から読み出されるフレーム画像又はフィールド画像のＹＣｂＣｒ（４：２：２）信号の速度とＪＰＥＧ圧縮速度の差を吸収する。上記ＪＰＥＧ．Ｉ／Ｆ部２６は、上記画像選択器２４を介して供給されるフレーム画像又はフィールド画像のＹＣｂＣｒ（４：２：２）信号をラインバッファメモリ３５に一時蓄積し、ラスター・ブロック変換を行ってＪＰＥＧ圧縮処理部２７に入力するとともに、上記ＪＰＥＧ圧縮処理部２７の動作を制御する。そして、上記ＪＰＥＧ圧縮処理部２７は、ラスター・ブロック変換されたＹＣｂＣｒ（４：２：２）信号について、ＪＰＥＧに準拠した圧縮処理を行う。このＪＰＥＧ圧縮処理部２７の出力すなわちＪＰＥＧ圧縮画像データは、ＣＰＵ・Ｉ／Ｆ部２８を経由してシステム制御部４０のシステムＲＡＭ４２に書き込まれる。
【００４９】
上記ＪＰＥＧ圧縮画像データは、例えばシステム制御用ＣＰＵ４１のＤＭＡ機能を使用したり、システム制御用ＣＰＵ４１経由でシステムＲＡＭ４２に書き込まれる。
【００５０】
上記通信インターフェース部３０は、ネットワークインターフェイス用のＥｔｈｅｒｎｅｔコントローラー（ＭＡＣ）３５、物理層チップ３６、インピーダンスマッチングを取る為のパルストランス３７、ＲＪ−４５コネクタ３８などより構成されている。
【００５１】
上記システム制御部４０は、バスを介して接続されたシステム制御用ＣＰＵ４１、バッファ及びワーキングエリア用システムＲＡＭ４２、プログラム用のシステムＲＯＭ４３からなり、上記システム制御用ＣＰＵ４１によりシステムの制御やカメラ制御用ＣＰＵ１５と通信を行う。
【００５２】
そして、このネットワークカメラ１は、ソフトウエアとして、ＴＣＰ／ＩＰ、ＨＴＴＰ等のプロトコルスタックを搭載し、インターネットエクスプローラー（ＩＥ）等のビューワで遠隔から画像を見たり、カメラのコントロールができるようになっている。カメラコントロールメニューには画像サイズを選ぶ事が可能で、例えば６４０×４８０（フィールド画像）、６４０×２４０（フィールド画像）の画像をユーザーが選べられるようになっている。
【００５３】
そして、このような構成のネットワークカメラ１では、図４のフローチャートに示す手順に従ってフレーム画像／フィールド画像自動切換え動作を行う。
【００５４】
このネットワークカメラ１では、メニューで画像サイズを６４０×４８０（Ａｕｔｏ）に選ばれた時、初期化としてフレームカウンタ値及びフィールドカウンタ値を０にする（ステップＳ１）。
【００５５】
次に、システム制御用ＣＰＵ４１は、カメラ制御用ＣＰＵ１５との間でＲＳ２３２Ｃ通信を行い、カメラブロック１０の現在のＧａｉｎ情報を得、その値を前回Ｇａｉｎレジスタに退避させる。そして、そのＧａｉｎに対応した差分閾値ＴＨを動体検知器３３の差分閾値に書き込む（ステップＳ２）。たとえば、カメラブロック１０のＧａｉｎ設定が＋１８ｄｂと高い値に設定されている場合は、差分閾値ＴＨも高い値にし、Ｇａｉｎ設定値が０ｄｂと低い場合は差分閾値ＴＨも低い値にする。Ｇａｉｎ設定値が高い場合は、ノイズレベルも高くなっているので、動体検知結果のノイズの影響を除去し、動体検知の正確さを高める為にＧａｉｎ情報を動体検知器３３にダイナミックにフィードバックさせている。
【００５６】
次に、システム制御用ＣＰＵ４１は、カメラ制御用ＣＰＵ１５との間で通信を行い、カメラブロック１０の現在の情報を得、それを今回Ｇａｉｎレジスタに退避させる（ステップＳ３）。そして、前回Ｇａｉｎと今回Ｇａｉｎレジスタ値を比較し（ステップＳ４）、違う場合、前回Ｇａｉｎレジスタに今回Ｇａｉｎ値を書込み（ステップＳ５）、その今回Ｇａｉｎに対応した動体検知器３３の差分閾値をレジスタに書き込む（ステップＳ６）。前回Ｇａｉｎと今回Ｇａｉｎ値が同じ場合には何もしない。そして、フレーム同期信号ＸＶＤによるフレーム周期割込みを２回待ち（ステップＳ７）、動体検知器３３より画素数カウンタ値を画素数レジスタ３３５からリードする（ステップＳ８）。そして、画素数カウンタ値と動体検知感度値（この値はビューワのメニューから設定可能な値）を比較し（ステップＳ９）、カウント値が設定された動体検知感度値より小さい場合、カウント値が設定された動体検知感度値より小さい場合、フィールドカウンタ値が０であるか否かを判定し（ステップＳ１０）、フィールドカウンタ値が０の場合はフレームカウンタ値を＋１し、その値が５になったか否かを判定する（ステップＳ１１）。５になった場合はフレームカウンタ値を０にクリアし（ステップＳ１２）、動体がないと判断して画素選択ビットレジスタ部２９に１を書き込む。これによりＪＰＥＧ圧縮画像としてフレーム画像を選択する（ステップＳ１３）。また、上記ステップＳ１０における判定の結果、フィールドカウンタ値が０でない場合はフィールドカウンタ値を０、フレームカウンタ値を１にする（ステップＳ１４）。すなわち、被写体が動体であるとの判断が５回以上続かなかった場合は、動体判断回数を０にクリアすることにより、画像の切り替わり頻度を下げるようにしている。
【００５７】
また、上記ステップＳ９における判定の結果、カウント値が設定された動体検知感度値以上の場合、フレームカウンタ値が０であるか否かを判定し（ステップＳ１５）、フレームカウンタ値が０の場合はフィールドカウンタ値を＋１し、その値が５になったか否かを判定する（ステップＳ１６）。５になった場合はフィールドカウンタ値を０にクリアし（ステップＳ１７）、動体があると判断して画素選択ビットレジスタ２９に０を書き込む。これによりＪＰＥＧ圧縮画像としてフィールド画像を選択する（ステップＳ１８）。
【００５８】
また、上記ステップＳ１５における判定の結果、フレームカウンタ値が０でない場合は、フレームカウンタ値を０、フィールドカウンタ値を１にする（ステップＳ１９）。すなわち、被写体が静止物であるとの判断が５回以上続かなかった場合は、静止物判断回数を０にクリアすることにより、画像の切り替わり頻度を下げるようにしている。
【００５９】
それぞれの処理終了後、システム制御用ＣＰＵ４１とカメラ制御用ＣＰＵ１５間で通信を行い、上記処理を繰り返す。この処理により、カメラブロック１０のＧａｉｎ情報によりダイナミックに対応する動体検知器３３で、動体と判断した時はフィールド画像、静止物と判断した時はフレーム画像の切り替えをダイナミックに行うことが可能となる。
【００６０】
次に、このネットワークカメラ１におけるフレームメモリ書込み状態遷移の例を示す図５及びフレームメモリ読み出し状態遷移の例を示す図６を参照して、追い越し走査ノイズ除去について説明する。
【００６１】
このネットワークカメラ１において、フレームメモリ３４は、２フレーム画像分の領域（エリア０、エリア１）を有している。また、カメラブロック１０からの画像信号のフレームメモリ３４への書込みはフレーム同期信号ＸＤＶに同期して状態が遷移する。
【００６２】
電源投入後、フレーム同期信号ＸＶＤに同期してエリア０に書込みを始める。１フレームの書込みが終了し、次のフレーム同期信号ＸＶＤのタイミング時にエリア１がリード中であればエリア０に書込みを行う。エリア１がリード中でない場合は、エリア１に書込みを行う。つまり、書込みスタートを行うエリアはリードしていないエリアを選択する。
【００６３】
エリア０書込み時、書込みスタート時にエリア０リード許可ビットを０にし、１フィールド画像の書込み終了時点で、エリア０リード許可ビットを１にする。つまり、エリア０のリード禁止区間は書込みスタートから１フィールド画像書込み終了までである。
【００６４】
エリア０リード許可状態（許可ビットが１）で、ＪＰＥＧ圧縮処理できる状態にあり、エリア０のリードが終了していない場合は、エリア０のリードを行う。エリア０のリードが終了か、エリア０のリードが終了していなくＪＰＥＧ圧縮処理が出来ない状態の時はアイドル状態になる。
【００６５】
また、エリア０の１フレーム画像のリードが終了した時点で、エリア０リード許可ビットを０にクリアする。つまり、次にエリア０のリードが出来るのはエリア０に１フィールド画像書込み終了時点である。
【００６６】
エリア１ライト、リードに関しても同様な処理を行う。
【００６７】
１フレームの書込みが終了し、次のフレーム同期信号ＸＶＤのタイミング時にエリア０がリード中であればエリア１に書込みを行う。エリア０がリード中でない場合は、エリア０に書込みを行う。つまり、書込みスタートを行うエリアはリードしていないエリアを選択する。
【００６８】
エリア１書込み時、書込みスタート時にエリア１リード許可ビットを０にし、１フィールド画像の書込み終了時点で、エリア１リード許可ビットを１にする。つまり、エリア１のリード禁止区間は書込みスタートから１フィールド画像書込み終了までである。
【００６９】
エリア１リード許可状態（許可ビットが１）で、ＪＰＥＧ圧縮処理できる状態にあり、エリア１のリードが終了していない場合は、エリア１のリードを行う。エリア１のリードが終了か、エリア１のリードが終了していなく、ＪＰＥＧ圧縮処理が出来ない状態の時はアイドル状態になる。
【００７０】
また、エリア１の１フレーム画像のリードが終了した時点で、エリア１リード許可ビットを０にクリアする。つまり、次にエリア１のリードが出来るのはエリア１に１フィールド画像書込み終了時点である。
【００７１】
このように、図５、図６に示す状態遷移図を実現することにより、１フレーム画像内でリード処理をライト処理が追い越す事がなくなり、追い越し走査ノイズを削除することができる。
【００７２】
このような構成のネットワークカメラ１は、例えば図７に示すように、インターネットやローカルネットワークなどのネットワーク２に接続され、上記ネットワークに接続された複数台の例えばＰＣクライアント３，４，５に撮像出力をリアルタイムで配信する監視システムやアトラクション用途のカメラサーバとして用いられる。
【００７３】
上記本発明の実施の形態では、撮像部１０、信号処理部２０、通信インターフェース部３０及びシステム制御部４０を１つの筐体内に納めた一体型のネットワークカメラ１について説明したが、撮像部１０を信号処理部２０等と別体にして所謂ヘッド分離型のカメラシステムとして、ネットワークカメラ１を構築するようにしてもよい。
【００７４】
さらに、撮像装置等の画像データ供給装置から供給される画像データをネットワークを介してクライアントに配信する画像配信処理装置を上記信号処理部２０、通信インターフェース部３０及びシステム制御部４０にて構成することもできる。
【００７５】
【発明の効果】
以上説明したように、本発明によれば、インターレース出力の撮像手段により得られるインターレース画像からノンインターレースフレーム画像を生成する際に、上記撮像手段からの画像データに基づいて動体検出手段により被写体の動体検出を行い、画像データ選択手段により上記動体検出手段による検出検出出力に基づいて、上記撮像手段から供給される画像データが静止画の画像データであるか動画の画像データであるかを判定し、被写体が静止物であるか動体であるかに応じて、フレーム画像とフィールド画像を自動的に切り替えるので、高画質画像出力を得ることができる。
【００７６】
また、本発明によれば、複数フレーム分の記憶領域を有するフレームメモリを用い、フレームメモリへの画像データの書き込み開始時には、画像データの読み出しを行っていない領域を選択し、上記フレームメモリからの画像データの読み出し開始時には、画像データの書き込みを１フィールド以上終わった領域を選択して、上記フレームメモリに対する画像データの書き込み／読み出しを行うことにより、追い越し走査ノイズを削除することができ、高画質画像出力を得ることができる。
【００７７】
さらに、本発明によれば、上記動体検出手段における動体検出に使用する差分閾値を上記撮像手段の設定情報に応じて更新することによって、上記動体検出手段の認識率を向上させ、フィールド画像とフレーム画像の切り替えを上記撮像手段のＧａｉｎ値等の設定情報に追従させて適応的に行うことができる。
【図面の簡単な説明】
【図１】本発明に係るネットワークカメラの構成を示すブロック図である。
【図２】上記ネットワークカメラにおけるフレームメモリインターフェイス部によるメモリ制御タイミイングの例を示すタイミイングチャートである。
【図３】上記ネットワークカメラにおける信号処理部に備えられた動体検知器の構成を示すブロック図である。
【図４】上記ネットワークカメラにおいて実行されるフレーム画像／フィールド画像自動切換え動作の手順を示すフローチャートである。
【図５】上記ネットワークカメラにおけるフレームメモリの書込み状態遷移例を示す状態遷移図である。
【図６】上記ネットワークカメラにおけるフレームメモリの読み出し状態遷移例を示す状態遷移図である。
【図７】上記ネットワークカメラを接続したネットワークの構成例を示すブロック図である。
【図８】従来のカメラサーバとして用いられるネットワークカメラの構成を示すブロック図である。
【符号の説明】
１  ネットワークカメラ、１０  カメラブロック、１１  インターライン型ＣＣＤイメージセンサ、１２  タイミングジェネレーター、１３  フロントエンド部、１４  デジタル信号処理部、１５  カメラ制御用ＣＰＵ、１６  フレーム同期信号生成部、１７  フォーマット変換部、１８  ライトＦＩＦＯメモリ、１９フレームメモリライトコントローラ、２０  信号処理部、２１  フレームメモリインターフェイス部、２２  フレーム画像用フレームメモリリードコントローラ、２３  フィールド画像用フレームメモリリードコントローラ、２４  画像選択器、２５  リードＦＩＦＯメモリ、２６  ＪＰＥＧ・Ｉ／Ｆ部、２７  ＪＰＥＧ圧縮処理部、２８  ＣＰＵ・Ｉ／Ｆ部、２９  画像選択ビットレジスタ、３０通信インターフェース部、３１  動体検知用フレームメモリリードコントローラ、３２  動体検知用ＦＩＦＯメモリ、３３  動体検知器、３４  フレームメモリ、３５  ラインバッファメモリ、４０  システム制御部
【図１】
0003861717.tif 000002
【図２】
0003861717.tif 000003
【図３】
0003861717.tif 000004
【図４】
0003861717.tif 000005
【図５】
0003861717.tif 000006
【図６】
0003861717.tif 000007
【図７】
0003861717.tif 000008
【図８】
0003861717.tif 000009