(57)【要約】【課題】  本発明の主題は、全動作フレームレートで画像当たり百万ピクセル以上を有する高解像度の画像を提供できるネットワークビデオカメラである。【解決手段】  本発明で開示されたカメラは、高解像度のイメージセンサ101と、イメージセンサにより発生された画像データストリームの送信のためのコンピュータネットワークインターフェース117と、イメージセンサの出力レートで画像データの処理及び圧縮が可能な多ステージのパイプライン化されたデジタル画像プロセッサとを備え、画像プロセッサは、多重の別個のステージにより形成された画像処理パイプラインを備え、ステージの大部分は別個に異なる画像処理動作を実行し、各ステージは出力ラッチ又はバッファ116を有し、画像データはステージからステージに伝播し、各ステージはそれぞれの動作を実行する他の大部分のステージと並列に及び同期して画像データに対して動作を実行する。【選択図】      図１
2006148862.tif 000002
【特許請求の範囲】
【請求項１】
高解像度のイメージセンサと、オフ状態のカメラの前記イメージセンサにより発生された画像データストリームの送信のためのコンピュータネットワークインターフェースと、前記イメージセンサの出力レートで画像データの処理及び圧縮が可能な多ステージのパイプライン化されたデジタル画像プロセッサとを備え、前記画像プロセッサは、多重の別個のステージにより形成された画像処理パイプラインを備え、前記ステージの大部分は別個に異なる画像処理動作を実行し、各ステージは出力ラッチ又はバッファを有して他の１つ以上のステージの前記出力ラッチ又はバッファから入力データを受け取り、画像データはステージからステージに伝播し、各ステージはそれぞれの動作を実行する他の大部分のステージと並列に及び同期して画像データに対して動作を実行するネットワークカメラ。
【請求項２】
マイクロプロセッサ又はＣＰＵも備える請求項１に記載のネットワークカメラ。
【請求項３】
前記マイクロプロセッサは、前記画像処理パイプラインの動作を制御するように構成され、前記制御は、前記パイプラインの初期化、パイプライン測定エンジンとの通信、パイプラインマルチプレクサを通してデータフローを制御するための前記パイプラインレジスタの設定、及び自動ホワイトバランス、自動露光及びゲイン制御動作で利用されるパイプラインパラメータの設定を備える請求項２に記載のネットワークカメラ。
【請求項４】
前記マイクロプロセッサは、前記画像処理パイプラインの前記測定エンジンにより蓄積された統計の処理、及び露光時間及びゲイン設定（ＡＥ）の演算と共に自動ホワイトバランス（ＡＷＢ）パラメータの演算を含む相対的に低速の演算を実行するようにも構成されている請求項３に記載のネットワークカメラ。
【請求項５】
前記マイクロプロセッサは、外部のカメラ操作者とのネットワーク通信をサポートするように構成され、前記マイクロプロセッサは、カメラＭＡＣハードウエアと通信して入ってくるネットワークパケットを解釈してネットワークパケットヘッダを形成するように構成され、前記マイクロプロセッサは、部分的なパケットチェックサムの演算及び出ていくネットワークパケットのデータフィールドにおける画像データのローディングのための画像処理パイプラインの出力ロジックに依存している請求項２に記載のネットワークカメラ。
【請求項６】
前記画像処理パイプラインは、色補間、画像鮮鋭化、色分離、ガンマ補正及び色空間変換を実行するように構成されたステージを備え、前記色補間は、画素当たり１色の画像を画素当たり３色の画像に変換するように構成され、前記色補間は３×３の色補正マトリクスにより赤、緑及び青（ＲＧＢ）の画素成分の乗算を実行するように構成され、前記画像鮮鋭化は、画像に対する２次元のハイパスフィルタを適用するように構成され、前記色空間変換は、画像の色成分を、ＹＵＶ、ＹＣｒＣｂ又は前記画像処理パイプラインの画像圧縮ステージへの入力に適した他の色差表現へ変換するように構成されている請求項１に記載のネットワークカメラ。
【請求項７】
前記画像処理パイプラインは、画像輝度及び色統計を蓄積するように構成された測定エンジンを備え、前記測定エンジンは、前期マイクロプロセッサに前記統計を送信するための手段が設けられている請求項２に記載のネットワークカメラ。
【請求項８】
前記画像処理パイプラインは、２次元画素欠陥補正、光学系により導入された画像歪の補償、色飽和制御及び画像のヒストグラムの等価化を実行するように構成されているステージを備える請求項６に記載のネットワークカメラ。
【請求項９】
前記２次元画素欠陥補正は、欠陥画素を、前記欠陥画素を直接囲む画素の非欠陥画素の１つで置き換えることにより実行される請求項８に記載のネットワークカメラ。
【請求項１０】
すべての画素について、その時点で処理される画素（対象画素）の輝度値が、同じ色で前記対象画素を直接囲む８個の画素（周囲画素）の輝度値と比較され、対象画素がすべての周囲画素の輝度値より大きいか又は低い輝度値を有するならば、前記置き換えが行われ、前記置き換えは、対象画素のすべての色成分を置き換え画素の対応する色成分に置き換えることにより行われ、前記置き換え画素は周囲画素の１つであり、前記置き換え画素は対象画素の輝度値と少なくとも大きさが異なる輝度値を有する請求項９に記載のネットワークカメラ。
【請求項１１】
前記画像処理パイプラインは、画像圧縮を実行するように構成されたステージを備える請求項１に記載のネットワークカメラ。
【請求項１２】
前記画像圧縮は、ＪＰＥＧ圧縮に基づいており、前記画像処理パイプラインは、最小にコード化されたユニット（ＭＣＵ）の形成、ファワードディスクリートコサイン変換(Forward Discrete Cosine Transform :FDCT)、ジグザグ変換、量子化、及びエントロピィコード化を実行するように構成されたステージを備える請求項１１に記載のネットワークカメラ。
【請求項１３】
前記画像圧縮は、ＪＰＥＧ２０００又はＭＰＥＧ−２圧縮である請求項１１に記載のネットワークカメラ。
【請求項１４】
高解像度のイメージセンサと、オフ状態のカメラの前記イメージセンサにより発生された画像データストリームの送信のためのコンピュータネットワークインターフェースと、前記イメージセンサの出力レートで画像データの処理及び圧縮が可能な多ステージのパイプライン化されたデジタル画像プロセッサとを備え、前記画像プロセッサは、多重の別個のステージにより形成された画像処理パイプラインを備え、前記ステージの大部分は別個に異なる画像処理動作を実行し、各ステージは出力ラッチ又はバッファを有して他の１つ以上のステージの前記出力ラッチ又はバッファから入力データを受け取り、画像データはステージからステージに伝播し、各ステージはそれぞれの動作を実行する他の大部分のステージと並列に及び同期して画像データに対して動作を実行し、
前記ネットワークカメラは、異なるサイズ及び解像度の画像の列を並列の出力が可能であり、１つ以上の画像メモリバッファ及び画像メモリバッファアクセスコントローラを備え、前記アクセスコントローラは、前記メモリバッファ内に画像を記憶し、前記メモリバッファから記憶した画像を読み出すように構成され、前記メモリアクセスコントローラは、更に画像の間引き及び画像のウインドウ化を実行することにより画像の解像度及びサイズを低下させるように構成されているネットワークカメラ。
【請求項１５】
当該カメラは、少なくとも２つの画像メモリバッファを備え、メモリバッファアクセスコントローラは、前記メモリバッファの１つに入ってくる画像フレームを記憶し、他の前記メモリバッファからフレーム又は部分的なフレームを読み出すように構成され、画像は、前記イメージセンサの画素出力レートより小さくないレートで前記画像バッファに記憶され、前記画像は前記ネットワークインターフェースの出力帯域幅により決定されるレートで前期他の画像バッファから読み出され、メモリアクセスコントローラは、前記画像バッファにアクセスして、１つの画像バッファからの画像読み出しが完了すると、その画像バッファを入ってくる画像フレームの記憶に使用し、前に画像フレームの記憶に使用された画像バッファはカメラから出力される画像フレームの読み出しに使用されるように構成されている請求項１４に記載のネットワークカメラ。
【請求項１６】
当該カメラは、少なくとも３つの画像メモリバッファを備え、前記画像バッファの１つは入ってくる画像フレームの記憶に利用可能であり、他の画像バッファはカメラから出力される画像フレームの読み出しに利用可能であり、三番目の画像バッファはカメラから出力される次の画像フレームを保持し、画像バッファが一旦読み出されると、それは新しく入ってくる画像フレームの記憶に利用される請求項１４に記載のネットワークカメラ。
【請求項１７】
前記画像メモリバッファアクセスコントローラは、多重画像フォーマットの並列出力をサポートするように構成され、画像アクセスコントローラは、前記メモリバッファに記憶された同一の画像を２回以上読み出すことにより出力画像フレームを形成し、前記画像アクセスコントローラは、記憶された画像の異なるセグメントを読み出すことにより異なる出力フレームフォーマットを生成し、異なるファーマットの画像フレームがカメラから次々に出力される請求項１４に記載のネットワークカメラ。
【請求項１８】
メモリアクセスコントローラは、最初に前記画像バッファに記憶された全画像フレームを読み出し及び間引きし、前記アクセスコントローラは、続いて同一画像の特定の長方形の領域を読み出し、低下された解像度の全視野画像と、ユーザにより特定された全解像度の長方形画像ウインドウの間で、カメラ出力フォーマットがフレームごとに連続して切り替わるようにする請求項１４に記載のネットワークカメラ。
【請求項１９】
マイクロプロセッサ又はＣＰＵも備える請求項１４に記載のネットワークカメラ。
【請求項２０】
前記マイクロプロセッサは、前記画像処理パイプラインの動作を制御するように構成され、前記制御は、前記パイプラインの初期化、パイプライン測定エンジンとの通信、パイプラインマルチプレクサを通してデータフローを制御するための前記パイプラインレジスタの設定、及び自動ホワイトバランス、自動露光及びゲイン制御動作で利用されるパイプラインパラメータの設定を備える請求項１９に記載のネットワークカメラ。
【請求項２１】
前記マイクロプロセッサは、前記画像処理パイプラインの前記測定エンジンにより蓄積された統計の処理、及び露光時間及びゲイン設定（ＡＥ）の演算と共に自動ホワイトバランス（ＡＷＢ）パラメータの演算を含む相対的に低速の演算を実行するようにも構成されている請求項２０に記載のネットワークカメラ。
【請求項２２】
前記マイクロプロセッサは、外部のカメラ操作者とのネットワーク通信をサポートするように構成され、前記マイクロプロセッサは、カメラＭＡＣハードウエアと通信して入ってくるネットワークパケットを解釈してネットワークパケットヘッダを形成するように構成され、前記マイクロプロセッサは、部分的なパケットチェックサムの演算及び出ていくネットワークパケットのデータフィールドにおける画像データのローディングのための画像処理パイプラインの出力ロジックに依存している請求項１９に記載のネットワークカメラ。
【請求項２３】
前記画像処理パイプラインは、色補間、画像鮮鋭化、色分離、ガンマ補正及び色空間変換を実行するように構成されたステージを備え、前記色補間は、画素当たり１色の画像を画素当たり３色の画像に変換するように構成され、前記色補間は３×３の色補正マトリクスにより赤、緑及び青（ＲＧＢ）の画素成分の乗算を実行するように構成され、前記画像鮮鋭化は、画像に対する２次元のハイパスフィルタを適用するように構成され、前記色空間変換は、画像の色成分を、ＹＵＶ、ＹＣｒＣｂ又は前記画像処理パイプラインの画像圧縮ステージへの入力に適した他の色差表現へ変換するように構成されている請求項１４に記載のネットワークカメラ。
【請求項２４】
前記画像処理パイプラインは、画像輝度及び色統計を蓄積するように構成された測定エンジンを備え、前記測定エンジンは、前記マイクロプロセッサに前記統計を送信するための手段が設けられている請求項１９に記載のネットワークカメラ。
【請求項２５】
前記画像処理パイプラインは、２次元画素欠陥補正、光学系により導入された画像歪の補償、色飽和制御及び画像のヒストグラムの等価化を実行するように構成されているステージを備える請求項２４に記載のネットワークカメラ。
【請求項２６】
前記２次元画素欠陥補正は、欠陥画素を、前記欠陥画素を直接囲む画素の非欠陥画素の１つで置き換えることにより実行される請求項２５に記載のネットワークカメラ。
【請求項２７】
すべての画素について、その時点で処理される画素（対象画素）の輝度値が、同じ色で前記対象画素を直接囲む８個の画素（周囲画素）の輝度値と比較され、対象画素がすべての周囲画素の輝度値より大きいか又は低い輝度値を有するならば、前記置き換えが行われ、前記置き換えは、対象画素のすべての色成分を置き換え画素の対応する色成分に置き換えることにより行われ、前記置き換え画素は周囲画素の１つであり、前記置き換え画素は対象画素の輝度値と少なくとも大きさが異なる輝度値を有する請求項２６に記載のネットワークカメラ。
【請求項２８】
前記画像処理パイプラインは、画像圧縮を実行するように構成されたステージを備える請求項１９に記載のネットワークカメラ。
【請求項２９】
前記画像圧縮は、ＪＰＥＧ圧縮に基づいており、前記画像処理パイプラインは、最小にコード化されたユニット（ＭＣＵ）の形成、ファワードディスクリートコサイン変換(Forward Discrete Cosine Transform :FDCT)、ジグザグ変換、量子化、及びエントロピィコード化を実行するように構成されたステージを備える請求項２８に記載のネットワークカメラ。
【請求項３０】
前記画像圧縮は、ＪＰＥＧ２０００又はＭＰＥＧ−２圧縮である請求項２８に記載のネットワークカメラ。
【請求項３１】
高解像度のイメージセンサと、オフ状態のカメラの前記イメージセンサにより発生された画像データストリームの送信のためのコンピュータネットワークインターフェースと、前記イメージセンサの出力レートで画像データの処理及び圧縮が可能な多ステージのパイプライン化されたデジタル画像プロセッサとを備え、前記画像プロセッサは、多重の別個のステージにより形成された画像処理パイプラインを備え、前記ステージの大部分は別個に異なる画像処理動作を実行し、各ステージは出力ラッチ又はバッファを有して他の１つ以上のステージの前記出力ラッチ又はバッファから入力データを受け取り、画像データはステージからステージに伝播し、各ステージはそれぞれの動作を実行する他の大部分のステージと並列に及び同期して画像データに対して動作を実行し、
前記ネットワークカメラは、マイクロプロセッサ、２つ以上のネットワークパケットバッファ、前記マイクロプロセッサと前記ネットワークパケットバッファの間でのデータ送信の手段と、前記画像処理パイプラインと前記ネットワークパケットバッファの間のデータ送信の手段とを備えるネットワークカメラ。
【請求項３２】
前記ネットワークインターフェースは、イーサネット（登録商標）メディアアクセス制御インターフェース（ＭＡＣ）を備え、当該カメラは前記マイクロプロセッサと前記メディアアクセス制御インターフェースの間の通信手段を備える請求項３１に記載のネットワークカメラ。
【請求項３３】
前記マイクロプロセッサは、前記画像処理パイプラインよりデータ処理能力が１桁以上小さい低コストのマイクロプロセッサである請求項３１に記載のネットワークカメラ。
【請求項３４】
前記マイクロプロセッサは、入ってくるネットワークデータパケットを受けて解釈し、特定の入ってきたネットワークパケットに応じて出力パケットを組み立てるように構成され、前記入ってくるデータパケットは、画像送信要求、カメラレジスタへのアクセス要求、アドレス解像度プロトコル（ＡＲＰ）要求、インターネット制御メッセージプロトコル（ＩＣＭＰ）ピン要求及び関係するネットワーク標準により定義された他の要求を備える請求項３２に記載のネットワークカメラ。
【請求項３５】
前記マイクロプロセッサは、出ていくネットワークパケットのパケットヘッダを形成することにより画像送信の外部からの要求に応答するように構成され、前記ヘッダは、画像送信に使用されるコンピュータネットワークプロトコルの要求に応じて形成され、前記ヘッダを前記ネットワークパケットバッファ内にロードし、出て行くネットワークパケットのデータフィールド内に画像データをロードするように前記画像処理パイプラインを制御する請求項３２に記載のネットワークカメラ。
【請求項３６】
当該カメラは、ＵＤＰ、ＴＦＴＰ、ＡＲＰ、ＩＰ及びＩＣＭＰを備えるコンピュータネットワークプロトコルの最小セットをサポートし、前記プロトコルはそれぞれの標準規格で定義されている請求項３２に記載のネットワークカメラ。
【請求項３７】
当該カメラは、ＴＣＰ及びＤＨＣＰコンピュータネットワークプロトコルもサポートし、前記プロトコルはそれぞれの標準規格で定義されている請求項３６に記載のネットワークカメラ。
【請求項３８】
当該カメラは、３つ以上の出力ネットワークパケットバッファを備え、１つのバッファは前記画像処理パイプラインから到着したデータの記憶に利用され、他のバッファは送信に利用する又はＭＡＣハードウエアに送信されるパケットを含み、１つ以上のバッファはその時点で送信に利用可能なパケットに順に続くパケットを保持する請求項３２に記載のネットワークカメラ。
【請求項３９】
前記マイクロプロセッサは、利用可能なすべてのネットワークパケットが満杯であれば画像処理パイプラインを非活性化するように構成され、前記マイクロプロセッサは、利用可能なネットワークパケットバッファを埋めるのにちょうど十分な画像データが処理されるか、フレーム終了（ＥＯＦ）が検出されるまで前記画像処理パイプラインを活性化するように構成されている請求項３１に記載のネットワークカメラ。
【請求項４０】
前記カメラは、変形されたTrivial File Transfer Protocol (TFTP)の手段により画像を送信するように構成され、標準ＴＦＴＰの構成（ＲＦＣ７８３）と異なり、２つ以上の初期画像データパケットが離れたクライアントからの対応するアクノレッジが前記カメラにより受信されるのを待つこと無しに直ぐに次々に送信され、到着するアクノレッジは前記最初のパケットが送信された後にのみ前記マイクロプロセッサにより調べられ、前記マイクロプロセッサは、既に送信されたパケットの１つに対するアクノレッジのカメラによる受信に応じて、付加データパケットの送信の開始をトリガするように構成されている請求項３１に記載のネットワークカメラ。
【請求項４１】
前記マイクロプロセッサは、所定の制限時間期間の間前記パケットアクノレッジの到着を待つように構成され、前記マイクロプロセッサは、もし制限時間期間が前記アクノレッジの到着に先立って経過したら、前に送信したネットワークパケットバッファの１つに記憶されたデータの再送信を開始するように構成されている請求項４０に記載のネットワークカメラ。
【請求項４２】
すべての出力パケットは、最初の送信の順番で番号が付されており、受信側ネットワーククライアントは、前記パケット番号の増加する順番に到着したパケットを並び替えるようになっている請求項４０に記載のネットワークカメラ。
【請求項４３】
入ってくる画像要求の解像度、サイズ、圧縮品質及び他のパラメータは、カメラレジスタアクセス要求の数値と共に、ＴＦＴＰの「ファイル名」フィールドに特定されている請求項３１に記載のネットワークカメラ。
【請求項４４】
１つ以上のネットワークカメラを備えるカメラシステムであって、前記ネットワークカメラは、高解像度のイメージセンサと、オフ状態のカメラの前記イメージセンサにより発生された画像データストリームの送信のためのコンピュータネットワークインターフェースと、前記イメージセンサの出力レートで画像データの処理及び圧縮が可能な多ステージのパイプライン化されたデジタル画像プロセッサとを備え、前記画像プロセッサは、多重の別個のステージにより形成された画像処理パイプラインを備え、前記ステージの大部分は別個に異なる画像処理動作を実行し、各ステージは出力ラッチ又はバッファを有して他の１つ以上のステージの前記出力ラッチ又はバッファから入力データを受け取り、画像データはステージからステージに伝播し、各ステージはそれぞれの動作を実行する他の大部分のステージと並列に及び同期して画像データに対して動作を実行し、そして前記カメラから画像を受け取り、コンピュータネットワーク手段により前記カメラに接続されたコンピュータシステムを更に備えるカメラシステム。
【請求項４５】
前記コンピュータは、ハードディスクドライブ及びモニタも備え、前記コンピュータは、１つ以上の前記カメラから画像を獲得し、圧縮して前記モニタ上に表示し、前記画像のすべて又は一部を前記ハードディスクドライブにデジタル記録して記憶し、離れたユーザからの画像送信要求に対して前記カメラから獲得した完全な又は部分的な画像を前記離れたユーザに送ることにより応答するように構成されている請求項４４に記載のカメラシステム。
【請求項４６】
前記コンピュータは、前記カメラのすべて又は一部から異なるフォーマットの画像を備える画像ストリームを獲得するように構成され、前記画像ストリームの１つの形式は、フレームごとに挟み込まれた全解像度の部分画像又は画像ウインドウを有する間引きされた全視野画像を備える請求項４４に記載のカメラシステム。
【請求項４７】
前記コンピュータは、前記異なるフォーマットの画像を前記モニタに同時に出力するように構成されている請求項４６に記載のカメラシステム。
【請求項４８】
前記コンピュータは、前記モニタに全視野画像を、前記画像のズームされた出力又は部分的なウインドウで並列に出力する請求項４７に記載のカメラシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
現在もっとも使用されているビデオ見張り及び監視システムは、対応するビデオ規格によってより厳密に決められたカメラ解像度を有するＮＴＳＣ／ＰＡＬ／ＳＥＣＡＭ方式のアナログビデオカメラに基づいている。このため、光景の微細な詳細を見るには、ＮＴＳＣ監視システムは高価な光学的なズーム及び機械的なパン（カメラの回動）及びチルトに依存しなければならない。しかし、光学的なズームがより高くなるとカメラの視野が狭くなるのが避けられず、オペレータが、詳細にするレベルと監視下にある領域の範囲の大きさについて選択を行う必要がある。更に、機械的なパン、チルト及びズームに応答するアクチュエータは、通常はカメラのフレームレートに比べて低速である。これは、移動する自動車のナンバープレートのような高速に移動する目標にズームするのを、不可能ではなくても難しくする。
【０００２】
ＮＴＳＣに基づくビデオに対して、ネットワークカメラは特定の解像度及びフレームレートに限定されず、カメラ上の演算資源及び利用可能なネットワークバンド幅により主として制限される。ネットワークビデオカメラは、パケット重視のデジタル画像送信に依存しており、いかなる特定の画像解像度及びフレームレートにも限定されない。これは現存のＮＴＳＣシステムより全体的に優れている高解像度ビデオ監視システムの開発の糸口となり、以前にはビデオ監視では利用できなかったビデオレート多重フォーマット機能及び瞬時のパン、チルト及びズームを提供する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、ビデオレートで多重メガピクセルの画像を生成するには、ネットワークカメラは、画像処理、圧縮及びネットワーク送信を、通常のＮＴＳＣカメラよりはるかに高いデータバンド幅で実行できなければならない。汎用のＤＳＰやマイクロプロセッサで画像処理、圧縮及びネットワークプロトコルを行えるようにする従来の方法は、カメラのフレームレートと解像度の間のトレードオフを要するカメラ帯域（バンド）幅全体を大きく制限する。
【課題を解決するための手段】
【０００４】
本発明の主題は、ビデオレートで画像当たり百万ピクセル以上を有する高解像度の画像を提供できるネットワークビデオカメラである。本発明で開示されたカメラは、ビデオフレームレートで動作可能な高解像度イメージセンサと、画像バッファメモリと、オフ状態のカメラの画像を送信するためのネットワークインターフェースとを備える。好適な実施例では、本発明に開示されたカメラは、低コストのマイクロプロセッサの制御下で動作するＡＳＩＣ又は１個以上のフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）を備え、このようなＡＳＩＣ又はＦＰＧＡは画像ピクセルに対する時間が制限される処理を実行する大きな並列画像処理パイプラインを構成し、画像ピクセルの流れは、各パイプラインステージが他のパイプラインステージのすべて又は大部分と並列に動作するパイプラインの連続したステージにより処理され、プロセッサは、画像処理パイプラインの動作を制御し、画像パイプライン及びネットワークの初期化動作、自動露光及びゲイン制御に関係する比較的低速の動作、ホワイトバランス及びプロトコルレベルのネットワークインターフェース処理を実行すると共に、カメラへのユーザインターフェースを構成するレジスタ空間を維持する。
【０００５】
好適な実施例では、本発明は、ネットワークインターフェースの受信側に位置して接続されるコンピュータを備え、コンピュータは、画像処理、及び本発明の開示された１つ以上のカメラからの画像を獲得するように構成された獲得ソフトウエアを実行し、逆圧縮してモニタ上に画像を表示し、デジタル保管に画像を記憶して、離れたユーザの要求に応答してカメラから獲得した全部又は部分の画像を送るように構成される。
【発明を実施するための最良の形態】
【０００６】
本発明の主題は、全動作のビデオフレームレートで画像当たり百万ピクセル以上を有する高解像度の画像を提供できるネットワークビデオカメラである。本発明で開示されたカメラは、ビデオフレームレートで動作可能な高解像度イメージセンサと、オフ状態のカメラのイメージセンサにより発生された画像データストリームを送信するためのコンピュータネットワークインターフェースとを備え、イメージセンサの出力レートでのイメージデータの処理及び圧縮が可能で低コストのマイクロプロセッサの制御の下で動作する多重ステージデジタルイメージプロセッサを更に備え、イメージプロセッサは多重の個別のステージにより形成された画像処理パイプラインを備え、ステージの大部分は個別に異なる画像処理動作を実行し、各ステージは出力ラッチ又はバッファを有して１つ以上の他のステージの出力ラッチ又はバッファから入力データを受け取り、各ステージはそれぞれの処理を実行する他のステージの大部分と並列に且つ同期して画像データに対する処理を実行する。図１は、画像処理、圧縮及びネットワークインターフェースの大きな並列実行を有する高解像度ネットワークカメラのブロック図を示す。
【０００７】
好適な実施例では、本発明で開示されたカメラは、マイクロプロセッサの制御の下で動作する１つ以上のＡＳＩＣ又はフィールドプラグラマブルゲートアレイ（ＦＰＧＡ）を備え、ＡＳＩＣ又はＦＰＧＡはイメージセンサの画素出力レートと等しいレートで画像の画素に対する時間が制限される処理を実行する大部分が並列な画像処理パイプラインを実現するように構成されており、画像の画素は、それぞれがパイプラインの他のステージのすべて又は多くと並列に動作するパイプラインステージを有する画像処理パイプラインの連続したステージによる作用を受け、マイクロプロセッサは画像処理パイプラインの動作を制御し、画像パイプライン、及びネットワークの初期化動作、自動露光及びゲイン制御に関係する比較的低速の動作、ホワイトバランス及びプロトコルレベルのネットワークインターフェース処理を実行すると共に、カメラへのユーザインターフェースを構成するレジスタ空間を維持する。
【０００８】
本発明の好適な実施例では、大部分が並列な画像処理パイプラインは、画素当たり１色の画素アレイを画素当たり３色の画像ストリームへの補間、色補正３×３のマトリクスによるＲＧＢ画素の表現多重化を表す色補正、画像に対する２次元鮮鋭化フィルタの適用を表すアパーチャ補正、ＪＰＥＧ又は他の画像圧縮に適した画像表現のためのＲＧＢからＹＵＶへの変換、指数関数画像変換を表すガンマ補正と共に、自動露光（ＡＥ）及び自動ホワイトバランス（ＡＷＢ）アルゴリズムに必要な画像輝度及び色統計を収集する自動露光とゲイン調整（ＡＥ）及び自動ホワイトバランス測定（ＡＷＢ）のエンジン、処理した画像ストリームの１つ以上の画像フレームバッファへのバッファリング、画像バッファメモリアクセルコントローラ、パイプライン化された画像圧縮モジュール、１つ以上のネットワークパケットメモリバッファ及び画像圧縮モジュールとネットワークパケットバッファの間のインターフェースを提供する出力制御ロジックを備える。
【０００９】
本発明の他の実施利では、画像処理パイプラインは、２次元画素欠陥補正、光学系により導入された画像歪の補償、画像の色飽和制御及びヒストグラム等価処理を含む付加的な動作を実現する。
【００１０】
本発明の実施例の１つでは、画素欠陥補正は、画素の１つの欠陥画素を、この欠陥画素を直接囲む画素からの置き換えにより実行される。後の実施例では、すべての画像の画素は、その時点で処理される画素（対称画素）の輝度値が、同じ色の画素でそれを直接囲む８個の画素（周囲画素）の輝度値と比較され、もし対称画素がすべての周囲画素の輝度値より高いか又は低い輝度値を有するならば、置き換えが実行され、この置き換えは、対称画素すべての色成分を置き換える画素の対応する色成分との置き換えにより実行され、この画素の置き換えは周囲画素の１つであり、置き換え画素は対称画素とは少なくとも異なる輝度値を有する。
【００１１】
本発明の好適な実施例の１つでは、一旦フレームが終了してＡＥ及びＡＷＢ測定エンジンが画像の輝度及び色統計を蓄積すると（測定のための好適な基準は本出願人により別に開示されている）、画像処理パイプラインに接続されたマイクロプロセッサは、光学的な積算時間の新しい値と共にプリＡＤＣ増幅器の新しいゲイン設定を決定するためのＡＥ演算と共に、新しい色チャンネルゲイン及び色補正マトリクスを決定するためのＡＷＢ演算を実行する。一旦このような値が得られると、それらは次のフレームにおける画像に適用されるようにイメージセンサ及び色パイプラインレジスタにロードされる。
【００１２】
本発明の好適な実施例では、２つの全（フル）フレームメモリが（ＹＵＶへの）画像処理と画像圧縮の間で使用され、処理されたが圧縮されていない画像がそのメモリバッファに記憶される。メモリバッファは、他のバッファから画像圧縮モジュールの第１ステージに読み出される間に１つのバッファが新しい圧縮されていないデータで埋められるようにアクセスされる。この配置は、基本的にカメラからの画像読み出し速度をイメージセンサの画素の出力及びフレームレートから独立させることを可能にする。
【００１３】
本発明の他の実施例では、２つの全（フル）フレームメモリが画像処理パイプラインの最初で使用され、処理されていないイメージセンサの出力はこのバッファに記憶され、画素当たり１つの色成分だけが記憶される結果、画像バッファメモリの大きさに対する要求を低減できる。この実施例では、画像バッファメモリからの同一画像又は画像セグメントの繰り返される読み出しは、画像処理パイプライン全体を通しての画像の繰り返し処理を必要とする。
【００１４】
本発明の更に別の実施例では、画像バッファメモリの必要なサイズは、画像圧縮モジュールの終わりにおけるメモリの配置により更に低減される。この実施例では、カメラは同一の画像フレームから発生される多重画像ウインドウの並列の出力をサポートしていない。
【００１５】
本発明の実施例の１つでは、少なくとも３つの全（フル）フレームメモリが使用され、新しい画像は１つのメモリバッファに記憶され、２つの前に処理された画像は２つの他のメモリバッファに記憶され、処理された画像を含む両方の画像バッファは画像処理パイプラインの出力ステージへ画像を読み出すことが可能であり、カメラから既に出力された画像フレームを含むバッファは新しい画像フレームの記憶に利用できる。この実施例では、最大限可能なカメラフレームレートは、入力に対するアクセスとして実現され、出力画像のフレームバッファは、同期している必要はない。
【００１６】
本発明の好適な実施例では、カメラは多重画像フォーマットを出力が可能であり、これらのフォーマットには、全（フル）解像度画像、全画像の長方形の領域を表す画像サブウインドウと共に低下した解像度の間引き画像が含まれる。これは、画像フレームメモリバッファの特定の領域を読み出すことにより実現される。本発明の好適な実施例では、カメラ動作モードの１つは、多重画像フォーマットの並列の出力をサポートする。好適な実施例では、この並列出力は、画像の全解像度のサブウインドウの出力と並列に光景の間引いた画像の全フィールドの出力を含み、ズームされた及び広角のビデオストリームの並列の利用を提供する。異なる画像フォーマットのビデオストリーム時間挟み込み手段により出力され、この挟み込みはフレームごとに又はパケットごとのいずれかに基づいて実行される。好適な実施例では、フレームごとの挟み込みは、画像化器の１フレーム時間の間の２回以上の画像メモリバッファからのデータの読み出し及びカメラから次々に異なる画像フォーマットを出力することにより実現される。
【００１７】
本発明の好適な実施例では、ＪＰＥＧ圧縮のパイプライン化構成は、ＭＣＵフォーメーション、フォワード・デスクリート・コサイン変換（ＦＤＣＴ）、ジグザグ走査（スキャン）、量子化及びエントロピィコード化を実行するステージを含む。本発明の好適な実施例では、２次元ＦＤＣＴは、ＦＤＣＴは分離可能な変換であるということを利用して、１次元のＦＤＣＴ変換を通る２つの経路として実現される。
【００１８】
本発明の更に別の実施例では、ＪＰＥＧ２０００又はＭＰＥＧ−２のような他の画像圧縮方法が基になるＪＰＥＧの代わりに代用される。
【００１９】
好適な実施例では、画像処理パイプラインの画像圧縮セグメントの動作は、出力制御ロジック及びカメラに搭載したマイクロプロセッサにより制御され、圧縮されない画像は画像バッファメモリから読み出され、利用可能なネットワークパケットバッファを埋めるのに必要なレートでパイプラインの画像圧縮ステージにより処理され、マイクロプロセッサは、形成される次のネットワークパケットのために十分な画像データを読み出して圧縮するのに画像バッファメモリ及び圧縮エンジンを向け、マイクロプロセッサは、外部からの画像要求が無い時には、空のネットワークパケットバッファが無い時と同様に、画像バッファメモリ及び画像圧縮パイプラインを非活性化する。
【００２０】
本発明の好適な実施例では、Trivial File Transfer Protpcol (RFC783で記載されているTFTP）の変形バージョンは画像送信の第１モードとして作られており、ＴＦＴＰプロトコルヘッダはマイクロプロセッサにより送信パケットバッファに形成及び記録されており、ＴＦＴＰパケットのデータフィールド、すなわち画像データは、対応するチェックサムと一緒に、画像処理パイプラインの出力制御ロジックにより形成される。図２は、変形されたＴＦＴＰプロトコルに基づく高帯域のカメラネットワークインターフェースのフローチャートを示す。
【００２１】
本発明の好適な実施例では、画像処理パイプラインの出力ステージは、３つ以上のネットワークパケットバッファを備え、１つのバッファは画像圧縮モジュールから入る圧縮されたデータの記憶に利用し、他のパケットバッファはMedia Access Control (MAC)イーサネット（登録商標）インターフェースに同時に送られるパケットを含み、１つ以上のパケットバッファは次に送られるパケットを含む。この多重バッファ構成は、画像フレームの送信中に常に送信に利用できるパケットがあり、利用可能なネットワーク帯域の利用が最大化され、送信されるパケットがネットワークエラーが発生した時に再送に利用できるように残ることを保証する。
【００２２】
本発明の好適な実施例では、カメラは画像処理パイプライン及びイーサネット（登録商標）ＭＡＣとインターフェースするためのマイクロプロセッサ及びＰＨＹハードウエアを備え、いくつかのネットワークプロトコルをサポートするように構成されている。好適な実施例では、全体構成の複雑さを低減するため、ＵＤＰ、ＴＦＴＰ、ＡＲＰ、ＩＰ及びＩＣＭＰプロトコルで構成される最小のプロトコルの組がサポートされている。本発明の他の実施例では、ＴＣＰ／ＩＰ及びＤＨＣＰプロトコルもサポートされている。
【００２３】
本発明の好適な実施例では、マイクロプロセッサは入ってくるデータパケットを解釈して、特定の要求（例えば、レジスタアクセス、ＡＲＰ、ＩＣＭＰなど）に対して応答を組み立て、画像パイプラインのネットワークパケットバッファのローディングと読み出しを整合させるように構成されている。本発明の好適な実施例では、マイクロプロセッサは、画像処理パイプラインのスループットより実質的により低いデータ処理スループットを有する低コストのマイクロプロセッサである。
【００２４】
本発明の好適な実施例では、マイクロプロセッサは、画像送信の要求を受けて処理するように構成されており、マイクロプロセッサは新しく到着したパケットの有効性のためにネットワークインターフェースハードウエアを周期的プールするか、又はマイクロプロセッサは一旦新しいパケットがネットワークインターフェース上に到着するとＭＡＣハードウエアによりインタラプトされる。本発明の好適な実施例では、到着した要求の特性は、ＴＦＴＰ要求の「ファイル名」フィールドにより決定され、そのファイル名は、画像サイズ、解像度、圧縮品質を含む他の要求パラメータと共に、要求が画像又はレジスタ動作に係るか、及び要求が新しい画像又は前に送信した画像の異なる部分に係る要求であるかを特定する。
【００２５】
本発明の好適な実施例では、到着するネットワークパケットが画像送信の要求を含むと判断されたならば、マイクロプロセッサは自動交渉パラメータに応答し、そうでなければ、次のパケットのチェックサムを、画像処理パイプラインのチェックサムモジュールにより発生されたものと判断して、ＴＦＴＰパケットのヘッダを発生してそれをその時点で利用可能な送信パケットバッファにロードし、バッファの残りを圧縮された画像データで生めるように画像処理パイプラインを制御し、そしてＭＡＣハードウエアに対して送信コマンドを出す。
【００２６】
第１の画像パケットが組み立てられた直後に、マイクロプロセッサは画像バッファアクセス制御ロジックのフレームの終端のフラグ（ＥＯＦ）を調べて、フラグが無ければチェックサムを読んで次のパケットのヘッダを形成し、送信バッファ内にパケットをロードするように画像処理パイプラインを制御し、ＭＡＣハードウエアに送信コマンドを出し、そしてすぐに１つ以上のパケットに対して同様の動作を繰り返す。
【００２７】
従って、本発明の主題の１つは、カメラが変形ＴＦＴＰプロトコルを組み込むように構成されており、適用可能な標準に関する差異がパケットアクノレッジ及びネットワークエラーの発生におけるパケット再送の処理に関係するということである。ＴＦＴＰプロトコルのこのような変形は、ネットワークを横切っての画像配分のスループットを容易に高くするように設計されており、ネットワークインターフェーススループットにおける往復のパケット遅延の影響を低減又は除去する。
【００２８】
本発明の好適な実施例では、第１の画像パケットが送信されると、マイクロプロセッサは、１つ以上のパケットをアクノレッジの到着を待たずに送信するように、ＭＡＣハードウエアを形成及び制御する。
【００２９】
好適な実施例では、カメラのマイクロプロセッサは、２つ以上の初期画像パケットをアクノレッジの到着を待たずに送信し、第１の送信したパケットのアクノレッジの到着を待つ状態を開始する。この実施例では、もし制限時間期間の終了までに送信されたパケットがアクノレッジされていなければ、マイクロプロセッサは、アクノレッジされていないパケットを再送信するようにＭＡＣハードウエアにパケット再送信コマンドを出すように構成されている。時間制限がない場合には、マイクロプロセッサは、アクノレッジの受信後直ちに次のバッファされているパケットを送信するようにＭＡＣハードウエアを制御し、アクノレッジされたパケットを含むパケットバッファを新しい画像データで埋めるように画像処理パイプラインを制御するように構成されている。
【００３０】
本発明の好適な実施例では、初期の画像パケットが送信され、すべての送信バッファが前に送信したパケットのパケットヘッダを含むと、マイクロプロセッサは、前のパケットとは異なるパケットヘッダのフィールドのみを更新することにより新しいパケットを形成するように構成されており、ＩＰ、ＵＤＰ及びＴＦＴＰヘッダ内の情報（送信元及び送信先のＩＰ及びＭＡＣアドレス、ＵＤＰポート、ＩＰヘッダチェックサムなど）の大部分は変更されずに残る。この実施例において、１つのパケットから次のパケットに変更される画像パケットヘッダのフィールドは、（新しいチェックサムを含む）ＵＤＰチェックサム及びＴＦＴＰブロック番号を含む。
【００３１】
好適な実施例の変形ＴＦＴＰプロトコルは、予期されるアクノレッジの到着に先んじてパケットを送ってアクノレッジの待ち時間を低減又は除去することにより、カメラネットワークインターフェースのスループットを劇的に増加させる。これはＦＴＰのＲＦＣ７８３プロトコルの規定と異なるが、ＴＦＴＰを遵守するクライアントとの互換性は、送信されたパケットが不適切に到着しない限り維持される。カメラが所定の（１５２２バイトを超えるような）大きなＴＦＴＰパケットを使用するようなローカルエリアネットワーク内では、不適切なパケットの到着はほとんど生じない。しかしながら、本発明の好適な実施例では、ネットワークウンターフェースの受信側のＴＦＴＰクライアントは、ＴＦＴＰブロック番号の増加する順を保証するようにカメラパケットからの到着を並び替えるように構成されている。
【００３２】
本発明の好適な実施例では、カメラのマイクロプロセッサは、画像バッファアクセスロジックによりフレームの終端（ＥＯＦ）のフラグセットを監視するように構成されている。マイクロプロセッサは、一旦ＥＯＦフラグがセットされると、次の利用可能なパケットバッファにおけるＥＯＦパケットをロードするように構成されている。本発明の好適な実施例では、このＥＯＦパケットは他の画像データパケットより短く、データを含まないか又はＴＦＴＰデータフィールドにおけるカメラ状態インジケータを含み、低減されたパケットサイズは画像送信における最後のパケットを意味する。最後の画像パケットが受信によりアクノレッジされると、マイクロプロセッサはネットワーク接続、ＴＦＴＰブロック番号の初期化及びＵＤＰの送信元及び送信先のポートを再設定することにより、新しい要求を準備する。
【００３３】
好適な実施例では、レジスタの書き込み及び読み出しも、ＴＦＴＰプロトコルを介して達成され、レジスタの番号及び値はレジスタアクセス要求のデータフィールドに埋め込まれ、要求の特別な形式がＴＦＴＰの「ファイル名」フィールドにより特定される。本発明の他の実施例では、ＴＣＰ／ＩＰプロトコルはレジスタ及び画像アクセスに使用される。
【００３４】
好適な実施例では、本発明は、ネットワークインターフェースの受信側に設けられ、モニタが接続されたコンピュータを備え、コンピュータはローカルビデオサーバの機能を実行し、画像処理及び本発明で開示された１つ以上のカメラから画像を獲得するように構成された獲得ソフトウエアを動作させるように構成され、逆圧縮を行ってモニタうえに画像を表示し、画像をデジタル記録に記憶して、離れたユーザの要求に応答してカメラから得られた全画像又は部分画像を離れたユーザに送信する。図３は、高解像度ネットワークカメラに基づくビデオシステムのブロック図を示す。
【図面の簡単な説明】
【００３５】
【図１】図１は、画像処理、圧縮及びネットワークサーバの大きな並列実行を有する高解像度ネットワークカメラのブロック図を示す。
【図２】図２は、変形されたＴＦＴＰプロトコルに基づいた高バンド幅カメラネットワークインターフェースのフローチャートを示す。
【図３】図３は、高解像度ネットワークカメラに基づいたビデオシステムのブロック図を示す。
【図１】
2006148862.tif 000003
【図２】
2006148862.tif 000004
【図３】
2006148862.tif 000005