(57)【要約】【課題】  新しいカメラシステムの実現。【解決手段】  可視又は近赤外線の両方又は赤外線スペクトル帯に感度を有し、異なるスペクトル応答を有する２個以上のイメージセンサ201,202と、１個以上の画像プロセッサ203と、ネットワークインターフェース206を備えるネットワークカメラである。ネットワークカメラは、個別の光学系を有する２個のイメージセンサ201,202を備え、両方のセンサは類似の視野を有する。センサの１つは画素アレイの前に配置されたＩＲカットフィルタ106を有するカラーイメージセンサ201であり、他はカラーセンサで使用されるＦナンバーより低いＦナンバーで特徴付けられる光学系を有し、視野内にＩＲカットフィルタのない単色イメージセンサ202である。単色センサは、低照度感度を向上するためにカラーセンサより大きな画素サイズを有する。【選択図】      図２
2006033808.tif 000002
【特許請求の範囲】
【請求項１】
入射する照明強度に対して個別の異なる感度により特徴付けられる２個以上のイメージセンサと、前記イメージセンサにより発生された画像データストリームのカメラ外への送信のためのネットワークインターフェースと、前記画像データストリームの前記ネットワークインターフェースへの多重化手段とを備える二重スペクトル帯ネットワークカメラ。
【請求項２】
前記イメージセンサの少なくとも１個はカラーイメージセンサであり、前記イメージセンサの少なくとも１個は単色イメージセンサである請求項１に記載の二重スペクトル帯ネットワークカメラ。
【請求項３】
すべての前記イメージセンサは、実質的に類似の視野を有する請求項１に記載の二重スペクトル帯ネットワークカメラ。
【請求項４】
赤外線遮断フィルタが前記カラーイメージセンサの焦点面アレイの前に配置され、前記単色イメージセンサの焦点面アレイの前には赤外線遮断フィルタが配置されていない請求項２に記載の二重スペクトル帯ネットワークカメラ。
【請求項５】
前記単色イメージセンサは、前記カラーイメージセンサの画素の感光面積より大きな感光面積の画素を備える請求項２に記載の二重スペクトル帯ネットワークカメラ。
【請求項６】
前記カラーイメージセンサは、１００万画素以上の画素を備える高分解能イメージセンサである請求項２に記載の二重スペクトル帯ネットワークカメラ。
【請求項７】
個別の光学系又はレンズが前記イメージセンサのそれぞれの焦点面アレイの前に配置され、
光感度の高いイメージセンサの前に配置された前記光学系又はレンズは、光感度の低いイメージセンサの前に配置された前記光学系又はレンズより低いＦナンバーを有する請求項１に記載の二重スペクトル帯ネットワークカメラ。
【請求項８】
前記ネットワークインターフェースは、イーサネット（登録商標）ネットワークインターフェース(Ethernet（登録商標） network interface)である請求項１に記載の二重スペクトル帯ネットワークカメラ。
【請求項９】
前記ネットワークインターフェースは、ＴＣＰ、ＵＤＰ、ＴＦＴＰ、ＩＰの標準ネットワークプロトコルの１つ以上をサポートしている請求項１に記載の二重スペクトル帯ネットワークカメラ。
【請求項１０】
前記画像データストリームの多重化は、時間挟み込みにより実行され、前記イメージセンサの１つからのデータストリームのある部分の送信は、他のイメージセンサからのデータストリームのある部分の送信に続いて行われる請求項１に記載の二重スペクトル帯ネットワークカメラ。
【請求項１１】
前記画像データストリームの多重化手段は、カメラ外に送信される画像データストリームの選択が外部入力から制御可能であるように構成されている請求項１に記載の二重スペクトル帯ネットワークカメラ。
【請求項１２】
入射する照明強度に対して個別の異なる感度により特徴付けられる２個以上のイメージセンサと、前記イメージセンサにより発生された画像データストリームのカメラ外への送信のためのネットワークインターフェースと、前記画像データストリームの前記ネットワークインターフェースへの多重化手段と、１つ以上の画像プロセッサとを備え、前記画像プロセッサの１つは、前記イメージセンサにより発生された画像の画像圧縮を実行するように設けられている二重スペクトル帯ネットワークカメラ。
【請求項１３】
前記イメージセンサからの前記画像データストリームは、画像圧縮を実行するように設けられた単一画像プロセッサに最終的に多重化される請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項１４】
前記画像プロセッサは、画像プリプロセッサを更に備え、前記イメージセンサのそれぞれからの画像データストリームは、個別の画像プリプロセッサにより独立に処理され、次に画像圧縮を実行するようにすべての前記イメージセンサに共通なポストプロセッサに多重化される請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項１５】
前記画像データストリームは、前記単色画像の処理中に、カラーに関係する処理をバイパスするように設けられた単一画像プロセッサに多重化される請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項１６】
前記画像データストリームの多重化は、時間挟み込みにより実行され、前記イメージセンサの１つからのデータストリームのある部分の送信は、他のイメージセンサからのデータストリームのある部分の送信に続いて行われる請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項１７】
前記画像プロセッサの１つは、すべてのイメージセンサに共通である請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項１８】
前記画像プロセッサの１つは、前記イメージセンサの露光時間を監視する手段により前記カメラへ入射する照明の強度を決定するように共通に設けられ、前記プロセッサは前記カメラから送られる画像を選択し、低照明では高感度のイメージセンサから発生される画像が送信される請求項１７に記載の二重スペクトル帯ネットワークカメラ。
【請求項１９】
前記画像データストリーム多重化手段は、カメラ外に送られる前記画像データストリームの選択を、外部入力から制御可能に構成されている請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項２０】
前記画像圧縮はＪＰＥＧである請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項２１】
前記画像圧縮はＭＰＥＧである請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項２２】
前記画像プロセッサの１個以上は、画像のシーン内のダイナミックレンジを増加させるように設けられ、前記シーン内のダイナミックレンジは、前記画像の検査から識別できる、前記イメージセンサの視野における目標の照明強度における最大の差である請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項２３】
前記画像プロセッサは、画像処理パイプラインを構成した論理回路を備え、画素は前記画像処理パイプラインの連続したステージにより処理され、各パイプラインステージは他のパイプラインステージのすべて又は大部分と並列の動作する請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項２４】
前記イメージセンサの少なくとも１個は、カラーイメージセンサであり、前記イメージセンサの少なくとも１個は単色イメージセンサである請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項２５】
すべての前記イメージセンサは、実質的に類似の視野を有する請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項２６】
赤外線遮断フィルタが前記カラーイメージセンサの焦点面アレイの前に配置され、前記単色イメージセンサの焦点面アレイの前には赤外線遮断フィルタが配置されていない請求項２４に記載の二重スペクトル帯ネットワークカメラ。
【請求項２７】
前記単色イメージセンサは、前記カラーイメージセンサの画素の感光面積より大きな感光面積の画素を備える請求項２４に記載の二重スペクトル帯ネットワークカメラ。
【請求項２８】
前記カラーイメージセンサは、１００万画素以上の画素を備える高分解能イメージセンサである請求項２４に記載の二重スペクトル帯ネットワークカメラ。
【請求項２９】
個別の光学系又はレンズが前記イメージセンサのそれぞれの焦点面アレイの前に配置され、
光感度の高いイメージセンサの前に配置された前記光学系又はレンズは、光感度の低いイメージセンサの前に配置された前記光学系又はレンズより低いＦナンバーを有する請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項３０】
前記ネットワークインターフェースは、イーサネット（登録商標）ネットワークインターフェース(Ethernet（登録商標） network interface)である請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項３１】
前記ネットワークインターフェースは、ＴＣＰ、ＵＤＰ、ＴＦＴＰ、ＩＰの標準ネットワークプロトコルの１つ以上をサポートしている請求項１２に記載の二重スペクトル帯ネットワークカメラ。
【請求項３２】
入射する照明強度に対して個別の異なる感度により特徴付けられる２個以上のイメージセンサを備える二重スペクトル帯ネットワークカメラと、前記イメージセンサにより発生された画像データストリームのカメラ外への送信のためのネットワークインターフェースと、前記画像データストリームの前記ネットワークインターフェースへの多重化手段と、１つ以上の画像プロセッサとを備えるカメラシステムであって、
前記画像プロセッサの１つは、前記イメージセンサにより発生された画像の画像圧縮を実行するように設けられ、
前記カメラシステムは、前記画像を受けるコンピュータシステムと、前記コンピュータシステムで動作するソフトウエアとを備え、
前記ソフトウエアは、前記イメージセンサの露光時間の監視手段により前記カメラに入射する照明強度を決定するように構成されると共に、前記ソフトウエアは、前記カメラから送られる前記画像を選択し、
低照明の下では高い光感度を有するイメージセンサで発生された画像が送られるようにするカメラシステム。
【請求項３３】
前記ソフトウエアは、前記ネットワークインターフェース手段による前記カメラにコマンドを送信する手段により、前記カメラの動作を制御する請求項３２に記載のカメラシステム。
【発明の詳細な説明】
【発明の開示】
【課題を解決するための手段】
【０００１】
本発明の主題は、可視又は近赤外線の両方又は赤外線スペクトル帯に感度を有し、異なるスペクトル応答を有する２個以上のイメージセンサと、１個以上の画像プロセッサと、ネットワークインターフェースを備えるネットワークカメラである。好適な実施例では、発明として開示されたネットワークカメラは、個別の光学系を有する２個のイメージセンサを備え、両方のセンサは類似の視野を有する。本発明の好適な実施例では、センサの１つは画素アレイの前に配置された赤外線遮断（ＩＲカット）フィルタを有するカラーイメージセンサであり、他のセンサは、カラーセンサで使用されるＦナンバーより低いＦナンバーで特徴付けられる光学系を有し、視野内にＩＲカットフィルタのない単色イメージセンサである。本発明の実施例の１つでは、単色センサは、低照明感度を向上するためにカラーセンサより大きな画素サイズを有する。
【０００２】
本発明の好適な実施例では、イメージセンサは、カラー及び単色画像の両方の明るさと共にイメージセンサの露光設定を連続して監視し、照明状況に基づいてカメラ外に送られる画像を選択し、低照明のもとでは単色センサからの画像が送られるようにする。他の実施例では、両方のセンサからの画像が同時にカメラ外に送られる。後者の実施例では、単色画像は一般に短い光蓄積時間を有し、カラー及びＩＲカットフィルタが無いことによる高い感度に起因して、より高速のフレームレートを有する。単色画像は、一般にカラー処理が無いことに起因して、より高い変調伝達関数（ＭＴＦ）を有し、それにより移動物体のより鮮明な画像を提供してその認識と追跡を容易にする。
【発明を実施するための最良の形態】
【０００３】
図２は、本発明の実施例の二重波長帯ネットワークカメラが備える主たる要素を示す。本発明の主題は、二重センサで二重波長帯のネットワークカメラ装置であり、この装置は、異なるスペクトル応答及び個別の光学系（２０１及び２０２）を有する２個以上のイメージセンサと、１個以上の画像プロセッサ（２０３）と、１個以上の画像バッファメモリと、１個以上のネットワークインターフェースを備え、少なくとも１個の画像プロセッサ（２０５）が２個以上のセンサに共通であり、これらの要素が単一の筐体内に設けられている。好適な実施例では、本発明は、コンピュータネットワーク（２０７）を介してカメラに接続されたモニタを有し、カメラ画像の獲得と表示に使用されるコンピュータシステム（２０８）も有する。
【０００４】
図１は、本発明の好適な実施例のカメラヘッドを示す。本発明の好適な実施例では、イメージセンサの１つは、焦点面アレイの前に配置されたＩＲカットフィルタ（１０６）を有する高分解能のカラーイメージセンサ（１０３）であり、第２のイメージセンサは、焦点面アレイの前に位置するＩＲカットフィルタの無い低分解能の単色イメージセンサ（１０４）である。本発明の実施例では、単色のイメージセンサで使用される光学系（１０８）は、カラーセンサで使用される光学系（１０７）より低いＦナンバーを有する。本発明の実施例では、単色のイメージセンサで使用される光学系は、組み込まれたＩＲカットフィルタを有せず、赤外線及び近赤外線の光を伝達する。本発明の実施例では、単色センサはカラーセンサの感光面積より大きな感光面積の画素を有する。
【０００５】
本発明の好適な実施例では、ネットワークカメラは、１個のカラーイメージセンサ及び１個の単色のカラーイメージセンサと、画像バッファメモリと、画像処理モジュールとネットワークインターフェースとを備え、画像処理モジュールは、両方のセンサのイメージセンサコントローラとして動作するように設けられ、並列に又はフレームごとに２つのビデオストリーム（データの流れ）の間で切り換えて両方のセンサからの画像を処理するように設けられる。この処理は、センサの出力を圧縮されたビデオストリームに変換するのに必要なすべての処理を含み、色補正、色空間変換、ホワイトバランス、自動露光、センサ制御を備える。更に、この処理は、ＪＰＥＧ、ＭＰＥＧ又は他のフォーマットへの画像圧縮と共にダイナミックレンジエンハンスメント(dynamic range enhancement)処理を備える。ネットワークインターフェースは、コンピュータ又は専用のネットワークへのネットワークプロトコルプロセッサ及び物理的なインターフェースを備える。
【０００６】
本発明の好適な実施例では、カラーと単色の両方の画像は、ネットワークを介して時間挟み込み（インターリーブ）に基づいてカメラ外に送られる。インターリーブは、８ラインごとに、フレームごとに、又は１つのセンサからの多重フレームに他のセンサからの１つ以上のフレームを続ける形で行われる。本発明の他の例では、画像処理ユニットは、画像の明るさ及び光蓄積時間及び／又はイメージ化装置（イメージャ）（イメージセンサ＋光学系）のその時点のフレームレートに基づいて、ネットワークを介してカメラ外に送られる画像を出力するセンサを選択する。この例では、光景（シーン）の照明が低く、カラー画像の信号対雑音（Ｓ／Ｎ）比が低い場合、又はカメラが移動物体の特徴認識に使用され、単色イメージャの光蓄積時間が移動物体の画像における歪を小さくできるカラーイメージャの光蓄積時間より短い時に、単色画像が選択される。
【０００７】
本発明の更に別の実施例では、ネットワーク接続の受信側にあるソフトウエアが、ネットワークインターフェースを介してカメラ外に送る画像の選択を実行する。本発明の更に別の実施例では、カメラに搭載された画像処理ハードウエアの機能を簡単にするように、ネットワーク接続の受信側にあるソフトウエアが、カメラ／イメージャの制御信号を生成する自動露光、ホワイトバランス、画像ウインドウ、及び他の計算を実行して、続いてネットワークインターフェースを介してカメラに送り返すようにしてもよい。
【０００８】
本発明の好適な実施例では、カラー及び単色のイメージセンサからの画像は、並列に前処理され、そこではカラー画像はまずカラー画像プリプロセッサにより処理され、単色画像はまず単色画像プリプロセッサにより処理され、両方の画像の流れは、伝送制御装置（多重化装置：マルチプレクサ(multiplexer)）を通して共通の画像ポストプロセッサに接続される。本発明の他の実施例では、カラー及び単色画像は、単一のカラープリプロセッサに多重化され、色に関係する処理ステップは単色画像処理の間バイパスされる。
【０００９】
図３は、本発明の好適な実施例の画像プロセッサモジュールのブロック図である。本発明の好適な実施例では、二重スペクトル帯ネットワークカメラは、光学的な蓄積及び選択されたサブフレームの読み出しが可能な単色ＣＭＯＳイメージセンサ（３０６）及びカラーＣＭＯＳイメージセンサ（３０４）である２個のイメージセンサと、画像バッファメモリ（３１４、３２３、３３１及び３３２）と、ネットワークインターフェース（３３３及び３０８）と、低コストのマイクロプロセッサの下で動作するＡＳＩＣ又はフィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）とを備える。ＡＳＩＣ及びＦＰＧＡｓは、まとまって並列である画像処理パイプラインの形で、カラー画像プリプロセッサ（３０１）、単色画像プリプロセッサ（３０２）及び画像ポストプロセッサ（３０３）を実現する。また、ＡＳＩＣ及びＦＰＧＡｓは、マイクロプロセッサ（３０５）を実現する。パイプラインは、画像の画素における時間律速動作を実行する。画像の画素の流れはパイプラインのステージの順番に動作され、各パイプラインステージは、他のパイプラインステージのすべて又は大部分と並列に動作する。マイクロプロセッサは、画像処理パイプラインの動作を制御し、初期化動作を実行し、単色画像とカラー画像の多重化（マルチプレキシング(multiplexing)）を制御し、自動露光、ホワイトバランス、広ダイナミックレンジ処理及びプロトコルレベルのネットワークインターフェース演算に関係する（フレームごとに１回実行される）相対的に遅い動作を制御すると共にカメラに対するユーザインターフェースを構成するレジスタ空間を維持する。
【００１０】
本発明の好適な実施例では、カラー画像プリプロセッサは、二次元処理のための多重ラインメモリバッファ（３１０）と、画素あたり１色のBayer（バイエル）画素アレイを画素あたり３色のストリームにする画像補間ブロック（３１１）と、ハイパスフィルタ及びローパスフィルタを画像に適用することにより画像鮮鋭化及び低照明の信号対雑音（Ｓ／Ｎ）比の改善を行うブロック（３１２）と、３×３のカラー補正マトリクスによりＲＧＢ画素成分の乗算を行うカラー補正ブロック（３１３）と、ＲＧＢからＹＵＶへの変換ブロック（３１５又は３１６）と、ガンマ補正ブロック（３１７）と、プログラマブル乗算器で実現されるダイナミックレンジスケーリング(dynamic range scaling)ブロック（３１８）と、過露光サブフレームマップの生成及び合成フレームにおける画素の置換に応答するブロック（３２２）と、本願発明者により別々に開示された広ダイナミックレンジ処理及び自動露光（ＡＥ）と自動ホワイトバランス（ＡＷＢ）アルゴリズムに必要な画像の明るさ統計及びカラー統計を収集するマルチウインドウ自動露光（ＡＥ）測定エンジン（３２１）及び自動ホワイトバランス（ＡＷＢ）測定エンジン（３２０）と、２個のフレームバッファ（３１４及び３２３）と、複合広ダイナミックレンジ画像のアセンブリィ（組み立て）及び処理済みフレームのピンポンバッファリングに関係するメモリアクセスコントローラ（３１９）とを備える画像処理パイプラインとして実現される。
【００１１】
本発明の好適な実施例では、単色画像プリプロセッサは、二次元処理のための多重ラインメモリバッファ（３２４）と、ハイパスフィルタ及びローパスフィルタを画像に適用することにより画像鮮鋭化及び低照明の信号対雑音（Ｓ／Ｎ）比の改善を行うブロック（３２５）と、ガンマ補正ブロック（３２６）と、プログラマブル乗算器で実現されるダイナミックレンジスケーリングブロック（３２７）と、過露光サブフレームマップの生成及び合成フレームにおける画素の置換に応答するブロック（３３０）と、本願発明者により別々に開示された広ダイナミックレンジ処理及び自動露光（ＡＥ）アルゴリズムに必要な画像の明るさ統計を収集するマルチウインドウ自動露光（ＡＥ）測定エンジン（３２９）と、２個のフレームバッファ（３３１及び３３２）と、複合広ダイナミックレンジ画像のアセンブリィ及び処理済みフレームのピンポンバッファリングに関係するメモリアクセスコントローラ（３２８）とを備える。
【００１２】
図４は、本発明の他の実施例を示し、そこでは、カラー及び単色のイメージセンサの出力は、単一のカラープリプロセッサに多重化され、色に関係する処理ステップは、単色画像処理の間バイパスされる。この実施例は、カメラの画像処理帯域幅全体を低くするが、本発明をより低いコストで実現することを可能にする。
【００１３】
本発明の好適な実施例では、ポストプロセッサ（３０３）は、パイプライン化されたＪＰＥＧ画像圧縮及びネットワークパケット発生モジュールを備える。
【００１４】
本発明の好適な実施例では、ＪＰＥＧ圧縮のパイプライン化した構成は、ＭＣＵフォーメーション及びバッファリングを実行するブロック（３３９）と、ファワードディスクリートコサイン変換(Forward Discrete Cosine Transform :FDCT)（３３８）と、ジグザグ走査及び量子化（３３７）と、エントロピィコード化（３３６）とを実行するブロックを含む。本発明の好適な実施例では、二次元ＦＤＣＴは、ＦＤＣＴは分離した変換が可能であるということを利用して、一次元のＦＤＣＴ変換を通過する２つの経路として実現される。
【００１５】
本発明の更に別の実施例では、ＪＰＥＧ２０００又はＭＰＥＧのようなより効果的な画像圧縮で、基本となるＪＰＥＧ構成を置き換えることができる。
【００１６】
本発明の好適な実施例では、（ＲＦＣ７８３に記載されているTrivial File Transfer Protocol）ＴＦＴＰの変形バージョンが画像送信の主モードとして構成されており、ＴＦＴＰプロトコルヘッダは、マイクロプロセッサ（３０５）により送信パケットバッファ（３３３）に形成及び記録され、ＴＦＴＰのデータフィールド、すなわち画像データは対応するチェックサムと一緒に画像処理パイプライン（３３４）の出力ステージにより形成される。
【００１７】
本発明の好適な実施例では、画像圧縮に引き続いて、画像ストリームが３つのネットワークパケットバッファの１つに記憶される。これらのバッファは、１つのバッファがＭＡＣ(Media Access Control)イーサネット（登録商標）インターフェース（３０８）に現在送られているパケットを含み、１つのバッファは次に送られるパッケトを含み、１つのバッファは画像圧縮モジュールからの圧縮されたデータの記憶ができる。この三重にバッファされた配置は、送信可能なパッケトが常時存在することを保証し、これにより利用可能なネットワークの帯域幅を最大限に利用することを可能にし、ネットワークエラーの発生における再送信を容易にする。
【００１８】
本発明の好適な実施例では、画像処理パイプライン及びイーサネット（登録商標）ＭＡＣ及びＰＨＹハードウエアとインターフェースされたマイクロプロセッサは、所定数のネットワークプロトコルをサポートするのにも使用される。好適な実施例では、構成の全体的な複雑さを低減するため、ＵＤＰ、ＴＦＴＰ、ＡＲＰ、ＩＰ、及びＩＣＭＰプロトコルを構成する最小のプロトコルの組がサポートされている。
【００１９】
本発明の他の実施例では、ＴＣＰ／ＩＰ及びＤＨＣＰプロトコルもサポートされている。
【図面の簡単な説明】
【００２０】
【図１】図１は、二重スペクトル帯ネットワークカメラのヘッド部を示す。
【図２】図２は、二重スペクトル帯ネットワークカメラのブロック図を示す。
【図３】図３は、二重スペクトル帯ネットワークカメラの好適な実施例を示す。
【図４】図４は、二重スペクトル帯ネットワークカメラの他の好適な実施例を示す。
【図１】
2006033808.tif 000003
【図２】
2006033808.tif 000004
【図３】
2006033808.tif 000005
【図４】
2006033808.tif 000006