【手続補正書】
【提出日】平成18年12月7日(2006.12.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の撮影倍率を有する第１の撮影系と、
前記第１の撮影倍率よりも大きい第２の撮影倍率を有するとともに、撮影方向が可変である第２の撮影系と、
前記第１の撮影系による第１の撮影映像内における特定被写体領域を検出および抽出する検出手段と、
前記検出された特定被写体領域に応じて前記第２の撮影系による撮影領域を決定し、該決定した撮影領域の撮影を行うように前記第２の撮影系を制御する第１の制御手段と、
画像データを符号化する符号化手段と、
前記符号化されたデータを送信する送信手段と、
前記符号化手段による符号化を制御する第２の制御手段とを有し、
前記第２の制御手段は、
前記検出手段により前記特定被写体領域が検出されないときは前記符号化手段に前記第１の撮影映像の動画像データを符号化させ、
前記特定被写体領域が検出されたときは、前記第１の撮影映像から抽出された前記特定被写体領域の動画像データを前記符号化手段に符号化させるとともに、前記第２の撮影系による第２の撮影映像の動画像データを符号化させることを特徴とする撮影システム。
【請求項２】
前記送信手段から送信された符号化データを受信する受信手段と、
前記受信された符号化データを復号化する復号化手段とを有し、
前記第２の制御手段は、前記特定被写体領域の検出の有無に応じて前記復号化手段を制御することを特徴とする請求項１に記載の撮影システム。
【請求項３】
前記特定被写体領域を含まない前記第１の撮影映像から得た静止画像データを記憶する第１の記憶手段を有し、
前記第２の制御手段は、前記第１の撮影映像内に前記特定被写体領域が検出されたときは、該特定被写体領域の動画像データと前記第１の記憶手段に記憶された前記静止画像データとを前記符号化手段に符号化させることを特徴とする請求項１に記載の撮影システム。
【請求項４】
前記送信手段から送信された符号化データを受信する受信手段と、
前記特定被写体領域の符号化データと前記静止画像データの符号化データとを復号化する復号化手段と、
前記復号化手段で復号化された画像データを合成する合成手段とを有することを特徴とする請求項３に記載の撮影システム。
【請求項５】
前記検出手段は、前記第１の撮影映像内での前記特定被写体領域の形状を抽出し、
前記符号化手段は、前記第１の撮影映像の動画像データのうち前記抽出された形状成分を符号化することを特徴とする請求項１から４のいずれか１つに記載の撮影システム。
【請求項６】
前記受信手段により受信された符号化データを記憶する第２の記憶手段を有し、
該第２の記憶手段に記憶される符号化データは、前記第１の撮影映像の符号化データと前記第２の撮影映像の符号化データとを多重化したデータであることを特徴とする請求項１から５のいずれか１つに記載の撮影システム。
【請求項７】
前記受信手段により受信された符号化データを記憶する第２の記憶手段を有し、
該第２の記憶手段に記憶される符号化データは、前記特定被写体領域の符号化データと前記第２の撮影映像の符号化データとを多重化したデータであることを特徴とする請求項１から５のいずれか１つに記載の撮影システム。
【請求項８】
前記第１及び第２の撮影系は、複眼カメラであることを特徴とする請求項１から７のいずれか１つに記載の撮影システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
このような状況において、広角カメラ１６０１は撮像視野範囲が広いため、オフィス内に侵入してきた侵入者１６０３のほか、机、ドアなどオフィス内の多数の什器設備も同一映像内に撮影することができる。これにより、侵入者のいる場所を視覚によって直ちに特定することができる。また、撮像視野範囲が広いため、侵入者１６０３がオフィス内を広い範囲で移動しても、撮影像から外れるおそれは少ない。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
しかし、この監視システムの利用者（例えば監視員など）は、常時多数のモニタまたはマルチウィンドウの各画面を監視しなければならない欠点がある。これに関する技術としては、特許文献１に開示されているように、複数のカメラを用いて各監視領域を撮像し、これらの撮影像から移動体を検出し、移動体の存在するカメラ映像を１台のモニタに表示するシステムが提案されている。
≪異なる撮影倍率を有する複数のカメラを用いた監視システム≫
さらにまた、他の監視システムとして、異なる撮影倍率を有する複数のカメラを用いて監視するシステムも提案されている。図２０は、図１６で示したオフィス内に、広角カメラ１６０１を設けるとともにさらにパン・チルト・ズームにより撮像視野範囲を変えることの可能なカメラ（ここでは単にズームカメラと呼ぶ）２００１が設置されており、広角カメラ１６０１で広範囲な領域を監視しつつ、ズームカメラ２００１で侵入者を拡大して撮影し、侵入者の顔や容姿を特定できるような監視システムを表した図である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
本願発明の撮影システムの構成は、第１の撮影倍率を有する第１の撮影系(例えば、広角カメラ)と、第１の撮影倍率よりも大きい第２の撮影倍率を有するとともに、撮影方向が可変である第２の撮影系(例えば、ズームカメラ)と、第１の撮影系による第１の撮影映像内における特定被写体領域を検出および抽出する検出手段と、検出された特定被写体領域に応じて第２の撮影系による撮影領域を決定し、第２の撮影系を該決定した撮影領域の撮影を行うよう制御する第１の制御手段と、画像データを符号化する符号化手段と、符号化されたデータを送信する送信手段と、符号化手段による符号化を制御する第２の制御手段とを有し、第２の制御手段は、検出手段により特定被写体領域が検出されないときは符号化手段に第１の撮影映像の動画像データを符号化させ、特定被写体領域が検出されたときは、第１の撮影映像から抽出された特定被写体領域の動画像データを符号化手段に符号化させるとともに、第２の撮影系による第２の撮影映像の動画像データを符号化させることを特徴とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
また、特定被写体領域を含まない第１の撮影映像から得た静止画像データを記憶する第１の記憶手段を追加し、第２の制御手段に、第１の撮影映像内に特定被写体領域が検出されたときは、該特定被写体領域の動画像データと第１の記憶手段に記憶された静止画像データとを符号化手段に符号化させるようにするとよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
本願発明によれば、特定被写体領域が検出されたときは、第１の撮影映像から抽出された特定被写体領域の動画像データを符号化手段に符号化させるとともに、第２の撮影系による第２の撮影映像の動画像データを符号化させて送信することができるため、送信データの容量を減らすことができる。これにより、データ送信の際に、特定被写体領域の動画像データがコマ落ちするのを防止することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
操作部１０１の図示されてない監視システム稼動スイッチがＯＮにセットされると、まず、システム制御部１０２は、各部に対し初期化命令を下す。例えば初期化命令を受けたカメラ制御部１０６及び１０７は、それぞれ広角カメラ１０３およびズームカメラ１０４に電源を投入し、自動露出（ＡＥ）、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）、オートゲインコントロール（ＡＧＣ）などの初期化が行なわれ、さらにズームカメラ１０４用のカメラ制御部１０７はズームカメラ１０４に対し予め決められた初期光軸方向、初期撮影倍率になるようパン・チルト・ズーミングを行なうよう制御する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
また、このデータは実際に１フレームだけ撮影した映像を記憶保存してもよいが、ある短時間の撮影像を平均化して用いた方がＣＣＤ暗電流ノイズ等の影響を受けにくく好ましい。また、初期化時点から以後システム終了までの期間、システム全体に同期信号が流れ、複数のカメラからの映像信号の多重化、分離などのタイミング調整に使用される。
≪システム監視開始≫
撮影システムの構成要素の初期化が終了すると、システム制御部１０２は監視動作状態に入ることを指示し、映像入力部１０５に対してカメラによる監視領域の撮像と映像信号の取得、侵入者検出部１２０に対して撮影像から不法侵入者の検出が開始される。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
これを式で表すと、
ｄ＝（Ｉｒ（ｘ，ｙ）−Ｉｂ（ｘ，ｙ））２ ・・・ｉ）
ｄ＜Ｔｈのときｂ（ｘ，ｙ）＝０ ・・・ｉｉ）
ｄ＞＝Ｔｈのときｂ（ｘ，ｙ）＝１ ・・・ｉｉ）
ここで、Ｉｒ（ｘ，ｙ）は対象画像の座標（ｘ，ｙ）における信号値、Ｉｂ（ｘ，ｙ）は背景画像の座標（ｘ，ｙ）における信号値、Ｔｈは予め決められた閾値、ｂ（ｘ，ｙ）はビットマッププレーンである。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
矩形領域符号化部１２６に入力した広角カメラ撮影像は、フレーム内の映像信号全体が圧縮符号化されネットワーク上に伝送され、後述する伸張復号化部２０５で伸張復号化され後述の表示部２１０によって表示される。なお、矩形領域符号化部１２６で行なわれる圧縮符号化については後で詳細に説明する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
≪ＭＰＥＧ−４矩形形状ＶＯ符号化≫
ここで、ＭＰＥＧ−４の矩形形状ビデオオブジェクト符号化を例に矩形領域符号化部
１２６の信号処理について図５を用いて簡単に説明する。映像信号はブロック分割部５０１で所定の画素サイズのマクロブロックに分割され、各マクロブロックに対し離散直交変換部（ＤＣＴ）５０２で直交変換され、量子化部５０３で量子化される。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
そしてこの量子化されたＤＣＴ係数と量子化幅を可変長符号化部５０６で可変長符号化する（イントラ符号化）。一方量子化されたＤＣＴ係数は、逆量子化部５０４で逆量子化され、さらに逆ＤＣＴ部５０５で逆変換が行なわれ、メモリ５０７に蓄積される。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
蓄積された画像情報は、時間的に隣接する別の映像信号がブロック分割部５０１に入力された時点で、供に動き検出部５０８に入力し動きベクトルを生成する。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【０１０８】
そして動きベクトルに基づき動き補償部５０９で最適な予測マクロブロックを生成し、次に対象となるマクロブロックとの差分を求め、この差分信号に対して離散直交変換（ＤＣＴ）部５０２で直交変換し、量子化部５０３で量子化する。量子化ＤＣＴ係数は、動きベクトルや量子化幅と供に可変長符号化部５０６で可変長符号化する（インター符号化）。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１０９
【補正方法】変更
【補正の内容】
【０１０９】
このようにしてズームカメラ１０４による侵入者拡大映像は矩形形状ビデオオブジェクト符号化され、符号データは図１の多重化部１２７へ送られる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【０１２６】
２０５は圧縮符号化データを伸張、復号化する伸張復号化部であり、それぞれ図１の任意形状符号化部１２４の逆変換を行なう任意形状復号化部２０６、図１の静止画符号化部１２５の逆変換を行なう静止画復号化部２０７、図１の矩形領域符号化部１２６の逆変換を行なう矩形領域復号化部２０８から構成される。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０１４９
【補正方法】変更
【補正の内容】
【０１４９】
次に、図１２を用いてズーム光学系ユニットのパン・チルト機構について説明する。図１２はズーム光学系ユニット１００２とパンニング機構を前述のＸＺ平面で見た図である。図中１２０１はズーム光学系ユニットの視線方向をパンするためのパンニングモータである。実際にはモータはステッピングモータなどにより高精度に回転数などが制御された上で、さらにモータによる回転を適当な回転比率でズーム光学系ユニットに伝達するギア機構や、ズーム光学系レンズ鏡筒を固定し、モータまたはギア機構などと連結する三脚座のような部材、モータを本複眼撮像装置基板などに固定する固定部材なども必須であり、必要に応じて振動などによる撮影画像のぶれを抑制する防振機構も搭載されても良いが、本実施例はそれら全て含めてパンニングモータ１２０１と呼ぶこととする。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】０１５１
【補正方法】変更
【補正の内容】
【０１５１】
図１３は図１２をＺ軸方向から見た図で、図１３を用いてズーム光学系ユニット１００２とチルト機構を説明する。１３の点線で示す円は前述のパンニングモータ１２０１とし、パンニングモータ１２０１は本図ではズーム光学系ユニットの下に配置され、その回転軸は入射瞳位置のＸＹ座標（Ｘ０，Ｙ０）で示される。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０１５２
【補正方法】変更
【補正の内容】
【０１５２】
また、図中１３０１はズーム光学系ユニットの視線方向をチルトするためのチルティングモータである。チルティングモータ１３０１についてもその詳細な構成はパンニングモータ１２０１と同様で、本実施例では全てを総称してチルティングモータ１３０１と呼ぶことにする。
【手続補正２７】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2005175970.tif 000001
【手続補正２８】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2005175970.tif 000002
【手続補正２９】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2005175970.tif 000003
【手続補正３０】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2005175970.tif 000004