(57)【要約】【課題】  魚眼レンズを使用した監視カメラによる俯瞰映像を用いた監視システムでは、画像処理により映像を切り出し歪曲補正した映像を用いて画像処理によるパンニングやチルティングを監視を行っている。全体を俯瞰した映像を用いて監視を行う場合の注目被写体のパンニングやチルティング動作は使用しているそれぞれの魚眼レンズの光学歪特性によりコントローラの操作性が同じにならないという問題がある。【解決手段】  魚眼レンズの射影特性の像高変化率特性に依存した速度係数を記憶しておき、パンニングやチルティングの速度指令を像高位置に合わせて算出し、監視カメラを制御することことを特徴とする。【選択図】  図１
2020123866.tif 000002
【特許請求の範囲】
【請求項１】
パンニングやチルティングが可能な魚眼レンズを搭載したカメラからの歪曲円形画像を用いて監視を行い魚眼レンズの射影方式に依存した光学歪による像高変化率に基づく速度指令係数を記憶する速度指令係数記憶手段と、
パンニングやチルティングの速度指令を行う速度指令手段と、
前記速度指令手段から指令された速度指令を受信する速度指令受信手段と、
前記速度指令受信部が受信した速度指令を魚眼レンズ制御用に演算する速度指令演算手段と、
前記速度指令演算手段により算出された速度指令に基づきカメラのパンニングやチルティングを制御する制御手段と、
監視被写体を指定する監視被写体指定手段と、
を有することを特徴とする魚眼レンズ監視カメラシステム。
【請求項２】
前記速度指令演算部は前記速度指令受信部が受信した速度指令に基づいてパンニング、チルティングを行うための速度指令に変換する第一のモードと、前記速度指令演算部が受信した速度指令を前記監視被写体指定手段により指定された監視被写体の像高位置に対し速度指令係数を前記速度指令係数記憶部から取得し、指定された監視被写体のパンニング、チルティングを行うための速度指令に変換する第二のモードを有することを特徴とする請求項１に記載の魚眼レンズ監視カメラシステム。
【請求項３】
前記第二のモードにおける前記速度指令演算手段は前記魚眼レンズの射影方式の像高変化率に基づいて演算されることを特徴とする請求項２に記載の魚眼レンズ監視カメラシステム。
【請求項４】
前記速度指令発生部は前記魚眼レンズ監視カメラを基準位置に戻すための基準位置復帰制御信号発生手段を有し、基準位置復帰制御信号発生手段により基準位置復帰制御信号が発生し前記速度指令受信部が前記基準位置復帰制御信号を受信した場合、前記魚眼レンズを搭載したカメラを魚眼レンズ監視カメラシステムの最高速度で基準位置に移動することを特徴とする請求項２又は請求項３に記載の魚眼レンズ監視カメラシステム。
【請求項５】
パンニング、チルティングによる制御は予め設定された監視領域で制限をかけることを特徴とする請求項２乃至請求項４の何れか一項に記載の魚眼レンズ監視カメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼レンズ監視カメラシステムに関する。
【背景技術】
【０００２】
魚眼レンズを利用した監視カメラシステムでは、監視カメラを天井に設置し部屋の四隅を含めた部屋全体における人の動線を把握したりするために歪曲円形画像をそのまま利用しているものが存在する。また、一部を切り出して光学歪補正を行い、見やすい画像で監視を行うものもある。一部を切り出して分割表示をするため、画像処理によるパンニング、チルティング、ズーミングが可能となっている。
【０００３】
特許文献１には、歪曲円形画像の一部を切り出して平面画像に変換し、画像処理によるパンニング、チルティング、ズーミング技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５２３３９２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
歪曲円形画像の一部を切り出し平面画像に変換して表示する方法による分割表示では、図１１の例に示すようにその切り出し方（図１１の例では、点線で示されるように４分割している）に依存して撮像映像から抜けや重複が起こることがある。切り出されて平面画像に変換された映像をマルチスクリーンのそれぞれを注意深く見て監視するのは疲労の原因となる。また分割映像では抜けがある場合は監視ミスが起こり、重複がある場合には、１つの監視対象が二つのスクリーンに存在することになるため監視対象が２つ存在すると勘違いしてしまうという問題がある。また、全体を俯瞰することが難しいという課題もある。
【０００６】
また分割表示方式によるズーミングやチルティング、パンニングを行う場合、画質の劣化が起こり、またリアルタイムによる高速な画像処理が必要なため高価なＣＰＵ（コンピュータ）や大容量メモリが必要になるという問題がある。特に近年における高画質化やカラー化によりますます画像処理能力の高いＣＰＵが必要となっている。
【０００７】
また監視領域全体を俯瞰するために図１１のように魚眼映像として加工せずに１つのモニタに表示して監視する場合がある。図１２の例では、画像周辺に窓やドア（四角）が存在し、人（丸に四角の組み合わせ）が数人存在している場合で、光学歪特性により周辺の映像が圧縮され中心が拡大されている状態を示している。監視方法としては複数の監視カメラのそれぞれの映像を複数のモニタに映し出して監視することがある。このとき魚眼映像において監視対象被写体が周辺近傍に存在すると小さく写るため拡大して確認をする場合、このままズーミングをすると監視対象被写体が監視領域から外れてしまう可能性がある。
【０００８】
ところで、歪曲円形画像では周辺よりも中心に近付くにつれて被写体が大きくなるという特性があるため、パンニングやチルティングだけでも被写体を大きく映し出すことが可能である。
【０００９】
一方、歪曲円形映像の中心と周辺で像高の変化率が異なるため、等速度でパンニングやチルティングを行っても監視対象被写体の移動速度が一定でなくなる。射影方式は例えば立体射影方式では周辺の像高変化率が大きく中心に行くほど小さくなる。すなわち周辺では移動速度が速く、中心に行くほど遅くなる。また等立体角射影方式では周辺の像高変化率が小さく中心に行くほど大きくなるため、周辺での移動速度が遅く中心に行くほど早くなるという現象が起こる。
【００１０】
このように魚眼監視カメラを使用して監視している場合、各々の監視カメラの射影方式に依存してパンニングやチルティングを行わなくてはならないという問題があり、また、勘違いにより監視カメラシステムに異常が発生していると誤認してしまうという課題もある。
【００１１】
ここで図６および図７を用いて監視カメラシステムの説明を行う。
【００１２】
図６は魚眼レンズを搭載したカメラを用いた監視カメラシステムの例である。投立体角射影カメラ６０１は射影方法のひとつである等立体角射影を用いた魚眼レンズを搭載したカメラである。６０２はモニタ、６０３はコントローラである。制御部６０３はコントローラ６０３からの指令に基づいて等立体角射影カメラ６０１を制御する。コントローラ６０３モニタ６０２を見ながらコントローラ６０３により等立体角射影カメラ６０１を制御しながら監視を行うものである。監視被写体が特定された場合のコントローラ６０３での制御は等立体角射影の特性に合わせて制御することになる。
【００１３】
図７は各種の魚眼レンズを搭載したカメラを複数用いた監視カメラシステムの例である。ここで使用される魚眼レンズの射影方式は図２で示した射影方式が少なくとも一つ以上存在する場合の例である。しかし、すべての射影方式が存在すると言うことが無い場合でも同様に監視カメラシステムを構成することは可能であることは言うまでもない。７０１は等立体角射影の魚眼レンズを搭載した等立体角射影カメラ、７０２はその映像を映し出すモニタａ、７０３は等立体角射影カメラ７０１を制御する制御部ａである。７１１は立体射影の魚眼レンズを搭載した立体射影カメラ、７１２はその映像を映し出すモニタｂ、７１３は立体射影カメラ７１１を制御する制御部ｂである。７２１は等距離射影の魚眼レンズを搭載した等距離射影カメラ、７２２はその映像を映し出すモニタｃ、７２３は等距離射影カメラ７２１を制御する制御部ｃである。７３１は正射影の魚眼レンズを搭載した正射影カメラ、７３２はその映像を映し出すモニタｄ、７３３は正射影カメラ７３１を制御する制御部ｄである。コントローラ７６０からの制御信号を制御切替７５０により切り替えて各カメラを制御するように構成されている。この場合、各カメラに搭載されている魚眼カメラの射影方式に合わせて制御することになる。従って、各カメラに搭載されている魚眼レンズの射影方式を監視を行う全員がすべて記憶しておくことは効率がよくなく、射影方式の誤解を招いたりするため、例えば各モニタに映し出したり、張り付けたりしておく必要が出てくる。さらにコントローラ７６０での制御は各魚眼レンズの射影方式を確認しながら制御する必要があるため、操作性が非常によくなく操作を誤る可能性が高いという問題がある。
【課題を解決するための手段】
【００１４】
上記の課題を解決するために、本発明に係る魚眼レンズ監視カメラシステムは、
魚眼レンズの射影特性の像高変化率特性に依存した速度係数を記憶しておき、パンニングやチルティングの速度指令を像高位置に合わせて算出し、監視カメラを制御することを特徴とする。
【発明の効果】
【００１５】
本発明に係る魚眼レンズ監視カメラシステムによれば、魚眼監視カメラの歪曲円形画像を使用して監視をする場合、速度指令を監視対象位置の射影方式に合わせて再計算し必要な俯瞰領域でパンニングやチルティングを行うことで、個々の魚眼監視カメラの射影方式に依存せず指令速度に対する監視対象被写体の移動速度が一致することになり、射影方式に合わせて速度指令をコントロールするこという煩わしさがなくなる。また複数の魚眼監視カメラからの映像を複数のモニタで監視している場合、同じパンニングやチルティングの操作による監視対象被写体の動きが一致するため、監視カメラシステムが問題を起こしているという誤解がなくなる。
【図面の簡単な説明】
【００１６】
【図１】魚眼監視カメラシステムを示す概略図
【図２】魚眼レンズの射影方式を示す図
【図３】画角について説明をする図
【図４】メインフローを示すフローの図
【図５】監視対象を指定する場合を示すフローの図
【図６】単体監視カメラシステムを示す図
【図７】マルチ監視カメラシステムを示す図
【図８】第二の魚眼監視カメラシステムを示す図
【図９】射影方式による像高および像高変化率を示す図
【図１０】射影方式による像高変化率の逆数を示す図
【図１１】魚眼レンズでの映像の切り出し例を示す図
【図１２】魚眼レンズでの映像例を示す図
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【実施例】
【００１８】
本発明の実施例を説明する。図２を用いて魚眼レンズで用いられる射影方式の例を説明する。
【００１９】
魚眼レンズを設計する上で採用される射影方式として図２に示されるような、等立体角射影（図２の（Ａ））、立体射影（図２の（Ｂ））、正射影（図２の（Ｃ））、等距離射影（図２の（Ｄ））などがある。図２で用いられている角度は、図３のように画角を２θとしたときに光軸に対して＋θ、−θとすると、画角２θに対して同様に入射角をαとしたときの入射角αに対する射影を表している。図２は画角が１８０度の魚眼レンズによって射影される場合を示している。射影される画像は光軸に対する入射角αに対した像高ｙで生成される。ここでレンズの焦点距離をｆとすると各投影モデルに対応した射影関数は下記の通りとなる。
・等立体角射影
ｙ＝２ｆ×ｓｉｎ（α／２）・・・・・（１）
・立体射影
ｙ＝２ｆ×ｔａｎ（α／２）・・・・・（２）
・正射影
ｙ＝ｆ×ｓｉｎ（α）    ・・・・・（３）
・等距離射影
ｙ＝ｆ×α              ・・・・・（４）
図９を用いて射影方式による入射角と像高の関係を説明する。
【００２０】
式（１）〜（４）に基づき像高を正規化して入射角に対する像高を表現したものが図９（Ａ）である。このように各射影方式により像高の位置が異なっている。また同様に像高の変化率を表したものが図９（Ｂ）である。例えば等距離射影では入射角によらず像高変化率は一定であるが、その他の射影方式では入射角により値が異なっていることがわかる。立体射影や等立体角射影では入射角の絶対値が大きいほど変化率が小さく、入射角の絶対値が小さくなるほど大きくなっている。一方、正射影方式では入射角の絶対値が小さいほど変化率が小さく、入射角の絶対値が大きくなるほど大きくなっている。例えば魚眼レンズカメラを一定速でパンニングした場合、モニタ上に映し出される各被写体の速度は像高の値によって異なる。従って、監視被写体を決めてコントローラから魚眼レンズカメラを制御する場合、同じ操作をしても魚眼レンズの射影方式により監視被写体の移動速度が異なる。
【００２１】
図１は、魚眼監視カメラシステムを示す概略構成を示す図である。
【００２２】
雲台部１０１には魚眼レンズ部１１１とカメラ部１１２が構成され、雲台制御部１０１によりパンニング、チルティング、ズーミングなどの制御を行う。またカメラ部１１２からの映像を雲台制御部１０１を通じてモニタ部１０２へ映し出すことが可能となっている。
【００２３】
システム制御部１２０には、速度指令部１２１があり雲台部１１０のパンニングやチルティング、魚眼レンズ部１１１のズーミングなどの速度指令をつかさどっている。速度指令部１２１の速度指令値は速度指令演算部１２３に送られる。また監視被写体指定部１２５ではモニタ部１０２で映し出された映像から監視をしたい被写体を指定し、映像の指定位置から像高を算出する。算出された像高は速度指令演算部１２３に送られる。さらに速度指令係数記憶部１２４には像高に対するパンニングやチルティングの速度を変換するための魚眼レンズ部１１１の光学歪特性に対応した速度変換係数が記憶されている。
【００２４】
速度指令演算部１２３では監視被写体指定部１２５により指定された像高に基づいて速度指令係数記憶部１２４に記憶されている像高に対応した速度変換係数を読み出す。そして速度指令部１２１から送られてきたパンニングやチルティングの速度指令を速度変換係数により魚眼レンズ部１１１の光学歪特性に合わせた速度指令に変換する。そして速度指令演算部１２３は魚眼レンズ部１１１の光学歪特性に合わせたパンニングやチルティングの速度指令を変換雲台制御部１０１に送る。また、監視被写体指定部１２５により監視したい被写体が指定されていない場合は、速度指令演算部１２３は魚眼レンズ部１１１の光学歪特性に合わせた速度指令に変換せず、雲台制御部１０１に速度指令を送る。
【００２５】
図１０は速度演算係数の例で、画角変化率の逆数を示している。
【００２６】
魚眼レンズに使用されている射影方式に基づいた画角変化率の逆数を速度演算係数として速度指令係数記憶部１２４に記憶する。速度指令演算部１２３は雲台部１１０に搭載されている魚眼レンズ部１１１の射影方式を判断し、速度指令係数記憶部１２４に記憶されている速度指令係数を監視指定被写体の像高に合わせて読みだす。ここで速度指令部１２１からのパンニングの速度指令をＶｐａ、監視被写体指定部１２５により指定された被写体の像高位置に基づいた速度指令係数記憶部１２４に記憶されたパンニングの速度演算係数をＫｐとする。
【００２７】
このとき速度指令演算部１２３は式（５）でパンニングの速度指令Ｖｐｂを算出する。
【００２８】
Ｖｐｂ＝Ｇｐ×Ｋｐ×Ｖｐａ    ・・・・・（５）
ここで、Ｇｐはパンニングの速度ゲインを表している。
【００２９】
また速度指令部１２１からのチルティングの速度指令をＶｔａ、監視被写体指定部１２５により指定された被写体の像高位置に基づいた速度指令係数記憶部１２４に記憶されたでチルティングの速度演算係数をＫｔとする。
【００３０】
このとき速度指令演算部１２３は式（６）でチルティングの速度指令Ｖｔｂを算出する。
【００３１】
Ｖｔｂ＝Ｇｔ×Ｋｔ×Ｖｔａ・・・・・（６）
ここで、Ｇｔはチルティングの速度ゲインを表している。
【００３２】
通常、魚眼レンズの歪曲円形画像を用いた監視システムでは映像のケラレが発生しないため、同心円状における像高の値は同一となるため、Ｋｐ＝Ｋｔとなる。従って、Ｋ＝Ｋｐ＝Ｋｔとおくと、パンニングとチルティング用の共通の速度演算係数Ｋとして速度指令係数記憶部１２４に記憶しておくことが可能である。
【００３３】
図４を用いてメインフローの説明を行う。
【００３４】
ステップＳ４０１では、速度指令部であるコントローラからのパンニングやチルティング用の速度指令を確認する。無しの場合は、ステップＳ４０１に戻る。有りの場合は、ステップＳ４０２へ行く。
【００３５】
ステップＳ４０２では、現在の制御モードの確認を行う。制御モードが通常モードの場合、ステップＳ４０６へ行く。制御モードが監視対象指定モードの場合はステップＳ４０３へ行く。
【００３６】
ステップＳ４０３では、監視対象の像高位置の取得を行う。そしてステップＳ４０４へ行く。
【００３７】
ステップＳ４０４では、監視対象の像高位置に対する速度指令係数を速度指令係数記憶部１２４より読み出す。そしてステップＳ４０５へ行く。
【００３８】
ステップＳ４０５では、コントローラからのパンニングやチルティングの速度指令と速度指令係数を用いて式（５）および（６）により速度指令の再算出を行い、その演算結果を制御用の速度指令とする。そしてＳ４０６へ行く。
【００３９】
ステップＳ４０６では、制御用の速度指令を用いてパンニングやチルティングを行う。そしてステップＳ４０１へ行く。
【００４０】
図５を用いて、制御モードの設定方法を説明する。
【００４１】
ステップＳ５０１では、被写体指定があったかどうかを確認する。指定方法は例えばモニタ上でタッチセンサー方式による指定やマウスによる指定方法などがあげられる。無しの場合は終了する。有りの場合はステップＳ５０２へ行く。
【００４２】
ステップＳ５０２では、現在の制御モードを確認する。現在の制御モードが通常モードの場合は、ステップＳ５０４に行く。
【００４３】
ステップＳ５０４では、制御モードを監視対象指定モードに設定する。そして終了する。ステップＳ５０２で現在の制御モードが監視対象指定モードの場合はステップＳ５０３へ行く。
【００４４】
ステップＳ５０３では、制御モードを通常モードに設定する。そして終了する。ここで制御モードの設定方法は監視被写体指定をするたびにトグルで制御モードを切り替えている。監視対象指定モードを通常モードに解除する方法としては、モニタ上やコントローラ上に解除用のスイッチを設けたりすることも可能である。この制御モード設定フローはタイマ割り込みによって定期的に処理を行うことで構成することが可能である。また制御モードの設定処理が行われることでイベントによる割り込み処理が発生するようにするように構成してもよい。
【００４５】
図８を用いて速度指令係数記憶部１２４がシステム制御部１２０に存在する場合を説明したが、制御部１０１に存在する場合を説明する。
【００４６】
雲台部１１０には魚眼レンズ部１１１を搭載したカメラ部１１２が存在する。制御部１３０には速度指令演算部１２３が存在しシステム制御部１２０からのパンニングやチルティングの速度指令を受信する。速度指令演算部１２３は速度指令係数記憶部１２４から監視被写体の像高に応じた速度指令係数を読出し、速度指令受信部１２２が受信した速度指令と演算する。雲台制御部１０１は速度指令演算部１２３で演算された速度指令に基づいて雲台部１１０を制御する。このとき制御部１３０は雲台部１１０と一対一に存在するため、速度指令係数記憶部１２４は雲台部１１０に搭載されている魚眼レンズ部１１１の射影方式に対応した速度指令係数だけを記憶すればよい。モニタ部１０２は雲台部１１０に搭載されたカメラ部１１２からの映像を映し出す。システム制御部１２０には速度指令部１２１が搭載され制御部１３０の速度指令受信部１２２に制御信号を送る。
【００４７】
１２５は監視被写体指定部でモニタ部１０２に映し出された映像から監視対象の被写体を指定したり指定の解除を行ったりする。その指定情報や解除情報は速度指令部１２１を通じて速度指令受信部１２２へ行き、速度指令演算部１２３で制御モードに応じて速度指令の演算に用いられる。また監視被写体指定部１２５からの情報は速度指令部１２１を経由せずに直接速度指令演算部１２３に送るように構成してもよい。
【００４８】
速度指令係数記憶部１２４に記憶される速度指令係数は、図９（Ｂ）で示される特性に基づいて決められる。速度指令演算部１２３で演算される演算方式が速度指令受信部１２２からの速度指令と除算に基づく場合は、各射影方式の像高変化率に依存した係数を記憶すればよい。記憶方法は像高の各値に対して速度指令係数を記憶しておくことも可能であり、近似式の係数を記憶して近似計算により速度指令演算部１２３で係数を算出しながら制御用速度指令を算出することも可能である。
【００４９】
射影方式によっては像高変化率がゼロもしくはゼロ近傍になる場合があるため、速度指令係数が無限もしくは無限に近い値となり速度指令係数記憶部１２４に記憶するための速度指令係数が発散してしまうことがある。従って像高変化率の値に制限を設けて速度指令係数を決定し、その値を記憶することで速度指令係数が発散してしまうことを防ぐことが可能となる。また速度指令演算部１２３の演算能力に合わせて記憶することも好ましい。例えば、浮動小数点で演算可能な場合は演算能力に制限は少ないが、演算速度を上げるために固定小数点で演算する場合は、演算によるオーバーフローが起こる可能性がある。従って使用している速度指令演算部１２３の有効ビット数、例えば、１６ビット、３２ビット、６４ビットなどに合わせて、速度指令係数の有効範囲を決めることで演算エラーを起こさずに高速化することが可能となる。
【００５０】
また、部屋全体、駐車場全体などを俯瞰して監視するような魚眼レンズ監視カメラシステムでは、パンニングやチルティングできる範囲を制限することでシステム制御部１２０における操作ミスにより監視している領域を削ってしまうことを防ぐことが可能となる。たとえば部屋全体を監視しているような場合は、パンニングやチルティングによる移動範囲が、モニタに映し出される一番端の窓やドアなどの半分までにすることで侵入者などを見逃すことがなくなる。さらにパンニングやチルティングをした後に、初期位置に戻す場合、システム制御部１２０の速度指令値で操作することは効率がよくないため、システム制御部に初期位置に戻すボタンなどを配置し、そのボタンを操作した場合、雲台制御部１０１の最高速度で元に戻すように構成することで、無駄な操作がなく監視を行うことが可能となる。
【００５１】
この様に魚眼レンズの射影方式に依存した速度指令係数を記憶し、監視被写体が特定された場合のパンニングやチルティング操作ではシステム制御部からの速度指令と演算することで、魚眼レンズの射影方式に依存せずにパンニングやチルティングの操作性が向上することになり、誤操作がなくなる。
【００５２】
また魚眼レンズを例に説明してきたが、魚眼レンズは広角レンズ、超広角レンズ、全天周レンズ、全方位レンズなど呼ばれるものを含んでいる。
【００５３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である
【符号の説明】
【００５４】
１１０  雲台部、１１１  魚眼レンズ部、１１２  カメラ部、
１２０  システム制御部、１２１  速度指令部、１２３  速度指令演算部、
１２４  速度指令係数記憶部、１２５  監視被写体指定部、
１０１  雲台制御部、１０２  モニタ部
【図１】
2020123866.tif 000003
【図２】
2020123866.tif 000004
【図３】
2020123866.tif 000005
【図４】
2020123866.tif 000006
【図５】
2020123866.tif 000007
【図６】
2020123866.tif 000008
【図７】
2020123866.tif 000009
【図８】
2020123866.tif 000010
【図９】
2020123866.tif 000011
【図１０】
2020123866.tif 000012
【図１１】
2020123866.tif 000013
【図１２】
2020123866.tif 000014