(57)【要約】【課題】  撮影倍率が異なる複数の撮影光学系を有する撮影装置において、撮影倍率の高い撮影光学系の視線方向を効率よく正確に被写体の位置する向きに移動させる撮影装置を提供する。【解決手段】  第１の撮影倍率を有する第１の撮影光学系(１０１)と、前記第１の撮影倍率よりも大きい第２の撮影倍率を有する第２の撮影光学系(１０２)とを有し、前記第２の撮影光学系は回動が可能であり、かつ前記第１および第２の撮影光学系の入射瞳位置が、前記第２の撮影光学系の回動軸(３０１ａ)上に配置されていることを特徴とする撮影装置。【選択図】  図３
2005175852.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮影倍率を有する第１の撮影光学系と、
前記第１の撮影倍率よりも大きい第２の撮影倍率を有する第２の撮影光学系とを有し、
前記第２の撮影光学系は回動が可能であり、
かつ前記第１および第２の撮影光学系の入射瞳位置が、前記第２の撮影光学系の回動軸上に配置されていることを特徴とする撮影装置。
【請求項２】
前記第２の撮影光学系は、前記回動軸に直交する軸回りでも回動可能であることを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記第２の撮影光学系は、変倍が可能であり、
前記変倍に応じて前記第２の撮影光学系を光軸方向に動かす位置変更手段を有することを特徴とする請求項１又は２に記載の撮影装置。
【請求項４】
前記第１の撮影光学系を用いて得た撮影画像に基づいて前記第２の撮影光学系の撮影方向を決定し、該決定された撮影方向に前記２の撮影光学系を回動させる制御手段を有することを特徴とする請求項１又は２に記載の撮影装置。
【請求項５】
前記制御手段は、前記撮影画像内から特定被写体領域を検出し、該特定被写体領域を含むように前記第２の撮影光学系の撮影方向を決定することを特徴とする請求項４に記載の撮影装置。
【請求項６】
前記第１の撮影光学系を用いて得た撮影画像に基づいて前記第２の撮影倍率を決定し、前記第２の撮影光学系を該該決定した第２の撮影倍率に設定する制御手段を有することを特徴とする請求項３に記載の撮影装置。
【請求項７】
前記制御手段は、前記撮影画像内から特定被写体領域を検出し、該特定被写体領域に応じて前記第２の撮影倍率を決定することを特徴とする請求項６に記載の撮影装置。
【請求項８】
第１の撮影倍率を有する第１の撮影光学系と、前記第１の撮影倍率よりも大きい第２の撮影倍率を有する第２の撮影光学系とを有し、前記第２の撮影光学系は回動が可能であり、かつ前記第１および第２の撮影光学系の入射瞳位置が、前記第２の撮影光学系の回動軸上に配置されている撮影装置の制御方法であって、
前記第２の撮影光学系の方向を初期化するステップと、
前記第１の撮影光学系を用いて得た撮影画像内から特定被写体領域を検出するステップと、
該検出した特定被写領域を含むように前記第２の撮影光学系の方向を決定するステップと、
該決定した方向に前記第２の撮影光学系を前記回動軸回りで回動させるステップとを有することを特徴とする撮影装置の制御方法。
【請求項９】
前記第２の撮影光学系は変倍が可能であり、
前記検出した特定被写領域を含むように前記第２の撮影倍率を決定するステップと、
前記第２の撮影光学系を該決定した第２の撮影倍率に設定するステップと、
前記第２の撮影光学系の変倍に応じて前記第２の撮影光学系を光軸方向に移動させるステップと
を有することを特徴とする請求項８に記載の撮影装置の制御方法。
【請求項１０】
前記方向を初期化するステップを除く他の前記ステップを順次繰り返し行うことを特徴とする請求項８又は９に記載の撮影装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像倍率の異なる複数の撮像光学系を用い、特定領域を撮影する技術に関するものである。特に異なる複数の撮像光学系の空間的距離によって生じる撮影領域のずれを緩和する技術に関するものである。
【背景技術】
【０００２】
従来撮像倍率の異なる複数のカメラを用いて撮影領域内の特定の場所を異なる撮影倍率で撮影する撮影装置として、撮影倍率の低い１台のカメラと、パン・チルト可能な雲台上に搭載された撮影倍率の高い１台のカメラを用いる方法が知られている（例えば、特許文献１参照）。
【０００３】
図１７は、広角光学系を有する広角カメラ１７０１によって、広範囲な領域（広域監視領域１７０４）を撮影するとともに、広域監視領域１７０４内に存在する特定被写体１７０３を、広角カメラ１７０１より撮影倍率の高い変倍動作可能なズームカメラ１７０２によって拡大撮影するシステムを表す。
【０００４】
広角カメラ１７０１は例えば立ち入り制限領域である広域監視領域１７０４を常時撮影し、広域監視領域１７０４内に侵入する特定被写体１７０３を検出する。
【０００５】
特定被写体１７０３は、その位置および大きさ情報が検出され、この検出結果がズームカメラ１７０２に送信される。そして、ズームカメラ１７０２が、パン方向及びチルト方向に駆動され、適当なズーム倍率に変倍して特定被写体の拡大像を撮影する。
【０００６】
広角カメラ１７０１は時系列に撮影した画像から画像毎に特定被写体１７０３の検知、被写体位置および大きさの検出、ズームカメラ１７０２への伝送を行い、ズームカメラ１７０２は時系列に順次伝送されてくる位置情報からパン・チルト角に変換し、大きさ情報から変倍率を確定し、図示されてない雲台とズーム機構を制御することによって、特定被写体すなわち侵入者の拡大映像を追尾していく。
【０００７】
カメラによって撮影された画像中の特定点から実空間上の位置情報は、一般に行列（以後この行列をカメラパラメータと呼ぶ）によって与えられ、カメラパラメータの各要素は実空間上の絶対座標、カメラの光軸方向とその垂直平面によって張られるカメラ座標、カメラの焦点距離によって与えられる。
【０００８】
またパラメータ決定には少なくとも同一平面上にない６個以上の基準点（以降これをランドマークと呼ぶ）を必要とするが、実際には多くのランドマークからパラメータを最適化し、精度向上を図っている。
【０００９】
この方法は３次元空間上の座標が精度よく得られるものの、カメラパラメータを得るには多くの労力を広角カメラとズームカメラの２台について必要とし、またカメラを移動する度に再度カメラパラメータを求めなければならない。
【００１０】
ただし、図１７に示すような監視目的で使用する場合は、屋内外を問わずに地上の上方にカメラを設置し、地表面を移動する侵入者を広範囲に鳥瞰できることが望ましい。この場合、侵入者すなわち特定被写体１７０３の位置情報は地平面上の点として２次元空間上の座標点と近似できる場合も多い。
【００１１】
すなわち、ランドマークＡ，Ｂ，Ｃを同一直線上にない実空間上の３点に設定し、各ランドマークの実空間上の絶対座標およびカメラ撮影像のカメラ座標を予め調べておく事によって、地平面上の任意の場所に侵入者がいても位置情報を得ることができる。
【００１２】
このようにして取得された位置情報は、ズームカメラ１７０２に伝送され、ズームカメラは侵入者位置座標が光軸方向に配置されるようにパン・チルトを行なう。さらに広角カメラによって検出された特定被写体へのズームカメラのパン動作・チルト動作に限定するならば、被写体の実空間上の絶対座標を介さない方法もある。
【００１３】
第１８図は、ズームカメラ１７０２のパン・チルトに広角カメラ１７０１が干渉しない程度の間隔Ｄだけ離して配置した２台のカメラを表している。ズームカメラ１７０２はその初期状態においてズームカメラ視線方向１８０２（光軸方向）が広角カメラ１７０１の光軸方向１８０１と平行になるよう設定してある。
【００１４】
特定被写体１７０３が広角カメラ１７０１によって検出されたとき、広角カメラ光軸１８０１と広角カメラ１７０１から特定被写体１７０３に延びる直線とのなす角度θを求める。
【００１５】
この角度θを予め決めておいた直交軸（パン軸、チルト軸と仮に呼ぶ）に投影し、パン角θｐおよびチルト角θｔを求め、ズームカメラ１７０２に伝送する。ズームカメラ１７０２は、ズームカメラ初期視線方向１８０２に対し、その視線方向をパン角θｐおよびチルト角θｔだけ移動し、特定被写体１７０３を捕捉する。
【００１６】
以上のように、従来撮像倍率の異なる複数のカメラを用いて空間上の特定領域を異なる撮影倍率で撮影する装置には、いったん特定領域の実空間上の絶対座標を用いてカメラ視線方向を制御する方法や、特定領域を検出した映像からカメラと特定領域のなす角度を求めカメラ視線方向を制御する方法などが知られている。
【特許文献１】特開２０００−２９５６００号公報（段落番号００１９,００２２，図２２）
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、上記従来の方法においては、以下に説明する多くの課題が残されている。まず図１７で説明したような特定被写体の実空間上の絶対座標を用いてカメラ視線方向を制御する場合、少なくとも３点のランドマークを決め、広角カメラにおいてはカメラに撮影された特定被写体１７０３の位置と画像上の３点のランドマークの内分比を求め、３点のランドマークの実空間上の絶対座標を前記内分比で分割する点を求めることによって侵入者の絶対座標を得る演算が必要なこと。
【００１８】
また、ズームカメラにおいては、侵入者の絶対座標からズームカメラのパン・チルト角を演算が必要となる。
【００１９】
また、これらの演算は動画像のように時系列に得られる各シーン画像のシーンサンプリング時間に対し充分に短い時間となる。
【００２０】
さらには、広角カメラまたはズームカメラいずれのカメラにおいてもその設置場所を変えたとき、全ての初期設定が必要となるなど多くの計算負荷や労力を要する問題がある。
【００２１】
また、図２０は図１７で示した監視領域内に特定被写体１７０３以上の大きさを有する障害物２００３が存在する状態を示した図である。
【００２２】
障害物２００３によって、広角カメラ１７０１とズームカメラ１７０２にはそれぞれ、死角２００１と死角２００２が生じるが、死角はカメラの設置場所によって異なる。
【００２３】
例えば図２０において、広角カメラ１７０１は特定被写体１７０３を検出することが可能でその位置情報を演算しズームカメラ１７０２に伝送しているが、特定被写体１７０３は障害物２００３による死角２００２の領域内に位置しているため、ズームカメラ１７０２は、障害物２００３が陰となって特定被写体１７０３を撮影することができない。
【００２４】
このような不具合は、広角カメラ１７０１とズームカメラ１７０２の設置場所が離れているほど起こりやすく、障害物２００３の死角にならない別の場所にズームカメラを新たに設置するしか侵入者の拡大映像を撮影する方法はない。
【００２５】
次に、第１８図に示したようなズームカメラ１７０２のパン・チルトに広角カメラ１７０１が干渉しない程度の間隔Ｄだけ離して配置した２台のカメラで、広角カメラ光軸１８０１と特定被写体１７０３のなす角θを伝達し、ズームカメラ１７０２を制御する場合の課題について説明する。
【００２６】
第１９図は第１８図を図中上方から見た図である。前述のように広角カメラ１７０１とズームカメラ１７０２はズームカメラ１７０２の回転によって干渉しない十分な間隔Ｄ（以降Ｄを広角カメラ１７０１とズームカメラ１７０２の基線長と呼ぶ）だけ離して設置してあり、その初期状態では広角カメラ光軸１８０１とズームカメラ初期視線方向１８０２（光軸）は平行に設定してある。
【００２７】
いま、広角カメラ１７０１によって監視範囲領域内の侵入者である特定被写体１７０３を検知したとき、広角レンズ１９０１の中心（主点位置）から特定被写体１７０３に延びる線（広角カメラ視線方向１８０４）と光軸１８０１のなす角度θが得られたとする。
【００２８】
角度θはズームカメラ１７０２に伝送され回転軸１９０２を中心に初期状態の光軸方向１８０２に対して角度θだけ回転する。しかしながら角度θ回転後のズームカメラ１７０２の光軸（ズームカメラ視線方向１８０３）は、広角カメラ視線方向１８０４とｄ（＝Ｄｃｏｓ（θ））だけ離れており、またズーミングによるズームカメラ視野領域１９０３は撮影倍率が高いほど狭くなる。
【００２９】
例えば、長辺方向の長さが４０ｃｍのズームカメラ１７０２と広角カメラ１７０１とを回転しても互いににぶつからないよう６０ｃｍの間隔（Ｄ＝６０ｃｍ）で設置したとき、ｄが最大値（＝Ｄ）を取る正面方向（θ＝０ｄｅｇ）では、ほぼ人間一人の肩幅（約６０ｃｍとする）分のずれが生じ、ズームカメラによる最適な拡大像が得られないという課題がある。
【００３０】
さらに、第２１図は広角カメラ１７０１とズームカメラ１７０２を垂直に設置した図であり、第２２図は第２１図を上から見た図を表している。  本図が第１８図と異なる所はカメラを垂直に設置したことと、ズームカメラのパン回転軸１９０２が広角レンズ１９０１主点位置と水平面上で距離Ｅだけ離れた位置にあることである。
【００３１】
動作に関しては前述と同様で、広角カメラによって監視範囲領域内の侵入者を検知したとき、広角カメラ視線方向と光軸のなす角度θを求め、ズームカメラは回転軸を中心に初期状態の光軸方向に対して角度θだけ回転する。
【００３２】
しかしながら図中ｅで示すように広角カメラ視線方向１８０４とズームカメラ視線方向１８０３は距離ｅ＝Ｅｓｉｎ（θ）のずれが生じる。以下、ずれ量ｅとズーミングによるズームカメラ視野領域の関係は前述と同様でズームカメラによる最適な拡大像が得られないという課題がある。
【課題を解決するための手段】
【００３３】
上記課題を解決するために、本願発明の撮影装置の第１の構成は、第１の撮影倍率を有する第１の撮影光学系(例えば広角光学系ユニット)と、第１の撮影倍率よりも大きい第２の撮影倍率を有する第２の撮影光学系(例えばズーム光学系ユニット)とを有し、第２の撮影光学系は回動が可能であり、かつ第１および第２の撮影光学系の入射瞳位置が、第２の撮影光学系の回動軸上に配置されていることを特徴とする。
【００３４】
ここで、第２の撮影光学系を、回動軸に直交する軸回りでも回動可能にするとよい。
【００３５】
また、第２の撮影光学系を、変倍可能とし、この変倍に応じて第２の撮影光学系を光軸方向に動かすようにしてもよい。
【００３６】
また、第１の撮影光学系を用いて得た撮影画像に基づいて第２の撮影光学系の撮影方向を決定し、該決定された撮影方向に２の撮影光学系を回動させる制御手段を設けるのが好ましい。
【００３７】
また、制御手段に、撮影画像内から特定被写体領域を検出し、該特定被写体領域を含むように第２の撮影光学系の撮影方向を決定させるのが好ましい。
【００３８】
また、第１の撮影光学系を用いて得た撮影画像に基づいて第２の撮影倍率を決定し、第２の撮影光学系を該該決定した第２の撮影倍率に設定する制御手段を設けるのが好ましく、さらにこの制御手段に、撮影画像内から特定被写体領域を検出させ、該特定被写体領域に応じて第２の撮影倍率を決定するようにさせるのが好ましい。
【００３９】
本願発明の撮影装置の制御方法の第１の構成は、第１の撮影倍率を有する第１の撮影光学系(例えば広角光学系ユニット)と、第１の撮影倍率よりも大きい第２の撮影倍率を有する第２の撮影光学系(例えばズーム光学系ユニット)とを有し、第２の撮影光学系は回動が可能であり、かつ第１および第２の撮影光学系の入射瞳位置が、第２の撮影光学系の回動軸上に配置されている撮影装置の制御方法であって、第２の撮影光学系の方向を初期化するステップと、第１の撮影光学系を用いて得た撮影画像内から特定被写体領域を検出するステップと、該検出した特定被写領域を含むように第２の撮影光学系の方向を決定するステップと、該決定した方向に第２の撮影光学系を回動軸回りで回動させるステップとを有することを特徴とする。
【００４０】
ここで、第２の撮影光学系は変倍可能とし、検出した特定被写領域を含むように第２の撮影倍率を決定するステップと、第２の撮影光学系を該決定した第２の撮影倍率に設定するステップと、第２の撮影光学系の変倍に応じて第２の撮影光学系を光軸方向に移動させるステップとを有するようにするのが好ましい。
【００４１】
方向を初期化するステップを除く他のステップを、順次繰り返し行うように構成するのが好ましい。
【発明の効果】
【００４２】
上述の本願発明の撮影装置の第１の構成によれば、第２の撮影光学系の回動軸上に第１及び第２の撮影光学系の入射瞳位置が配置されるため、第１の撮影光学系と被写体との相対位置に関連した位置情報を補正せずに第２の撮影光学系に適用することが可能となり、第２の撮影光学系を撮影位置に迅速かつ正確に回動させることができる。しかも、第２の撮影光学系の撮影倍率は第１の撮影光学系の撮影倍率よりも高いため、被写体の詳細な画像を得ることが出来る。
【００４３】
また、第２の撮影光学系を変倍可能とした場合、位置変更手段により第２の撮影光学系が光軸方向に進退して、入射瞳位置が回動軸上に配置されるため、第２の撮影光学系を撮影位置に迅速かつ正確に移動させることができるとともに撮影者の好みに応じた変倍率で被写体を撮影することができる。
【００４４】
本願発明の撮影装置の制御方法の第１の構成によれば、第１および第２の撮影光学系の入射瞳位置が、第２の撮影光学系の回動軸上に配置されていて、第１の撮影光学系を用いて得た撮影画像内から特定被写体領域を検出するステップと、該検出した特定被写領域を含むように第２の撮影光学系の方向を決定するステップと、該決定した方向に第２の撮影光学系を回動軸回りで回動させるステップとにより撮影装置が制御されるため、第２の撮影光学系の視線方向移動を効率よく正確に制御することができる。しかも、第２の撮影光学系の撮影倍率は第１の撮影光学系の撮影倍率よりも高いため、被写体の詳細な画像を得ることが出来る。
【００４５】
また、第２の撮影光学系を変倍可能とした場合、第２の撮影光学系が光軸方向に進退させ、入射瞳位置を回動軸上とするステップがあるため、第２の撮影光学系の視線方向移動を効率よく制御することができるとともに撮影者の好みに応じた変倍率で被写体を撮影することができる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００４７】
図１を用いて、本発明の実施例１について説明する。図１は本発明の実施例１である撮影装置における広角光学系ユニット（第１の撮影光学系）及びズーム光学系ユニット（第２の撮影光学系）の光軸方向断面図である。
【００４８】
図中矢印は、実３次元空間上の３座標軸、ＸＹＺ軸のうちの２軸で、地面に水平な平面上の直交する２軸をＸＹ軸、地面に垂直な軸をＺ軸とした。  また、地面に水平な２軸（ＸＹ軸）のうち、水平面上に設置された撮影装置の広角光学系ユニット１０１の光軸に平行な軸をＸ軸とし、この光軸に直交する軸をＹ軸とした。
【００４９】
図１はこのように定義したＸＹＺ軸のうち、本撮影装置のＸＺ平面投影像を表している。すなわち本撮影装置を側面から見たときの投影図を表している。ただし、図１ではその内部構成を明確にするため、本装置の外形枠は図示していないが、後述の複数の光学ユニットは本装置の共通基板を絶対座標系として搭載されている。
【００５０】
図１において、１０１は撮影倍率の低い光学系で広角視野範囲を有する広角光学系ユニットである。広角光学系ユニット１０１の撮影倍率は、監視領域の広さと装置の設置場所で最適な倍率が決まる。なお、広角光学系ユニット１０１は、単焦点光学系であっても、監視領域の範囲に応じて焦点距離を変え、最適な撮影倍率で撮影動作を行う可変倍率光学系であってもよい。ただし、本実施例においては、監視動作中は撮影倍率を固定しておくことが望ましく、説明を簡単化するため本実施例では単焦点光学系とする。
【００５１】
また、広角光学系ユニット１０１は、パン方向及びチルト方向に駆動できるように雲台に搭載してもよく、固定式であってもよい。ただし、本実施例においては、監視動作中は光軸方向を固定しておくことが望ましく、説明を簡単化するため本実施例ではパン・チルト機構を有さず、広角光学系ユニットの光軸方向の設定は本装置の設置方向を変えることによって行なうものとする。
【００５２】
広角光学系ユニット１０１は、物体側から順に魚眼レンズなど超広角レンズを含む広角レンズ１０１１、絞り１０３及び撮像素子１０４（例えば、ＣＣＤ、ＣＭＯＳイメージセンサ）から構成され、特に本実施例においては、図示しないレンズ鏡筒、撮像素子駆動回路、イメージプロセッサなど一般的にデジタル動画像を撮影するのに必要な構成部品も含まれる。また、広角光学系ユニット１０１の入射瞳１０１２は、絞り１０３よりも物体側に位置する。
【００５３】
１０２は、ズーム光学系ユニットである。前述の広角光学系ユニット１０１における単焦点光学系に関連して、広角光学系ユニット１０１の撮影倍率よりも撮影倍率の高い撮影像を映し出すことができれば、ズーム光学系ユニット１０２は単焦点距離光学系でもよいが、装置から特定被写体までの距離、特定被写体の大きさに対応して最適な拡大像を得るには、可変焦点距離光学系が望ましい。
【００５４】
そこで、本実施例のズーム光学系ユニット１０２は、可変焦点距離光学系により構成している。ズーム光学系ユニット１０２も部品構成は広角光学系ユニット１０１とほぼ同じで、物体側から順にズームレンズ１０２１、絞り１０３及び撮像素子１０４から構成されており、図示しないレンズ鏡筒、ＣＣＤ駆動回路、イメージプロセッサなども含んでいる。なお、ズーム光学系ユニットには、ズームレンズ１０２１を駆動制御する制御装置や、ズーム光学系ユニットをパン方向及びチルト方向に駆動する駆動機構を有しているが、詳細は後述するので図１では不図示としている。また、このズーム光学系ユニットの入射瞳１０２２は絞り１０２２よりも物体側に位置する。
【００５５】
さて、広角光学系ユニット１０１およびズーム光学系ユニット１０２は、Ｚ軸方向（垂直方向）に間隔Ｈだけ離して配置されており、間隔Ｈはズーム光学系ユニット１０２がパン方向及びチルト方向に駆動された場合であっても、広角光学系ユニット１０１と干渉しない最小距離とし、本実施例では垂直（Ｚ軸）方向上部に広角光学系ユニット１０１、下部にズーム光学系ユニット１０２を配置し、監視動作前の初期状態においては両ユニットの光軸は平行となるよう設定してある。
【００５６】
一方、図１のＸ軸方向に関する両ユニットの配置関係は、それぞれの入射瞳位置１０１２および１０２２が同じ位置（そのＸ座標をＸ0とする）となるよう搭載してある。
【００５７】
ここで、図２を用いて、水平面（ＸＹ軸平面）を含む面内における両ユニットの位置関係を説明する。図２はＺ軸方向視における、広角光学系ユニット１０１及びズーム光学系ユニット１０２の投影図である。
【００５８】
撮影装置は、広角光学系ユニット１０１およびズーム光学系ユニット１０２それぞれの入射瞳位置がＸＹ平面上の座標（Ｘ0，Ｙ0）で一致するように配置されており、また初期状態においては両ユニットの光軸は図のようにＸＹ平面で一致するようにしてある。
【００５９】
以上のように、広角光学系ユニット１０１およびズーム光学系ユニット１０２の配置関係は、ＸＹ平面上で両ユニットの入射瞳位置の一致、ＸＹ面垂直方向にはなるべく近づけた配置とし、その初期状態では両ユニットの光軸がＸＹ平面で一致、ＸＺ面で平行となるようにしてある。
【００６０】
次に、図３を用いてズーム光学系ユニット１０２をパン方向及びチルト方向に駆動するパンニング機構について説明する。第３図はズーム光学系ユニット１０２とパンニング機構を前述のＸＺ平面で見た図である。
【００６１】
図中３０１はズーム光学系ユニット１０２の視線方向をパンするためのパンニングモータである。実際にはモータはステッピングモータなどにより高精度に回転数などが制御された上で、さらにモータによる回転を適当な回転比率でズーム光学系ユニットに伝達するギア機構や、ズーム光学系レンズ鏡筒を固定し、モータまたはギア機構などと連結する三脚座のような部材、モータを撮像装置基板などに固定する固定部材なども必須であり、必要に応じて振動などによる撮影画像のぶれを抑制する防振機構も搭載されても良いが、本実施例はそれら全て含めて３０１をパンニングモータと呼ぶこととする。
【００６２】
図３で示すように、パンニングモータ３０１は、光軸直交方向に延びる回転軸３０１ａ上（回転軸３０１ａを含む直線上に）に入射瞳１０２２が位置するように、ズーム光学系ユニット１０２に取り付けられており、ズーム光学系ユニット１０２はパンニングモータ３０が駆動されることにより、図中矢印方向に回転する。
【００６３】
すなわち、パンニングモータ３０１によるパンニングは入射瞳位置を回転中心とし、前述のＸＹ平面に平行に行なわれ、ズーム光学系の視線方向もＸＹ平面に平行移動する。
【００６４】
図４は図３をＺ軸方向から見た図で、図４を用いてズーム光学系ユニット１０２とチルト機構を説明する。第４図中の点線で示す円は前述のパンニングモータ３０１を表し、パンニングモータ３０１は本図ではズーム光学系ユニット１０２の下に配置され、その回転軸は入射瞳位置のＸＹ座標（Ｘ０，Ｙ０）で示される。
【００６５】
また、図中４０１はズーム光学系ユニット１０２の視線方向をチルトするためのチルティングモータである。チルティングモータ４０１の構成はパンニングモータ３０１とほぼ同様である。
【００６６】
図４に示すように、チルティングモータ４０１は、光軸直交方向に延びる回転軸４０１ａ上に入射瞳１０２２が位置するように、ズーム光学系ユニット１０２に取り付けられており、ズーム光学系ユニット１０２は、チルティングモータ４０１が駆動されることにより、図中矢印方向に回転する。すなわち、チルティングモータ４０１によるチルトは入射瞳位置を回転中心とし、チルト方向を含む平面は前述のＸＹ平面に直交する。
【００６７】
ここで図５を用いて、従来例の図１９を参考に本実施例の撮像装置の動作について説明する。図５は撮影装置を上から見た図で、前述の図２、図４に対応している。まず、初期状態においては、広角光学系ユニット１０１およびズーム光学系ユニット１０２の光軸は図中点線で示す方向で一致しており、この光軸方向を後述のなす角θを求める時の基準方向とする。
【００６８】
次に、広角光学系ユニット１０１がその監視視野領域に侵入者である特定被写体１７０３を検出すると、本撮像装置は物体から光学系への入射角、すなわち入射瞳位置を原点とした光軸とのなす角度θを求める。
【００６９】
説明をわかりやすくするために、角度θはパンニング角度のみで表すものとし、パンニング角度θは直ちにズーム光学系ユニット１０２に伝達され、ズーム光学系ユニット１０２はパンニング角度θを受け、ズーム光学系視線方向がθだけ移動するようにパンニングモータ３０１の回転数を決定し、入射瞳位置を含む回転軸３０１ａを中心に角度θだけ回転する。
【００７０】
変倍による視野範囲は前述の従来例と同じとすると、本実施例では、図中ハッチングで示すズーム光学系視野領域５０１（ズーム光学系ユニット１０２の撮像領域）に広角光学系ユニット１０１の視線方向が含まれ、特定被写体１７０３を完全に捉えていることがわかる。
【００７１】
次に、本発明の信号処理形態について図６を用いて説明する。第６図は本発明の信号処理の流れを説明するためのブロック図である。図中６０１は広範囲監視領域を視野範囲とする広角光学ユニットであり、上述のように魚眼レンズなど超広角レンズを含む広角レンズ、絞り、ピント調整機構などの光学部品から構成される。
【００７２】
６０２は撮像素子であり、広角光学ユニット６０１の光軸が撮像素子の中央または、撮像素子からの撮影像領域中央となり、かつ光軸に対し垂直面となるよう配置してある。
【００７３】
広角光学ユニット６０１は監視領域を撮像素子６０２の撮像面に結像し、図示してない画像信号処理部でＡ／Ｄ変換、露出補正、オートホワイトバランス、階調補正、色補正などの信号処理を経て画像メモリ６０３および被写体抽出部６０４へと映像信号を送る。
【００７４】
画像メモリ６０３は後述する被写体抽出処理に使用される映像信号で、ｔ時刻過去の映像を静止画として記憶する場合や、τ時刻過去から現在までの動画像を記憶する場合などがあり被写体抽出の方式に依存する。
【００７５】
被写体抽出部６０４は、監視領域内の撮影像から特定の被写体を検出する信号処理部である。以下簡単に、良く知られている被写体抽出方式について説明する。
【００７６】
図７（ａ）は、あるオフィス内を撮像装置で監視している状態を表している。ここで、図７（ａ）で示すエリアは通常、関係者以外立ち入り禁止領域で、エリア内に物体や人物などが侵入した場合、警報を発し監視員等に注意を促すとともに、映像を録画するなどが必要である。
【００７７】
そのために、エリア内の侵入者に対し以下に説明する被写体抽出が行なわれる。良く知られている第１の方法は通常背景差分方式と呼ばれており、監視領域内が正常状態においてエリア内を静止画像で記憶しておく。この静止画像をよく「背景画像」と呼ばれており、本実施例でもそう呼ぶこととする。
【００７８】
よって図７（ａ）は、監視領域が正常状態の様子であり、同時にある時刻ｔで撮影された「背景画像」を表している。また、背景画像は例えば照明光などの環境変動によって一定ではないので、一定の間隔を置いて更新される場合が多い。
【００７９】
さて、図７（ａ）に示すような背景画像を取得した後、時系列に監視領域内の動画像映像が撮影され、監視状態に入る。逐次撮影される監視領域映像（以降この映像を現画像と呼ぶ）は、そのフレーム毎にフレーム座標の対応する「背景画像」との差分が計算される。  監視領域が正常状態を保っている場合、現画像は背景画像と変わりなくフレーム内の差分はノイズ等の影響を排除すればほぼゼロに等しい。
【００８０】
これを式で表すと、
ｄ（ｘ，ｙ）＝（Ｉｒ（ｘ，ｙ）−Ｉｂ（ｘ，ｙ））2           −  Ｉ）
ｄ（ｘ，ｙ）＜Ｔｈのときｄ（ｘ，ｙ）＝０              −  ＩＩ）
ｄ（ｘ，ｙ）＞＝Ｔｈのときｄ（ｘ，ｙ）＝１
ここで、Ｉｒ（ｘ，ｙ）は現画像の座標（ｘ，ｙ）における信号値、Ｉｂ（ｘ，ｙ）背景画像の座標（ｘ，ｙ）における信号値、Ｔｈは予め決められた閾値である。
Ｉ）式では原画画像と背景画像の差の２乗を計算している。差信号を正符号にそろえるもので、２乗のかわりに差の絶対値｜Ｉｒ（ｘ，ｙ）−Ｉｂ（ｘ，ｙ）｜を用いても構わない。
【００８１】
ＩＩ）式で画像中に含まれるノイズ等による影響を排除する為、差分が一定の値以下のときは差分を０とする。また、ＩＩ）式は同時に照明などにより環境変化があるときでも、次に背景画像を取得するまでの耐性も兼ね備えている。
【００８２】
すなわち、雲の見え隠れなどによる太陽光の強弱が多少あって、現画像が背景画像より若干暗くなった場合でも、閾値Ｔｈによって侵入物とカウントしない役目を果たしている。
Ｉ）ＩＩ）式は画像の全画素について計算され、各画素について閾値以上の画素と閾値以下の画素とをビットマッププレーンで表す。
【００８３】
第７図（ｂ）は、監視領域内に人間が侵入してきた様子を表しており、ＩＩ）式を用いて第７図（ｂ）の画像信号と第７図（ａ）の画像信号が画素毎に差分計算される。
【００８４】
第７図（ｃ）は、画像中の各画素をＩＩ）式によって閾値以上の画素を白、閾値以下の画素を黒で表したビットマッププレーンである。
【００８５】
では、背景差分方式を用いた場合の本撮影装置の動作について説明する。決められた監視領域に視野範囲を設定した広角光学系ユニット６０１はまず、監視動作に入る前に、背景画像を取得する。例えば、図示しないユーザーインターフェースから開始スイッチなどがオンされると、広角光学系ユニット１０１は監視領域を数秒間動画像として撮像し、撮像素子６０２から出力された全フレーム画像は、一旦画像メモリ６０３に記憶される。
【００８６】
次に画像メモリ６０３に記憶されたフレーム画像を、図示しないＣＰＵなどによって再び読み出し、各フレームに混入するノイズなどを平均化するため数秒間撮影された各フレーム画像の平均像を作成し、背景像として再び画像メモリ６０３に記憶する。
【００８７】
背景像の画像メモリ６０３への記録が完了すると、監視が始まり、広角光学系ユニット１０１による撮影像は被写体抽出部６０４に入力し、前述の方式で被写体抽出が行なわれる。
【００８８】
また被写体抽出部では、侵入者の検出結果も同時に出力する。例えばフレーム内全画素についてＩＩ）式のｄ（ｘ，ｙ）の累積を取ると、背景とは異なる画素の総数を得ることができる。
ｓ＝ΣｙΣｘｄ（ｘ，ｙ）
これをフレーム全画素数で割れば、背景とは異なるがその画面全体との比率がわかり、一定以上の大きさの侵入物が監視領域内に存在するときにのみ、侵入者が存在すると判定してもよい。
【００８９】
以上が背景差分方式による被写体抽出の基本的であるが、その他にＩ）式で得られた差分二乗値の分布から照明光と人物の判別を行なったり、背景画像平均濃度を現画像平均濃度などから補正をした上でＩ）式の差分二乗値を求めたり、また、差分ビットマップの白点連結度などから孤立点や微小領域を削除し、最大連結領域を侵入者と判定するなど様々な工夫も試みられている。
【００９０】
また、背景差分方式の他、フレーム間差分方式も被写体抽出では良く行なわれる方式であり、簡単に説明をする。フレーム間差分方式も原理的には背景差分方式と同様に、過去の映像と現時刻の映像との差分をとる方式であるが、背景画像のような予め正常状態での監視領域画像を参照するのではなく、現時刻から一定時間過去の画像を記憶しておきそれとの差分を取る方式である。
【００９１】
式で表すと、
ｄ（ｘ，ｙ）＝（Ｉ（ｘ，ｙ，ｔ）−Ｉ（ｘ，ｙ，ｔ−τ））2               −  Ｉ）
ｄ（ｘ，ｙ）＜Ｔｈのときｄ（ｘ，ｙ）＝０              −  ＩＩ）
ｄ（ｘ，ｙ）＞＝Ｔｈのときｄ（ｘ，ｙ）＝１
ここで、Ｉ（ｘ，ｙ，ｔ）は現時刻（ｔ）での画像の座標（ｘ，ｙ）における信号値、Ｉ（ｘ，ｙ，ｔ−τ）は現時刻（ｔ）から時間τだけ過去の画像の座標（ｘ，ｙ）における信号値、Ｔｈは予め決められた閾値である。フレーム間差分の長所は予め背景画像を取得する手間が要らないことの他、差分を取る参照画像が比較的短い時間（τ）である為、前述の照明などによる環境の変動に影響されにくい点である。
【００９２】
一方フレーム間差分の短所は、短い時間（τ）間隔の過去の映像との差分の為、侵入者が時間（τ）以上同じ姿勢で静止していると差分はゼロとなり侵入者領域が検出できないなどの問題もある。
【００９３】
しかし、この点についてもフレーム間差分で一旦抽出された領域はテンプレートが作成され、侵入者の静止による抽出領域の消滅時でも同領域がテンプレートに記憶された像と一致するならば静止状態であると判定し、同領域を被写体領域と判定するなどの試みもなされている。
【００９４】
本方式の動作については図示しないユーザーインターフェースから開始スイッチなどが入れられると、直ちに監視が開始される。初めのτ時間だけフレーム画像を、画像メモリ６０３に記憶する。
【００９５】
τ時間後は、現時刻の画像を被写体抽出部６０４に入力するとともに画像メモリ６０３に記憶し、またτ時間前のフレーム像を画像メモリ６０３から読み出し、被写体抽出部６０４に入力することにより、現画像とτ時間前の画像の差分が取られる。
【００９６】
以上、背景差分方式とフレーム間差分方式による被写体抽出について説明したが、本実施例では侵入者が広角光学系ユニットからの撮影像から検出できればその方式は限定しない。通常監視領域内に侵入者がいない場合、すなわち被写体抽出部６０４で侵入者が検出されない場合は、監視領域撮影像は画像合成部６１３を介して画像表示部６１４に表示される。
【００９７】
一方、被写体抽出部６０４で侵入者が検出された場合、前述のビットマップ像は被写体方向検出部６０６と変倍率決定部６０５に送られる。以下、図８を用いて被写体方向検出部６０６と変倍率決定部６０５について説明する。
【００９８】
第８図（ａ）は前述の被写体検出された侵入者のビットマップ画像(図７（ｃ）参照)であり、見やすくするため、特定被写体領域を黒、背景領域を白で図示してある。被写体方向検出部６０６と変倍率決定部６０５に入力したビットマップ像(図８（ａ）参照)は、８０１で示すような特定被写体領域を包括する矩形領域を作成する。実際にはビットマッププレーンに図のようなＸＹ座標を定義し、矩形左上の座標（Ｘｓ、Ｙｓ）と矩形右下の座標（Ｘｅ、Ｙｅ）を記憶することでよい。
【００９９】
次に、被写体方向検出部６０６では、第８図（ｂ）で示すような画像中心ｏから矩形中央ｃまでの距離ＤのＸ軸、Ｙ軸成分（Ｄｘ、Ｄｙ）を求める。
【０１００】
ここで画像中心ｏは広角光学ユニットの光軸に一致するよう、かつ画像Ｙ座標方向は本撮影装置の入射瞳を結ぶ２点と平行に、またＸ軸方向は本撮影装置の入射瞳を結ぶ２点と垂直するよう設定されている。さらに、Ｙ軸方向はズーム光学系ユニットのチルト方向を含む平面、Ｘ軸方向はパンニング方向を含む平面と平行している。
【０１０１】
そしてこの関係は、本装置製造時光学ユニットとエリアセンサの配置調整によって行なわれるものである。よって画像中心ｏから画像中の任意の点までの距離は入射瞳位置を原点とし物点を見たときのなす角に対応していて、広角光学系の撮影倍率（または焦点距離）よって一義的に決まるもので図（ｂ）のように（Ｄｘ、Ｄｙ）が求まると一義的にＤｘからパン角θｐ，Ｄｙからチルト角θｔが求まる。
【０１０２】
被写体方向検出部６０６では例えば数式、ルックアップテーブルなどを用いて（Ｄｘ、Ｄｙ）からパン角θｐ，チルト角θｔを求め、これを出力値とし第６図の光学系回転制御部６０９へと送る。
【０１０３】
光学系回転制御部６０９は、前述のパンニングモータ、チルティングモータから構成される光学系回転駆動部６１０に対し、パン角θｐ，  チルト角θｔから必要な回転数、回転方向、回転スピードなどを制御し、ズーム光学系ユニットはパン、チルトを行なう。
【０１０４】
次に変倍率決定部６０５について説明する。  まず図８（ｂ）の示すように、被写体検出されたビットマッププレーン上の特定被写体領域を包括する矩形領域８０１の幅ｗと高さｈを求める。  これは前述の（Ｘｓ、Ｙｓ）と（Ｘｅ、Ｙｅ）を用いる。
ｗ＝Ｘｅ−Ｘｓ
ｈ＝Ｙｅ−Ｙｓ
次に予め決めておいた特定被写体をズーム光学系ユニットで拡大表示するときの幅Ｗと高さＨを用いて幅、高さの変倍率（Ｍｗ、Ｍｈ）を計算する。幅Ｗと高さＨはズーム光学系ユニットのイメージセンサ有効領域いっぱいでも良いし、若干の余裕を持たせ有効領域の内側に取ってもよい。
【０１０５】
図８（ｃ）は、ズーム光学系ユニットによる侵入者の拡大撮影像を表しており、図中実線枠がイメージセンサ有効領域で、有効領域の内側に点線枠で示す拡大表示領域（Ｗ，Ｈ）を設けている所を表している。
【０１０６】
そしてズーム光学系ユニット拡大時、縦または横方向に被写体が表示領域からはみ出さないように、実際のズーム光学系ユニットで変倍する時の変倍率ＭはＭｗとＭｈのうち小さい方とする。
Ｍｗ＝Ｗ／ｗ
Ｍｈ＝Ｈ／ｈ
Ｍ＝Ｍｉｎ（Ｍｗ，Ｍｈ）
変倍率Ｍは光学系変倍制御部６０９へと送られ、光学系変倍制御部６０９では、予め既知の広角光学系ユニットの焦点距離ｆｗを用いて、ズーム光学系ユニットの焦点距離ｆｚ（＝Ｍ・ｆｗ）が計算され、光学系変倍駆動部６０８に対し焦点距離ｆｚとなるよう指示する。
【０１０７】
次に、撮影装置の制御方法について図２５を用いて説明する。ここで、図２５は、撮影装置の動作制御の手順を示したフローチャートである。
【０１０８】
まず、ステップ１でズームカメラ光学系ユニット１０２の光軸方向を初期化し(図５に示すズームカメラ初期視線方向に光軸が重なるようにする)、ステップ２で広角光学系ユニット１０１を駆動して監視エリア内を撮影させる。
【０１０９】
そして、ステップ３において、監視エリア内における侵入者の有無が検出される。この侵入者検出は、背景差分方式やフレーム間差分方式によって被写体抽出部６０４が行ない、侵入者が検出された場合には、ステップ４に進む。
【０１１０】
ステップ４では、ズーム光学系ユニット１０２のパン角、チルト角及びズーム倍率が決定される。具体的には、被写体方向検出部６０６及び変倍率決定部６０５が被写体抽出部６０４から入力する上述のビットマップ像に基づき決定する。
【０１１１】
ステップ５では、被写体方向検出部６０６で算出されたパン角及びチルト角に基づき光学系回転駆動部６１０が駆動され、ズーム光学系ユニット１０２は、ズーム光学系視野領域５０１(図５参照)内に侵入者が含まれるような位置(撮影位置)まで移動する。撮影位置に移動したズーム光学系ユニット１０２は、変倍率決定部６０５で算出された変倍率となるような位置にズームレンズ１０２１が駆動された後、撮影動作を開始する。
【０１１２】
侵入者が監視エリア内を移動している間は、ステップ３〜ステップ５までのステップが繰り返し行われ、侵入者の動きに追従するようにズーム光学系ユニット１０２が駆動される。
【０１１３】
以上のようにズーム光学系ユニットが特定被写体の方向に向けられ適当な倍率で撮影されると、その撮影像は画像合成部６１３へと送られる。  画像合成部では広角光学系ユニットによる撮影像とズーム光学系ユニットによる撮影像とのミキシングが行なわれる。ミキシングの種類としては例えば図９で示すような、場合が考えられる。
【０１１４】
図９（ａ）は監視領域全域のみを全画面表示。（ｂ）は監視領域全域を全画面に表示し侵入者拡大像を小ウィンドウで表示。（ｃ）は侵入者拡大像を全画面に表示し監視領域全域を小ウィンドウで表示。（ｄ）は侵入者拡大像のみを全画面表示。
【０１１５】
これら表示方法の選択は図示していないウィンドウ表示操作部で監視者が選択可能となっている。また、図６では図示してないが、それぞれの映像は外部記憶装置に接続され記録されてもよい。
【実施例２】
【０１１６】
本発明の実施例２について説明する。実施例１では、入射瞳位置をズーム光学系ユニットの回転軸上に配置することにより、広角光学系ユニットで得られた特定被写体へのパンニング角がズーム光学系ユニットのパンニング角と完全に一致することを示したが、本実施例では実施例１の被写体方向検出部６０６に改良を加えた。
【０１１７】
第１０図は本実施例を表す図で、図中Ｏは撮影装置を設置する場所の座標系の原点を表す。撮影装置は、原点Ｏから図中上方に延びる直線上に配置されており、原点０側から広角光学系ユニット１０１、ズーム光学系ユニット１０２の順序で配置されている。
【０１１８】
ここで、原点０から広角光学系ユニット１０１の入射瞳位置までの距離をＨとし、ズーム光学系ユニット１０２の入射瞳位置は、広角光学系ユニット１０１の入射瞳位置から距離ｈの位置にある。Ｈは撮影装置の設置時に測定しておく。なお、上記各光学系ユニットの順番は、反対であってもかまわない。
【０１１９】
ここで、原点ＯからＬだけ離れた距離に侵入者がいるとして、広角光学系ユニット１０１は図中点線で示す光軸方向に対して、チルト角θｗで侵入者を検出したとする。パン角については実施例１と同様なので本実施例での説明は省略する。
【０１２０】
一方、原点０からの距離Ｈ＋ｈの位置にあるズーム光学系ユニット１０２が侵入者を中心に捉えるために必要なチルト角をθｚとする。ここで、
Ｈ＝Ｌｔａｎ（θｗ）
（Ｈ＋ｈ）＝Ｌｔａｎ（θｚ）
であるから、実際には測定不可能なＬを消去し、
ｔａｎ（θｚ）＝（Ｈ＋ｈ／Ｈ）ｔａｎ（θｗ）
θｚ＝ｔａｎ-1｛（Ｈ＋ｈ／Ｈ）ｔａｎ（θｗ）｝
となる。
【０１２１】
ここで本実施例の撮影装置ブロック図を図１１に示す。実施例１の図６と異なる所は、図６に加え、前述の装置設置時に設置高さを入力するインターフェース部（ＵＩ）１１０１と、被写体方向検出部にｔａｎ-1θを引用するルックアップテーブル１１０２が追加されていることである。
【０１２２】
本装置は、装置設置時に床面からの高さＨを入力インターフェースＵＩ１１０１から入力する。図示されてないＣＰＵは、入力されたＨ、既知の入射瞳位置間隔ｈを用いて適当精度のサンプリング間隔で０度から９０度までのθｗについてθｚ＝ｔａｎ-1｛（Ｈ＋ｈ／Ｈ）ｔａｎ（θｗ）｝を計算し、ＲＡＭからなるルックアップテーブル１１０２にθｗを入力、θｚを出力とするテーブルを作成しておく。
【０１２３】
以上は装置設置時に一回だけ行なえば良く、設置高さを入力するだけで済むので労力もいらない。
【０１２４】
さて実際の監視時、監視領域中侵入者を検知し、広角光学系ユニット１０１の入射瞳位置からのなす角θを求めると、パン角θｗｐはそのままズーム光学系ユニット１０２のパンニング角となり、チルト角θｗｔはルックアップテーブル１１０２で角度補正しチルト角θｚｔが光学系回転制御部６０９へと送られる。
【０１２５】
以上本実施例は、特定被写体が本装置設置時の床面Ｏの高さにいるとき有効であり、図９で示すようなオフィスなど屋内の監視では通常床面高さは一定で十分、本手法が有効である。
【０１２６】
また屋外においては本装置が十分な高さに設置されている場合（Ｈ＞＞ｈ）や、侵入者が装置から十分離れている場合（Ｌ＞＞Ｈ）については実用上全く問題ない。
【０１２７】
また、本実施例では、θｚ＝ｔａｎ-1｛（Ｈ＋ｈ／Ｈ）ｔａｎ（θｗ）｝の計算を事前に行なっておき、ルックアップテーブルに記憶させ、監視時ルックアップテーブルによる補正を行なうこととしたが、十分高速な演算処理により処理速度に十分な余裕がある場合は、逐次計算を行なっても全く問題ないことは言うまでもない。
【実施例３】
【０１２８】
図１２に本発明の実施例３を示す。本実施例では実施例１の広角光学系ユニットにミラー光学部品１２０１を追加し、一般に全方位型カメラと呼ばれている光学系を用いたものである。ここでミラー光学部品１２０１（以降単にミラーと呼ぶ）について簡単に説明する。
【０１２９】
ミラー１２０１は例えばその断面を双曲面形状に形成した、回転体（以降これを双曲面鏡と呼ぶ）となっていて、ミラー１２０１の下の特定位置に撮影装置を設置することによってミラー１２０１からの反射光を受光することによってミラーを中心とする周囲３６０°の画角を撮像するものである。
【０１３０】
一般に双曲線は２つの焦点を持ち、撮影レンズの主点を双曲線の１つの焦点に合わせることで、取得画像は例えば実空間を円筒状投影面とするパノラマ画像に変換するなど、適当な変換式によって様々な投影座標に変換することができる。
【０１３１】
本実施例では図１２のように広角光学系ユニット１０１にこのミラーを用い、ミラーを中心とする周囲３６０°（全方位）を監視領域として撮像し、この広角光学系ユニット１０１により検出された特定被写体は後述する変換式を用いてその方向θを決定し、その方向θにズーム光学系ユニットをパンチルトズームするようにしたものである。
【０１３２】
図１３は、本実施例での広角光学系ユニット１０１とズーム光学系ユニット１０２との配置関係を図示したもので、ミラー１２０１の双曲面回転軸と広角光学系ユニット１０２のレンズ光軸を一致させ、レンズ主点を双曲面のレンズ側焦点に合わせた所を表している。
【０１３３】
さらに、実施例１と同様に広角光学系ユニット１０１の入射瞳位置とズーム光学系入射瞳位置は垂直方向に一致させており、すなわち、ミラー１２０１の双曲面回転軸、広角光学系ユニット１０１の入射瞳位置、ズーム光学系ユニット１０２の入射瞳が一直線上に配置されている。
【０１３４】
次に、これらの光学系を用いて特定被写体の角度検知について説明する。図１４はミラー１２０１で反射した実空間上の被写体が広角光学系ユニット１０１の撮像面（ここでは画像面とよぶ）１４０１上に結像されるときの関係について説明する図である。
【０１３５】
前述の回転双曲面の二つの焦点をＯｍとＯｃとし、前述のように双曲面外側の焦点Ｏｃにレンズ主点がくるように設置されている。画像平面は、仮想的に焦点Ｏｃから焦点距離ｆだけ上方に存在する。
【０１３６】
いま図のように焦点ＯｍとＯｃの中心に座標軸原点を置き（図中Ｏ）、互いに直交するＸＹＺ軸を定義する。ミラー回転軸をＺ軸に一致させるとともに、画像平面１４０１をＸＹ軸を含む平面に対して平行にとる。
【０１３７】
また画像平面１４０１上に、Ｚ軸との交点を原点としＸ軸に平行な軸をｘ軸、Ｙ軸に平行な軸をｙ軸とする二次元軸を定義する。原点のＺ座標は（Ｚ＝ｆ−ｃ）となる。
【０１３８】
いま、実空間上の物点Ｐ0（Ｘ0，Ｙ0，Ｚ0）はミラー面Ｐ（Ｘ，Ｙ，Ｚ）で反射して，カメラ撮像面の位置ｐ（ｘ，ｙ）に結像するとする。そして焦点Ｏｍから見て物点Ｐ0（Ｘ0，Ｙ0，Ｚ0）のなす角をＸＹ平面に平行にパン角θ、ＸＹ平面と直交してチルト角φを図のように定義する。
【０１３９】
よって、以上のように定義した画像平面上の点ｐ（ｘ，ｙ）を用いて物点パン角θ、チルト角φを求める。
【０１４０】
まずパン角θについて説明する。図１５は図１４のＸＹ平面投影面を表した図であり、図よりパン角θはｔａｎ-1（ｘ／ｙ）で求まる。次に、チルト角φについて説明する。
【０１４１】
図１６は図１４のＺ軸と物点のミラー反射点Ｐ（ＸＹＺ）を含む断面図を表している。いま、この二次元平面においてＺ軸に垂直に取った座標軸、Ｒ座標軸を定義し、ＲＺ平面で説明する。
【０１４２】
ここで、物点Ｐ0、ミラー反射点Ｐ、画像平面結像点ｐの座標はそれぞれＰ0（Ｒ0，Ｚ0）、Ｐ（Ｒ，Ｚ）、ｐ（ｒ，ｆ−ｃ）とする。
【０１４３】
また、図のようにミラー断面は双曲線
【数式１】
【０１４４】
2005175852.tif 000003
・・・Ｉ）
【０１４５】
で表され、物点Ｐ0と焦点Ｏｍを結ぶ直線を
Ｚ＝ｋＲ＋ｃ          ・・・ＩＩ）
とする。
いま、ミラー反射点ＰではＩ）式ＩＩ）式が成り立つ。
【０１４６】
一方、三角形Ｏｃ−Ｐ−ＺＰと三角形Ｏｃ−ｐ−Ｚｐからミラー反射点ＰのＲ座標Ｒは
Ｒ＝ｒ（ｃ＋Ｚ）／ｆ          ・・・III）
ただし、
【数式２】
【０１４７】
2005175852.tif 000004
ところで、チルト角φは図より直線ＩＩ）の傾きに他ならない。
φ＝ｔａｎ-1（ｋ）        ・・・IV）
よって、Ｉ）ＩＩ）III）式よりｋを求めIV）式に代入してやれば、チルト角φが得られる。
【０１４８】
ＩＩ）式より
ｋ＝（Ｚ−ｃ）／Ｒ                ・・・V）
Ｉ）III）式よりＲを消去して
ｂ2ｒ2−ａ2ｆ2）Ｚ2＋２ｃｂ2ｒ2Ｚ＋（ｂ2ｃ2ｒ2＋ａ2ｂ2ｆ2）＝０    ・・・VＩ）
VＩ）式のＺについての２次方程式を解きＺを求め、III）式にＺ代入してＲを求め、Ｚ及びＲをV）式に代入してｋを得る。
【０１４９】
ｋが求まると、実施例２で説明したように予め作成しておいたｙ＝ｔａｎ-1（ｘ）のルックアップテーブルを利用してチルト角φを得ることができる。以上のように求まったパン角θ、チルト角φはそれぞれ光学系回転制御部６０９に送信され、ズーム光学系ユニットが回転する。
【実施例４】
【０１５０】
図２３に本発明の実施例４を示す。本実施例では第１の実施例の図３で示すズーム光学系ユニットの鏡筒と三脚座の位置関係が光軸方向に前後するような機構を追加したものである。ズーム光学系においてその入社瞳位置は変倍率に応じて変わる。
【０１５１】
よって、前述のように、広角光学系ユニット入射瞳位置、ズーム光学系ユニット入射瞳位置、およびズーム光学系ユニットパンニング回転軸とが一致する為にはズーム光学系の変倍率に応じてズーム光学ユニットを調整移動する必要がある。
【０１５２】
図２３はそのような機構の一実施例を表す。図２３（ａ）はズーム光学系ユニット鏡筒２３０１に取り付けられたスライダー２３０２であり、スライダー２３０２には極微小間隔で溝が刻まれている。
【０１５３】
また、図２３（ｂ）は、パンニングモータ３０１と鏡筒を支持する三脚座で、三脚座の近傍には三脚座の鏡筒支持位置を移動させる三脚座位置調整モータ２３０３が配置されている。
【０１５４】
三脚座位置調整モータ２３０３の出力軸先端部には回転プレートがあり、回転プレートにもスライダー２３０２同様、極微小間隔で溝が刻まれている。また２３図（ｃ）は、三脚座のリング内側から見た図で、図の様に三脚座のリング内側にも前述の溝が刻まれている。
【０１５５】
なお、本実施例ではスライダー２３０２、および三脚座リング内側には、図をわかりやすくするためその一部に溝を図示したが、より安定した鏡筒の支持と移動のため、鏡筒および三脚座リング内側全面に溝が刻まれていても構わない。
【０１５６】
このような機構によって、ズーム光学系ユニットが変倍したとき、三脚座位置調整モータ２３０３が回転し、鏡筒の入射瞳位置がパンニング回転軸中心（図２３（ｃ）２３０４）とくるように鏡筒を光軸方向に前後させる。この様子を図２４で示す。
【０１５７】
このように、予め撮像倍率に応じた入射瞳位置を記憶しておき、撮影倍率に応じた瞳位置にパンニング回転軸がくるように鏡筒を前後することによって、変倍時でも常に入射瞳位置の一致が得られる。
【０１５８】
本発明の実施例１では、撮像倍率の異なる複数の撮像光学系を用い、撮像倍率の低い撮像光学系による撮影像から特定被写体を抽出し、抽出結果から撮像倍率の高い撮像光学系の視線方向移動する複眼撮像装置において、入射瞳位置をパンニング回転平面垂直方向に揃えることで、広角光学系から得られたパン角を補正することなく、ズーム光学系に適応できることが可能となり、すばやくかつ正確に目標物に視線を向ける事が可能となる。
【０１５９】
また、実施例２では、本撮影装置設置時に設置状態を入力するだけでパンニングおよびチルティングもすばやくかつ正確に目標物に視線を向ける事が可能となる。
【０１６０】
また、実施例３では広角光学系を周囲３６０°の全方位を撮像する光学部材を本撮影装置に追加するだけで全周囲死角のない監視領域を得ると供に、侵入者に対し、正確にズーム光学系が視線移動し、拡大映像を撮影することが可能となる。
【図面の簡単な説明】
【０１６１】
【図１】本発明の実施例１の装置構成例で本装置構成を横から見た図を表す。
【図２】本発明の実施例１の装置構成例で本装置構成を上から見た図を表す。
【図３】本発明の実施例１の装置構成例で本装置のパン回転軸について説明する図である。
【図４】本発明の実施例１の装置構成例で本装置のチルト回転軸について説明する図である。
【図５】本発明の実施例１の本装置の動作例を表す図である。
【図６】本発明の実施例１の信号処理を説明するブロック図である。
【図７】本発明の実施例１の本装置の被写体抽出処理について説明する図である。
【図８】本発明の実施例１の本装置の被写体抽出処理の結果から被写体の方向検知および変倍率を決定する処理について説明する図である。
【図９】本発明の実施例１の本装置の表示装置の表示例を説明する図である。
【図１０】本発明の実施例１の被写体方向検知について説明する図である。
【図１１】本発明の実施例２の信号処理を説明するブロック図である。
【図１２】本発明の実施例３の装置構成例で本装置構成の鳥瞰図を表す。
【図１３】本発明の実施例３の装置構成例で本装置構成を横から見た図を表す。
【図１４】本発明の実施例３の双曲面鏡と画像平面の関係を説明する図である。
【図１５】本発明の実施例３の双曲面鏡と画像平面の関係を説明する図であるり、１４図をＸＹ平面上に射影したである。
【図１６】本発明の実施例３の双曲面鏡と画像平面の関係を説明する図であるり、１４図の１断面図である。
【図１７】従来の技術の撮像装置を説明する図で地上のランドマークの利用を説明する図である。
【図１８】従来の技術の撮像装置を説明する図で広角カメラのパン・チルト角の利用を説明する図である。
【図１９】従来の技術の撮像装置を説明する図で、図１８を上から見た図である。
【図２０】従来の技術の撮像装置を説明する図で、カメラの設置位置から死角になる問題を説明する図である。
【図２１】従来の技術の撮像装置を説明する図で、カメラを縦に積んだ例を説明する図である。
【図２２】従来の技術の撮像装置を説明する図で、回転軸のずれによる問題について説明する図である。
【図２３】実施例４のスライドを示した図である。
【図２４】入射瞳の位置に応じて光軸方向に進退するズーム光学系ユニットの動作説明図である。
【図２５】撮影装置の動作制御を説明するフローチャートである。
【図１】
2005175852.tif 000005
【図２】
2005175852.tif 000006
【図３】
2005175852.tif 000007
【図４】
2005175852.tif 000008
【図５】
2005175852.tif 000009
【図６】
2005175852.tif 000010
【図７】
2005175852.tif 000011
【図８】
2005175852.tif 000012
【図９】
2005175852.tif 000013
【図１０】
2005175852.tif 000014
【図１１】
2005175852.tif 000015
【図１２】
2005175852.tif 000016
【図１３】
2005175852.tif 000017
【図１４】
2005175852.tif 000018
【図１５】
2005175852.tif 000019
【図１６】
2005175852.tif 000020
【図１７】
2005175852.tif 000021
【図１８】
2005175852.tif 000022
【図１９】
2005175852.tif 000023
【図２０】
2005175852.tif 000024
【図２１】
2005175852.tif 000025
【図２２】
2005175852.tif 000026
【図２３】
2005175852.tif 000027
【図２４】
2005175852.tif 000028
【図２５】
2005175852.tif 000029