(57)【要約】【課題】より短時間で被写体の詳細画像を取得するのに有利な技術を提供する。【解決手段】ステージに固定された第１カメラと、前記ステージに固定された雲台装置の支持台の上に光軸の方向を調整可能な状態で配され、前記第１カメラよりも画角が狭い第２カメラと、前記第１カメラが撮影する画像中の位置座標と、前記光軸を前記位置座標のそれぞれの位置に対応する方向に向けるための前記支持台の角度と、の相関関係が予め記憶された記憶部と、制御部と、を備え、前記制御部は、前記相関関係に基づいて、前記第１カメラが撮影した画像から検出された被写体の位置座標に対応する位置に前記光軸が向くように、前記支持台の角度を制御する。【選択図】図１
2020067511.tif 000002
【特許請求の範囲】
【請求項１】
ステージに固定された第１カメラと、
前記ステージに固定された雲台装置の支持台の上に光軸の方向を調整可能な状態で配され、前記第１カメラよりも画角が狭い第２カメラと、
前記第１カメラが撮影する画像中の位置座標と、前記光軸を前記位置座標のそれぞれの位置に対応する方向に向けるための前記支持台の角度と、の相関関係が予め記憶された記憶部と、
制御部と、を備え、
前記制御部は、前記相関関係に基づいて、前記第１カメラが撮影した画像から検出された被写体の位置座標に対応する位置に前記光軸が向くように、前記支持台の角度を制御することを特徴とするカメラシステム。
【請求項２】
前記制御部が、前記第１カメラが撮影した画像から検出された前記被写体の位置座標と、前記第２カメラが撮影した画像における前記被写体と画像の中心とのずれ量と、前記支持台の角度と、に基づいて、前記カメラシステムから前記被写体までの距離を取得することを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記制御部が、
前記第１カメラが撮影した画像から検出された前記被写体の位置座標に対応する角度に前記光軸を移動させた後に、前記第２カメラが撮影する画像の中心に前記被写体が配されるように前記雲台装置をさらに制御し、
前記第１カメラが撮影した画像から検出された前記被写体の位置座標と、前記第２カメラが撮影する画像の中心に前記被写体が配されたときの前記支持台の角度と、に基づいて、前記カメラシステムから前記被写体までの距離を取得することを特徴とする請求項１または２に記載のカメラシステム。
【請求項４】
前記相関関係が、
前記カメラシステムから既知の距離にある複数の特徴点を前記第１カメラで撮影した画像中の前記複数の特徴点に対応するそれぞれの位置座標と、
前記第２カメラが撮影した画像の中心に前記複数の特徴点のそれぞれが配されたときの前記支持台の角度と、
の関係に応じて取得されることを特徴とする請求項１乃至３の何れか１項に記載のカメラシステム。
【請求項５】
前記相関関係が、複数種類の距離に配された前記複数の特徴点から取得され、
前記制御部は、
前記被写体が既知の対象物の場合、前記第１カメラで撮影した画像における前記被写体の大きさに応じて、前記被写体までの概算距離を取得し、
前記概算距離に応じた前記相関関係に基づいて、前記支持台の角度を制御することを特徴とする請求項４に記載のカメラシステム。
【請求項６】
前記相関関係が、前記第１カメラおよび前記第２カメラでそれぞれ撮影した前記カメラシステムから既知の距離に配された格子状のチャートパターンの画像に基づくことを特徴とする請求項１乃至５の何れか１項に記載のカメラシステム。
【請求項７】
前記第２カメラが、単焦点レンズを備えることを特徴とする請求項１乃至６の何れか１項に記載のカメラシステム。
【請求項８】
ステージに固定された第１カメラと、
前記ステージに固定された雲台装置の支持台の上にパン方向およびチルト方向に光軸の方向を調整可能な状態で配され、前記第１カメラよりも画角が狭い第２カメラと、
前記第１カメラが撮影する画像中の位置座標と、前記光軸を前記位置座標のそれぞれの位置に対応する方向に向けるための前記支持台の角度と、の相関関係が予め記憶された記憶部と、を備えるカメラシステムの制御方法であって、
前記第１カメラが撮影した画像から被写体を検出する工程と、
前記相関関係に基づいて、前記第１カメラが撮影した画像から検出された被写体の位置座標に対応する位置に前記光軸が向くように、前記支持台の角度を制御する工程と、
を含むことを特徴とする制御方法。
【請求項９】
請求項８に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラシステム、その制御方法およびプログラムに関する。
【背景技術】
【０００２】
監視カメラなどにおいて、広角カメラと望遠カメラとの２つのカメラを組み合わせ、広角カメラで取得した広域の画像から被写体を検出し、望遠カメラによって被写体の詳細画像を取得することが知られている。特許文献１には、広角カメラとズームレンズを用いた望遠カメラとを備える物体撮影装置が示されている。特許文献１の物体撮影装置は、まず、広角カメラと、広角カメラと同じ画角に設定された望遠カメラと、の平行ステレオ視によって、被写体のおおよその位置および大きさを算出する。次いで、算出された被写体の位置および大きさに応じて、望遠カメラが搭載された電動雲台とカメラのズームレンズとを制御することによって詳細映像が取得される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３６４２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の構成において、被写体の位置や大きさなどの位置情報を算出し、この位置情報をもとに望遠カメラの画角や方向などの設定が決定されるため、被写体の詳細画像を取得するまでに多くの時間が必要となりうる。
【０００５】
本発明は、より短時間で被写体の詳細画像を取得するのに有利な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題に鑑みて、本発明の実施形態に係るカメラシステムは、ステージに固定された第１カメラと、前記ステージに固定された雲台装置の支持台の上に光軸の方向を調整可能な状態で配され、前記第１カメラよりも画角が狭い第２カメラと、前記第１カメラが撮影する画像中の位置座標と、前記光軸を前記位置座標のそれぞれの位置に対応する方向に向けるための前記支持台の角度と、の相関関係が予め記憶された記憶部と、制御部と、を備え、前記制御部は、前記相関関係に基づいて、前記第１カメラが撮影した画像から検出された被写体の位置座標に対応する位置に前記光軸が向くように、前記支持台の角度を制御することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、より短時間で被写体の詳細画像を取得するのに有利な技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るカメラシステムの構成例を示す図。
【図２】図１のカメラシステムのカメラの座標位置と雲台装置の支持台の角度との相関関係を説明する図。
【図３】図１のカメラシステムの距離測定方法を説明する図。
【図４】比較例のカメラシステムのレンズ歪みの影響を説明する図。
【図５】図１のカメラシステムのレンズ歪みの影響の補正を説明する図。
【発明を実施するための形態】
【０００９】
以下、本発明に係る記録装置の具体的な実施形態を、添付図面を参照して説明する。以下の説明および図面において、複数の図面に渡って共通の構成については共通の符号を付している。そのため、複数の図面を相互に参照して共通する構成を説明し、共通の符号を付した構成については適宜説明を省略する。
【００１０】
図１〜５を参照して、本発明の実施形態におけるカメラシステムの構成および動作について説明する。図１は、本発明の実施形態におけるカメラシステム１００の構成例を示す図であり、正面図、側面図および上面図が示されている。
【００１１】
カメラシステム１００は、カメラ１０１（第１カメラ）とカメラ１０２（第２カメラ）との２つのカメラを含む。カメラ１０１は、ステージ１０４に固定されている。換言すると、カメラ１０１の光軸の方向は固定されている。カメラ１０２は、ステージ１０４に固定された雲台装置１０３の支持台１１３の上に、光軸の方向を調整可能な状態で配される。カメラ１０２は、例えば、パン方向およびチルト方向に光軸の方向が調整可能である。カメラ１０２は、カメラ１０１よりも画角が狭い。このため、カメラ１０１は広角カメラ、カメラ１０２は望遠カメラとそれぞれ呼ばれてもよい。カメラ１０２は、カメラ１０１よりも焦点距離が長いともいえる。また、カメラ１０２は、カメラ１０１よりも撮影倍率が高いともいえる。
【００１２】
カメラシステム１００は、記憶部１０６および制御部１０５をさらに備える。制御部１０５は、例えば１つ以上のプログラマブルプロセッサ（ＣＰＵ、ＭＰＵなど）を含み、記憶部１０６に記憶されたプログラムを読み込んで実行することによって、カメラシステム１００のさまざまな機能を実現する。また、記憶部１０６には、カメラ１０１が撮影する画像中の位置座標と、カメラ１０２の光軸をカメラ１０１が撮影する画像中の位置座標のそれぞれの位置に対応する方向に向けるための雲台装置１０３の支持台１１３の角度と、の相関関係が予め記憶されている。制御部は１０５、上述の相関関係に基づいて、カメラ１０１が撮影した画像から検出された被写体の位置座標に対応する位置にカメラ１０２の光軸が向くように、雲台装置１０３の支持台１１３の角度を制御する。図１に示す構成において、記憶部１０６が、制御部１０５の中に組み込まれるように示されているが、これに限られることはない。記憶部１０６と制御部１０５とが、それぞれ独立した構成であってもよい。
【００１３】
カメラ１０１で広い範囲を撮影し、雲台装置１０３の支持台１１３をパン方向およびチルト方向に制御し、カメラ１０２の光軸を被写体の方向に向ける。これによって、被写体の詳細画像を撮影することができる。図１において、カメラ１０１とカメラ１０２とは、画像を結像する面が同じ面上に配され、また、同じターゲット方向に向いている場合を示す。また、図１の側面図において、カメラ１０１とカメラ１０２とは、ステージ１０４からの高さが互いに異なるが、これに限られることはなく、例えば、同じ高さに配されていてもよい。また、カメラ１０２は、雲台装置１０３の上でパン方向やチルト方向だけでなく、高さ方向（ステージ１０４からの高さ）が可変に制御されていてもよい。
【００１４】
次いで、カメラ１０１が撮影する画像中の位置座標と、カメラ１０２の光軸をカメラ１０１が撮影する画像中の位置座標のそれぞれの位置に対応する方向に向けるための雲台装置１０３の支持台１１３の角度と、の相関関係を予め取得する方法を説明する。図２において、カメラシステム１００から所定の距離Ｌ離れた場所に、格子状のチャートパターン２００を配して相関関係を取得する場合について説明する。
【００１５】
まず、カメラ１０１を用いてカメラシステム１００から既知の距離Ｌにある格子状のチャートパターン２００を撮影する。カメラ１０１によって撮影された画像中の格子の交差点など複数の特徴点のそれぞれの位置座標を制御部１０５は記憶部１０６に記憶する。例えば、制御部１０５は、カメラ１０１で撮影した画像中のチャートパターン２００上の位置（ｘ，ｙ）にある特徴点２０１を、カメラ１０１で撮影した画像中の特徴点２０１の位置座標（ｘａ，ｙａ）として記憶部１０６に記憶する。次いで、制御部１０５は、カメラ１０２が撮影した画像の中心にチャートパターン２００の特徴点２０１が配されるように雲台装置１０３の支持台１１３を制御する。制御部１０５は、カメラ１０２が撮影した画像の中心に位置（ｘ，ｙ）にある特徴点２０１が配されたときの雲台装置１０３の支持台１１３の角度（θｘａ，θｙａ）を記憶部１０６に記憶する。このとき、制御部１０５は、角度（θｘａ，θｙａ）を、カメラ１０１で撮影した画像の位置座標（ｘａ，ｙａ）と対応する角度として記憶部１０６に記憶する。制御部１０５は、複数の特徴点において、カメラ１０１が撮影した画像中の位置座標と、対応する特徴点がカメラ１０２で撮影した画像の中心に配されたときの支持台１１３の角度と、の相関関係を記憶部１０６に記憶する。このとき、より多くの特徴点における相関関係を取得することによって、制御部１０５は、より高い精度でカメラ１０２の光軸の向きを制御し、詳細画像を取得することができる。
【００１６】
記憶部１０６には、上述のように、カメラ１０１で撮影した画像の位置座標と、カメラ１０２の光軸を向けるための支持台１１３の角度と、が対応したテーブルとして相関関係が予め記憶されていてもよい。制御部１０５は、カメラ１０１で撮影した画像から検出された被写体に対して、テーブルを参照することによって検出された被写体の位置座標に対応する位置にカメラ１０２の光軸が向くように、直ちに雲台装置１０３の支持台１１３の角度を制御する。相関関係が、予め記憶されていることによって、被写体が検出されてからカメラ１０２で詳細画像を取得するまでの時間を短縮することが可能となる。
【００１７】
また、例えば、記憶部１０６に、上述の特徴点２０１の位置（ｘ，ｙ）に対して、カメラ１０１が撮影した画像の位置座標（ｘａ，ｙａ）とカメラ１０２の光軸を向けるための支持台の角度（θｘａ，θｙａ）とが、それぞれ別に記憶されていてもよい。制御部１０５は、カメラ１０１が撮影した画像から検出された被写体の位置座標（ｘａ，ｙａ）から位置（ｘ，ｙ）を取得し、さらに位置（ｘ，ｙ）に対応する支持台１１３の角度（θｘａ，θｙａ）を取得することで支持台１１３を制御する。この場合であっても、特許文献１に示される被写体の位置や大きさを算出する処理と比較して、制御部１０５における処理量は少ない。つまり、相関関係が、予め記憶されていることによって、被写体が検出されてからカメラ１０２で詳細画像を取得するまでの時間を短縮することが可能となる。
【００１８】
本実施形態において、相関関係が、カメラ１０１およびカメラ１０２でそれぞれ撮影したカメラシステム１００から既知の距離に配された格子状のチャートパターンの画像に基づくことを説明したが、これに限られることはない。予め、記憶部１０６に、カメラ１０１で取得した画像中の位置座標と、これに対応する位置にカメラ１０２の光軸を向けるための雲台装置１０３の支持台１１３の角度と、の相関関係が記憶されていれば、どのような方法で取得してもよい。
【００１９】
また、カメラシステム１００から複数種類の距離に配されたチャートパターン２００の特徴点から相関関係を取得してもよい。例えば、制御部１０５は、被写体が既知の対象物の場合、カメラ１０１で撮影した画像における被写体の大きさに応じて、被写体までの概算距離を取得する。制御部１０５は、概算距離に応じた相関関係に基づいて、雲台装置１０３の支持台１１３の角度を制御することによって、高い精度でカメラ１０２の光軸の方向を調整し、詳細画像を取得することができる。
【００２０】
さらに、本実施形態において、カメラ１０１で得た画像の位置座標と雲台装置１０３の支持台１１３の角度との相関関係を用いてカメラ１０２の光軸が制御されるため、カメラ１０２として単焦点レンズを備えるカメラを用いることができる。このため、単焦点レンズと比較して解像度的に不利となりうるズームレンズを用いる特許文献１の構成と比較して、得られる詳細画像の解像度が向上しうる。また、ズームレンズの画角を変更するための構成が必要ないため、カメラシステム１００全体の構成がより簡単な構成になりうる。例えば、ズームレンズ自体の画角を変更するための構成や、カメラシステムに備わるズームレンズの画角を変更するための機械的な構成が必要ないため、これらに起因する不具合が生じず、カメラシステムの信頼性が向上しうる。
【００２１】
一方で、カメラ１０２に用いるレンズとしてズームレンズを用いてもよい。例えば、カメラシステム１００を設置する場所に応じて、ユーザが適宜、カメラ１０２の画角を調整してもよい。また、例えば、カメラ１０１で撮影した画像から検出された被写体の大きさなどに応じて、カメラ１０２のズームレンズの画角を調整可能な構成をカメラシステム１００が有していてもよい。これによって、さまざまな大きさの被写体に対応することができる。カメラ１０２にズームレンズが用いられた場合であっても、カメラ１０１で得た画像の位置座標と雲台装置１０３の支持台１１３の角度との相関関係を用いてカメラ１０２の光軸の方向が制御される。このため、被写体を検出した後、カメラ１０２の光軸の方向を算出することなく、直ちにカメラ１０２を被写体に向けることができる。
【００２２】
本実施形態のカメラシステム１００を用いた監視カメラなどにおいて、被写体までの距離を測定する場合がある。図３（ａ）〜３（ｃ）を用いて、カメラシステム１００と被写体３００との間の距離を測定する方法について説明する。
【００２３】
まず、制御部１０５は、距離Ｌにおける相関関係を参照し、図３（ｂ）に示されるカメラ１０１が撮影した画像中の被写体３００の位置座標と対応する角度に、雲台装置１０３の支持台１１３を移動させる。次いで、制御部１０５は、図３（ｃ）に示されるカメラ１０２が撮影した被写体の詳細画像を取得する。このとき、図３（ａ）に示されるように、被写体３００は距離Ｌではなく距離Ｌ’の位置にあるため、カメラ１０２の光軸の方向に対して、実際の被写体３００の位置は、相関関係から取得した被写体３００の位置からのずれが生じる。例えば、図３（ｃ）に示されるように、カメラ１０２が撮影した画像において、被写体３００と画像の中心３０１とがΔｄ画素ずれる。制御部１０５は、カメラ１０２が撮影した画像における被写体３００と画像の中心３０１とのずれ量（Δｄ画素）から、カメラ１０２の光軸を被写体３００に向けるための支持台１１３の角度誤差（Δθ）を算出する。制御部１０５は、カメラ１０１と被写体３００とを結ぶ直線と、カメラ１０２が撮影した画像で被写体３００が中心に来るように支持台１１３を角度（θ＋Δθ）移動させた際のカメラ１０２の光軸と、の交点から、被写体３００までの距離Ｌ’を求める。制御部１０５は、以下に示す式（１）、（２）を用いて、被写体３００までの距離Ｌ’を求めてもよい。
Ｌ’＝（Ａ＋Ｄ）ｔａｎ（θ＋Δθ）・・・（１）
Ｌ’＝Ａｔａｎα・・・（２）
ここで、Ｄはカメラ１０１とカメラ１０２との間の距離（既知）、αはカメラ１０１から上述の特徴点を撮影した際に得られるカメラ１０１と特徴点との間の角度（既知）である。
【００２４】
このように、制御部１０５は、カメラ１０１が撮影した画像から検出された被写体３００の位置座標と、カメラ１０２が撮影した画像における被写体３００と画像の中心とのずれ量と、雲台装置１０３の支持台１１３の角度と、に基づいて、カメラシステム１００から被写体３００までの距離を取得する。カメラシステム１００と被写体３００との間の距離の測定は、これに限られることはない。例えば、まず、制御部１０５が、カメラ１０１が撮影した画像から検出された被写体３００の位置座標に対応する角度にカメラ１０２の光軸方向を雲台装置１０３の支持台１１３を制御することによって移動させる。次いで、制御部１０５は、カメラ１０２が撮影する画像の中心に被写体３００が配されるように雲台装置１０３をさらに制御する。このとき、カメラ１０１が撮影した画像から検出された被写体３００の位置座標と、カメラ１０２が撮影する画像の中心に被写体３００が配されたときの雲台装置１０３の支持台１１３の角度と、に基づいて、制御部１０５は、カメラシステム１００から被写体３００までの距離を取得してもよい。
【００２５】
また、本実施形態において、予め取得したカメラ１０１で得た画像の位置座標と雲台装置１０３の支持台１１３の角度との相関関係を用いてカメラ１０２の光軸の方向を制御するため、カメラ１０１のレンズの歪みの影響を小さくできる。図４を用いて、上述の相関関係を用いずに、被写体３００までの距離を測定する場合について簡単に説明する。カメラ１０１のように画角が広い所謂、広角レンズを用いたカメラは、図４に示されるように、周辺部において画像が大きく歪む場合がある。このレンズの歪みを考慮しない場合、図４に示されるように、画像中の被写体３００’の位置が実際の被写体３００の位置からずれてしまう。カメラ１０１で取得した画像中の被写体３００’には、例えば、距離を測定する処理に使用する値Ａに対して、誤差ΔＡが含まれてしまう。この誤差ΔＡによって、カメラシステム１００と被写体３００までの距離の測定の精度が低下してしまう。また、例えば、カメラ１０２の画角が小さい場合、誤差ΔＡのため、カメラ１０２で取得した画像に被写体３００が写らない可能性がある。
【００２６】
一方、本実施形態において、予め空間情報がわかっている特徴点をもとに相関関係を取得しているため、カメラ１０１の画像に含まれる画像の歪み成分は、図５に示すように、補正されている。このため、歪みの大きな広角レンズを用いた場合であっても、カメラ１０１の画像の周辺部に位置する被写体３００に対しても、高精度にカメラシステム１００と被写体３００との間の距離を測定できる。
【００２７】
予め取得したカメラ１０１で得た画像の位置座標と雲台装置１０３の支持台１１３の角度との相関関係を用いてカメラ１０２の光軸を制御することによって、上述のように、より短時間で高い精度で被写体の詳細画像を取得できる。また、カメラシステム１００の構成も比較的簡易な構成にすることできるため、カメラシステム１００全体での信頼性も向上しうる。
【００２８】
以上、本発明に係る実施形態を示したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、本発明の要旨を逸脱しない範囲で、上述した実施形態は適宜変更、組み合わせが可能である。
【００２９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種の記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータにおける１つ以上のプロセッサ（例えば、ＣＰＵやＭＰＵ。）がプログラムを読み出して実行する処理である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ。）によっても実現可能である。
【符号の説明】
【００３０】
１００：カメラシステム、１０１，１０２：カメラ、１０３：雲台装置、１１３：支持台、１０４：ステージ、１０５：制御部、１０６：記憶部
【図１】
2020067511.tif 000003
【図２】
2020067511.tif 000004
【図３】
2020067511.tif 000005
【図４】
2020067511.tif 000006
【図５】
2020067511.tif 000007