(57)【要約】【課題】  従来のパン、チルト、ズームが可能な可動部を備えた監視カメラでは、パン、チルトに起因するブレを抑えることができなかった。【手段】  パンチルト機構の角速度に応じて、露光時間制御部１２０が撮像部の露光時間を、ブレの許容範囲内となるように調整する。【選択図】  図１
2012253475.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
カメラ本体のパン、チルト角を調整するパンチルト機構と、
前記パンチルト機構の角速度に応じて、前記撮像部の露光時間を調整する露光時間制御部とを有することを特徴とするカメラ。
【請求項２】
前記撮像部においてブレが許容できる長さの上限をt(mm)、
前記カメラにおける焦点距離をf(mm)とし、
前記パンチルト機構が角速度ω（ラジアン／秒）でパン、チルト角を変化させたときに、
前記露光時間制御部は、前記撮像部の露光時間tpを、2×arctan(t/(2×f))/ω (sec)以下の値に設定することを特徴とする請求項１記載のカメラ。
【請求項３】
前記カメラは、更にフレームレート制御部を備え、
前記フレームレート制御部は、前記撮像部のフレームレートをω/(2×arctan(t/(2×f)) (fps)以上の値に設定することを特徴とする請求項２記載のカメラ。
【請求項４】
前記tの値は最少錯乱円の直径δ(mm)であることを特徴とする請求項２または３に記載のカメラ。
【請求項５】
さらに、前記露光時間あるいは／及び前記フレームレートの自動設定を行うか否かを選択させる入力部を有することを特徴とする請求項３記載のカメラ。
【請求項６】
撮像部と、
焦点距離が可変なズーム光学系と、
前記ズーム光学系の焦点距離の変化の速さに応じて、前記撮像部の露光時間を調整する露光時間制御部とを有することを特徴とするカメラ。
【請求項７】
前記ズーム光学系の焦点距離の変化量をfd(mm/sec)、
前記撮像部の中心からの距離をl(mm)、
ブレが許容できる長さの上限をｔ(mm)とし、
前記露光時間制御部は、上記撮像部の露光時間を(t×f)/(l×fd)(sec)以下の値に設定することを特徴とするカメラ。
【請求項８】
前記カメラは、更にフレームレート制御部を備え、
前記フレームレート制御部は、撮像部のフレームレートを(l×fd)/(t×f) (fps)以上の値に設定することを特徴とする請求項７記載のカメラ。
【請求項９】
前記tの値は最少錯乱円の直径δ(mm)であることを特徴とする請求項７または８に記載のカメラ。
【請求項１０】
さらに、前記露光時間あるいは／及び前記フレームレートの自動設定を行うか否かを選択させる入力部を有することを特徴とする請求項８記載のカメラ。
【請求項１１】
撮像部と、
カメラ本体のパン、チルト角を調整するパンチルト機構と、
焦点距離が可変なズーム光学系とを有し、
前記撮像部においてブレが許容できる長さの上限をt(mm)、
前記カメラにおける焦点距離をf(mm)、
前記ズーム光学系の焦点距離の変化量をfd(mm/sec)、
前記撮像部の中心からの距離をl(mm)、
前記パンチルト機構のパン、チルト角を変化させる角速度をω（ラジアン／秒）とし、
前記露光時間制御部は、前記撮像部の露光時間tpを、2×arctan(t/(2×f))/ω(sec)以下、かつ、(t×f)/(l×fd)(sec)以下の値に設定することを特徴とするカメラ。
【請求項１２】
前記カメラは、更にフレームレート制御部を備え、
前記フレームレート制御部は、撮像部のフレームレートを、ω/(2×arctan(t/(2×f))(fps)以上、かつ、(l×fd)/(t×f)(fps)以上を満たす値に設定することを特徴とする請求項１１記載のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はパン、チルト、ズームが可能な可動部を備えた監視カメラに関する。
【背景技術】
【０００２】
パン、チルト、ズーム（以下、それぞれP、T、Zと略す）によって撮影方向・画角を自由に変更できる動画像撮影カメラは、監視用途に好適であるため広く普及している。しかし、PTZによって撮影方向・画角が変更されている最中には、画像ブレが発生しやすいという問題があった。
【０００３】
これを解決する方式として、特許文献１が開示されている。この発明は、フレームレートが低い場合、高速に移動する物体が撮影範囲を通り過ぎる一瞬から、十分な枚数の画像を撮影できないという問題を解決することを目的としてなされた発明である。移動物体が検知された場合、その物体の速さに応じて、フレームレートを高めるという方式である。
【０００４】
PTZの動作によって生じる画像の変化も、画像全体が移動物体となったと考えられるため、同様にPTZ中はフレームレートを高くすればよいといえる。
【０００５】
なお、特許文献２には、PTZ中の操作性を向上するという目的ではあるが、PTZの速度に応じてフレームレートを高くする方式が開示されている。
【０００６】
同様に、特許文献３では、PTZ中の、オートフォーカスの制御、露光量の調整、ホワイトバランスの調整の追従性と向上させる、という目的ではあるが、PTZ中にフレームレートを高くするという方式が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−３５８９８４号公報
【特許文献２】特開平０９−２６６５４８号公報
【特許文献３】特開２００９−２８４０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、これらの方式はブレの防止については、考慮されていなかった。ブレはフレームレートではなく、露光時間に依存する。そのため従来発明ではブレを防止することができなかった。
【課題を解決するための手段】
【０００９】
（１）本発明のカメラは、撮像部と、カメラ本体のパン、チルト角を変更可能なパンチルト機構と、露光時間制御部とを備え、露光時間制御部にて、パンチルトの各速度に応じて、露光時間を調整する。具体的には、露光時間を、PTに起因するブレを許容範囲内に抑制するように調整する。詳細には、露光時間制御部にて、上記撮像部における許容錯乱円の直径、光学系の焦点距離、パンチルト機構の角速度から、露光時間制御部はブレを許容できる露光時間を算出し、上記撮像部の露光時間を調整する。さらに、フレームレート制御部を設け、フレームレート制御部は、撮像部と画像処理部のフレームレートを上記露光時間に合わせて調整するようにしても良い。
【００１０】
（２）また、本発明のカメラは、撮像部と、ズーム光学系と、露光時間制御部とを備え、露光時間制御部は、ズーム光学系の焦点距離の単位時間当たりの変化量に応じて、上記撮像部の露光時間を調整する。具体的には、露光時間を、Zに起因するブレを許容範囲内に抑制するように調整する。さらに、フレームレート制御部を設け、フレームレート制御部は、撮像部と画像処理部のフレームレートを上記露光時間に合わせて調整するようにしても良い。
【発明の効果】
【００１１】
本発明により、PTZに起因するブレを防ぐことができる。
【図面の簡単な説明】
【００１２】
【図１】カメラの構成
【図２】露光時間調整処理の流れ
【図３】パン、チルト動作時の、非ブレ露光時間の自動設定の処理の流れ
【図４】パン、チルト動作時の、露光時間とブレの関係
【図５】ズーム動作時の、非ブレ露光時間の自動設定の処理の流れ
【図６】ズーム動作時の、露光時間とブレの関係
【図７】カメラ使用時のシステム図
【図８】非ブレ露光時間の自動設定機能に関する設定画面
【図９】パン、チルト動作時の、フレームレート自動調整の処理の流れ
【図１０】ズーム動作時の、フレームレート自動調整の処理の流れ
【図１１】フレームレート自動調整機能に関する設定画面
【発明を実施するための形態】
【００１３】
本発明の構成を図１に示す。本発明は、カメラ本体１００、撮影対象からの光を撮像部に集光し、焦点距離が可変な光学系１０１、カメラ本体のパン、チルト（以下、それぞれP、Tと略す）角を変化させるＰＴ機構１０２からなる。カメラ本体１００は、撮像部１１０、画像処理部１１１、露光時間制御部１２０、感度制御部１２１、絞り制御部１２２、フレームレート制御部１２３、ＰＴＺ制御部１２４、通信制御部１２５、通信インタフェース１３０、映像出力１３１から構成される。光学系１０１は、レンズ１４０と絞り１４１から構成される。
【００１４】
各部の機能について説明する。撮像部１１０は、光学系１０１が集光した光をデジタル画像信号（以下、単に画像と称する）に変換する処理、つまり撮像を行う。画像処理部１１１は、撮像部１１０から画像を取得し、例えば、撮像部がベイヤ配列を用いていればベイヤ配列信号からのＲＧＢ補完処理を行い、その他にもノイズ除去、エッジ強調、色みの調整、ホワイトバランスの調整、超解像処理、圧縮を行う。また、撮影した画像から、設定すべき露光時間、感度、絞りを算出し、露光時間制御部１２０、感度制御部１２１、絞り制御部１２２にその値を渡す。露光時間制御部１２０、感度制御部１２１は設定された値に基づき撮像部１１０の露光時間、感度を制御し、絞り制御部１２２は、設定された値に基づき絞り１４１を調整する。
【００１５】
ＰＴＺ制御部は、画像処理部１１１もしくは通信制御部１２５からの制御信号に基づいて、ＰＴ機構１０２を制御してＰＴ角を、およびレンズ１４０を制御しズーム（以下、Ｚと略する）量を変更する。
【００１６】
通信制御部１２５は、通信インタフェース１３０を通じて外部との通信を制御する。例えば、外部からの入力を受け取り、各部の設定を変更する機能を受け持つ。映像出力１３１は、画像処理部１１１が処理した画像を、ＮＴＳＣやＰＡＬの映像信号として出力する。
【００１７】
ＰＴＺを変更しない場合の、露光時間の調整に関わる処理について、図２の流れ図を用いて説明する。撮像部１１０が画像を撮像すると（２００）、画像処理部１１１は、上記画像の明るさの情報を算出し、露光時間制御部１２０に渡す。例えば、画像中の明るさの平均値である。露光時間制御部１２０は、撮像部の標準感度（あるいは最低感度）を基準とした場合の、適切な露光時間を算出する（２０１）。適切な露光時間を求める方法として、例えば、上記明るさの平均値が、所定の値になるように設定する方法がある。現在の露光時間がti (sec)であったとき、明るさの平均値がaとなるような画像を得られたとする。このとき、明るさの平均値が所定の値bとなるような画像を得るためには、露光時間をti×b/a (sec)とすればよい。露光時間制御部１２０は上記算出した露光時間に基づいて撮像部１１０の露光時間を制御する。
【００１８】
ただし、算出した露光時間ts (sec)が設定できない場合が二通りある。
【００１９】
一つめの場合は、露光時間ts (sec)が、撮像部１１０の仕様の最小値tmin (sec)より小さい場合である（２０２）。この場合は、露光時間制御部１２０は露光時間ts (sec)を絞り制御部１２２に渡し、絞り制御部は撮像部１１０の仕様の範囲に収まるような絞り値を算出し、絞り１４１が上記絞り値になるよう制御する（２０３）。例えば、仕様上の最短露光時間がtmin (sec)であった場合、絞り値は現状の値に対して、少なくとも(ts/tmin)^(1/2)倍すればよい。(^は累乗を表す)。
【００２０】
二つめの場合は、あらかじめ設定されたフレームレートNf (fps)の逆数、すなわち１フレームあたりの時間1/Nf (sec)に対して、算出した露光時間ts(sec)が長い場合である（２０４）。なお、フレームレートはフレームレート制御部が制御しており、通信インタフェース１３０、通信制御部１２５を通じて外部からのフレームレートの設定値を受け取り、撮像部１１０および画像処理部１１１に対してフレームレートの制御を行う。ここでフレームレートがNf（fps）である場合、1/Nf(sec)を越える露光時間は設定できない。この場合には、画像処理部１１１は、露光時間ts(sec)の値を感度制御部１２１に渡し、感度制御部１２１は1/Nf(sec)を越えないような露光時間を設定できるよう感度を上昇させる（２０５）。感度の値は現状の値に対して、ts×Nf倍とすればよい。感度制御部１２１は、上記値を用いて撮像部１１０の感度を制御する。
【００２１】
なお、処理２０３および処理２０５で調整された絞り、感度は、次のフレームを撮像するときに利用される。
【実施例１】
【００２２】
PTZのうちPTを動作させた場合の実施例１の動作について、図３を用いて説明する。PTZ制御部１２４は、通信インタフェース１３０、通信制御部１２５から受け取った外部からの指示に基づき、所定の速さでPTを動作させる（３００）。この指示は、目的の対象を監視範囲に入れるためや、監視範囲を一定速度で巡回させるためである。また、画像処理部１１１が、画像認識の結果を用いてPTZ制御部１２４に指示を出してもよい。例えば、侵入物を認識したとき、人物を認識した時、顔を認識した時に、それらの物体が画像中央に映るよう、PTを動作させる機能が考えられる。
ここで問題となるのは、露光時間が長い場合、PTによって画像にブレが生じることである。本発明の実施例１は、画像にブレの生じない露光時間を算出し、その値を自動設定する機能についての実施例である（非ブレ露光時間の自動設定機能）。
【００２３】
PTZ制御部１２４が角速度ω（rad/sec）でPTを調整した場合について、露光時間とブレの関係について図４を用いて説明する。露光時間がt0 (sec)であったとすると、角度変化はω×t0 (rad)となる、点Aに結像していた像は、撮像部１１０の中央の点Bを経由し、露光時間t0が終了した時点で点Cへと移動する。なお、点Bは点A点Cの中点である。点A点C間の距離d (mm)は焦点距離をf (mm)として
d=2×f×tan(ω×t0/2)
となる。パン・チルトによって直線状に発生したブレについて、許容できるブレの長さをt (mm)とする。上記dがtよりも小さければ、ブレは許容できる範囲に収まるので、求めるべき最大の露光時間tp (sec)は
tp=2×arctan(t/(2×f))/ω
となる。さらに、ブレを画像上で視認できないレベルまで抑えたければ、tは最小錯乱円の直径δ (mm)に設定すればよい。なお、ベイヤ配列の撮像素子における最小錯乱円の直径δ (mm)は、２画素分の大きさとしてよい。より正確に求めたい場合は、レンズ、ローパスフィルタ、赤外カットフィルタの影響によって生じる解像度の低下を考慮して最小錯乱円δ (mm)を決定する。さらに、画像を非可逆圧縮をした場合はその分の解像度の低下も加味して、最小錯乱円δ (mm)を決定する。なお、以降、ブレが許容できる範囲に収まる最大の露光時間を、単に非ブレ露光時間と呼ぶことにする。
【００２４】
PTに関する非ブレ露光時間tp (sec)は、PTZ制御部から焦点距離f (mm)、角速度ω (rad/sec)を受け取った上で、露光時間制御部１２０が算出する（３０１）。なお、最小錯乱円の直径δ (mm)の値は、事前に与えておく。なお、非ブレ露光時間tp (sec)が撮像部１１０の仕様と比較して短かった場合は（３０２）、撮像部１１０の仕様が定める最短露光時間tmin (sec)をtp (sec)として用いる（３０３）。
【００２５】
また、撮像部１１０の露光時間が離散的にのみ設定できる型であった場合でも、tp (sec)以下の値が設定できれば問題はない。
【００２６】
露光時間制御部１２０は非ブレ露光時間tp (sec)の値に従って撮像部１１０の露光時間を制御する（３０４）。以上が、PTZのうち、PTを動作させた場合の実施例１の動作である。
【００２７】
次に、PTZのZ(ズーム)を動作させた場合の実施例１の動作について、図５を用いて説明する。PTZ制御部１２４は、通信インタフェース１３０、通信制御部１２５から受け取った外部からの指示に基づき、所定の速さでズームを動作させる（５００）。また、画像処理部１１１が、画像認識の結果を用いてPTZ制御部１２４に指示を出してもよい。例えば、侵入物を認識したとき、人物を認識した時、顔を認識した時に、それらの物体が所定の大きさになるよう、ズームを調整する機能が考えられる。
【００２８】
ただし、PTのときと同様に、ズーム動作によって、露光時間によっては画像にブレが生じる可能性がある。
【００２９】
PTZ制御部が、焦点距離の変化量fd (mm/sec)でズーム動作を行った場合、露光時間とブレの関係について図６を用いて説明する。露光時間がt0 (sec)であったとすると、焦点距離の変化はfd×t0 (mm)となる。このとき画角が変化するため、ブレが起こる可能性は撮像部１１０の外縁で大きくなる。ここで、撮像部１１０の中心から一定の範囲についてブレを抑えるとして、撮像部１１０の中心からl(mm)の位置にある点Bの近傍について考える。fd>0として、焦点距離がfを中心としてf- fd×t0/2 (mm)からf+fd×t0/2 (mm)へ変化したとき、点B近傍では、点Aに結像していた像が、点B、点Cへと移動する（fd<0の場合は逆）。点A点C間の距離をd (mm)として、点Bを点A点Cの中点とすれば
(l+d/2)/(f+fd×t0/2)= (l-d/2)/(f-fd×t0/2)
という関係式がなりたつ。ズームによって発生した直線上のブレについて、ブレが許容できる長さをt (mm)とする。上記dの値がtよりも小さければ、焦点距離の変化によって生じたブレは許容できるので、ズームに関する非ブレ露光時間tz (sec)は
tz=(t×f)/(l×fd)
となる。さらに、ブレを画像上で視認できないレベルにまで抑えたければ、tは最小錯乱円の直径δ (mm)に設定すればよい。
【００３０】
ズームに関する非ブレ露光時間tz (sec)は、PTZ制御部から焦点距離の変化量fd (mm/sec)を受け取った上で、露光時間制御部１２０が算出する（５０１）。なお、tz (sec)が撮像部１１０の仕様と比較して短かった場合は（５０２）、最短露光時間tmin (sec)をtz (sec)として用いる（５０３）。また、撮像部１１０の露光時間が離散的にのみ設定できる型であった場合でも、tz (sec)以下の値が設定できれば問題はない。
【００３１】
露光時間制御部１２０は、算出した非ブレ露光時間tz (sec)の値に従って撮像部１１０の露光時間を制御する（５０４）。以上が、PTZのうち、Zを動作させた場合の実施例１の動作である。
【００３２】
PTZのPTとZを同時に動作させた場合については、露光時間制御部１２０はそれぞれの非ブレ露光時間tp (sec)とtz (sec)を算出する。tpが小さければPTのみが動作したものとし、tzが小さければZのみが動作したものとして、それぞれ図３、図５の処理を行えばよい。
【００３３】
図７にカメラを実際に使用するときのシステム図を示す。カメラ７００と、カメラ７００の画像の閲覧や、カメラ７００の設定の変更をするための計算機７０１、ディスプレイ７０２から構成される。なお、カメラ７００は、カメラ本体１００、光学系１０１、パンチルト機構１０２から構成される。
カメラ７００の設定を行うときは、例えばディスプレイ７０２に図８に示すようなＧＵＩ(Graphical User Interface)画面８００を用いて行う。カメラＩＤを選択するインタフェース８０１、PTに関する非ブレ露光時間の自動設定機能の使用／不使用を設定するインタフェース８０２、Zに関する非ブレ露光時間の自動設定機能の使用／不使用を設定するインタフェース８０３からなる。これによって、ある一つのカメラに対して、PTまたはZに関する非ブレ露光時間の自動設定機能の使用／不使用を設定することができる。
【実施例２】
【００３４】
実施例１において設定される非ブレ露光時間は非常に短い。PTに関しての非ブレ露光時間tpを実際に計算する。
【００３５】
撮像部１１０が、対角線長6 (mm) (1/3型に相当)、1920×1080画素、ベイヤ配列であった場合、最小錯乱円の直径δは画素の大きさの2倍として、δ=5.4 (μm)となる。焦点距離を4.85 (mm)(=35mmフォーマット換算で35(mm))とした場合、角速度1.05 (rad/sec)=60 (degree/sec)ならば非ブレ露光時間は1.1 (ms)となる。同様に、1280×720画素のセンサを用いた場合は、1.6 (ms)、640×480画素のセンサを用いた場合は、3.0 (ms)となる。
【００３６】
上記の露光時間においては、特に室内では感度を上げなければならないことが多い。しかし、感度を上げると、ノイズが多く発生するという問題がある。
【００３７】
本発明では、露光時間が短くなれば逆にフレームレートを向上できる点に着目した。実施例２は、非ブレ露光時間の自動設定を行った後、非ブレ露光時間の短さに応じてフレームレートを自動的に高める（フレームレート自動調整機能）処理を行う。人間の目は時間平均を持っているため、たとえノイズの多い画像であっても、多数のフレームを高速に提示することで画像を識別しやすくなる、という効果がある。
【００３８】
PTZのPTを動作させたときの、実施例２の処理について図９を用いて説明する。図９において処理３００から処理３０４は、図３と同一であり、実施例１で説明したとおりである。実施例２では、さらにフレームレートを1/tp=ω/(2×arctan(t/(2×f)) (fps)に設定する処理が追加される（９００）。露光時間制御部１２０は、PTに関する非ブレ露光時間tp(sec)をフレームレート制御部１２３に渡す。フレームレート制御部は、新たなフレームレートの値1/tp (fps)を算出し、撮像部１１０と画像処理部１１１に対して、新たなフレームレートの値で撮像および画像処理を行うよう制御する。なお、フレームレートは厳密に1/tp (fps)でなくとも良く、少なくとも1/tp (fps)以上の値に設定すればよい。
【００３９】
PTZのZを動作させたときの、実施例２の動作について図１０を用いて説明する。図１０において、処理５００から処理５０４までは図５と同一であり、実施例１で説明したとおりである。実施例２では、さらにフレームレートを1/tz=(l×fd)/(t×f) (fps)に設定する処理が追加される（１０００）。露光時間制御部１２０は、PTに関する非ブレ露光時間tz (sec)を算出し、フレームレート制御部１２３に渡す。フレームレート制御部１２３は、新たなフレームレートの値1/tz (fps)を算出し、撮像部１１０と画像処理部１１１に対して、新たなフレームレートの値あるいはそれ以上の値で撮像および画像処理を行うよう制御する。なお、フレームレートは厳密に1/tz (fps)に設定する必要はなく、少なくとも1/tz (fps)以上の値に設定すればよい。
【００４０】
PTZのPTとZを同時に動作させた場合、露光時間制御部１２０はそれぞれの非ブレ露光時間tp (sec)とtz (sec)を算出する。tpが小さければPTのみが動作したものとし、tzが小さければZのみが動作したものとして、それぞれ図９、図１０の処理を行えばよい。
【００４１】
PTあるいはZに関するフレームレート自動調整機能の使用／不使用を行うときは、例えばディスプレイ７０２に図１１に示すようなＧＵＩ画面１１００を用いて行う。図８のＧＵＩ画面８００に対して、PTに関するフレームレート自動調整機能の使用／不使用を設定するインタフェース１１０１、Zに関するフレームレート自動調整機能の使用／不使用を設定するインタフェース１１０２が追加されている。これによって、所定のカメラＩＤのカメラに対して、PTまたはZに関するフレームレート自動調整機能の使用／不使用を設定することができる。
【符号の説明】
【００４２】
１００  カメラ本体
１０１  光学系
１０２  パンチルト機構
１１０  撮像部
１１１  画像処理部
１２０  露光時間制御部
１２１  感度制御部
１２２  絞り制御部
１２３  フレームレート制御部
１２４  パン、チルト、ズーム制御部
１２５  通信制御部
１３０  通信インタフェース
７００  カメラ
７０１  ＰＣ
７０２  ディスプレイ
８００  設定画面の例１
１１００  設定画面の例２
【図１】
2012253475.tif 000003
【図２】
2012253475.tif 000004
【図３】
2012253475.tif 000005
【図４】
2012253475.tif 000006
【図５】
2012253475.tif 000007
【図６】
2012253475.tif 000008
【図７】
2012253475.tif 000009
【図８】
2012253475.tif 000010
【図９】
2012253475.tif 000011
【図１０】
2012253475.tif 000012
【図１１】
2012253475.tif 000013