(57)【要約】【課題】パン・チルトを行っても、像の大きさや形状変化の少ない画像取り込み装置を提供する。【解決手段】画像取り込み装置は、撮像カメラと、撮像カメラの撮影方向を変えるためのパン・チルト機構とを備えている。画像取り込み装置から出力される画像データはｆθ特性を有する。ｆθ特性は撮像カメラの光学系あるいは、画像変換手段により得る。ｆθ特性は、物体の見込み角が同じならば、角度によらず像の大きさは変化しないため、画像の歪は少ない。【選択図】  図１
2004289367.tif 000002
【特許請求の範囲】
【請求項１】
物体の光学像を形成する光学系と光学系により形成された光学像を電気信号に変換する撮像素子とを有する撮像カメラと、撮像カメラの撮影方向を変えるために、撮像カメラを少なくとも一方向に回転させる回転機構とを備えた画像取り込み装置であって、画像取り込み装置から出力される画像データはｆθ特性を有することを特徴とする画像取り込み装置。
【請求項２】
前記光学系がｆθ特性を有することを特徴とする請求項１に記載の画像取り込み装置。
【請求項３】
前記撮像素子で変換された画像の電気信号を、ｆθ特性を持つ２次元画像データに変換する画像変換手段を有することを特徴とする請求項１に記載の画像取り込み装置。
【請求項４】
前記回転機構の回転中心は、前記光学系の略入射瞳中心にあることを特徴とする請求項１乃至３のいずれかに記載の画像取り込み装置。
【請求項５】
前記光学系の半画角は４０°以上であることを特徴とする請求項１乃至４のいずれかに記載の画像取り込み装置。
【請求項６】
請求項１乃至５記載のいずれかの画像取り込み装置を有し、該画像取り込み装置により出力されるｆθ特性を有する画像データを用いて画像認識を行うことを特徴とする画像認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、１台のカメラで広い範囲の画像を撮影するために、広角レンズとパン・チルト機構を備えた画像取り込み装置に関する。また、そのような画像取り込み装置を備えた画像認識装置に関する。
【０００２】
【従来の技術】
【特許文献１】
特開平１１−３３１８２１号公報
【特許文献２】
特開２０００−２４２７７３号公報
【特許文献３】
特開平６−３４８９１７号公報
特許文献１には、１台のカメラで広い範囲をカバーするようにパン（水平方向回転）およびチルト  （垂直方向回転）の回転動作を行う監視カメラが開示されている。
【０００３】
【発明が解決しようとする課題】
特許文献１に開示されているようなパン・チルト動作を行う撮像カメラの光学系は、一般的にｆｔａｎθ特性を持っている。ｆｔａｎθ特性を持つ光学系とは、通常の写真用カメラのレンズやビデオカメラ用レンズのことであり、物体から出た光が光学系の入射瞳中心に角度θで入射した時、光軸からｆｔａｎθの位置に像が形成される光学系である。ただし、ｆは光学系の焦点距離である。
【０００４】
このようなカメラのパン・チルト動作による作用を以下に示す。図８は、ｆｔａｎθ特性をもつ撮像カメラのパン動作と、撮像される画像との関係を模式的に示している。撮像カメラ１００は、ｆｔａｎθ特性を持つカメラであり、物体１０１の像を像面１０２に結像している。物体１０１は正方形状であり、紙面の上下方向にも大きさを持っている。図８（ａ）は物体１０１を画面中心に配置した場合の図であり、図８（ｂ）は、図８（ａ）における物体１０１の像１０３ａを示している。図８（ｃ）は、撮像カメラ１００を紙面に垂直な軸を中心として回転（パン）させた場合の図であり、図８（ｄ）に、図８（ｃ）における物体１０１の像１０３ｂが示されている。
【０００５】
図８（ｄ）に示すように、撮像カメラを回転させると、画面中心付近と周辺付近とで、物体の見込み角に対する像倍率が変化するため、像の大きさが変化する。
【０００６】
つまり、同じ位置から同じ物体を撮影したとしても、像面での物体像の位置の違い、例えば画面中心と周辺部と、で物体の大きさおよび形状が異なることになる。特に光学系が広角になるほどこの影響は大きくなる。
【０００７】
例えば、パン・チルト動作を行う監視カメラの場合では、同じ物体でありながら大きさ、形状が異なって観察されてしまい、別の物体であると誤認識される可能性が生じる。特に計算機によって画像認識を行う場合など、画像認識が困難になる問題がある。
【０００８】
本発明は、上記問題点に鑑みてなされた発明であり、パン・チルト動作を行っても、像の大きさや形状の変化の少ない画像取り込み装置を提供することを目的とする。また、画像取り込み装置により得られる画像から、簡単に高速に画像認識できる画像認識装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、第１の発明は、物体の光学像を形成する光学系と光学系により形成された光学像を電気信号に変換する撮像素子とを有する撮像カメラと、撮像カメラの撮影方向を変えるために、撮像カメラを少なくとも一方向に回転させる回転機構とを備えた画像取り込み装置であって、画像取り込み装置から出力される画像データはｆθ特性を有する。
【００１０】
第２の発明は、第１の発明の画像取り込み装置において、前記光学系がｆθ特性を有する。
【００１１】
第３の発明は、第１の発明の画像取り込み装置において、前記撮像素子で変換された画像の電気信号を、ｆθ特性を持つ２次元画像データに変換する画像変換手段を有する。
【００１２】
第４の発明は、第１の発明の画像取り込み装置において、前記回転機構の回転中心は、前記光学系の略入射瞳中心にある。
【００１３】
第５の発明は、第１乃至第４のいずれかの画像取り込み装置において、前記光学系の半画角は４０°以上である。
【００１４】
第６の発明は、第１乃至第５記載のいずれかの画像取り込み装置を有し、該画像取り込み装置により出力されるｆθ特性を有する画像データを用いて画像認識を行う画像認識装置である。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態において、図面を参照しながら説明する。なお、以下に示す実施形態の相互において、同一の部分や相当する部分には、同一の符号を付して重複説明を適宜省略する。
【００１６】
（第１の実施の形態）
第１の実施の形態は、本発明の画像取り込み装置の一例として監視システムの監視カメラに適用された場合である。図２は監視システムの構成を示すブロック図である。図２に示すように、監視システム１は、所定の監視対象領域を撮影する監視カメラ２と監視カメラをコントロールするコントローラ３と、監視カメラ２からの画像出力に基づいて画像認識を行う画像認識部４とを備えている。監視カメラ２とコントローラ３と画像認識部４とは通信ネットワーク５を介して接続される。
【００１７】
本実施形態の監視システム１では、監視カメラ２で撮像された画像データは、通信ネットワーク５を介しコントローラ３に送信される。コントローラ３によって受信された画像は、画像認識部４に送信されて画像認識が行われ、不審者の侵入や監視対象領域の異常を監視する。また、コントローラ３は、監視カメラ２に例えば撮影方向の指示等の指令を送信する。通信ネットワーク５は、無線や有線のどのような伝達媒体によって構築されたものであってもよい。
【００１８】
図３は、監視システムに使用される監視カメラの機械構成を示す図である。監視カメラ２は撮像カメラ２０、Ｕ字状の枠体４０、撮像カメラ２０をパン動作させるモータ４１、撮像カメラ２０をチルト動作させるモータ４２を備えている。
【００１９】
枠体４０の下面に突出する回転軸４３はモータ４１の回転軸と連結されており、モータ４１が回転することで、撮像カメラ２０はパン動作を行う。また、撮像カメラ２０の側面に突出する回転軸４４はモータ４２の回転軸と連結されており、モータ４２が回転することで撮像カメラ２０はチルト動作を行う。
【００２０】
図２に戻り、監視カメラ２とコントローラ３の構成について説明する。図２において、監視カメラ２は、撮像部２１、画像生成部２２、駆動部２３、制御部２４、記憶部２５および通信Ｉ／Ｆ部２６を備えている。
【００２１】
撮像部は、撮像光学系２００と撮像素子２１０とを備えている。被写体からの光は撮像光学系２００により、撮像素子２０１の撮像面上に結像され、被写体の像となる。
【００２２】
撮像素子２１０は、撮像面上の被写体の像を電気信号に変換する素子であり、複数の受光素子が２次元的にマトリックス状に配列されている。撮像素子２１０は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）である。また、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー等の、他の固体撮像素子であっても良い。
【００２３】
撮像素子２１０は、制御部２４の制御により露出動作の開始及び終了や撮像素子における各画素の出力信号の読み出し等の撮像動作が制御される。
【００２４】
撮像光学系２００については、後で詳しく述べる。
【００２５】
画像生成部２２では、画像に対する黒レベルの決定、γ補正、ホワイトバランス調整、輪郭補正等の各種画像処理を行い、画像データを制御部２４に出力する。
【００２６】
通信Ｉ／Ｆ部２６は、通信ネットワーク５との間で通信を行うためのインターフェイスであり、制御部２４に出力された画像生成部２２からの画像データを、コントローラ３に送信する。
【００２７】
駆動部２３は、モータ４１，４２を含み、制御部２４から出力される制御信号によりカメラをパン・チルト動作させる。
【００２８】
記憶部２５は、監視カメラ２の動作に必要な各種プログラム、プログラム実行中に必要な各種データを記憶する記憶回路である。
【００２９】
制御部２４は、例えばマイクロプロセッサ等を備えて構成され、コントローラ３からの指令を通信Ｉ／Ｆ部２６を介して受け取るとともに、撮像部２１、画像生成部２２、駆動部２３、記憶部２５および通信Ｉ／Ｆ部２６の各部を制御する。
【００３０】
次に、撮像光学系２００について説明する。撮像光学系２００は、ｆθ特性を有している。ｆθ特性とは、撮像光学系の入射瞳中心に入射する光線の角度θに対し、光軸からｆθの位置に像が形成される光学系である。ただし、ｆは撮像光学系の焦点距離である。つまり、撮像光学系は、パン・チルト動作を行っても、物体の見こみ角に対する像倍率は変化しない。
【００３１】
監視カメラのパン・チルト動作による作用を以下に示す。図１は、ｆθ特性をもつ撮像カメラのパン動作と、撮像される画像との関係を模式的に示している。撮像カメラ２０は、ｆθ特性を持つカメラであり、物体２０１の像を像面２０２に結像している。物体２０１は正方形状であり、紙面の上下方向にも大きさを持っている。図１（ａ）は物体２０１を画面中心に配置した場合の図であり、図１（ｂ）は、図１（ａ）における物体２０１の像２０３ａを示している。図１（ｃ）は、撮像カメラ２０を紙面に垂直な軸を中心として回転（パン）させた場合の図であり、図８（ｄ）に、図８（ｃ）における物体２０１の像２０３ｂが示されている。図１（ａ）および（ｃ）には、物体から出た光線が、撮像レンズ２０の入射瞳を通り像面２０２に至る様子が示されている。図中、破線で書かれている円弧２０４は、射出瞳中心を中心とする円弧である。射出瞳から射出する光線と円弧２０４との交点と、光軸と円弧２０４との交点との間の円弧の長さが像高に対応することを意味している。図１（ｄ）に示されるように、ｆθ光学系の採用により、ｆｔａｎθ光学系と比較して画面周辺部の歪が小さい。
【００３２】
ｆθ光学系は、半画角４０°以上であることが好ましい。図４は、ｆθ系とｆｔａｎθ系の、画角と像高との関係を示す図である。焦点距離１ｍｍの場合の画角と像高との関係を示している。また、横軸の画角は半画角である。図４に示すように、画角４０°以上で、ｆθ特性とｆｔａｎθ特性との像高差が大きくなり、ｆｔａｎθ特性では画像の歪が大きくなることが示されている。一方、ｆθ特性では、物体の見込み角が同じならば、角度によらず像の大きさは変化しないため、画像の歪は少ない。半画角４０°以上であると、１回の撮像で広い領域の画像が得られると同時に、歪の少ない画像が得られる。
【００３３】
また、パン・チルトの各々の回転中心が、撮像光学系の略入射瞳中心にあることが望ましい。図６は入射瞳位置と回転中心との関係を模式的に示す図である。図６（ａ）は回転中心が入射瞳２２０の中心にある場合、図６（ｂ）は回転中心が入射瞳２２０の中心にない場合を示している。それぞれの図において、撮像光学系２２０等が回転した状態を破線で示している。図６（ｂ）に示すように、回転中心が入射瞳２２０の中心にないと、同一物点からの入射光が撮像光学系２００の回転角によって変化するため、正確なｆθ特性が得られない。特に物体が近距離にある場合に影響が大きい。回転中心が入射瞳中心にあることで、撮像光学系が回転しても入射瞳位置が変化せず、撮像された画像が精度良くｆθ特性を得ることができる。
【００３４】
監視カメラの場合、被写体は一般に有限の距離に存在し、また監視カメラから同じような距離に存在する。したがって、監視カメラから見た被写体の見こみ角が同じならば像の大きさが変わらないｆθ特性を持つことが好ましい。
【００３５】
図２に戻り、コントローラ３は、操作部３１、表示部３２、画像バッファ３３、制御部３４、通信Ｉ／Ｆ部３６とを備えている。
【００３６】
操作部３１は、監視カメラ２の回転等の指令を与える操作ボタン、レバー等からなる。表示部３２は、監視カメラ２から送信された画像を表示するモニタを有し、また監視領域の異常等を知らせる警報装置等を含む。画像バッファ３３は、監視カメラ２から送信される画像データを一時的に保存しておくメモリである。通信Ｉ／Ｆ部３６は、通信ネットワーク５との間で通信を行うためのインターフェイスである。制御部３４は、操作部３１、表示部３２、画像バッファ３３、通信Ｉ／Ｆ部３６を制御するとともに、画像認識部４に画像データ等の画像認識に必要なデータを送信する。
【００３７】
画像認識部４には、通信ネットワーク５を介して、コントローラ３から、撮像された画像が送信される。また、監視カメラ２の水平方向あるいは垂直方向の回転情報も同時に送られる。
【００３８】
監視カメラ２は、例えば左から右方向の水平回転動作、上から下方向への垂直回転動作、右から左方向への水平回転動作というように、監視領域を連続的に等速にスキャンして監視している。監視カメラのスキャン動作の間、撮像素子は例えば１／１５秒毎に画像を撮像している。
【００３９】
画像認識部４は、１／１５秒毎に連続して入力される画像を比較することで、画像の認識を行う。画像認識法は既知の方法を利用する。ここで、画像認識とは、撮像画像から、物体の形状認識や撮像画像内（監視対象領域）の状態の変化を認識することを言う。
【００４０】
カメラが水平回転動作をしている場合を考えた時、ｆｔａｎθ光学系では画面の周辺部に行くほど物体が高速で移動するため、物体が移動していると誤認する可能性がある。これを避けるためには、画面の場所に応じた移動速度の補正を行う必要があり、新たな画像変換回路が必要となる。しかし、ｆθ光学系により撮像された画面中心付近の物体は、画面内で左右方向に等速で移動するので、誤認の恐れは少ない。また、ｆｔａｎθ光学系では、画面周辺部ほど歪のために像が大きくなるが、これでは物体が近づいたためなのか光学系の射影特性によるものなのか区別がつかない。しかし、ｆθ光学系では画像の大きさの変化が少ないため、そのような判別不能の状態は起こり難い。
【００４１】
本実施形態では、水平方向の回転の場合、画面中心の横方向に回転角度と被写体の移動量とは比例関係にあり、上下方向の回転では、同様に画面中心の上下方向に回転角度と被写体の移動量とは比例関係にある。また、画面中心と周辺部とで、物体の大きさの変化が少ない。従って、画像の認識が容易となり、より簡単に高速に画像処理を行うことができる。
【００４２】
（第２の実施の形態）
本発明の第２の実施の形態は、第１の実施の形態と同様の監視システムであるが、以下の点で異なる。
【００４３】
第２の実施の形態の監視カメラは、ｆｔａｎθ特性を有する光学系を備えている。また、図５に示すように、画像取り込み装置である監視カメラ２は、撮像部２１、画像生成部２２、駆動部２３、制御部２４、記憶部２５、通信Ｉ／Ｆ部２６に加え、画像変換部２７を有している。画像変換部２７は、ｆｔａｎθ特性を持つ画像をｆθ特性の画像に変換する回路である。ここで、ｆｔａｎθ特性を持つ画像とは、撮像光学系の画角θの位置に物体が存在するとき、画像中心（撮像光学系の光軸）からｔａｎθに比例する位置に物体の像が位置する画像のことである。また、ｆθ特性を持つ画像とは、撮像光学系の画角θの位置に物体が存在するとき、画像中心からθに比例する位置に物体の像が位置する画像のことである。
【００４４】
撮像素子２１０で形成された物体の像は電気信号に変換され、画像生成部２２により各種画像処理が行われ、画像データとして制御部２４に出力される。画像データはさらに画像変換部２７に出力され画像変換が行われる。以下に、画像変換部２７での処理を説明する。
【００４５】
図７は、画像変換処理を模式的に説明する図である。画像は、Ｍ×Ｎ個の画素で構成されている。ただし、Ｍは横方向、Ｎは上下方向のそれぞれの画素数であり、それぞれ偶数である。ｆｔａｎθ光学系で撮像された画像は像高に対しｆｔａｎθの特性を持っている。図７において、画像内の任意の位置（ｍ，ｎ）は、画像の中心からの距離ｒｍｎに対しｆｔａｎθ特性を有し、画像中心を通る左右方向の直線からの角度φｍｎは、変化しない。
【００４６】
このことから、以下に示す（ａ）〜（ｃ）の手順に従って画像変換を行う。
（ａ）各画素の位置（ｍ，ｎ）を、画像中心の画素（Ｍ／２，Ｎ／２）に対する極座標表示に変換する  ［（ｍ，ｎ）→（ｒｍｎ，φｍｎ）］。
（ｂ）各画素について、ｒ方向の拡大縮小変換を行う。
［（ｒｍｎ，φｍｎ）→（ｒｍ’ｎ’，φｍｎ）］
ｒｍ’ｎ’  ＝  ｆ・ｔａｎ‐１（ｒｍｎ  ／  ｆ）
（ｃ）各画素について、極座標表示（ｒｍ’ｎ’，φｍｎ）を直交座標表示（ｍ’，ｎ’）に変換し、変換前の画素の値を対応する画像の位置に貼り付ける。これらの手順をすべての画素に対し施すことで、ｆｔａｎθ特性からｆθ特性を有する画像に変換することができる。変換前後の画像で画素が１対１に対応しない場合、変換後の画像に隙間ができるが、周知の画像補間法で補間することにより全ての画素に値を持たせることができる。また、変換後の画素が複数の値を持つ場合には、例えばそれらの値を平均化することで対応できる。
【００４７】
上記処理は、撮像カメラの仕様、例えば撮像素子の大きさ、画素数、光学系の焦点距離が一定ならば、常に一定の処理である。また、変換前後で画素が１対１に対応している場合は、データを並び換えるだけであり複雑な計算は必要ない。そうでない場合でも補間等の簡単な計算ですむ。また、画角の小さい領域では、ｆｔａｎθ特性とｆθ特性にはほとんど差がないため（図４参照のこと）、処理を省略できる。従って上記変換処理は高速に処理できる。また、これらの処理は、専用のプロセッサを使用することでさらに高速に処理できる。また、専用のプロセッサに限らず、その処理手順を記載したプログラムによって処理されてもよい。プログラムによって計算される場合には、撮像カメラの仕様が変化したとしても柔軟に対応することができる。
【００４８】
さらに、光学系が歪曲収差を持っていたとしても、上記（ｂ）の手順において、歪曲を補正する拡大縮小変換を同時に行うことで、撮像光学系の持つ歪曲収差を補正することができる。光学系が一般的なｆｔａｎθ系であること、また光学系に歪曲収差が存在しても補正できることから、光学系にかかるコストを低減することができる。
【００４９】
この撮像光学系は、入射瞳位置中心が、パン・チルトの各々の回転中心であることが望ましい。この構成をとることで、撮像カメラが回転しても入射瞳位置が変化せず、変換された画像が精度良くｆθ特性を得ることができる。
【００５０】
画像変換部２７で画像変換された画像データは、制御部２４および通信Ｉ／Ｆ部２６、通信ネットワーク５を介して画像処理部４に送信される。
【００５１】
画像認識部４に送られた画像は、第１の実施の形態と同様の画像認識が行われる。ｆθ特性を持つ画像を用いて画像認識を行うため、画像の認識が容易となる。
【００５２】
なお、第１の実施の形態および第２の実施の形態においては、撮像カメラの回転に対し動画撮影のように短い時間間隔で撮像が行われているが、撮像間隔はこれに限らない。例えば、カメラの回転方向の最大画角よりも少し小さい回転角で撮像カメラを回転させた後、撮像を行っても良い。このようにして得られる画像も、回転角と撮像画像上での長さの対応関係（ｆθ特性）を有し、また画像歪も小さいので、画像認識を容易に行うことができる。
【００５３】
【発明の効果】
請求項１の発明では、画像取り込み装置から出力される画像データがｆθ特性を有しているため、物体の見込み角が同じならば、角度によらず像の大きさは変化せず、歪の少ない画像が得られる。また、カメラの回転角と撮像画面内の移動量が比例するため、このような画像取り込み装置によって得られる画像を画像認識に用いた場合、画像認識が容易になる。
【００５４】
請求項２の発明では、光学系によってｆθ特性を持つ画像データを得ることができるため、画像変換のために高速な計算処理が必要でなくなる。
【００５５】
請求項３の発明では、一般的なｆｔａｎθ系等の光学系が使用できるため、コストの低下が可能となる。また、光学系の持つ歪曲収差を画像変換と同時に補正できる。
【００５６】
請求項４の発明では、撮像カメラの回転によっても、入射瞳位置が変化しないため、撮像された画像が精度良くｆθ特性を得ることができる。
【００５７】
請求項５の発明では、画角４０°以上の光学系に用いているため、一度に広い範囲を撮像することが出来、また歪の少ない画像が得られる。
【００５８】
請求項６の発明では、画像認識にｆθ特性を有する画像を用いているため、容易に画像認識を行うことができる。
【図面の簡単な説明】
【図１】ｆθ特性をもつ撮像カメラのパン動作と、撮像される画像との関係を模式的に示す図である。
【図２】第１の実施の形態である監視システムの構成を示すブロック図である。
【図３】監視カメラの機械構成を示す図である。
【図４】ｆθ系とｆｔａｎθ系の、画角と像高との関係を示す図である。
【図５】第２の実施の形態である監視システムの構成を示すブロック図である。
【図６】入射瞳位置と回転中心との関係を模式的に示す図である。
【図７】第２の実施の形態の画像変換処理を説明する図である。
【図８】ｆｔａｎθ特性をもつ撮像カメラのパン動作と、撮像される画像との関係を模式的に示す図である。
【符号の説明】
１  監視システム
２  監視カメラ
３  コントローラ
４  画像認識部
５  通信ネットワーク
２１  撮像部
２２  画像生成部
２３  駆動部
２４  制御部（監視カメラ）
２５  記憶部
２６  通信Ｉ／Ｆ部（監視カメラ）
３１  操作部
３２  表示部
３３  画像バッファ
３４  制御部（コントローラ）
３６  通信Ｉ／Ｆ部（コントローラ）
２００  撮像光学系
２０１  物体
２０２  像面
２１０  撮像素子
２２０  入射瞳
【図１】
2004289367.tif 000003
【図２】
2004289367.tif 000004
【図３】
2004289367.tif 000005
【図４】
2004289367.tif 000006
【図５】
2004289367.tif 000007
【図６】
2004289367.tif 000008
【図７】
2004289367.tif 000009
【図８】
2004289367.tif 000010