(57)【要約】      （修正有）【課題】全方位画像を取得し、注目事象を検出して、事象の詳細なパン・チルト・ズーム画像を取得する。【解決手段】全方位（ＯＤ）撮像装置２００は、シーンのＯＤ画像１２１を取得する。パン・チルト・ズーム（ＰＴＺ）撮像装置１１０は、シーンのＰＴＺ画像１２２を取得する。入力画像中の画素とシーン中の位置の関係は極座標により表される。ＯＤ撮像装置２００からの入力画像において事象が検出され、ＰＴＺ撮像装置１１０が、極座標で表される関係を用いてシーン中のその事象に向けられる。【選択図】図１
2006352851.tif 000002
【特許請求の範囲】
【請求項１】
複合カメラによりシーンの画像を取得する方法であって、
複合カメラの全方位撮像装置によりシーンの全方位画像を取得すること、
前記全方位画像中の画素と前記シーン中の位置の関係を極座標により表すこと、
前記全方位画像を用いて前記シーン中の事象を検出すること、
前記極座標で表される前記画素と前記位置の前記関係を用いて前記複合カメラのパン・チルト・ズーム撮像装置を前記シーン中の前記事象に向けること、及び
前記パン・チルト・ズーム撮像装置により前記事象のパン・チルト・ズーム画像を取得すること
を含む、複合カメラによりシーンの画像を取得する方法。
【請求項２】
前記全方位撮像装置と前記パン・チルト・ズーム撮像装置の光学中心は実質的に同位置にある、請求項１に記載の方法。
【請求項３】
前記全方位撮像装置は反射屈折部品を含む、請求項１に記載の方法。
【請求項４】
複数の全方位撮像装置を前記複合カメラの光学中心の円周上に配置すること
をさらに含む、請求項１に記載の方法。
【請求項５】
前記関係は、
φ＝ａｒｃｔａｎ（（ｙ−ｙ０）／（ｘ−ｘ０））
θ＝ａｒｃｔａｎ（ｓｑｒｔ（（ｙ−ｙ０）２＋（ｘ−ｘ０）２）／ｈ）
として表され、ここで、φ及びθは、画素（ｘ，ｙ）に結像する入射光線の前記極座標であり、（ｘ０，ｙ０，ｈ）の組は較正パラメータである、請求項１に記載の方法。
【請求項６】
前記全方位画像から一対のオフセットパラメータ（φ０，θ０）を求めることであって、前記オフセットパラメータは、前記パン・チルト・ズーム撮像装置を前記事象に向けるためのパン座標及びチルト座標に対応すること
をさらに含む、請求項１に記載の方法。
【請求項７】
前記較正パラメータは予め決められている、請求項５に記載の方法。
【請求項８】
前記全方位画像にコンピュータビジョン技法を適用することによって、前記事象を検出すること
をさらに含む、請求項１に記載の方法。
【請求項９】
前記コンピュータビジョン技法はオブジェクト検出を含む、請求項８に記載の方法。
【請求項１０】
前記コンピュータビジョン技法はオブジェクト認識を含む、請求項８に記載の方法。
【請求項１１】
前記コンピュータビジョン技法はオブジェクト追跡を含む、請求項８に記載の方法。
【請求項１２】
前記全方位画像に基づいて実世界の局所的な上方向を提供すること
をさらに含む、請求項１に記載の方法。
【請求項１３】
前記コンピュータビジョン技法を適用する前に前記全方位画像を前記極座標に事前にワーピングすること
をさらに含む、請求項８に記載の方法。
【請求項１４】
前記シーン中の前記事象を含む領域のサイズを求めること、
前記パン・チルト・ズーム撮像装置を前記領域の前記サイズにズームすること
をさらに含む、請求項１に記載の方法。
【請求項１５】
前記ズームすることは、
前記パン・チルト・ズーム撮像装置の焦点距離ｆを視野αに応じて
ｆ＝１／２ａｒｃｔａｎ（α）
に従って設定すること
をさらに含む、請求項１４に記載の方法。
【請求項１６】
前記全方位画像からパノラマ画像を作成すること、
前記事象の詳細度の高いパン・チルト・ズーム画像を取得すること、及び
前記パノラマ画像内に前記詳細度の高いパン・チルト・ズーム画像を合成すること
をさらに含む、請求項１に記載の方法。
【請求項１７】
複合カメラによりシーンの画像を取得する装置であって、
シーンの全方位画像を取得するように構成される複合カメラの全方位撮像装置と、
前記全方位画像中の画素と前記シーン中の位置の関係を極座標により表す手段と、
前記全方位画像を用いて前記シーン中の事象を検出する手段と、
前記極座標で表される前記画素と前記位置の前記関係を用いて前記複合カメラのパン・チルト・ズーム撮像装置を前記シーン中の前記事象に向ける手段と
を備える、複合カメラによりシーンの画像を取得する装置。
【請求項１８】
前記全方位撮像装置と前記パン・チルト・ズーム撮像装置の光学中心は実質的に同位置にある、請求項１７に記載の装置。
【請求項１９】
前記全方位撮像装置は反射屈折部品を含む、請求項１７に記載の装置。
【請求項２０】
前記全方位撮像装置は、前記複合カメラの光学中心の円周上に配置される複数の撮像装置を含む、請求項１７に記載の装置。
【請求項２１】
前記関係は、
φ＝ａｒｃｔａｎ（（ｙ−ｙ０）／（ｘ−ｘ０））
θ＝ａｒｃｔａｎ（ｓｑｒｔ（（ｙ−ｙ０）２＋（ｘ−ｘ０）２）／ｈ）
として表され、ここで、φ及びθは、画素（ｘ，ｙ）に結像する入射光線の前記極座標であり、（ｘ０，ｙ０，ｈ）の組は較正パラメータである、請求項１７に記載の装置。
【請求項２２】
前記全方位画像から一対のオフセットパラメータ（φ０，θ０）を求める手段さらに備え、前記オフセットパラメータは、前記パン・チルト・ズーム撮像装置を前記事象に向けるためのパン座標及びチルト座標に対応する、請求項１７に記載の装置。
【請求項２３】
前記較正パラメータは予め決められている、請求項２１に記載の装置。
【請求項２４】
前記検出する手段はコンピュータビジョン技法を含む、請求項１７に記載の装置。
【請求項２５】
前記コンピュータビジョン技法はオブジェクト検出を含む、請求項２４に記載の装置。
【請求項２６】
前記コンピュータビジョン技法はオブジェクト認識を含む、請求項２４に記載の装置。
【請求項２７】
前記コンピュータビジョン技法はオブジェクト追跡を含む、請求項２４に記載の装置。
【請求項２８】
前記コンピュータビジョン技法を適用する前に前記全方位画像を前記極座標に事前にワーピングする手段
をさらに備える、請求項２４に記載の装置。
【請求項２９】
前記シーン中の前記事象を含む領域のサイズを求める手段と、
前記パン・チルト・ズーム撮像装置を前記領域の前記サイズにズームする手段と
をさらに備える、請求項１７に記載の装置。
【請求項３０】
前記ズームすることは、
前記パン・チルト・ズーム撮像装置の焦点距離ｆを視野αに応じて
ｆ＝１／２ａｒｃｔａｎ（α）
に従って設定する手段
をさらに備える、請求項１７に記載の装置。
【請求項３１】
前記全方位画像からパノラマ画像を作成する手段と、
前記事象の詳細度の高いパン・チルト・ズーム画像を取得する手段と、及び
前記パノラマ画像内に前記詳細度の高いパン・チルト・ズーム画像を合成する手段と
をさらに含む、請求項１７に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には監視システムに関し、特に、パン・チルト・ズームカメラを使用する監視システムに関する。
【背景技術】
【０００２】
パン・チルト・ズーム（ＰＴＺ）カメラは、視野を狭角に設定することによって、半球状シーンの小部分の角度分解能の高い画像又はビデオを取得することができる。しかし、カメラがシーンの小部分に向けられている間、シーンの残りの部分は見ることができない。この問題に対していくつかの解決策が既知である。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
時間多重化
時間多重化では、ＰＺＴカメラの視野は、通常、詳細度が低く視野の広い画像を取得するために、非常に広角で、且つ焦点距離が短く設定される。より細部が必要とされる場合、ＰＺＴカメラをシーンの特定部分に向けて、狭い視野の画像を取得する。通常、これは手動で行われる。例えば、ユーザは、広い視野の画像からシーン中の重要な監視事象を見つけ出す。この事象は、人物、車、ドア等の移動オブジェクト、又は他の環境内の変化、例えば煙又は火災であり得る。次に、ユーザは手動で、カメラをその事象に向けて、より詳細な画像を取得する。利点としては、全ての画像が１台のカメラにより取得される。しかし、欠点としては、広角画像と詳細画像を同時に取得することができず、いくつかの重要な事象が検出されなくなる場合がある。
【０００４】
分散センサ
１台のＰＴＺカメラと共に複数のセンサを環境内に分布させることができる。例えば、センサは、固定カメラ又は動き検出器とすることができる。この機構では、センサが事象を検出し、ＰＺＴカメラがその事象に向けられる。例えば、ドアが開いたことをセンサが検出した場合、ＰＴＺカメラをそのドアに向けることができる。利点として、ＰＺＴカメラを他の場所に向けている間にも事象を検出することができる。しかし、このタイプのシステムが動作するためには、各センサがＰＴＺカメラの特定の幾何学的方位にマッピングされるようにＰＺＴカメラとセンサを較正しなければならない。この問題は、環境の構成が変化する度に繰り返される。システムが手動で操作される場合、センサネットワークの観測とＰＴＺの制御空間の間にある知覚上のギャップのために、ＰＺＴカメラを適時に事象に向けることは難しい場合がある。
【０００５】
複数のカメラ
ＰＺＴカメラと共に広角カメラを使用することも可能である。この機構もまた、特に広角カメラとＰＺＴカメラが別個の装置として製造される場合に、較正を必要とする。２台のカメラの視野が或る程度の重なりを有する場合、システムの手動操作は比較的容易である。欠点として、非常に広角の屈折レンズは高価であり、大きな非線形歪みを生じるため、自動操作用のシステムを較正することが難しくなっている。しかし、この機構の最悪の側面は、屈折レンズを有するカメラとＰＴＺカメラの相性が悪いことである。例えば、ＰＴＺカメラを角に配置した場合、このカメラは観測球（view sphere）の約１／８しか観測することができないため、中程度の広角屈折レンズで十分である。しかし、ほとんどのＰＴＺカメラは少なくとも半球を観測することができ、その多くはそれよりも遥かに広い範囲を観測することができる。このような広視野を１枚の屈折レンズでカバーすることは不可能である。カメラの追加は、較正コスト及び上述した知覚上のギャップの問題が生じる可能性を高める。
【０００６】
仮想ＰＴＺ
１つの高分解能センサを広角の光学装置と組み合わせることによって仮想ＰＴＺカメラを構築することができる。その場合、このシステムは、画像シーケンスから広角フレームと高分解能の詳細フレームの両方を復号化することができる。しかし、これは一般に実用的でない。
【０００７】
例えば、ソニー製のＳＮＣ−ＲＺ３０Ｎカメラは１〜２５倍のズームレンズを有する。最も広い設定では、このカメラは２５°の水平方向視野を有する。これは、各画素が観測球のおよそ４．６×１０−７ステラジアンを表現することを意味する。さらに、このカメラは、観測球の約３πステラジアンを観測することができる。したがって、単一センサカメラは、ＰＴＺカメラの広角設定の鮮鋭度を再現するために少なくとも２０×１０６画素を必要とする。狭視野の場合、カメラは２５倍を上回る角度分解能を有するため、単一画像センサは少なくとも２５２個の追加画素、又は１３×１０９画素を必要とする。これは、現在入手可能なカメラの分解能の約１，０００倍である。ギガピクセルセンサを製造できたとしても、これらの画素すべてをビデオストリームとして通信するコストは法外なものとなる。
【課題を解決するための手段】
【０００８】
監視システムは複合カメラを含む。この複合カメラは全方位（omni-directional）（ＯＤ）撮像装置と、パン・チルト・ズーム（ＰＺＴ）撮像装置とを含む。ＯＤ撮像装置はシーンのＯＤ画像を取得する。ＯＤ画像中の画素とシーン中の位置の関係は極座標により表される。シーンについて取得されたＯＤ画像において事象が検出される。次に、ＰＺＴ撮像装置が、極座標で表される関係を用いてその事象に向けられる。ＰＺＴ撮像装置が向けられると、このＰＺＴ撮像装置により事象の詳細なＰＺＴ画像を取得することができる。
【発明を実施するための最良の形態】
【０００９】
図１は、本発明の１つの実施の形態による複合カメラ１００を示す。この複合カメラ１００は、全方位（ＯＤ）撮像装置２００と、パン・チルト・ズーム（ＰＺＴ）撮像装置１１０とを含む。ＯＤ撮像装置とＰＺＴ撮像装置の光学中心は実質的に同位置にある。すなわち、それらの位置に差があっても、それは後述のように実際的な用途では無視することができる。
【００１０】
ＯＤ撮像装置２００は、シーンのＯＤ画像１２１を取得する。ＰＴＺ撮像装置１１０は、垂直軸１０１及び水平軸１０２を中心として回転するように取り付けられる。ＰＺＴ撮像装置はまた、その光軸１０３に沿ってズームすることができる。ＰＺＴ撮像装置は、シーンのＰＺＴ画像１２２を取得する。ＯＤ画像１２１は、プロセッサ１３０によって後述のように処理される。その後、この処理結果を用いて、ＰＴＺ撮像装置１１０をシーン中の事象に向ける１４０ことができる。事象は、移動オブジェクト、例えば人物、車、及び／又はドア、又は環境内の変化、例えば水、煙、及び／又は火災であり得る。プロセッサはまた、後述のように出力画像５０１を生成することができる。
【００１１】
図２に示すように、ＯＤ撮像装置２００は反射屈折部品を含む。この反射屈折部品は、鏡２０１〜２０３と、シーンからの光線２０５をイメージングセンサ２１０、例えばＣＣＤに向けるレンズ２０４とを含む。反射屈折部品は、鏡（反射光学）と、レンズ（屈折光学）とを組み合わせて、シーンの全方位ビューを提供する。一般に、鏡は図示のように回転対称である。
【００１２】
他の実施の形態では、反射屈折部品の他の構成が可能である。例えば、ＯＤ撮像装置は複数の屈折素子を含んでもよい。唯一の要件は、これらの部品の関係を極座標に投影できるということである。当該技術分野において数多くの反射屈折系が既知である。
【００１３】
図３は、複数のＯＤ撮像装置３０１が複合カメラ１００の光学中心３２０の円周３１０上に配置される１つの実施の形態を示す。４つの撮像装置を用いる場合、各撮像装置は９０°の視野を有する。８つの撮像装置を用いる場合、各撮像装置は４５°の視野しか必要ない。
【００１４】
図４は、レンズ４０１及びセンサ４０２を有する１つの撮像装置の側面図である。この構成では、カメラ１００は天井に取り付けられて、シーンのビューを上部から取得する。
【００１５】
ＯＤ撮像装置２００によって取得されるＯＤ画像１２１の場合、画像中の画素とシーン中の位置の間には数学的な関係がある。この関係は極座標で表される。この関係を用いて、ＰＺＴ撮像装置１１０をシーン中の特定位置に向ける。この関係は、ＯＤ撮像装置の特定の構造に依存する。例えば、放物面鏡の具体例は、
φ＝ａｒｃｔａｎ（（ｙ−ｙ０）／（ｘ−ｘ０））                      （１）
θ＝ａｒｃｔａｎ（ｓｑｒｔ（（ｙ−ｙ０）２＋（ｘ−ｘ０）２）／ｈ）  （２）
として表され、ここで、φ及びθは、画素（ｘ，ｙ）に結像する入射光線の極座標であり、（ｘ０，ｙ０，ｈ）の組は、１つのＯＤ画像から求めることができる較正パラメータである。
【００１６】
カメラ１００は、その光学中心を中心としてパン及びチルトする。撮像装置１１０及び２００の光学中心は、ほとんどの実際的な用途について、一致するものと見なすことができる。したがって、極座標（φ，θ）を、同じくＯＤ画像から求めることができる一対のオフセットパラメータ（φ０，θ０）によりＰＺＴ撮像装置のパン座標及びチルト座標に直接マッピングすることができる。
【００１７】
複合カメラシステムの較正パラメータ（ｘ０，ｙ０，ｈ，ｘ０，ｙ０）は、光学部品の内部関係のみに依存する。したがって、これらのパラメータは、例えば複合カメラ１００の製造時に予め決めておくことができる。
【００１８】
ＯＤ画像１２１は、従来のコンピュータビジョン技法により処理することができる。これらの技法は、シーン変化の検出、オブジェクトの検出及び認識（顔を含む）、オブジェクト追跡、及びパターン認識を含み得る。これらのコンピュータビジョン技法を用いて、例えば、シーン中の重要な監視事象を検出することができる。
【００１９】
シーンの方位を知る必要がある場合、局所的な実世界の「上」方向は、処理されている特定のＯＤ画像を基準とすることができる。代替的に、ＯＤ画像は、処理前に極座標に事前にワーピングしておくことができる。これにより、実世界の垂直線がＯＤ画像の垂直線にマッピングされ、従来の画像処理技法を変更せずに適用することができる。
【００２０】
ＯＤ画像において事象が検出された場合、ＰＺＴ撮像装置１１０を式１及び式２に従ってその事象に向けることができる。適切なズーム設定は、画像処理技法により求められる、シーン内の事象を含む領域のサイズを基準とすることができる。極座標において領域のサイズが分かっている場合、ズームレンズの焦点距離をその視野に応じて設定することができる。ここで、視野αはラジアンで表され、焦点距離ｆは
ｆ＝１／２ａｒｃｔａｎ（α）                                      （３）
である。
【００２１】
図５に示すように、以前に取得されたシーンの複数のＯＤ画像から詳細度の低いパノラマ出力画像５０１を作成することも可能である。次に、事象のみの詳細度の高いＰＺＴ画像５０２を、図示のようにパノラマ画像５０１内に合成することができる。はめ込み５０２を有する合成画像は、観測者に対して、全体的なシーン中の事象のコンテキストを提供する。
【００２２】
本発明を、好適な実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行ってもよいことが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び修正をすべて網羅することである。
【図面の簡単な説明】
【００２３】
【図１】本発明の１つの実施の形態による複合カメラのブロック図である。
【図２】図１の複合カメラの光学部品のブロック図である。
【図３】複合カメラの代替的な実施の形態のブロック図である。
【図４】図３の複合カメラの光学部品のブロック図である。
【図５】全方位ＰＺＴカメラから得られた合成画像である。
【図１】
2006352851.tif 000003
【図２】
2006352851.tif 000004
【図３】
2006352851.tif 000005
【図４】
2006352851.tif 000006
【図５】
2006352851.tif 000007
【外国語明細書】
2006352851.tif 000008
2006352851.tif 000009
2006352851.tif 000010
2006352851.tif 000011
2006352851.tif 000012
2006352851.tif 000013
2006352851.tif 000014
2006352851.tif 000015
2006352851.tif 000016
2006352851.tif 000017
2006352851.tif 000018
2006352851.tif 000019
2006352851.tif 000020
2006352851.tif 000021
2006352851.tif 000022
2006352851.tif 000023