(57)【要約】【課題】固定カメラに対するパンチルトズーム（ＰＴＺ）カメラの方向を校正する方法を提供すること。【解決手段】固定カメラによって捕えられる光景の概観画像、および第１の方向に向けられる時のＰＴＺカメラによって捕えられる光景の画像が受信される。概観画像における特徴、およびＰＴＺカメラによって捕えられる画像における特徴を照合することによって、第１の校正は、第１の方向を、概観画像における照合する特徴の位置に相関させることによって行われる。さらに、ＰＴＺカメラによって捕えられる画像と概観画像との間のマッピングは、照合する特徴に基づいて定められる。マッピングは、ＰＴＺカメラによって捕えられる画像からの物体を概観画像にマッピングするために使用される。マッピングされた物体の外観に基づいて、マッピングの品質は算出される。品質が十分良好でない場合、ＰＴＺカメラは第２の方向に向け直され、さらなる校正は再び特徴を照合することによって行われる。【選択図】図３
2019075776.tif 000002
【特許請求の範囲】
【請求項１】
第１の固定カメラ（１０２ａ、１０２ｂ）に対してパンチルトズーム（ＰＴＺ）カメラ（１０４）の方向を校正する方法であって、
第１の固定カメラ（１０２ａ、１０２ｂ）によって捕えられる光景の概観画像（４０２）を受信すること（Ｓ０２）と、
ＰＴＺカメラ（１０４）を第１の方向に向けること（Ｓ０４）と、
前記ＰＴＺカメラ（１０４）が前記第１の方向にある時、
ａ）前記ＰＴＺカメラ（１０４）によって捕えられる前記光景の画像（４０４）を受信するステップ（Ｓ０６ａ）であって、前記ＰＴＺカメラによって捕えられる前記画像（４０４）の視野は一部分が前記概観画像（４０２）の視野と部分的に一致する、ステップ、
ｂ）前記ＰＴＺカメラによって捕えられる前記光景の前記画像（４０４）において第１の特徴のセット（４０８）を特定するステップ（Ｓ０６ｂ）、
ｃ）前記ＰＴＺカメラによって捕えられる前記画像（４０４）における前記第１の特徴のセット（４０８）を前記概観画像（４０２）における第２の特徴のセット（４１０）と関連付けるように前記第１の特徴のセット（４０８）または前記第１の特徴のセット（４０８）のサブセットを前記概観画像（４０２）において局所化するステップ（Ｓ０６ｃ）、
ｄ）前記概観画像（４０２）における前記第２の特徴のセット（４１０）の位置データを記録するステップ（Ｓ０６ｄ）、および
ｅ）前記第１の特徴のセット（４０８）および前記第２の特徴のセット（４１０）に基づいて、前記ＰＴＺカメラによって捕えられる前記画像（４０４）と前記概観画像（４０２）との間のマッピングを定め、かつ前記マッピングの品質を算出するステップ（Ｓ０６ｅ）、を行うことと、
前記ＰＴＺカメラ（１０４）の前記第１の方向を、前記ＰＴＺカメラ（１０４）が前記第１の方向に向けられる時に記録される前記第２の特徴のセット（４１０）の前記位置データと相関させることによって前記ＰＴＺカメラ（１０４）の第１の校正（Ｓ０８）を行うことと、
前記マッピングの前記品質が第１の閾値を下回る場合、
前記ＰＴＺカメラ（１０４）を第２の方向に向け直し、
前記ＰＴＺカメラ（１０４）が前記第２の方向にある時ステップａ）〜ｄ）を行い（Ｓ１６）、および
前記ＰＴＺカメラ（１０４）の前記第２の方向を、前記ＰＴＺカメラ（１０４）が前記第２の方向に向けられる時に記録される前記第２の特徴のセット（４１０）の位置データと相関させることによって前記ＰＴＺカメラ（１０４）の第２の校正を行うこと（Ｓ２０）と、を含む方法において、
ステップｅ）は、定められた前記マッピングを使用することによって、前記ＰＴＺカメラによって捕えられる前記画像（４０４）における物体（４１２）を前記概観画像（４０２）にマッピングすることをさらに含み、前記マッピングの前記品質を算出することは、前記ＰＴＺカメラによって捕えられる前記画像（４０４）における前記物体（４１２）の外観と、前記概観画像（４０２）に対するマッピング後の前記物体（４１４）の外観との間の類似性を算出することを含むことを特徴とする、方法。
【請求項２】
前記ＰＴＺカメラ（１０４）が前記第２の方向にある時にステップｅ）を行うことをさらに含み、前記ＰＴＺカメラの第２の校正を行うステップ（Ｓ２０）は、前記ＰＴＺカメラが前記第２の方向にある時にステップｅ）において算出された前記マッピングの前記品質が前記第１の閾値以上であるという条件（Ｓ１８）で行われる、請求項１に記載の方法。
【請求項３】
ステップｅ）において算出された前記マッピングの前記品質が前記第１の閾値以上になるまで、前記ＰＴＺカメラをさらなる方向に向け直し続け、かつステップａ）〜ｅ）を繰り返すことをさらに含む、請求項１または２に記載の方法。
【請求項４】
前記概観画像（４０２）における特徴の密度が第２の閾値を超えるような前記概観画像（４０２）におけるある領域（４０６）を特定することと、前記第２の方向に向けられる時に前記ＰＴＺカメラ（１０４）によって捕えられる画像が前記概観画像（４０２）における特定される前記領域（４０６）を包含するように、前記ＰＴＺカメラ（１０４）の前記第１の校正に基づいて前記第２の方向を選択することと、をさらに含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記第２の方向に向けられる時に前記ＰＴＺカメラによって捕えられる画像が前記概観画像（４０２）の中央を包含するように、前記ＰＴＺカメラ（１０４）の前記第１の校正に基づいて前記第２の方向を選択することをさらに含む、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記類似性を算出する前に、前記ＰＴＺカメラ（１０４）によって捕えられる前記画像（４０４）における前記物体（４１２）の前記外観は前記第１のカメラ（１０２ａ、１０２ｂ）のレンズ系の性質に基づいて調節される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記第１の閾値は、前記第１の閾値が前記概観画像（４０２）の中央からある距離で減少するように、前記第２の特徴のセット（４１０）の前記位置データに左右される、請求項１から５のいずれか一項に記載の方法。
【請求項８】
物体（４１２、４１４）の前記外観は、前記物体のサイズおよび前記物体の幾何学的形状のうちの少なくとも１つである、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記ＰＴＺカメラ（１０４）によって捕えられる前記画像における前記物体（４１２）は、前記ＰＴＺカメラによって捕えられる前記画像（４０４）の周辺部に対応する、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
特徴（４０８、４１０）は、前記光景の捕えられた画像におけるエッジまたはコーナーのうちの少なくとも１つを含む、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記第１のカメラ（１０２ａ）に対する既知の位置および方向を有する第２の固定カメラ（１０２ｂ）を使用して、前記光景のさらなる概観画像を捕えることと、前記第１のカメラ（１０２ａ）の前記第１の校正または前記第２の校正、および、前記第１のカメラ（１０２ａ）に対する前記第２のカメラ（１０２ｂ）の既知の位置および方向に基づいて、前記第２のカメラ（１０２ｂ）によって捕えられる前記光景の前記さらなる概観画像に対して前記ＰＴＺカメラ（１０４）を校正することと、をさらに含む、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
光景の概観画像（４０２）を捕えるために配置される第１の固定カメラ（１０２ａ）と、
前記第１の固定カメラ（１０２ａ）と別個であるパンチルトズーム（ＰＴＺ）カメラ（１０４）と、
前記第１のカメラ（１０２ａ）および前記ＰＴＺカメラ（１０４）に動作可能に接続されるコントローラ（１０６）であって、ＰＴＺカメラ（１０４）を第１の方向に向けるように、および、前記ＰＴＺカメラが前記第１の方向にある時、
ａ）前記光景の画像（４０４）を捕らえるように前記ＰＴＺカメラ（１０４）を制御するステップであって、前記ＰＴＺカメラによって捕えられる前記画像（４０４）の視野は一部分が前記概観画像（４０２）の視野と部分的に一致する、ステップ、
ｂ）前記ＰＴＺカメラ（１０４）によって捕えられる前記光景の前記画像において第１の特徴のセット（４０８）を特定するステップ、
ｃ）前記ＰＴＺカメラによって捕えられる前記画像（４０４）における前記第１の特徴のセット（４０８）を前記概観画像（４０２）における第２の特徴のセット（４１０）と関連付けるように前記第１の特徴のセット（４０８）または前記第１の特徴のセット（４０８）のサブセットを前記光景の前記概観画像（４０２）において局所化するステップ、
ｄ）前記概観画像（４０２）における前記第２の特徴のセット（４１０）の位置データを記録するステップ、および
ｅ）前記第１の特徴のセット（４０８）および前記第２の特徴のセット（４１０）に基づいて、前記ＰＴＺカメラによって捕えられる前記画像（４０４）と前記概観画像（４０２）との間のマッピングを定め、かつ、前記マッピングの品質を算出するステップ、を行うように構成され、
前記ＰＴＺカメラ（１０４）の前記第１の方向を、前記ＰＴＺカメラ（１０４）が前記第１の方向に向けられる時に記録される前記第２の特徴のセット（４１０）の前記位置データと相関させることによって前記ＰＴＺカメラ（１０４）の第１の校正を行うように、
前記マッピングの前記品質が第１の閾値を下回る場合、
前記ＰＴＺカメラ（１０４）を第２の方向に向け直すように、
前記ＰＴＺカメラ（１０４）が前記第２の方向にある時ステップａ）〜ｄ）を行うように、および
前記ＰＴＺカメラ（１０４）の前記第２の方向を、前記ＰＴＺカメラ（１０４）が前記第２の方向に向けられる時に記録される前記第２の特徴のセット（４１０）の位置データと相関させることによって前記ＰＴＺカメラ（１０４）の第２の校正を行うようにさらに構成される、コントローラ（１０６）と、を含むシステムにおいて、
ステップｅ）は、定められた前記マッピングを使用することによって、前記ＰＴＺカメラによって捕えられる前記画像（４０４）における物体（４１２）を前記概観画像（４０２）にマッピングすることをさらに含み、前記マッピングの前記品質を算出することは、前記ＰＴＺカメラによって捕えられる前記画像（４０４）における前記物体（４１２）の外観と、前記概観画像（４０２）に対するマッピング後の前記物体（４１４）の外観との間の類似性を算出することを含むことを特徴とする、システム（１００）。
【請求項１３】
少なくとも１つのさらなる固定カメラ（１０２ｂ）であって、前記第１のカメラ（１０２ａ）および前記少なくとも１つのさらなる固定カメラ（１０２ｂ）は、前記光景のさまざまな部分を包含する概観画像（２０２ａ、２０２ｂ）を捕えるようにさまざまな方向に向けられる、少なくとも１つのさらなる固定カメラ（１０２ｂ）をさらに含み、前記ＰＴＺカメラ（１０４）は前記第１のカメラ（１０２ａ）および前記少なくとも１つのさらなる固定カメラ（１０２ｂ）に対して装着されることで、前記第１のカメラ（１０２ａ）によって捕えられる概観画像（２０２ａ）と部分的に一致する画像を捕えるように、および、前記少なくとも１つのさらなる固定カメラ（１０２ｂ）によって捕えられる概観画像（２０２ｂ）と部分的に一致する画像を捕らえるように、前記ＰＴＺカメラ（１０４）を向けることができるようにする、請求項１２に記載のシステム。
【請求項１４】
請求項１２に記載の前記システムの前記コントローラによって実行される時に、請求項１から１１のいずれか一項に記載の方法を行うためにコンピュータコード命令が記憶されているコンピュータ可読媒体を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラの分野に関し、とりわけ、固定カメラに対するパンチルトズームカメラの方向を校正するための方法およびシステムに関する。
【背景技術】
【０００２】
１つまたは複数の固定センサを可動式パンチルトズーム（ＰＴＺ）カメラと統合する、Ａｘｉｓ  Ｑ６０００−Ｅシリーズなどのカメラシステムが存在する。固定センサは典型的には、３６０度全視野といった光景の全体像を提供するために配置可能であるのに対し、ＰＴＺカメラは、光景の特定部分に対して向けられかつズームインするように配置可能である。このようなシステムでは、ユーザは例えば、ＰＴＺカメラが、固定センサのうちの１つによって提供される概観画像をクリックすることによって向けられるものとする方へ光景の特定部分を指示してよい。このようなクリックの後、ＰＴＺカメラは光景の特定部分に対して向けられるおよび／またはズームインすることになる。
【０００３】
視野方向（すなわち、パンおよびチルト設定）および／またはＰＴＺカメラのズームは、よって、固定センサによって捕えられる画像をクリックすることによって制御されてよい。ＰＴＺカメラのこのような制御は、一方では１つまたは複数の固定センサによって捕えられる画像における位置と、他方ではＰＴＺカメラの方向との関係に頼っている場合がある。典型的には、必要とされる関係は、ＰＴＺカメラの方向が固定センサに対して最初に校正されていると、固定センサおよびＰＴＺカメラの相対位置を含む、カメラシステムの幾何学的配置及び光学部品から判断されてよい。より具体的には、ＰＴＺカメラがカメラシステムに設置されると、固定センサの視野方向に対するＰＴＺカメラの視野方向は知られていないため、校正される必要がある。このような校正は典型的には、固定センサのうちの１つによって捕えられる画像における位置とＰＴＺカメラの方向との間の相互関係を見出すことを目的とする。
【０００４】
シンガポール特許出願第１９１４５２号として公開された特許出願には、広視野カメラに対してＰＴＺカメラを校正するための特徴照合手法が記載されている。とりわけ、広視野カメラによって捕えられた画像の座標と、ＰＴＺカメラのＰＴＺ値との間の相互関係を判断するための方法が提供される。シンガポール特許出願第１９１４５２号の方法の精密さは、広視野画像と、ＰＴＺカメラ画像によって捕えられた部分的に一致する画像との特徴の照合の精度に頼っている。特徴照合の精度はさらにまた、画像に存在している特徴の数、およびカメラのレンズの性質といったいくつかの要因に左右される場合がある。前者の例では、ＰＴＺカメラが、数個の物体が存在する光景の一部分の方へ向けられることで、画像に数個の関連する特徴がもたらされるといったことが起きる場合がある。後者の例では、広視野画像における樽形歪みまたは他の幾何学的歪みにより、特徴を精確に照合することが困難であるということが起きる場合がある。これらの例の両方において、校正の精密さは結局悩みの種になっている場合があるため、改善する必要がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】シンガポール特許出願第１９１４５２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
よって、上記を考慮して、本発明の目的は、固定カメラに対してＰＴＺカメラを校正する時の改善された精密さを提供することである。
【課題を解決するための手段】
【０００７】
第１の態様によると、上記の目的は、第１の固定カメラに対してパンチルトズーム（ＰＴＺ）カメラの方向を校正する方法であって、
第１の固定カメラによって捕えられる光景の概観画像を受信することと、
ＰＴＺカメラを第１の方向に向けることと、
ＰＴＺカメラが第１の方向にある時、
ａ）ＰＴＺカメラによって捕えられる光景の画像を受信するステップであって、ＰＴＺカメラによって捕えられる画像の視野は一部分が概観画像の視野と部分的に一致する、ステップ、
ｂ）ＰＴＺカメラによって捕えられる光景の画像において第１の特徴のセットを特定するステップ、
ｃ）ＰＴＺカメラによって捕えられる画像における第１の特徴のセットを概観画像における第２の特徴のセットと関連付けるように第１の特徴のセットまたは第１の特徴のセットのサブセットを概観画像において局所化するステップ、
ｄ）概観画像における第２の特徴のセットの位置データを記録するステップ、および
ｅ）第１の特徴のセットおよび第２の特徴のセットに基づいて、ＰＴＺカメラによって捕えられる画像と概観画像との間のマッピングを定め、定められたマッピングを使用することによって、ＰＴＺカメラによって捕えられる画像における物体を概観画像にマッピングし、概観画像に対するマッピング後の物体の外観に基づいてマッピングの品質を算出するステップ、を行うことと、
ＰＴＺカメラの第１の方向を、ＰＴＺカメラが第１の方向に向けられる時に記録される第２の特徴のセットの位置データと相関させることによってＰＴＺカメラの第１の校正を行うことと、
マッピングの品質が第１の閾値を下回る場合、
ＰＴＺカメラを第２の方向に向け直し、
ＰＴＺカメラが第２の方向にある時ステップａ）〜ｄ）を行い、および
ＰＴＺカメラの第２の方向を、ＰＴＺカメラが第２の方向に向けられる時に記録される第２の特徴のセットの位置データと相関させることによってＰＴＺカメラの第２の校正を行うことと、を含む方法によって達成される。
【０００８】
上記の方法によると、特徴マッピングに基づく第１の校正は、ＰＴＺカメラが第１の方向に向けられる時に行われる。マッピングの品質が十分良好でない、すなわち、品質が閾値を下回ることが分かった場合、ＰＴＺカメラは第２の方向に向け直され、かつＰＴＺカメラが第２の方向にある時に特徴マッピングに基づく第２の校正が行われる。品質が十分良好でない時に、ＰＴＺカメラを向け直し、かつ校正を繰り返すことによって、結果として生じる校正の品質および精密さを改善することができる。
【０００９】
固定カメラに対してＰＴＺカメラの方向を校正することに関しては、一般的に、ＰＴＺカメラの方向と、固定カメラによって捕えられる画像における位置との間の対応関係を見出すことを意味する。
【００１０】
ＰＴＺカメラによって捕えられる画像と概観画像との間のマッピングに関しては、一般的に、ＰＴＺカメラによって捕えられる画像における点を、概観画像における点にマッピングする関数または変換を意味する。マッピングは、例えば、変換行列によって定められてよい。
【００１１】
マッピングの品質に関しては、一般的に、マッピングが適用された後の物体のサイズおよび形状といった外観に基づいて評価される計量を意味する。マッピングの品質は、典型的には、マッピングがどれだけよく物体の外観を保持しているかの尺度である。
【００１２】
方法は、ＰＴＺカメラが第２の方向にある時にステップｅ）を行うことをさらに含んでよい。この場合、ＰＴＺカメラの第２の校正を行うステップは、ＰＴＺカメラが第２の方向にある時にステップｅ）において算出されたマッピングの品質が第１の閾値以上であるという条件で行われる。このように、第２の校正は、ＰＴＺが第２の方向にある時のマッピングの品質が十分良好である場合にのみ行われる。
【００１３】
方法は、ステップｅ）において算出されたマッピングの品質が第１の閾値以上になるまで、ＰＴＺカメラをさらなる方向に向け直し続け、かつステップａ）〜ｅ）を繰り返すことをさらに含んでよい。ＰＴＺカメラは、よって、十分良好な品質のマッピングが達成されるまで向け直されてよい。このように、校正の精密さはさらに改善可能である。
【００１４】
さらに上で論じられるように、特徴照合の精度、さらにまた、特徴の照合セットによって定められるマッピングの品質は、画像に存在する特徴の数に左右される場合がある。例えば、ＰＴＺカメラが、第１の方向に向けられる時、数個の物体が存在する光景におけるある区域の方へ向けられる場合、マッピングの根拠となるような、ＰＴＺカメラによって捕えられる光景の画像において数個の特徴がある可能性がある。その結果、照合の精度、ひいてはマッピングの品質は、典型的には、ＰＴＺカメラ画像により多くの特徴が存在していた場合よりも悪くなるであろう。マッピングの品質を改善するために、ＰＴＺカメラは従って、より多くの物体が存在する光景の一部分に向け直されてよく、それによって、ＰＴＺカメラによって捕えられる画像により多くの特徴が生じる。このような、光景の一部分は、概観画像を考慮し、かつこれにおいて、多くの特徴を含むある領域を特定することによって、局所化可能である。概観画像におけるこのような領域が特定された時、ＰＴＺカメラは、初期校正として第１の校正を使用して向け直されてよいことで、ＰＴＺカメラは、特定される領域を包含する、または少なくとも部分的に一致する画像を捕える。さらに詳細には、方法は、概観画像における特徴の密度が第２の閾値を超えるような概観画像におけるある領域を特定すること、および、第２の方向に向けられる時にＰＴＺカメラによって捕えられる画像が概観画像における特定される領域を包含するように、ＰＴＺカメラの第１の校正に基づいて第２の方向を選択することを含んでよい。特徴の密度は、例えば、概観画像における単位面積当たりの特徴の数として算出されてよい。
【００１５】
特徴照合の精度、さらにまた、特徴の照合セットによって定められるマッピングの品質に影響を与える場合がある別の要因は、カメラのレンズの性質である。例えば、概観画像は、ＰＴＺカメラによって捕えられる画像と対照的に、概観画像のピンクッション歪みまたは口ひげ歪みといった、樽形歪みまたは他の歪みを引き起こす広角レンズによって捕えられる場合がある。これらの歪みは、結果として生じる概観画像における遠近感および比率に影響を与える。このような歪みは、典型的には、概観画像の周辺部でより顕著になり、概観画像の中央で目立たなくなる。従って、概観画像、およびＰＴＺカメラによって捕えられた画像における特徴の照合の精度が、ＰＴＺカメラが、概観画像の中央に表される光景の一部分を指し示すように向けられる場合、より高くなる場合があることを予想することが可能である。従って、方法は、第２の方向に向けられる時にＰＴＺカメラによって捕えられる画像が概観画像の中央を包含するように、ＰＴＺカメラの第１の校正に基づいて第２の方向を選択することを含んでよい。よって、ＰＴＺカメラは、初期校正として第１の校正を使用して、ＰＴＺカメラによって捕えられる画像が概観画像の中央を包含するまたはこれと少なくとも部分的に一致するように向け直されてよい。
【００１６】
上述されるように、ＰＴＺカメラによって捕えられる画像において特定される第１の特徴のセット、および、概観画像において特定される第２の特徴のセットは、例えば、変換行列の形態でマッピングを定めるために使用される。そのマッピングによって、ＰＴＺカメラによって捕えられる画像の点は、概観画像における点にマッピングされてよい。マッピングはまた、ＰＴＺカメラによって捕えられる画像における物体を概観画像にマッピングするために使用されてよい。例えば、物体のそれぞれの点、または物体の選択された点は、定められたマッピングを使用してマッピングされてよい。概観画像にマッピングされる時の物体の外観は、次いで、マッピングの品質を算出するために使用されてよい。とりわけ、マッピングの品質を算出することは、ＰＴＺカメラによって捕えられる画像における物体の外観と、概観画像に対するマッピング後の物体の外観との間の類似性を算出することを含んでよい。物体がマッピング後に同様の外観を有する場合、マッピングの品質は高いとみなされるが、マッピングによって外観が大きく変更する場合、マッピングの品質は低いとみなされる。それゆえに、マッピングの品質は、マッピングがどれくらい良く物体の外観を保持しているかの尺度である。
【００１７】
方法はさらに、概観画像に対するマッピングの前および後に物体の外観の類似性を算出する時に概観画像における樽形歪みを補償してよい。例えば、ＰＴＺカメラによって捕えられる画像における物体が長方形であると仮定する。特徴の完全な照合、および完全なマッピングが見出されても、長方形は概観画像において依然長方形にならないが、これは、樽形歪みが長方形の遠近感および比率を変えるからである。従って、概観画像に対するマッピング後の長方形の外観を、長方形が樽形歪みによって変えられる時に有すると思われる形状と比較することが、該外観を元の長方形と比較することよりも理にかなっていることが考えられる。従って、方法は、類似性を算出する前に、第１のカメラのレンズ系の性質に基づいてＰＴＺカメラによって捕えられる画像における物体の外観を調節することができる。このように、概観画像の樽形歪みによって引き起こされる物体の外観の相違点は類似性算出に影響することはないため、判断されるマッピングの品質に影響しない。樽形歪みの量は、第１のカメラのレンズ系の性質から差し引かれてよい。
【００１８】
代替的には、概観画像の樽形歪みは、概観画像の境界に近いマッピングのより低い品質を許容することによって考慮に入れられてよい。これは、マッピングの品質が比較される第１の閾値を概観画像の中央からのある距離で減少させることを可能にすることによって実現されてよい。より具体的には、第１の閾値は、第１の閾値が概観画像の中央からある距離で減少するように、第２の特徴のセットの位置データに左右されてよい。
【００１９】
物体の外観は、物体のサイズおよび物体の幾何学的形状のうちの少なくとも１つであってよい。
【００２０】
ＰＴＺカメラによって捕えられる画像における物体は、ＰＴＺカメラによって捕えられる画像の周辺部、すなわち、境界に対応してよい。よって、該物体は光景における物体に対応する必要はない。ＰＴＺカメラによって捕えられる画像の周辺部は４つのコーナー位置、すなわち、ＰＴＺカメラによって捕えられる画像の４つのコーナー座標を、マッピングを使用して概観画像にマッピングされてよい。ＰＴＺカメラによって捕えられる画像における物体はそのように、長方形とすることができる。
【００２１】
第１の特徴のセットおよび第２の特徴のセットなどの特徴は、光景の捕えられた画像におけるエッジまたはコーナーのうちの少なくとも１つを含んでよい。特徴はさらに、色、サイズ、および／または方向といった属性と関連付けられてよい。ＰＴＺカメラによって捕えられる画像において特定される特徴の属性は、概観画像において対応する特徴を局所化する時に使用されてよい。このように、特徴照合は、簡略化されかつより精確にすることができる。
【００２２】
第１の固定カメラおよびＰＴＺカメラは、さらなる固定カメラを含むシステムの一部であってよい。相対位置および視野方向といった、第１の固定カメラの間の関係が知られていない場合、上記の方法はそれぞれの固定カメラに対して繰り返されるものとする。固定カメラの間の関係が知られている場合、第１の固定カメラに対して行われる校正は、システムにおけるさらなる固定カメラの校正に使用されてよい。このような場合、方法は、第１のカメラに対する既知の位置および方向を有する第２の固定カメラを使用して、光景のさらなる概観画像を捕えることと、第１のカメラの第１の校正または第２の校正、および、第１のカメラに対する第２のカメラの既知の位置および方向に基づいて、第２のカメラによって捕えられる光景のさらなる概観画像に対してＰＴＺカメラを校正することとをさらに含んでよい。
【００２３】
第２の態様によると、上記の目的は、
光景の概観画像を捕えるために配置される第１の固定カメラと、
第１の固定カメラと別個であるパンチルトズーム（ＰＴＺ）カメラと、
第１のカメラおよびＰＴＺカメラに動作可能に接続されるコントローラであって、ＰＴＺカメラを第１の方向に向けるように、および、ＰＴＺカメラが第１の方向にある時、
ａ）光景の画像を捕らえるようにＰＴＺカメラを制御するステップであって、ＰＴＺカメラによって捕えられる画像の視野は一部分が概観画像の視野と部分的に一致する、ステップ、
ｂ）ＰＴＺカメラによって捕えられる光景の画像において第１の特徴のセットを特定するステップ、
ｃ）ＰＴＺカメラによって捕えられる画像における第１の特徴のセットを概観画像における第２の特徴のセットと関連付けるように第１の特徴のセットまたは第１の特徴のセットのサブセットを光景の概観画像において局所化するステップ、
ｄ）概観画像における第２の特徴のセットの位置データを記録するステップ、および
ｅ）第１の特徴のセットおよび第２の特徴のセットに基づいて、ＰＴＺカメラによって捕えられる画像と概観画像との間のマッピングを定め、定められたマッピングを使用することによって、ＰＴＺカメラによって捕えられる画像における物体を概観画像にマッピングし、概観画像に対するマッピング後の物体の外観に基づいてマッピングの品質を算出するステップ、を行うように構成され、
ＰＴＺカメラの第１の方向を、ＰＴＺカメラが第１の方向に向けられる時に記録される第２の特徴のセットの位置データと相関させることによってＰＴＺカメラの第１の校正を行うように、
マッピングの品質が第１の閾値を下回る場合、
ＰＴＺカメラを第２の方向に向け直すように、
ＰＴＺカメラが第２の方向にある時ステップａ）〜ｄ）を行うように、および
ＰＴＺカメラの第２の方向を、ＰＴＺカメラが第２の方向に向けられる時に記録される第２の特徴のセットの位置データと相関させることによってＰＴＺカメラの第２の校正を行うようにさらに構成される、コントローラと、を含むシステムによって達成される。
【００２４】
システムは、少なくとも１つのさらなる固定カメラであって、第１のカメラおよび少なくとも１つのさらなる固定カメラは、光景のさまざまな部分を包含する概観画像を捕らえるように異なる方向に向けられる、少なくとも１つのさらなる固定カメラをさらに含んでよく、ＰＴＺカメラは第１のカメラおよび少なくとも１つのさらなる固定カメラに対して装着されることで、第１のカメラによって捕えられる概観画像と部分的に一致する画像を捕らえるように、および、少なくとも１つのさらなる固定カメラによって捕えられる概観画像と部分的に一致する画像を捕らえるように、ＰＴＺカメラを向けることができるようにする。
【００２５】
第３の態様によると、プロセッサによって実行される時に、第１の態様による方法を行うためにコンピュータコード命令が記憶されている（非一時的な）コンピュータ可読媒体を含むコンピュータプログラム製品が提供される。
【００２６】
第２の態様および第３の態様は、一般的に、第１の態様と同じ特徴および利点を有することができる。さらに、別段明示的に記されていない限り、本発明が特徴の可能な組み合わせ全てに関することは留意されたい。
【００２７】
本発明の上記のならびに追加の目的、特徴、および利点は、添付の図面を参照して、本発明の実施形態の下記の例示的で非限定的な詳細な説明を通して、より良く理解されるであろう。該図面において、同じ参照番号は同様の要素に対して使用されることになる。
【図面の簡単な説明】
【００２８】
【図１】実施形態によるカメラシステムを概略的に示す図である。
【図２】固定カメラによって捕えられる光景の概観画像、および可動式ＰＴＺカメラによって捕えられる画像を示す図である。
【図３】実施形態による方法のフローチャートである。
【図４】固定カメラによって捕えられる概観画像、および可動式ＰＴＺカメラによって捕えられる画像を概略的に示す図である。
【発明を実施するための形態】
【００２９】
本発明について、ここで、本発明の実施形態が示されている添付の図面を参照して、以降でより詳しく説明する。本発明は、しかしながら、多くの異なる形態で具現化されてよく、本明細書に示される実施形態に限定されると解釈されるべきではなく、むしろ、これらの実施形態は、徹底して完全なものにするために、および本発明の範囲を熟練者に十分に伝えるために提供される。動作時での、本明細書に開示されるシステムおよび装置について説明する。
【００３０】
図１は、カメラシステム１００を示している。カメラシステム１００は、例えば、光景を監視するために使用されてよい。カメラシステム１００は、１つまたは複数の固定カメラ１０２ａ、１０２ｂ、可動カメラ１０４、およびコントローラ１０６を含む。示されるカメラシステム１００は４つの固定カメラを含み、これらのうち、２つの固定カメラ１０２ａ、１０２ｂが図１において可視である。
【００３１】
固定カメラ１０２ａ、１０２ｂは、これらが光景の固定視野、すなわち、常時同じ視野を捕えているという意味で固定されている。よって、固定カメラ１０２ａ、１０２ｂのそれぞれは、常時定方向に向けられ、使用中、異なる方向に向け直されるように配置されない。固定カメラは、レールまたはガイド上に配置可能であることで、これらの視野を、レールまたはガイドに沿ってカメラを移動させることによって、および、チルト角を調節することによって、手動で変えることができるようにする。１つまたは複数の固定カメラ１０２ａ、１０２ｂは、典型的には、光景のさまざまな部分を包含する画像を捕えるようにさまざまな方向に向けられる。よって、１つまたは複数の固定カメラ１０２ａ、１０２ｂは、異なる視野を有するが、カメラ１０２ａ、１０２ｂの視野は部分的に一致してよい。例えば、１つまたは複数のカメラ１０２ａ、１０２ｂは、これらの視野の組み合わせが光景の３６０度全視野を包含するように配置されてよい。
【００３２】
１つまたは複数の固定カメラ１０２ａ、１０２ｂはそれぞれ、光景の概観画像を捕えるために配置される。この目的のために、１つまたは複数の固定カメラ１０２ａ、１０２ｂはそれぞれ、１つまたは複数の固定カメラ１０２ａ、１０２ｂが光景の広角範囲を捕えることができるようにする広角レンズを装備可能である。図２は、カメラシステム１００の４つの固定カメラによって捕えられる４つの概観画像２０２ａ、２０２ｂ、２０２ｃ、２０２ｄを示す。画像２０２ａ、２０２ｂ、２０２ｃ、２０２ｄは、異なる角度からのある光景、この場合駐車場を表している。例えば、概観画像２０２ａは固定カメラ１０２ａによって捕えられてよく、概観画像２０２ｂは固定カメラ１０２ｂによって捕えられてよい。画像から分かるように、１つまたは複数のカメラ１０２ａ、１０２ｂの視野は部分的に一致している。概観画像２０２ａの真ん中に表される自動車は、例えば、概観画像２０２ｂの右下コーナーにも表されている。
【００３３】
１つまたは複数の固定カメラ１０２ａ、１０２ｂは、互いに対するこれらの位置が知られるように装着される。さらに、互いに対する１つまたは複数の固定カメラ１０２ａ、１０２ｂの方向も、典型的には知られている。これによって、例えば、光景における２つの点の間の角度（すなわち、方向の差）を、固定カメラ１０２ａ、１０２ｂの２つの異なる角度によって捕えられる概観画像に表されるような２つの点の座標から判断できる。
【００３４】
可動カメラ１０４はＰＴＺカメラであってよい。可動カメラ１０４は、よって、図１における矢印によって示されるように、パンおよびチルト設定を調節することによって向け直されてよいことで、光景のさまざまな一部を包含するようにこの視野を変えるようにする。とりわけ、ＰＴＺは１つまたは複数の固定カメラ１０２ａ、１０２ｂに対して装着されることで、１つまたは複数の固定カメラ１０２ａ、１０２ｂが包含する全視野のさまざまな部分の画像を捕えるようにＰＴＺを向けることができるようにする。可動カメラ１０４は、それゆえに、１つまたは複数の固定カメラ１０２ａ、１０２ｂによって捕えられる概観画像のそれぞれと部分的に一致する画像を捕えるように向けられてよい。図２は、可動カメラ１０４によって捕えられる画像２０４を示す。画像２０４は、概観画像２０２ａと部分的に一致しており、概観画像２０２ａの真ん中にも表される自動車のフロントガラスを表している。
【００３５】
可動カメラ１０４は、典型的には、固定カメラ１０２ａ、１０２ｂと比較して狭い視野を有する。しかしながら、可動カメラ１０４は、光景における関心のある物体などのさまざまな部分の方へ向けかつズームインできるという点で有利である。さらに、図２において見ることができるように、固定カメラ１０２ａ、１０２ｂの広角光学部品により、概観画像２０２ａ、２０２ｂ、２０２ｃ、２０２ｄは樽形歪みになり、画像における遠近感および比率を歪ませてしまう。可動カメラ１０４によって捕えられる画像２０４はこのような歪みに悩まされない。
【００３６】
コントローラ１０６は、一般的に、さまざまな方向を見るように可動カメラ１０４を制御するように、可動カメラ１０４を制御するために配置されてよい。コントローラ１０６はソフトウェアで実装されてよい。この目的のために、コントローラ１０６は、マイクロプロセッサなどのプロセッサ、フィールドプログラマブルゲートアレイのデジタル信号プロセッサ、および、不揮発性メモリなどの非一時的なメモリを含んでよい。非一時的なプロセッサは、プロセッサによって実行される時、コントローラに、本明細書に説明される任意の方法を行わせるコンピュータコード命令を記憶することができる。とりわけ、該プロセッサに、固定カメラに対して可動カメラ１０４の方向を校正する方法を行わせることができる。
【００３７】
可動カメラ１０４の制御は、概観画像２０２ａ、２０２ｂ、２０２ｃ、２０２ｄにおける特定位置に関する入力などのユーザ入力に基づいてよい。例えば、コントローラ１０６は、概観画像２０２ａ、２０２ｂ、２０２ｃ、２０２ｄのうちの１つにおける、特定位置、すなわち画素座標に関してオペレータから入力を受信し、それに応答して、視野が、概観画像２０２ａ、２０２ｂ、２０２ｃ、２０２ｄのその位置において表される光景の一部分を包含するように、可動カメラ１０４の方向を現在の方向から変更するように配置されてよい。その目的のために、コントローラ１０６は、概観画像２０２ａ、２０２ｂ、２０２ｃ、２０２ｄにおけるさまざまな画素座標を、可動カメラ１０４の、さまざまな方向、すなわちパン／チルト設定と関連付ける関係を利用してよい。このような関係は、カメラシステム１００の幾何学的配置、およびカメラ１０２ａ、１０２ｂ、１０４のレンズなどの光学部品に左右される。しかしながら、幾何学的配置および光学部品が設定されると、該関係は、例えば、コントローラ１０６の不揮発性メモリにおいて関数または表の形態で判断かつ記憶されてよい。このような関係は典型的には、コントローラ１０６において予め判断されかつ予め記憶される。
【００３８】
コントローラ１０６は典型的には、方向の相対的変化によって機能する、すなわち、予め記憶された関係に基づいて、可動カメラ１０４を、概観画像における第１の位置に対応する第１の方向から、概観画像における第２の位置に対応する第２の方向に向け直す。それに応じて、カメラシステム１００の設置時に、コントローラ１０６が可動カメラ１０４を制御するためのこのような関係を使用し始めることができる前に、可動カメラ１０４、およびより具体的にはその方向は、１つまたは複数の固定カメラ１０２ａ、１０２ｂに対して校正される必要がある。これは、コントローラ１０６が、ＰＴＺカメラの初期方向と、固定カメラのうちの１つによって捕えられる概観画像における位置との間の対応関係を見出す必要があることを意味する。このような校正を行うための方法について、ここで、図１、図２、図４、および図３のフローチャートを参照して説明する。
【００３９】
ステップＳ０２では、コントローラ１０６は概観画像を受信する。概観画像は、固定カメラ１０２ａ、１０２ｂのうちの１つによって捕えられる。図４は、例えば、図２の概観画像２０２ａに対応してよい概観画像４０２を示す。いくつかの実施形態では、コントローラ１０６は、図２に示されるように、固定カメラ１０２、１０２ｂのうちの２つ以上または全てから概観画像を受信する。
【００４０】
ステップＳ０４では、コントローラ１０６は第１の方向を見るように可動カメラ１０４を向ける。第１の方向は随意であり、可動カメラ１０４が設置時に有する方向に対応してよい。
【００４１】
可動カメラ１０４が第１の方向に向けられると、コントローラ１０６は、ステップＳ０６ａにおいて、可動カメラ１０４から第１の画像４０４を受信する。第１の画像４０４は、例えば、図２の画像２０４に対応してよい。第１の画像４０４の視野４０６は、一部分が概観画像４０２の視野と部分的に一致する。さまざまな固定カメラによって捕えられるいくつかの概観画像がある場合、第１の画像４０４は概観画像のうちの少なくとも１つと部分的に一致することになる。
【００４２】
次に、コントローラ１０６は、ステップＳ０６ｂでは、第１の画像４０４において第１の特徴のセット４０８を特定する。特徴は、例えば、第１の画像４０４におけるエッジまたはコーナーであってよい。特徴は、サイズ、色、および／または方向などの関連の属性をさらに有してよい。特徴は、第１の画像４０４にフィルターを施すなど、従来の技法を使用することによって、第１の画像４０４から抽出されてよい。特徴を抽出するために使用可能であるアルゴリズムの一例は、スケール不変特徴変換（ＳＩＦＴ）である。特徴は図４において「ｘ」で示されている。コントローラ１０６はまた、特定される特徴４０８の画素座標などの位置を記録、すなわち記憶することができる。第１の特徴のセット４０８は、そのセットにおける個々の特徴の位置の平均値など、単一の位置データと関連付けられてもよい。
【００４３】
ステップＳ０６ｃにおいて、コントローラ１０６は特徴照合を行う。さらに詳細には、コントローラ１０６は、概観画像４０２において、第１の特徴のセット、または第１の特徴のセットのサブセットを局所化する。このように、コントローラ１０６は、画像４０４における第１の特徴のセットを概観画像４０２における第２の特徴のセット４１０と関連付けてよい。ステップＳ０６ｃは、最初に、概観画像４０２から特徴を抽出した後、最良適合を見つけるために、第１の特徴のセット４０８を抽出された特徴に照合することによって行われてよい。最良適合は、次いで、第２の特徴のセット４１０となる。これは、この目的に適している任意の既知の特徴照合アルゴリズムを使用することによって行われてよい。例えば、高速最近傍探索ライブラリ（ＦＬＡＮＮ）からのアルゴリズムは、最良適合を見つけるために使用されてよい。いくつかの概観画像の場合、特徴照合は、全ての概観画像における可能な適合の中から最良適合を見出すように、概観画像のそれぞれに対して行われてよい。
【００４４】
ステップＳ０６ｄでは、コントローラ１０６は、特徴４１０の画素座標などの位置を記録する、すなわち記憶する。第２の特徴のセット４１０は、そのセットにおける個々の特徴の位置の平均値など、単一の位置データと関連付けられてもよい。
【００４５】
ステップＳ０６ｅにおいて、コントローラ１０６は、第１の特徴のセット４０８および第２の特徴のセット４１０を使用して、可動カメラ１０４によって捕えられる画像４０４と、固定カメラ１０２ａ、１０２ｂによって捕えられる概観画像４０２との間のマッピングを定める。マッピングは例えば、画像４０４における点を概観画像４０２における点にマッピングする変換行列に関して定められてよい。変換行列は、例えば、最小二乗法を適用することによって、第１の特徴のセット４０８および第２の特徴のセット４１０に基づいて判断されてよい。さらに詳細には、変換行列は、最小二乗の意味でできるだけ近い第１のセットの特徴４０８の位置を、第２のセットにおける特徴４１０の位置にマッピングする行列として判断されてよい。
【００４６】
コントローラ１０６は次いで、定められたマッピングを使用して、画像４０４における物体を概観画像４０２にマッピングする。物体は、例えば、図２の画像２０４に示される自動車のフロントガラスといった、概観画像４０２に表される物体に対応することができる。しかしながら、この例では、物体は画像４０４の長方形周辺部４１２に対応する。物体は、変換行列を物体に属する全ての点に適用することによって、概観画像４０２にマッピングされてよい。代替的には、物体は、変換行列の適用によって概観画像にマッピングされる選択された数の点によって表現されてよい。マッピングされた物体４１４、すなわち、概観画像にマッピングされた時の長方形周辺部４１２は、図４において変形した長方形として示される。
【００４７】
さまざまな要因により、マッピングされた物体４１４の外観は、元の物体４１２と異なっているように見える場合がある。第１の要因によると、第１の特徴のセット４０８は、第２の特徴のセット４１０に正確に照合しない場合があり、これによって、定められたマッピングは、画像４０４における位置を概観画像４０２における対応する位置に正しくマッピングしないようになる。第２の要因によると、概観画像４０２の樽形歪みによって、概観画像４０２における任意の物体は、画像４０４において異なる外観を有することになる。第２の要因は、概観画像４０２の境界に近くなるとより顕著になる。
【００４８】
コントローラ１０６は、マッピングされた物体４１４の外観に基づいてマッピングの品質を算出することができる。マッピングの品質は、典型的には、マッピングがどれだけよく物体の外観を保持しているかの尺度であり、上述される、第１の要因、または第１の要因および第２の要因両方を考慮に入れるように判断されてよい。一般的に、マッピングの品質は、マッピングされた物体の外観に基づいて評価される任意の計量であってよい。これは、マッピングされた物体４１４のサイズおよび／または幾何学的形状を評価することを含んでよい。
【００４９】
いくつかの実施形態では、マッピングの品質は、マッピング前の物体４１２の外観とマッピング後の物体４１４の外観とを比較することによって算出される。とりわけ、マッピングの品質は、マッピング前の物体４１２の外観とマッピング後の物体４１４の外観との間の類似性に基づいて算出されてよい。これは、形状の類似性および／またはサイズの類似性を測定することに関係する場合がある。そのように算出されたマッピングの品質は、上記に言及される第１の要因および第２の要因両方を考慮に入れることになる。物体４１２の形状の類似性を測定するために、物体は、その周辺部上の点といった複数の点によって表現されてよい。長方形物体について、コーナー点は好ましくは選定されることが考えられる。次いで、物体のマッピング前および後のこれらの点の間の関係を比較することができる。例えば、点の間の距離がマッピングによってどれくらい変更されているかを見ることができる。点の間の元の距離に対する変化量は、形状の類似性の尺度として使用されてよい。サイズの類似性を測定するために、マッピング後および前の物体の領域が比較されてよい。
【００５０】
長方形物体について、物体の４つのコーナーがマッピング後に依然長方形を画定している場合、形状の高い類似性が認められる。それとは逆に、４つのコーナーが線上にあるようにマッピングされる場合、低い類似性が認められる。さらに、マッピング後の長方形のサイズ、すなわち、マッピング後に物体が包含する領域が、カメラのさまざまなレンズを考慮に入れて予想されるものに対応するサイズを有する場合、達成されるサイズの類似性は高い。対照的に、マッピング後の長方形のサイズが予想されるよりかなり大きいまたはかなり小さいサイズを有する場合、達成されるサイズの類似性は低い。
【００５１】
他の実施形態では、マッピングの品質が上述される第１の要因のみを反映することが望ましい。このような場合、第２の要因の効果、すなわち、樽形歪みによる歪みは、マッピングの品質を算出する前に除去されるべきである。樽形歪みの効果は、固定カメラ１０２ａ、１０２ｂのレンズ系、すなわち広角レンズの既知の性質に基づいて、除去されてよい。さらに詳細には、目下このようなレンズ系性質を有することで、コントローラ１０９は、画像４０４における物体４１２が概観画像４０２においてどのように見えるのか、すなわち、広角レンズが概観画像における第２の特徴セットの位置においてこのような物体をどのように表しているかを算出することができる。コントローラ１０６は次いで、続けて、マッピングされた物体４１４が比較される物体４１２の外観を調節できることで、調節された外観は、広角レンズによって表される時に物体４１２が有することになる算出された外観と同じになるようにする。物体４１２の外観が調節されることで、コントローラ１０６は続けて、上述されるものに従って、マッピングされた物体４１４と、物体４１２の調節された外観との類似性を測定することができる。
【００５２】
ステップＳ１０では、コントローラ１０６は可動カメラ１０４の第１の校正を行う。さらに詳細には、コントローラ１０６は、カメラの第１の現在の方向を、上述されるステップＳ０６ｄにおいて記録された第２の特徴のセットの位置データと相関させる。このように、コントローラはよって、可動カメラ１０４の方向と概観画像４０２における位置との間の第１の対応関係を見出す。
【００５３】
ステップＳ１２において、コントローラ１０６は、判断されたマッピングの品質が第１の閾値Ｔ１を下回るかどうかをチェックする。第１の閾値は一定の既定値であってよい。いくつかの実施形態では、典型的には、マッピングの品質が樽形歪みの効果を除去せずに算出された時、第１の閾値は概観画像の中央までの第２の特徴のセットの位置の距離の減少関数であってよい。換言すれば、マッピングの品質は、樽形歪みの効果がより顕著である概観画像４０２の境界にさらに近づくと低くなることを可能としてよい。これは、マッピングの品質を算出する時に樽形歪みの効果を補正するための代替策として使用されてよい。
【００５４】
マッピングの品質が第１の閾値Ｔ１を下回らない場合、方法は終了し、第１の校正が最終校正になる。しかしながら、マッピングの品質が第１の閾値Ｔ１を下回る場合、コントローラはステップＳ１４に進み、ここで、第１の方向から第２の方向へと方向を変更するように可動カメラ１０４を制御する。
【００５５】
さらに上述されるように、マッピングの品質は、画像４０４における特徴と概観画像４０２における特徴との間の良好な適合を見出すことにかなり依存している。低品質のマッピングを生じさせるような不十分な適合は、可動カメラ１０４が、表される物体が数個である光景の一部分の方へ向けられることに起因する場合があるが、これは、画像４０２から抽出する特徴が数個あるからである。これは、可動カメラ１０４が、概観画像２０２ｄの中央の方へといった図２に表される駐車場のアスファルトの方へ向けられる場合に起きる可能性がある。実施形態によると、可動カメラ１０４は、従って、より多くの物体および関心のある特徴がある光景の一部分の方へ向け直されてよい。光景のその一部分は、同じ概観画像４０２、または固定カメラ１０２ａ、１０２ｂの別の１つによって捕えられる概観画像に表されてよい。これを達成するために、コントローラ１０６は、続けて、多くの特徴がある、例えば、単位面積当たりの特徴の数が第２の閾値を超える、概観画像４０２（または別の固定カメラによって捕えられる他の概観画像の１つ）におけるある領域４０６を特定してよい。可動カメラ１０４の方向および概観画像４０２における位置を関連付ける上述される既定の関係を使用すること、および、方向の初期校正としての第１の校正によって確立される対応関係を使用することによって、コントローラ１０６は、可動カメラ１０４を、第１の方向から、可動カメラ１０４によって捕えられる画像が概観画像４０２の特定される領域４０６を包含する第２の方向にどのように向け直すかを算出することができる。
【００５６】
他の実施形態によると、マッピングの品質に対する、ピンクッション歪みまたは口ひげ歪みといった、樽形歪みまたは他の幾何学的歪みの影響は、可動カメラ１０４を、第１の方向から、可動カメラ１０４によって捕えられる画像が概観画像４０２の中央を包含する第２の方向に向け直すことによって、むしろ低減される場合があり、ここで、樽形歪みは目立たなくなる。さらにまた、これは、可動カメラ１０４の方向および概観画像４０２における位置を関連付ける既定の関係を使用すること、および、方向の初期校正としての第１の校正によって確立される対応関係を使用することによって、達成可能である。
【００５７】
さらに他の実施形態によると、コントローラ１０６は、第２の方向を無作為に選択してよい。
【００５８】
可動カメラ１０４が向け直されると、ステップＳ１６に進む。ステップＳ１６では、コントローラ１０６は、上述される少なくともステップＳ０６ａ〜Ｓ０６ｄを繰り返すが、ここでは、可動カメラ１０４は第２の方向に向けられている。
【００５９】
いくつかの実施形態では、コントローラ１０６は、ステップＳ０６ａ〜ｄが第２の方向に対して繰り返されるとさらなる校正を行う、後述されるステップＳ２０に進む。
【００６０】
他の実施形態では、コントローラ１０６はまた、第２の方向におけるカメラでステップＳ０６ｅを繰り返す。このような実施形態では、コントローラ１０６は、典型的には、第２の方向におけるカメラで算出したマッピングの品質を第１の閾値と比較するステップＳ１８も行う。品質が十分良好である、すなわち、第１の閾値以上である場合、コントローラ１０６はさらなる校正を行うステップＳ２０に進む。マッピングの品質が十分良好でない、すなわち、第１の閾値を下回る場合、コントローラ１０６は再度戻って、可動カメラ１０４を向け直すステップＳ１４、ステップＳ０６ａ〜ｅを繰り返すステップＳ１６、および、マッピングの品質が第１の閾値を下回るかどうかをチェックするステップＳ１８を繰り返す。コントローラ１０６は、マッピングの品質が第１の閾値以上になるまで、ステップＳ１４、Ｓ１６、およびＳ１８を繰り返し続けることができ、これによって、コントローラ１０６はさらなる校正を行うステップＳ２０に進む。
【００６１】
ステップＳ２０では、コントローラ１０６は、さらなる校正、すなわち、第２の校正を行う。さらに詳細には、コントローラ１０６は、カメラの現在の方向を、ステップＳ０６ｄが上述されるようにステップＳ１６下で最後に繰り返された時に記録された第２の特徴のセットの位置データと相関させる。このように、コントローラは、よって、可動カメラ１０４の方向と概観画像４０２の位置との間のさらなる対応関係を見出す。コントローラ１０６がさらなる校正を行うと、方法は終了し、それによって、最終校正はステップＳ２０のさらなる校正と等しくなる。
【００６２】
カメラシステム１００におけるような、固定カメラの第１のものに対する既知の位置および方向を有するいくつかの固定カメラ１０２ａ、１０２ｂがある時、可動カメラ１０４が好都合なことに、第１の固定カメラで校正された時点で他の固定カメラに対して校正されてよいことは、留意されたい。さらに詳細には、可動カメラ１０４の方向と、固定カメラの第１のものによって捕えられる概観画像における位置との間の相互関係が確立されると、可動カメラ１０４の方向と、固定カメラの他のもののそれぞれの概観画像における位置との間の相互関係が算出されてよい。該算出は、第１の固定カメラの校正、および、第１の固定カメラに対する他のカメラの既知の位置および方向に基づいてよい。
【００６３】
相対位置および方向が知られていない固定カメラ１０２ａ、１０２ｂがいくつかある場合、可動カメラ１０４は、図３に示されかつ上述される方法を適用することによって、カメラのそれぞれに対して校正される必要がある。この状況では、固定カメラのある特定のものの視野と部分的に一致するようにするＰＴＺカメラの方向およびズームレベルを見出すことが困難である場合があるという問題が生じ得る。これは、例えば、ある特定の固定カメラが高いズームレベルを有する場合とすることができる。この問題は、ＰＴＺカメラが固定カメラの１つまたは複数に対して校正された時点で単純化させることができるが、これは、既に校正されている固定カメラの視野が、ある特定の固定カメラの視野を検索する時にＰＴＺカメラの検索範囲から除外されてよいからである。また、図１のカメラシステムの固定カメラの第１、第２、および第４のものなど、固定カメラのいくつかのものが既に校正されている場合、ＰＴＺカメラは、第２のカメラの視野と第４のカメラの視野との間で第３のカメラの視野を検索してよい。
【００６４】
当業者が、上述された実施形態を多くのやり方で修正でき、上記の実施形態に示されるような本発明の利点を依然使用可能であることは、理解されるであろう。よって、本発明は、示される実施形態に限定されるものではなく、添付の特許請求の範囲によってのみ定められるものとする。さらに、熟練者が理解するように、示される実施形態は組み合わせられてよい。
【符号の説明】
【００６５】
１００  カメラシステム
１０２ａ  固定カメラ
１０２ｂ  固定カメラ
１０４  可動カメラ
１０６  コントローラ
２０２ａ  概観画像
２０２ｂ  概観画像
２０２ｃ  概観画像
２０２ｄ  概観画像
２０４  画像
４０２  概観画像
４０４  第１の画像
４０６  領域
４０８  第１の特徴のセット
４１０  第２の特徴のセット
４１２  物体
４１４  物体
【図１】
2019075776.tif 000003
【図２】
2019075776.tif 000004
【図３】
2019075776.tif 000005
【図４】
2019075776.tif 000006
【外国語明細書】
2019075776000001.pdf
2019075776000002.pdf
2019075776000003.pdf
2019075776000004.pdf