(57)【要約】【課題】リアルタイム性、視認性の向上を図れ、しかも、歪み補正パラメータを記憶するための記憶装置の容量を削減でき、ひいてはシステム的なコストを削減でき、また、歪み補正パラメータの通信量を削減することが可能な画像処理装置、カメラ装置、画像処理方法、およびプログラムを提供する。【解決手段】カメラ装置１０は、広角レンズで撮像した画像をもとに、格子状に形成された（張られた）歪み補正パラメータ（ベクトル）を用い歪み補正が可能であって、複数の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角に、スムースにパンチルトズーム可能であり、少なくとも３種類の歪み補正パラメータを用いて、それらを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する。【選択図】図１
2008227996.tif 000002
【特許請求の範囲】
【請求項１】
広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置であって、
複数の歪み補正パラメータを補間して歪み補正パラメータを生成する処理部
を有する画像処理装置。
【請求項２】
上記処理部は、
少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角およびチルト角のうち少なくとも一方の歪み補正パラメータを生成する
請求項１記載の画像処理装置。
【請求項３】
上記処理部は、
広角側、狭角側でそれぞれ生成された歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する
請求項１記載の画像処理装置。
【請求項４】
上記処理部は、
さらに多くの歪み補正パラメータを用意し、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替える
請求項１記載の画像処理装置。
【請求項５】
上記処理部は、
パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する
請求項４記載の画像処理装置。
【請求項６】
上記処理部は、
上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行う
請求項５記載の画像処理装置。
【請求項７】
上記処理部は、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正する
請求項５記載の画像処理装置。
【請求項８】
上記処理部は、
広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる
請求項５記載の画像処理装置。
【請求項９】
広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする
請求項５記載の画像処理装置。
【請求項１０】
電子パンチルトズーム機能を有するカメラ装置であって、
撮像素子と、
光軸を中心として点対称な歪みを有する広角レンズを含み、上記記撮像素子に被写体像を結像する光学系と、
上記撮像素子による広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置と、を有し、
上記画像処理装置は、
複数の歪み補正パラメータを補間して歪み補正パラメータを生成する処理部を有する
カメラ装置。
【請求項１１】
上記処理部は、
少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角およびチルト角のうち少なくとも一方の歪み補正パラメータを生成する
請求項１０記載のカメラ装置。
【請求項１２】
上記処理部は、
広角側、狭角側でそれぞれ生成された歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する
請求項１０記載のカメラ装置。
【請求項１３】
上記処理部は、
さらに多くの歪み補正パラメータを用意し、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替える
請求項１０記載のカメラ装置。
【請求項１４】
上記処理部は、
パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する
請求項１３記載のカメラ装置。
【請求項１５】
上記処理部は、
上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行う
請求項１４記載のカメラ装置。
【請求項１６】
上記処理部は、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正する
請求項１４記載のカメラ装置。
【請求項１７】
上記処理部は、
広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる
請求項１４記載のカメラ装置。
【請求項１８】
広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする
請求項１４記載のカメラ装置。
【請求項１９】
広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理方法であって、
少なくとも３種類の歪み補正パラメータを補間するステップと、
補間した歪み補正パラメータを用いて、任意のパン角およびチルト角のうち少なくとも一方の歪み補正パラメータを生成するステップと
を有する画像処理方法。
【請求項２０】
広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正する画像処理であって、
少なくとも３種類の歪み補正パラメータを補間する処理と、
補間した歪み補正パラメータを用いて、任意のパン角およびチルト角のうち少なくとも一方の歪み補正パラメータを生成する処理と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば広角レンズで撮像された画像の歪み補正機能を有する画像処理装置、カメラ装置、画像処理方法、およびプログラムに関するものである。
【背景技術】
【０００２】
広角レンズにより広角撮像した画像をもとに、格子状に配置した歪み補正パラメータ（ベクトル）を用いて歪み補正し、電子パンチルトズームする技術が知られている。
【０００３】
このように、広角撮像した画像をもとに、レンズ歪曲収差を格子状に配置した歪み補正パラメータ（ベクトル）を用いた歪み補正するアルゴリズムは公知である。
その技術を用い電子パンチルトするためには、任意のパンチルト角・画角の歪み補正パラメータを、マイクロプロセッサ等の演算処理により生成する必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、上述した技術では、電子パンチルトするためには、任意のパンチルト角・画角の歪み補正パラメータを、マイクロプロセッサ等の演算処理により生成しなくてはならいことから、演算に多大な時間が掛かり過ぎるとフレームレートが低下し、結果、表示においてはコマ送りように表示されリアルタイム性、視認性が低下する。
また、仮に高性能なマイクロプロセッサ等を用いれば演算時間を短縮でき、結果、表示におけるリアルタイム性、視認性は向上するが、システム的なコストが増大する。
【０００５】
そして、歪み補正パラメータをあらかじめ用意していた場合、任意のパンチルト角やズーム画角を表示するためには、多くの歪み補正パラメータが必要となり、歪み補正パラメータ用の記憶装置の容量が増大しシステム的なコストが増大した。
また、歪み補正パラメータを通信によりホストシステムからカメラにダウンロードした場合、パンチルト角、ズーム画角を切り替えるたびに歪み補正パラメータの通信を行う必要があり、通信に多大な時間が掛かり過ぎるとフレームレートが低下し、結果、表示においてはコマ送りの様に表示されリアルタイム性、視認性が低下する。
【０００６】
また、仮に高速な通信プロトコルを用いれば通信時間を短縮でき、結果、表示におけるリアルタイム性、視認性は向上するが、マイクロプロセッサの処理における負荷が増大するため、やはり高性能なマイクロプロセッサや高速通信用のハードウェア等が必要になり、システム的なコストが増大する。
【０００７】
また、パンチルトズームの移動方向が、あらかじめ決められた角度にしか移動できない場合、別途用意された何らかの検出処理（動き検出等）により検出した被写体を、パンチルトズームにより追従し表示する際、表示おいては、パンチルトズームを時分割に切り替えつつ追従している様に、カクカクとしたぎこちない表示となり、視認性が低下する。
また、検出した被写体を表示画像の中心付近に捕らえられない可能性がある。
さらにまた、広角側と狭角側の表示において、パン、チルトの角度により表示領域を制御すると、広角側では遅く、狭角側では早く表示され、パンチルトする際の操作性や視認性が低下する。
【０００８】
本発明は、リアルタイム性、視認性の向上を図れ、しかも、歪み補正パラメータを記憶するための記憶装置の容量を削減でき、ひいてはシステム的なコストを削減でき、また、歪み補正パラメータの通信量を削減することが可能な画像処理装置、カメラ装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点は、広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置であって、複数の歪み補正パラメータを補間して歪み補正パラメータを生成する処理部を有する。
【００１０】
本発明の第２の観点は、電子パンチルトズーム機能を有するカメラ装置であって、撮像素子と、光軸を中心として点対称な歪みを有する広角レンズを含み、上記記撮像素子に被写体像を結像する光学系と、上記撮像素子による広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置と、を有し、上記画像処理装置は、複数の歪み補正パラメータを補間して歪み補正パラメータを生成する処理部を有する。
【００１１】
本発明の第３の観点は、広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理方法であって、少なくとも３種類の歪み補正パラメータを補間するステップと、補間した歪み補正パラメータを用いて、任意のパン角およびチルト角のうち少なくとも一方の歪み補正パラメータを生成するステップとを有する。
【００１２】
本発明の第４の観点は、広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正する画像処理であって、少なくとも３種類の歪み補正パラメータを補間する処理と、補間した歪み補正パラメータを用いて、任意のパン角およびチルト角のうち少なくとも一方の歪み補正パラメータを生成する処理とをコンピュータに実行させるプログラムである。
【００１３】
本発明によれば、処理部において、複数、たとえば少なくもと３種類の歪み補正パラメータを補間することにより、任意のパン角およびチルト角のうち少なくとも一方の歪み補正パラメータが生成される。
【発明の効果】
【００１４】
本発明によれば、リアルタイム性、視認性の向上を図れ、しかも、歪み補正パラメータを記憶するための記憶装置の容量を削減でき、ひいてはシステム的なコストを削減でき、また、歪み補正パラメータの通信量を削減することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を図面に関連付けて説明する。
【００１６】
図１は、本発明の実施形態に係る画像処理装置を採用したカメラ装置の構成例を示すブロック図である。
【００１７】
本実施形態に係るカメラ装置１０は、図１に示すように、光学系１１、撮像素子（イメージングセンサ）１２、カメラ信号処理部１３、フレームメモリ１４、書き込みアドレス生成部１５、読み出しアドレス変換部１６、出力処理部１７、マイクロコンピュータ（マイコン）１８、歪み補正パラメータメモリ（ＲＡＭ）部１９、および歪み補正パラメータ補間処理部２０を有する。
そして、フレームメモリ１４、書き込みアドレス生成部１５、読み出しアドレス変換部１６、出力処理部１７、マイクロコンピュータ（マイコン）１８、歪み補正パラメータＲＡＭ部１９、および歪み補正パラメータ補間処理部２０により画像処理装置の処理部が構成される。
【００１８】
なお、本実施形態においては、レンズ歪曲収差における歪み補正パラメータを、単に歪み補正パラメータという。
【００１９】
本実施形態に係るカメラ装置１０は、広角レンズで撮像した画像をもとに、格子状に形成された（張られた）歪み補正パラメータ（ベクトル）を用い歪み補正が可能であって、複数の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角に、スムースにパンチルトズーム可能なカメラ装置として構成されている。
カメラ装置１０は、後述するように、４種類あるいは３種類の歪み補正パラメータを用いて、それらを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する方法を採用している。
カメラ装置１０は、これらの方法を用いて、広角側、狭角側でそれぞれ生成された歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する。
【００２０】
カメラ装置１０は、さらに多くの種類の歪み補正パラメータを用いることで、歪み補正の精度を向上させたパン、チルト、ズームを実現することも可能である。たとえば広角撮像した領域において、このような歪み補正パラメータを９種類、１８種類等、さらに多くの種類を用意し、それらおいて、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角に応じ、随時切り替えることも可能である。
この場合、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する方法が採用可能である。
そして、その座標系をもとに目標とする任意の座標までの距離を求め、それに基づきパンチルトズームにて移動するための制御方法が採用される。
また、カメラ装置１０は、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正する機能を有する。
また、カメラ装置１０は、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる機能を有する。
また、カメラ装置１０は、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする機能を有する。
これらの方法については、後で詳細に説明する。
【００２１】
本実施形態に係るカメラ装置１０は、歪み補正パラメータを用いることにより、超広角撮像した画像の歪み補正をしつつ、切り出し（パン・チルト・ズーム）、回転、鏡像処理、合成等を行う。
このとき、マイクロコンピュータ１８は、歪み補正パラメータを内蔵のＲＯＭ／ＲＡＭ等のメモリにあらかじめ記憶してもよいし、マイクロコンピュータ１８の演算により求めてもよいし、カメラ装置１０が伝送回線によって接続されているホストコンピュータ（図示せず）からの外部通信により受信するように構成することも可能である。
【００２２】
光学系１１は、たとえば超広角レンズにより形成される広角レンズ１１１を含み、広角レンズ１１１を通した被写体像を撮像素子１２の撮像面に結像させる。
【００２３】
撮像素子１２は、たとえばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｙｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）デバイスであるイメージングセンサにより構成される。
撮像素子１２は、半導体基板上にマトリクス状に配列した光センサにより光学系１１による被写体像を検出して信号電荷を生成し、同信号電荷を垂直信号線や水平信号線を介して読み出して被写体のデジタル画像信号をカメラ信号処理部１３に出力する。
【００２４】
カメラ信号処理部１３は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、フレームメモリ１４に出力する。
【００２５】
フレームメモリ１４は、ＲＡＭにより構成され、書き込みアドレス生成部１５にて生成されたアドレスにカメラ信号処理部１３による画像データを順次記憶する。
フレームメモリ１４には、読み出しアドレス変換部１６において、補間された歪み補正パラメータ（ベクトル）が変換された実アドレスが供給され、連続的に変化する歪み補正パラメータによって記憶されている元画像の補正対象部分の歪み補正が行われる。
フレームメモリ１４から読み出された画像データは、歪み補正、切り出し、合成等が施された画像となり、出力処理部１７に出力される。
【００２６】
読み出しアドレス変換部１６は、歪み補正パラメータ補間処理部２０により順次生成される歪み補正パラメータのベクトルを実アドレスに変換して、フレームメモリ１４に供給する。
フレームメモリ１４においては、ほぼ連続的に変化する歪み補正パラメータによって元画像の補正対象部分の円滑な歪み補正が行われる。
【００２７】
出力処理部１７は、フレームメモリ１４から読み出された、元画像に歪み補正、切り出し、合成等が施された画像データにガンマ処理、マスク処理、フォーマット変換等を施して外部に出力する。
【００２８】
マイクロコンピュータ１８は、これから歪み補正すべき元画像部分を示す歪み補正パラメータを、歪み補正パラメータ格納メモリ（ＲＡＭ）部１９の各ＲＡＭ１９−１〜１９−８に格納し、また、アクセスするためのメモリアドレスＭＡＤＲを歪み補正パラメータ格納メモリ（ＲＡＭ）部１９に供給する。
なお、前述したように、マイクロコンピュータ１８は、歪み補正パラメータを内蔵のＲＯＭ／ＲＡＭ等のメモリにあらかじめ記憶してもよいし、マイクロコンピュータ１８の演算により求めてもよいし、カメラ装置１０が伝送回線によって接続されているホストコンピュータ（図示せず）からの外部通信により受信するように構成することも可能である。
【００２９】
歪み補正パラメータ補間処理部２０は、たとえばマイクロコンピュータ１８の指示により歪み補正パラメータメモリ（ＲＡＭ）部１９から読み出された３種類、４種類、または８種類の歪み補正パラメータを、格子状に形成された（張られた）各格子点の間におけるベクトルを示す（Ｘ，Ｙ）に補間する。
【００３０】
歪み補正パラメータ（ベクトル）格納メモリ１９は、たとえば複数（図１の例では８）のＲＡＭ１９−１〜１９−８を有する。なお、ＲＡＭの数は、補間する歪み補正パラメータの種類（数）や、システムに応じた数となり、任意であり、このＲＡＭの数により、種類の異なる歪み補正パラメータを順次補間処理が可能なことは云うまでもない。
【００３１】
ここで、本実施形態に係る広角撮像した画像に対する歪み補正パラメータ、歪み補正パラメータの補間方法、歪み補正の精度を向上させる方法、歪む補正パラメータの３次元座標化、パンチルト角ズーム画角からの座標の導出方法、座標からの歪み補正パラメータの導出方法、座標によりパンチルトズーム制御方法、表示におけるパンチルトの移動角度の補正方法、表示における見た目の移動速度を一致させる方法、およびズーム時に画像中心にズームする方法について、順を追ってより具体的に説明する。
【００３２】
＜歪み補正技術と歪み補正パラメータの要約＞
まず、補正技術について簡易に説明する。
図２は、広角レンズを用いた撮像の概念を示す図である。
図２において、２１で示す円は超広角レンズ１１１で射像したものであり、２２は撮像素子１２の撮像面を示している。
歪み補正パラメータの算出は、図２に示すように、広角レンズ１１１の歪曲収差を示した格子を撮像面（平面）２２に射像することにより広角レンズの歪曲収差を示した格子を得る。そして、図３に示すような、撮像面２２の正方格子に対し広角レンズ１１１の歪曲収差を示した格子が一致するように各格子のベクトル（Ｘ，Ｙ）を求める。
【００３３】
したがって、歪み補正パラメータは、図４に示すように、出力画像における各格子点を、歪み補正する前の元画像の各格子点を示すベクトル（Ｘ，Ｙ）で指し示している。
このとき、図２の法線ＯＰの距離ｆにより画角（ズーム倍率）が変更でき、天頂角θと方位角φにより切り出す領域が変更（パン・チルト）できる。
また、各格子点間は、着目する格子点における周囲の格子点のベクトルを用い補間する。
このときの補間アルゴリズムは、最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
【００３４】
＜４種類の歪み補正パラメータの補間方法＞
図５（Ａ）〜（Ｃ）は、４種類の歪み補正パラメータの補間方法を説明するための図である。また、図６は、４種類の歪み補正パラメータを補間することより任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す図である。
なおここでは、説明を簡略化するため、各歪み補正パラメータのパン角やチルト角を、以下の仕様とするが、この通りでなくてもよいことは云うまでもない。
【００３５】
図５（Ａ）〜（Ｃ）の歪み補正パラメータは、光軸中心からのチルト角が＜１＞と＜２＞は同じ、＜３＞と＜４＞は同じである。ただし、＜１＞,＜２＞と＜３＞,＜４＞は相違する。
また、光軸中心からのパン角が＜１＞と＜３＞は同じ、＜２＞と＜４＞は同じ、ただし＜１＞,＜３＞と＜２＞,＜４＞は相違する。また、＜１＞,＜２＞,＜３＞,＜４＞の画角は同じとする。なな、図５（Ａ），（Ｂ）,（Ｃ）は、例として様々なバリエーションを示している。
以降、これを例に４種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す（図６参照）。
たとえば、＜１＞，＜２＞，＜３＞，＜４＞で囲まれた領域内の任意のパン角、チルト角を表示するための歪み補正パラメータを生成する場合、まず、＜１＞における全格子点における各ベクトル（Ｘ，Ｙ）と、＜２＞における全格子点における各ベクトル（Ｘ，Ｙ）をある重み付けをもって補間し、次に＜３＞と＜４＞を同様に補間し、最後にそれらを同様に補間すればよい。
【００３６】
つまり、次のような補間を行う。
【００３７】
＜１＞＜２＞の補間ベクトル：
Ａ（Ｘn，Ym）＝＜１＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜２＞（Ｘn，Ym）・Ｋx
【００３８】
＜３＞＜４＞の補間ベクトル：
Ｂ（Ｘn，Ym）＝＜３＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜４＞（Ｘn，Ym）・Ｋx
【００３９】
＜１＞＜２＞＜３＞＜４＞の補間ベクトル：
Ｃ（Ｘn，Ym）＝Ａ（Ｘn，Ym）・(1 - Ｋy) ＋ Ｂ（Ｘn，Ym）・Ｋy
【００４０】
ここで、ｎとｍは各格子点の配列番号を示し、KxとKyは重み付け係数を示し、0〜1の値をとる。
なお、上式は単純に示すため線形補間としたが、補間アルゴリズムは最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
また、このとき、最終的に生成される歪み補正パラメータのパン角、チルト角は、補間する際の重み付け係数を変えればよい。
【００４１】
つまり、たとえば次のようになる。
【００４２】
＜１＞＜２＞＜３＞＜４＞の補間後のパン角
＝{（＜２＞のパン角  ＜１＞のパン角）× Kx} ＋ ＜１＞のパン角
【００４３】
＜１＞＜２＞＜３＞＜４＞の補間後のチルト角
＝{（＜３＞のチルト角  ＜１＞のチルト角）× Ky} ＋ ＜１＞のチルト角
【００４４】
したがって、各重み付け係数を変更することにより、＜１＞，＜２＞，＜３＞，＜４＞の領域内における、任意のパン角、チルト角の歪み補正パラメータを生成することができる。
【００４５】
＜３種類の歪み補正パラメータの補間方法＞
図７は、３種類の歪み補正パラメータの補間方法を説明するための図である。また、図８は、３種類の歪み補正パラメータを補間することより任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す図である。
なお、ここでは説明を簡略化するため、各歪み補正パラメータのパン角やチルト角を、以下の仕様とするが、この通りでなくてもよいことは云うまでもない。
【００４６】
図７の歪み補正パラメータは、光軸中心からのチルト角が＜２＞と＜３＞は同じである。また、光軸中心からのパン角が＜１＞と＜３＞は同じであり、また、＜１＞＜２＞＜３＞の画角は同じであるとする。
以降、これを例に３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す（図８参照）。
たとえば、＜１＞，＜２＞，＜３＞で囲まれた領域内の任意のパン角、チルト角を表示するための歪み補正パラメータを生成する場合、まず、＜２＞における全格子点における各ベクトル（Ｘ，Ｙ）と、＜３＞における全格子点における各ベクトル（Ｘ，Ｙ）をある重み付けをもって補間し、それと＜１＞を同様に補間すればよい。
つまり、次のような補間を行う。
【００４７】
＜２＞＜３＞の補間ベクトル：
Ａ（Ｘn，Ym）＝＜２＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜３＞（Ｘn，Ym）・Ｋx
【００４８】
＜１＞＜２＞＜３＞の補間ベクトル：
Ｂ（Ｘn，Ym）＝＜１＞（Ｘn，Ym）・(1 - Ｋy) ＋ Ａ（Ｘn，Ym）・Ｋy
【００４９】
ここで、ｎとｍは各格子点の配列番号を示し、KxとKyは重み付け係数を示し、0〜1の値をとる。
なお、上式は単純に示すため線形補間としたが、補間アルゴリズムは最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
また、このとき、最終的に生成される歪み補正パラメータのパン角、チルト角は、補間する際の重み付け係数を変えればよい。
つまり、たとえば次のようになる。
【００５０】
＜２＞＜３＞の補間後のパン角
＝{（＜３＞のパン角  ＜２＞のパン角）× Kx} ＋ ＜２＞のパン角
【００５１】
＜１＞＜２＞＜３＞の補間後のパン角
＝{（＜２＞＜３＞のパン角  ＜１＞のパン角）× Ky} ＋ ＜２＞＜３＞のパン角
【００５２】
＜１＞＜２＞＜３＞の補間後のチルト角
＝{（＜３＞のチルト角  ＜１＞のチルト角）× Ky} ＋ ＜１＞のチルト角
【００５３】
したがって、各重み付け係数を変更することにより、＜１＞＜２＞＜３＞の領域内における、任意のパン角、チルト角の歪み補正パラメータを生成することができる。
【００５４】
このように、本実施形態においては、補間に用いる歪み補正パラメータを４種類あるいは３種類とし、２種類としていない理由は以下の通りである。
２種類の歪み補正パラメータで補間すると、補間対象とする歪み補正パラメータのパン角、チルト角、ズーム画角により、生成される歪み補正パラメータが異なってしまい、結果、同じパン角、チルト角、ズーム画角を表示した場合において、微妙に出力画像が異なる可能性がある。
つまり、図５における＜１＞と＜４＞、＜２＞と＜３＞でそれぞれ中間地点になるよう補間した場合、それぞれの歪み補正ベクトルが異なる。
また、停止時にその時に補間し生成されたた歪み補正パラメータを、新たな移動元の歪み補正パラメータとする場合、次々に生成される移動元の歪み補正パラメータに演算誤差が蓄積し、結果、同じパン角、チルト角、ズーム画角を表示した場合において、微妙に出力画像が異なってくる。
そこで、本実施形態としては、補間に用いる歪み補正パラメータを４種類あるいは３種類としている。
【００５５】
＜広角側、狭角側の歪み補正パラメータの補間方法＞
図９は、広角側、狭角側の歪み補正パラメータの補間方法を説明するための図である。また、図１０は、８種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する方法を示す図である。
なお、ここでは説明を簡略化するため、歪み補正パラメータの種類（数）や、各歪み補正パラメータのパン角やチルト角を、以下の仕様とするが、この通りでなくてもよいことは云うまでもない。
また、広角側、狭角側の歪み補正パラメータの補間方法は、前述した４種類、３種類の歪み補正パラメータの補間方法のいずれでもよい。
【００５６】
図９のひずみ補正パラメータは、上述した補間方法で示した＜１＞，＜２＞，＜３＞，＜４＞、および光軸中心からのチルト角が＜５＞と＜６＞は同じあり、＜７＞と＜８＞は同じである。ただし、＜５＞，＜６＞と＜７＞，＜８＞は相違する。
光軸中心からのパン角が＜５＞と＜７＞は同じ、＜６＞と＜８＞は同じである。ただし＜５＞＜７＞と＜６＞＜８＞は相違する。
また、＜１＞，＜２＞，＜３＞，＜４＞の画角は同じであり、＜５＞，＜６＞，＜７＞＜８＞の画角は同じ。ただし、＜１＞，＜２＞，＜３＞，＜４＞の画角より＜５＞，＜７＞＜６＞，＜８＞の画角は狭い。＜１＞，＜２＞と＜５＞，＜６＞、＜３＞，＜４＞と＜７＞，＜８＞のチルト角は同じであり、＜１＞，＜３＞と＜５＞，＜７＞、＜２＞，＜４＞と＜６＞，＜８＞のパン角は同じとする。
以降、これを例に８種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する方法を示す（図１０参照）。
この場合、まず、上述した４種類の歪み補正パラメータを用いら補間方法により、＜１＞，＜２＞，＜３＞，＜４＞で囲まれた領域内の任意のパン角、チルト角を表示するための歪み補正パラメータを生成し、次に，＜５＞，＜６＞，＜７＞，＜８＞を＜１＞，＜２＞，＜３＞，＜４＞と同じパン角、チルト角を表示するための歪み補正パラメータを生成し、最後にそれらを任意のズーム画角を得るため同様に補間すればよい。
つまり、次のような補間を行う。
【００５７】
＜１＞＜２＞の補間ベクトル：
Ａ（Ｘn，Ym）＝＜１＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜２＞（Ｘn，Ym）・Ｋx
【００５８】
＜３＞＜４＞の補間ベクトル：
Ｂ（Ｘn，Ym）＝＜３＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜４＞（Ｘn，Ym）・Ｋx
【００５９】
＜１＞＜２＞＜３＞＜４＞の補間ベクトル：
Ｃ（Ｘn，Ym）＝Ａ（Ｘn，Ym）・(1 - Ｋy) ＋ Ｂ（Ｘn，Ym）・Ｋy
【００６０】
＜５＞＜６＞の補間ベクトル：
Ｄ（Ｘn，Ym）＝＜５＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜６＞（Ｘn，Ym）・Ｋx
【００６１】
＜７＞＜８＞の補間ベクトル：
Ｅ（Ｘn，Ym）＝＜７＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜８＞（Ｘn，Ym）・Ｋx
【００６２】
＜５＞＜６＞＜７＞＜８＞の補間ベクトル：
Ｆ（Ｘn，Ym）＝Ｄ（Ｘn，Ym）・(1 - Ｋy) ＋ Ｅ（Ｘn，Ym）・Ｋy
【００６３】
＜１＞＜２＞＜３＞＜４＞＜５＞＜６＞＜７＞＜８＞の補間ベクトル：
Ｇ（Ｘn，Ym）＝Ｃ（Ｘn，Ym）・(1 - Ｋz) ＋ Ｆ（Ｘn，Ym）・Ｋz
【００６４】
ここで、ｎとｍは各格子点の配列番号を示し、KxとKyとKzは重み付け係数を示し、0〜1の値をとる。
なお、上式は単純に示すため線形補間としたが、補間アルゴリズムは最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
また、この時、最終的に生成される歪み補正パラメータのパン角、チルト角、ズーム画角は、補間する際の重み付け係数を変えればよい。
つまり、たとえば次のようになる。
【００６５】
＜１＞＜２＞＜３＞＜４＞の補間後のパン角：
Ａ＝{（＜２＞のパン角  ＜１＞のパン角）× Kx} ＋ ＜１＞のパン角
【００６６】
＜１＞＜２＞＜３＞＜４＞の補間後のチルト角：
Ｂ＝{（＜３＞のチルト角  ＜１＞のチルト角）× Ky} ＋ ＜１＞のチルト角
【００６７】
＜５＞＜６＞＜７＞＜８＞の補間後のパン角：
Ｃ＝{（＜６＞のパン角  ＜５＞のパン角）× Kx} ＋ ＜５＞のパン角
【００６８】
＜５＞＜６＞＜７＞＜８＞の補間後のチルト角：
Ｄ＝{（＜７＞のチルト角  ＜５＞のチルト角）× Ky} ＋ ＜５＞のチルト角
【００６９】
＜１＞＜２＞＜３＞＜４＞＜５＞＜６＞＜７＞＜８＞の補間後のパン角：
Ｇ＝{（パン角Ｃ  パン角Ａ）× Kz} ＋ パン角Ａ
【００７０】
＜１＞＜２＞＜３＞＜４＞＜５＞＜６＞＜７＞＜８＞の補間後のチルト角：
Ｈ＝{（チルト角Ｄ  チルト角Ｂ）× Kz} ＋ チルト角Ｂ
【００７１】
＜１＞＜２＞＜３＞＜４＞＜５＞＜６＞＜７＞＜８＞の補間後のズーム画角：
Ｉ＝{（＜５＞の画角  ＜１＞の画角）× Kz} ＋ ＜１＞の画角
【００７２】
したがって、各重み付け係数を変更することにより、＜１＞＜２＞＜３＞＜４＞＜５＞＜６＞＜７＞＜８＞の領域内における、任意のパン角、チルト角、およびズーム画角の歪み補正パラメータを生成することができる。
【００７３】
＜歪み補正の精度を向上させる方法＞
図１１（Ａ），（Ｂ）は、歪み補正の精度を向上させる方法を説明するための図である。
【００７４】
上述した４種類および３種類の歪み補正パラメータの補間方法を用い、歪み補正の精度を向上させるには、広角レンズで撮像した画像において、歪み補正する領域の種類（数）、つまり歪み補正パラメータの種類（数）を増やし、それぞれのパン角、チルト角、ズーム角において補間する対象を随時切り替えればよい。
つまり、広角レンズで撮像した画像において、各歪み補正パラメータ間のパン角、チルト角が狭くなるような歪み補正パラメータを用意すればするほど、補間後のパラメータは正しいベクトルを指し示すことになり、結果、歪み補正パラメータの精度は向上することになる。
【００７５】
たとえば、図１１（Ａ）のように９種類の歪み補正パラメータを用意し、任意のパン角、チルト角に応じ、補間する対象を＜１＞，＜２＞，＜４＞，＜５＞、＜２＞，＜３＞，＜５＞，＜６＞、および＜５＞，＜６＞，＜８＞＜，９＞等に切り替えればよい。
また、このとき、図１１（Ｂ）のように狭角側の歪み補正パラメータも同様に９種類用意し、同様に処理することにより、ズーム方向においても、歪み補正精度が向上することは云うまでもない。
なお、この方法において、歪み補正パラメータの数は９種類(3x3)に限定されるものではなく、また、上述した４種類および３種類の歪み補正パラメータの補間方法を共用してもよく、また、狭角側の種類（数）は広角側の種類（数）と一致する必要もなく、また、ズーム時における歪み補正の精度を向上させたいのであれば、ズーム方向の補間数を増やしてもよいことは云うまでもない。
【００７６】
＜歪み補正パラメータの３次元座標化(1)＞
図１２は、補間された歪み補正パラメータの３次元座標化の第１の方法を説明するための図である。また、図１３は、他の歪み補正パラメータも座標上にマッピングすることにより、歪み補正パラメータを３次元座標に置き換える方法を示す図である。
【００７７】
上述した４種類および３種類の歪み補正パラメータの補間方法を用いてパンチルトズーム制御するための座標化の方法を、図１２を例に説明する。
まず、任意のパン角、チルト角、ズーム角の歪み補正パラメータを生成するため、それらを３次元の座標（Ｘ，Ｙ，Ｚ）とし、この時、座標の最小値を０、座標の最大値を１００と定義する。
次に、広角側で、且つパン角、チルト角が最大である＜１＞の歪み補正パラメータ座標を（０，０，０）とし、同様に＜２＞の歪み補正パラメータの座標を（１００，０，０）、というように他の歪み補正パラメータも座標上にマッピングすることにより、歪み補正パラメータを３次元座標に置き換える（図１３参照）。
【００７８】
＜歪み補正パラメータの３次元座標化(2)＞
上述の歪み補正の精度を向上させる方法を用いてパンチルトズーム制御するための座標化の方法を説明する。
この場合の座標は、図１２および図１３の例の場合と同様に、座標の最大値を１００としてもよいし、パン角、チルト角、ズーム画角をそれぞれ切り替える種類により、座標の最大値を増やしてもよい。
たとえば、座標の最大値を増やす場合、たとえば図１１（Ｂ）のような広角側、狭角側、それぞれ９種類の歪み補正パラメータを用い、かつそれらを４種類の歪み補正パラメータで補間するのであれば、パン、チルトにおける切り替える種類は２種類であり、ズーム画角は１種類であるため、座標の最大値は（２００，２００，１００）としてもよい（図１４参照）
なお、図１４は、他の歪み補正パラメータも座標上にマッピングすることにより、歪み補正パラメータを３次元座標に置き換える他の方法を示す図である。
【００７９】
＜歪み補正パラメータの３次元座標化(3)＞
３種類の歪み補正パラメータの補間方法を用い座標化した場合は、必ずしも４角（平面）や立方体のような座標にはならないことは云うまでもない。
また、あらかじめ用意された歪み補正パラメータのパン角、チルト角、ズーム画角は周知であることから、３次元座標上にマッピングする際、各歪み補正パラメータのパン角、チルト角、ズーム画角に応じ、座標値を合わせこんでもよい。
【００８０】
＜任意のパンチルト角ズーム画角からの座標の導出方法＞
あらかじめ用意された歪み補正パラメータのパン角、チルト角、ズーム画角はあらかじめ知ることができることから、３次元座標上にマッピングした各歪み補正パラメータの座標における、パン角、チルト角、ズーム画角も周知となるため、任意のパン角、チルト角、ズーム画角からその座標（Ｘ，Ｙ，Ｚ）を得るには、単純にそこから割り戻せばよい。
【００８１】
＜座標からの歪み補正パラメータの導出方法＞
座標から歪み補正パラメータを導出するには、まず、各座標値を前述した４種類、３種類の歪み補正パラメータの補間方法、あるいは広角側、狭角側の歪み補正パラメータの補間方法における重み付け係数に変換し、各歪み補正パラメータを補間処理すればよい。
たとえば図１３の座標系であれば、座標の値が０の時、各重み付け係数Ｋx、Ｋy、Ｋzが０となり、座標の値が１００の時、各重み付け係数Ｋx、Ｋy、Ｋzが１となる。
従って、各重み付け係数Ｋx、Ｋy、Ｋzは、次のようになり、前述した４種類、３種類の歪み補正パラメータの補間方法を用いればよい。
【００８２】
Ｋx＝座標（Ｘ）÷１００、
Ｋy＝座標（Ｙ）÷１００、
Ｋz＝座標（Ｚ）÷１００
【００８３】
なお、図１１（Ａ）のような広角側、狭角側、それぞれ９種類の歪み補正パラメータを用い、かつそれらを４種類の歪み補正パラメータで補間するため、座標の最大値を（２００，２００，１００）とした場合は、座標（Ｘ）、（Ｙ）を１００で剰余した値を用いればよい。
したがって、この場合の各重み付け係数Ｋx、Ｋy、Ｋzは、次のようになり、これを広角側、狭角側の歪み補正パラメータの補間方法を用いればよい。
【００８４】
Ｋx＝座標（Ｘ mod １００）÷１００、
Ｋy＝座標（Ｙ mod １００）÷１００、
Ｋz＝座標（Ｚ mod １００）÷１００
ここで、modは剰余算を示す。
【００８５】
＜座標によるパンチルトズーム制御(1)＞
上述した歪み補正パラメータの３次元座標化方法、任意のパンチルト角ズーム画角からの座標の導出方法、座標からの歪み補正パラメータの導出方法を用い、広角撮像した画像における任意の領域を、任意の方向に移動しつつ、パンチルトズームする方法を、図１３に関連付けて説明する。
【００８６】
まず、座標を更新する時間的な間隔（たとえば表示のフレームレート等）で、現在の座標（Ｘ，Ｙ，Ｚ）に、ステップ距離を加える。
なお、ステップ距離は任意であり、ステップ距離が短いほど移動が遅くなり、長いほど移動が早くなる。
このとき、パン方向に移動するのであれば座標（Ｘ）に、チルト方向に移動するのであれば座標（Ｙ）に、ズーム方向に移動するのであれば座標（Ｚ）に加える。
なお、パンにおいて左方向、およびチルトにおいて下方向、およびズームにおいて縮小方向であれば、ステップ距離は方向によりマイナスを乗ずればよい。
また、パン、チルトにおいて斜め方向であれば座標（Ｘ）と座標（Ｙ）に同時に加えればよく、この時、座標（Ｘ）と座標（Ｙ）に加えるステップ距離の比率を変えることにより、任意のパン、チルト方向（角度）に移動できることになる。
また、座標（Ｘ）と座標（Ｙ）と座標（Ｚ）に同時に加えれば、パン、チルト、ズーム方向に同時に移動することができることは云うまでもない。
【００８７】
＜座標によるパンチルトズーム制御(2)＞
上述した歪み補正パラメータの３次元座標化方法、任意のパンチルト角ズーム画角からの座標の導出方法、座標からの歪み補正パラメータの導出方法を用い、現在の座標（Ｘ，Ｙ，Ｚ）から、目標とする座標（Ｘ，Ｙ，Ｚ）にパンチルトズームする方法を、図１３に関連付けて説明する。
【００８８】
まず、現在の座標（Ｘ，Ｙ，Ｚ）から目標とする座標（Ｘ，Ｙ，Ｚ）までの距離を求め、それをステップ距離で除算し、ステップ間隔を求める。
なお、ステップ距離は任意であり、ステップ距離が短いほど移動が遅くなり、長いほど移動が早くなる。
次に、現在の座標（Ｘ）から目標とする座標（Ｘ）までの距離（Ｘ）を求め、それをステップ間隔で除算し、ステップ距離（Ｘ）を求める。
同様に、同様にステップ距離（Ｙ）、ステップ距離（Ｚ）を求める。
そして、座標を更新する時間的な間隔（例えば表示のフレームレート等）で、現在の座標（Ｘ，Ｙ，Ｚ）に、ステップ距離（Ｘ，Ｙ，Ｚ）を加えていくことにより、目標の座標に移動することができる。
【００８９】
＜各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度の補正方法＞
図１５は、表示におけるパンチルトの移動角度の補正方法を説明するための図である。
上述した座標によるパンチルトズーム制御方法を用いパンチルトする際、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、パンチルトで移動する際の、表示における見た目の移動速度を同じにする方法を、図１５に関連付けて説明する。
【００９０】
たとえば、上述した座標によるパンチルトズーム制御(2)の方法で、座標上を斜め４５度方向に移動したとすると、ステップ距離（Ｘ）とステップ距離（Ｙ）は同じになり、遷移中の座標（Ｘ，Ｙ）の傾きは同じになるが、このとき、実際の表示においては、各歪み補正パラメータのパン角、チルト角の相違により、斜めに移動しているものの、結果、約３９度で移動しているように見える。
【００９１】
これを補正するための方法を以下に示す。
まず、次のように、各歪み補正パラメータのパン角、チルト角の比率を求める。
【００９２】
パン角：チルト角＝Ｋdx：Ｋdy
【００９３】
この比率を上述した座標によるパンチルトズーム制御(2)の方法における、現在の座標（Ｘ，Ｙ，Ｚ）から目標とする座標（Ｘ，Ｙ，Ｚ）までの距離を求める際に適用する。
つまり、次のようにして、それを元に目標とする座標までの距離を求め、以降標によるパンチルトズーム制御(2)の方法で処理すればよい。
【００９４】
目標とする座標までの距離（Ｘ）＝{目標とする座標（Ｘ）−現在の座標（Ｘ）}×Ｋdx
目標とする座標までの距離（Ｙ）＝{目標とする座標（Ｙ）−現在の座標（Ｙ）}×Ｋdy
【００９５】
なお、ここでは例として目標とする座標までの距離を補正したが、他に上述した歪む補正パラメータの３次元座標化(1),(2)の方法における座標自体を補正しても、ステップ距離を補正してもよいことは、云うまでもない。
【００９６】
＜広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる方法＞
図１６は、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる方法を説明するための図である。
上述した座標によるパンチルトズーム制御方法を用いパンチルトする際、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる方法を、図１６に関連付けて説明する。
【００９７】
たとえば、上述した座標によるパンチルトズーム制御(2)の方法で、座標上をパンチルトで移動したとすると、広角側（座標（Ｚ）＝最小値）でも、狭角側（座標（Ｚ）＝最大値）でも、ステップ距離は同じであるため、遷移中の座標（Ｘ，Ｙ）は同じになる。
ところが、このとき、実際の表示においては、図１６に示すように、広角側では広範囲を表示しているため、パンチルトしている時の見た目はゆっくり（遅く）移動している様に見え、狭角側では狭い範囲を飛び飛びに表示しているため、パンチルトしているときの見た目は早く移動している様に見える。
【００９８】
これを補正するための方法を以下に示す。
まず、次のように、各歪み補正パラメータの広角側の画角を１とした時の、狭角側の画角の比率を求める。
【００９９】
広角側の画角：狭角側の画角＝１：Ｋza
【０１００】
この比率を上述した座標によるパンチルトズーム制御(2)の方法における、座標（Ｚ）に応じ、ステップ距離を変化させるための係数を求める。座標（Ｚ）の最小値が広角側の画角、最大値が狭角側の画角の場合、次のようになり、この係数をステップ距離に乗じたものを、上述した座標によるパンチルトズーム制御(2)の方法で処理すればよい。
【０１０１】
Ｋzb＝１−{（現在の座標（Ｚ）÷座標（Ｚ）の最大値）×Ｋza}
【０１０２】
図１７は、例として、広角側の画角を９０度、狭角側の画角を４５度、座標（Ｚ）の最小値が０、最大値が１００の場合を示す図である。
なお、ここでは例としてステップ距離を補正したが、他に上述した歪み補正パラメータの３次元座標化方法における座標自体を補正しても、目標とする座標までの距離を補正してもよいことは、云うまでもない。
【０１０３】
＜広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合においてズーム時に画像中心にズームする方法＞
図１８は、ズーム時に画像中心にズームする方法を説明するための図である。
上述した座標によるパンチルトズーム制御（1）の方法を用いズームする際、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする方法を、図１８に関連付けて説明する。
【０１０４】
たとえば、図１２において、広角側のパン角と狭角側のパン角が同じで、且つ広角側のチルト角と狭角側のチルト角が同じである場合、上述した座標によるパンチルトズーム制御（1）,(2)の方法を用い、座標（Ｘ，Ｙ）を固定してズームすると、どの座標（Ｘ，Ｙ）においても表示における画像を中心にズーム（拡大、縮小）する。
しかし、図１８に示すように、広角側のパン角と狭角側のパン角が違い、または、広角側のチルト角と狭角側のチルト角が違う場合、上述した座標によるパンチルトズーム制御（1）,(2)の方法を用い、座標（Ｘ，Ｙ）を固定してズームしても、表示における画像を中心にズーム（拡大、縮小）せず、斜めにパンチルトしつつズームしたようになる。
【０１０５】
これを補正するための方法を以下に示す。
なお、図１８における広角側における各歪み補正パラメータの相対的なパン角は同じであり、かつチルト角も同じであり、また、狭角側における各歪み補正パラメータの相対的なパン角は同じで、かつチルト角も同じとし、座標の最大値は（１００，１００，１００）とする。
まず、広角側の画像中心と狭画像中心における、座標のズレ幅を求める。
座標のズレ幅Ｘzは、狭角側でパンした時（座標（Ｘ，０，１００））のパン角と、広角側の座標（０，０，０）歪み補正パラメータのパン角が一致した時の、座標（Ｘ）である。
同様に、座標のズレ幅Ｙzは、狭角側でチルトした時（座標（０，Ｙ，１００））のチルト角と、広角側の座標（０，０，０）歪み補正パラメータのチルト角が一致したときの、座標（Ｙ）である。
次に、上述した座標によるパンチルトズーム制御（1）の方法で、次に移動したい座標（Ｘ，Ｙ，Ｚ）を求め、そこから補正量を求める。
【０１０６】
Ｚl＝次に移動したい座標（Ｚ）−現在の座標（Ｚ）
【０１０７】
{５０−現在の座標（Ｘ）}の絶対値が、Ｚlの絶対値より小さい場合、Ｘa＝５０−現在の座標（Ｘ）とし、それ以外の場合は、Ｘa＝Ｚlとする。
【０１０８】
Ｘs＝Ｘa × （１／１００） × Ｘz
【０１０９】
Ｚlが０以上の場合、Ｘshift＝Ｘsとし、Ｚlが０未満の場合は、Ｘshift＝Ｘs × −１とする。
【０１１０】
{５０−現在の座標（Ｙ）}の絶対値が、Ｚlの絶対値より小さい場合、
Ｙa＝５０−現在の座標（Ｙ）とし、それ以外の場合は、Ｙa＝Ｚlとする。
【０１１１】
Ｙs＝Ｙa × （１／１００） × Ｙz
【０１１２】
Ｚlが０以上の場合、Ｙshift＝Ｙsとし、Ｚlが０未満の場合は。Ｙshift＝Ｙs × −１とする。
最後に、次に移動したい座標（Ｘ，Ｙ）に、補正量（Ｘshift，Ｙshift）を加える。
この補正量を加えた座標（Ｘ，Ｙ，Ｚ）を元に、補間処理を行えばよい。
【０１１３】
ここで、この補間処理の具体例を図１９に関連付けて説明する。
現在の座標を（０，０，０）、目標の座標を（０，０，１００），Ｚ方向のステップ（Ｓｔｅｐ）角を４とすると、次に移動したい座標は次のようになる。
【０１１４】
次に移動したい座標
＝｛目標の座標（０，０，１００）−現在の座標（０，０，０）｝／４
＝（０，０，２５）
【０１１５】
したがって、Ｚl＝２５となる。
{５０−現在の座標（Ｘ）}の絶対値＝５０である。
{５０−現在の座標（Ｘ）}の絶対値＝５０が、Ｚlの絶対値より小さい場合には、{５０−現在の座標（Ｘ）}の絶対値＝５０＜Ｚｌ＝２５である。
よって、偽であるため、Ｘa＝Ｚl＝２５である。したがって、Ｘsは次のようになる。
【０１１６】
Ｘs＝Ｘa × （１／１００） × Ｘz＝２５ × （１／１００） × ２５＝６．２５
【０１１７】
Ｚｌが０以上なら、Ｚｌ＞０＝２５＞０である。
これは、真であるため、補正量Ｘshift＝Ｘs＝６．２５となる。
【０１１８】
現在の座標（０，０，０）に補正量Ｘshiftを加えた、補正後の次に移動する座標は次のようになる。ただし、Ｙについては省略している。
【０１１９】
次に移動したい座標＝（０，０，０）＋（６．２５，Ｙ，２５）
【０１２０】
現在の座標のようになる。に補正量Ｘshiftを加え続けレベルよい。このとき、無論Ｚｌも加える。Ｙについては省略している。
以下、Ｙについてステップとして記す。この場合も、現在の座標（０，０，０）である。
【０１２１】
Ｓｔｅｐ１：
（０，Ｙ，０）＋（６．２５，Ｙ，２５）＝        （６．２５，Ｙ，２５）
Ｓｔｅｐ２：
（６．２５，Ｙ，２５）＋（６．２５，Ｙ，２５）＝（１２．５，Ｙ，５０）
Ｓｔｅｐ３：
（１２．５，Ｙ，５０）＋（６．２５，Ｙ，２５）＝（１８．７５，Ｙ，５０）
Ｓｔｅｐ４：
（１８．７５，Ｙ，７５）＋（６．２５，Ｙ，２５）＝（２５，Ｙ，１００）
【０１２２】
なお、ここでは例として次に移動したい座標を補正したが、他に上述した歪み補正パラメータの３次元座標化法（1）,(2)における座標自体を補正してもよいことは、云うまでもない。
【０１２３】
以上説明したように、本実施形態のカメラ装置１０は、広角レンズで撮像した画像をもとに、格子状に形成された（張られた）歪み補正パラメータ（ベクトル）を用い歪み補正が可能であって、複数の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角に、スムースにパンチルトズーム可能であり、４種類あるいは３種類の歪み補正パラメータを用いて、それらを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する。
また、カメラ装置１０は、広角側、狭角側でそれぞれ生成された歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する。さらに、カメラ装置１０は、多くの種類の歪み補正パラメータを用いることで、歪み補正の精度を向上させたパン、チルト、ズームを実現することも可能である。たとえば広角撮像した領域において、このような歪み補正パラメータを９種類、１８種類等、さらに多くの種類を用意し、それらおいて、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角に応じ、随時切り替えることも可能であり、この場合、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する。そして、その座標系をもとに目標とする任意の座標までの距離を求め、それに基づきパンチルトズームにて移動するための制御方法が採用される。
また、カメラ装置１０は、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正する機能と、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる機能と、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする機能と、を有する。
したがって、本実施形態によれば、以下の効果を得ることができる。
【０１２４】
１）マイクロプロセッサ等が任意のパンチルト角・画角の歪み補正パラメータを、演算により生成していた場合に比べ、マイクロプロセッサ等の負荷が大幅に軽減され、結果、リアルタイム性が向上（高フレームレート化が容易）し、視認性が向上する。
また、安価な低性能のマイクロプロセッサ等を用いることができ、システム的なコストが削減できる。
２）任意のパンチルト角やズーム画角を表示するため、あらかじめ多くの歪み補正パラメータを記憶する必要はなくなり、記憶装置の容量を削減でき、システム的なコストが削減できる。
３）パンチルト角、ズーム画角を切り替えるたびに歪み補正パラメータを通信によりホストシステムからカメラにダウンロードする必要がなくなり、リアルタイム性が向上（高フレームレート化が容易）し、視認性が向上する。
また、高速通信用のハードウェア等が必要なくなり、システム的なコストが削減できる。
４）２種類の歪み補正パラメータで補間するのに比べ、３種類、または４種類で歪み補正パラメータを補間するため、同じパン角、チルト角、ズーム画角を表示した場合において、出力画像が異なることはなくなり、歪み補正の精度が向上する。
５）２種類の歪み補正パラメータで補間するのに比べ、生成した歪み補正パラメータを再び補間する必要がないため、歪み補正パラメータに誤差が蓄積しない。
６）座標をもとに補間する歪み補正パラメータを生成するため、各歪み補正パラメータのパンチルト角、画角を意識する必要がなくなり、パンチルトズーム制御が簡易になり、安価な低性能のマイクロプロセッサ等を用いることができ、システム的なコストが削減できる。
７）パンチルトズームの移動方向に制限がなくなり、あらゆるパンチルトズーム方向に移動が可能になるため、別途用意された何らかの検出処理（動き検出等）により検出した被写体を、パンチルトズームにより追従し表示する際の、追従性、および視認性が向上する。
８）広角側と狭角側の表示におけるパンチルトする移動速度を同じにできるため、パンチルトする際の操作性や視認性が向上する。
９）任意の歪み補正パラメータにより歪み補正、パンチルトズームが可能なため、歪曲収差の違うレンズを使用した場合でも容易に対応できる。
【０１２５】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【０１２６】
【図１】本発明の実施形態に係る画像処理装置を採用したカメラ装置の構成例を示すブロック図である。
【図２】広角レンズを用いた撮像の概念を示す図である。
【図３】歪み補正ベクトルの格子配列の一例を示す図である。
【図４】歪み補正例を説明するための図である。
【図５】４種類の歪み補正パラメータの補間方法を説明するための図である。
【図６】４種類の歪み補正パラメータを補間することより任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す図である。
【図７】３種類の歪み補正パラメータの補間方法を説明するための図である。
【図８】３種類の歪み補正パラメータを補間することより任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す図である。
【図９】広角側、狭角側の歪み補正パラメータの補間方法を説明するための図である。
【図１０】８種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する方法を示す図である。
【図１１】歪み補正の精度を向上させる方法を説明するための図である。
【図１２】補間された歪み補正パラメータの３次元座標化の第１の方法を説明するための図である。
【図１３】他の歪み補正パラメータも座標上にマッピングすることにより、歪み補正パラメータを３次元座標に置き換える方法を示す図である。
【図１４】他の歪み補正パラメータも座標上にマッピングすることにより、歪み補正パラメータを３次元座標に置き換える他の方法を示す図である。
【図１５】表示におけるパンチルトの移動角度の補正方法を説明するための図である。
【図１６】広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる方法を説明するための図である。
【図１７】広角側の画角を９０度、狭角側の画角を４５度、座標（Ｚ）の最小値が０、最大値が１００の場合を示す図である。
【図１８】ズーム時に画像中心にズームする方法を説明するための図である。
【図１９】ズーム時に画像中心にズームする方法をより具体的に説明するための図である。
【符号の説明】
【０１２７】
１０・・・カメラ装置、１１・・・光学系、１１１・・・広角レンズ、１２・・・撮像素子、１３・・・カメラ信号処理部、１４・・・フレームメモリ、１５・・・書き込みアドレス生成部、１６・・・読み出しアドレス変換部、１７・・・出力処理部、１８・・・マイクロコンピュータ（マイコン）、１９・・・歪み補正パラメータ（ベクトル）格納メモリ（ＲＡＭ）、２０・・・歪み補正パラメータ補間処理部。
【図１】
2008227996.tif 000003
【図２】
2008227996.tif 000004
【図３】
2008227996.tif 000005
【図４】
2008227996.tif 000006
【図５】
2008227996.tif 000007
【図６】
2008227996.tif 000008
【図７】
2008227996.tif 000009
【図８】
2008227996.tif 000010
【図９】
2008227996.tif 000011
【図１０】
2008227996.tif 000012
【図１１】
2008227996.tif 000013
【図１２】
2008227996.tif 000014
【図１３】
2008227996.tif 000015
【図１４】
2008227996.tif 000016
【図１５】
2008227996.tif 000017
【図１６】
2008227996.tif 000018
【図１７】
2008227996.tif 000019
【図１８】
2008227996.tif 000020
【図１９】
2008227996.tif 000021