(57)【要約】【課題】魚眼レンズで撮影された歪曲円形画像から、任意部分を切り出し、歪みの少ない平面正則画像に変換する。【解決手段】ＸＹ平面上の歪曲円形画像Ｓ上に半径Ｒをもつ仮想球面Ｈを定義し、ユーザに、切出中心点Ｐ、倍率ｍ、平面傾斜角φを指定させる。点Ｐの真上の交点Ｑを通る視線ベクトルｎを求め、２点ＯＧの距離がｍ・Ｒとなる点Ｇにおいて視線ベクトルｎに直交する平面Ｔ上に、角φに応じた向きをもつＵＶ直交座標系を定義する。このＵＶ直交座標系を「点Ｇが側面上の１点をなし、Ｖ軸に平行かつ点Ｏを通る直線Ｖ′を中心軸とする仮想円柱」の側面Ｃに沿って湾曲させ、ＵＶ湾曲座標系を定義する。ＵＶ湾曲座標系上の点Ｃｉ（ｕｉ，ｖｉ）とＸＹ座標系上の点Ｓｉ（ｘｉ，ｙｉ）との対応関係式を用いて、点Ｐ近傍の画像をＵＶ湾曲座標系上に求め、これを平面Ｔ上に展開して平面正則画像を得る。【選択図】図１９
2010062790.tif 000002
【特許請求の範囲】
【請求項１】
魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置であって、
二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、前記二次元ＸＹ直交座標系の原点Ｏを中心とし半径Ｒをもった歪曲円形画像を格納する歪曲円形画像用メモリと、
二次元ＵＶ直交座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像用メモリと、
前記二次元ＸＹ直交座標系を含む三次元ＸＹＺ直交座標系において、前記原点Ｏを起点として任意の方向を向く視線ベクトルｎを、平面正則画像の切り出し位置を示すパラメータとして入力し、所定の平面傾斜角φを、平面正則画像の切り出し向きを示すパラメータとして入力し、所定の倍率ｍを、平面正則画像の切り出しサイズを示すパラメータとして入力するパラメータ入力ユニットと、
前記視線ベクトルｎ上における、前記原点Ｏから「前記倍率ｍと前記半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、前記点Ｇを通り前記視線ベクトルｎに直交する平面上に前記平面傾斜角φに応じた向きをもって配置された二次元ＵＶ直交座標系を、「前記点Ｇが側面上の１点をなし、前記二次元ＵＶ直交座標系のＶ軸に平行な中心軸を有する仮想円柱」の側面に沿って湾曲させることにより二次元ＵＶ湾曲座標系を定義し、この二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）と前記二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す所定の対応関係式を用いて、任意の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出する対応座標算出ユニットと、
前記平面正則画像を構成する１つの着目画素の座標（ｕ，ｖ）を前記対応座標算出ユニットに与えて対応座標（ｘ，ｙ）を算出させ、前記歪曲円形画像用メモリ内の前記対応座標（ｘ，ｙ）の近傍に配置された画素の画素値を読み出し、読み出した画素値に基づいて前記着目画素の画素値を決定する処理を、前記平面正則画像を構成する各画素について実行し、前記平面正則画像用メモリ内に各画素の画素値を書き込むことにより、前記平面正則画像を作成する平面正則画像作成ユニットと、
を備えることを特徴とする画像変換装置。
【請求項２】
請求項１に記載の画像変換装置において、
対応座標算出ユニットが、原点Ｏを中心として半径Ｒをもった仮想球面上に、用いた魚眼レンズの投影方式に応じて、二次元ＸＹ直交座標系上の座標（ｘｉ，ｙｉ）で示される点Ｓｉに対応する球面上対応点Ｑｉをとり、前記原点Ｏと前記球面上対応点Ｑｉとを結ぶ直線と二次元ＵＶ湾曲座標系の円柱側面状座標面との交点Ｃｉの前記二次元ＵＶ湾曲座標系上での座標を（ｕｉ，ｖｉ）としたときに、前記座標（ｘｉ，ｙｉ）が前記座標（ｕｉ，ｖｉ）に対応する対応座標として求まる対応関係式を用いることを特徴とする画像変換装置。
【請求項３】
請求項２に記載の画像変換装置において、
対応座標算出ユニットが、
歪曲円形画像用メモリに格納されている歪曲円形画像が、正射影方式の魚眼レンズによって撮影された正射影画像である場合には、座標（ｘｉ，ｙｉ）で示される点Ｓｉに対して、当該点Ｓｉを通りＺ軸に平行な直線と仮想球面との交点として与えられる座標（ｘｉ，ｙｉ，ｚｉ）で示される点を球面上対応点Ｑｉとする正射影画像用対応関係式を用い、
歪曲円形画像用メモリに格納されている歪曲円形画像が、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、前記正射影画像上の座標と前記非正射影画像上の座標との間の座標変換式を用いて前記正射影画像用対応関係式を補正することにより得られる非正射影画像用対応関係式を用いることを特徴とする画像変換装置。
【請求項４】
請求項３に記載の画像変換装置において、
対応座標算出ユニットが、「点Ｇが側面上の１点をなし、二次元ＵＶ直交座標系のＶ軸に平行かつ三次元ＸＹＺ直交座標系の原点Ｏを通る中心軸を有する仮想円柱」を用いて、二次元ＵＶ湾曲座標系を定義することを特徴とする画像変換装置。
【請求項５】
請求項４に記載の画像変換装置において、
対応座標算出ユニットが、視線ベクトルｎのＸＹ平面上への正射影とＹ軸とのなす角を方位角αとし、視線ベクトルｎとＺ軸正方向とのなす角を天頂角βとして、
Ａ＝cosφ cosα − sinφ sinα cosβ
Ｂ＝−sinφ cosα − cosφ sinα cosβ
Ｃ＝sinβ sinα
Ｄ＝cosφ sinα ＋ sinφ cosα cosβ
Ｅ＝−sinφ sinα ＋ cosφ cosα cosβ
Ｆ＝−sinβ cosα
Ｇ＝Ｒ／√（ｗ２＋ｖ２）
ｗ＝ｍＲ
ｕ′＝ｗ・sin（ｕ／ｗ）
ｗ′＝ｗ・cos（ｕ／ｗ）
との定義の下で、座標（ｕ，ｖ）と座標（ｘ，ｙ）との対応関係を示す正射影画像用対応関係式として、
ｘ＝Ｇ（ｕ′Ａ＋ｖＢ＋ｗ′Ｃ）
ｙ＝Ｇ（ｕ′Ｄ＋ｖＥ＋ｗ′Ｆ）
なる式を用いることを特徴とする画像変換装置。
【請求項６】
請求項５に記載の画像変換装置において、
対応座標算出ユニットが、
パラメータ入力ユニットから視線ベクトルｎおよび平面傾斜角φが与えられたときに、前記視線ベクトルｎに基づいて方位角αおよび天頂角βを求め、
Ａ＝cosφ cosα − sinφ sinα cosβ
Ｂ＝−sinφ cosα − cosφ sinα cosβ
Ｃ＝sinβ sinα
Ｄ＝cosφ sinα ＋ sinφ cosα cosβ
Ｅ＝−sinφ sinα ＋ cosφ cosα cosβ
Ｆ＝−sinβ cosα
なる演算式に基づいて、回転係数Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆを演算する回転係数演算部と、
パラメータ入力ユニットから倍率ｍが与えられ、平面正則画像作成ユニットから座標ｖが与えられたときに、歪曲円形画像の半径Ｒを用いて、
ｗ＝ｍＲ
Ｇ＝Ｒ／√（ｗ２＋ｖ２）
なる演算式に基づいて、共通係数Ｇを演算する共通係数演算部と、
パラメータ入力ユニットから倍率ｍが与えられ、平面正則画像作成ユニットから座標ｕが与えられたときに、歪曲円形画像の半径Ｒを用いて、
ｗ＝ｍＲ
ｕ′＝ｗ・sin（ｕ／ｗ）
ｗ′＝ｗ・cos（ｕ／ｗ）
なる演算式に基づいて、ｕ′およびｗ′を演算する湾曲座標補正部と、
前記平面正則画像作成ユニットから与えられた座標ｖ、前記回転係数演算部が演算した回転係数Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ、前記共通係数演算部が演算した共通係数Ｇ、前記湾曲座標補正部が演算したｕ′およびｗ′、ならびに歪曲円形画像の半径Ｒを用いて、
ｘ＝Ｇ（ｕ′Ａ＋ｖＢ＋ｗ′Ｃ）
ｙ＝Ｇ（ｕ′Ｄ＋ｖＥ＋ｗ′Ｆ）
なる演算式に基づいて、ｘおよびｙを演算するｘｙ座標値算出部と、
を有することを特徴とする画像変換装置。
【請求項７】
請求項６に記載の画像変換装置において、
パラメータ入力ユニットが、ユーザの指示に基づいて、もしくは歪曲円形画像用メモリに格納されている歪曲円形画像に基づいて、半径Ｒを可変のパラメータとして入力する機能を有し、共通係数演算部および湾曲座標補正部が、前記パラメータ入力ユニットによって入力された半径Ｒを用いて演算を行うことを特徴とする画像変換装置。
【請求項８】
請求項３〜７のいずれかに記載の画像変換装置において、
対応座標算出ユニットが、
歪曲円形画像用メモリに格納されている歪曲円形画像が、等距離射影方式の魚眼レンズによって撮影された等距離射影画像である場合には、正射影画像上の座標（ｘａ，ｙａ）を等距離射影画像上の座標（ｘｂ，ｙｂ）に変換する座標変換式
ｘｂ＝ｘａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）
ｙｂ＝ｙａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）
但し、ｒ＝√（ｘａ２＋ｙａ２）
を用いて、正射影画像用対応関係式に対する補正を行うことを特徴とする画像変換装置。
【請求項９】
請求項１〜８のいずれかに記載の画像変換装置において、
パラメータ入力ユニットが、
二次元ＸＹ直交座標系上の切出中心点Ｐの座標（ｘ０，ｙ０）を視線ベクトルｎを定義するパラメータとして入力し、三次元ＸＹＺ直交座標系において、原点Ｏを中心とし半径Ｒをもった仮想球面を定義し、
歪曲円形画像用メモリに格納されている歪曲円形画像が、正射影方式の魚眼レンズによって撮影された正射影画像である場合には、前記切出中心点Ｐを通りＺ軸に平行な直線と前記仮想球面との交点Ｑを定義し、前記原点Ｏを起点として前記交点Ｑを通るベクトルを視線ベクトルｎとし、
歪曲円形画像用メモリに格納されている歪曲円形画像が、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、前記正射影画像上の座標と前記非正射影画像上の座標との間の座標変換式を用いて、前記切出中心点Ｐの座標を補正し、補正後の点を通りＺ軸に平行な直線と前記仮想球面との交点Ｑを定義し、前記原点Ｏを起点として前記交点Ｑを通るベクトルを視線ベクトルｎとすることを特徴とする画像変換装置。
【請求項１０】
請求項１〜９のいずれかに記載の画像変換装置において、
対応座標算出ユニットが、原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸として与えられる回転基準軸ＪとＵ軸とのなす角が平面傾斜角φに等しくなるような向きに、二次元ＵＶ直交座標系を配置することを特徴とする画像変換装置。
【請求項１１】
請求項１〜１０のいずれかに記載の画像変換装置において、
平面正則画像用メモリに格納される平面正則画像の輪郭が長方形をなし、当該長方形の長辺に平行な方向にＵ軸、短辺に平行な方向にＶ軸をもつ二次元ＵＶ直交座標系を、Ｖ軸に平行な中心軸を有する仮想円柱の側面に沿って湾曲させることにより、二次元ＵＶ湾曲座標系を定義することを特徴とする画像変換装置。
【請求項１２】
請求項１〜１１のいずれかに記載の画像変換装置において、
平面正則画像作成ユニットが、座標（ｕ，ｖ）で示される位置に配置された着目画素の画素値を決定する際に、対応座標（ｘ，ｙ）で示される位置の近傍に配置された歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うことを特徴とする画像変換装置。
【請求項１３】
請求項１〜１２のいずれかに記載の画像変換装置としてコンピュータを機能させるためのプログラム。
【請求項１４】
請求項１〜１２のいずれかに記載の画像変換装置の構成要素となる対応座標算出ユニットおよび平面正則画像作成ユニットとして機能する電子回路が組み込まれた半導体集積回路。
【請求項１５】
請求項１〜１２のいずれかに記載の画像変換装置と、魚眼レンズを装着したデジタルカメラと、平面正則画像を画面上に表示するモニタ装置と、を備え、
前記デジタルカメラを用いた撮影により得られた歪曲円形画像が歪曲円形画像用メモリへと格納され、平面正則画像用メモリに得られた平面正則画像が前記モニタ装置によって表示されるように構成されていることを特徴とする魚眼監視システム。
【請求項１６】
魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法であって、
二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、前記二次元ＸＹ直交座標系の原点Ｏを中心とし半径Ｒをもった歪曲円形画像を、歪曲円形画像用メモリに格納する画像準備段階と、
前記二次元ＸＹ直交座標系を含む三次元ＸＹＺ直交座標系において、前記原点Ｏを起点として任意の方向を向く視線ベクトルｎを、平面正則画像の切り出し位置を示すパラメータとして設定し、所定の平面傾斜角φを、平面正則画像の切り出し向きを示すパラメータとして設定し、所定の倍率ｍを、平面正則画像の切り出しサイズを示すパラメータとして設定するパラメータ設定段階と、
演算処理装置が、二次元ＵＶ直交座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体からなる平面正則画像について、１つの着目画素の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出する対応座標算出段階と、
演算処理装置が、前記歪曲円形画像用メモリ内の前記対応座標（ｘ，ｙ）の近傍に配置された画素の画素値を読み出し、読み出した画素値に基づいて前記着目画素の画素値を決定する画素値決定段階と、
演算処理装置が、前記平面正則画像を格納するための平面正則画像用メモリ内の前記着目画素について、決定した前記画素値を書き込む画素値書込段階と、
を有し、
前記対応座標算出段階では、前記視線ベクトルｎ上における、前記原点Ｏから「前記倍率ｍと前記半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、前記点Ｇを通り前記視線ベクトルｎに直交する平面上に前記平面傾斜角φに応じた向きをもって配置された二次元ＵＶ直交座標系を、「前記点Ｇが側面上の１点をなし、前記二次元ＵＶ直交座標系のＶ軸に平行な中心軸を有する仮想円柱」の側面に沿って湾曲させることにより二次元ＵＶ湾曲座標系を定義し、この二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）と前記二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す所定の対応関係式を用いて、任意の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出する処理を行い、
平面正則画像を構成するために必要な全画素について、その画素値を平面正則画像用メモリ内に書き込むことを特徴とする画像変換方法。
【請求項１７】
魚眼レンズを用いた撮影により得られた歪曲円形画像を、三次元ＸＹＺ直交座標系におけるＸＹ平面上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体として用意する段階と、
前記三次元ＸＹＺ直交座標系を構成する空間内の所望の位置において、仮想円柱の側面に沿った湾曲面上に配置され、前記仮想円柱の中心軸に平行なＶ軸と、このＶ軸に直交する面によって前記仮想円柱を切断したときの断面を構成する円の円周に沿った円弧状のＵ軸と、によって構成される二次元ＵＶ湾曲座標系を定義する段階と、
前記二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）と前記ＸＹ平面上の対応座標（ｘ，ｙ）とを１対１に対応づける対応関係式を用いて、前記二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）に配置された画素の画素値を、対応座標（ｘ，ｙ）の近傍に配置された画素の画素値に基づいて決定することにより、前記二次元ＵＶ湾曲座標系上に多数の画素の集合体によって構成される湾曲正則画像を得る段階と、
前記二次元ＵＶ湾曲座標系を平面上に展開することにより、前記湾曲正則画像を平面正則画像に変換する段階と、
を有することを特徴とする画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換装置に関し、特に、魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う装置に関する。
【背景技術】
【０００２】
魚眼レンズを用いると、メカニカルな動作機構なしに、半球状の全方位を示す円形画像を得ることができる。このため、奇抜な効果を狙った風景写真などを撮影する際に広く利用されている。ただ、魚眼レンズを用いた撮影で得られる画像は、歪曲した円形の画像になるため、芸術写真などの用途にはそのまま利用することが可能かもしれないが、一般的な用途には不向きである。
【０００３】
そこで、魚眼レンズを用いた撮影により得られた歪曲円形画像を、歪みの少ない平面正則画像に変換する処理を行う装置が提案されている。たとえば、下記の特許文献１および２には、コンピュータを利用して歪曲円形画像の一部分を平面正則画像にリアルタイムで変換する技術が開示されている。このような変換技術を利用すれば、魚眼レンズを用いて撮影した歪曲円形画像からなる動画を、平面正則画像からなる動画としてリアルタイムで観察することが可能になり、１８０°の画角をもった監視システムなどへの応用が期待できる。
【０００４】
一方、下記の特許文献３には、魚眼レンズを用いた撮影により得られた歪曲円形画像を、円筒面上に展開された画像に変換することにより、水平方向にパノラマ表示を行う技術が開示されており、また、下記の特許文献４には、歪曲円形画像を平面正則画像に変換する際に必要な除算及びその他の関数演算を、ルックアップテーブルを参照する処理で代用することにより、ハードウエアの実装を軽減する技術が開示されている。
【特許文献１】特許第３０１２１４２号公報
【特許文献２】特許第３０５１１７３号公報
【特許文献３】特許第３０２５２５５号公報
【特許文献４】特許第３１２６９５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
最近では、魚眼レンズを装着した防犯カメラを建物の天井や壁面に設置し、この防犯カメラで撮影した画像をモニタ装置に映し出す魚眼監視システムが普及している。このような用途では、モニタ画面上で人物の顔や衣服などの特徴を正確に把握する必要性から、できるだけ歪みのない平面正則画像を得ることが望まれる。しかしながら、従来提案されている画像変換装置では、このような要望に応じた歪みのない平面正則画像を得ることは困難である。
【０００６】
たとえば、上述した特許文献１，２に開示されている技術を用いると、魚眼レンズを用いた撮影により得られた歪曲円形画像から、ユーザが所望する箇所を切り出して、矩形の平面正則画像を得ることが可能であるが、得られた平面正則画像は歪んだものとなり、人物の細かな特徴を確認する用途には不十分である。特に、得られる矩形の平面正則画像の外側部分（輪郭近傍）の歪みは大きくなるため、切り出し箇所を徐々に移動させて水平パニングを行うような場合、滑らかなパニング映像を得ることができなくなる。
【０００７】
一方、上述した特許文献３に開示されている技術では、水平方向に細長いパノラマ画像が得られるので、その一部を切り出してモニタ画面上に表示すれば、水平パニングを行うような場合でも、滑らかなパニング映像を得ることができる。しかしながら、この技術で得られたパノラマ画像は、水平方向に関しての歪みは小さいが、垂直方向に関しての歪みは大きくなるため、実用上、切り出し可能な領域に制限が課せられる。具体的には、半球状の領域を撮影したとしても、その天頂部付近を切り出した平面正則画像には大きな歪みが生じるため、実用上、天頂部付近を切り出すことはできなくなる。このように、切り出し可能箇所に制限が課せられると、防犯カメラに利用した場合に死角が生じることになるので好ましくない。
【０００８】
そこで本発明は、魚眼レンズを用いた撮影により得られた歪曲円形画像から、所望の任意部分を切り出し、歪みの少ない平面正則画像に変換することが可能な画像変換装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
(1)   本発明の第１の態様は、魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置において、
二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、二次元ＸＹ直交座標系の原点Ｏを中心とし半径Ｒをもった歪曲円形画像を格納する歪曲円形画像用メモリと、
二次元ＵＶ直交座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像用メモリと、
二次元ＸＹ直交座標系を含む三次元ＸＹＺ直交座標系において、原点Ｏを起点として任意の方向を向く視線ベクトルｎを、平面正則画像の切り出し位置を示すパラメータとして入力し、所定の平面傾斜角φを、平面正則画像の切り出し向きを示すパラメータとして入力し、所定の倍率ｍを、平面正則画像の切り出しサイズを示すパラメータとして入力するパラメータ入力ユニットと、
視線ベクトルｎ上における、原点Ｏから「倍率ｍと半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、点Ｇを通り視線ベクトルｎに直交する平面上に平面傾斜角φに応じた向きをもって配置された二次元ＵＶ直交座標系を、「点Ｇが側面上の１点をなし、二次元ＵＶ直交座標系のＶ軸に平行な中心軸を有する仮想円柱」の側面に沿って湾曲させることにより二次元ＵＶ湾曲座標系を定義し、この二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す所定の対応関係式を用いて、任意の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出する対応座標算出ユニットと、
平面正則画像を構成する１つの着目画素の座標（ｕ，ｖ）を対応座標算出ユニットに与えて対応座標（ｘ，ｙ）を算出させ、歪曲円形画像用メモリ内の対応座標（ｘ，ｙ）の近傍に配置された画素の画素値を読み出し、読み出した画素値に基づいて着目画素の画素値を決定する処理を、平面正則画像を構成する各画素について実行し、平面正則画像用メモリ内に各画素の画素値を書き込むことにより、平面正則画像を作成する平面正則画像作成ユニットと、
を設けるようにしたものである。
【００１０】
(2)   本発明の第２の態様は、上述の第１の態様に係る画像変換装置において、
対応座標算出ユニットが、原点Ｏを中心として半径Ｒをもった仮想球面上に、用いた魚眼レンズの投影方式に応じて、二次元ＸＹ直交座標系上の座標（ｘｉ，ｙｉ）で示される点Ｓｉに対応する球面上対応点Ｑｉをとり、原点Ｏと球面上対応点Ｑｉとを結ぶ直線と二次元ＵＶ湾曲座標系の円柱側面状座標面との交点Ｃｉの二次元ＵＶ湾曲座標系上での座標を（ｕｉ，ｖｉ）としたときに、座標（ｘｉ，ｙｉ）が座標（ｕｉ，ｖｉ）に対応する対応座標として求まる対応関係式を用いるようにしたものである。
【００１１】
(3)   本発明の第３の態様は、上述の第２の態様に係る画像変換装置において、
対応座標算出ユニットが、
歪曲円形画像用メモリに格納されている歪曲円形画像が、正射影方式の魚眼レンズによって撮影された正射影画像である場合には、座標（ｘｉ，ｙｉ）で示される点Ｓｉに対して、当該点Ｓｉを通りＺ軸に平行な直線と仮想球面との交点として与えられる座標（ｘｉ，ｙｉ，ｚｉ）で示される点を球面上対応点Ｑｉとする正射影画像用対応関係式を用い、
歪曲円形画像用メモリに格納されている歪曲円形画像が、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、正射影画像上の座標と非正射影画像上の座標との間の座標変換式を用いて正射影画像用対応関係式を補正することにより得られる非正射影画像用対応関係式を用いるようにしたものである。
【００１２】
(4)   本発明の第４の態様は、上述の第３の態様に係る画像変換装置において、
対応座標算出ユニットが、「点Ｇが側面上の１点をなし、二次元ＵＶ直交座標系のＶ軸に平行かつ三次元ＸＹＺ直交座標系の原点Ｏを通る中心軸を有する仮想円柱」を用いて、二次元ＵＶ湾曲座標系を定義するようにしたものである。
【００１３】
(5)   本発明の第５の態様は、上述の第４の態様に係る画像変換装置において、
対応座標算出ユニットが、視線ベクトルｎのＸＹ平面上への正射影とＹ軸とのなす角を方位角αとし、視線ベクトルｎとＺ軸正方向とのなす角を天頂角βとして、
Ａ＝cosφ cosα − sinφ sinα cosβ
Ｂ＝−sinφ cosα − cosφ sinα cosβ
Ｃ＝sinβ sinα
Ｄ＝cosφ sinα ＋ sinφ cosα cosβ
Ｅ＝−sinφ sinα ＋ cosφ cosα cosβ
Ｆ＝−sinβ cosα
Ｇ＝Ｒ／√（ｗ２＋ｖ２）
ｗ＝ｍＲ
ｕ′＝ｗ・sin（ｕ／ｗ）
ｗ′＝ｗ・cos（ｕ／ｗ）
との定義の下で、座標（ｕ，ｖ）と座標（ｘ，ｙ）との対応関係を示す正射影画像用対応関係式として、
ｘ＝Ｇ（ｕ′Ａ＋ｖＢ＋ｗ′Ｃ）
ｙ＝Ｇ（ｕ′Ｄ＋ｖＥ＋ｗ′Ｆ）
なる式を用いるようにしたものである。
【００１４】
(6)   本発明の第６の態様は、上述の第５の態様に係る画像変換装置において、
対応座標算出ユニットが、
パラメータ入力ユニットから視線ベクトルｎおよび平面傾斜角φが与えられたときに、視線ベクトルｎに基づいて方位角αおよび天頂角βを求め、
Ａ＝cosφ cosα − sinφ sinα cosβ
Ｂ＝−sinφ cosα − cosφ sinα cosβ
Ｃ＝sinβ sinα
Ｄ＝cosφ sinα ＋ sinφ cosα cosβ
Ｅ＝−sinφ sinα ＋ cosφ cosα cosβ
Ｆ＝−sinβ cosα
なる演算式に基づいて、回転係数Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆを演算する回転係数演算部と、
パラメータ入力ユニットから倍率ｍが与えられ、平面正則画像作成ユニットから座標ｖが与えられたときに、歪曲円形画像の半径Ｒを用いて、
ｗ＝ｍＲ
Ｇ＝Ｒ／√（ｗ２＋ｖ２）
なる演算式に基づいて、共通係数Ｇを演算する共通係数演算部と、
パラメータ入力ユニットから倍率ｍが与えられ、平面正則画像作成ユニットから座標ｕが与えられたときに、歪曲円形画像の半径Ｒを用いて、
ｗ＝ｍＲ
ｕ′＝ｗ・sin（ｕ／ｗ）
ｗ′＝ｗ・cos（ｕ／ｗ）
なる演算式に基づいて、ｕ′およびｗ′を演算する湾曲座標補正部と、
平面正則画像作成ユニットから与えられた座標ｖ、回転係数演算部が演算した回転係数Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ、共通係数演算部が演算した共通係数Ｇ、湾曲座標補正部が演算したｕ′およびｗ′、ならびに歪曲円形画像の半径Ｒを用いて、
ｘ＝Ｇ（ｕ′Ａ＋ｖＢ＋ｗ′Ｃ）
ｙ＝Ｇ（ｕ′Ｄ＋ｖＥ＋ｗ′Ｆ）
なる演算式に基づいて、ｘおよびｙを演算するｘｙ座標値算出部と、
を有するようにしたものである。
【００１５】
(7)   本発明の第７の態様は、上述の第６の態様に係る画像変換装置において、
パラメータ入力ユニットが、ユーザの指示に基づいて、もしくは歪曲円形画像用メモリに格納されている歪曲円形画像に基づいて、半径Ｒを可変のパラメータとして入力する機能を有し、共通係数演算部および湾曲座標補正部が、パラメータ入力ユニットによって入力された半径Ｒを用いて演算を行うようにしたものである。
【００１６】
(8)   本発明の第８の態様は、上述の第３〜第７の態様に係る画像変換装置において、
対応座標算出ユニットが、
歪曲円形画像用メモリに格納されている歪曲円形画像が、等距離射影方式の魚眼レンズによって撮影された等距離射影画像である場合には、正射影画像上の座標（ｘａ，ｙａ）を等距離射影画像上の座標（ｘｂ，ｙｂ）に変換する座標変換式
ｘｂ＝ｘａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）
ｙｂ＝ｙａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）
但し、ｒ＝√（ｘａ２＋ｙａ２）
を用いて、正射影画像用対応関係式に対する補正を行うようにしたものである。
【００１７】
(9)   本発明の第９の態様は、上述の第１〜第８の態様に係る画像変換装置において、
パラメータ入力ユニットが、
二次元ＸＹ直交座標系上の切出中心点Ｐの座標（ｘ０，ｙ０）を視線ベクトルｎを定義するパラメータとして入力し、三次元ＸＹＺ直交座標系において、原点Ｏを中心とし半径Ｒをもった仮想球面を定義し、
歪曲円形画像用メモリに格納されている歪曲円形画像が、正射影方式の魚眼レンズによって撮影された正射影画像である場合には、切出中心点Ｐを通りＺ軸に平行な直線と仮想球面との交点Ｑを定義し、原点Ｏを起点として交点Ｑを通るベクトルを視線ベクトルｎとし、
歪曲円形画像用メモリに格納されている歪曲円形画像が、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、正射影画像上の座標と非正射影画像上の座標との間の座標変換式を用いて、切出中心点Ｐの座標を補正し、補正後の点を通りＺ軸に平行な直線と仮想球面との交点Ｑを定義し、原点Ｏを起点として交点Ｑを通るベクトルを視線ベクトルｎとするようにしたものである。
【００１８】
(10)  本発明の第１０の態様は、上述の第１〜第９の態様に係る画像変換装置において、
対応座標算出ユニットが、原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸として与えられる回転基準軸ＪとＵ軸とのなす角が平面傾斜角φに等しくなるような向きに、二次元ＵＶ直交座標系を配置するようにしたものである。
【００１９】
(11)  本発明の第１１の態様は、上述の第１〜第１０の態様に係る画像変換装置において、
平面正則画像用メモリに格納される平面正則画像の輪郭が長方形をなし、当該長方形の長辺に平行な方向にＵ軸、短辺に平行な方向にＶ軸をもつ二次元ＵＶ直交座標系を、Ｖ軸に平行な中心軸を有する仮想円柱の側面に沿って湾曲させることにより、二次元ＵＶ湾曲座標系を定義するようにしたものである。
【００２０】
(12)  本発明の第１２の態様は、上述の第１〜第１１の態様に係る画像変換装置において、
平面正則画像作成ユニットが、座標（ｕ，ｖ）で示される位置に配置された着目画素の画素値を決定する際に、対応座標（ｘ，ｙ）で示される位置の近傍に配置された歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うようにしたものである。
【００２１】
(13)  本発明の第１３の態様は、上述の第１〜第１２の態様に係る画像変換装置を、コンピュータに専用のプログラムを組み込むことにより構成したものである。
【００２２】
(14)  本発明の第１４の態様は、上述の第１〜第１２の態様に係る画像変換装置の構成要素となる対応座標算出ユニットおよび平面正則画像作成ユニットを、電子回路が組み込まれた半導体集積回路によって構成したものである。
【００２３】
(15)  本発明の第１５の態様は、上述の第１〜第１２の態様に係る画像変換装置に、更に、魚眼レンズを装着したデジタルカメラと、平面正則画像を画面上に表示するモニタ装置と、を付加して魚眼監視システムを構成するようにし、
デジタルカメラを用いた撮影により得られた歪曲円形画像が歪曲円形画像用メモリへと格納され、平面正則画像用メモリに得られた平面正則画像がモニタ装置によって表示されるようにしたものである。
【００２４】
(16)  本発明の第１６の態様は、魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法において、
二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、二次元ＸＹ直交座標系の原点Ｏを中心とし半径Ｒをもった歪曲円形画像を、歪曲円形画像用メモリに格納する画像準備段階と、
二次元ＸＹ直交座標系を含む三次元ＸＹＺ直交座標系において、原点Ｏを起点として任意の方向を向く視線ベクトルｎを、平面正則画像の切り出し位置を示すパラメータとして設定し、所定の平面傾斜角φを、平面正則画像の切り出し向きを示すパラメータとして設定し、所定の倍率ｍを、平面正則画像の切り出しサイズを示すパラメータとして設定するパラメータ設定段階と、
演算処理装置が、二次元ＵＶ直交座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体からなる平面正則画像について、１つの着目画素の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出する対応座標算出段階と、
演算処理装置が、歪曲円形画像用メモリ内の対応座標（ｘ，ｙ）の近傍に配置された画素の画素値を読み出し、読み出した画素値に基づいて着目画素の画素値を決定する画素値決定段階と、
演算処理装置が、平面正則画像を格納するための平面正則画像用メモリ内の着目画素について、決定した画素値を書き込む画素値書込段階と、
を行い、
対応座標算出段階では、視線ベクトルｎ上における、原点Ｏから「倍率ｍと半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、点Ｇを通り視線ベクトルｎに直交する平面上に平面傾斜角φに応じた向きをもって配置された二次元ＵＶ直交座標系を、「点Ｇが側面上の１点をなし、二次元ＵＶ直交座標系のＶ軸に平行な中心軸を有する仮想円柱」の側面に沿って湾曲させることにより二次元ＵＶ湾曲座標系を定義し、この二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す所定の対応関係式を用いて、任意の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出する処理を行い、
平面正則画像を構成するために必要な全画素について、その画素値を平面正則画像用メモリ内に書き込むようにしたものである。
【００２５】
(17)  本発明の第１７の態様は、魚眼レンズを用いた撮影により得られた歪曲円形画像を、三次元ＸＹＺ直交座標系におけるＸＹ平面上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体として用意する段階と、
三次元ＸＹＺ直交座標系を構成する空間内の所望の位置において、仮想円柱の側面に沿った湾曲面上に配置され、仮想円柱の中心軸に平行なＶ軸と、このＶ軸に直交する面によって仮想円柱を切断したときの断面を構成する円の円周に沿った円弧状のＵ軸と、によって構成される二次元ＵＶ湾曲座標系を定義する段階と、
二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）とＸＹ平面上の対応座標（ｘ，ｙ）とを１対１に対応づける対応関係式を用いて、二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）に配置された画素の画素値を、対応座標（ｘ，ｙ）の近傍に配置された画素の画素値に基づいて決定することにより、二次元ＵＶ湾曲座標系上に多数の画素の集合体によって構成される湾曲正則画像を得る段階と、
二次元ＵＶ湾曲座標系を平面上に展開することにより、湾曲正則画像を平面正則画像に変換する段階と、
により画像変換を行うようにしたものである。
【発明の効果】
【００２６】
本発明の画像変換装置によれば、二次元ＸＹ直交座標系上の歪曲円形画像の各画素を、円柱側面に沿って湾曲した二次元ＵＶ湾曲座標系上の画素に対応づける処理を行うようにしたため、魚眼レンズを用いた撮影により得られた歪曲円形画像から、所望の任意部分を切り出して平面正則画像を得ることができ、しかも、歪みの少ない平面正則画像を得ることができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明を図示する実施形態に基づいて説明する。
【００２８】
＜＜＜  §１．画像変換処理の基本モデル  ＞＞＞
はじめに、魚眼レンズを用いた撮影により得られた歪曲円形画像の一般的な特徴と、その一部分を切り出して、平面正則画像に変換する処理の基本原理を説明する。図１は、正射影方式の魚眼レンズを用いた撮影により歪曲円形画像Ｓを形成する基本モデルを示す斜視図である。一般に、魚眼レンズは、その投影方式によって複数の種類に分けられるが、この図１に示すモデルは、正射影方式の魚眼レンズについてのものである（正射影方式以外の魚眼レンズに本発明を適用する手法は、§７で述べる）。
【００２９】
図１には、三次元ＸＹＺ直交座標系におけるＸＹ平面上に歪曲円形画像Ｓが形成された例が示されている。ここでは、図示のとおり、Ｚ軸を図の上方にとり、Ｚ軸の正の領域側にドーム状の仮想球面Ｈ（半球）を定義した例を示すことにする。
【００３０】
ＸＹ平面上に形成された歪曲円形画像Ｓは、座標系の原点Ｏを中心とした半径Ｒの円を構成する画像であり、Ｚ軸の正の領域側における１８０°の画角をもった領域に存在する像を歪ませて記録したものに相当する。図２は、魚眼レンズを用いた撮影によって得られた歪曲円形画像Ｓの一例を示す平面図である。このように、歪曲円形画像Ｓには、Ｚ軸の正の領域側に存在するすべての像が記録されることになるが、その中心部分と周囲部分とでは、像の縮尺倍率が異なっており、記録された像の形状は歪んだものになる。なお、図２に示す歪曲円形画像Ｓは、魚眼レンズを用いた撮影により得られた歪曲円形画像の一般的なイメージを示すものであり、実際の魚眼レンズを用いて得られる正確な画像を示すものではない。
【００３１】
実際の魚眼レンズは、複数の凸レンズや凹レンズを組み合わせた光学系によって構成されるが、その光学的な特性は、図１に示すような仮想球面Ｈによってモデル化できることが知られている。すなわち、歪曲円形画像Ｓの上面に、半径Ｒをもったドーム状の仮想球面Ｈ（半球）を配置したモデルを考えれば、正射影方式の魚眼レンズの光学的特性は、仮想球面Ｈ上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線Ｌ１は、Ｚ軸に平行な入射光線Ｌ２として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする、と考えてよい。逆言すれば、図２において歪曲円形画像Ｓ上の点Ｓ（ｘ，ｙ）に位置する画素は、図１に示す入射光線Ｌ１の延長線上に存在する物体上の１点を示していることになる。
【００３２】
もちろん、実際の魚眼レンズで生じている光学的現象は、複数の凸レンズや凹レンズによる屈折により、撮像対象となる物体の特定の点が、ＸＹ平面上の特定の点Ｓ（ｘ，ｙ）上に結像する現象ということになるが、画像変換処理などを行う上では、図１に示すような仮想球面Ｈを用いたモデルに置き換えた議論を行っても何ら支障はない。したがって、前掲の特許文献に開示されている画像変換処理でも、このようなモデルを前提とした手法が示されており、本発明における以下の説明においても、このようなモデルを前提とした説明を行うことにする。
【００３３】
本発明に係る画像変換装置の目的は、歪曲円形画像Ｓ上の一部分を切り出して、平面正則画像に変換する処理を行うことである。たとえば、図２に示す歪曲円形画像Ｓを見たユーザが、その左下に描かれている女性の画像を、歪みのない正しい画像で観察したいと考えたとしよう。このような場合、ユーザは、歪曲円形画像Ｓのどの部分を切り出して変換を行うべきかを指定する必要がある。たとえば、図３にハッチングを施して示すような切出領域Ｅを変換対象とすべき領域として指定するのであれば、最も直観的な指定方法は、その中心点Ｐ（ｘ０，ｙ０）の位置を指定する方法であろう。本願では、このようにしてユーザが指定する点Ｐを、切出中心点Ｐと呼ぶことにする。もっとも、歪曲円形画像Ｓは歪んだ画像であるため、切出中心点Ｐは、切出領域Ｅについての正確な幾何学的中心にはならない。
【００３４】
ここでは、切出中心点Ｐ（ｘ０，ｙ０）を中心とした切出領域Ｅ内の画像を、平面正則画像に変換するために、次のような基本モデルを考える。図４は、この基本モデルにおいて、歪曲円形画像Ｓを含む二次元ＸＹ直交座標系と、平面正則画像Ｔを含む二次元ＵＶ直交座標系との関係を示す斜視図である。図示のとおり、歪曲円形画像Ｓは、三次元ＸＹＺ直交座標系のＸＹ平面上に定義されているので、歪曲円形画像Ｓ自身は、二次元ＸＹ直交座標系上に定義された画像である。そこで、この歪曲円形画像Ｓ上に定義された切出中心点Ｐ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面Ｈとの交点Ｇを考える。この交点Ｇは、いわば切出中心点Ｐ（ｘ０，ｙ０）の真上の点であり、その位置座標は（ｘ０，ｙ０，ｚ０）である。
【００３５】
次に、この交点Ｇ（ｘ０，ｙ０，ｚ０）において、仮想球面Ｈに接する接平面を定義し、この接平面上に二次元ＵＶ直交座標系を定義する。そして、平面正則画像Ｔを、この二次元ＵＶ直交座標系上の画像として求めることにする。図４に示す例の場合、交点Ｇ（ｘ０，ｙ０，ｚ０）が原点となるように二次元ＵＶ直交座標系が定義されている。結局、このモデルにおけるＵＶ座標系の原点Ｇは、仮想球面Ｈ上のいずれかに設定され、ＵＶ座標系を構成するＵＶ平面は、この原点Ｇの位置における仮想球面Ｈに対する接平面に一致する。
【００３６】
ＵＶ座標系の原点となる点Ｇ（ｘ０，ｙ０，ｚ０）の位置は、図示のとおり、方位角αと天頂角βとによって特定することができる。ここで、方位角α（０≦α＜３６０°）は、切出中心点Ｐ（ｘ０，ｙ０）とＸＹ座標系の原点Ｏとを結ぶ直線とＹ軸とのなす角であり、天頂角β（０≦β≦９０°）は、ＵＶ座標系の原点となる点Ｇ（ｘ０，ｙ０，ｚ０）とＸＹ座標系の原点Ｏとを結ぶ直線とＺ軸とのなす角（鋭角）である。
【００３７】
このように、ＵＶ平面は、方位角αと天頂角βとを指定することによって特定することができるが、ＵＶ座標系を決定するには、更にもう１つの角度φを指定する必要がある。この角度φは、直線ＯＧを回転軸としたＵＶ座標系の向きを示すパラメータであり、図４の例では、Ｕ軸とＪ軸とのなす角度として定義されている。ここで、Ｊ軸は、点Ｇ（ｘ０，ｙ０，ｚ０）を通り、ＸＹ平面に平行かつ直線ＯＧに直交する軸であり、以下、回転基準軸と呼ぶことにする。要するに、角度φは、ＵＶ座標系においてＵ軸方向を向いたベクトルＵと、回転基準軸Ｊの方向を向いたベクトルＪと、を定義したときに、ベクトルＵとベクトルＪとのなす角度として定義される角であり、通常、「平面傾斜角」と呼ばれている。
【００３８】
図５は、ＵＶ座標系上に定義された平面正則画像Ｔと平面傾斜角φとの関係を示す平面図である。ここに示す例の場合、平面正則画像Ｔは、ＵＶ座標系の原点Ｇ（ｘ０，ｙ０，ｚ０）を中心とするＵＶ平面上の矩形として定義されており、その長辺はＵ軸に平行、短辺はＶ軸に平行になっている。平面傾斜角φは、上述したとおり、Ｕ軸とＪ軸とのなす角であるから、図５に示す例の場合、ＵＶ平面上での平面正則画像Ｔの回転ファクターを示すパラメータということになる。
【００３９】
結局、図４に示す平面正則画像Ｔを形成するためのＵＶ座標系の位置および向きは、方位角α，天頂角β，平面傾斜角φという３つの角度からなるパラメータを設定することにより一義的に決定される。この３つの角度は、一般にオイラー角と呼ばれている。
【００４０】
さて、ここで行うべき画像変換処理は、結局、ＸＹ座標系からＵＶ座標系への座標変換ということになる。そこで、ＸＹ座標系とＵＶ座標系との幾何学的な位置関係を、もう少し詳しく見てみよう。図６の斜視図に示されているように、ＸＹ平面上の歪曲円形画像Ｓを、方位角αによって示される方向に対して、天頂角βだけ傾斜すると、傾斜面Ｓ１が得られる。ここで、図示のとおり、ＸＹ座標系の原点ＯからＵＶ座標系の原点Ｇへ向かう方向に視線ベクトルｎを定義し、傾斜面Ｓ１をこの視線ベクトルｎの方向に距離Ｒだけ平行移動させると、接平面Ｓ２が得られることになる。移動距離Ｒは、歪曲円形画像Ｓの半径であり、仮想球面Ｈの半径でもある。
【００４１】
接平面Ｓ２は、点Ｇにおいて仮想球面Ｈに接する平面であり、視線ベクトルｎは、点Ｇにおける仮想球面Ｈの法線方向を示すベクトルである。そして、ＵＶ座標系は、この接平面Ｓ２上に定義される座標系であり、点Ｇを原点とし、Ｕ軸とＪ軸（点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する軸であり、図における傾斜面Ｓ１とＸＹ平面との交線に平行な軸になる。）とのなす角が平面傾斜角φとなるように定義された二次元直交座標系である。図７は、図６の斜視図に示されている各構成要素を水平方向から見た図である。前述したとおり、点Ｇ（ｘ０，ｙ０，ｚ０）は、歪曲円形画像Ｓ上に定義された切出中心点Ｐ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面Ｈとの交点として定まる点であり、その位置は方位角αおよび天頂角βによって定まる。一方、図８は、図６の斜視図に示されている各構成要素を上方から見た図である。図に示す交点Ｇ（ｘ０，ｙ０，ｚ０）は、仮想球面Ｈ上の点であり、ＸＹ平面の上方に位置している。そして、この交点Ｇ（ｘ０，ｙ０，ｚ０）における仮想球面Ｈに対する接平面上にＵＶ座標系が定義される。このとき、Ｕ軸とＪ軸とのなす角がφとなるように、Ｕ軸の向きが定められる。
【００４２】
＜＜＜  §２．倍率を加味した画像変換処理の基本原理  ＞＞＞
§１では、原点Ｇ（ｘ０，ｙ０，ｚ０）が仮想球面Ｈ上の１点となるように、ＵＶ座標系を定義する基本モデルを述べた。この場合、ＸＹ座標系の原点ＯとＵＶ座標系の原点Ｇとの距離は半径Ｒに一致する。これに対して、通常は、変換により得られる平面正則画像にスケーリングファクタを導入した実用モデルが利用される。すなわち、所定の倍率ｍを設定し、２点ＯＧ間の距離が、半径Ｒのｍ倍となるような位置にＵＶ座標系を配置し、このＵＶ座標系上に、倍率ｍに対応するサイズをもった平面正則画像Ｔを定義する実用モデルが用いられる。ここでは、この実用モデルにおける画像変換処理の基本原理を説明する。
【００４３】
図９は、この実用モデルについて、二次元ＸＹ直交座標系上における点Ｓｉ（ｘｉ，ｙｉ）と二次元ＵＶ直交座標系上における点Ｔｉ（ｕｉ，ｖｉ）との対応関係を示す斜視図である。図４に示す基本モデルとの相違は、二次元ＵＶ直交座標系の原点Ｇ（ｘｇ，ｙｇ，ｚｇ）の位置である。すなわち、図９に示す実用モデルの場合、２点ＯＧ間の距離は、ｍ・Ｒに設定されている。図９は、ｍ＝２に設定した例である。図４に示す基本モデルは、この実用モデルにおいて、ｍ＝１に設定し、原点Ｇ（ｘｇ，ｙｇ，ｚｇ）を球面上対応点Ｑ（ｘ０，ｙ０，ｚ０）に一致させるようにした特殊な例に相当する。
【００４４】
ここで、球面上対応点Ｑ（ｘ０，ｙ０，ｚ０）は、切出中心点Ｐ（ｘ０，ｙ０）に対応した仮想球面Ｈ上の点であり、正射影方式の魚眼レンズの場合、切出中心点Ｐ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面Ｈとの交点として定義される点である。視線ベクトルｎは、原点Ｏから球面上対応点Ｑ（ｘ０，ｙ０，ｚ０）へ伸びるベクトルとして定義されるので、切出中心点Ｐ（ｘ０，ｙ０）を定めることは、視線ベクトルｎを定めることと等価である。
【００４５】
もちろん、この図９に示す実用モデルの場合も、二次元ＵＶ直交座標系の原点Ｇ（ｘｇ，ｙｇ，ｚｇ）は、視線ベクトルｎ上の点であり、ＵＶ座標系は、この視線ベクトルｎに直交する平面上に定義される。また、Ｕ軸の向きは、平面傾斜角φに基づいて決定される。具体的には、図示のとおり、原点Ｇ（ｘｇ，ｙｇ，ｚｇ）を通る回転基準軸ＪとＵ軸とのなす角度が、平面傾斜角φに一致するように、ＵＶ座標系の向きが決定されることになる。
【００４６】
ここで行う画像変換処理の目的は、ＸＹ座標系上に定義された歪曲円形画像Ｓ上の切出中心点Ｐ（ｘ０，ｙ０）を中心とした切出領域内の歪曲画像を切り出して変形し、ＵＶ座標系上に平面正則画像Ｔを得ることにある。具体的には、ＵＶ座標系上に得られる平面正則画像Ｔ上の１点Ｔｉ（ｕｉ，ｖｉ）に位置する画素の画素値を、これに対応するＸＹ座標系上の１点Ｓｉ（ｘｉ，ｙｉ）の近傍に位置する画素の画素値に基づいて決定することである。そのためには、§３で述べるように、座標（ｕｉ，ｖｉ）と座標（ｘｉ，ｙｉ）との対応関係を示す対応関係式が必要になる。
【００４７】
このような画像変換処理を行う上で、視線ベクトルｎは、平面正則画像の切り出し位置を示すパラメータとして機能する。視線ベクトルｎを図示の方向に設定した場合、切出中心点Ｐ（ｘ０，ｙ０）を中心とした切出領域内から、平面正則画像の切り出しが行われることになる。視線ベクトルｎの方向を変えれば、切出中心点Ｐの位置も変わることになり、平面正則画像の切り出し位置も変わってくる。一方、平面傾斜角φは、平面正則画像の切り出し向きを示すパラメータとして機能し、倍率ｍ（２点ＯＧ間の距離を決めるファクター）は、平面正則画像の切り出しサイズを示すパラメータとして機能する。
【００４８】
図１０および図１１は、倍率ｍと切出領域Ｅとの関係を示す側面図である。図１０は、倍率ｍ＝１に設定したモデル（図４に示すモデル）に相当し、切出中心点Ｐの真上に位置する球面上対応点Ｑが、そのままＵＶ座標系の原点Ｇ１となっており、２点Ｏ，Ｇ１間の距離は半径Ｒに等しい。これに対して、図１１は、倍率ｍ＞１に設定したモデル（図９に示すモデル）に相当し、切出中心点Ｐの真上に位置する球面上対応点Ｑから離れた位置にＵＶ座標系の原点Ｇ２が設定されており、２点Ｏ，Ｇ２間の距離は半径Ｒのｍ倍に等しい。いずれも切出中心点Ｐの位置、球面上対応点Ｑの位置、視線ベクトルｎの位置は同じであるが、原点の位置Ｇ１，Ｇ２が異なるため、ＵＶ座標系の位置（その上に形成される平面正則画像Ｔ１，Ｔ２の位置）も異なっている。
【００４９】
図１０と図１１とを比較すれば、倍率ｍに応じて、切出領域Ｅが異なることが理解できよう。すなわち、倍率ｍ＝１の設定では、図１０のように、Ｅ１が切出領域となるのに対して、倍率ｍ＞１の設定では、図１１のように、Ｅ２が切出領域となり、倍率ｍが大きくなるほど、切出領域Ｅの面積は小さくなる。ここで、得られる平面正則画像Ｔ１，Ｔ２をモニタ装置の画面上に表示させる場合、平面正則画像Ｔ１，Ｔ２の大きさ（モニタ画面の大きさに応じて定まる）は一定である。したがって、平面正則画像Ｔ１，Ｔ２は、いずれも切出中心点Ｐを中心として切り出した画像であるが、倍率ｍ＞１に設定した平面正則画像Ｔ２の方が、より狭い切出領域Ｅ２を拡大表示した画像になる。別言すれば、平面正則画像Ｔ１が、画角Ｆ１内の被写体を撮影した画像になるのに対して、平面正則画像Ｔ２は、より狭い画角Ｆ２内の被写体を撮影した画像になる。
【００５０】
これに対して、平面傾斜角φは、平面正則画像の切り出し向きを示すパラメータであり、平面傾斜角φを変えると、平面正則画像Ｔ内に現れる被写体と画像枠との位置関係（回転方向に関する位置関係）が変わることになる。これは、図５において、角度φを増加させると、Ｕ軸（およびＶ軸）が反時計回りに回転し、平面正則画像Ｔの画像枠も反時計回りに回転することから、容易に理解できよう。
【００５１】
結局、ユーザは、視線ベクトルｎ（切出中心点Ｐ），倍率ｍ，平面傾斜角φという３つのパラメータを設定することにより、ＵＶ座標系上に所望の平面正則画像Ｔを得ることができる。また、得られた平面正則画像Ｔが満足のゆくものでなかった場合には、これら３つのパラメータを適宜修正することにより、平面正則画像Ｔを修正することができる。すなわち、得られた画像の向きに満足しなければ、平面傾斜角φを修正すればよいし、得られた画像の画角に満足しなければ、倍率ｍを修正すればよいし、得られた画像の切り出し位置に満足しなければ、視線ベクトルｎ（切出中心点Ｐ）を修正すればよい。
【００５２】
図１２は、図２に例示した歪曲円形画像Ｓについて、上記３つのパラメータを適宜設定し、その一部分を切り出して変換することによりＵＶ座標系上に得られた平面正則画像Ｔの一例を示す平面図である。この例では、図２に示す歪曲円形画像Ｓにおける女性の鼻の位置が切出中心点Ｐとして設定されており、女性の顔周辺の画像が切り出されている。ただ、女性の身長方向がＵ軸となるような切り出し向きが設定されているため、図示のように、Ｕ軸を水平方向にとったモニタ画面に表示させると、女性は横向きに表示されてしまう。
【００５３】
このような場合、ユーザは、平面傾斜角φを修正すればよい。たとえば、角度φを９０°程度減少させれば、Ｕ軸（およびＶ軸）が時計回りに回転し、平面正則画像Ｔの画像枠も時計回りに回転することになり、女性の正立像が得られることになる。ただ、図示のモニタ画面は、横方向寸法ａ（水平方向の画素数）より縦方向寸法ｂ（垂直方向の画素数）の方が小さい矩形枠を有しているため、女性の胸元まで表示するためには、倍率ｍを若干減少させる修正も必要になる。
【００５４】
図１３は、このような修正によって得られた平面正則画像Ｔである。ユーザの要望どおり、女性の胸元までの正立像が得られている。図１２も図１３も、視線ベクトルｎ（切出中心点Ｐ）は同一の設定となっており、いずれも女性の鼻の位置に指定した切出中心点Ｐが中心となる画像になっている。ただ、両者では定義されるＵＶ座標系の位置および向きが異なっているため、得られる平面正則画像Ｔが異なる結果となっている。
【００５５】
なお、本願にいう「平面正則画像」とは、必ずしも「歪みのない完全な画像」を意味するものではなく、「魚眼レンズを用いた撮影により得られる歪曲円形画像Ｓに比べて、通常レンズを用いた撮影により得られる画像に近い平面画像」を意味するものである。したがって、図２に示す歪曲円形画像Ｓ上の女性像に比べれば、図１２，図１３に示す平面正則画像Ｔは歪みのない画像に見えるが、完全に歪みが取り除かれているわけではない。実際、従来の画像変換で得られる平面正則画像は、人物の細かな特徴を確認する用途には、歪み矯正が不十分であり、特に、画像の外側部分（輪郭近傍）の歪みはかなり大きい。
【００５６】
＜＜＜  §３．正射影方式の対応関係式  ＞＞＞
図１４は、二次元ＵＶ直交座標系上に定義された平面正則画像Ｔを示す平面図である。ここでは、この平面正則画像Ｔ上の任意の点Ｔｉを、ＵＶ座標系の座標値ｕｉ，ｖｉを用いて、Ｔｉ（ｕｉ，ｖｉ）と表すことにする。図９に示すとおり、このＵＶ座標系の原点Ｇは、三次元ＸＹＺ直交座標系上における座標を用いて、点Ｇ（ｘｇ，ｙｇ，ｚｇ）で示されることになるが、二次元ＵＶ直交座標系を用いて示すと、図１４に示すとおり、点Ｔ（０，０）ということになる。
【００５７】
一方、図１５は、二次元ＸＹ直交座標系上に定義された歪曲円形画像Ｓを示す平面図である。ここでは、この歪曲円形画像Ｓ上の任意の点Ｓｉを、ＸＹ座標系の座標値ｘｉ，ｙｉを用いて、Ｓｉ（ｘｉ，ｙｉ）と表すことにする。図１４に示す原点Ｇ（点Ｔ（０，０））上の画像は、図１５に示す切出中心点Ｐ（ｘ０，ｙ０）上の画像に対応し、図１４に示す任意の点Ｔｉ（ｕｉ，ｖｉ）上の画像は、図１５に示す点Ｓｉ（ｘｉ，ｙｉ）上の画像に対応する。
【００５８】
前述したとおり、二次元ＵＶ直交座標系上に平面正則画像Ｔを得るためには、図１４に示す点Ｔｉ（ｕｉ，ｖｉ）に位置する画素の画素値を、図１５に示す点Ｓｉ（ｘｉ，ｙｉ）に位置する画素（二次元ＸＹ直交座標系上の歪曲円形画像Ｓ内の画素）の画素値に基づいて決定する必要がある。そのためには、二次元ＵＶ直交座標系上の座標（ｕｉ，ｖｉ）と二次元ＸＹ直交座標系上の座標（ｘｉ，ｙｉ）との間の１対１の対応関係を示す対応関係式が必要になる。このような対応関係式を用いれば、図１４に示す平面正則画像Ｔ上の任意の点は、図１５に示す歪曲円形画像Ｓの切出領域Ｅ内のいずれかの点に対応づけられることになり、切出領域Ｅ内の歪曲画像を平面正則画像Ｔに変換することができる。
【００５９】
このような対応関係式は、三次元ＸＹＺ座標系の空間内に配置されたＵＶ座標系の位置および向きが決定すれば、幾何学的な手法で一義的に定義することが可能である。たとえば、図９に示す例において、平面正則画像Ｔ上の点Ｔｉ（ｕｉ，ｖｉ）と、歪曲円形画像Ｓ上の点Ｓｉ（ｘｉ，ｙｉ）との位置関係に着目すれば、点Ｓｉ（ｘｉ，ｙｉ）の真上にある仮想球面Ｈ上の点を球面上対応点Ｑｉ（ｘｉ，ｙｉ，ｚｉ）としたときに、原点Ｏと球面上対応点Ｑｉとを結ぶ直線ｎｉとＵＶ座標系の座標平面との交点に、点Ｔｉ（ｕｉ，ｖｉ）が位置することになる。
【００６０】
図１６は、このような２点間の位置関係をより明確に説明するための側面図である。この図１６において、視線ベクトルｎは、原点Ｏから天頂角βをもつ方向に伸び、視線ベクトルｎと仮想球面Ｈとの交点Ｑは、切出中心点Ｐ（ｘ０，ｙ０）の真上に位置している。また、視線ベクトルｎ上における原点Ｏからの距離がｍＲの位置に点Ｇが定義されている。この点Ｇは、二次元ＵＶ直交座標系の原点であり、このＵＶ座標系の座標面は、視線ベクトルｎに直交しており、平面正則画像Ｔは、このＵＶ座標系の座標面上に定義される。
【００６１】
平面正則画像Ｔ上の任意の点Ｔ１（ｕ１，ｖ１）についての歪曲円形画像Ｓ上の対応点Ｓ１（ｘ１，ｙ１）は、次のようにして定義される。すなわち、点Ｔ１（ｕ１，ｖ１）と原点Ｏとを結ぶ直線と仮想球面Ｈとの交点位置に、球面上対応点Ｑ１を求め、この球面上対応点Ｑ１の真下の位置にある歪曲円形画像Ｓ上の点を、対応点Ｓ１（ｘ１，ｙ１）とすればよい。同様に、平面正則画像Ｔ上の任意の点Ｔ２（ｕ２，ｖ２）については、点Ｔ２（ｕ２，ｖ２）と原点Ｏとを結ぶ直線と仮想球面Ｈとの交点位置に、球面上対応点Ｑ２を求め、この球面上対応点Ｑ２の真下の位置にある歪曲円形画像Ｓ上の点を、対応点Ｓ２（ｘ２，ｙ２）とすればよい。
【００６２】
このような２点間の対応関係は、幾何学的な対応関係式で記述することができる。具体的には、図１７に示す式（１）〜（９）によって記述できることが知られており、たとえば、前掲の特許文献１，２などに、このような対応関係式を用いた画像変換の方法が開示されている。なお、座標系のとり方や角度の定義方法などによって、各項の符号等に多少の相違が生じるため、文献によっては、掲載されている式に若干の食い違いが生じるが、本質的には同一の幾何学演算を示す式である。
【００６３】
この図１７に示す対応関係式は、図９に示す座標系および角度の定義を行った場合の式であり、ＵＶ座標系の位置を示すパラメータα，βと、ＵＶ座標系の向きを示すパラメータφとを含む式になっている。これら３つのパラメータは、前述したオイラー角、すなわち、方位角α，天頂角β，平面傾斜角φである。
【００６４】
具体的には、
ｘ＝Ｒ（ｕＡ＋ｖＢ＋ｗＣ）／
√（ｕ２＋ｖ２＋ｗ２）                式（１）
は、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）の座標値ｕ，ｖを用いて、ＸＹ座標系上の対応点Ｓ（ｘ，ｙ）のｘ座標値を求めるための式であるが、Ａ，Ｂ，Ｃは、それぞれ、
Ａ＝cosφ cosα − sinφ sinα cosβ      式（３）
Ｂ＝−sinφ cosα − cosφ sinα cosβ    式（４）
Ｃ＝sinβ sinα                           式（５）
なる数式で求まる値であり、オイラー角α，β，φの三角関数を用いた演算によって決定されることになる。
【００６５】
同様に、
ｙ＝Ｒ（ｕＤ＋ｖＥ＋ｗＦ）／
√（ｕ２＋ｖ２＋ｗ２）                式（２）
は、ＵＶ座標系上の１点Ｔ（ｕ，ｖ）の座標値ｕ，ｖを用いて、ＸＹ座標系上の対応点Ｓ（ｘ，ｙ）のｙ座標値を求めるための式であるが、Ｄ，Ｅ，Ｆは、それぞれ、
Ｄ＝cosφ sinα ＋ sinφ cosα cosβ      式（６）
Ｅ＝−sinφ sinα ＋ cosφ cosα cosβ    式（７）
Ｆ＝−sinβ cosα                         式（８）
なる数式で求まる値であり、オイラー角α，β，φの三角関数を用いた演算によって決定されることになる。
【００６６】
なお、式（１），（２）におけるｗは、
ｗ＝ｍＲ                                  式（９）
で与えられる値である。ここで、Ｒは、既に述べたとおり、歪曲円形画像Ｓの半径であり、ｍは倍率である。倍率ｍは、座標値ｕ，ｖのスケーリングと、座標値ｘ，ｙのスケーリングとの関係を示すものであり、倍率ｍを大きく設定すればするほど、平面正則画像Ｔには拡大された画像が求められるが、歪曲円形画像Ｓの切出領域Ｅは小さくなる。
【００６７】
結局、図１７に示す式において、Ｒの値は歪曲円形画像Ｓの半径として既知であり、ｍの値はユーザによって指定された倍率として既知であるから、ユーザがオイラー角α，β，φを指定することにより、ＵＶ座標系の位置および向きを決定してやれば、図１７に示す対応関係式において、座標値ｘ，ｙを算出するための未知数はｕ，ｖのみになる。したがって、この対応関係式を用いれば、平面正則画像Ｔにおける任意の１点Ｔ（ｕ，ｖ）に対応する歪曲円形画像Ｓ上の対応点Ｓ（ｘ，ｙ）を決定することができる。
【００６８】
図１８は、この図１７に示す対応関係式の意味合いを簡単に説明するための図である。この図１８には、切出中心点Ｐ（ｘ０，ｙ０）を三次元ＸＹＺ直交座標系の原点Ｏの位置に設定した特殊な場合のＵＶ座標系の位置が示されている。この場合、方位角α＝０°、天頂角β＝０°に設定され、視線ベクトルｎは、真上（Ｚ軸正方向）を向くことになる。また、ＵＶ座標系の原点ＧはＺ軸上に配置され、三次元ＸＹＺ直交座標系上での座標はＧ（０，０，ｍＲ）となり、ＵＶ座標面（平面正則画像Ｔの形成面）は、ＸＹ平面に平行な平面になる。ここで、平面傾斜角φをφ＝０°とすると、Ｘ軸とＵ軸は平行になり、Ｙ軸とＶ軸は平行になる。
【００６９】
このような特殊な条件では、平面正則画像Ｔ上の任意の点Ｔ（ｕ，ｖ）と、歪曲円形画像Ｓ上の対応点Ｓ（ｘ，ｙ）との位置関係は、図示のとおりである。すなわち、点Ｓ（ｘ，ｙ）の真上に位置する仮想球面Ｈ上の点Ｑを求め、２点ＯＱを結ぶ直線とＵＶ座標系の座標平面との交点を求めれば、当該交点が点Ｔ（ｕ，ｖ）となる関係にある。このため、座標（ｘ，ｙ）と座標（ｕ，ｖ）との間には、
ｘ＝（Ｒ／Ｌ）・ｕ                    式（１０）
ｙ＝（Ｒ／Ｌ）・ｖ                    式（１１）
なる簡単な対応関係式が得られる。
【００７０】
図１７に示す式（１），（２）は、上述の式（１０），（１１）に対して、方位角α，天頂角β，平面傾斜角φで規定される回転ファクターによる補正を施すことにより得られる式に他ならない。式（１），（２）の分母√（ｕ２＋ｖ２＋ｗ２）は、式（１０），（１１）におけるＬに対応するものである。図１８に示すとおり、Ｌは、原点Ｏと点Ｔ（ｕ，ｖ）との距離であり、Ｌ＝√（ｕ２＋ｖ２＋ｗ２）である。一方、式（１），（２）の分子の（ｕＡ＋ｖＢ＋ｗＣ）および（ｕＤ＋ｖＥ＋ｗＦ）は、回転ファクターによる補正項である。ここでは、Ａ〜Ｆを回転係数と呼ぶことにする。回転係数Ａ〜Ｆは、図１７の式（３）〜（８）に示すとおり、オイラー角α，β，φの三角関数を用いた演算式で示される係数になる。
【００７１】
前掲の特許文献１，２等に開示されている画像変換の方法は、この図１７に示す対応関係式を用いて、歪曲円形画像Ｓの一部を平面正則画像Ｔに変換するものである。しかしながら、このような対応関係式に基づく変換演算で得られる平面正則画像Ｔは歪んだものとなり、人物の細かな特徴を確認する用途には不十分である。特に、平面正則画像Ｔの外側部分（輪郭近傍）の歪みは大きく、水平パニングを行うような場合、滑らかなパニング映像を得ることができなくなる点は、既に述べたとおりである。
【００７２】
＜＜＜  §４．本発明の基本概念  ＞＞＞
本発明は、上述した問題を解決するための新規な変換手法を提案するものである。ここでは、図１９を参照しながら、その基本概念を説明する。
【００７３】
図１９は、§２で述べた図９の実用モデルに修正を加えた本発明のモデルを示す斜視図である。両者の相違点は、ＵＶ座標系の定義の仕方だけである。すなわち、図９のモデルでは、ＵＶ座標系は、点Ｇ（ｘｇ，ｙｇ，ｚｇ）を通り、視線ベクトルｎに直交する平面上に定義されているのに対し、図１９のモデルでは、この平面上に定義されたＵＶ座標系を円柱側面に沿って湾曲させている。したがって、図９のモデルでは、二次元ＵＶ直交座標系（平面上の座標系）上に平面正則画像Ｔが得られることになるのに対して、図１９のモデルでは、二次元ＵＶ湾曲座標系（円柱側面上の座標系）上に湾曲正則画像Ｃが得られることになる。
【００７４】
図１９に破線で示す平面正則画像Ｔは、図９に実線で示す平面正則画像Ｔと同じものであり、点Ｇ（ｘｇ，ｙｇ，ｚｇ）を通り、視線ベクトルｎに直交する平面上に定義された二次元ＵＶ直交座標系上の画像である。これに対して、図１９に実線で示す湾曲正則画像Ｃは、この平面正則画像Ｔを湾曲させた画像に相当し、円柱側面に沿った曲面上の画像になる。
【００７５】
要するに、この図１９に示すモデルで定義される二次元ＵＶ湾曲座標系は、三次元ＸＹＺ直交座標系を構成する空間内の所望の位置において、仮想円柱の側面に沿った湾曲面上に配置された座標系ということになり、この湾曲座標系上に定義される湾曲正則画像Ｃも、仮想円柱の側面に沿って湾曲した画像ということになる。
【００７６】
この二次元ＵＶ湾曲座標系も、Ｕ軸とＶ軸とを有する二次元の座標系であるから、湾曲正則画像Ｃ内の任意の１点が（ｕ，ｖ）なる座標で示される点は、通常の平面上の二次元座標系の場合と同じである。上述したとおり、この二次元ＵＶ湾曲座標系は、点Ｇを原点とし、視線ベクトルｎに直交する平面上に配置された二次元ＵＶ直交座標系を、仮想円柱の側面に沿って湾曲させることにより定義された座標系であるが、この湾曲のプロセスには、若干の条件が課せられている。
【００７７】
まず、湾曲プロセスに用いる仮想円柱は、二次元ＵＶ直交座標系のＶ軸に平行な中心軸をもった円柱にする。特に、ここに示す実施形態の場合、半径がｍＲ（点ＯＧ間の距離）に等しい仮想円柱を用いるようにしている。そして、この仮想円柱は、その側面上に点Ｇがくるように配置される。結局、このような条件を満たす仮想円柱を三次元ＸＹＺ直交座標系上に配置すると、当該仮想円柱の中心軸は、図１９に一点鎖線で示すように、原点Ｏを通る軸Ｖ′になり、２点ＯＧを結ぶ線分は、この仮想円柱の半径を構成することになる。
【００７８】
この湾曲プロセスを、実在の物体を用いて比喩的に述べれば、次のように説明することができる。まず、図１４に示すように、横方向にＵ軸が描かれ、縦方向にＶ軸が描かれた長方形の紙片を用意する。この長方形の紙片の表面は、二次元ＵＶ直交座標系の座標面に相当する。ここで、Ｕ軸もＶ軸も座標軸であるので、各軸上には所定の座標目盛が刻まれており、紙片の中心点（両軸の交点）の座標はＴ（０，０）である。この紙片を、その中心点Ｔ（０，０）が三次元ＸＹＺ直交座標系上の点Ｇ（ｘｇ，ｙｇ，ｚｇ）の位置にくるように配置する。紙片はまだ平面の状態を維持させておき、視線ベクトルｎに直交する向きに配置する。また、図１９に示すように、紙片に描かれているＵ軸が、回転基準軸Ｊに対して平面傾斜角φをなすような向きに配置する。
【００７９】
続いて、半径ｍＲをもった円柱を用意し、この円柱を、その中心軸が軸Ｖ′上にくるように配置する。ここで、軸Ｖ′は、紙片に描かれているＶ軸に平行で、原点Ｏを通る直線である。円柱をこのような位置に配置すると、紙片に描かれているＶ軸は、円柱の側面に接触した状態になる。当然、紙片の中心点Ｔ（０，０）、すなわち点Ｇ（ｘｇ，ｙｇ，ｚｇ）も、円柱の側面に接した点になる。そこで、この紙片を、円柱側面に巻き付けるようにして湾曲させ、そのまま円柱側面に貼り付ければ、この湾曲した紙片上に描かれている座標系が、二次元ＵＶ湾曲座標系になる。
【００８０】
結局、二次元ＵＶ湾曲座標系のＶ軸は、二次元ＵＶ直交座標系のＶ軸と全く同じものであり、直線状の座標軸になるが、二次元ＵＶ湾曲座標系のＵ軸は、円柱側面に沿った円弧状の軸になる。別言すれば、この二次元ＵＶ湾曲座標系は、仮想円柱の中心軸Ｖ′に平行なＶ軸と、このＶ軸に直交する面によって仮想円柱を切断したときの断面を構成する円の円周に沿った円弧状のＵ軸と、によって構成されることになる。当然、Ｕ軸上に刻まれた座標目盛は、この円弧に沿って定義された目盛になる。
【００８１】
さて、この二次元ＵＶ湾曲座標系上に湾曲正則画像Ｃを得る原理は、二次元ＵＶ直交座標系上に平面正則画像Ｔを得る原理と全く同じである。すなわち、湾曲正則画像Ｃ上の１点Ｃｉ（ｕｉ，ｖｉ）について、歪曲円形画像Ｓ上の１点Ｓｉ（ｘｉ，ｙｉ）を対応づけ、点Ｃｉ（ｕｉ，ｖｉ）に位置する画素の画素値を、点Ｓｉ（ｘｉ，ｙｉ）の近傍に位置する画素の画素値に基づいて決定すればよい。そのためには、二次元ＵＶ湾曲座標系上の任意の座標（ｕ，ｖ）とＸＹ平面上の対応座標（ｘ，ｙ）とを１対１に対応づける対応関係式が必要になる。このような対応関係式は、§５で詳述するとおり、図１７に示す対応関係式に対して補正を行うことにより得ることができる。
【００８２】
こうして、二次元ＵＶ湾曲座標系上に多数の画素の集合体によって構成される湾曲正則画像Ｃを得ることができたら、この二次元ＵＶ湾曲座標系を平面上に展開する処理を行い、湾曲正則画像Ｃを平面正則画像Ｔに変換すればよい。この平面上への展開処理は、上述した例において、円柱側面に貼り付けた紙片を剥がし、これを平面上に貼り直す作業と考えればよい。
【００８３】
もっとも、この平面上への展開処理は、演算処理上は、何ら具体的な作業を必要とするものではない。二次元ＵＶ湾曲座標系上で座標（ｕ，ｖ）に位置する画素（湾曲正則画像Ｃを構成する画素）は、平面上への展開処理を行うことにより二次元ＵＶ直交座標系上の画素（平面正則画像Ｔを構成する画素）になったとしても、同一座標（ｕ，ｖ）に位置する画素であることに変わりはない。したがって、二次元ＵＶ湾曲座標系上において、所定の座標（ｕ，ｖ）に位置する多数の画素の画素値を示す画素配列データが得られたら、当該画素配列データを、そのまま二次元ＵＶ直交座標系上の画素配列データとして出力し、通常のモニタ画面（平面画面）に画像表示を行えば、モニタ画面上には、平面上への展開処理後の平面正則画像Ｔが表示されることになる。
【００８４】
このように、本来は円柱側面をなす二次元ＵＶ湾曲座標系に湾曲正則画像Ｃを表示するために得られた画素配列データを用いて、二次元ＵＶ直交座標系をもつ通常のモニタ画面（平面上の画面）に画像表示を行う処理は、上述した例において、円柱側面に貼り付けた紙片を剥がし、これを平面上に貼り直す作業に対応する。表示画面は円柱側面から平面に変わるが、画素配列データそれ自身については、何ら変更を加える必要はない。
【００８５】
結局、本発明では、二次元ＵＶ直交座標系上に平面正則画像Ｔを求める代わりに、円柱側面上に定義された二次元ＵＶ湾曲座標系上に湾曲正則画像Ｃを求め、この湾曲正則画像Ｃを示す画素配列データを用いて、通常のモニタ画面（平面画面）に画像表示を行うことにより、最終的に当該モニタ画面上に平面正則画像Ｔを得る方法が採られることになる。
【００８６】
上述した基本原理に基づいて、魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して平面正則画像に変換する変換処理を行うには、次のようなプロセスを実行すればよい。
【００８７】
まず、二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成され、二次元ＸＹ直交座標系の原点Ｏを中心とし半径Ｒをもった歪曲円形画像Ｓを、歪曲円形画像用メモリに画素配列データとして取り込む画像準備段階を行う。こうして取り込まれた歪曲円形画像Ｓは、魚眼レンズを用いた撮影により得られた画像であり、変換の対象となる画像である。一方、変換により得られる平面正則画像Ｔを格納するための平面正則画像用メモリも用意しておく。
【００８８】
続いて、この歪曲円形画像Ｓについて、どの部分を中心に、どの向きに、どの程度のサイズで切り出しを行うかを設定する。この設定は、既に述べたとおり、次の３通りのパラメータを設定することによって行われる。まず、上記二次元ＸＹ直交座標系を含む三次元ＸＹＺ直交座標系において、原点Ｏを起点として任意の方向を向く視線ベクトルｎを、平面正則画像の切り出し位置を示すパラメータとして設定する。この視線ベクトルｎは、幾何学的には、方位角αと天頂角βとによって規定されるベクトルであるが、実用上は、既に述べたとおり、切出中心点Ｐ（ｘ０，ｙ０）を指定することにより定義できる。続いて、所定の平面傾斜角φを、平面正則画像の切り出し向きを示すパラメータとして設定し、所定の倍率ｍを、平面正則画像の切り出しサイズを示すパラメータとして設定する。
【００８９】
以上で、変換処理の準備は完了である。この後、上記各メモリをアクセスする機能を有する演算処理装置（ＬＳＩなどを用いたハードウエアで構成してもよいし、汎用コンピュータに専用のソフトウエアを組み込むことにより構成してもよい）によって、次のような各処理を実行すればよい。
【００９０】
まず、平面正則画像用メモリ内に格納すべき平面正則画像（二次元ＵＶ直交座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体からなる画像）について、１つの着目画素の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出する対応座標算出段階を行う。但し、実際には、二次元ＵＶ直交座標系上の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出する代わりに、二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出するようにする。すなわち、まず、図１９のモデルで説明したとおり、視線ベクトルｎ上における、原点Ｏから「倍率ｍと半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、点Ｇを通り視線ベクトルｎに直交する平面上に平面傾斜角φに応じた向きをもって配置された二次元ＵＶ直交座標系を定義する。そして、この二次元ＵＶ直交座標系を「点Ｇが側面上の１点をなし、二次元ＵＶ直交座標系のＶ軸に平行かつ三次元ＸＹＺ直交座標系の原点Ｏを通る中心軸を有する仮想円柱」の側面に沿って湾曲させることにより二次元ＵＶ湾曲座標系を定義し、この二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す所定の対応関係式を用いて、任意の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出する処理を行うようにする。
【００９１】
続いて、歪曲円形画像用メモリから、算出された対応座標（ｘ，ｙ）の近傍に配置された画素の画素値を読み出し、読み出した画素値に基づいて上記着目画素の画素値を決定し、平面正則画像を格納するための平面正則画像用メモリ内の着目画素について、決定した画素値を書き込む処理を行う。こうして、平面正則画像を構成するために必要な全画素について、その画素値を平面正則画像用メモリ内に書き込むようにすればよい。
【００９２】
前述したとおり、二次元ＵＶ直交座標系も二次元ＵＶ湾曲座標系も、Ｕ軸とＶ軸とを有する二次元座標系である点は共通しており、二次元ＵＶ直交座標系上に定義される平面正則画像Ｔも、二次元ＵＶ湾曲座標系上に定義される湾曲正則画像Ｃも、座標値（ｕ，ｖ）で示される位置に配置された多数の画素の配列から構成される点では共通する。したがって、平面正則画像用メモリ内に格納された画素配列データに基づいて、平面上に画像を表示すれば平面正則画像Ｔが得られるが、円柱側面上に画像を表示すれば湾曲正則画像Ｃが得られることになる。ここでは、説明の便宜上、変換後の画素配列データを格納するメモリを「平面正則画像用メモリ」と呼んでいるが、当該メモリに格納される画素配列データそれ自身は、平面正則画像Ｔ用のデータと言うこともできるし、湾曲正則画像Ｃ用のデータと言うこともできる。
【００９３】
図９のモデルで示す従来の変換方法と、図１９のモデルで示す本発明の変換方法との特徴の相違を端的に説明すれば、次のとおりである。まず、前者では、「変換後の画素配列データにおける座標（ｕ，ｖ）に位置する着目画素の画素値」を、「二次元ＵＶ『直交』座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す対応関係式を用いて求めた対応座標（ｘ，ｙ）の近傍に位置する画素の画素値」に基づいて決定し、変換後の画素配列データに基づいて平面上のモニタ画面に画像を表示することにより、平面正則画像Ｔが得られる。これに対して、後者では、「変換後の画素配列データにおける座標（ｕ，ｖ）に位置する着目画素の画素値」を、「二次元ＵＶ『湾曲』座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す対応関係式を用いて求めた座標（ｘ，ｙ）の近傍に位置する画素の画素値」に基づいて決定し、変換後の画素配列データに基づいて平面上のモニタ画面に画像を表示することにより、平面正則画像Ｔが得られる。
【００９４】
このように、両者の相違は、用いる対応関係式の相違のみであるが、当該相違により、得られる平面正則画像Ｔ上の歪みは大幅に改善される。特に、図１４に示す例における画像の右辺輪郭近傍や左辺輪郭近傍に関しては、歪みは大幅に改善されるため、水平パニングを行うような場合でも、滑らかなパニング映像を得ることができるようになる。もちろん、魚眼レンズを用いた監視カメラのシステムに利用した場合、画像の右端や左端に位置する人物の細かな特徴を把握する視認性も大幅に向上する。これは、二次元ＵＶ湾曲座標系において、Ｕ軸を直線軸ではなく、円弧状の軸としたためである。
【００９５】
ただ、二次元ＵＶ湾曲座標系は円柱側面上の座標系であるから、Ｕ軸は円弧状の軸であっても、Ｖ軸は直線軸となる。このため、図１４に示す例における画像の上辺輪郭近傍や下辺輪郭近傍に関しては、歪みの矯正効果はそれほど得られない。もっとも、水平パニングを行う場合、動画を構成するフレームは横方向にずれてゆくことになるので、左右の輪郭近傍における歪みが緩和されていれば、十分に滑らかなパニング映像を得ることができる。また、監視カメラの用途においても、通常、上下の輪郭近傍の視認性よりも、左右の輪郭近傍の視認性が重要となるので、円弧状のＵ軸が水平方向軸となるような設定を行えば、実用上、十分な歪み矯正効果が得られることになる。
【００９６】
なお、ここで述べた基本的実施形態では、「点Ｇが側面上の１点をなし、二次元ＵＶ直交座標系のＶ軸に平行かつ三次元ＸＹＺ直交座標系の原点Ｏを通る中心軸を有する仮想円柱」を用いて、二次元ＵＶ湾曲座標系を定義しているため、仮想円柱は、図１９に一点鎖線で示すように、原点Ｏを通る直線Ｖ′を中心軸として、半径ｍＲをもった円柱になるが、本発明を実施する上で用いる仮想円柱は、必ずしも半径ｍＲの円柱に限定されるものではなく、「点Ｇが側面上の１点をなし、二次元ＵＶ直交座標系のＶ軸に平行な中心軸を有する円柱」という条件を満たせばよい。
【００９７】
ただ、実用上は、基本的実施形態で述べたとおり、「原点Ｏを通る直線Ｖ′を中心軸として、半径ｍＲをもった円柱」を仮想円柱として用いるのが好ましい。これは、仮想円柱の曲率半径をｍＲに一致させることにより、少なくとも円弧状のＵ軸に沿った部分については、原点Ｏからの距離が一定値ｍＲになり、最適な歪み矯正効果が得られると考えられるためである。実際、本願発明者が行った実験においても、「原点Ｏを通る直線Ｖ′を中心軸として、半径ｍＲをもった円柱」を仮想円柱として用いた場合に、歪みが最も少ない理想的な平面正則画像が得られた。
【００９８】
また、一般的なモニタ装置の表示画面は、長方形の輪郭を有しているため、本発明を実施する上でも、当該表示画面に適合するように、長方形の輪郭をもった平面正則画像を得るのが好ましい。このように、平面正則画像用メモリに格納される平面正則画像の輪郭が長方形をなす場合、当該長方形の長辺に平行な方向にＵ軸、短辺に平行な方向にＶ軸をもつ二次元ＵＶ直交座標系を、Ｖ軸に平行な中心軸を有する仮想円柱の側面に沿って湾曲させることにより、二次元ＵＶ湾曲座標系を定義するのが好ましい。
【００９９】
これは、本発明では、円弧状に湾曲した座標軸をＵ軸、直線状の座標軸をＶ軸と呼んでいるため、長辺に平行な方向にＵ軸をとった方が、端部における湾曲効果が大きくなるためである。たとえば、図１４に示すような長方形の輪郭を有する平面正則画像Ｔの上に、中心軸が縦方向を向くように円柱を配置し、平面正則画像Ｔをこの円柱側面に巻き付けた場合に左右両端が平面から浮き上がる量と、中心軸が横方向を向くように円柱を配置し、平面正則画像Ｔをこの円柱側面に巻き付けた場合に上下両端が平面から浮き上がる量と、を比較すると、前者の方が後者よりも大きくなる。これは、前者における左右両端付近の歪み矯正効果の方が、後者における上下両端付近の歪み矯正効果よりも顕著になることを示している。このような理由から、一般的には、長辺に平行な方向にＵ軸をとるのが好ましい。
【０１００】
＜＜＜  §５．本発明で用いる対応関係式  ＞＞＞
上述したとおり、図９のモデルで示す従来の変換方法と、図１９のモデルで示す本発明の変換方法との実質的な相違は、任意の座標（ｕ，ｖ）について対応座標（ｘ，ｙ）を求める際に用いる対応関係式の相違のみである。すなわち、前者が、「二次元ＵＶ『直交』座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す対応関係式」を用いるのに対して、後者は、「二次元ＵＶ『湾曲』座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す対応関係式」を用いることになる。そして、前者の対応関係式は、§３で述べたとおり、図１７の式（１）〜（９）のようになる。ここでは、これらの式を若干修正することにより、後者の対応関係式が得られることを説明する。
【０１０１】
既に§３で述べたとおり、図１７の式（１）〜（９）は、図１８に示すような特殊な条件を満たすモデルについての座標（ｕ，ｖ）と座標（ｘ，ｙ）との関係を示す式（１０），（１１）に対して、方位角α，天頂角β，平面傾斜角φで規定される回転ファクターによる補正を施すことにより得られる。そこで、まず、この図１８に示すような特殊な条件を満たすモデル、すなわち、β＝０°とし、三次元ＸＹＺ直交座標系上での座標（０，０，ｍＲ）の位置に原点Ｇをもち、ＸＹ平面に平行な平面上に二次元ＵＶ直交座標系を定義したモデルについて、二次元ＵＶ直交座標系と二次元ＵＶ湾曲座標系との相違を考えてみよう。
【０１０２】
図２０は、二次元ＵＶ直交座標系（座標面は図のＴになる）と、これを湾曲することにより得られる二次元ＵＶ湾曲座標系（座標面は図のＣになる）との位置関係を示す側面図である。二次元ＵＶ直交座標系の座標面であるＵＶ平面は、ＸＹＺ三次元直交座標系上のＸＹ平面に平行な面であり、両者の間隔は、ｗ＝ｍＲに設定されている。図示のとおり、このＵＶ平面に沿った水平方向にＵ軸が定義され、点Ｇにおいて紙面垂直方向にＶ軸が定義されている。そして、このＵＶ平面上に、平面正則画像Ｔが定義されることになる。
【０１０３】
一方、二次元ＵＶ湾曲座標系の座標面であるＵＶ曲面は、ＵＶ平面を仮想円柱の側面に沿って湾曲させることにより得られる面である。ここで、仮想円柱は、Ｙ軸（原点Ｏにおいて紙面垂直方向を向く軸）を中心軸とし、半径ｗ＝ｍＲをもった円柱であり、軸Ｖの位置においてＵＶ平面に接している。ＵＶ曲面は、この仮想円柱の側面に一致し、半径ｗ＝ｍＲをもった円の円弧に沿った方向にＵ軸が定義され、点Ｇにおいて紙面垂直方向にＶ軸が定義されている。そして、このＵＶ曲面上に、湾曲正則画像Ｃが定義されることになる。
【０１０４】
このように、二次元ＵＶ直交座標系と二次元ＵＶ湾曲座標系とは、一方の座標軸であるＶ軸を共通とするが、他方の座標軸であるＵ軸の空間的な位置は異なっている。ただ、座標目盛の刻み幅はいずれも同じであり、座標面上の任意の１点の位置が、座標（ｕ，ｖ）で示される点も同じである。そこで、同一座標（ｕ，ｖ）で示される各座標面上の２点の関係について考えてみよう。
【０１０５】
まず、図の左上に示すように、二次元ＵＶ直交座標系上における点Ｔ（ｕ，ｖ）に着目しよう。この点Ｔ（ｕ，ｖ）は、平面正則画像Ｔ上の点であり、原点ＧからＵ軸に沿って座標値ｕだけ隔たり（図では、太線で描かれた線分Ｄの長さだけ離れた位置にプロットされている）、Ｖ軸方向に関して座標値ｖだけ隔たった点ということになる（Ｖ軸方向に関する隔たりは、紙面垂直方向に関する隔たりになるため、図には示されていない）。
【０１０６】
次に、二次元ＵＶ湾曲座標系上における点Ｃ（ｕ，ｖ）に着目しよう。この点Ｃ（ｕ，ｖ）は、湾曲正則画像Ｃ上の点であり、原点Ｇから円弧Ａに沿って座標値ｕだけ隔たり、Ｖ軸方向に関して座標値ｖだけ隔たった点ということになる（Ｖ軸方向に関する隔たりは、紙面垂直方向に関する隔たりになるため、図には示されていない）。ここで、太線で描かれた円弧Ａの長さは、太線で描かれた線分Ｄの長さに等しい。
【０１０７】
このように、点Ｔ（ｕ，ｖ）と点Ｃ（ｕ，ｖ）とは、いずれも座標（ｕ，ｖ）で表される点であるが、異なる座標系で定義された点であるため、ＸＹＺ三次元直交座標系で示される空間上の位置は異なっている。すなわち、ＸＹＺ三次元直交座標系の座標値で考えると、点Ｔ（ｕ，ｖ）の座標はＴ（ｕ，ｖ，ｗ）になるのに対して、点Ｃ（ｕ，ｖ）の座標はＣ（ｕ′，ｖ，ｗ′）になる。ここで、図示のとおり、
ｕ′＝ｗ・sinθ                    式（１２）
ｗ′＝ｗ・cosθ                    式（１３）
である。
【０１０８】
また、円弧Ａの長さは座標値ｕの絶対値に等しく、円弧Ａの半径はｗであるから、図２０に示す角度θは、θ＝ｕ／ｗラジアンである。よって、図示のとおり、
ｕ′＝ｗ・sin（ｕ／ｗ）            式（１４）
ｗ′＝ｗ・cos（ｕ／ｗ）            式（１５）
が得られる。なお、両ＵＶ座標系は、Ｖ軸を共通の座標軸としているため、点Ｔ，ＣのＹ座標値はいずれも同一の座標値ｖになる。
【０１０９】
結局、図１７に示す式（１），（２）における変数ｕの代わりに式（１４）に示す変数ｕ′を用い、変数ｗの代わりに式（１５）に示す変数ｗ′を用いれば、図２１の上段に示すとおり、
ｘ＝Ｒ（ｕ′Ａ＋ｖＢ＋ｗ′Ｃ）／
√（ｕ′２＋ｖ２＋ｗ′２）                式（１′）
ｙ＝Ｒ（ｕ′Ｄ＋ｖＥ＋ｗ′Ｆ）／
√（ｕ′２＋ｖ２＋ｗ′２）                式（２′）
なる式が得られる。この場合、オイラー角α，β，φに基づく回転ファクターによる補正に変更はないので、回転係数Ａ〜Ｆの算出については、図１７の式（３）〜（８）をそのまま用いることができる。
【０１１０】
かくして、本発明で用いる対応関係式、すなわち、二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す対応関係式は、図２１の上段に示す式（１′），（２′）および図１７の式（３）〜（９）として与えられることになる。
【０１１１】
なお、実際の演算の便宜を考慮すると、共通係数Ｇを、
Ｇ＝Ｒ／√（ｕ′２＋ｖ２＋ｗ′２）
と定義し、この式におけるｕ′およびｗ′に、式（１４），（１５）を代入すれば、図２１中段に示すとおり、
Ｇ＝Ｒ／√（ｗ２＋ｖ２）
が得られるので、結局、本発明で用いる対応関係式は、図２１下段に示すとおり、
ｘ＝Ｇ（ｕ′Ａ＋ｖＢ＋ｗ′Ｃ）              式（１６）
ｙ＝Ｇ（ｕ′Ｄ＋ｖＥ＋ｗ′Ｆ）              式（１７）
Ｇ＝Ｒ／√（ｗ２＋ｖ２）                    式（１８）
なる式と、図１７の式（３）〜（９）によって定義することができる。
【０１１２】
図２２は、このような対応関係式を用いて、二次元ＵＶ湾曲座標系上における任意の座標（ｕ，ｖ）に対応する二次元ＸＹ直交座標系上における対応座標（ｘ，ｙ）を算出するプロセスを示すブロック図である。以下、このブロック図に記載されたブロックＢ１〜Ｂ９を参照しながら、対応座標（ｘ，ｙ）の算出演算プロセスを説明する。
【０１１３】
まず、図の上方に破線で示すブロックＢ１には、ユーザの指示入力により決定されるパラメータが記載されている。具体的には、平面正則画像の切り出し位置を示すパラメータとして視線ベクトルｎ、切り出し向きを示すパラメータとして平面傾斜角φ、切り出しサイズを示すパラメータとして倍率ｍが与えられる。ここで、視線ベクトルｎは、実際には、歪曲円形画像Ｓ上の切出中心点Ｐ（ｘ０，ｙ０）の位置として与えられ、その情報に基づいて、方位角αおよび天頂角βを求めることができる。
【０１１４】
また、図の右上に破線で示すブロックＢ２には、歪曲円形画像Ｓの半径Ｒが記載されている。この半径Ｒは、用いる魚眼レンズに固有のパラメータになる。本発明を魚眼監視システムなどに利用する場合であれば、通常、監視カメラに取り付けられている魚眼レンズは規定のものになるので、当該魚眼レンズに固有の半径Ｒの値を予め設定しておけばよい。もちろん、様々な魚眼レンズを選択して利用できるシステムの場合は、選択中の魚眼レンズに固有の半径Ｒを設定する必要がある。
【０１１５】
一方、図の右下に破線で示すブロックＢ９には、二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）が記載されており、図の左下に破線で示すブロックＢ８には、二次元ＸＹ直交座標系上の座標（ｘ，ｙ）が記載されている。この図２２に示すプロセスは、結局、ブロックＢ９内の２つの変数ｕ，ｖに基づいて、ブロックＢ８内の２つの変数ｘ，ｙを求める演算プロセスを示すものであり、ブロックＢ９がこの演算プロセスの入り口、ブロックＢ８がこの演算プロセスの出口に相当する。
【０１１６】
ブロックＢ３内には、図１７の式（３）〜（８）が記載されている。これらの式は、ブロックＢ１から与えられるオイラー角α，β，φに基づいて、６種類の回転係数Ａ〜Ｆを求める演算式である。オイラー角α，β，φは、ユーザの指示入力によって変化するパラメータであるから、ブロックＢ３内の演算は、ユーザから新たな指示入力が与えられるたびに実行される。
【０１１７】
ブロックＢ４内には、図１７の式（９）が記載されている。ここでは、ブロックＢ１から与えられた倍率ｍと、ブロックＢ２から与えられた半径Ｒとの乗算が行われ、積ｗが求められる。その下のブロックＢ５内には、図２１の式（１８）が記載されている。ここでは、ブロックＢ２から与えられた半径Ｒ、ブロックＢ４から与えられた積ｗ、ブロックＢ９から与えられた座標値ｖ、に基づいて、共通係数Ｇが求められる。更にその下のブロックＢ６内には、図２０の式（１４），（１５）が記載されている。ここでは、ブロックＢ４から与えられた積ｗとブロックＢ９から与えられた座標値ｕに基づいて、値ｕ′およびｗ′が求められる。
【０１１８】
そして、ブロックＢ７内には、図２１の式（１６），（１７）が記載されている。ここでは、ブロックＢ３から与えられた６個の回転係数Ａ〜Ｆ、ブロックＢ５から与えられた共通係数Ｇ、ブロックＢ６から与えられた値ｕ′およびｗ′、ブロックＢ９から与えられた座標値ｖ、に基づいて、値ｘ，ｙが求められる。求められた値ｘ，ｙは、ブロックＢ８へ与えられる。
【０１１９】
かくして、二次元ＵＶ湾曲座標系上における任意の座標（ｕ，ｖ）に基づいて、これに対応する二次元ＸＹ直交座標系上における対応座標（ｘ，ｙ）が算出されることになる。
【０１２０】
＜＜＜  §６．本発明に係る画像変換装置の構成  ＞＞＞
ここでは、図２３のブロック図を参照しながら、本発明の一実施形態に係る画像変換装置を、魚眼監視システムに利用した例を説明する。図示のとおり、この魚眼監視システムは、パラメータ入力ユニット１００，対応座標算出ユニット２００，平面正則画像作成ユニット３００，魚眼レンズ装着デジタルカメラ４１０，平面正則画像用メモリ４２０，モニタ装置４３０，歪曲円形画像用メモリ４４０によって構成されている。
【０１２１】
これらの各構成要素のうち、パラメータ入力ユニット１００，対応座標算出ユニット２００，平面正則画像作成ユニット３００，平面正則画像用メモリ４２０，歪曲円形画像用メモリ４４０によって構成される部分が、本発明に係る画像変換装置であり、魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う機能を有する。魚眼監視システムは、この画像変換装置に、歪曲円形画像Ｓを撮影するための魚眼レンズ装着デジタルカメラ４１０と、変換後の平面正則画像を表示するためのモニタ装置４３０とを付加することにより構成されている。
【０１２２】
魚眼レンズ装着デジタルカメラ４１０は、監視カメラなどに利用されている一般的なデジタルビデオカメラであり、１８０°の画角をもって周囲の被写体を撮影し、半径Ｒをもった歪曲円形画像Ｓをデジタルデータとして生成する機能を有する。このデジタルデータとして生成された歪曲円形画像Ｓは、歪曲円形画像用メモリ４４０へと格納される。画像変換装置は、これを平面正則画像Ｔに変換し、平面正則画像用メモリ４２０に格納する処理を行う。こうして、平面正則画像用メモリ４２０に得られた平面正則画像Ｔは、モニタ装置４３０によって画面上に表示される。
【０１２３】
歪曲円形画像用メモリ４４０は、一般的な画像データ格納用のバッファメモリによって構成されており、歪曲円形画像Ｓを、二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成される画素配列データとして格納する。この歪曲円形画像Ｓが、二次元ＸＹ直交座標系の原点Ｏを中心とし半径Ｒをもった画像になることは、既に述べたとおりである。
【０１２４】
一方、平面正則画像用メモリ４２０も、一般的な画像データ格納用のバッファメモリによって構成されており、平面正則画像Ｔを、二次元ＵＶ直交座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される画素配列データとして格納する。通常、この平面正則画像Ｔは、モニタ装置４３０の表示画面に表示するのに適した矩形状の画像になるが、もちろん、平面正則画像Ｔの輪郭は、どのような形状のものであってもかまわない。
【０１２５】
なお、ここでは、説明の便宜上、変換後の画素配列データを格納するメモリを「平面正則画像用メモリ４２０」と呼ぶことにするが、§４で述べたとおり、このメモリ４２０に格納されている画素配列データそれ自身は、平面正則画像Ｔ用のデータと言うこともできるし、湾曲正則画像Ｃ用のデータと言うこともできる。実際、歪曲円形画像用メモリ４４０内に格納されている歪曲円形画像ＳをＵＶ座標系上の正則画像に変換する際には、図１９のモデルで説明したとおり、二次元ＵＶ直交座標系ではなく、二次元ＵＶ湾曲座標系が用いられるので、メモリ４２０に書き込まれる画素配列データは、湾曲正則画像Ｃ用のデータというべきものになる。ただ、最終的には、このメモリ４２０内の画素配列データは、モニタ装置４３０へと読み出され、平面上のモニタ画面に平面正則画像Ｔとして表示されることになるので、ここでは、このメモリ４２０を「平面正則画像用メモリ」と呼び、そこに格納される変換済みの画像データを平面正則画像Ｔと呼ぶことにする。
【０１２６】
歪曲円形画像用メモリ４４０内に格納されている歪曲円形画像Ｓを、平面正則画像Ｔに変換して、平面正則画像用メモリ４２０へ書き込む直接的な処理は、平面正則画像作成ユニット３００によって実行される。ただ、この処理を実行する上では、ＵＶ座標系上の座標（ｕ，ｖ）に対応するＸＹ座標系上の対応座標（ｘ，ｙ）を得る必要がある。この対応座標（ｘ，ｙ）を算出する処理を担うのが、対応座標算出ユニット２００である。すなわち、対応座標算出ユニット２００は、平面正則画像作成ユニット３００から、任意の座標（ｕ，ｖ）が与えられた場合、§５で説明した対応関係式を用いた演算を実行し、対応座標（ｘ，ｙ）を算出し、これを平面正則画像作成ユニット３００へ戻す機能を有している。
【０１２７】
§５で説明した対応関係式を用いた演算を行うには、視線ベクトルｎ、平面傾斜角φ、倍率ｍという３つのパラメータが必要になる。パラメータ入力ユニット１００は、ユーザの指示入力に基づいて、この３つのパラメータを入力する構成要素である。すなわち、パラメータ入力ユニット１００は、三次元ＸＹＺ直交座標系において、原点Ｏを起点として任意の方向を向く視線ベクトルｎを、平面正則画像の切り出し位置を示すパラメータとして入力し、所定の平面傾斜角φを、平面正則画像の切り出し向きを示すパラメータとして入力し、所定の倍率ｍを、平面正則画像の切り出しサイズを示すパラメータとして入力する機能を果たす。
【０１２８】
なお、ここに示す実施形態の場合、モニタ装置４３０には、必要に応じて、歪曲円形画像用メモリ４４０に格納されている歪曲円形画像Ｓを表示させることができるようになっている。そして、パラメータ入力ユニット１００は、このモニタ装置４３０に表示されている歪曲円形画像Ｓ上の１点を指定するユーザの入力指示を受け、当該１点の位置を切出中心点Ｐ（ｘ０，ｙ０）として把握し、これを視線ベクトルｎを示すパラメータとして取り込む機能を有している。
【０１２９】
たとえば、モニタ装置４３０の画面上に、図２に示すような歪曲円形画像Ｓを表示させた状態において、ユーザがこの画像上の１点（たとえば、女性の鼻の位置）を指示すれば、当該指示点が切出中心点Ｐ（ｘ０，ｙ０）として把握され、視線ベクトルｎを示すパラメータとして取り込まれることになる。ユーザは、この他に、倍率ｍおよび平面傾斜角φを指定する入力を行う。もちろん、パラメータ入力ユニット１００には、様々なマンマシンインターフェイスを組み込んでおくことが可能であり、倍率ｍおよび平面傾斜角φを指定する入力は、どのような方法で行ってもかまわない。
【０１３０】
対応座標算出ユニット２００は、こうして設定された各パラメータと、予め設定されている半径Ｒを用いて、平面正則画像作成ユニット３００から与えられた任意の座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出する演算を行う。当該演算に用いられる対応関係式は、§５に例示したとおりであるが、その本質は、次のとおりである。
【０１３１】
すなわち、図１９のモデルに示されているとおり、まず、視線ベクトルｎ上における、原点Ｏから「倍率ｍと半径Ｒとの積ｍ・Ｒ」だけ離れた点Ｇを原点とし、この点Ｇを通り視線ベクトルｎに直交する平面上に平面傾斜角φに応じた向きをもって配置された二次元ＵＶ直交座標系を定義する。具体的には、たとえば、図１９に示すとおり、原点Ｇを通り、ＸＹ平面に平行かつ視線ベクトルｎに直交する回転基準軸ＪとＵ軸とのなす角が平面傾斜角φに等しくなるような向きに、二次元ＵＶ直交座標系を配置すればよい。
【０１３２】
続いて、「点Ｇが側面上の１点をなし、二次元ＵＶ直交座標系のＶ軸に平行な中心軸を有する仮想円柱」を定義する。前述したとおり、実用上は、この仮想円柱の半径をｍＲに設定し、その中心軸が原点Ｏを通りＶ軸に平行な直線Ｖ′になるようにするのが好ましい。そして、二次元ＵＶ直交座標系を、この仮想円柱の側面に沿って湾曲させることにより二次元ＵＶ湾曲座標系を定義する。
【０１３３】
対応座標算出ユニット２００が演算に用いる対応関係式は、このようにして定義した二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）と二次元ＸＹ直交座標系上の座標（ｘ，ｙ）との対応関係を示す式になっていればよい。より具体的には、原点Ｏを中心として半径Ｒをもった仮想球面上に、用いた魚眼レンズの投影方式に応じて、二次元ＸＹ直交座標系上の座標（ｘｉ，ｙｉ）で示される点Ｓｉに対応する球面上対応点Ｑｉをとり、原点Ｏと球面上対応点Ｑｉとを結ぶ直線と二次元ＵＶ湾曲座標系の円柱側面状座標面との交点Ｃｉの二次元ＵＶ湾曲座標系上での座標を（ｕｉ，ｖｉ）としたときに、座標（ｘｉ，ｙｉ）が座標（ｕｉ，ｖｉ）に対応する対応座標として求まる対応関係式を幾何学的に求めればよい。
【０１３４】
特に、これまで述べてきた例のように、歪曲円形画像用メモリ４４０に格納されている歪曲円形画像Ｓが、正射影方式の魚眼レンズによって撮影された正射影画像である場合には、図１９に示すとおり、球面上対応点Ｑｉは、点Ｓｉの真上の点になる。別言すれば、座標（ｘｉ，ｙｉ）で示される点Ｓｉに対して、当該点Ｓｉを通りＺ軸に平行な直線と仮想球面Ｈとの交点として与えられる座標（ｘｉ，ｙｉ，ｚｉ）で示される点が、球面上対応点Ｑｉになる。
【０１３５】
そして、この正射影方式において、図１９に示すように各座標系や角度を定義した場合の具体的な正射影画像用対応関係式は、§５で述べたとおり、
ｘ＝Ｇ（ｕ′Ａ＋ｖＢ＋ｗ′Ｃ）            式（１６）
ｙ＝Ｇ（ｕ′Ｄ＋ｖＥ＋ｗ′Ｆ）            式（１７）
Ｇ＝Ｒ／√（ｗ２＋ｖ２）                  式（１８）
なる式になる。上式において、回転係数Ａ〜Ｅは、
Ａ＝cosφ cosα − sinφ sinα cosβ      式（３）
Ｂ＝−sinφ cosα − cosφ sinα cosβ    式（４）
Ｃ＝sinβ sinα                           式（５）
Ｄ＝cosφ sinα ＋ sinφ cosα cosβ      式（６）
Ｅ＝−sinφ sinα ＋ cosφ cosα cosβ    式（７）
Ｆ＝−sinβ cosα                         式（８）
で与えられる。ここで、方位角αは、視線ベクトルｎのＸＹ平面上への正射影とＹ軸とのなす角、天頂角βは、視線ベクトルｎとＺ軸正方向とのなす角、平面傾斜角φは、パラメータとして設定された角である。
【０１３６】
図２３に示す対応座標算出ユニットは、上述の正射影画像用対応関係式に基づく演算により、座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）を算出する機能を有しており、図示のとおり、共通係数演算部２１０，湾曲座標補正部２２０，回転係数演算部２３０，ｘｙ座標値算出部２４０を備えている。
【０１３７】
共通係数演算部２１０は、パラメータ入力ユニット１００から倍率ｍが与えられ、平面正則画像作成ユニット３００から座標ｖが与えられたときに、予め設定されている歪曲円形画像の半径Ｒを用いて、
ｗ＝ｍＲ                          式（９）
Ｇ＝Ｒ／√（ｗ２＋ｖ２）          式（１８）
なる演算式に基づいて、共通係数Ｇを演算する処理を行う。
【０１３８】
一方、湾曲座標補正部２２０は、平面上に定義された二次元ＵＶ直交座標系上の座標（ｕ，ｖ）を、円柱側面上に定義された二次元ＵＶ湾曲座標系上の座標（ｕ，ｖ）に補正するために必要な演算を行う機能を有し、パラメータ入力ユニット１００から倍率ｍが与えられ、平面正則画像作成ユニット３００から座標ｕが与えられたときに、予め設定されている歪曲円形画像の半径Ｒを用いて、
ｗ＝ｍＲ                          式（９）
ｕ′＝ｗ・sin（ｕ／ｗ）           式（１４）
ｗ′＝ｗ・cos（ｕ／ｗ）           式（１５）
なる演算式に基づいて、ｕ′およびｗ′を演算する処理を行う。なお、式（１４）のsin（ｕ／ｗ）を、cos（ｕ／ｗ＋π／２）のように書き換えれば、式（１４），式（１５）をともにcos関数の演算器によって演算することが可能になるので、ハードウエアの実装を軽減することができる（もちろん、式（１５）をsin関数の演算式に書き換え、両式ともにsin関数の演算器によって演算するようにしても同様である）。
【０１３９】
また、回転係数演算部２３０は、パラメータ入力ユニット１００から視線ベクトルｎおよび平面傾斜角φが与えられたときに、視線ベクトルｎに基づいて方位角αおよび天頂角βを求め、
Ａ＝cosφ cosα − sinφ sinα cosβ     式（３）
Ｂ＝−sinφ cosα − cosφ sinα cosβ   式（４）
Ｃ＝sinβ sinα                          式（５）
Ｄ＝cosφ sinα ＋ sinφ cosα cosβ     式（６）
Ｅ＝−sinφ sinα ＋ cosφ cosα cosβ   式（７）
Ｆ＝−sinβ cosα                        式（８）
なる演算式に基づいて、回転係数Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆを演算する処理を行う。
【０１４０】
そして、ｘｙ座標値算出部２４０は、平面正則画像作成ユニット３００から与えられた座標ｖ、回転係数演算部２３０が演算した回転係数Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ、共通係数演算部２１０が演算した共通係数Ｇ、湾曲座標補正部が演算したｕ′およびｗ′、ならびに予め設定されている歪曲円形画像の半径Ｒを用いて、
ｘ＝Ｇ（ｕ′Ａ＋ｖＢ＋ｗ′Ｃ）                式（１６）
ｙ＝Ｇ（ｕ′Ｄ＋ｖＥ＋ｗ′Ｆ）                式（１７）
なる演算式に基づいて、ｘおよびｙを演算し、これを平面正則画像作成ユニット３００に与える処理を行う。なお、上記式（１６）の演算と式（１７）の演算は、用いる回転係数の組み合わせが異なるだけなので、実際には、同一の演算回路を利用して、式（１６）の演算と式（１７）の演算を時分割で実行するようにすれば、ハードウエアの実装を軽減することができる。
【０１４１】
なお、この図２３では、魚眼レンズ装着デジタルカメラ４１０に装着されている魚眼レンズが固定であり、当該レンズに固有の半径Ｒ（歪曲円形画像の半径Ｒ）の値が予め定まっている例を述べたが、様々な魚眼レンズや様々なデジタルカメラを選択して用いるシステムの場合、半径Ｒを可変パラメータとすることも可能である。この場合、パラメータ入力ユニット１００が、ユーザの指示に基づいて、もしくは歪曲円形画像用メモリ４４０に格納されている歪曲円形画像Ｓに基づいて（歪曲円形画像Ｓを構成する画像データを解析して画像の半径Ｒを自動的に認識して）、半径Ｒを可変のパラメータとして入力すればよい。共通係数演算部２１０および湾曲座標補正部２２０は、パラメータ入力ユニット１００によって入力された半径Ｒを用いた演算を行うことになる。
【０１４２】
以上、図２３に示す対応座標算出ユニット２００で行われる具体的な演算処理を説明したが、結局、この対応座標算出ユニット２００は、任意の座標（ｕ，ｖ）を与えると、これに対応する対応座標（ｘ，ｙ）を返す機能をもったユニットである。平面正則画像作成ユニット３００は、この対応座標算出ユニット２００の助けを借りて、平面正則画像用メモリ４２０内に、平面正則画像を作成する処理を行う。
【０１４３】
すなわち、平面正則画像作成ユニット３００は、まず、平面正則画像を構成する１つの着目画素の座標（ｕ，ｖ）を対応座標算出ユニット２００に与えて対応座標（ｘ，ｙ）を算出させる。そして、歪曲円形画像用メモリ４４０内の対応座標（ｘ，ｙ）の近傍に配置された画素の画素値を読み出し、読み出した画素値に基づいて着目画素の画素値を決定する処理を、平面正則画像を構成する各画素について実行し、平面正則画像用メモリ４２０内に各画素の画素値を書き込むことにより、平面正則画像を作成する。
【０１４４】
図２３に示す例の場合、平面正則画像作成ユニット３００は、ｕｖ座標値発生部３１０，平面正則画像用メモリコントローラ３２０，画素値決定部３３０，歪曲円形画像用メモリコントローラ３４０によって構成されている。
【０１４５】
ここで、平面正則画像用メモリコントローラ３２０は、平面正則画像用メモリ４２０に対するデータの書き込みおよび読み出しを行う制御装置であり、画素値決定部３３０によって特定の画素の画素値が決定した場合、平面正則画像用メモリ４２０内の当該特定の画素に対して、決定した画素値を書き込む処理を行う。こうして、画素値を書き込む処理が全画素について完了すれば、平面正則画像用メモリ４２０内に、平面正則画像Ｔが作成されたことになる。そこで、今度は、平面正則画像用メモリコントローラ３２０は、この平面正則画像Ｔのデータを読み出してモニタ装置４３０に出力し、平面正則画像Ｔをモニタ画面上に表示させる処理を行うことになる。
【０１４６】
一方、歪曲円形画像用メモリコントローラ３４０は、歪曲円形画像用メモリ４４０に対するデータの書き込みおよび読み出しを行う制御装置である。魚眼レンズ装着デジタルカメラ４１０が撮影した歪曲円形画像Ｓのデータは、歪曲円形画像用メモリコントローラ３４０によって、歪曲円形画像用メモリ４４０内に書き込まれることになる。また、必要に応じて、歪曲円形画像用メモリコントローラ３４０は、歪曲円形画像用メモリ４４０内の歪曲円形画像Ｓのデータを読み出してモニタ装置４３０に出力し、歪曲円形画像Ｓをモニタ画面上に表示させることもできる。更に、歪曲円形画像用メモリコントローラ３４０は、対応座標算出ユニット２００から、座標（ｘ，ｙ）が与えられた場合に、歪曲円形画像用メモリ４４０内の歪曲円形画像Ｓのデータの中から、当該座標（ｘ，ｙ）の近傍に位置する画素の画素値を読み出し、これを画素値決定部３３０に与える機能も果たす。
【０１４７】
図示の平面正則画像作成ユニット３００による平面正則画像Ｔの作成プロセスは次のとおりである。ここでは、平面正則画像Ｔが、Ｕ軸を行方向、Ｖ軸を列方向とする画素配列データによって構成されている場合を説明する。まず、ｕｖ座標値発生部３１０が、平面正則画像Ｔを構成する画素配列上の１着目画素を示す１組の座標（ｕ，ｖ）を発生させる。発生した座標（ｕ，ｖ）は、ｕｖ座標値発生部３１０から対応座標算出ユニット２００へ与えられる。これにより、座標（ｕ，ｖ）に対応する対応座標（ｘ，ｙ）が算出され、当該対応座標（ｘ，ｙ）は、歪曲円形画像用メモリコントローラ３４０に与えられる。上述したとおり、歪曲円形画像用メモリコントローラ３４０は、歪曲円形画像用メモリ４４０内の歪曲円形画像Ｓのデータの中から、当該座標（ｘ，ｙ）の近傍に位置する画素の画素値を読み出し、これを画素値決定部３３０に与える。
【０１４８】
歪曲円形画像Ｓは、二次元ＸＹ直交座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成された画像であり、実際には、所定ピッチで縦横に配列された多数の格子点の位置に、それぞれ固有の画素値を定義したデジタルデータによって構成されている。このため、対応座標算出ユニット２００によって算出された対応座標（ｘ，ｙ）の位置は、通常、複数の格子点の間の位置になる。たとえば、歪曲円形画像Ｓが、ピッチ１で縦横に配列された多数の格子点位置の画素値を定義したデジタルデータによって構成されている場合、いずれの格子点も、その座標値は整数値になる。よって、対応座標算出ユニット２００によって算出された対応座標ｘおよびｙの値が小数を含む値であると（多くの場合はそうなるであろう）、対応座標（ｘ，ｙ）の位置は、複数の格子点の間の位置になり、対応する画素値を１つに決めることはできない。
【０１４９】
したがって、実際には、画素値決定部３３０において、座標（ｕ，ｖ）で示される位置に配置された平面正則画像Ｔ上の着目画素の画素値を決定する際には、対応座標（ｘ，ｙ）で示される位置の近傍に配置された歪曲円形画像Ｓ上の複数の参照画素の画素値を読み出し、これら複数の参照画素の画素値に対する補間演算を行う必要がある。このような補間演算を行う方法としては、たとえば、バイリニア補間法、バイキュービック・スプライン補間法など、様々な方法が公知であるため、ここでは詳しい説明は省略する。もちろん、そのような補間を行わずに、対応座標（ｘ，ｙ）で示される位置に最も近い画素の画素値をそのまま着目画素の画素値と決定する方法を採ることも可能である。
【０１５０】
こうして、画素値決定部３３０によって決定された着目画素の画素値は、平面正則画像用メモリコントローラ３２０に与えられる。一方、ｕｖ座標値発生部３１０から平面正則画像用メモリコントローラ３２０には、発生させた座標（ｕ，ｖ）が与えられる。そこで、平面正則画像用メモリコントローラ３２０は、平面正則画像用メモリ４２０内の座標（ｕ，ｖ）に位置する着目画素の画素値として、画素値決定部３３０によって決定された画素値を書き込む処理を実行する。
【０１５１】
以上、１つの着目画素についての画素値を決定し、書き込む処理を述べたが、ｕｖ座標値発生部３１０は、平面正則画像Ｔを構成する画素配列上のすべての画素を示す座標（ｕ，ｖ）を順次発生させてゆく。これにより、個々の画素について、それぞれ画素値が決定され、平面正則画像用メモリ４２０内に書き込まれてゆくことになる。
【０１５２】
なお、対応座標算出ユニット２００の各演算部は、必ずしもｕｖ座標値発生部３１０が新たな座標（ｕ，ｖ）を発生するたびに再計算を行う必要はない。たとえば、共通係数演算部２１０によって計算される共通係数Ｇは、ｕには依存しない値なので、ｕｖ座標値発生部３１０から与えられる座標（ｕ，ｖ）の座標値ｕが変わっただけの場合は再計算を行う必要がない。したがって、Ｕ軸を行方向、Ｖ軸を列方向とする画素配列データについての演算を行う際には、行ごとに新たな演算を実施すれば足りる。また、ｘｙ座標値算出部２４０によって行われる演算のうち、「ｖＢ」や「ｖＥ」の値も、行ごとに新たな演算を実施すれば足りる。もちろん、回転係数演算部２３０は、視線ベクトルｎもしくは平面傾斜角φについて変更が生じない限り、新たな演算を行う必要はない。
【０１５３】
図２３に示す実施形態の場合、画像変換装置の構成要素となる対応座標算出ユニット２００および平面正則画像作成ユニット３００の部分は、上述した処理機能を有する電子回路が組み込まれた半導体集積回路によって構成されている。すなわち、対応座標算出ユニット２００および平面正則画像作成ユニット３００の部分は、１チップからなる専用のＬＳＩによって構成されている。一方、パラメータ入力ユニット１００は、様々なユーザインターフェイスに対応できるよう、別なホストコントローラＬＳＩチップによって構成するようにしている。結局、この魚眼監視システムは、パラメータ入力ユニット１００として機能するＬＳＩと、対応座標算出ユニット２００および平面正則画像作成ユニット３００として機能するＬＳＩと、平面正則画像用メモリ４２０と、歪曲円形画像用メモリ４４０と、魚眼レンズ装着デジタルカメラ４１０と、モニタ装置４３０と、を組み合わせることにより構築されている。
【０１５４】
もちろん、この魚眼監視システムのうち、画像変換装置として機能する部分、すなわち、パラメータ入力ユニット１００，対応座標算出ユニット２００，平面正則画像作成ユニット３００，平面正則画像用メモリ４２０，歪曲円形画像用メモリ４４０の部分を、汎用コンピュータに専用のプログラムを組み込むことにより構成することも可能である。また、図２３におけるパラメータ入力ユニット１００と回転係数演算部２３０とを汎用コンピュータによって構成し、対応座標算出ユニット２００内のその余の部分をＬＳＩで構成するようにし、汎用コンピュータ側で計算した回転係数Ａ〜ＦをＬＳＩへ与えるようにしてもかまわない。
【０１５５】
なお、これまで述べた例では、得られる平面正則画像の中心点が、ＵＶ座標系の原点Ｇに一致していたが、平面正則画像は、必ずしも原点Ｇを中心に切り出したものにする必要はない。また、本発明に係る画像変換装置は、魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を平面正則画像に変換する機能をもった装置であるが、この装置による変換対象となる画像は、魚眼レンズを用いた撮影で得られた画像のみに限定されるものではない。たとえば、凸面鏡を用いた撮影画像など、魚眼レンズと同等の半球面射影モデルが適用される画像であれば、本発明に係る画像変換装置を利用した画像変換が可能である。
【０１５６】
＜＜＜  §７．非正射影方式への適用  ＞＞＞
これまでの実施形態は、いずれも正射影方式の魚眼レンズを用いた例であり、画像変換に用いる対応関係式も、正射影方式の魚眼レンズで撮影された歪曲円形画像Ｓを前提とした式になっていた。ところが、実際に市販されている魚眼レンズは、必ずしも正射影方式のレンズとは限らない。実際、魚眼レンズの投影方式としては、等距離射影方式、立体射影方式、等立体角射影方式など、様々な方式が知られており、用途に応じて、これら様々な射影方式をとる魚眼レンズが利用されている。ここでは、このような非正射影方式の魚眼レンズによって撮影された非正射影画像に対して本発明を適用する方法を説明する。
【０１５７】
正射影方式の魚眼レンズの光学的特性は、既に述べたとおり、図１に示すようなモデルによって説明することができる。すなわち、仮想球面Ｈ上の任意の入射点Ｈ（ｘ，ｙ，ｚ）に対して、その法線方向から入射する入射光線Ｌ１は、Ｚ軸に平行な方向に進む入射光線Ｌ２として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ到達する、という特性である。図２４は、この正射影方式の魚眼レンズにおける入射光の投影状態を示す正面図である。図示のとおり、天頂角βをもった仮想球面Ｈ上の入射点Ｈ（ｘ，ｙ，ｚ）に対して、その法線方向から入射した入射光線Ｌ１は、Ｚ軸に平行な方向に進む入射光線Ｌ２として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ到達している。
【０１５８】
ここで、入射点Ｈ（ｘ，ｙ，ｚ）の天頂角βと、当該入射点Ｈ（ｘ，ｙ，ｚ）を経た入射光線Ｌ２がＸＹ平面上で到達する到達点Ｓ（ｘ，ｙ）の原点Ｏからの距離ｒと、の関係は、正射影方式の魚眼レンズを用いた撮影によって形成される正射影画像の場合、ｒ＝ｆ・sinβなる式で表される。ここで、ｆは、魚眼レンズに固有の定数である。これに対して、たとえば、等距離射影方式の魚眼レンズを用いた撮影によって形成される等距離射影画像の場合、両者の関係は、ｒ＝ｆ・βなる式で表されることになる。
【０１５９】
図２５は、正射影方式の魚眼レンズを用いて形成される正射影画像と、等距離射影方式の魚眼レンズを用いて形成される等距離射影画像と、の関係を示す斜視図である。図に同心円状に示す線は、同一の天頂角βをもつ入射点を経た入射光線についてのＸＹ平面上での到達点の集合を示している。図２５(a) に示す正射影画像の場合、ｒ＝ｆ・sinβなる式が成り立つため、隣接する同心円状の線の配置間隔は、中心から周囲に向かうほど小さくなってゆく。これに対して、図２５(b) に示す等距離射影画像の場合、ｒ＝ｆ・βなる式が成り立つため、同心円状の線は、中心から周囲に向かって等間隔に配置される。
【０１６０】
このように、正射影画像と等距離射影画像とは、いずれも歪曲円形画像という点では共通するものの、その歪みの状態が両者では異なっているため、当然ながら、平面正則画像に変換するために用いる変換演算式も異なったものになる。したがって、正射影画像を平面正則画像に変換する場合には、図２１に示す正射影画像用対応関係式を用いることができるが、等距離射影画像などの非正射影画像を平面正則画像に変換する場合には、それぞれについての専用の対応関係式を用いる必要がある。
【０１６１】
ただ、正射影画像上の座標と非正射影画像上の座標とは、所定の座標変換式を介して相互に変換することが可能である。したがって、本発明を実施するにあたって、歪曲円形画像用メモリ４４０に格納されている歪曲円形画像Ｓが、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、正射影画像上の座標と非正射影画像上の座標との間の座標変換式を用いて正射影画像用対応関係式を補正することにより得られる非正射影画像用対応関係式を用いるようにすればよい。以下、非正射影画像として、等距離射影画像を用いた場合を例にとって、この方法を説明する。
【０１６２】
図２５に示すように、正射影画像上の任意の１点と、等距離射影画像上の特定の１点とは、相互に１対１の対応関係を定義することができる（図の破線は、この対応関係を示している）。具体的には、等距離射影画像上の任意の１点の座標を（ｘｂ，ｙｂ）とし、これに対応する正射影画像上の特定の１点の座標を（ｘａ，ｙａ）とすれば、両者間には、図２６の上段に示すように、
ｘａ＝ｘｂ（Ｒ／ｒ） sin （πｒ／２Ｒ）      式（１９）
ｙａ＝ｙｂ（Ｒ／ｒ） sin （πｒ／２Ｒ）      式（２０）
但し、ｒ＝√（ｘｂ２＋ｙｂ２）
なる式が成り立つ。逆に、正射影画像上の任意の１点の座標を（ｘａ，ｙａ）とし、これに対応する等距離射影画像上の特定の１点の座標を（ｘｂ，ｙｂ）とすれば、両者間には、図２６の下段に示すように、
ｘｂ＝ｘａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）    式（２１）
ｙｂ＝ｙａ（２Ｒ／πｒ） sin-1 （ｒ／Ｒ）    式（２２）
但し、ｒ＝√（ｘａ２＋ｙａ２）
が成り立つ。
【０１６３】
結局、上記式（１９），（２０）は、等距離射影画像上の座標（ｘｂ，ｙｂ）を正射影画像上の座標（ｘａ，ｙａ）に変換する式（以下、第１の座標変換式と言う）であり、上記式（２１），（２２）は、正射影画像上の座標（ｘａ，ｙａ）を等距離射影画像上の座標（ｘｂ，ｙｂ）に変換する式（以下、第２の座標変換式と言う）ということになる。
【０１６４】
そこで、図２３に示す歪曲円形画像用メモリ４４０に格納されている画像が、等距離射影方式の魚眼レンズによって撮影された等距離射影画像である場合には、対応座標算出ユニット２００は、まず、これまで述べてきた正射影画像用対応関係式を用いて、対応座標（ｘ，ｙ）を算出すればよい。こうして算出された対応座標（ｘ，ｙ）は、正射影画像上の座標（ｘａ，ｙａ）に対応するものであるから、上述した第２の座標変換式を用いて、これを等距離射影画像上の座標（ｘｂ，ｙｂ）に変換し、変換後の座標（ｘｂ，ｙｂ）を、平面正則画像作成ユニット３００に対して、対応座標（ｘ，ｙ）として与える処理を行えばよい。
【０１６５】
なお、パラメータ入力ユニット１００が、歪曲円形画像Ｓ上の１点を切出中心点Ｐ（ｘ０，ｙ０）として指定する入力を受け、この切出中心点Ｐ（ｘ０，ｙ０）の位置を視線ベクトルｎを示すパラメータとして入力する場合にも、留意が必要である。これまで述べてきた実施形態のように、歪曲円形画像用メモリ４４０に格納されている歪曲円形画像Ｓが、正射影方式の魚眼レンズによって撮影された正射影画像である場合には、図１９のモデルのように、切出中心点Ｐ（ｘ０，ｙ０）を通りＺ軸に平行な直線と仮想球面Ｈとの交点Ｑ（ｘ０，ｙ０，ｚ０）を定義し、原点Ｏを起点として交点Ｑ（ｘ０，ｙ０，ｚ０）を通るベクトルを視線ベクトルｎとすることができる。これは、正射影方式の場合、切出中心点Ｐの真上の位置に、その球面上対応点Ｑが位置するからである。
【０１６６】
ところが、歪曲円形画像用メモリ４４０に格納されている歪曲円形画像Ｓが、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、球面上対応点Ｑは切出中心点Ｐの真上には位置しない。そこで、この場合、正射影画像上の座標と非正射影画像上の座標との間の座標変換式を用いて、切出中心点Ｐの座標を補正し、補正後の点を通りＺ軸に平行な直線と仮想球面Ｈとの交点Ｑを定義し、原点Ｏを起点としてこの交点Ｑを通るベクトルを視線ベクトルｎとする必要がある。
【０１６７】
歪曲円形画像Ｓが等距離射影画像の場合、当該歪曲円形画像Ｓ上の１点として指定された切出中心点Ｐの座標は、等距離射影画像上の座標（ｘｂ，ｙｂ）に相当するので、上述した第１の座標変換式を用いて、これを正射影画像上の座標（ｘａ，ｙａ）に変換し、変換後の座標（ｘａ，ｙａ）によって示される点を通りＺ軸に平行な直線と仮想球面Ｈとの交点Ｑを定義し、原点Ｏを起点としてこの交点Ｑを通るベクトルを視線ベクトルｎとすればよい。
【０１６８】
このような方法を採れば、歪曲円形画像用メモリ４４０に格納されている画像が、等距離射影方式の魚眼レンズによって撮影された等距離射影画像である場合にも、基本的には、これまで述べてきた実施形態と同等の変換処理を適用することが可能になる。もちろん、この方法は、等距離射影画像への適用に限定されるものではなく、非正射影画像一般に広く適用することが可能である。
【図面の簡単な説明】
【０１６９】
【図１】正射影方式の魚眼レンズを用いた撮影により歪曲円形画像Ｓを形成する基本モデルを示す斜視図である。
【図２】魚眼レンズを用いた撮影によって得られた歪曲円形画像Ｓの一例を示す平面図である（歪曲円形画像Ｓの一般的なイメージを示すものであり、正確な画像を示すものではない）。
【図３】歪曲円形画像Ｓの一部分に切出領域Ｅを定義した例を示す平面図である。
【図４】歪曲円形画像Ｓを含む二次元ＸＹ直交座標系と、平面正則画像Ｔを含む二次元ＵＶ直交座標系との関係を示す斜視図である。
【図５】二次元ＵＶ直交座標系上に定義された平面正則画像Ｔと平面傾斜角φとの関係を示す平面図である。
【図６】二次元ＸＹ直交座標系から二次元ＵＶ直交座標系への座標変換の原理を示す斜視図である。
【図７】図６の斜視図に示されている各構成要素を水平方向から見た図である。
【図８】図６の斜視図に示されている各構成要素を上方から見た図である。
【図９】倍率ｍを考慮したモデルにおいて、二次元ＸＹ直交座標系上における点Ｓｉ（ｘｉ，ｙｉ）と二次元ＵＶ直交座標系上における点Ｔｉ（ｕｉ，ｖｉ）との対応関係を示す斜視図である。
【図１０】倍率ｍ＝１に設定した場合の二次元ＵＶ直交座標系の配置および切出領域Ｅ１の範囲を示す側面図である。
【図１１】倍率ｍ＞１に設定した場合の二次元ＵＶ直交座標系の配置および切出領域Ｅ２の範囲を示す側面図である。
【図１２】図２に示す歪曲円形画像Ｓの一部分を切り出すことにより、二次元ＵＶ直交座標系上に得られた平面正則画像Ｔの一例を示す平面図である。
【図１３】図２に示す歪曲円形画像Ｓの一部分を切り出すことにより、二次元ＵＶ直交座標系上に得られた平面正則画像Ｔの別な一例を示す平面図である。
【図１４】二次元ＵＶ直交座標系上に定義された平面正則画像Ｔを示す平面図である。
【図１５】二次元ＸＹ直交座標系上に定義された歪曲円形画像Ｓを示す平面図である。
【図１６】二次元ＸＹ直交座標系上における点Ｓ１（ｘ１，ｙ１），Ｓ２（ｘ２，ｙ２）と、二次元ＵＶ直交座標系上における点Ｔ１（ｕ１，ｖ１），Ｔ２（ｕ２，ｖ２）との対応関係を示すための仮想球面の側面図である。
【図１７】二次元ＸＹ直交座標系上における座標（ｘ，ｙ）と二次元ＵＶ直交座標系上における座標（ｕ，ｖ）との対応関係を示す正射影画像用対応関係式である。
【図１８】図１７に示す対応関係式の意味合いを説明するための図である。
【図１９】二次元ＸＹ直交座標系上における点Ｓｉ（ｘｉ，ｙｉ）と二次元ＵＶ湾曲座標系上における点Ｃｉ（ｕｉ，ｖｉ）との対応関係を示す斜視図である。
【図２０】二次元ＵＶ直交座標系上における点Ｔ（ｕ，ｖ）と二次元ＵＶ湾曲座標系上における点Ｃ（ｕ，ｖ）との対応関係を示す斜視図である。
【図２１】二次元ＸＹ直交座標系上における座標（ｘ，ｙ）と二次元ＵＶ湾曲座標系上における座標（ｕ，ｖ）との対応関係を示す正射影画像用対応関係式である。
【図２２】図２１に示す正射影画像用対応関係式を用いて、二次元ＵＶ湾曲座標系上における任意の座標（ｕ，ｖ）に対応する二次元ＸＹ直交座標系上における対応座標（ｘ，ｙ）を算出するプロセスを示すブロック図である。
【図２３】本発明の一実施形態に係る画像変換装置の基本構成を示すブロック図である。
【図２４】正射影方式の魚眼レンズにおける入射光の投影状態を示す側面図である。
【図２５】正射影方式の魚眼レンズを用いて形成される正射影画像と、等距離射影方式の魚眼レンズを用いて形成される等距離射影画像と、の関係を示す斜視図である。
【図２６】等距離射影画像上の座標と正射影画像上の座標との間で座標変換を行うための変換式を示す図である。
【符号の説明】
【０１７０】
１００：パラメータ入力ユニット
２００：対応座標算出ユニット
２１０：共通係数演算部
２２０：湾曲座標補正部
２３０：回転係数演算部
２４０：ｘｙ座標値算出部
３００：平面正則画像作成ユニット
３１０：ｕｖ座標値発生部
３２０：平面正則画像用メモリコントローラ
３３０：画素値決定部
３４０：歪曲円形画像用メモリコントローラ
４１０：魚眼レンズ装着デジタルカメラ
４２０：平面正則画像用メモリ
４３０：モニタ装置
４４０：歪曲円形画像用メモリ
Ａ：円弧
Ａ〜Ｅ：回転係数（数式における符号）
ａ：モニタ装置の横方向寸法（水平方向の画素数）
ｂ：モニタ装置の縦方向寸法（垂直方向の画素数）
Ｂ１〜Ｂ９：演算ブロック
Ｃ：二次元ＵＶ湾曲座標系上の湾曲正則画像
Ｃ（ｕ，ｖ）：二次元ＵＶ湾曲座標系上の湾曲正則画像Ｃ内の点
Ｃｉ（ｕｉ，ｖｉ）：二次元ＵＶ湾曲座標系上の湾曲正則画像Ｃ内の点
Ｄ：線分
Ｅ，Ｅ１，Ｅ２：切出領域
Ｆ１，Ｆ２：画角
ｆ：魚眼レンズに固有の定数
Ｇ：共通係数（数式における符号）
Ｇ，Ｇ１，Ｇ２：二次元ＵＶ直交座標系の原点
Ｇ（ｘ０，ｙ０，ｚ０）：二次元ＵＶ直交座標系の原点
Ｇ（ｘｇ，ｙｇ，ｚｇ）：二次元ＵＶ直交座標系の原点
Ｇ（０，０，ｍＲ）：二次元ＵＶ直交座標系の原点
Ｈ：仮想球面
Ｈ（ｘ，ｙ，ｚ）：仮想球面Ｈ上の入射点
Ｊ：回転基準軸
Ｌ：２点間の距離
Ｌ１，Ｌ２：入射光線
ｍ：倍率
ｎ：視線ベクトル
ｎｉ：ＯとＱｉとを結ぶ直線
Ｏ：三次元ＸＹＺ直交座標系の原点
Ｐ，Ｐ（ｘ０，ｙ０）：切出中心点
Ｑ，Ｑ１，Ｑ２：球面上対応点
Ｑ（ｘ０，ｙ０，ｚ０）：球面上対応点
Ｑｉ（ｘｉ，ｙｉ，ｚｉ）：球面上対応点
Ｒ：歪曲円形画像Ｓの半径（仮想球面Ｈの半径）
ｒ：歪曲円形画像Ｓの中心点からの距離
Ｓ：歪曲円形画像
Ｓ１：傾斜面
Ｓ２：接平面
Ｓ（ｘ，ｙ）：二次元ＸＹ直交座標系上の歪曲円形画像Ｓ内の点
Ｓ１（ｘ１，ｙ１）：二次元ＸＹ直交座標系上の歪曲円形画像Ｓ内の点
Ｓ２（ｘ２，ｙ２）：二次元ＸＹ直交座標系上の歪曲円形画像Ｓ内の点
Ｓｉ（ｘｉ，ｙｉ）：二次元ＸＹ直交座標系上の歪曲円形画像Ｓ内の点
Ｔ，Ｔ１，Ｔ２：二次元ＵＶ直交座標系上の平面正則画像
Ｔ（ｕ，ｖ）：二次元ＵＶ直交座標系上の平面正則画像Ｔ内の点
Ｔ（０，０）：二次元ＵＶ直交座標系の原点
Ｔ１（ｕ１，ｖ１）：二次元ＵＶ直交座標系上の平面正則画像Ｔ内の点
Ｔ２（ｕ２，ｖ２）：二次元ＵＶ直交座標系上の平面正則画像Ｔ内の点
Ｔｉ（ｕｉ，ｖｉ）：二次元ＵＶ直交座標系上の平面正則画像Ｔ内の点
Ｕ：二次元ＵＶ直交座標系の座標軸／二次元ＵＶ湾曲座標系の座標軸
ｕ：二次元ＵＶ直交座標系もしくは二次元ＵＶ湾曲座標系の座標軸Ｕに関する座標値
ｕ′：座標値ｕの補正値
Ｖ：二次元ＵＶ直交座標系の座標軸／二次元ＵＶ湾曲座標系の座標軸
ｖ：二次元ＵＶ直交座標系もしくは二次元ＵＶ湾曲座標系の座標軸Ｖに関する座標値
Ｖ′：座標軸Ｖに平行かつ原点Ｏを通る直線（仮想円柱の中心軸）
ｗ：ｍ×Ｒで与えられる数値
ｗ′：数値ｗの補正値
Ｘ：三次元ＸＹＺ直交座標系の座標軸
ｘ，ｘａ，ｘｂ：二次元ＸＹ直交座標系の座標軸Ｘに関する座標値
Ｙ：三次元ＸＹＺ直交座標系の座標軸
ｙ，ｙａ，ｙｂ：二次元ＸＹ直交座標系の座標軸Ｙに関する座標値
Ｚ：三次元ＸＹＺ直交座標系の座標軸
α：方位角
β：天頂角
θ：角度
φ：平面傾斜角
【図１】
2010062790.tif 000003
【図２】
2010062790.tif 000004
【図３】
2010062790.tif 000005
【図４】
2010062790.tif 000006
【図５】
2010062790.tif 000007
【図６】
2010062790.tif 000008
【図７】
2010062790.tif 000009
【図８】
2010062790.tif 000010
【図９】
2010062790.tif 000011
【図１０】
2010062790.tif 000012
【図１１】
2010062790.tif 000013
【図１２】
2010062790.tif 000014
【図１３】
2010062790.tif 000015
【図１４】
2010062790.tif 000016
【図１５】
2010062790.tif 000017
【図１６】
2010062790.tif 000018
【図１７】
2010062790.tif 000019
【図１８】
2010062790.tif 000020
【図１９】
2010062790.tif 000021
【図２０】
2010062790.tif 000022
【図２１】
2010062790.tif 000023
【図２２】
2010062790.tif 000024
【図２３】
2010062790.tif 000025
【図２４】
2010062790.tif 000026
【図２５】
2010062790.tif 000027
【図２６】
2010062790.tif 000028