(57)【要約】【課題】  本発明の課題は、重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとることができる、撮像画像の変換方法を提供することである。【解決手段】  レンズの射影方式に応じて得た撮像画像の２次元座標（ξ１，η１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を、中心部では透視射影に近く、周辺部では正射影に近い連続した投影曲面として、撮像画像の新たな２次元座標（ξ２，η２，０）を求めるステップを含む撮像画像の変換方法。【選択図】        図５
2010067172.tif 000002
【特許請求の範囲】
【請求項１】
レンズの射影方式に応じて得た撮像画像の２次元座標（ξ１，η１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を、中心部では透視射影に近く、周辺部では正射影に近い連続した投影曲面として、撮像画像の新たな２次元座標（ξ２，η２，０）を求めるステップを含む撮像画像の変換方法。
【請求項２】
レンズの射影方式に応じて得た撮像画像の２次元座標（ξ１，η１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を
2010067172.tif 000020
として撮像画像の新たな２次元座標（ξ２，η２，０）を求めるステップを含む撮像画像の変換方法。
ただし
2010067172.tif 000021
である。またｐ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
【請求項３】
上記ｐ、ｓ及びｃは、それぞれ１６、１及び０．５７７であることを特徴とする請求項２に記載の撮像画像の変換方法。
【請求項４】
レンズの射影方式に応じて得た撮像画像の２次元座標（ξ１，η１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を
2010067172.tif 000022
として撮像画像の新たな２次元座標（ξ２，η２，０）を求めるステップを含む撮像画像の変換方法。
ただしｐ、ｑ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
【請求項５】
上記ｐ、ｑ、ｓ及びｃは、それぞれ１６、１６、１及び０．５７７であることを特徴とする請求項４に記載の撮像画像の変換方法。
【請求項６】
上記レンズは、魚眼レンズであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像画像の変換方法。
【請求項７】
上記レンズの射影方式は、等距離射影であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像画像の変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ等に使用される撮像画像の変換方法に関する。
【背景技術】
【０００２】
監視カメラなどに搭載されるレンズとして魚眼レンズが多用されている。
魚眼レンズを用いて全方向とも画角１８０°で撮影された画像は円形になる。撮影画像では奥行方向の距離情報が失われているため、どの方向も対象物までの距離が一様であると想定し、視点（カメラの位置）を中心とした球面上にデータが存在すると考えるのが自然である。３次元空間の情報を３次元化する操作が射影であるが、撮影された時点ですでに距離情報が失われているため、もともとのデータが球面上に位置するとみなされる。
【０００３】
射影方式としては、正射影、等立体角射影、等距離射影、極射影が代表的なものである。魚眼レンズで最も一般的な射影方式は等距離射影であるが、他の射影方式によるレンズも存在する。
なお、一般のレンズで撮影された画像に相当する透視射影は人間の視覚に近いが、画角１８０°のデータは無限大の平面に射影されることになるため広角画像の表現には向いておらず、広角レンズでも対角画角１２０°（焦点距離１３ｍｍ程度相当）がせいぜいである。
【０００４】
以下、各射影方式について説明するが、簡単のため図６のように視点を原点とし、半径が１になるように規格化された座標系で考えることとする。一般的には、図６で、ξ軸はカメラの水平方向（左右）、η軸はカメラの垂直方向（上下）であり、ζが視線方向となる。カメラをどちらに向けるかなどは座標系を回転させることに相当する。視点を原点にとった半径１の球面と視点と対象物を結ぶ直線の交点Ｐの位置を（ξ，η，ζ）とし、交点上のデータをξ−η平面上の円内に射影する。ここで、ζは次のとおりである。
【０００５】
【数１】
2010067172.tif 000003
【０００６】
このとき、ζ＝０平面（ξ−η平面）での角度αはどのような射影方式でも通常保存するようにするため、射影点Ｐ０′の座標を（ξ′，η′，０）とすると、ξ′とη′の比ξ′:η′は一定であり、原点からの下記の［数２］による距離ｒ′のみが、射影方式の違いとなる。
【０００７】
【数２】
2010067172.tif 000004
【０００８】
（１）正射影は、半球面上の点ｐの座標を（ξ，η，ζ）とすると、ξ、ηはそのままでζ＝０とする操作に相当する。すなわち、射影面（ξ−η平面）に垂線の足を下ろしたときの平面との交点となる。
正射影では、視線方向に近い部分ほど大きく、周辺部分ほど小さく射影される。
変換式及び逆変換式は、下記のとおりである。
【０００９】
【数３】
2010067172.tif 000005
【００１０】
（２）等立体角射影は、球面上の図形の立体角が射影面上での面積に比例するという性質があるため、視環境評価などで利用される。
変換式、逆変換式は、それぞれ下記の［数４］、［数５］のとおりである。
【００１１】
【数４】
2010067172.tif 000006
【００１２】
【数５】
2010067172.tif 000007
【００１３】
（３）等距離射影では、視線方向からの角距離が原点からの距離に比例する。
変換式、逆変換式は、それぞれ下記の［数６］、［数７］のとおりである。
【００１４】
【数６】
2010067172.tif 000008
【００１５】
【数７】
2010067172.tif 000009
【００１６】
（４）極射影は、視点を（０，０，−１）にとって射影面（ξ−η平面）に透視射影するもので、周辺部分が大きく投影されるという性質がある。
変換式、逆変換式は、それぞれ下記の［数８］、［数９］のとおりである。
【００１７】
【数８】
2010067172.tif 000010
【００１８】
【数９】
2010067172.tif 000011
【００１９】
（５）透視射影は、射影面を視点の前面にとって、対象物と視点を結ぶ直線と射影面の交点を射影点とするものである。
変換式、逆変換式は、それぞれ下記の［数１０］、［数１１］のとおりである。
【００２０】
【数１０】
2010067172.tif 000012
【００２１】
【数１１】
2010067172.tif 000013
【００２２】
図７〜図１１は、それぞれ正射影、等立体角射影、等距離射影、極射影、透視射影により教室を撮像した撮像画像例を示すものである。
中心部の大きさは正射影が一番大きく、極射影が一番小さい。人間の視覚を考えた場合、中心部は透視射影すなわち水平に近いほうが自然である。しかしながら、画角を１８０°とった場合、周辺部を透視射影することは不可能であるし、１８０°までいかなくても画角を広くとればとるほど中心部は小さくなってしまうため実際上は１２０°程度が限界である。
【００２３】
監視カメラなどの用途を考えると、歪みが大きい画像は対象を誤って認識してしまう可能性があるため透視射影に近いほうがよいが、画角を狭くとると周辺部での事象を見逃す危険性が増える。
画角を広くとると中心部が小さく投影されてしまうという別の問題が生じる。
このように、一つの画像内に広い画角を示す場合には、中心部と周辺部の間でトレードオフの関係が生じるため両者を適切なバランスで提示する必要があるが、上記の各射影方式のみでは十分対応できない。
【００２４】
すなわち図７に示す撮像画像例では、中心部に隣接する部分の歪みが大きく、図８〜１０に示す撮像画像例では、重要性が高い中心部が小さく、かつ中心部に隣接する部分の歪みが大きい。また図１１に示す撮像画像例では、画像の歪みは小さいが、重要性が高い中心部が小さく、かつ周辺部の画像が切れている。
【００２５】
視野９０°までは透視射影で、９０〜２２５°までを拡張した正射影とした画像の変換方法が提案されている（非特許文献１）が、この画像の変換方法では途中で射影方法を切り替えているので、切換部分が気になり、また画像を４隅まで延ばすのではなく上下の視野を限定して矩形の画像を得ているため周辺の視野が狭くなっている。
したがって上記画像の変換方法では重要性の高い中心部を透視射影により得る点ではよいが、周辺部を適度に歪ませながら広い画角をとるには十分ではない。
また他にも画像変換方法が提案されているが、このようなニーズを満たすものではない。
【特許文献１】特開平１０−４９７０４号公報
【特許文献２】特開２００７−１４８４８８号公報
【非特許文献１】情報処理学会インタラクション2003 予稿集，pp.107-115，2003.
【発明の開示】
【発明が解決しようとする課題】
【００２６】
本発明の課題は、重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとることができる、撮像画像の変換方法を提供することである。
さらに本発明の課題は、モニター画面全体を有効利用し、水平性・垂直性をより確保する撮像画像の変換方法を提供することである。
【課題を解決するための手段】
【００２７】
本発明は、次のような撮像画像の変換方法を提供するものである。
（１）レンズの射影方式に応じて得た撮像画像の２次元座標（ξ１，η１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を、中心部では透視射影に近く、周辺部では正射影に近い連続した投影曲面として、撮像画像の新たな２次元座標（ξ２，η２，０）を求めるステップを含む撮像画像の変換方法。
（２）レンズの射影方式に応じて得た撮像画像の２次元座標（ξ１，η１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を
【００２８】
【数１２】
2010067172.tif 000014
【００２９】
として撮像画像の新たな２次元座標（ξ２，η２，０）を求めるステップを含む撮像画像の変換方法。
ただし
【００３０】
【数１３】
2010067172.tif 000015
【００３１】
である。またｐ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
（３）上記ｐ、ｓ及びｃは、それぞれ１６、１及び０．５７７であることを特徴とする（２）に記載の撮像画像の変換方法。
（４）レンズの射影方式に応じて得た撮像画像の２次元座標（ξ１，η１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を
【００３２】
【数１４】
2010067172.tif 000016
【００３３】
として撮像画像の新たな２次元座標（ξ２，η２，０）を求めるステップを含む撮像画像の変換方法。
ただしｐ、ｑ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
（５）上記ｐ、ｑ、ｓ及びｃは、それぞれ１６、１６、１及び０．５７７であることを特徴とする（４）に記載の撮像画像の変換方法。
（６）上記レンズは、魚眼レンズであることを特徴とする（１）乃至（５）のいずれかに記載の撮像画像の変換方法。
（７）上記レンズの射影方式は、等距離射影であることを特徴とする（１）乃至（６）のいずれかに記載の撮像画像の変換方法。
【発明の効果】
【００３４】
本発明によれば、重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとることができるため、監視カメラなどに適用して、重要性の高い中心部で対象を正確に認識するとともに、周辺部での事象を見逃す危険性を小さくすることができる。
さらに本発明によれば、４隅まで画像が伸びており、監視カメラなどに適用しても周辺部での事象を見逃す危険性はきわめて小さい。
【発明を実施するための最良の形態】
【００３５】
本発明に係る撮像画像の変換方法について、図面を参照して以下詳細に説明する。
重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとるという方針で、中心部の透視射影から周辺部に向かって滑らかに変化する、次のような投影曲面を考える。
【００３６】
【数１５】
2010067172.tif 000017
【００３７】
ここで
【００３８】
【数１６】
2010067172.tif 000018
【００３９】
である。またｐ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
ｐ＝ｓの場合は、この曲線はスーパー楕円となり特にｐ＝ｓ＝２の場合は楕円になる。パラメータｃは投影曲面の中央高さを意味し、特にｐ＝ｓ＝２でc＝１の場合は正射影になる。ｐ＝２、ｓ＝１、ｃ＝０．５とすると極射影になるので、これらを拡張したような射影方式になっているといえる。ｐ＝ｓ、ｃ＝ｃｏｔ（１２０°／２）≒０．５７７として、ｐの値を変化させた場合の例を図１に示す。
次数ｐが大きくなるほど透視射影に近づいていき、ｐ→∞の極限で透視射影となるが、この射影方式は周辺部の歪みが非常に大きくなる点で問題がある。
【００４０】
次に［数１５］でｓ＝１として、ｐの値のみを変化させた場合の例を図２に示す。ｐ＝ｓの場合より、ｐの値を大きくとらないと中央部が水平に近づかないが、ｐ＝ｓの場合ほど周辺部の歪みは大きくない。ｐ＝１６では正射影と透視射影を接続したような曲面となっていることが分かる。
【００４１】
図３〜図４は、ｃ＝ｃｏｔ（１２０°／２）≒０．５７７としたときの撮像画像の変換例である。中央部ではどれも透視射影に近くなっている。
図３は、［数１５］でｐ＝ｓ＝８としたスーパー楕円射影であり、周辺部は極端に圧縮されている。
図４は、［数１５］でｐ＝１６、ｓ＝１とした射影で周辺部の歪みは正射影と同程度である。
図３、図４では、図７〜図１１のものよりも、重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角がとれていることが分かる。
【００４２】
次に［数１５］に示す投影曲面では、ｒとして、方位によらず同じ射影としてきたため、射影された画像はすべて円になるが、モニター画面では４隅に空白部ができてしまう。
モニター画面全体を有効利用し、水平性・垂直性をより確保する方法として、ξとηをそれぞれ独立に扱うために［数１５］を更に拡張して、次のような投影曲面を用いる。
【００４３】
【数１７】
2010067172.tif 000019
【００４４】
ここでｐ、ｑ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
ｐ＝ｑで、ｐ＝２の場合は射影された画像は円であるが、ｐの値を大きくしていくとスーパー楕円となり正方形に近づいていくことになる。
【００４５】
図５は、［数１７］でｐ＝ｑ＝１６、ｓ＝１とした射影である。画像中心を通る十字のライン上では図４と同一であるが、４隅まで画像が伸びており、水平・垂直が広い範囲で保存されていることが分かる。
【００４６】
図３乃至図５の撮像画像の変換例から分かるように、本発明の撮像画像の変換方法を採用することにより重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとることができる。
さらに図５の撮像画像の変換例の場合では４隅まで画像が伸びており、監視カメラなどに適用しても周辺部での事象を見逃す危険性はきわめて小さい。
【図面の簡単な説明】
【００４７】
【図１】［数１５］でｐ＝ｓ、ｃ≒０．５７７とした場合を図示したものである。
【図２】［数１５］でｓ＝１、ｃ≒０．５７７としてｐの値のみを変化させた場合を図示したものである。
【図３】［数１５］でｐ＝ｓ＝８、ｃ≒０．５７７とした撮像画像の変換例を図示したものである。
【図４】［数１５］でｐ＝１６、ｓ＝１、ｃ≒０．５７７とした撮像画像の変換例を図示したものである。
【図５】［数１７］でｐ＝ｑ＝１６、ｓ＝１、ｃ≒０．５７７とした撮像画像の変換例を図示したものである。
【図６】半径１の半球面から平面への射影を図示したものである。
【図７】正射影の撮像画像例を図示したものである。
【図８】等立体角射影の撮像画像例を図示したものである。
【図９】等距離射影の撮像画像例を図示したものである。
【図１０】極射影の撮像画像例を図示したものである。
【図１１】透視射影の撮像画像例を図示したものである。
【図１】
2010067172.tif 000023
【図２】
2010067172.tif 000024
【図３】
2010067172.tif 000025
【図４】
2010067172.tif 000026
【図５】
2010067172.tif 000027
【図６】
2010067172.tif 000028
【図７】
2010067172.tif 000029
【図８】
2010067172.tif 000030
【図９】
2010067172.tif 000031
【図１０】
2010067172.tif 000032
【図１１】
2010067172.tif 000033