(57)【要約】２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させて変換するようにした。これにより、従来のように円環座標系の画像の画素を２次元直交座標系の画像の画素に１対１で変換した場合と異なり、円環座標系の画像上の中心部の画素が少ないことに起因する２次元直交座標系の画像上における画素の欠落を防止することができ、また、双曲面ミラーの双曲線の傾きに基づき円環座標系の画像を２次元直交座標系の画像に変換した場合に生じる左右両端の画像の歪曲をなくすことができる。
2004102479.tif 000002
【特許請求の範囲】
【請求項１】
双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を、画面等への表示出力用の画像を構成する２次元直交座標系の画像に変換するために、プロセッサーを、
前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する対応画素判定手段、
前記対応画素判定手段による判定結果を記憶する記憶手段、及び
前記記憶手段に格納された判定結果に基づいて、前記円環座標系の画像を構成する各画素を前記２次元直交座標系の画像を構成する各画素に対応させることにより、前記円環座標系の画像を前記２次元直交座標系の画像に変換する変換手段として機能させるための画像変換プログラム。
【請求項２】
前記対応画素判定手段は、アークタンジェント関数を用いて、前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定するようにした請求項１に記載の画像変換プログラム。
【請求項３】
プログラムされたプロセッサーによって、双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を、画面等への表示出力用の画像を構成する２次元直交座標系の画像に変換する方法であって、
前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定するステップと、
前記判定の結果を記憶するステップと、
前記記憶された判定の結果に基づいて、前記円環座標系の画像を構成する各画素を前記２次元直交座標系の画像を構成する各画素に対応させることにより、前記円環座標系の画像を前記２次元直交座標系の画像に変換するステップと
からなることを特徴とする画像変換方法。
【請求項４】
前記判定するステップにおいて、アークタンジェント関数を用いて、前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定するようにした請求項３に記載の画像変換方法。
【請求項５】
双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を、画面等への表示出力用の画像を構成する２次元直交座標系の画像に変換するためにプロセッサーを用いる方法において、
前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定し、
前記の判定の結果に基づいて、前記円環座標系の画像を構成する各画素を前記２次元直交座標系の画像を構成する各画素に対応させることにより、前記円環座標系の画像を前記２次元直交座標系の画像に変換すること。
【請求項６】
前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する際に、アークタンジェント関数を用いる請求項５の方法。
【請求項７】
プロセッサーを制御するためのプログラムを担持した、プロセッサーにより読み取り可能な媒体であって、
２次元直交座標系の画像を構成する各画素が、双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する手順と、
前記判定の結果を記憶する手順と、
前記記憶された判定の結果に基づいて、前記円環座標系の画像を構成する各画素を前記２次元直交座標系の画像を構成する各画素に対応させることにより、前記円環座標系の画像を前記２次元直交座標系の画像に変換する手順とを前記プロセッサーに実行させるためのプログラムを少なくとも備えることを特徴とする媒体。
【請求項８】
前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する手順において、アークタンジェント関数を用いる請求項７の媒体。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、全方位撮影手段で撮影された円環座標系の画像を、画面等への表示出力用の画像を構成する２次元直交座標系の画像に変換する画像変換プログラム及びその画像変換方法に関するものである。
【背景技術】
【０００２】  従来より、周囲の視野を撮影可能な３６０度カメラ等の全方位撮影装置が知られている（例えば、特開平６−１５２９３８号公報参照）。全方位撮影装置では、一般的に双曲面ミラーが用いられている。この双曲面ミラーを有する全方位撮影装置で撮影された画像は、円環座標系の画像であるため、ユーザにとって見やすいものではない。従って、この種の装置で撮影された円環座標系の画像を２次元直交座標系の画像に変換して、ユーザにとって見やすい画像にする必要があった。そこで、従来は、全方位撮影装置で撮影された円環座標系の画像の画素を、双曲面ミラーの双曲線の傾きに基づいて、２次元直交座標系の画像の画素に、１対１で変換していた。【０００３】  ここで、上記の変換方法について説明する。この変換方法の適用対象となる全方位撮影装置は、図１３に示されるような鉛直方向下向きに配設された双曲面ミラーと、その下に鉛直方向上向きに配設されたカメラから構成される。この全方位撮影装置では、双曲面ミラーの焦点ＯＭとカメラのレンズ中心ＯＣとは、それぞれ２葉双曲面の２焦点（０，０，＋ｃ），（０，０，−ｃ）に位置し、２次元直交座標系の画像面ｘｙはＸＹ平面に平行でカメラのレンズ中心ＯＣからカメラの焦点距離ｆだけ離れた平面となる。双曲面ミラーのミラー面、双曲面ミラーの焦点ＯＭ、及びカメラのレンズ中心ＯＣは、以下の各式で表わされる。
双曲面ミラーのミラー面・・・｛（Ｘ２＋Ｙ２）／ａ２｝−（Ｚ２／ｂ２）＝−１
（ただし、Ｚ＞０）
双曲面ミラーの焦点ＯＭ・・・（０，０，＋ｃ）
カメラのレンズ中心ＯＣ・・・（０，０，−ｃ）【０００４】  また、空間内の任意の点Ｐ（Ｘ，Ｙ，Ｚ）に対する画像面ｘｙ上での写像点をｐ（ｘ，ｙ）とすると、双曲面ミラーの焦点ＯＭからの点Ｐの方位角θは次式で表わされる。
2004102479.tif 000003
【０００５】  すなわち、Ｙ／Ｘで定まる（双曲面ミラーの焦点ＯＭからの）点Ｐの方位角θは、ｙ／ｘで定まる（カメラのレンズ中心ＯＣからの）写像点ｐの方位角θを算出することで得られる。この様に３６０度パノラマ状の領域内にある対象物体の方位角θが、その物体の画像面上の写像の方位として直接現れる。【０００６】  また、図１４に示されるように、点Ｐと軸を含む鉛直断面とを想定すると、点Ｐとその写像点ｐとの間には次式の関係が成り立つ。
2004102479.tif 000004
【０００７】  すなわち、双曲面ミラーの焦点ＯＭからの点の方位角θ及び伏角αは、カメラのレンズ中心ＯＣを双曲面ミラーの他方の（外面側の）焦点位置にすることで、写像点ｐ（ｘ、ｙ）より、一意に求められる。このとき、双曲面ミラーの（内面側の）焦点ＯＭは固定なため、入力画像を、双曲面ミラーの焦点ＯＭに配したカメラを鉛直軸周りに回転して得られる画像（円筒状の全方位画像）や、双曲面ミラーの焦点ＯＭに配したカメラから見た画像（一般のカメラで撮影した画像）に変換することが可能である。【０００８】  また、上記の式（１）〜（４）をｘ，ｙを求める形に変形した式が、下記の式（５）及び式（６）である。
2004102479.tif 000005
2004102479.tif 000006
【０００９】  上記の式（５）及び式（６）を利用することで、３次元空間中の点Ｐ（Ｘ，Ｙ，Ｚ）に対応する２次元直交座標系の画像面ｘｙ上の点ｐ（ｘ，ｙ）を求めることができる。【００１０】  しかしながら、上記のような双曲線の傾きに基づいて、（双曲面ミラーの外面側の焦点位置にレンズ中心ＯＣを配した）カメラで撮影した円環座標系の画像の画素を、２次元直交座標系の画像の画素に変換する方法では、２次元直交座標の中央近傍の画像は、人間の視覚通りに見えるが、左右両端の画像が歪曲してしまう。この理由は、以下の通りである。すなわち、上記の式（２）〜（４）は、カメラの魚眼レンズと双曲面ミラーの形状が数学上の２葉双曲面（双曲線をＺ軸周りに回転させることで得られる曲面）の形状と同じであることを前提として導かれた式であるが、カメラの魚眼レンズや双曲面ミラーの物理的な形状を数学上の２葉双曲面の形状に合わせることが難しいからである。また、双曲面ミラーの外面側の焦点位置とレンズ中心ＯＣとの位置合わせを正確に行うことが難しいからでもある。【００１１】  また、カメラで撮影した円環座標系の画像の画素と２次元直交座標系の画像の画素との対応関係を考えると、円環座標系の画像の画素は、円環の中心に近づくに従って画素数が減少するため、上記のように円環座標系の画像の画素を２次元直交座標系の画像の画素に１対１で変換する方法では、２次元直交座標系の画像上において、円環座標系の画像上の中心部に相当する部分の画素が欠落してしまう。
【発明の開示】
【００１２】  本発明は、上記の問題を解決するためになされたものであり、２次元直交座標系の画像上における左右両端部の歪曲を防ぎ、また、２次元直交座標系の画像上において、円環座標系の画像上の中心部に相当する部分の画素が欠落しないようにすることが可能な、円環座標系の画像から２次元直交座標系の画像への画像変換プログラム及びその画像変換方法を提供することを目的とする。
【００１３】  上記目的を達成するため、本発明の一態様に係る画像変換プログラムは、双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を、画面等への表示出力用の画像を構成する２次元直交座標系の画像に変換するために、プロセッサーを、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する対応画素判定手段、対応画素判定手段による判定結果を記憶する記憶手段、及び記憶手段に格納された判定結果に基づいて、円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させることにより、円環座標系の画像を２次元直交座標系の画像に変換する変換手段として機能させる。
【００１４】  また、本発明の一態様に係る方法は、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定し、上記判定の結果を記憶し、上記記憶された判定の結果に基づいて、円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させることにより、円環座標系の画像を２次元直交座標系の画像に変換する。
【００１５】  さらにまた、本発明の一態様に係るプロセッサーにより読み取り可能な媒体は、２次元直交座標系の画像を構成する各画素が、双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する手順と、上記判定の結果を記憶する手順と、上記記憶された判定の結果に基づいて、円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させることにより、円環座標系の画像を２次元直交座標系の画像に変換する手順とをプロセッサーに実行させるためのプログラムを少なくとも備える。
【００１６】  このように、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させて変換することにより、双曲面ミラーの双曲線の傾きに基づき円環座標系の画像を２次元直交座標系の画像に変換した場合に生じる左右両端の画像の歪曲をなくすことができる。また、上記のように、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系から２次元直交座標系への画像変換を行うようにしたことにより、円環座標系の画像を構成する１つの画素が２次元直交座標系の画像を構成する複数の画素に対応することはあっても、従来のように円環座標系の画像の画素を２次元直交座標系の画像の画素に１対１で変換した場合と異なり、円環座標系の画像上の中心部の画素が少ないことに起因する２次元直交座標系の画像上における画素の欠落を防止することができる。
【００１７】  望ましくは、アークタンジェント関数を用いて、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する。上記の双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像では、円の中心部に向かうに従って被写体が縦軸方向に圧縮されるが、上記のように、アークタンジェント関数を用いて、２次元直交座標系の画像を構成する各画素と、円環座標系の画像を構成する各画素との対応関係を判定することにより、縦軸方向に圧縮された円環座標系の画像を、通常のカメラで撮影した画像と同様な（縦軸方向に引き伸ばされた）２次元直交座標系の画像に変換することができる。
【図面の簡単な説明】
【００１８】［図１］本発明の一実施形態に係る画素補間プログラムを格納したＤＳＰボードを搭載したパソコンと全方位カメラとから構成される全方位カメラシステムの構成図。
［図２］上記ＤＳＰボードの構成図。
［図３］図２中のＤＳＰ本体の構成図。
［図４］上記ＤＳＰボードにおいて行われる画像処理のフローチャート。
［図５］上記ＤＳＰボードから転送された画像データに対してパソコン本体部が行う画像処理のフローチャート。
［図６］上記ＤＳＰボードにおいて行われる２次元直交座標系の画像上の線分と円環座標系の画像上の線分との対応関係を示す図。
［図７］上記ＤＳＰボードにおいて行われる２次元直交座標系の画像上の画素位置に対応する円環座標系の画像上の画素位置を求める処理の説明図。
［図８］上記処理の対象となる２次元直交座標系の画像上の画素位置Ｐを示す図。
［図９］上記処理の対象となる円環座標系の画像上の画素位置Ｐ’を示す図。
［図１０］上記処理において求められる円環座標系における弧長ｓを示す図。
［図１１］従来の双曲面を用いた画像変換方法による２次元直交座標系の画像示す図。
［図１２］本実施形態の画像変換方法による２次元直交座標系の画像を示す図。
［図１３］従来の画像変換方法の適用対象となる全方位撮影装置における双曲面ミラーとカメラのレンズ中心との位置関係を示す図。
［図１４］上記従来の全方位撮影装置において、３次元空間中の点Ｐに対応する２次元直交座標系の画像面上の点ｐを求める方法を示す図。
【発明を実施するための最良の形態】
【００１９】  以下、本発明を具体化した実施形態について図面を参照して説明する。本実施形態による画像変換プログラムは、パソコンに搭載されるＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）ボードで使用可能なプログラムである。図１は、これらのプログラムを格納したＤＳＰボードを搭載したパソコンと全方位カメラとから構成される全方位カメラシステムを示す。このカメラシステム１を構成する全方位カメラ３（全方位撮影手段）は、周囲３６０度の視野を撮影可能なカメラである。パソコン２は、全方位カメラ３で撮影された画像に対して各種の画像処理等を行うためのＤＳＰボード４と、ＤＳＰボード４から出力された圧縮輝度信号の形式の画像データをＲＧＢ輝度信号の形式の画像データに変換してモニタ５に出力するパソコン本体部５と、パソコン本体部５から出力されたＲＧＢ輝度信号の形式の画像データを表示するモニタ６とから構成されている。また、ＤＳＰボード４とパソコン本体部５との間のデータの入出力は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス７を介して行われる。【００２０】  次に、図２を参照して、上記ＤＳＰボード４内の構成について説明する。ＤＳＰボード４は、ＤＳＰ本体１１、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  ａｒｒａｙ）１２、ＦＩＦＯ１３〜１５、入力画像を記憶するための入力画像用ＳＤＲＡＭ（Ｓｔａｔｉｃ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１６、及び出力画像等の記憶用のＳＤＲＡＭ１７から構成されている。ＦＰＧＡ１２は、全方位カメラ３より入力された輝度信号Ｙと色信号Ｃｂ，Ｃｒの形式の画像データを、ＤＳＰ本体１１による処理効率を向上させるために、３２ビットの圧縮輝度信号ＹＣ（４：４：４）の形式の画像データに変換させたり、ＤＳＰ本体１１とパソコン本体部５との間のコマンドの仲介等の処理を行うための回路である。ＤＳＰボード４内における各回路間のデータの入出力には、ローカルバス１８が用いられ、また、ＤＳＰボード４とパソコン本体部５との間における画像等のデータの入出力には、ＰＣＩバス７が用いられる。【００２１】  次に、図３を参照して、上記ＤＳＰ本体１１内における回路の構成について説明する。ＤＳＰ本体１１は、装置全体の制御やＦＩＲフィルター処理等の各種演算処理を行うＣＰＵ２１と、各種のプログラムを格納したプログラム用ＲＡＭ２２と、画像変換用のテーブルを含む各種のデータを格納するデータ用ＲＡＭ２３（記憶手段）と、パソコン本体部５等の外部装置との間でデータの入出力を行うための各種入出力装置を有するペリフェラル２４とから構成されている。ＣＰＵ２１は、請求項における対応画素判定手段及び変換手段としても機能する。また、プログラム用ＲＡＭ２２には、全方位カメラ３で撮影された円環座標系の画像を２次元直交座標系の画像に変換する画像変換プログラムや、全方位カメラ３で撮影された画像を構成する画素を補間する画素補間プログラムが格納されている。このプログラム用ＲＡＭ２２が、請求項における「プロセッサーを制御するためのプログラムを担持した、プロセッサーにより読み取り可能な媒体」に相当する。【００���２】  次に、図４のフローチャートを参照して、上記のＤＳＰボード４において行われる画像処理について説明する。全方位カメラ３で撮影された画像データは、輝度信号Ｙと色信号Ｃ（Ｃｒ及びＣｂ）に分離されてＤＳＰボード４側のＦＰＧＡ１２へ送られる。ＦＰＧＡ１２は、ＤＳＰ本体１１による画像処理の効率を向上させるために、受信した輝度信号Ｙと色信号Ｃｒ，Ｃｂの形式の画像データを、輝度信号Ｙと色信号Ｃｒと色信号Ｃｂとの比率が４：４：４である３２ビットの圧縮輝度信号ＹＣ（４：４：４）の形式に変換して、ＦＩＦＯ１４にセットする（Ｓ１）。ＤＳＰ本体１１は、ＦＩＦＯ１４内に画像データが蓄積されたことを検知すると、この圧縮輝度信号形式の画像データをＦＩＦＯ１４から入力画像用ＳＤＲＡＭ１６に転送すると共に（Ｓ２）、この圧縮輝度信号形式の画像データを、画像変換プログラムにより円環座標系の画像から２次元直交座標系の画像に変換する（Ｓ３）。そして、この変換後の画像に対していわゆるパン処理を行う際に、画素補間プログラムを用いて画像中の画素の補間処理を行う（Ｓ４）。この補間処理における画素修正は、人間の視覚感度性を考慮して、圧縮輝度信号ＹＣ（４：４：４）中の輝度信号Ｙに対してのみ行われ、色信号Ｃｒ，Ｃｂに対しては行われない。上記Ｓ４に示される画素補間処理が終了すると、ＤＳＰ本体１１は、補間処理後の画像データを、ＦＩＦＯ１５とＰＣＩバス７とを介してパソコン本体部５へ転送する（Ｓ５）。そして、ＤＳＰ本体１１及びＦＰＧＡ１２は、全方位カメラ３からの画像信号の入力が終了するまで（Ｓ６でＮＯ）、上記Ｓ１乃至Ｓ５の処理を繰り返す。【００２３】  次に、図５のフローチャートを参照して、上記Ｓ５の処理でパソコン本体部５へ転送された画像データが、パソコン本体部５においてどのように処理されるかについて説明する。パソコン本体部５は、ＤＳＰボード４内のＤＳＰ本体１１から転送された圧縮輝度信号ＹＣ（４：４：４）の形式の画像データを受信すると、受信した画像データをＲＧＢの形式の画像データに変換して（Ｓ１１）、変換後の画像データをモニタ６上に画面表示する（Ｓ１２）。そして、ＤＳＰ本体１１から送信された画像データの受信が終了するまで（Ｓ１３でＮＯ）、上記Ｓ１１及びＳ１２の処理を繰り返す。【００２４】  次に、上記図４中のＳ３に示される円環座標系の画像から２次元直交座標系の画像への変換処理に用いられている画像変換方法について概念的に説明する。いま、図６を参照して円環座標系の画像と２次元直交座標系の画像との関係を考えると、図中の線分ｌと線分ｌ’、及び線分ｍと線分ｍ’とはそれぞれ対応していることが解る。また、円環座標系の画像では円の中心に行くに従って被写体が縦軸方向に圧縮されることになる。本実施形態による画像変換処理では、この圧縮具合を関数で表すと共に、上記の円環座標系の画像上における各線分と２次元直交座標系の画像上における各線分との対応関係を利用することにより、計算量の軽減を行なうことができる。【００２５】  上記の円環座標系の画像上における各線分と２次元直交座標系の画像上における各線分との対応関係の利用について具体的に述べる。先ず、２次元直交座標系の画像上におけ��α＝０の位置に存在する線分上の各画素位置から、順番に円環座標系の画像上における各画素位置への変換を行う。より詳細に説明すると、２次元直交座標系の画像上におけるｘ軸方向の画素位置ｘｉを固定しつつ、ｙ軸方向の画素位置ｙｉをｙｉ＝０〜Ｎと変化させて、２次元直交座標系の画像上の各画素位置（ｘｉ，ｙｉ）に対応する円環座標系の画像上の各画素位置（ｘｊ，ｙｊ）を求める。そして、ｘ軸方向の画素位置ｘｉをｘｉ＝０〜Ｎと変化させて、上記の処理を繰り返すのである。【００２６】  次に、上記の画像変換方法について、詳細に説明する。一般に、人間の視野に入る３次元の写像体は、網膜上で２次元直交座標軸上に展開されている。そこで、まず、２次元直交座標系の画像上の被写体を考えて、その被写体の各画素が円環座標系の画像上のどの画素に対応するかを求める。このとき、人間の目の視点動作を水平軸方向に大地と平行して動くものと仮定して、２次元直交座標系の画像上の各画素が円環座標系の画像上のどの画素に対応しているかを考える。図７は、２次元直交座標系３１の画像３２上の画素位置Ｐが円環座標系３３の画像３４上の画素位置Ｐ’に対応していることを示す。このように、２次元直交座標系３１の画像３２を構成する各画素が、円環座標系３３の画像３４を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系３３の画像３４から２次元直交座標系３１の画像３２への変換を行う。【００２７】  次に、図８乃至図１０を参照して、具体的に２次元直交座標系３１における、ある画素位置が円環座標系３３におけるどの画素位置に対応するかについて説明する。図８に示されるｙ軸、ｘ軸、直線ｙ＝ｍ２、及び直線ｘ＝ｎ１で囲まれた長方形３５上に被写体３６が投影されているものとし、また、図８中の画素位置Ｐ（ｘ０，ｙ０）は、図９中の円環座標系３３における画素位置Ｐ’（ｘ０，ｙ０）と対応しているものとする。直交座標系３１上における被写体３６のｘ軸方向の中点ｎ（図８中の点Ａ及び点Ｃに相当）に対しての画素位置Ｐ（ｘ０，ｙ０）の開き角φを求める。ここで、図８中の点Ｏに視点を置いて直角三角形ＯＡＣを角φ度回転させたときの直角三角形をＯＡ’Ｃ’として、この直角三角形ＯＡ’Ｃ’を含む平面が直線ｙ＝ｍ２と交わる点が求める画素位置Ｐ（ｘ０，ｙ０）であるとする。この２次元直交座標系３１上の画素位置Ｐ（ｘ０，ｙ０）の画素が図９に示される円環座標系３３上のどの位置に写像されるかを以下のように計算する。【００２８】  まず、図１０に示される円環座標系３３における弧長ｓを下記の式（７）で求める。
2004102479.tif 000007
2004102479.tif 000008
【００２９】  そして、下記の式（８）のように、上記式（７）で求めた弧長ｓに対応した開き角（式（８）のｓ／Ｒで表される角度）にプログラマーが任意に指定するオフセットであるＢｉａｓを加えて、図９に示される円環座標系３３における開き角φ１を求める。
2004102479.tif 000009
【００３０】  次に、上記のφ１を用いて円環座標系３３における画素位置Ｐ’（ｘ０，ｙ０）を求めるには、図９に示される長さｒを求めなければならない。そこで、図８と図９との対応関係を考慮して、下記の式（９）を用いてｒを求める。ただし、下記の式中のｄは、見かけ上の高さ方向の調整用のパラメータである。
2004102479.tif 000010
【００３１】  上記の式（７）〜（９）より長さｒを求めた上で、図９中の円環座標系３３における画素位置Ｐ’（ｘ０，ｙ０）を、下記の式（１０）〜（１２）を用いて求める。
2004102479.tif 000011
【００３２】  上記のアルゴリズムを用いることにより、図８に示される２次元直交座標系３１における全ての点を、図９に示される円環座標系３３における画素と対応付けることができる。この対応関係に基づき、円環座標系３３の画像を構成する各画素を２次元直交座標系３１の画像を構成する各画素に対応させて変換する。これにより、円環座標系３３の画像を構成する１つの画素が２次元直交座標系３１の画像を構成する複数の画素に対応することはあっても、従来のように円環座標系３３の画像の画素を２次元直交座標系３１の画像の画素に単純に１対１で変換した場合と異なり、円環座標系３３の画像上の中心部の画素が少ないことに起因する２次元直交座標系３１の画像上における画素の欠落を防止することができる。また、従来のように、双曲面ミラーの双曲線の傾きに基づき（カメラの魚眼レンズ及び双曲面ミラーの形状が数学上の２葉双曲面の形状と同じであると仮定して）、円環座標系の画像を２次元直交座標系の画像に変換した場合には、カメラの魚眼レンズや双曲面ミラーの物理的な形状を数学上の２葉双曲面の形状に合わせることが難しいことから、図１１に示されるように、２次元直交座標系の画像上における左右両端部には画像の歪曲が生じていた。しかし、上記の画像変換方法を用いることにより、図１２に示されるように、２次元直交座標系３１の画像３２上における左右両端部の歪曲をなくすことができる。【００３３】  次に、上記の画像変換処理に採用されている演算の高速化を図るための工夫について説明する。上記の画像変換処理では、三角関数の値のテーブルを用いて、上記の画像変換処理におけるＡｒｃｔａｎ，ｓｉｎ，ｃｏｓの演算を避けることにより、画像変換処理に要する時間の大幅な短縮を行っている。このテーブルは、ＤＳＰ本体１１内のデータ用ＲＡＭ２３に格納されている。このテーブルは、整数型のデータによって構成されており、高速演算処理及びＡＳＩＣ化アルゴリズムに対応したものである。ここで、画像変換及び画素補間の過程で生じる乗算並びに加算が実数型演算である場合の処理速度と整数型演算である場合の処理速度とを比較すると、圧倒的に整数型演算である場合の処理速度の方が早い。従って、上記のように、Ａｒｃｔａｎ，ｓｉｎ，ｃｏｓを含む数式の全体を整数型のデータによって構成されたテーブルを用いて演算することにより、処理時間を短縮することができる。【００３４】  上記のテーブルの作成は、全方位カメラシステム１の初期化時に行うのが一般的であるが、必ずしも実機で行う必要はない。つまり、テーブルを別の機器で作成して、ファイルとして本システムに登録してもよい。また、全方位カメラ３のレンズを変更して、Ｒ，ｌのパラメータが変わった場合でも、テーブルの入れ換えのみで対応することができる。【００３５】  上述したように、本実施形態の画像変換プログラム、及びその画像変換方法によれば、２次元直交座標系３１の画像を構成する各画素が、円環座標系３３の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系３３の画像を構成する各画素を２次元直交座標系３１の画像を構成する各画素に対応させて変換するようにした。これにより、従来の���うに双曲面ミラーの双曲線の傾きに基づき円環座標系３３の画像を２次元直交座標系３１の画像に変換した場合に生じる左右両端の画像の歪曲をなくすことができる。また、上記のように、２次元直交座標系３１の画像を構成する各画素が、円環座標系３３の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系３３から２次元直交座標系３１への画像変換を行うようにしたことにより、円環座標系３３の画像を構成する１つの画素が２次元直交座標系３１の画像を構成する複数の画素に対応することはあっても、従来のように円環座標系３３の画像の画素を２次元直交座標系３１の画像の画素に１対１で変換した場合と異なり、円環座標系３３の画像上の中心部の画素が少ないことに起因する２次元直交座標系３１の画像上における画素の欠落を防止することができる。【００３６】  なお、本発明は、上記実施形態に限られるものではなく、様々な変形が可能である。例えば、本実施形態では、画像変換プログラムをＤＳＰ本体１１により実行したが、これらのプログラムを実行するためのプロセッサーは、これに限られず、例えばパソコン本体部であってもよい。また、データ用ＲＡＭ２３内の三角関数の値のテーブルに格納されるデータは、整数型に限られず、実数型であってもよい。【００３７】  本願は日本国特許出願２００３−１３６５０４に基づいており、その内容は、上記特許出願の明細書及び図面を参照することによって結果的に本願発明に合体されるべきものである。【００３８】  また、本願発明は、添付した図面を参照した実施の形態により十分に記載されているけれども、さまざまな変更や変形が可能であることは、この分野の通常の知識を有するものにとって明らかであろう。それゆえ、そのような変更及び変形は、本願発明の範囲を逸脱するものではなく、本願発明の範囲に含まれると解釈されるべきである。
産業上の利用分野【００３９】  以上説明したように、本発明によれば、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させて変換するようにした。これにより、従来のように双曲面ミラーの双曲線の傾きに基づき円環座標系の画像を２次元直交座標系の画像に変換した場合に生じていた左右両端の画像の歪曲をなくすことができる。また、上記のように、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系から２次元直交座標系への画像変換を行うようにしたことにより、従来のように円環座標系の画像の画素を２次元直交座標系の画像の画素に１対１で変換した場合と異なり、円環座標系の画像上の中心部の画素が少ないことに起因する２次元直交座標系の画像上における画素の欠落を防止することができる。
【図１】
2004102479.tif 000012
【図２】
2004102479.tif 000013
【図３】
2004102479.tif 000014
【図４】
2004102479.tif 000015
【図５】
2004102479.tif 000016
【図６】
2004102479.tif 000017
【図７】
2004102479.tif 000018
【図８】
2004102479.tif 000019
【図９】
2004102479.tif 000020
【図１０】
2004102479.tif 000021
【図１１】
2004102479.tif 000022
【図１２】
2004102479.tif 000023
【図１３】
2004102479.tif 000024
【図１４】
2004102479.tif 000025
【手続補正書】
【提出日】平成17年3月14日(2005.3.14)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２
【補正方法】変更
【補正の内容】
【請求項２】
前記対応画素判定手段は、
前記全方位撮影手段の視点中心Ｏと２次元直交座標の原点とみなされる位置Ａとの間の距離ｌを算出する第１の距離算出手段と、
前記第１の距離算出手段により算出された距離ｌと、前記２次元直交座標系の画像を構成する各画素（以下、２次元直交座標系の各画素と略す）の座標とに基づいて、前記２次元直交座標系の各画素に対応する前記円環座標系の画像の画素（以下、円環座標系の画素と略す）の位置から前記円環座標の中心までの距離Ｒ’を算出する第２の距離算出手段と、
前記円環座標系の画素の位置の開き角を算出する開き角算出手段と、
前記第２の距離算出手段により算出された距離Ｒ’と、前記開き角算出手段により算出された開き角とに基づいて、前記２次元直交座標系の各画素が、前記円環座標系の各画素のうち、どの画素に対応するかを判定する判定手段とから構成される請求項１に記載の画像変換プログラム。
【手続補正００２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
前記判定するステップは、
前記全方位撮影手段の視点中心Ｏと２次元直交座標の原点とみなされる位置Ａとの間の距離ｌを算出するステップと、
前記距離ｌと、前記２次元直交座標系の画像を構成する各画素（以下、２次元直交座標系の各画素と略す）の座標に基づいて、前記２次元直交座標系の各画素に対応する前記円環座標系の画像の画素（以下、円環座標系の画素と略す）の位置から前記円環座標の中心までの距離Ｒ’を算出するステップと、
前記円環座標系の画素の位置の開き角を算出するステップと、
前記距離Ｒ’と前記開き角とに基づいて、前記２次元直交座標系の各画素が、前記円環座標系の各画素のうち、どの画素に対応するかを判定するステップとを含む請求項３に記載の画像変換方法。
【手続補正００３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項６
【補正方法】変更
【補正の内容】
【請求項６】
前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する処理は、
前記全方位撮影手段の視点中心Ｏと２次元直交座標の原点とみなされる位置Ａとの間の距離ｌを算出する処理と、
前記距離ｌと、前記２次元直交座標系の画像を構成する各画素（以下、２次元直交座標系の各画素と略す）の座標に基づいて、前記２次元直交座標系の各画素に対応する前記円環座標系の画像の画素（以下、円環座標系の画素と略す）の位置から前記円環座標の中心までの距離Ｒ’を算出する処理と、
前記円環座標系の画素の位置の開き角を算出する処理と、
前記距離Ｒ’と前記開き角とに基づいて、前記２次元直交座標系の各画素が、前記円環座標系の各画素のうち、どの画素に対応するかを判定する処理とを含む請求項５の方法。
【手続補正００４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する手順は、
前記全方位撮影手段の視点中心Ｏと２次元直交座標の原点とみなされる位置Ａとの間の距離ｌを算出する手順と、
前記距離ｌと、前記２次元直交座標系の画像を構成する各画素（以下、２次元直交座標系の各画素と略す）の座標に基づいて、前記２次元直交座標系の各画素に対応する前記円環座標系の画像の画素（以下、円環座標系の画素と略す）の位置から前記円環座標の中心までの距離Ｒ’を算出する手順と、
前記円環座標系の画素の位置の開き角を算出する手順と、
前記距離Ｒ’と前記開き角とに基づいて、前記２次元直交座標系の各画素が、前記円環座標系の各画素のうち、どの画素に対応するかを判定する手順とを含む請求項７の媒体。
【手続補正００５】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
て、その判定結果に基づき円環座標系から２次元直交座標系への画像変換を行うようにしたことにより、円環座標系の画像を構成する１つの画素が２次元直交座標系の画像を構成する複数の画素に対応することはあっても、従来のように円環座標系の画像の画素を２次元直交座標系の画像の画素に１対１で変換した場合と異なり、円環座標系の画像上の中心部の画素が少ないことに起因する２次元直交座標系の画像上における画素の欠落を防止することができる。
【００１７】  望ましくは、前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する処理は、前記全方位撮影手段の視点中心Ｏと２次元直交座標の原点とみなされる位置Ａとの間の距離ｌを算出する処理と、前記距離ｌと、前記２次元直交座標系の画像を構成する各画素（以下、２次元直交座標系の各画素と略す）の座標に基づいて、前記２次元直交座標系の各画素に対応する前記円環座標系の画像の画素（以下、円環座標系の画素と略す）の位置から前記円環座標の中心までの距離Ｒ’を算出する処理と、前記円環座標系の画素の位置の開き角を算出する処理と、前記距離Ｒ’と前記開き角とに基づいて、前記２次元直交座標系の各画素が、前記円環座標系の各画素のうち、どの画素に対応するかを判定する処理とを含む。
【図面の簡単な説明】
【００１８】［図１］本発明の一実施形態に係る画素補間プログラムを格納したＤＳＰボードを搭載したパソコンと全方位カメラとから構成される全方位カメラシステムの構成図。
［図２］上記ＤＳＰボードの構成図。
［図３］図２中のＤＳＰ本体の構成図。
［図４］上記ＤＳＰボードにおいて行われる画像処理のフローチャート。
［図５］上記ＤＳＰボードから転送された画像データに対してパソコン本体部が行う画像処理のフローチャート。
［図６］上記ＤＳＰボードにおいて行われる２次元直交座標系の画像上の線分と円環座標系の画像上の線分との対応関係を示す図。
［図７］上記ＤＳＰボードにおいて行われる２次元直交座標系の画像上の画素位置に対応する円環座標系の画像上の画素位置を求める処理の説明図。
［図８］上記処理の対象となる２次元直交座標系の画像上の画素位置Ｐを示す図。
［図９］上記処理の対象となる円環座標系の画像上の画素位置Ｐ’を示す図。


【手続補正００６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
素位置ｘｉをｘｉ＝Ｏ〜Ｎと変化させて、上記の処理を繰り返すのである。
【００２６】  次に、上記の画像変換方法について、詳細に説明する。一般に、人間の視野に入る３次元の写像体は、網膜上で２次元直交座標軸上に展開されている。そこで、まず、２次元直交座標系の画像上の被写体を考えて、その被写体の各画素が円環座標系の画像上のどの画素に対応するかを求める。このとき、人間の目の視点動作を水平軸方向に大地と平行して動くものと仮定して、２次元直交座標系の画像上の各画素が円環座標系の画像上のどの画素に対応しているかを考える。図７は、２次元直交座標系３１の画像３２上の画素位置Ｐが円環座標系３３の画像３４上の画素位置Ｐ’に対応していることを示す。このように、２次元直交座標系３１の画像３２を構成する各画素が、円環座標系３３の画像３４を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系３３の画像３４から２次元直交座標系３１の画像３２への変換を行う。
【００２７】  次に、図８乃至図１０を参照して、具体的に２次元直交座標系３１における、ある画素位置が円環座標系３３におけるどの画素位置に対応するかについて説明する。図８に示されるｙ軸、ｘ軸、直線ｙ＝ｍ２、及び直線ｘ＝ｎ１で囲まれた長方形３５上に被写体３６が投影されているものとし、また、図８中の画素位置Ｐ（ｘ０，ｙ０）は、図９中の円環座標系３３における画素位置Ｐ’（ｘ０，ｙ０）と対応しているものとする。直交座標系３１上における被写体３６のｘ軸方向の中点ｎ（図８中の点Ａ（請求の範囲第２、４、６、８項における「２次元直交座標の原点とみなされる位置」に相当）及び点Ｃに相当）に対しての画素位置Ｐ（ｘ０，ｙ０）の開き角φを求める。ここで、図８中の点Ｏ（請求の範囲第２、４、６、８項における「全方位撮影手段の視点中心」に相当）に視点を置いて直角三角形ＯＡＣを角φ度回転させたときの直角三角形をＯＡ’Ｃ’として、この直角三角形ＯＡ’Ｃ’を含む平面が直線ｙ＝ｍ２と交わる点が求める画素位置Ｐ（ｘ０，ｙ０）であるとする。この２次元直交座標系３１上の画素位置Ｐ（ｘ０，ｙ０）の画素が図９に示される円環座標系３３上のどの位置に写像されるかを以下のように計算する。
【００２８】  まず、図１０に示される円環座標系３３における弧長ｓを下記の式（７）で求める。
2004102479.tif 000026
【国際調査報告】
2004102479.tif 000027
2004102479.tif 000028
2004102479.tif 000029
2004102479.tif 000030