(57)【要約】【課題】幾何変換を行う画像処理において、滑らかな補間を高速な計算により行う。【解決手段】画像処理装置１０９は、第１の射影方式で取得された原画像に対して格子点座標の座標変換処理及び画素値の補間処理を行って第２の射影方式による変換画像を生成する。そして、該装置は、原画像の格子点座標に対して、第１及び第２の射影方式間の幾何変換関係に基づいた座標変換を行う座標変換手段１０９５と、座標変換手段による変換後の格子点座標に基づいて、補間手法を切り換えて補間処理を行う補間手段１０９１，１０９２とを有する。【選択図】図１
2009064225.tif 000002
【特許請求の範囲】
【請求項１】
第１の射影方式で取得された原画像に対して格子点座標の座標変換処理及び画素値の補間処理を行って第２の射影方式による変換画像を生成する画像処理装置であって、
前記原画像の格子点座標に対して、前記第１及び第２の射影方式間の幾何変換関係に基づいた座標変換を行う座標変換手段と、
前記座標変換手段による変換後の格子点座標に基づいて、補間手法を切り換えて前記補間処理を行う補間手段とを有することを特徴とする画像処理装置。
【請求項２】
前記座標変換手段は、前記原画像の取得に用いられた撮像光学系に関する情報のうち、焦点距離、射影方式、歪曲収差及び色収差のうち少なくとも１つを用いて前記座標変換を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の射影方式は、非透視投影方式であり、
前記第２の射影方式は、透視投影方式であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１の射影方式は、魚眼射影方式であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記補間手段は、前記座標変換手段による変換後の格子点座標に基づいて、前記変換画像のうち、前記原画像の画素値を拡大して前記変換画像の画素値を算出する領域と前記原画像の画素値を縮小して前記変換画像の画素値を算出する領域とを表す補間マップを作成することを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
前記補間手段は、前記座標変換手段による変換前の座標系での格子点座標の画素値を用いて補間処理を行う補間手法と、前記座標変換手段による変換後の座標系での格子点座標の画素値を用いて補間処理を行う補間手法とを切り換えることを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
【請求項７】
請求項１から６のいずれか１つに記載の画像処理装置と、
前記第１の射影方式の撮像光学系を用いて前記原画像を取得する撮像部とを有することを特徴とする撮像装置。
【請求項８】
請求項５に記載の画像処理装置と、
前記撮像光学系の焦点距離が可変であり、
前記第１の射影方式の撮像光学系を用いて前記原画像を取得する撮像部とを有し、
前記撮像光学系は、焦点距離が可変であり、
前記補間手段は、前記撮像光学系の焦点距離に応じた前記補間マップを作成することを特徴とする撮像装置。
【請求項９】
第１の射影方式で取得された原画像に対して格子点座標の座標変換処理及び画素値の補間処理を行って第２の射影方式による変換画像を生成する画像処理方法であって、
前記原画像の格子点座標に対して、前記第１及び第２の射影方式間の幾何変換関係に基づいた座標変換を行う座標変換ステップと、
前記座標変換手段による変換後の格子点座標に基づいて、補間手法を切り換えて前記補間処理を行う補間ステップとを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、幾何変換手法を用いて画像処理を行う画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
魚眼光学系や全方位光学系等に代表される超広視野光学系は、監視・遠隔操作、ＴＶ会議、医療用内視鏡等の様々な分野で利用されている。その特徴は、画角１８０度以上の超広視野像を特殊な射影方式により撮像面の有限領域に投影可能な点である。これにより、一般的な透視投影方式で撮像する撮像装置では理論的に撮像できないような超広視野像を撮像できる。
【０００３】
ただし、超広視野像を撮像するための魚眼光学系等の特殊な射影方式の光学系は、撮像される像の被写体形状を歪ませるため、人間が観察する観点では本来の被写体形状との相違が著しい。このため、超広視野像を透視投影方式で撮像したように幾何変換することが一般的に行われている。その例を、図１０を用いて示す。
【０００４】
図１０の（ａ）図は被写体を示し、（ｂ）図は被写体を魚眼光学系を用いて撮像した魚眼像を示している。また、（ｃ）図は、魚眼像の一部である幾何変換領域１００１を示している。さらに、（ｄ）図は、魚眼像における上記幾何変換領域１００１を、透視投影方式で撮像したような透視投影像に幾何変換をした像を示している。
【０００５】
以上のとおり、被写体である格子模様（ａ）は、魚眼光学系を介して撮像されることで歪み（ｂ）、それを幾何変換することで（ｃ）、本来の被写体の持つ形状（ｄ）を視認することができる。
【０００６】
このような幾何変換を行う工程には、魚眼像の画素位置の座標を変換する工程と、画素が有する値（以下、画素値という）を算出する補間工程とを含む。これらの工程の概略を図８を用いて説明する。
【０００７】
図８の（ａ）図は、変換前座標系としての魚眼像座標系において、魚眼像における標本化される格子点を表している。各格子点位置に対応して画素値が存在する。図８の（ｂ）図では、変換後座標系において、透視投影像に幾何変換されたときの格子点を表している。
【０００８】
魚眼像から透視投影像を幾何変換により求める場合は、次のような工程により変換を行う。まず、図８の（ｂ）図に示す座標８０１の画素値を算出するために、座標８０１を（ａ）図に示す魚眼像座標系の座標に変換する。この結果、座標８０１は魚眼像の座標８０２に対応する関係になる。これは、後述するように、光学系の魚眼射影方式から透視投影方式への幾何変換関係から算出される。
【０００９】
次に、魚眼像の座標８０２の画素値を算出するために、座標８０２の周辺領域８０３の各格子点位置の画素値に適当な重みを掛けて算出する補間処理を行う。このとき、補間方法としては、非特許文献１にて開示された、共一次内挿法、共三次内挿法、３次たたみ込み内挿法等を用いる。この一連の流れを透視投影像の全ての格子位置について行うことで、魚眼像から透視投影像を得ることができる。
【００１０】
しかし、上述のように魚眼像から透視投影像へ幾何変換を行う場合、魚眼像の周辺部は光学系によって歪んで撮像されているため、上述したような補間を行うと滑らかな補間を実現できない。この理由について図６を用いて説明する。
【００１１】
図６には、魚眼像６０１と透視投影像６０２を示しており、それぞれにおける中央領域６０１１，６０２１を拡大した図を（ａ）、（ｂ）に示す。また、周辺領域６０１２、６０２２を拡大した図を（ｃ）、（ｄ）に示す。それぞれの拡大図には、格子点座標が表されている。
【００１２】
魚眼像の中央部に注目すると、中央領域（ａ）の魚眼像の格子点●は上下左右等間隔に配置されており、それらを透視投影像に変換した場合も、（ｂ）に示すように、間隔は縮小されるもののほぼ等間隔な格子点に変換される。
【００１３】
一方、魚眼像の周辺領域（ｃ）の格子点●を透視投影像に変換した場合は、（ｄ）に示すように不等間隔な格子点に変換される。このことは、魚眼像の周辺領域を前述した魚眼像座標系で補間した場合は、本来の正しい形状を無視した補間が行われることを意味する。この結果、滑らかな補間結果を得ることができない。
【００１４】
このような問題を解決する手法としては、図９に示すように、魚眼像の格子点上で画素値の補間を行わず、幾何変換後の透視投影像の格子点位置で補間を行うことが考えられる。図９において、図（ａ）は魚眼像の格子点座標を表しており、図（ｂ）は透視投影像の格子点座標を表している。図（ａ）の格子点座標を図（ｂ）のように座標変換し、この座標変換後の座標系を基準として、算出したい格子点９０１をその周辺の格子点●の画素値を用いて補間する。
【００１５】
このような補間を実現する手法として、特許文献１にて開示された最小二乗法を用いる方法や、非特許文献２にて開示された重調和スプライン関数を用いる方法等がある。これらの手法を用いることで、自然な補間結果を得ることができる。これらのいずれの手法においても、図９の（ｂ）図に示すように不等間隔に配置されている座標位置の値を補間して算出することが可能である。この結果、魚眼像から透視投影像への幾何変換といった複雑な幾何変換においても自然な補間結果を得ることができる。
【非特許文献１】高木幹雄・下田陽久監修、“新編  画像解析ハンドブック”、東京大学出版会、2004、pp.1360~1373 6.3.2  〔画像データの内挿〕
【非特許文献２】Sandwell, David T., "Biharmonic Spline Interpolation of GEOS-3 and SEASAT Altimeter Data", Geophysical Research Letters, 2, 139-142,1987
【特許文献１】特開２００５−１２２６１３号公報（段落００５６〜００８６及び図２）
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、特許文献１、非特許文献２にて開示された手法を、魚眼像から透視投影像への幾何変換を行う場合に全ての領域の補間に適用すると、非特許文献１にて開示された一般的な補間手法を用いる場合に比べて、非常に多くの計算量が必要である。このため、計算に多大な時間を要する。
【００１７】
本発明は、幾何変換を行う画像処理において、滑らかな補間を高速な計算により行うことができる画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１８】
本発明の一側面としての画像処理装置は、第１の射影方式で取得された原画像に対して格子点座標の座標変換処理及び画素値の補間処理を行って第２の射影方式による変換画像を生成する。そして、該装置は、原画像の格子点座標に対して、第１及び第２の射影方式間の幾何変換関係に基づいた座標変換を行う座標変換手段と、座標変換手段による変換後の格子点座標に基づいて、補間手法を切り換えて補間処理を行う補間手段とを有することを特徴とする。
【００１９】
また、本発明の他の一側面としての画像処理方法は、第１の射影方式で取得された原画像に対して格子点座標の座標変換処理及び画素値の補間処理を行って第２の射影方式による変換画像を生成する方法である。該方法は、原画像の格子点座標に対して、第１及び第２の射影方式間の幾何変換関係に基づいた座標変換を行う座標変換ステップと、座標変換手段による変換後の格子点座標に基づいて、補間手法を切り換えて補間処理を行う補間ステップとを有することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、幾何変換による画像処理、例えば魚眼像から透視投影像への複雑な幾何変換を行うような画像処理においても、滑らかな変換画像を高速な処理によって得ることができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２２】
図１には、本発明の実施例である画像処理装置を含む撮像装置１の構成を示す。
【００２３】
図１において、撮像装置１は、デジタルスチルカメラやビデオカメラであり、不図示の被写体の光学像を撮像素子１０２に投影する撮像レンズ１００、画像形成回路１０３、画像処理装置としての画像変換回路１０９を含む。撮像素子１０２及び画像形成回路１０３により撮像部が構成される。また、撮像装置１は、システム制御回路１０８、メモリ制御回路１１２及び映像出力部１１３等を含む。
【００２４】
撮像レンズ１００は、撮像光学系として、被写体の魚眼像を形成する魚眼光学系を有し該魚眼像を撮像素子１０２上に投影する。魚眼光学系の射影方式（魚眼射影方式）は、後述するように非透視投影方式が用いられる。なお、本実施例では、固定焦点タイプの撮像レンズ１００を用いている。１０１は絞りやシャッタ等を含む露光量制御部材である。
【００２５】
被写体から撮像レンズ１００に入射した光は、露光量制御部材１０１を介して撮像素子１０２に到達する。
【００２６】
撮像素子１０２は、その受光面（撮像面）に形成された被写体像（魚眼像）を電気信号に変換して出力する光電変換素子であり、ＣＣＤセンサやＣＭＯＳセンサ等のイメージ・センサにより構成される。
【００２７】
画像形成回路１０３は、撮像素子１０２からのアナログ出力信号をデジタル信号に変換して魚眼像のデジタル画像である原画像を生成（取得）する。画像形成回路１０３は、アナログ／デジタル変換回路１０３１、オートゲイン制御回路１０３２、オートホワイトバランス回路１０３３の他、不図示の画素補間処理や色変換処理等の回路によって構成される。
【００２８】
１０６は絞りやシャッタ等を含む露光量制御部材１０１を制御する露光制御部である。１０７は撮像レンズ１００のフォーカシングを制御するＡＦ制御部である。露光制御部１０６及びＡＦ制御部１０７は、例えば、ＴＴＬ方式で制御される。
【００２９】
システム制御回路１０８は、撮像装置１全体の動作の制御を司る。１０８１はシステム制御回路１０８での動作制御用のデータ及び処理プログラム等を記録するＦＬＡＳＨ  ＲＯＭ等を用いたメモリである。１０８２は各種調整値等の情報を記憶する電気的に消去及び記録が可能なＥＥＰＲＯＭ等の不揮発性メモリである。
【００３０】
画像変換回路１０９は、画像形成回路１０３で生成された魚眼像（原画像）を、一般的な透視投影像に変換する。１１０は画像形成回路１０３で生成された魚眼像を記憶・保持する第１フレームメモリであり、１１１は魚眼像に対して画像変換回路１０９で画像変換処理を行って生成された透視投影像を、一時的に記憶・保持する第２フレームメモリである。
【００３１】
メモリ制御回路１１２は、フレームメモリ１１０、１１１に入出力される画像信号を制御する。
【００３２】
画像出力部１１３は、画像変換回路１０９で生成された透視投影像（変換画像）を、不図示の表示デバイスに表示したり不図示の記録媒体（半導体メモリや光ディスク等）に記録したりする。
【００３３】
次に、画像変換回路１０９の構成について説明する。１０９１は画像形成回路１０３で生成された原画像としての魚眼像を透視投影像に幾何変換する際に、所定の位置の画素値を補間して算出する補間回路である。１０９２は補間回路１０９１で補間する手法を後述するように切り換えるための補間マップを作成する補間マップ作成回路である。補間回路１０９１及び補間マップ作成回路１０９２により、補間手段が構成される。
【００３４】
１０９４は魚眼像を透視投影像に幾何変換する際の座標変換を行う座標変換回路（座標変換手段）である。１０９５は一時記憶用メモリ回路であり、１０９６は電気的に消去及び記録可能は不揮発性メモリである。１０９３は、画像変換回路１０９内の各回路を制御する制御部であり、ＭＰＵ等で構成される。
【００３５】
次に、撮像装置１の動作（画像処理方法）について、図２〜図５に示すフローチャートを用いて説明する。この動作は、システム制御回路１０８や画像変換回路１０９内に格納されたコンピュータプログラムに従って実行される。このことは、後述する他の実施例でも同じである。
【００３６】
図２には、撮像装置１を用いて被写体像（魚眼像：原画像）を撮像（取得）し、該魚眼像から透視投影像に変換された画像（変換画像）が、画像出力部１１３から出力されるまでの処理を示す。
【００３７】
図２では、不図示のレリーズボタンが押下され、システム制御回路１０８がＡＦ制御部１０７を通じて撮像レンズ１００を動作させ、合焦対象である被写体に合焦した時点等、撮像装置１の撮像準備動作が完了した時点から処理が開始される。
【００３８】
ステップＳ２０１では、システム制御回路１０８は、撮像素子１０２を動作させて被写体の魚眼像を光電変換させる。これにより、被写体輝度に応じたアナログ信号を生成させる。
【００３９】
ステップＳ２０２では、システム制御回路１０８は、画像形成回路１０３に、ステップＳ２０１で生成されたアナログ画像信号をデジタル画像に変換させ、該デジタル画像を第１フレームメモリ１１０に記録・保持させる。
【００４０】
ステップＳ２０３では、システム制御回路１０８は、画像変換回路１０９に、ステップＳ２０２で第１フレームメモリ１１０に記憶・保持された魚眼像を一般的な透視投影像に変換させる。
【００４１】
ステップＳ２０４では、システム制御回路１０８は、ステップＳ２０３において変換された透視投影像を画像出力部１１３から不図示の表示デバイス又は記録媒体に出力させる。
【００４２】
図３のフローチャートには、図２のステップＳ２０３における画像変換回路１０９による画像変換処理の詳細を示している。
【００４３】
ステップＳ３０１では、画像変換回路１０９の制御部１０９３は、後述する補間マップが存在するか否かを判定し、存在する場合はステップＳ３０４へ、存在しない場合はステップＳ３０２に進む。
【００４４】
ステップＳ３０２では、補間マップ作成回路１０９２は、補間マップを作成する際に必要な光学情報、すなわち撮像光学系に関する情報を取得する。光学情報は、撮像光学系の射影方式やそれに付随する定数、撮像光学系の歪曲収差や色収差のうち少なくとも１つを含む。
【００４５】
ステップＳ３０３では、補間マップ作成回路１０９２は、ステップＳ３０２で取得した情報に基づいて補間マップを作成する。
【００４６】
そして、ステップＳ３０４では、補間回路１０９１及び座標変換回路１０９５は、魚眼像から透視投影像への幾何変換処理を行う。
【００４７】
図４のフローチャート及び図１１を用いて、ステップＳ３０３での補間マップの作成について説明する。
【００４８】
ステップＳ４０１では、補間マップ作成回路１０９２は、魚眼像の格子点座標を透視投影像の座標位置に座標変換する。ここで、光学系の射影方式間の幾何変換関係について、図１１を用いて説明する。
【００４９】
図１１は光学系を介して撮像素子１０２に結像する際の射影方式と像高との関係を表している。ここでは、撮像される被写体は、半球面１１０１上に存在し、光学系は光学中心１１０２にあるとする。
【００５０】
入射角θ（１１０４）で光学系に入射した光線１１０３は、その光学系を介して焦点距離１１０５だけ離れた画像面１１０６中の像点１１０８に像を結ぶ。光線１１０３は、光学系中心１１０２を含むＸＹ平面上で見ると、Ｘ軸に対して角度φ（方位角）だけ傾いている。像点１１０８は、画像面１１０６の中心（画像中心）１１０７から像高１１０９だけ離れている。像高１１０９は、光学系の射影方式によって異なる。
【００５１】
ここで、焦点距離をｆ、像高ｈとして射影方式を表す関数をＰ（θ）とすると、
ｈ＝ｆ×Ｐ（θ）
と表すことができる。透視投影方式の場合は、
Ｐ（θ）＝ｆ×ｔａｎ（θ）
である。
【００５２】
また、魚眼光学系においては、複数の射影方式が存在し、例えば、正射影方式では、
Ｐ（θ）＝ｆ×ｓｉｎ（θ）、
等距離射影方式では、
Ｐ（θ）＝ｆ×θ
となる。その他、魚眼光学系には、等立体角射影方式のものや、双曲面ミラーを有するもの等もある。
【００５３】
次に、魚眼像から透視投影像への幾何変換について説明する。なお、添え字ｆが付されている変数は魚眼像における変数を表しており、添え字ｐ付されている変数は透視投影像における変数を表している。また、添え字ｆ→ｐ及びｐ→ｆが付されている変数はそれぞれ、魚眼像から透視投影像への幾何変換及びその逆の変換を表している。
【００５４】
画像面１１０６の座標系において、画像中心１１０７を原点として考えると、像点１１０８（ｘｆ，ｙｆ）の像高１１０９は、
ｈｆ＝ＳＱＲＴ（ｘｆ２＋ｙｆ２）
（但し、ＳＱＲＴはルートの意味）
と表すことができる。また、方位角φ１１０４は、
φ＝ａｒｃｔａｎ（ｙｆ／ｘｆ）
と表すことができる。
【００５５】
魚眼射影方式（第１の射影方式）をＰｆ(θ)とすると、光線１１０３の入射角θ１１０４は、
θ＝Ｐｆ−１（ｈｆ）
で算出される。ここで、Ｐｆ−１は魚眼射影方式の逆関数であり、例えば、
Ｐｆ（θ）＝ｆｆ×ｓｉｎθ
の場合は、Ｐｆ−１は逆正弦関数となる。
【００５６】
このように算出された光線１１０３の入射角θ１１０４を用いて、透視投影方式（第２の射影方式）により得られる透視投影像への投影座標を算出する。
【００５７】
まず、像高は、
ｈｆ→ｐ＝ｆｐ×ｔａｎ（θ）
で算出される。また、投影座標は、先に算出された方位角φを用いて次式により算出される。
【００５８】
ｘｆ→ｐ＝ｈｆ→ｐｃｏｓφ
ｙｆ→ｐ＝ｈｆ→ｐｓｉｎφ。
【００５９】
以上の射影方式間（魚眼射影方式と透視投影方式間：第１及び第２の射影方式間）の幾何変換関係に基づいた座標変換処理を魚眼座標の各格子点座標に対して行う。これにより、魚眼像の各格子点座標を透視投影像の格子点座標に変換することができる。なお、ここでは射影方式を定義した関数をそのまま利用するよう記述したが、必ずしもそのように行う必要はない。例えば、像高１１０９に対して多項式近似法を用いて透視投影像の格子点座標を算出するようにしてもよい。
【００６０】
次に、ステップＳ４０２では、補間マップ作成回路１０９２は、ステップＳ４０１で算出した、魚眼像の格子点座標から透視投影像の格子点座標への変換結果（変換後の格子点座標）を用いて、補間マップを作成する。具体的には、変換後の格子点の座標間距離（例えば、上下左右の距離）が１より大きいか１以下か、すなわち魚眼像の画素値データを拡大して画素値を算出する拡大補間領域か、縮小して画素値を補間する縮小補間領域かを表す補間マップを作成する。この補間マップの例を図７に示す。
【００６１】
図７中の７００は、透視投影像での格子点座標で定義された領域であり、その中の中央の領域７０１は、魚眼像の格子点座標から透視投影像の格子点座標に変換した際の座標間距離が１以下となる縮小補間領域を表している。また、周辺の領域７０２は、座標間距離が１より大きくなる拡大補間領域を表している。
【００６２】
このような補間マップは、図１に示した固定焦点タイプの撮像装置の場合は、該撮像装置の工場出荷時に作成して不揮発性メモリ１０９７に記憶しておいたり、起動時に１度のみ作成してメモリ１０９６に記憶しておいたりすればよい。また、ここでは説明を簡単にするため、撮像装置１に光学系に起因する誤差（例えば、光学中心と画像中心のずれ、歪曲収差、色収差）といった要因を考慮せずに補間マップを作成した。しかし、格子点座標変換を行う際に、上記誤差を補正するような格子点座標変換も可能である。
【００６３】
上記補間マップを表現するデータ構造の例を図１２に示す。図１２の（ａ）図に示すデータは、透視投影像の格子点座標と、それが拡大補間領域か縮小補間領域かを表す符合（０と１）と、その透視投影像の画素値を推定する際に利用する周辺の魚眼像の格子点座標を一意に表すインデックス値とにより構成される。このインデックス値は、（ｂ）図に示すように、魚眼像の格子点座標（ｘｆ，ｙｆ）と１対１に定義されており、さらに、この魚眼像の格子点座標を透視投影像の格子点座標に座標変換した（ｘｆ→ｐ，ｙｆ→ｐ）も含まれている。また、インデックス値は、後述する補間手法に応じた格子点座標の個数も含む。このようなデータ構造を採用することにより、後段の補間処理を効率的に行うことが可能となる。
【００６４】
次に、図３のステップＳ３０４で行う幾何変換処理の詳細を、図５のフローチャートを用いて説明する。
【００６５】
まず、ステップＳ５０１では、座標変換回路１０９５は、先に作成されてメモリ１０９６又は不揮発性メモリ１０９７に記憶されている補間マップを読み込む。
【００６６】
次に、ステップＳ５０２では、座標変換回路１０９５は、算出したい透視投影像の格子点座標（ｘｐ，ｙｐ）を設定する。
【００６７】
次に、ステップＳ５０３では、座標変換回路１０９５は、設定された座標の周辺に存在するデータを、先に作成した補間マップから抽出する。すなわち、透視投影像の格子点座標（ｘｐ，ｙｐ）に対応した複数の魚眼像格子点座標を表すインデックス値Ｉｎｄ１，Ｉｎｄ２，…，Ｉｎｄｎを抽出する。
【００６８】
さらに、ステップＳ５０４では、座標変換回路１０９５は、現在の透視投影像の格子点座標が拡大補間領域か縮小補間領域かを前述した符号を用いて判定する。縮小補間領域と判定した場合は、ステップＳ５０５に進む。
【００６９】
ステップＳ５０５では、補間回路１０９１は、従来の補間手法である座標変換前の座標系での格子点座標の画素値を用いた補間手法によって格子点座標（ｘｐ，ｙｐ）の画素値を推定する。
【００７０】
具体的には、まず、Ｉｎｄ１，…，Ｉｎｄｎから魚眼像の格子点座標（ｘｆ，ｙｆ）を逆引きする。
【００７１】
次に、座標変換回路１０９５は、現在の格子点座標（ｘｐ，ｙｐ）を魚眼像の格子点座標に変換して（ｘｐ→ｆ，ｙｐ→ｆ）を算出する。これは、（ｘｆ→ｐ，ｙｆ→ｐ）を算出した演算と逆の工程で演算することで算出することができる。そこで、（ｘｐ→ｆ，ｙｐ→ｆ）における画素値をＩｎｄ１〜Ｉｎｄｎから逆引きされた（ｘｆ，ｙｆ）の画素値から補間して算出する。
【００７２】
この際の補間方法としては、先に述べたように、共一次内挿法、共三次内挿法、３次たたみ込み内挿法等を利用する。
【００７３】
一方、ステップＳ５０４において、現在の透視投影像の格子点座標が拡大補間領域である判定した場合は、ステップＳ５０６において、補間回路１０９１は、座標変換後の座標系での格子点座標の画素値を基準とした補間を行う。すなわち、現在の格子点座標（ｘｐ，ｙｐ）に対応した魚眼像格子点座標のインデックス値Ｉｎｄ１〜Ｉｎｄｎに対応している座標変換後の座標（ｘｆ→ｐ，ｙｆ→ｐ）とそれに対応した画素値とから、格子点座標（ｘｐ、ｙｐ）の画素値を推定する。
【００７４】
この際の補間手法としては、例えば、先に説明した非特許文献２，３や特許文献１にて開示された、不等間隔な格子点座標に対応した補間手法を用いる。
【００７５】
次に、ステップＳ５０７では、座標変換回路１０９５は、全ての透視投影像の格子点座標について画素値を算出したか否かを判定する。算出していない場合は、ステップＳ５０２に戻り、算出が終了した場合は処理を終了する。
【００７６】
このように、本実施例では、幾何変換後の透視投影像の格子点座標に基づいて、その座標が拡大補間領域の座標か縮小補間領域の座標かに応じて補間手法を変更する。これは、拡大補間領域では補間手法の効果が顕著に見られるが、縮小補間領域では補間手法による画質の違いが判別しにくいことを利用したものである。
【００７７】
以上説明したように、本実施例によれば、魚眼像から透視投影像のような幾何変換において、縮小補間領域と拡大補間領域とで補間手法を切り換えることで、高速かつ滑らかな補間処理を実現することができる。
【００７８】
また、格子点座標変換に際して、撮像レンズ１００の光学系に起因する誤差（例えば、光学中心ずれ、歪曲収差及び色収差）も考慮することも可能である。この結果、光学系の誤差も同時に補正した変換画像を得ることも可能となる。
【００７９】
さらに、前述したデータ構造を持つ補間マップを事前に作成することで、より高速で滑らかな幾何変換処理を行うことができる。
【実施例２】
【００８０】
実施例１では、固定焦点タイプの撮像レンズを有する撮像装置について説明したが、本実施例では、可変焦点（ズームレンズ）タイプの撮像レンズを有する場合について説明する。
【００８１】
図１３には、本実施例の撮像装置１３の構成を示している。１３０１はズームレンズとしての撮像レンズであり、撮像光学系としての魚眼ズーム光学系を有する。１３０２は撮像レンズ１３０１のズーム位置（焦点距離）を検出するズーム位置検出回路である。また、１３０３は撮像レンズ１３０１のズーミングを制御するズーム制御部である。
【００８２】
これら以外の構成要素は、実施例１の撮像装置と同じであり、共通する構成要素には実施例１と同じ符号を付す。
【００８３】
図１４のフローチャートには、本実施例の撮像装置１３の動作（画像処理方法）を示している。図１４には、撮像装置１３を用いて被写体像（魚眼像：原画像）を撮像（取得）し、該魚眼像から透視投影像に変換された画像（変換画像）が、画像出力部１１３から出力されるまでの処理を示す。
【００８４】
ここでは、撮像レンズ１３０１としてズームレンズを用いたことによる実施例１の撮像装置の動作と異なる動作（ステップＳ１４０１とステップＳ１４０４）を中心に説明する。
【００８５】
本実施例では、撮像装置１３の電源が投入されたとき（起動時）や不図示のズームスイッチが操作されたときにステップＳ１４０１から処理が開始される。
【００８６】
ステップＳ１４０１では、システム制御回路１０８は、ズーム位置検出回路１３０２を通じて、撮像レンズ１３０１のズーム位置情報を検出する。これにより、前述した図１１における焦点距離１１０５が決定され、撮像レンズ１３０１を介して魚眼像が撮像素子１０２に投影されるときの投影関数Ｐ（θ）が確定される。焦点距離に応じて確定した投影関数Ｐ（θ）に応じて、魚眼像の格子点座標から透視投影像の格子点座標への座標変換の結果が異なり、それに基づいて作成される補間マップも異なる。
【００８７】
なお、この間に不図示のレリーズボタンが押下され、システム制御回路１０８がＡＦ制御部１０７を通じて撮像レンズ１３０１を動作させ、合焦対象である被写体に合焦した（撮像準備動作が完了した）ものとする。
【００８８】
ステップＳ１４０２では、システム制御回路１０８は、撮像素子１０２を動作させて被写体の魚眼像を光電変換させる。これにより、被写体輝度に応じたアナログ信号を生成させる。
【００８９】
ステップＳ１４０３では、システム制御回路１０８は、画像形成回路１０３に、ステップＳ１４０２で生成されたアナログ画像信号をデジタル画像に変換させ、該デジタル画像を第１フレームメモリ１１０に記録・保持させる。
【００９０】
次に、ステップＳ１４０４では、システム制御回路１０８は、画像変換回路１０９に、ステップＳ１４０３で第１フレームメモリ１１０に記憶・保持された魚眼像を透視投影像に変換させる。
【００９１】
ここでは、先に説明したように、撮像レンズ１３０１の焦点距離に応じて補間マップが異なるため、実施例１にて説明した図３のフローチャートにおけるステップＳ３０１での判断基準が変わる。このため、本ステップでは、ズーム位置が変更されたか否かで補間マップを作成するか否かを判断する。すなわち、撮像装置１３の起動時やズーム位置が変更された場合にのみ、ステップＳ３０２及びステップＳ３０３にて補間マップを作成するものとする。
【００９２】
こうして画像変換処理が終了すると、ステップＳ１４０５では、システム制御回路１０８は、変換画像である透視投影像を画像出力部１１３から不図示の表示デバイス又は記録媒体に出力させる。
【００９３】
本実施例によれば、撮像レンズ１３０１がズームレンズである場合にも、魚眼像から透視投影像のような幾何変換において縮小補間領域と拡大補間領域とで補間手法を切り換えることで、高速かつ滑らかな補間処理を実現することができる。
【００９４】
なお、本実施例では、ズーム位置が変更されるごとに補間マップを作成する場合について説明したが、必ずしもそのようにする必要なない。例えば、所定値以上ズーム位置が変更された場合にのみ補間マップを作成するようにしてもよい。
【００９５】
さらに、所定の焦点距離以下の焦点距離が設定されている場合、つまりある程度広角の画角が設定されている場合にのみ補間マップを作成するようにしてもよい。これは、図１５に模式的に示したように、撮像レンズ１３０１がテレ側からワイド側へズームする場合、拡大補間領域が１５０１から１５０２へと増加するからである。
【００９６】
さらに、複数の焦点距離（代表ズーム位置）に対応する複数の補間マップを作成し、ズーム位置に対応する補間マップとして、該ズーム位置に近い代表ズーム位置の補間マップを用いるようにしてもよい。
【００９７】
これらのようにしてズーム位置の変化による補間マップの作成処理を削減することで、処理をより高速化することができる。
【実施例３】
【００９８】
上記各実施例では、撮像装置に画像処理装置としての画像変換回路を内蔵した場合について説明したが、本発明はこれに限らない。
【００９９】
例えば図１６に示すように、撮像装置１６０１で生成した魚眼画像や画像変換処理に必要な情報をパーソナルコンピュータ１６０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。
【０１００】
そして、パーソナルコンピュータ１６０２において、実施例１又は実施例２で説明した画像変換処理を行い、透視投影像を生成する。この場合、パーソナルコンピュータ１６０２が本発明にいう画像処理装置として機能する。
【０１０１】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【０１０２】
例えば、上記各実施例では、魚眼光学系による魚眼射影方式で取得された原画像を透視投影方式で得られる画像に変換する場合について説明した。しかし、本発明は、全方位光学系等の他の超広視野光学系の射影方式により取得された画像を、これとは異なる射影方式で得られる画像に変換する場合にも適用することができる。本発明は、特に、非透視投影方式の射影方式で取得された原画像を透視投影方式で得られる画像に変換する場合に有効である。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施例１である撮像装置の構成を示すブロック図。
【図２】実施例１の撮像装置の動作（撮像〜画像出力）を示すフローチャート。
【図３】実施例１の撮像装置の動作（画像変換処理）を示すフローチャート。
【図４】実施例１の撮像装置の動作（補間マップ作成）を示すフローチャート。
【図５】実施例１の撮像装置における画像変換処理の詳細を示すフローチャート。
【図６】魚眼射影方式における標本点と透視投影方式の標本点の場所による違いの概略を説明する図。
【図７】補間マップを模式的に示した図。
【図８】一般的な座標変換を模式的に説明した図。
【図９】座標変換後の座標を基準とした補間を模式的に説明した図。
【図１０】魚眼像から透視投影像への幾何変換を模式的に説明した図。
【図１１】光学系の射影方式に関する説明図。
【図１２】補間マップのデータ構造例を示す図。
【図１３】本発明の実施例２である撮像装置の構成を示すブロック図。
【図１４】実施例２の撮像装置の動作を示すフローチャート。
【図１５】実施例２におけるズーム位置による補間マップの違いを模式的に示した図。
【図１６】本発明の実施例３である画像処理装置の使用例を示した図。
【符号の説明】
【０１０４】
１，１３，１６０１  撮像装置
１００，１３０１  撮像レンズ
１０１  露光量制御部材
１０２  撮像素子
１０３  画像形成回路
１０８  システム制御回路
１０９  画像変換回路
１１０，１１１  フレームメモリ
１１２  メモリ制御回路
１１３  画像出力部
１６０２  パーソナルコンピュータ
【図１】
2009064225.tif 000003
【図２】
2009064225.tif 000004
【図３】
2009064225.tif 000005
【図４】
2009064225.tif 000006
【図５】
2009064225.tif 000007
【図６】
2009064225.tif 000008
【図７】
2009064225.tif 000009
【図８】
2009064225.tif 000010
【図９】
2009064225.tif 000011
【図１０】
2009064225.tif 000012
【図１１】
2009064225.tif 000013
【図１２】
2009064225.tif 000014
【図１３】
2009064225.tif 000015
【図１４】
2009064225.tif 000016
【図１５】
2009064225.tif 000017
【図１６】
2009064225.tif 000018