(57)【要約】【課題】  魚眼像のぶれ量を効率的に補正すること。【解決手段】  魚眼光学系を用いて撮像された魚眼像の歪みを補正する魚眼像装置は、魚眼像のぶれ量を検出し（Ｓ２０２）、検出されたぶれ量に基づいて魚眼像の周辺部のぶれ量を算出し、その算出結果に基づいて魚眼像の切り出し領域を決定する（Ｓ２０３）。【選択図】  図２
2006295626.tif 000002
【特許請求の範囲】
【請求項１】
魚眼光学系を用いて撮像された魚眼像の歪みを補正する魚眼像処理装置であって、
魚眼像のぶれ量を検出するぶれ解析部と、
前記ぶれ解析部で検出されたぶれ量に基づいて前記魚眼像の周辺部のぶれ量を算出する周辺部ぶれ量算出部と、
前記周辺部ぶれ量算出部の算出結果に基づいて前記魚眼像の切り出し領域を決定する切り出し領域決定部と、
を備えることを特徴とする魚眼像処理装置。
【請求項２】
前記切り出し領域内の魚眼像を出力する画像出力部を備えることを特徴とする請求項１に記載の魚眼像処理装置。
【請求項３】
前記周辺部ぶれ量算出部は、前記魚眼像の中央部で検出されたぶれ量に基づいて前記魚眼像の周辺部のぶれ量を算出することを特徴とする請求項１又は請求項２に記載の魚眼像処理装置。
【請求項４】
前記周辺部ぶれ量算出部は、
射影変換情報に基づいて前記魚眼像から透視投影像を生成する第１の変換部と、
前記射影変換情報に基づいて前記透視投影像を魚眼像に逆変換する第２の変換部と、
を備え、
前記ぶれ解析部は、前記第１の変換部で生成された透視投影像に基づいて魚眼像全体のぶれ量を算出し、
前記第２の変換部は、前記ぶれ解析部で算出された魚眼像全体のぶれ量を前記射影変換情報に基づいて逆投影変換し魚眼像の周辺部のぶれ量を算出することを特徴とする請求項１又は請求項２に記載の魚眼像処理装置。
【請求項５】
前記魚眼光学系はズーム機能を有し、
前記切り出し領域決定部は、前記魚眼光学系の焦点距離の変化に対して非線形的に切り出し領域を変化させることを特徴とする請求項１乃至請求項４のいずれか１項に記載の魚眼像処理装置。
【請求項６】
前記魚眼像は、動画像を含むことを特徴とする請求項１乃至請求項５のいずれか１項に記載の魚眼像処理装置。
【請求項７】
魚眼光学系を用いて魚眼像を撮像する撮像部と、
請求項１乃至請求項６のいずれか１項に記載の魚眼像処理装置と、
を備えることを特徴とする魚眼像撮像装置。
【請求項８】
魚眼光学系を用いて撮像された魚眼像の歪みを補正する魚眼像処理方法であって、
魚眼像のぶれ量を検出する検出工程と、
前記検出工程で検出されたぶれ量に基づいて前記魚眼像の周辺部のぶれ量を算出する算出工程と、
前記算出工程での算出結果に基づいて前記魚眼像の切り出し領域を決定する決定工程と、
を含むことを特徴とする魚眼像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼光学系を用いて撮像された魚眼の歪みを補正する装置及びその方法並びに撮像装置に関する。
【背景技術】
【０００２】
従来、ビデオカメラにおいて手ぶれによる画像ぶれを電気的に補正する手法がある。この手法では、撮像面上に形成された画像の中から実際に記録又は出力する範囲を切り出し領域として選択し、撮像に必要な画素数よりも大きな画素数の撮像素子を使用して、切り出し領域を手ぶれ量に応じて移動させることによって補正を行っている。このため、撮像面を有効利用することができず、解像度の劣化が生じ、出力画像の画角が光学特性に比べて狭角になるという問題がある。
【０００３】
これに対し、例えば、特許文献１では、切り出す画像の位置を移動させることが可能な領域（余裕領域）の大きさをズーム位置に基づいて決定し、撮像面上の切り出し位置を手ぶれ量に基づいて決定している。
【特許文献１】特開平６−２４５１３４号公報（段落番号００１５−００１９、図１、図５及び図６）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１は、画像内でのぶれが一様である透視投影像におけるぶれを補正するものであり、撮影像の被写体形状を歪ませて動画像中に現れる見かけのぶれ量が画像周辺部で圧縮されたように小さくなる特性を持つ魚眼像のぶれを効率的に補正することはできない。
【０００５】
本発明は、上記の問題点に鑑みてなされたものであり、魚眼像のぶれ量を効率的に補正することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の側面は、魚眼光学系を用いて撮像された魚眼像の歪みを補正する魚眼像処理装置に係り、魚眼像のぶれ量を検出するぶれ解析部と、前記ぶれ解析部で検出されたぶれ量に基づいて前記魚眼像の周辺部のぶれ量を算出する周辺部ぶれ量算出部と、前記周辺部ぶれ量算出部の算出結果に基づいて前記魚眼像の切り出し領域を決定する切り出し領域決定部と、を備えることを特徴とする。
【０００７】
本発明の第２の側面は、魚眼像撮像装置に係り、魚眼光学系を用いて魚眼像を撮像する撮像部と、上記の魚眼像処理装置と、を備えることを特徴とする。
【０００８】
本発明の第３の側面は、魚眼光学系を用いて撮像された魚眼像の歪みを補正する魚眼像処理方法に係り、魚眼像のぶれ量を検出する検出工程と、前記検出工程で検出されたぶれ量に基づいて前記魚眼像の周辺部のぶれ量を算出する算出工程と、前記算出工程での算出結果に基づいて前記魚眼像の切り出し領域を決定する決定工程と、を含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、魚眼像のぶれ量を効率的に補正することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の好適な実施の形態について図面を参照して説明するが、本発明は以下に示す実施の形態に限定されない。
（第１の実施形態）
図１は本発明の好適な第１の実施の形態に係る魚眼像撮像装置１００の構成を示す図である。魚眼像撮像装置１００は、魚眼映像を投影する魚眼光学系１０１、撮像部としての撮像素子１０２及び魚眼像処理装置を含む。魚眼像処理装置は、例えば、画像形成回路１０３、フィールドメモリ１０７、１０８、メモリ制御回路１０９、ぶれ解析部１１０、射影変換情報算出部１１３、射影変換部１１５、画像出力部１１６、切り出し部１１８等を備える。
【００１１】
１０３は撮像素子１０２から出力される電気信号を画像処理して映像情報信号を形成する画像形成回路である。画像形成回路１０３は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路１０４、デジタル信号のレベル補正を行うオートゲイン制御回路（ＡＧＣ）１０５、映像の白レベル補正を行うオートホワイトバランス回路（ＡＷＢ）１０６等を含み、デジタル魚眼映像を形成する。
【００１２】
１０７及び１０８は撮像された映像信号を１画面又は複数画面単位で、一時的に記憶・保持するフィールドメモリであり、１０７は画像形成された魚眼映像を記憶・保持するフィールドメモリ１、１０８は後述する魚眼映像の歪み補正処理後の映像を一時的に記憶・保持するフィールドメモリ２である。１０９はフィールドメモリ１０７及び１０８に入出力される映像信号を制御するメモリ制御回路である。１１０は隣接するビデオフィールド間から本装置のぶれの検出と動きの傾向を解析するぶれ解析部であり、ぶれ量検出部１１１とぶれ量解析部１１２で構成される。ぶれ量検出部１１１は、魚眼光学系１０１を用いて撮像された魚眼像のぶれ量を検出する。ぶれ量解析部１１２は、ぶれ量検出部１１１で検出されたぶれ量に基づいて魚眼像全体のぶれ量を算出する。
【００１３】
１１３は魚眼像と透視投影像との間で射影変換を行う為の変換式をＣＰＵにより生成する射影変換情報算出部、１１４は魚眼像での防振の為の切り出し領域をＣＰＵにより算出する切り出し領域決定部、１１５は魚眼像での切り出し領域を透視投影像に射影変換して手ぶれ補正画像を生成する射影変換部、１１６は射影変換後にぶれ補正を行った映像を不図示の映像出力装置に表示又は記録する為の画像出力部で、１１７はぶれ解析部１１０からの出力に基づいて魚眼像の周辺部のぶれ量を算出する周辺部ぶれ量算出部である。切り出し部１１８は、切り出し領域決定部１１４及び周辺部ぶれ量算出部１１７を含む。魚眼像の周辺部のぶれ量の算出方法としては、例えば、魚眼像の所定部分（例えば、中央部）で検出されたぶれ量を所定の変換式により魚眼像の周辺部のぶれ量に変換して算出する方法を用いてもよいし、魚眼像を透視投影像に変換して魚眼像全体のぶれ量を算出した後に、算出した魚眼像全体のぶれ量を逆投影変換して魚眼像の周辺部のぶれ量を算出する方法を用いてもよい。その他にも、魚眼像の周辺部のぶれ量を算出する方法として、種々の方法を用いることができる。
【００１４】
以上のように構成された本装置の動作について、以下に述べる。本実施形態における手ぶれ補正手法及び動作の一例について、図２に示すフローチャートを用いて説明する。
【００１５】
ステップＳ２０１では、図１の魚眼光学系１０１によって投影された被写体映像が撮像素子１０２上に結像される。魚眼光学系１０１では、入射角０度から９０度近傍までの光を撮像素子１０２上に結像することができる。しかしながら、その投影像は、例えば光軸からの距離が入射角に比例する等距離投影方式や正弦関数に比例する正射影方式等による歪みを伴う。撮像素子１０２上に結像された被写体映像は、光電変換されて被写体輝度に応じたアナログ映像信号として画像形成回路１０３に入力される。画像形成回路１０３では、Ａ／Ｄ変換回路１０４によってアナログ信号を例えば１４ビットのデジタル信号に変換する。このデジタル信号は、さらに、オートゲイン制御回路（ＡＧＣ）１０５、オートホワイトバランス回路（ＡＷＢ）１０６によって、信号レベル補正及び白レベル補正が施され、フィールドメモリ１０７に一時的に記録・保持される。
【００１６】
図３（ａ）、（ｂ）は、被写体と魚眼光学系１０１による被写体映像を模式的に表す図である。図３（ａ）の３０１は格子状の被写体を示す図であり、図３（ｂ）の３０２は図３（ａ）の被写体３０１を魚眼光学系１０１によって撮像素子１０２上に正射影で投影したときの魚眼像を示す図である。前述の画像形成処理が施された魚眼像３０２は、図１のフィールドメモリ１０７に記憶・保持される。
【００１７】
本装置では、決められたフレームレートで順次フィールド画像を撮影し、フィールドメモリ１０７に記憶・保持された被写体像が連続するフィールド画像と共にぶれ解析部１１０に入力される。また、同時にフィールドメモリ１０７も現フィールド画像に書き換えられて更新される。以上の動作は、メモリ制御回路１０９によって制御される。
【００１８】
ステップＳ２０２では、ぶれ量検出部１１１によって、連続するフィールド映像の複数領域について対応する領域がテンプレートマッチング法により動きベクトルとして検出される。このようにして検出された動きベクトルが、画像中に現れる各領域の見かけの「ぶれ量」となる。ここで、動きベクトルの検出方法としては、テンプレートマッチング法に限られず、勾配法等の他の画像処理手法やジャイロ等の動き検出装置を用いてもよい。
【００１９】
ぶれ量検出部１１１によって複数領域で検出された動きベクトルは、ぶれ量解析部１１２によって統合されて、画像全体のぶれを表す動きベクトルが生成される。魚眼像では、画像周辺部の画像が圧縮されたように小さくなるので、同じ動きを表す動きベクトルであっても魚眼像中の位置によって見かけの大きさが異なる。そのため、魚眼像のままで複数領域の動きベクトルを統合することは極めて困難である。そこで、動きベクトルの統合を行う為に、魚眼像上で得られた複数領域の動きベクトルを歪みの無い透視投影像での動きベクトルに変換した後に、ぶれ量解析部１１２によって動きベクトルの統合を行い、透視投影像における動きベクトルとして出力することが望ましい。
【００２０】
ステップＳ２０３では、魚眼像から透視投影像への射影変換式を生成する。射影変換情報算出部１１３は、魚眼像から通常のレンズにより撮像された画像である透視投影像へ変換する為の射影変換式を算出する為のＣＰＵである。ここでは、一例として正射影の魚眼像を透視投影像へ変換する場合について説明する。正射影の魚眼像における像高ｙと入射角θの関係は魚眼像の焦点距離をｆとすると、
【００２１】
【数１】
2006295626.tif 000003
…（数式１）
と表される。また、透視投影像は像高をＹとすると
【００２２】
【数２】
2006295626.tif 000004
…（数式２）
と表される。ここで、Ｆは透視投影像の焦点距離であり、出力画像の仮想的な焦点距離として任意に定めることができる。このとき、変換の前後において入射角の値は変化しないので、
【００２３】
【数３】
2006295626.tif 000005
…（数式３）
より、
【００２４】
【数４】
2006295626.tif 000006
…（数式４）
となる。数式４が射影変換式であり、周辺部ぶれ量算出部１１７へと送られる。ここでは魚眼像の射影方式として正射影を用いて説明したが、等距離射影ｙ＝ｆθ等の他の射影方式を用いてもよい。
【００２５】
また、上記射影変換式を用いて画像上の動きベクトルを透視投影像へ射影変換するためには、動きベクトルの始点と終点に対して、それぞれ射影変換を施すことによって、射影変換後の動きベクトルの始点と終点を得ることができる。
【００２６】
本実施形態においては、射影変換情報算出部１１３はＣＰＵであり、算出した射影変換式をぶれ量解析部１１２へ送るとしているが、ＣＰＵの替わりにＬＵＴを用いて、射影変換の前後における各画素のアドレスの対応を記憶・保持しておき、必要な画素のアドレスを適宜ぶれ量解析部１１２へ送ってもよい。
【００２７】
ここで、魚眼像と透視投影像の画像上に現れる見かけの動きベクトルの違いについて説明する。図４は透視投影像における見かけの動きベクトルを示す図であり、４０１は撮像領域、４０２は防振の為の切り出し領域、４０３は各領域の動きベクトルを統合した画像全体のぶれを表す画像中心部における見かけの動きベクトル（以下「画像全体動きベクトル」という。）、４０４は画像周辺部での見かけの画像全体動きベクトル（以下「画像周辺動きベクトル」という。）を表している。透視投影像においては、撮像領域４０１内の見かけの動きベクトルは全領域において一様であるから、画像中心動きベクトル４０３と画像周辺動きベクトル４０４は同じ大きさと方向を持ったベクトルとなる。従って、画像中心動きベクトル４０３が撮像領域４０１内に過不足なく包含されるように切り出し領域４０２を決定すれば、無駄になる画素や画像の欠落を生じさせずに手ぶれ補正を行うことが可能となる。
【００２８】
一方、図５は魚眼像における見かけの動きベクトルを示す図であり、５０１は撮像領域、５０２は防振の為の切り出し領域、５０３は画像中心部における画像全体のぶれを表す見かけの動きベクトル、５０４は画像周辺部での見かけの画像全体動きベクトルを表している。魚眼像においては、撮像領域５０１の周辺部では画像が圧縮されたように歪む為、画像周辺動きベクトル５０４は、画像中心部における動きベクトル５０３よりも小さくなる。従って、透視投影像の場合と同様に、画像中心部における動きベクトル５０３が撮像領域５０１内に包含されるように切り出し領域を決定すると、画像周辺部では見かけの動きベクトルを上回る大きさのマージンが確保されることになり、無駄な画素が生じてしまう。本実施形態では、効率の良い防振を行う為に、図５に示すように画像周辺動きベクトル５０４が撮像領域５０１内に過不足なく包含されるように、切り出し領域５０２を決定する。このように、魚眼像の特性を考慮した無駄の発生しない切り出し領域を設定することによって、出力画像の狭角化や画質の劣化を抑えた効率的な手ぶれ補正が可能となる。
【００２９】
図５において、防振の為の切り出し領域５０２が樽型の形状をしているのは、その後、魚眼像から透視投影像に射影変換する際に、射影変換後の切り出し領域５０２の形状が矩形となるように逆算しているからである。これによって、射影変換の前後において画素の欠損を防ぐと共に、魚眼像における切り出し領域を可能な限り大きくすることができる。
【００３０】
ステップＳ２０４では、ステップＳ２０３で算出された射影変換式に基づいて、ぶれ量解析部１１２により透視投影像における動きベクトルが算出され、この動きベクトルに基づいて、周辺部ぶれ量算出部１１７により魚眼像の周辺部のぶれ量が算出される。周辺部ぶれ量算出部１１７には、透視投影像における画像全体のぶれを表す動きベクトルが、ぶれ解析部１１０から入力される。魚眼像における防振の為の切り出し領域は、画像周辺動きベクトルの見かけの大きさによって決定されるので、射影変換情報算出部１１３より算出された射影変換式を用いて、透視投影像の画像全体動きベクトルを魚眼像の画像周辺動きベクトルに変換する。そして、変換された画像周辺動きベクトルは、切り出し領域決定部１１４により撮像領域内に過不足なく包含されるように切り出し領域の範囲が決定される。その後、魚眼像における画像全体のぶれを表す画像周辺動きベクトルを打ち消すように、撮像面内において切り出し領域をシフトさせる。以上の操作により、手ぶれ補正の為の切り出し領域を決定することができる。決定された切り出し領域内の各画素は、前記射影変換式を用いて、魚眼像から透視投影像への座標値の対応付けが行われ、変換アドレスデータとして射影変換部１１５へ送られる。
【００３１】
ステップＳ２０５では、射影変換部１１５が、切り出し領域算出部１１４より送られてきた魚眼像の切り出し領域の透視投影像へのアドレス変換情報を用いて、１０７のフィールドメモリ１に記憶・保持されている魚眼像に対して画素値の読出しを行う。図６（ａ）〜（ｃ）に射影変換部１１５の機能を図示する。図６（ａ）の６０１は、フィールドメモリ１０７に記憶・保持されている魚眼映像である。魚眼像の歪みは、魚眼ズーム光学系の投影方式によって決まり、例えば被写体からの光線の魚眼ズーム光学系１０１に対する入射角をθとすると、光軸からの像高ｙがｙ＝ｆθで表される等距離射影や、ｙ＝ｆｓｉｎθで表される正射影等がある。本実施形態では、一例として正射影方式で投影された魚眼像を６０１で表すが、本発明はこれに限定されない。射影変換部１１５は、図６（ｂ）の６０２の様にフィールドメモリ１０７に記憶・保持されている魚眼像の切り出し領域６０２１を、ｙ＝ｆｔａｎθで表される透視投影像に射影変換し、フィールドメモリ１０８に出力する。この時、フィールドメモリ１０７から入力される魚眼像に手ぶれが存在している場合には、切り出し領域６０２２の様に手ぶれを打ち消す方向に切り出し領域をシフトさせた後に射影変換を行う。図６（ｃ）の６０３は、フィールドメモリ１０８のメモリ空間を表すと同時に射影変換対象領域６０２１の射影変換後の透視投影像がメモリ空間６０３に展開されている様子を表す図である。図３（ａ）の３０１で表された格子状被写体像が、正射影投影によって図６（ａ）の６０１のように歪曲し、さらに射影変換部によって歪みが補正されている様子を表している。また、射影変換後の画像が出力する画像の大きさよりも小さい場合には、射影変換部１１５において出力画像サイズに合うように適宜拡大縮小処理が施される。以上の処理により、手ぶれ補正が施された透視投影像が１０８のフィールドメモリ２に蓄積される。
【００３２】
なお、図２に示すフローチャートでは、魚眼像の周辺部のぶれ量の算出方法として、魚眼像を透視投影像に変換して魚眼像全体のぶれ量を算出した後に、魚眼像全体のぶれ量を逆投影変換して魚眼像の周辺部のぶれ量を算出する方法を一例として示したが、本発明はこれに限定されず、その他の方法を用いてもよい。
【００３３】
以上のように、本実施形態によれば、魚眼像の画像周辺部における見かけの動きベクトルが透視投影像での動きベクトルに比べて小さくなるという特性を利用することによって、より大きな切り出し領域を設定し、手ぶれ補正画像の画角の狭角化や画質の劣化を低減することができる。
【００３４】
（第２の実施形態）
第２の実施形態は、第１の実施形態に係る魚眼像撮像装置１００にズーム機能を持たせた場合の一実施形態である。図７は本発明の好適な第２の実施形態に係る魚眼像撮像装置７００の構成を示す図である。図１に加えて魚眼光学系のズーム位置（焦点距離）を制御するズーム制御部７０１とズーム位置を検出するズーム位置取得部７０２が付加されている。
【００３５】
以下、本実施形態における手ぶれ補正手法及び動作の一例について、図８に示すフローチャートを用いて説明する。
【００３６】
ステップＳ８０１及びＳ８０２は、図２のステップＳ２０１及びＳ２０２と同様にして行われる。
【００３７】
ステップＳ８０３では、ズーム制御部７０１によって魚眼ズーム光学系１０１のズーム位置が制御され、ズーム位置取得部７０２によって魚眼ズーム光学系のズーム位置が焦点距離として検出される。ここで、ズーム位置情報は、焦点距離の他に倍率等の情報として検出してもよい。
【００３８】
ステップＳ８０４では、魚眼像から透視投影像への射影変換式を生成する。射影変換情報算出部１１３は、魚眼像から通常レンズによって撮像された画像である透視投影像へ変換する為の射影変換式を算出する為のＣＰＵであり、この変換式は魚眼ズーム光学系１０１のズーム位置によって変化するため、ズーム位置取得部７０１がズーム位置の変化を検出する毎に再生成される。
【００３９】
ここで、魚眼光学系のズーム位置と画面上の見かけの動きベクトルとの関係について説明する。図９は魚眼ズーム光学系のズーム位置を変化させた時に、画像全体のぶれを表す動きベクトルの見かけの大きさが画像中心部においてどのように変化するかを示す図であり、横軸をズーム位置とし、縦軸を動きベクトルの大きさとしている。ここでは、ぶれ解析部１１０で算出される透視投影像における画像全体のぶれを表す動きベクトルが、魚眼像の画像中心部における動きベクトルに変換され、その大きさがズーム位置によってどのように変化するかが算出されている。透視投影像の動きベクトルから魚眼像の動きベクトルへの射影変換式は、以下のようにして求めることができる。上記透視投影像の数式２を入射角θについて解くと、
【００４０】
【数５】
2006295626.tif 000007
…（数式５）
となり、数式５と正射影の数式１により、
【００４１】
【数６】
2006295626.tif 000008
…（数式６）
となる。数式６が透視投影像の動きベクトルから魚眼像の動きベクトルへの射影変換式となる。
【００４２】
ここでは魚眼像の射影方式として正射影を用いたが、等距離射影ｙ＝ｆθ等の他の射影方式を用いてもよい。図９より、画像中心部では動きベクトルの大きさはズーム位置に対して線形的に変化することが分かる。
【００４３】
一方、図１０（ａ）、（ｂ）は、魚眼像の画像中心と各画角位置での動きベクトルの比とズーム位置の関係を示す図である。図１０（ａ）は、魚眼光学系のズーム位置が変化した時に、動きベクトルの大きさと画像中心における動きベクトルの大きさの比がどのように変化するのかを表した図であり、横軸をズーム位置、縦軸を前記比率としている。図１０（ｂ）は、図１０（ａ）の魚眼像における各画角位置Ａ〜Ｃを示す図である。
【００４４】
透視投影像における画像全体のぶれを表す動きベクトルの大きさと各画角位置における画像全体動きベクトルの見かけ大きさの比率は、以下のようにして算出される。
【００４５】
まず、透視投影像における画像全体のぶれを表す動きベクトルνの始点と終点の像高をそれぞれνs及びνｅとすると、その大きさはνｅ−νsとなる。この時、νs、νｅの画像上での位置を各画角位置に設定する。そして、νs及びνｅを数式６を用いて魚眼像での像高に変換する。変換後の動きベクトルをν’、その始点と終点の像高をそれぞれνs’及びνｅ’とすると、魚眼像の各画角位置における画像全体動きベクトルの見かけの大きさはνｅ’−νs’と表すことができる。よって、透視投影像における画像全体のぶれを表す動きベクトルの大きさと、各画角位置における画像全体動きベクトルの見かけ大きさの比率は
【００４６】
【数７】
2006295626.tif 000009
…（数式７）
となる。
【００４７】
数式６における魚眼像の焦点距離ｆを変化させて数式７を解くことにより、ズーム位置と上記比率の関係を算出することができる。
【００４８】
図１０（ａ）より、画像全体動きベクトルの画像周辺部Ａにおける見かけの大きさは、ズーム位置が広角側（ＷＩＤＥ）にあるほど元の画像全体動きベクトルよりも小さくなり、望遠側（ＴＥＬＥ）にあるほど元の画像全体動きベクトルと同じ大きさに近づくことが分かる。
【００４９】
画像全体動きベクトルの画像中間部Ｂにおける見かけの大きさも、ズーム位置が広角側（ＷＩＤＥ）にあるほど、元の画像全体動きベクトルよりも小さくなり、望遠側（ＴＥＬＥ）にあるほど元の画像全体動きベクトルと同じ大きさに近づくことが分かる。画像中間部Ｂは、画像周辺部Ａと比較すると、全体として元の画像全体動きベクトルよりも小さくなっており、広角側（ＷＩＤＥ）にあるほどその傾向が顕著に表れている。
【００５０】
同様に、画像全体動きベクトルの画像中央部Ｃにおける見かけの大きさも、ズーム位置が広角側（ＷＩＤＥ）にあるほど元の画像全体動きベクトルよりも小さくなり、望遠側（ＴＥＬＥ）にあるほど元の画像全体動きベクトルと同じ大きさに近づくことが分かる。画像中間部Ｃは、画像周辺部Ｂと比較して、更に元の画像全体動きベクトルよりも更に小さくなっており、広角側（ＷＩＤＥ）にあるほどその傾向が顕著に表れている。
【００５１】
上述のように、画角位置Ａ〜Ｃのいずれにおいても、動きベクトルの見かけの大きさは、ズーム位置に対して非線形的に変化している。従って、魚眼像の手ぶれ補正においては、ぶれ解析部１１０より算出される画像全体動きベクトルの大きさと魚眼光学系のズーム位置に応じて切り出し領域の範囲を線形的に変化させてしまうと、広角側においては画像周辺部での画像全体動きベクトルの見かけの大きさよりも大きなマージンを確保することになり、手ぶれ補正において画素の無駄が生じてしまう。
【００５２】
そこで、透視投影像における画像全体動きベクトルから魚眼像の画像周辺部の動きベクトルに変換し、画像周辺動きベクトルの大きさと魚眼光学系のズーム位置に応じて切り出し領域の範囲を図１０に示すように非線形的に変化させることによって、画素の無駄が生じない手ぶれ補正を実現することができる。
【００５３】
なお、図８に示すフローチャートでは、ステップＳ８０１及びＳ８０２の後に、ステップＳ８０３のズーム位置検出を行う場合を一例として示したが、本発明はこれに限定されず、ステップＳ８０３は、ステップＳ８０１やＳ８０２の前に行ってもよい。
【００５４】
以上のように、本実施形態によれば、魚眼ズーム光学系のズーム位置を変化させた場合に、画像周辺部の動きベクトルの見かけの大きさが非線形的に変化することを考慮して、それに合わせて切り出し領域の大きさも非線形的に変化させることにより、手ぶれ補正時に無駄になる画素や画像の欠落を生じさせること無く効率の良い手ぶれ補正を行うことが可能となる。
【００５５】
（第３の実施形態）
第３の実施形態は、第１の実施形態では撮像素子１０２を使用して魚眼ズーム光学系１０１によって投影された映像を結像するのに対して、撮影済みの魚眼動画像を動画像記録部から取得する場合の一実施形態である。図１１は本発明の好適な第３の実施形態に係る魚眼像撮像装置１１００の構成を示す図であり、図１の魚眼光学系１０１、撮像素子１０２、画像形成回路１０３に代えて、動画像記録部１１０１を備える魚眼手ぶれ補正再生装置である。
【００５６】
動画像記録部１１０１は、撮影された動画像を記録保存しておき、必要に応じて読み出しを行う。動画像記録部１１０１に記録されている魚眼動画像をフィールド毎に読み出してフィールドメモリ１０７に順次格納する。以降の処理に関しては第１の実施形態と同様であり、撮影済みの魚眼動画像に対しても後処理として手ぶれ補正を行うことが可能となる。
【００５７】
以上のように、本実施形態によれば、動画像再生部を用いることにより、撮影済みの魚眼動画像に対しても手ぶれ補正を施すことができる。
【００５８】
（第４の実施形態）
第４の実施形態では、第３の実施形態に係る魚眼手ぶれ補正再生装置にズーム機能を持たせた場合の一実施形態である。図１２は本発明の好適な第４の実施形態に係る魚眼像撮像装置１２００の構成を示す図である。図１１に加えて魚眼光学系のズーム位置を制御するズーム制御部１２０１とズーム位置を検出するズーム位置取得部１２０２が付加されている。
【００５９】
動画像記録部１１０１に記録されている魚眼動画像をフィールド毎に読み出してフィールドメモリ１０７に順次格納する。この際、動画像の各フィールドには画像データと共にズーム位置情報も付加されている。このズーム位置情報を、ズーム位置取得部１２０２において読み出し、射影変換情報算出部１１３に送る。以降の処理に関しては第２の実施形態と同様であり、撮影済みの魚眼動画像に対しても後処理としてズーム位置に応じた手ぶれ補正を行うことが可能となる。
【００６０】
以上のように、本実施形態によれば、撮影済みの魚眼動画像に対しても、ズーム位置に応じた効率の良い手ぶれ補正が可能となる。
【図面の簡単な説明】
【００６１】
【図１】本発明の好適な第１の実施形態に係る魚眼像撮像装置の構成を示す図である。
【図２】本発明の好適な第１の実施形態に係る手ぶれ補正処理のフローチャートである。
【図３】格子状の被写体と魚眼光学系によって撮像素子上に正射影で投影された魚眼像を示す図である。
【図４】透視投影像における見かけのぶれ量を示す図である。
【図５】魚眼像における見かけのぶれ量を示す図である。
【図６】射影変換部の機能効果を模式的に示す図である。
【図７】本発明の好適な第２の実施形態に係る魚眼像撮像装置の構成を示す図である。
【図８】本発明の好適な第２の実施形態に係る手ぶれ補正処理のフローチャートである。
【図９】透視投影像における画像中心動きベクトルとズーム位置の関係を表す図である。
【図１０】魚眼像における各画像位置と周辺部の動きベクトルの比とズーム位置の関係を示す図である。
【図１１】本発明の好適な第３の実施形態に係る魚眼像撮像装置の構成を示す図である。
【図１２】本発明の好適な第４の実施形態に係る魚眼像撮像装置の構成を示す図である。
【図１】
2006295626.tif 000010
【図２】
2006295626.tif 000011
【図３】
2006295626.tif 000012
【図４】
2006295626.tif 000013
【図５】
2006295626.tif 000014
【図６】
2006295626.tif 000015
【図７】
2006295626.tif 000016
【図８】
2006295626.tif 000017
【図９】
2006295626.tif 000018
【図１０】
2006295626.tif 000019
【図１１】
2006295626.tif 000020
【図１２】
2006295626.tif 000021