(57)【要約】    【課題】  魚眼画像を透視投影画像に変換する撮像装置において、少ない演算負担で適正な画像の振れを補正できるようにする。    【解決手段】  撮像装置１０１は、魚眼像を光電変換する撮像素子１０３と、該撮像素子を用いて得られた魚眼画像データの透視投影画像データへの射影変換処理を行う変換手段１０６と、振動に関する振動情報を得る振動検出手段１０４を有する。変換手段は、該振動情報に基づいて魚眼画像データのうち射影変換処理を行う変換領域をシフトさせる。    【選択図】  図１ 
2005252625.tif 000002
【特許請求の範囲】
【請求項１】
魚眼像を撮影可能な撮像装置であって、
前記魚眼像を光電変換する撮像素子と、
該撮像素子を用いて得られた魚眼画像データの透視投影画像データへの射影変換処理を行う変換手段と、
該撮像装置に加わった振動に関する振動情報を得る振動検出手段とを有し、
前記変換手段は、前記振動情報に基づいて前記魚眼画像データのうち前記射影変換処理を行う変換領域をシフトさせることを特徴とする撮像装置。
【請求項２】
前記変換手段は、前記振動情報が表す振動が大きいほど前記変換領域のシフト量を大きくすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記振動検出手段は、前記魚眼画像データを用いて前記振動情報を得ることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記魚眼像を形成する光学系は、複眼光学系であることを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
【請求項５】
魚眼像を撮影可能な撮像装置における画像処理方法であって、
魚眼画像データの透視投影画像データへの射影変換処理を行う変換ステップと、
該撮像装置に加わった振動に関する振動情報を得る振動検出ステップとを有し、
前記変換ステップにおいて、前記振動情報に基づいて前記魚眼画像データのうち前記射影変換処理を行う変換領域をシフトさせることを特徴とする画像処理方法。
【請求項６】
前記変換ステップにおいて、前記振動情報が表す振動が大きいほど前記変換領域のシフト量を大きくすることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記振動検出ステップにおいて、前記魚眼画像データを用いて前記振動情報を得ることを特徴とする請求項５又は６に記載の画像処理方法。
【請求項８】
請求項５から７のいずれか１つに記載の画像処理方法をコンピュータに実行させるためのプログラムであることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を使用して画像情報を取得する撮像装置に関するものであり、特に取得した魚眼画像に対して振れ補正処理を施した透視投影画像を出力する撮像装置に関するものである。
【背景技術】
【０００２】
魚眼光学系による広角視野の撮像は、監視、遠隔操作、ＴＶ会議、内視鏡など様々な分野で利用されている。その特徴は、画角１８０°以上の超広角視野画像も、その特殊な射影方式により撮像素子の受光面の有限領域に投影可能な点であり、透視投影画像を撮像する通常の撮像装置では理論的に取得できないような超広角視野画像も取得できる点にある。  しかし、魚眼光学系に特有の射影方式は、撮影像の形状を歪ませ、人間が観察する観点では本来の被写体形状との相違が著しい。
【０００３】
この問題を解決する手法として、特許文献１には、取得した魚眼画像を透視投影画像に変換し、該変換された画像をディスプレイに表示する装置が提案されている。該特許文献１では、魚眼撮影された半球状視野内の任意の画像領域についてパン・チルト・回転・倍率を指定し、２次元変換マッピングＸ−ＭＡＰおよびＹ−ＭＡＰを用いて座標変換することで全方向性画像観察を可能とする。
【０００４】
また、特許文献２には、魚眼光学系による撮影画像の画像情報密度分布を利用した電子ズームが提案されている。即ち、魚眼光学系により撮像された画像は、その周辺部ほど圧縮率が高く、中央部ほど拡大率が高くなる特性を有する。この特性を利用し、解像度を低下させずに電子ズームを行う。
【０００５】
さらに、特許文献３では、魚眼レンズで撮影した広視野領域画像の一部範囲のデータを観察者の頭部の動きに合わせて歪み無く表示可能な装置が提案されている。特に、本特許文献に記載された第３実施例においては、等距離射影方式を有する魚眼レンズで撮影された画像を、平面状に歪み無く表示するための変換処理を行い、さらに撮像装置の振れによる画像振れの補償処理を行う。該補償処理は、画像振れに対応した画素ずれ量が所定画素数（例えば、２画素）分以下のときに行われる。
【特許文献１】特表平６−５０１５８５号公報（４ページ右上欄２４行から７ページ右下欄２０行、第１図等）
【特許文献２】特開平１０−２３３９５０号公報（段落００３３〜００３５、図１〜３等）
【特許文献３】特開平８−３０７７５３号公報（段落００７４〜００９１、図１０等）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１にて提案の装置では、入力手段から視野角および倍率を指定し、マイクロコンピュータによって変換式を解き、２次元変換マップに変換テーブルを設定することにより任意の領域にパン・チルト・回転・ズーム機能を得る。したがって、微小な視野角や倍率の変動に対してもその都度変換式を解かなければならないので、マイクロコンピュータの演算負担が大きいという問題がある。
【０００７】
また、特許文献２にて提案の装置では、魚眼画像の画像情報密度分布を利用して解像度劣化の少ない電子ズーム画像を取得するが、ズーム倍率が高くなるほど手振れなどの装置本体に加わる振動によって画像の乱れが発生し、解像度劣化を生じるという問題がある。
【０００８】
さらに、特許文献３にて提案の装置では、画像振れの補償処理を行う基準として、検出された画素ずれ量と所定画素数とを比較することにより制御されるが、映像振れによる画素ずれ量は、装置本体に加わる振動量とズーム率との関係で決まり、単一の閾値で決定されるものではない。また、手振れによる画像ずれか、パン・チルトのような意図的な視野移動による画像ずれかの判断基準は、固定閾値で決定できるものではなく、意図しない激しい振動による大きな画像ずれや、意図的なゆっくりと視点移動する微小な画像ずれなどが存在する。
【０００９】
本発明は、魚眼画像を透視投影画像に変換する撮像装置において、少ない演算負担で適正な画像の振れを補正できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、１つの観点としての本発明は、魚眼像を光電変換する撮像素子と、該撮像素子を用いて得られた魚眼画像データの透視投影画像データへの射影変換処理を行う変換手段とを有する撮像装置に関する。該撮像装置は、振動に関する振動情報を得る振動検出手段を有し、変換手段は、該振動情報に基づいて魚眼画像データのうち射影変換処理を行う変換領域をシフトさせる。
【発明の効果】
【００１１】
本発明によれば、撮像装置本体に加わる振動に応じて、魚眼画像を透視投影画像に変換する領域をシフトさせるので、魚眼像を撮影し、透視投影画像を出力する撮像装置において少ない演算負担で適正な電子防振を実現することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１３】
図１には、本発明の実施例１である撮像装置の構成を示している。１０１は複眼撮像装置であり、複眼光学ユニット１０２と撮像素子１０３と画像処理回路１０４とにより構成されている。
【００１４】
複眼光学ユニット１０２は、それぞれ不図示の被写体からの光束（一点鎖線で示す）を結像する作用を有する複数のレンズがマトリクス状に配列されて構成されている。撮像素子１０３は、複眼光学系１０２の各レンズによって結像された被写体像を光電変換する。画像処理回路１０４は、撮像素子１０３での光電変換により得られた信号を処理して１つの連続した被写体画像を生成する。
【００１５】
ここで、複眼光学ユニット１０２および撮像素子１０３について詳しく説明する。図２（Ａ）には、複眼光学ユニット１０２の被写体側（前側）の面を示している。また、図３には、複眼光学ユニット１０２および撮像素子１０３を側面から見た断面を示している。
【００１６】
複眼光学ユニット１０２は、マトリクス状に配列された複数（本実施例では、５行５列の計２５個）の単レンズ２０１と、プラスチック等で作られて複数のレンズ２０１を支持するレンズ支持部材２０２とから、全体として平板状に構成されている。レンズ支持部材２０２の前面（図３における上面）うち各レンズ２０１を保持する部分には、レンズ２０１を透過した光束を通すための開口部２０２ａが形成されている。レンズ支持部材２０２における開口部２０２ａの周囲部分は絞りとして機能する。
【００１７】
図３に示すように、複眼光学ユニット１０２の中央に配置されたレンズ２０１の入射側の主光線（一点鎖線で示す）ａの方向は、該複眼光学ユニット１０２の法線方向ｎに一致している。そして、中央から外側に配置されたレンズ２０１ほど、その入射側の主光線ｂが大きく外側に広がるように法線ｎ（中央のレンズ２０１の主光線ａ）に対して傾いている。
【００１８】
ここで、中央のレンズ２０１は、入射側の主光線ａと射出側の主光線とが一致するように形成されている。このため、中央のレンズ２０１の射出側の主光線は、複眼光学ユニット１０２と平行に配置された撮像素子１０３に対して垂直になる。
【００１９】
一方、中央よりも外側のレンズ２０１は、入射側の主光線ｂに対して射出側の主光線が、撮像素子１０３に対してより垂直に近付く側に屈折するように形成されている。これにより、複眼光学ユニット１０２をコンパクトにまとめながらも、広い視野角（撮像画角）を得ることができる。
【００２０】
なお、レンズ支持部材２０２の背面（図３における下面）のうち各レンズ２０１を透過した光束が通過する部分には、開口部２０２ｂが形成されている。上記中央のレンズ２０１に対応する開口部２０２ｂは、該中央のレンズ２０１の背面に正対するよう形成されているが、外側のレンズ２０１の開口部２０２ｂは、これらレンズ２０１の射出側の光軸の傾き度合い（屈折後の傾き度合い）に応じて、各レンズ２０１の背面に対して正対する位置よりも中央寄りに位置している。
【００２１】
撮像素子１０３は、ＣＣＤセンサ又はＣ−ＭＯＳセンサからなる光電変換素子３０１と、光電変換素子３０１の各画素に光を収束させるマイクロレンズ３０２とから構成されている。光電変換素子３０１上には、図２（Ｂ）に示すように、単レンズ２０１と同じ数（本実施形態では２５個）の光電変換領域１０３ａが形成されており、１つの光電変換領域１０３ａが、対応する１つのレンズ２０１によって結像された被写体像を光電変換するようになっている。つまり、複眼光学ユニット２０１の全視野の被写体像は、それぞれ１つのレンズ２０１と１つの光電変換領域１０３ａとによって構成される複数の撮像系によって分割されて撮像されることになる。
【００２２】
図３中に矢印で示す被写体からの光束は、レンズ支持部材２０２の各開口部２０２ａ，２０２ｂおよび各レンズ２０１を通過して、マイクロレンズ３０２によって集光され、光電変換素子３０１における各光電変換領域１０３ａの受光面（画素）上で結像する。それぞれのレンズ２０１の光軸が互いに傾きを持ち、それぞれ個別の視野の像を光電変換素子３０１の受光面上に結像することにより、全視野を隙間なく撮像することができる。
【００２３】
また、画像処理回路１０４は、撮像素子１０３と一体的に構成され、撮像素子１０３により光電変換出力された信号に対して画素毎に画像処理を行う。
【００２４】
図４には、撮像素子１０３における１つの光電変換領域１０３ａの構成を示している。この光電変換領域１０３ａ内に画像処理回路１０４が構成されている。
【００２５】
図中の４０１は被写体からの光束を受光する画素を構成する光電変換部であり、被写体からの光束を受け、これを電気信号に変換する。４０２は画素ごとに設けられた演算部であり、メモリや論理演算回路から構成され、光電変換部からの電気信号を画素単位で映像信号に変換処理する。また、各画素の演算部同士は、通信線４０３によって結線されている。これにより、近傍の画素同士からの映像信号の間での相関的な演算も可能となっており、後述する本装置の振動きに関する情報を映像信号から抽出することができる。
【００２６】
ここで、複眼光学ユニット１０２に求められる仕様について説明する。本撮像装置は、通常のビデオカメラに比べてさらに小型の撮像装置であり、例えば、これを携帯する者（使用者）の眼の代わりとなるように制作されたものである。特に子供や老人の衣服等に装着し、迷子や徘徊老人の捜索時、さらには視覚障害者の走行支援などにおいて活用されることを見込んだ撮像装置である。このような使用方法においては、携帯者を取り巻く環境の一部を詳細に観測するよりも、携帯者を取り巻く広い範囲の環境を瞬時に把握できることが重要である。少なくとも、通常、人間が両眼で認知できる視野範囲を携帯者の正面の方向にて撮像する必要がある。
【００２７】
一般に、人間の両眼を合わせた視野範囲は、垂直方向で６０度、水平方向で１２０〜１６０度と言われていることから、少なくとも水平方向で１２０〜１６０度程度の広画角で撮像できるように、複眼光学ユニット１０２のレンズ２０１の配列数と光軸の傾きが決定される。
【００２８】
一方、人間の全視野範囲が同程度の解像力でないことは良く知られている。具体的には、我々は細かく観察したい対象を視野の中心におき解像度を高くして観ているが、視野範囲周辺では被写体の存在は認識しているものの解像度はあまり高くない。よって本実施例の撮像装置は、複眼光学ユニット１０２により魚眼像を形成し、これを撮像するものとする。魚眼像は広視野範囲の像であり、視野の中心部は解像度が高く視野角が大きくなるほど解像度が小さくなる特性を持つ。
【００２９】
このような複眼光学ユニット１０２を用いて撮像された魚眼映像の映像信号は、図１に示す１次メモリ１０５によって記憶保持される。
【００３０】
図５（Ａ）には、複眼光学ユニット１０２を用いて撮像された魚眼画像の一例を示す。この魚眼画像は、格子状の平面被写体を正射影による射影方式（正弦射影方式）で撮像したものであり、画像中心からの距離に応じてｙ＝ｆ・sinθ の歪みを有する。ここで、ｙは光軸中心からの距離、ｆは焦点距離、θは入射角である。
【００３１】
なお、本実施例では、ｙ＝ｆ・sinθ の魚眼像を撮像するが、それ以外に、等距離射影方式によるｙ＝ｆ・θの魚眼像を透視投影画像に変換するようにしてもよい。
【００３２】
１次メモリ１０５に記憶保持された魚眼画像データは、射影変換処理部１０６によって透視投影像に射影変換される。図５（Ｂ）には、魚眼画像を透視投影画像に射影変換した画像を示しており、被写体の本来の格子形状が復元されている。実際には、透視投影画像は、映像表示部１０８に表示されるように矩形領域の画像に変換される。
【００３３】
ここで、射影変換処理部１０６について説明する。前述したように、本実施例では、魚眼像を正射影による射影方式で撮像する。この場合、入射角θで受光される被写体からの光束は、撮像素子１０３の撮像面上では、ｙ＝ｆ・sinθで表される像として結像する。
【００３４】
一方、透視投影による撮影像は、入射角θで受光される被写体からの光束が、撮像面上でＹ＝Ｆ・tanθ (Ｙは光軸中心からの距離、Ｆは焦点距離、θは入射角）で表されるように結像する。したがって、魚眼画像を透視投影画像に変換する場合の変換式は、
ｙ＝ｆ・sin{tan-１（Ｙ/Ｆ）}
で表される。
【００３５】
実際の変換方法については従来様々な方法が提案されている。例えば、特許第３１２６９５５号公報では、上記変換式を簡単な構成で実現するためにルックアップテーブルを用いたハードウェアで実現することが示されている。また、特開２００２−２０３２３７号公報には、ピクセルごとの複雑な計算を回避するため、射影点をジオメトリ演算により算出し、曲面像を平面像に変換する方法が示されている。本実施例においては、上記変換式を用いてもよいし、これ以外のどのような方法を用いてもよい。
【００３６】
また、射影変換時に、ｆをパラメータとすることにより拡大像が得られる。図６（Ａ）は魚眼画像であり、図６（Ｂ），（Ｃ）には、映像表示部１０８に表示される、図６（Ａ）の魚眼画像を射影変換して得られる透視投影画像である。ただし、図６（Ｂ）の透視投影画像は、図６（Ａ）に示す魚眼像のうち視野範囲６０１ａを映像表示部１０８のウィンドウサイズに射影変換したものである。一方、図６（Ｃ）の透視投影画像は、図６（Ｂ）の場合に比べてパラメータｆをｎ倍にして射影変換したものである。この場合、図６（Ａ）の魚眼像における視野範囲６０２ａの領域が射影変換され、図６（Ｃ）に示すようなｎ倍の拡大画像を得ることができる。
【００３７】
以上のように、魚眼画像は射影変換処理部１０６により透視投影画像に変換され、映像表示部１０８に表示される。
【００３８】
一方、画像処理回路１０４は、魚眼映像信号を用いて本撮像装置の振れを表す振動情報としての動きベクトルを生成する。図４に示したように、本実施例では、各光電変換部４０１に対して演算部４０２が備えられている。このように画像処理回路１０４が一体化された構成の撮像素子１０３は、光電変換により得た映像信号を外部の画像処理回路に伝送するプロセスを踏まずに画像処理ができるため、高速な演算処理ができる。
【００３９】
本実施例においても、通常のビデオフレームレート（３０フレーム／秒）の数倍（例えば、通常の１０倍程度の３００フレーム／秒）の高フレームレートで撮像し、高速演算を行う。
【００４０】
そして、演算部４０２は、映像信号を一時的に記憶するメモリを有し、連続した２フレーム分の映像信号間でテンプレートマッチング法による動きベクトルの検出（生成）を行う。高速で読み取り、演算することで、本撮像装置の動きに対してフレーム間の移動量が小さくなり、この結果、テンプレートマッチングの探索範囲を小さくできる利点がある。
【００４１】
また、魚眼画像に対してテンプレートマッチングする範囲を、視野の周辺部から中心部へと順次移行させていくことで、より効率的な探索ができる。
【００４２】
動きベクトルの検出について図７を用いて簡単に説明する。図７（Ａ），（Ｂ）はそれぞれ、射影変換後の透視投影画像と撮像素子１０３により撮像される魚眼画像である。ここで、本撮像装置が上方向に動いたとき、透視投影画像の動きベクトルは、図７（Ｃ）
示すように、全領域に一様なベクトルとなる。なお、矢印の方向は動き（振れ）の方向を、矢印の長さは動きの量を表す。そして、視野範囲の全領域について解像度が一様な場合は、テンプレートマッチングによる動きベクトル生成のための探索範囲は、振れ量が大きいほど大きくなる。
【００４３】
一方、魚眼像のように中心部から周辺部にいくほど解像度が低くなる場合は、図７（Ｄ）に示すように、動きベクトルは周辺部で小さく、中心部で大きくなる。このため、映像の周辺部から動きベクトルを探索していくことで、はじめは探索範囲を小さくし、中心部にいくほど探索範囲を大きくしていくというように、効率的な動きベクトルの検出が行える。
【００４４】
また、同じ映像振れであっても、周辺部に比べて中心部ほど大きな動きベクトルを得ることができるということは、中心部ほど高周波な動きまで検出できるという利点もある。したがって、視野周辺部で動き（振れ）の低周波数成分を検出し、視野範囲の中心部で高周波成分を検出することも可能である。
【００４５】
このように動きベクトルを検出したあと、動きベクトルに応じた振れ補正量、すなわち射影変換する変換領域のシフト量が射影変換処理部１０５に送られる。
【００４６】
振れ補正量が入力された射影変換処理部１０５は、図８に示すように、振れ補正量に応じて、変換領域８０１を基準変換領域８０２からシフトし、該シフト後の変換領域８０１内の魚眼画像データの射影変換を行う。
【００４７】
図９には、本撮像装置の動作を示すフローチャートである。この動作は、画像処理回路１０４および射影変換処理部１０５において行われる。なお、ここでは、ハードウェア的な動作として説明するが、同様の動作を、ＣＰＵに格納した画像処理プログラムにより実行する構成としてもよい。
【００４８】
まず、ステップ９０１では、撮像素子１０３（各撮像領域１０３ａ内での光電変換部４０１）で受光した被写体像を光電変換する。次に、ステップ９０２では、撮像素子１０３からの光電変換により得られた電気信号を画像処理回路１０４（演算部４０２）でデジタル信号に変換し、魚眼映像を表す映像信号とする。
【００４９】
次に、ステップ９０３では、デジタル映像信号に対して映像出力用の処理を施すか、振れ検出のための処理を施すかが選択される。振れ検出のための処理を施す場合には、ステップ９０８において、演算部４０２は、該映像信号を用いて動きベクトルを検出する。なお、動きベクトルは、複眼光学ユニット１０２の各単レンズ２０１を通して撮像する撮像領域ごとに、１つずつ生成されてもよいし複数の動きベクトルが生成されてもよい。単レンズ２０１ごとに１つの又は複数の動きベクトルが生成されることにより、全視野範囲では複数の動きベクトルが生成されることになる。
【００５０】
そして、ステップ９０９では、これら動きベクトルから本撮像装置の振れ量を推定する。前述したように、本撮像装置のフレームレートは、通常のビデオフレームレート（３０フレーム／秒）よりも高速であるため、複数のフレームを用いて振れ量を推定できる。
【００５１】
例えば、本撮像装置のフレームレートを３００フレーム／秒としたとき、１／３の１００フレームで振れ量を検出し、残りの２００フレームで映像用の信号を生成することができる。この場合、振れ量の推定（ステップ９０９）が１００フレーム分に達するまで、受光（ステップ９０１）、動きベクトルの検出（ステップ９０８）および振れ量推定（ステップ９０９）が繰り返される。
【００５２】
また、振れ量推定の確信度を表わす変数を設け、確信度が閾値を越えるまで上記動作を繰り返すようにしてもよい。
【００５３】
以上のようにして振れ量が推定されると、該振れ量は振れ補正量（変換領域のシフト量）として射影変換処理部１０６に出力される。シフト量は、振れ量が大きいほど大きく（小さいほど小さく）なる。そしてこの後、ステップ９０２でデジタル化された魚眼映像信号には、映像出力用の処理が施される（ステップ９０３から９０４に進む）。
【００５４】
ステップ９０４では、魚眼映像信号に対してオートホワイトバランス（ＡＷＢ）およびオートゲイン補正（ＡＧＣ）が行われ、また、ステップ９０５では、複眼光学ユニット１０２の各単レンズ２０１によって発生した収差が補正される。そして、ステップ９０６では、複数の撮像領域１０３ａによって分割撮像された画像が１枚の連続した魚眼画像に合成される。さらに、該魚眼画像は、１次メモリ１０５に記憶保持される。
【００５５】
こうして、合成された魚眼画像データのうちステップ９０９でシフトされた変換領域のデータは、ステップ９０７で透視投影画像に射影変換される。そして、該変換領域の透視投影画像データは、図１に示す２次メモリ１０７に記憶保持された後、映像表示部１０８に出力される。映像表示部１０８に表示される透視投影画像は、振れが適正に補正された画像である。
【００５６】
以上説明したように、本実施例によれば、魚眼画像データから得た撮像装置の振動情報に基づいて、魚眼画像を透視投影画像に射影変換する領域（変換領域）をシフトするので、常時、全視野範囲の魚眼画像を射影変換し、射影変換後の透視投影画像から振動情報に応じて読み出し領域をシフトする場合に比べて、演算負担を軽減しつつ良好な電子防振を行うことができる。
【実施例２】
【００５７】
図１０には、本発明の実施例２である撮像装置の構成を示している。本実施例の撮像装置は、実施例１の撮像装置に、撮影画像を電送して遠隔地でモニタリングするための圧縮符号化部１００１と映像伝送部１００２とを追加したものである。
【００５８】
圧縮符号化部１００１は、２次メモリ１０７から出力された画像データ（透視投影画像データ）の圧縮処理および符号化処理を行う。画像データ（映像信号）の圧縮符号化方式は、現在様々な方法が存在しており、本実施例でも特にその方式を限定しないが、画像の品質を維持しながらなるべく高圧縮符号化を行い、低ビットレートで映像伝送を行える方式を採用することが望ましい。このような圧縮符号化方式としては、動画像の圧縮符号化方式としてＭＰＥＧ−４やＨ２６３があり、また静止画ベースの圧縮符号化方式としてMotion JPEGやMotion JPEG2000などが国際標準規格として代表的な方式である。本実施例でも、これらのいずれかを採用してもよいし、独自方式による圧縮符号化方式を用いてもよい。
【００５９】
映像送信部１００２は、圧縮符号化された画像データを、遠隔モニタリングのために無線送信する。
【００６０】
この送信システムで用いる伝送方式についても特に限定しないが、Wireless LANやIMT-2000を利用した無線通信方式など、伝送範囲に応じた伝送方式を選択することが望ましい。
【００６１】
本実施例では、人が携帯することを考慮し、省電力を特徴とするBluetooth を例にして説明する。
【００６２】
Bluetooth は、無線周波数２．４ＧＨｚで周波数ホッピングスペクトラム拡散通信によって通信し、基本的にはスペクトラム拡散通信である１次変調、拡散変調、送信、受信、逆拡散、情報復調を踏襲しており、１次変調にＧＦＳＫ、拡散変調に周波数ホッピング方式を採用している。
【００６３】
そして、前述したように省電力を特徴とすることから、電池などの消耗も少なく、携帯機器には有効な方式である。
【００６４】
また、近年では、近距離無線映像伝送方式として“WiMedia” の標準化が進められている。WiMediaでは、１ｍから５０ｍ程度のwireless personal area network (WPAN)における映像伝送を目的としており、本実施例の映像伝送方式として有効である。
【００６５】
なお、上記各実施例では、複数のレンズエレメントを配置した複眼光学系により魚眼像を形成する撮像装置について説明したが、本発明は、物体側に単一の魚眼レンズを配置して魚眼像を形成する光学系を備える撮像装置にも適用することができる。以下、その例を説明する。
【実施例３】
【００６６】
図１１は、本発明の実施例３である撮像装置の構成を示す図である。本実施例の撮像装置は、通常のビデオカメラと同等サイズに撮像装置であって、魚眼レンズを有するものである。
【００６７】
図１１において、１１０１は被写体の魚眼像を形成する魚眼光学系、１１０２はＣＣＤセンサやＣＭＯＳセンサ等からなる撮像素子（光電変換素子）である。
【００６８】
１１０３は撮像素子１１０２から出力された電気信号を画像処理して、映像信号（魚眼映像信号）を生成する画像生成回路である。
【００６９】
画像生成回路１１０３は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路１１０４と、デジタル信号のレベル補正を行うオートゲイン制御回路（ＡＧＣ）１１０５と、映像の白レベル補正を行うオートホワイトバランス回路（ＡＷＢ）１１０６と、その他図示しない画像処理回路とを有し、これら回路での処理を通じて上記映像信号としてのデジタル魚眼映像データを生成する。
【００７０】
１１０７および１１０８は映像信号を１画面分または複数画面分、一時的に記憶保持する第１および第２フィールドメモリ（フィールドメモリ１，２）である。第１フィールドメモリ１１０７は、画像生成回路１１０３で生成された映像信号を記憶保持する。また、第２フィールドメモリ１１０８は、後述する魚眼映像の歪み補正処理（射影変換処理）後の映像信号を記憶保持する。
【００７１】
１１０９は第１および第２フィールドメモリ１１０７，１１０８に対して入出力される映像信号を制御するメモリ制御回路、１１１１は相互に隣接するビデオフィールドの映像信号から本撮像装置の動き（振動）を検出する動き検出回路である。
【００７２】
動き検出回路１１１１による検出結果は、後述する射影変換回路１１１５に伝達される。
【００７３】
射影変換回路１１１５は、第１フィールドメモリ１１０７に保存された魚眼画像データを、透視投影画像データに射影変換する。なお、射影変換回路１１１５は、後述するように、本撮像装置の振動に伴う映像の振れも補正する。
【００７４】
映像出力部１１２０は、振れ補正が行われた透視投影画像データを順次、図示しない表示デバイスに出力し表示させたり、記録媒体（半導体メモリ、磁気ディスク、光ディスク等）に出力し記録させたりする。１１１３は、本撮像装置の制御とデータ伝達等を司るコントローラとしてのＣＰＵである。
【００７５】
そして、本実施例の撮像装置では、結像した被写体像が撮像素子１１０２により光電変換され、撮像素子１１０２からは被写体輝度に応じたアナログ映像信号が出力されて画像生成回路１１０３に入力される。画像生成回路１１０３では、Ａ／Ｄ変換回路１１０４によってアナログ映像信号を、例えば１４ビットのデジタル信号に変換する。さらにオートゲイン制御回路（ＡＧＣ）１１０５およびオートホワイトバランス回路（ＡＷＢ）１１０６によって信号レベル補正および白レベル補正が行われた映像信号である魚眼画像データは、第１フィールドメモリ１１０７に順次一時的に記録保持される。
【００７６】
第１フィールドメモリ１１０７に記憶保持された１フィールド分の魚眼画像データは、これに連続するフィールドの魚眼画像データとともに動き検出回路１１１１に入力される。また、同時に第１フィールドメモリ１１０７内の旧フィールドの魚眼画像データは、現フィールドの魚眼画像データに書き換え更新される。以上の動作は、メモリ制御回路１１０９によって制御される。
【００７７】
動き検出回路１１１１では、連続する２つのフィールドの魚眼画像データのそれぞれにおける複数領域について、テンプレートマッチング法により各領域の動きベクトルを求める。但し、動きベクトルは、テンプレートマッチング法に限るものではなく、勾配法など他の手法によって求めてもよい。  
【００７８】
そして、動き検出回路１１１１は、検出した上記複数領域の動きベクトルを統合し、本撮像装置の振動に対応した振動情報としての動きベクトルを生成する。この動きベクトルは、射影変換回路１１１５に伝達される。
【００７９】
射影変換回路１１１５は、動きベクトルから振れ補正量としての変換領域シフト量を算出する。そして、第１フィールドメモリ１１０７に記憶された魚眼画像データのうち透視投影画像データに変換する領域（変換領域）を、実施例１に図８を用いて説明したようにシフトする。さらに、射影変換回路１１１５は、該シフトした変換領域で射影変換を行い、その結果を２次フィールドメモリ１１０８を介して、映像出力部１１２０に出力する。これにより、映像の振れが、演算負担を軽減しつつ、良好に補正される。
【００８０】
なお、本実施例においても、上記各動作をコンピュータプログラムとしての画像処理プログラムにより実行してもよい。
【００８１】
また、上記各実施例では、魚眼画像データを用いて撮像装置に加わった振動に関する情報を得る場合について説明したが、振動ジャイロ等のセンサを用いて振動に関する情報を得るようにしてもよい。
【００８２】
さらに、本発明は、魚眼像を形成する光学系が一体に設けられた撮像装置のみならず、光学系の交換が可能な撮像装置にも適用することができる。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施例１である撮像装置の構成を表すブロック図である。
【図２】実施例１の撮像装置を構成する複眼光学ユニットを前面側から見た図である。
【図３】実施例１の複眼光学ユニットおよび撮像素子の側面断面図である。
【図４】実施例１の撮像素子の構成を表す図である。
【図５】（Ａ）は実施例１の格子状被写体の魚眼像を示す図、（Ｂ）はその透視投影像を示す図である。
【図６】（Ａ）〜（Ｃ）は実施例１の魚眼画像から透視投影画像への変換処理を表す図であって、ズーム処理を説明する図である。
【図７】（Ａ）〜（Ｄ）は、実施例１における透視投影画像と魚眼画像の動きベクトルを模式的に表す図である。
【図８】実施例１の撮像装置において振れ補正時における射影変換領域を表す図である。
【図９】実施例１の動作を表すフローチャートである。
【図１０】本発明の実施例２である撮像装置の構成を表すブロック図である。
【図１１】本発明の実施例３である撮像装置の構成を表すブロック図である。
【符号の説明】
【００８４】
１０１  複眼撮像装置
１０２  複眼光学ユニット
１０３，１１０２  撮像素子
１０６，１１１４  射影変換処理部
１０８  映像表示部
２０１  レンズ
２０２  レンズ支持部材
３０１  光電変換素子
３０２  マイクロレンズ
４０１  光電変換部
４０２  演算部
４０３  通信線
８０１，８０２  射影変換領域
１００１  圧縮符号化部
１００２  映像送信部
１１０９  振れ検出部
１１１７  振れ補正処理部
【図１】
2005252625.tif 000003
【図２】
2005252625.tif 000004
【図３】
2005252625.tif 000005
【図４】
2005252625.tif 000006
【図５】
2005252625.tif 000007
【図６】
2005252625.tif 000008
【図７】
2005252625.tif 000009
【図８】
2005252625.tif 000010
【図９】
2005252625.tif 000011
【図１０】
2005252625.tif 000012
【図１１】
2005252625.tif 000013