(57)【特許請求の範囲】
【請求項１】
表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面でとされた凸面鏡と、
前記凸面鏡により得られた中央部位が高解像度で周辺部位が低解像度となる反射動画像を撮像し、前記中央部位全体を含む前記反射動画像を１つの原画像として信号処理して動画像信号を生成するセンサ部と、
前記凸面鏡と前記センサ部との相対的位置関係から予め決定されたパラメータに従って前記動画像信号を修正し、動画像の周辺部位の歪みを除去して超広角のパノラマ動画像を形成する信号処理手段と
を備え、
前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置されることを特徴とする撮像装置。
【請求項２】
凸面鏡からの反射動画像をセンサ部により撮像する撮像方法であって、
表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面とされた前記凸面鏡により、中央部位が高解像度で周辺部位が低解像度となる前記反射動画像を得た後、前記センサ部で前記中央部位全体を含む前記反射動画像を１つの原画像として信号処理して動画像信号を生成し、
前記凸面鏡と前記センサ部との相対的位置関係から予め決定されたパラメータに従って前記動画像信号を修正し、動画像の周辺部位の歪みを除去して超広角のパノラマ動画像を形成し、
前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置されることを特徴とする撮像方法。
【請求項３】
表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面とされた凸面鏡と、前記凸面鏡により得られた中央部位が高解像度で周辺部位が低解像度となる反射動画像を撮像し、前記中央部位全体を含む前記反射動画像を１つの原画像として信号処理して動画像信号を生成するセンサ部とを有する第１の装置と、
前記第１の装置とネットワーク接続され、前記第１の装置の撮影状態を遠隔制御可能であり、前記凸面鏡と前記センサ部との相対的位置関係から予め決定されたパラメータに従って前記動画像信号を修正し、動画像の周辺部位の歪みを除去して超広角のパノラマ動画像を形成する信号処理手段を有する第２の装置とを備え、
前記第１の装置により撮影された動画像を前記第２の装置に伝送し、前記第２の装置に前記信号処理手段で処理された動画像を表示し、
前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置されることを特徴とする撮像システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パノラマ動画像を得る撮像装置及び撮像方法に関し、特にデジタル処理された動画像信号を遠隔で利用する通信処理システムに適用して好適である。
【０００２】
【従来の技術】
近時では、複雑且つダイナミックに変動する外界の動画像を得る好適な自動制御装置として、いわゆるマシンビジョンが期待されている。そして、このマシンビジョンの応用の一環として、広角の映像を得るための中心窩視覚システムが研究されてきた。
【０００３】
このような中心窩視覚システムの具体例としては、電子技術総合研究所の国吉らによる「Active Stereo Vision System with Foveated Wide Lenses 」があり、ここで中心窩広角レンズが開示されている。しかしながら、このレンズは視野が１２０°と比較的狭く、１０群１１枚構成の比較的複雑なものであって高価であるという欠点がある。
【０００４】
また、他の具体例としては、Spiegel らによる「A foveated retina-like sensor using CCD technology」があり、ここで、同心円状となるように中心部位では高密度に、周辺部位では低密度になるように受光体を配した網膜様センサ（ retina-like sensor ）が開示されている。しかしながら、このセンサは上記のように多数の受光体を特殊な配列に設けてなるために高価となって大量生産に不適であり、最新の種々のセンサ製造技術を使用できないという欠点がある。
【０００５】
また、更に他の具体例としては、Greguss による米国特許４５６６７６３号があり、ここで視野の広い映像を得ることができる画像形成体（image forming block ）が開示されている。しかしながら、この画像形成体は解像度に関する考慮がなされておらず、画像の中心部位を高精細に撮影することはできない。このことは、反射動画像を得るためのミラーとして、その表面形状が円錐状のものや、球面状、双曲面状、放物面状のものを用いても同様であり、高精細な中心画像を得ることは困難である。
【０００６】
【発明が解決しようとする課題】
上記のように、これら従来の技術では、
（１）光学系の視野が狭い。
（２）中央部位が高密度な動画像を撮影することができない。
（３）光学系の形状・構造が複雑となって高価である。
という深刻な欠点があった。
【０００７】
そこで本発明は、画像の中央部位で高解像度となる超広角の動画像を得ることを可能とする廉価な撮像装置、撮像システム及び撮像方法を提供することを目的とし、更には従来行われてこなかった、かかる動画像の周辺部位の歪み除去と動画像のパノラマ化を行なうことを目的とする。
【０００８】
【課題を解決するための手段】
本発明の撮像装置は、表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面でとされた凸面鏡と、前記凸面鏡により得られた中央部位が高解像度で周辺部位が低解像度となる反射動画像を撮像し、前記中央部位全体を含む前記反射動画像を１つの原画像として信号処理して動画像信号を生成するセンサ部と、前記凸面鏡と前記センサ部との相対的位置関係から予め決定されたパラメータに従って前記動画像信号を修正し、動画像の周辺部位の歪みを除去して超広角のパノラマ動画像を形成する信号処理手段と
を備え、前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置される。
【００１２】
本発明の撮像方法は、凸面鏡からの反射動画像をセンサ部により撮像する撮像方法であって、表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面とされた前記凸面鏡により、中央部位が高解像度で周辺部位が低解像度となる前記反射動画像を得た後、前記センサ部で前記中央部位全体を含む前記反射動画像を１つの原画像として信号処理して動画像信号を生成し、前記凸面鏡と前記センサ部との相対的位置関係から予め決定されたパラメータに従って前記動画像信号を修正し、動画像の周辺部位の歪みを除去して超広角のパノラマ動画像を形成し、前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置される。
【００１５】
本発明の撮像システムは、表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面とされた凸面鏡と、前記凸面鏡により得られた中央部位が高解像度で周辺部位が低解像度となる反射動画像を撮像し、前記中央部位全体を含む前記反射動画像を１つの原画像として信号処理して動画像信号を生成するセンサ部とを有する第１の装置と、前記第１の装置とネットワーク接続され、前記第１の装置の撮影状態を遠隔制御可能であり、前記凸面鏡と前記センサ部との相対的位置関係から予め決定されたパラメータに従って前記動画像信号を修正し、動画像の周辺部位の歪みを除去して超広角のパノラマ動画像を形成する信号処理手段を有する第２の装置とを備え、前記第１の装置により撮影された動画像を前記第２の装置に伝送し、前記第２の装置に前記信号処理手段で処理された動画像を表示し、前記凸面鏡は、その中心軸が前記センサ部の設置位置で規定される光の中心軸からずれる位置に設置される。
【００１９】
【作用】
本発明においては、凸面鏡の表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面とされているため、この凸面鏡の形状に対応して、中央部位が解像度が高く、周辺部位が解像度が低い動画像が得られることになる。そして、この動画像の周辺部位を修正することで、人間の視覚にとって違和感のない超広角のパノラマ映像を得ることが可能となる。
【００２０】
【発明の実施の形態】
以下、本発明を適用した好適な実施形態について図面を参照しながら詳細に説明する。
【００２１】
図１は、本実施形態による中心窩視覚撮像装置を含む撮像システムを示す模式図である。
本図において、２は金属蒸着されてなる中心窩曲面を有する凸面鏡（以下、中心窩ミラーと称する。）であり、１はガラスまたは透明な樹脂からなり中心窩ミラー２が設けられたブロック（以下、中心窩ミラーブロックと称する。）、３は光の透過面、４は結像のための凸レンズ等の光学部材、５は光学部材４を介した中心窩ミラー２からの反射動画像を撮像するセンサ部である。これら中心窩ミラー２、中心窩ミラーブロック１、光学部材４及びセンサ部５を少なくとも備えて中心窩視覚撮像装置の光学系が構成される。
【００２２】
更に、６はＣＰＵやＲＡＭ等のメモリ、プログラムを保持しておくためのＲＯＭ等からなる歪み除去画像処理部、７は画像処理部６とネットワークを介して接続され、遠隔に置かれた第２の装置（に表示された画像）である。この第２の装置７に対して、前記１〜６を有して構成されるのが中心窩視覚撮像装置（第１の装置）である。そして、８は第２の装置７の画像内で中央部位に相当する高解像度部分を示している。第１の装置及び第２の装置を備えて、本システムが構成される。
【００２３】
第２の装置７については詳述しないが、ネットワークに接続し、ハイパーテキストデータを表示するなどの機能を持つ既存のパーソナルコンピュータ（ＰＣ）やネットワークＰＣ、ワークステーションなどで構成されている。
【００２４】
中心窩ミラー２は、その表面が中心窩様形状とされており、中央部位が低曲率面で周辺部位が高曲率面に形成されている。具体例としては、中心窩ミラー２の表面は、その中心軸をＹ軸として、
Ｙ＝ａＸ4（ａ：定数）
で表される曲線からなる曲面とすることが好ましい。
【００２５】
中心窩ミラー２は、その中心軸がセンサ部５の設置位置で規定される光の中心軸からずれる位置に設置される。
【００２６】
以下、中心窩視覚撮像装置の動作について説明する。
先ず、図２にしたがって中心窩ミラー２に入射し反射する光路について説明する。本図は中心窩視覚撮像装置の光学系の水平方向に沿った断面図であり、便宜上、中心窩ミラー２の中心軸とセンサ部５の設置位置で規定される光の中心軸とが一致するように描かれている。
【００２７】
図２において、１１は中心軸Ｌから１２０°離れた周辺部位からの入射光を示しており、１２は中心軸Ｌから２０°離れた中央部位からの入射光、１３は入射光１１が中心窩ミラー２で反射された反射光、１４は入射光１２が中心窩ミラー２で反射された反射光をそれぞれ示している。
【００２８】
入射光１１は中心窩ミラー２で反射されて反射光１３となる。反射光１３は光学部材４を通り、センサ部５に入射する。また、入射光１２は中心窩ミラー２で反射されて反射光１４となる。反射光１４は光学部材４を通り、センサ部５に入射する。
【００２９】
図４は、中心窩視覚撮像装置の光学系の構成要素である中心窩ミラー２と光学部材４の特性を示した図である。
図４において、４１はセンサ部５の有効な領域を、４２は画像中央部位の解像度の高い部分を示しており、例えばＨ０，Ｈ１０，Ｈ−１０は中心軸からの水平方向の角度が各々０°，１０°，−１０°の方向の入射光について、センサ部５上の軌跡を、例えばＶ０，Ｖ１０，Ｖ−１０は中心軸からの垂直方向の角度が各々０°，１０°，−１０°の方向の入射光について、センサ部５上の軌跡をそれぞれ示している。従って、光学部材４を通過した反射光１３は、図４の軌跡Ｈ１２０上に入射し、反射光１４は軌跡Ｈ２０上に入射することになる。
【００３０】
このようにして、センサ部５で撮像された動画像（原画像）の例を図３（ａ）に示す。中心窩ミラー２の表面形状に対応して、センサ部５の中央部位には歪みの少ない画像が結像し、周辺部位には歪みの多い画像が結像する。図示の如く、４人の人物がテーブルに着いている画像であり、中央部位に位置する人物は高解像度で歪まずに撮影されている一方、他の３人は歪んで撮影されており、歪みは周辺に行くほど大きい。
【００３１】
そして、画像処理部６により図３（ａ）のような動画像の画像信号に以下に示すパノラマ画像化処理により修正が加えられ、図３（ｂ）の如く全体的に歪みのない動画像が得られる。
【００３２】
以下、パノラマ画像化処理について詳細に説明する。
パノラマ化された復元画像（図３（ｂ））を得るには、パノラマ画像上の画素が原画像（図３（ａ））ではどの画素に相当するのかを計算し、２画像の対応画素位置変換処理をする。具体的には、図４に示すように、変換テーブルが１０°毎に規定されている場合、１０°毎にメッシュが描かれた球面の中心に当該光学系を設置して球面を撮像することによって測定する。
【００３３】
例えば、Ｖ２０とＨ−３０の交点がセンサ部５の中心から上に１１９画素、左に１６５画素の点であるとすると、その画素アドレス値を変換テーブルに保存する。１０°毎の場合には、２６×１３＝３２５個の画素アドレス・ペアを当該変換テーブルに保存することになる。
【００３４】
ここで、前記２画像の位置を（ｗ，ｖ）とすると、
（ｗ，ｖ）＝Ｔ（ｘ／１０，ｙ／１０）
ｘ：水平方向の角度；−１２０≦ｘ≦１２０
ｙ：垂直方向の角度；−６０≦ｙ≦６０
で規定される。本実施形態では、パノラマ化された復元画像（図３（ｂ））の全画素について、原画像（図３（ａ））で対応する画素を計算し、復元画像の画素値を以下のように計算する。
【００３５】
0004227249.tif 000002
【００３６】
このように、２画像の対応する画素のアドレスが求められ、画像全体について歪みのない超広角のパノラマ動画像が得られる。なお、画素値については補間をせず最近傍画素値を取れば、画素値をＤ（ｘ，ｙ）として、
Ｄ（ｘ，ｙ）＝Ｄ（ｗ，ｖ）
として求められる。
また、１０°毎の変換テーブルを用いずに更に細かい角度毎に規定した場合には、上記式群中の１０，１００を当該角度に応じて変更すれば良い。
【００３７】
以上説明したように、本実施形態の中心窩視覚撮像装置によれば、中心窩ミラー２の表面が、中央部位が低曲率面で周辺部位が高曲率面とされているため、この中心窩ミラー２の形状に対応して、中央部位が解像度が高く、周辺部位が解像度が低い動画像が得られることになる。そして、この動画像の周辺部位を修正することで、人間の視覚にとって違和感のない超広角のパノラマ映像を得ることが可能となる。
【００３８】
【発明の効果】
本発明によれば、中央部位の曲率が低く、周辺部位の曲率が高い凸の曲面ミラーに反射させた映像を撮影するという手法により、従来より広角で且つ安価な、中央部位の解像度が高く、周辺部位の解像度が低い中心窩視覚の特性を持つ撮像装置（撮像方法）を構成することが可能となる。
【図面の簡単な説明】
【図１】  本実施形態による中心窩視覚撮像装置を示す模式図である。
【図２】  中心窩視覚撮像装置の光学系の水平方向に沿った断面図である。
【図３】  本発明で得られる原画像（ａ）と復元画像（ｂ）を示す模式図である。
【図４】  中心窩ミラーと光学部材の特性を示す特性図である。
【符号の説明】
１  中心窩ミラーブロック
２  中心窩ミラー
３  透過面
４  光学部材
５  センサ部
６  歪み除去画像処理部
【図１】
0004227249.tif 000003
【図２】
0004227249.tif 000004
【図３】
0004227249.tif 000005
【図４】
0004227249.tif 000006