(57)【特許請求の範囲】
【請求項１】
周囲３６０度の視野領域の画像を得るように凸部が形成されて外周面がミラー面になった回転体ミラーからなる光学系と、
受光素子を備え、該受光素子の光軸を該回転体ミラーの回転軸と一致させて配置され、該光学系を構成する回転体ミラーのミラー面にて反射されて該受光素子にて受光される光によって得られる光学像を画像データに変換する撮像手段とを備えた全方位視覚センサーにおいて、
該回転体ミラーが該回転体ミラーの凸部側を該撮像手段側に向けて配置され、該回転体ミラーの凸部の中心に切り欠き部を有し、該回転体ミラーの切り欠き部内に、一方の側に凸部を有する１つの広角レンズが、該広角レンズの凸部側を該撮像手段とは反対側に向けて、かつ、該広角レンズの光軸を前記回転体ミラーの凸部の中心に一致するように嵌め込まれ状態で配置されており、
該広角レンズの視野領域が、前記回転体ミラーのミラー面による前記撮像手段の視野領域に隣接するように設定されており、
該撮像手段は該切り欠き部内に配置された該広角レンズを通して前方の画像を撮像可能である全方位視覚センサー。
【請求項２】
前記回転体ミラーが双曲面ミラーであることを特徴とする請求項１に記載の全方位視覚センサー。
【請求項３】
前記回転体ミラーが球面ミラーであることを特徴とする請求項１に記載の全方位視覚センサー。
【請求項４】
前記回転体ミラーが円錐面ミラーであることを特徴とする請求項１に記載の全方位視覚センサー。
【請求項５】
前記回転体ミラーが放物面ミラーであることを特徴とする請求項１に記載の全方位視覚センサー。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、周囲３６０度の全方位を観測するための視覚センサーに関し、特に、監視用カメラシステムや移動ロボット等の視覚システムに用いられ、周囲全体の視野情報を実時間（リアルタイム）で得ることができる全方位視覚センサーに関する。
【０００２】
【従来の技術】
近年、監視用カメラシステムや移動ロボット等に応用することを目指して、広い範囲の視覚情報を入力することができる入力装置として、様々な全方位視覚センサーが提案されている。
【０００３】
例えば、
▲１▼１台のカメラを回転させながら画像を取り込み、つなぎ合わせる方法（特開平１０−１０５８４０号公報；侵入物体自動検知システム）
▲２▼平板形状ミラーを回転させながら画像を取り込み、つなぎ合わせる方法（特開平１１−４３７３号公報；全周パノラマ画像構成方法および装置）
▲３▼固定された複数台のカメラを用いて、１度に全方位の画像を取り込む方法（特開平１１−１６４２９２号公報；画像生成装置、画像呈示装置、画像生成方法及び画像合成方法）
▲４▼魚眼レンズ等の広角レンズを用いて、広視野画像を一括で取り込む方法（特開平１１−３５５７６３号公報；監視システムおよび監視方法）
▲５▼球面、円錐面、双曲面等の特殊形状の反射鏡を用いて、画像を一括で取り込む方法（特開平１１−２１８４０９号公報；３次元情報計測方法及び装置）
等が知られている。
【０００４】
【発明が解決しようとする課題】
上記▲１▼の方法は、１台のテレビジョンカメラを電動雲台の上に載せて、３６０度回転させることにより周囲の画像を取り込み、画像処理によりつなぎ合わせるものであり、解像度の高い全方位画像を取り込むことが可能である。しかし、カメラを回転させながら画像を取り込む関係上、１度に全方位の画像を取り込むことができず、リアルタイム性に劣る。
【０００５】
また、上記▲２▼の方法は、ミラーを３６０度回転させて、ミラーで反射した周囲の画像を固定したカメラで取り込んで、画像処理によってつなぎ合わせるものであり、上記▲１▼の方法と同様に、解像度の高い全方位画像を取り込むことが可能である。しかし、カメラを回転させながら画像を取り込む関係上、１度に全方位の画像を取り込むことができず、上記▲１▼の方法と同様にリアルタイム性に劣る。
【０００６】
さらに、上記▲１▼および▲２▼の方法は、カメラまたはミラーを回転させるための機械部分が存在し、長期間の稼働に対して保守およびメンテナンスが必要である。
そこで、機械部分を用いずに一度に全方位の画像を取り込むことができる方法として、上記▲３▼〜▲５▼の方法が提案されている。
【０００７】
上記▲３▼の方法は、固定された複数台のカメラを用いて１度に全方位の画像を取り込む方法であり、リアルタイム性に優れている。また、機械部分を必要としないため、長期の稼働に適しており、信頼性に優れている。しかしながら、複数のカメラを用いるため、システムのコストが高くなるという問題がある。
【０００８】
また、上記▲４▼および▲５▼の方法は、広角レンズや特殊形状の反射鏡を用いて広視野画像を一括で取り込む方法であり、上記▲３▼の方法と同様にリアルタイム性に優れ、機械部分を必要としないために長期の稼働に適しており、信頼性に優れている。さらに、上記▲３▼の方法と異なり、カメラを１台しか使用せず、システムのコストも安く構成することができる。しかしながら、上下左右３６０度の完全な全方位の画像を取り込むことができず、視野の一部に死角が存在するという欠点がある。
【０００９】
以下に、上記▲４▼および▲５▼の方法における視野および死角の概略について、図６〜図１０を用いて説明する。ここでは、レンズまたはミラーの下にカメラを配置したときの中心軸を含む鉛直面を示す。
【００１０】
図６は、上記▲４▼の方法において広角レンズ１０を用いた場合の視野であり、広角レンズ１０の凸部を上にしてカメラを含む撮像部をその下に配置した構成では、レンズの周囲（前後左右）３６０度の画像は取り込めるが、上下方向には上半分の画像しか取り込むことができない。すなわち、下半分が死角となる。
【００１１】
図７は、上記▲５▼の方法において回転体ミラーとして円錐面ミラー２０を用いた場合の視野であり、レンズの周囲（前後左右）３６０度の画像は取り込めるが、上下方向ではミラー面が障害となり、上方および下方に死角が存在する。よって、撮像手段としてのカメラから見て前方正面が死角となっていた。
【００１２】
図８は、上記▲５▼の方法において回転体ミラーとして球面ミラー３０を用いた場合の視野であり、レンズの周囲（前後左右）３６０度の画像は取り込めるが、上下方向ではミラー面が障害となり、上方に死角が存在する。よって、撮像手段としてのカメラから見て前方正面が死角となっていた。
【００１３】
図９は、上記▲５▼の方法において回転体ミラーとして双曲面ミラー４０を用いた場合の視野であり、レンズの周囲（前後左右）３６０度の画像は取り込めるが、上下方向ではミラー面が障害となり、上方に死角が存在する。よって、撮像手段としてのカメラから見て前方正面が死角となっていた。
【００１４】
図１０は、上記▲５▼の方法において回転体ミラーとして放物面ミラー５０を用いた場合の視野であり、レンズの周囲（前後左右）３６０度の画像は取り込めるが、上下方向ではミラー面が障害となり、上方に死角が存在する。よって、撮像手段としてのカメラから見て前方正面が死角となっていた。
【００１５】
このように、上記▲４▼および▲５▼の方法では、いずれも、視野の一部に死角が存在する。また、上記▲４▼の方法は、上述したように、その視野が上方に限られているため、移動ロボットに設置した場合を考えると、天井ばかりを観測することになりやすい。すなわち、観測する必要の無い上方の領域が多く観測され、本来衝突回避のために必要とされるロボット自身の側方の観測が不十分であった。
【００１６】
そこで、近年では、視野の一部に死角が存在するものの、リアルタイム性に優れ、低コスト、かつ、高信頼性を有する、回転体ミラーを使用する上記▲５▼の方法が注目されている。この中でも、特に、双曲面ミラーを用いる方法は、その光学系が透視投影系であるため、入力画像をミラーの焦点から見た画像（一般のカメラで撮像した画像）や、カメラを鉛直軸周りに回転して得られる画像（円筒状の全方位画像）に簡単に変換することができ、他のミラーを用いる方法に比べて多様な画像処理が可能となる。この双曲面ミラーを用いた全方位視覚系は、特開平６−２９５３３３号公報に記載されている。しかし、上記▲５▼の方法では、いずれもカメラから見て前方正面が死角となっており、全方位視覚センサーを多方面に応用するためには、さらに死角を減らすことが好ましい。
【００１７】
本発明は、このような従来技術の課題を解決するためになされたものであり、従来の回転体ミラー（円錐面ミラー、球面ミラー、双曲面ミラー、放物面ミラー等）を利用した全方位視覚センサーの死角を減らして多方面への応用を可能にすることができる全方位視覚センサーを提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明の全方位視覚センサーは、周囲３６０度の視野領域の画像を得るように凸部が形成されて外周面がミラー面になった回転体ミラーからなる光学系と、受光素子を備え、該受光素子の光軸を該回転体ミラーの回転軸と一致させて配置され、該光学系を構成する回転体ミラーのミラー面にて反射されて該受光素子にて受光される光によって得られる光学像を画像データに変換する撮像手段とを備えた全方位視覚センサーにおいて、該回転体ミラーが該回転体ミラーの凸部側を該撮像手段側に向けて配置され、該回転体ミラーの凸部の中心に切り欠き部を有し、該回転体ミラーの切り欠き部内に、一方の側に凸部を有する１つの広角レンズが、該広角レンズの凸部側を該撮像手段とは反対側に向けて、かつ、該広角レンズの光軸を前記回転体ミラーの凸部の中心に一致するように嵌め込まれ状態で配置されており、該広角レンズの視野領域が、前記回転体ミラーのミラー面による前記撮像手段の視野領域に隣接するように設定されており、該撮像手段は該切り欠き部内に配置された該広角レンズを通して前方の画像を撮像可能であり、そのことにより上記目的が達成される。
前記回転体ミラーが双曲面ミラーであることが望ましい。
前記回転体ミラーが球面ミラーであることが望ましい。
前記回転体ミラーが円錐面ミラーであることが望ましい。
前記回転体ミラーが放物面ミラーであることが望ましい。
【００１９】
上記構成によれば、後述する実施形態に示すように、従来技術では死角となっていた撮像手段の前方部分（光学系の上方部分）が視野に入り、視野の拡大を図ることが可能となる。
【００２１】
上記構成によれば、後述する実施形態に示すように、さらに死角を減らして視野を拡大することが可能となる。
【００２３】
上記構成によれば、後述する実施形態に示すように、上方の死角を無くすことが可能となる。
【００２４】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２５】
上述の図７〜図１０に示したように、周囲３６０度の視野領域が得られる回転体ミラー（円錐面ミラー、球面ミラー、双曲面ミラー、放物面ミラー等）を光学系として用いた全方位視覚センサーでは、ミラー面が障害物となって撮像手段（カメラ等）から見て前方正面が視覚となっていた。一方、ミラーの下方部分は、視野の一部としての機能を果たすものの、カメラとその撮像部分が視野に入るだけとなる。そこで、本発明にあっては、例えば図１に示すように、凸部側をカメラ６１に向けた回転体ミラー６０において、凸部の中心に切り欠き部６２を設けてカメラ６１の前方（光学系の上方）が見えるようにしている。これによって、従来技術では死角となっていた光学系の上方部分の視野を拡大することが可能となる。このとき、カメラ６１の後方（光学系の下方）は死角になるが、カメラ６１とその撮像部分が視野に入らなくなるだけであり、特に問題は生じない。この切り欠き部の大きさは、必要画角に応じて好ましい範囲が変わるが、通常は、少なくともカメラ自身の視野範囲に相当する大きさが必要である。
【００２６】
さらに、回転体ミラーの切り欠き部に、凸部をカメラとは反対側に向けた広角レンズを配置することにより、カメラの前方の死角を減らして視野を広げることができる。
【００２７】
このとき、図２に示すように、広角レンズ７２の視野範囲（画角）を回転体ミラー７０の死角部と一致させることにより、カメラ７１の前方の死角をほとんど無くすことができる。
【００２８】
図３に、本発明によってカメラの撮像面に得られる画像を示す。本発明では、回転体ミラーを光学系に用いているため、結果的に同心円状の２つの円形の画像が得られる。このうち、外側の画面８０に映る画像は回転体ミラーを通して得られた回転体ミラーの周囲３６０度の画像であり、内側の画面８１に映る画像は、回転体ミラーの切り欠き部を通して得られたカメラ前面の画像である。このように、本発明によれば、周囲３６０度の画像とカメラ前方の画像とを同時に得ることができる。この画像を基にして、従来から知られている画像処理技術を用いて、パノラマ変換を行って２つの画像をつなぎ合わせることにより、従来技術では死角となっていた領域の画像情報を同時に得ることができる。よって、より広範囲の周囲の画像をリアルタイムに得ることができるようになる。
【００２９】
なお、ここまでは「カメラ」で「画像」を取り込むことについて説明したが、この「画像」は「静止画」を意味している。当然のことながら、「ビデオカメラ」を用いれば、動画である「映像」を取り込むことになる。そこで、例えば１秒間に３０枚の静止画の「画像」を取り込んで画像処理を行えば、動画である「映像」の処理を行うことが可能である。上述したように、本発明は全方位の画像を一括してリアルタイムに取り込むことができるものであり、この後の説明においても「カメラ」および「画像」と表現するが、各々「ビデオカメラ」および「映像」と置き換えることが可能であることは言うまでもない。
【００３０】
以下に、回転体ミラーとして双曲面ミラーを用いた実施の形態について、さらに詳しく説明する。
【００３１】
この双曲面ミラーを用いた全方位視覚系については、上述したように、特開平６−２９５３３３号公報に詳細が述べられている。すなわち、図４に示すように、双曲面ミラー９０の回転軸（中心軸）とカメラの受光素子の光軸を一致させて、双曲面ミラー９０の第２焦点９３にカメラのレンズ９１の中心を配置し、レンズの焦点距離だけ離れた位置に撮像面９４を配置することにより、撮像面９４には双曲面ミラー９０の第１焦点９２の周囲３６０度の画像情報が映る。
【００３２】
なお、図４において、双曲面ミラー９０の漸近線９５、９６の交点を原点として、水平面（撮像面９４に平行な面）をＸ軸およびＹ軸、鉛直軸をＺ軸とする座標系を考えると、双曲面ミラー９０の表面は
（Ｘ2＋Ｙ2）／ａ2−Ｚ2／ｂ2＝−１  ・・・（式１）
で表される。上記式（１）において、ａおよびｂは双曲面の形状を決定する数値である。また、漸近線９５、９６の交点から双曲面ミラー９０の第１焦点９２および第２焦点９３までの距離ｃは
ｃ＝√（ａ2＋ｂ2）  ・・・（式２）
で表される。
【００３３】
ここで、本実施形態では、図４に示した双曲面ミラー９０の代わりに、図１に示したような凸部の中心部に切り欠き部６２を設けた双曲面ミラーを用いる。これによって、図３に示したように、内側の画面８１に映る画像として直接カメラで撮影したものと同様の画像が得られる。
【００３４】
しかしながら、この場合、図１に示したように、カメラ前方の一部に死角が存在する。そこで、この死角部を無くすために、図２に示したように切り欠き部に広角レンズ７２を配置することにより、さらに広い視野を得ることができる。以下に、この広角レンズの設計例について説明する。
【００３５】
図５はカメラレンズ１００と広角レンズ１０１との位置関係を示した図である。この図５において、広角レンズ１０１は双曲面ミラーの切り欠き部に配置する広角レンズであり、物点１０２の像は広角レンズ１０１によって第１結像点１０３に結像する。この第１結像点１０３の像が、カメラレンズ１００を通して、像点１０４に結像する。ここで、カメラレンズ１００の焦点距離をｆ１、広角レンズ１０１の焦点距離をｆ２、カメラレンズ１００から像点１０４までの距離をＳ１、カメラレンズ１００から第１結像点１０３までの距離をＳ２、広角レンズ１０１から第１結像点１０３までの距離をＳ３、広角レンズ１０１から物点１０２までの距離をＳ４とすると、レンズの結像公式によって、各々、
１／Ｓ１＋１／Ｓ２＝１／ｆ１  ・・・（式３）
１／Ｓ３＋１／Ｓ４＝１／ｆ２  ・・・（式４）
が成り立つ。そこで、
Ｓ２＋Ｓ３＝ｄ  ・・・（式５）
とすると、双曲面ミラーの切り欠き部に広角レンズを設けた全方位視覚センサーでは、図４において双曲面ミラー９０の第２の焦点９３に配置されたカメラレンズ９１からｄの距離に広角レンズの中心を配置すれば、上述の図３の画像において広角レンズを通して得られた画像が内側の画面８１に画像として映ることになる。
【００３６】
さらに、図５において、カメラレンズ１００と広角レンズ１０１からなる光学系を１つの合成レンズ系として考えると、その焦点距離ｆは、
１／ｆ＝（ｆ１＋ｆ２−ｄ）／ｆ１×ｆ２  ・・・（式６）
で与えられる。一方、合成レンズ系の口径をＤとすると、その画角ｎは、
ｎ＝Ｄ／ｆ  ・・・（式７）
で与えられる。
【００３７】
そこで、広角レンズの画角を双曲面ミラーの死角部分に一致させるためには、
ｎ＝Ｄ／ｆ＝ｂ／２×ａ  ・・・（式８）
とすればよい。ここで、ａおよびｂは回転ミラーの形状によって決まっており、ｆ１はカメラレンズ１００によって与えられており、ｄは広角レンズ１０１の口径で決まる。よって、上記式６と上記式８とからｆ２を求めれば、広角レンズを設計することができ、この広角レンズを用いて死角を無くした全方位視覚センサーを実現することができる。
【００３８】
なお、上記実施形態では回転体ミラーとして双曲面ミラーを用いた例について説明したが、円錐面ミラー、球面ミラー、放物面ミラー等の他の回転体ミラーを用いた全方位視覚センサーについても同様に実施することが可能である。
【００３９】
例えば、回転体ミラーに切り欠き部を設けた請求項１に記載の全方位視覚センサーは、切り欠く部分の視野情報をカメラの撮像面に結像させるように、カメラの被写界深度を選ぶことによって実施可能である。また、請求項２に記載の全方位視覚センサーは、上記式（５）で得られる距離に広角レンズ１０１を配置すればよい。さらに、請求項３に記載の全方位視覚センサーは、各回転体ミラーの死角が決まれば、上記式（７）によってこの死角に一致する画角が得られる広角レンズを選択すればよい。
【００４０】
【発明の効果】
以上詳述したように、本発明によれば、機械部分が不要で、信頼性が高く、死角部分が少なく、周囲３６０度の情報がリアルタイムに得られる全方位視覚センサーを実現することができ、監視用カメラシステムや移動ロボット等の視覚システムに用いれば、多大な効果を発揮することができる。さらに、高価なカメラは１台で済むので、安いコストで全方位を観測するための視覚センサーを実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である全方位視覚センサーによる視野の拡大状況を説明するための図である。
【図２】本発明の他の実施形態である全方位視覚センサーによる視野の拡大状況を説明するための図である。
【図３】本発明の一実施形態である全方位視覚センサーにおいて、カメラの撮像面に得られる画像を示す図である。
【図４】従来技術による双曲面ミラーとカメラの位置関係を説明するための図である。
【図５】カメラレンズと広角レンズの結像関係を説明するための図である。
【図６】広角レンズを用いた従来技術における視野と死角領域とを説明するための図である。
【図７】円錐面ミラーを用いた従来技術における視野と死角領域とを説明するための図である。
【図８】球面ミラーを用いた従来技術における視野と死角領域とを説明するための図である。
【図９】双曲面ミラーを用いた従来技術における視野と死角領域とを説明するための図である。
【図１０】放物面ミラーを用いた従来技術における視野と死角領域とを説明するための図である。
【符号の説明】
１０  広角レンズ
１１、２１、３１、４１、５１、６１、７１  カメラ
２０  円錐面ミラー
３０  球面ミラー
４０、９０  双曲面ミラー
５０  放物面ミラー
６０、７０  回転体ミラー
６２  切り欠き部６２
７２、１０１  広角レンズ
８０  撮像面に映る外側画面
８１  撮像面に映る内側画面
９１、１００  カメラレンズ
９２  第１焦点
９３  第２焦点
１０２  物点
１０３  第１結像点
１０４  像点
【図１】
0003841621.tif 000002
【図２】
0003841621.tif 000003
【図３】
0003841621.tif 000004
【図４】
0003841621.tif 000005
【図５】
0003841621.tif 000006
【図６】
0003841621.tif 000007
【図７】
0003841621.tif 000008
【図８】
0003841621.tif 000009
【図９】
0003841621.tif 000010
【図１０】
0003841621.tif 000011