(57)【要約】【課題】回転体ミラーの光軸の撮像手段上の交点と、この撮像手段上にある画像変換の中心位置（原点）との相対位置を、人手による調整を行うことなく自動的に一致させることができ、より正確な画像処理を行う。【解決手段】最大方位３６０度の画像光を回転体ミラー２１に投影し、回転体ミラー２１からの反射光を撮像手段２２で受光して表示用画像データを得る全方位視覚システム１において、表示用画像データに含ませた所定の印の画像の座標データに基づいて、回転体ミラー２１の回転中心軸である光学軸Ｌ１と撮像手段２２の受光領域との交点である中心座標を検出する中心座標検出手段３２を備えている。【選択図】　図１
2004093973.tif 000002
【特許請求の範囲】
【請求項１】
最大方位３６０度の画像光を投影する回転体ミラーからの反射光を撮像部で受光して表示用画像データを得る全方位視覚システムにおいて、該表示用画像データに含ませた所定の印の画像の座標データに基づいて、該回転体ミラーの回転中心軸である光学軸と該撮像部の受光領域との交点である中心座標を検出する中心座標検出手段を備えた全方位視覚システム。
【請求項２】
前記撮像部は、前記回転体ミラーからの反射光を受光して撮像画像データに変換し、該撮像画像データを表示用画像データに変換するデータ変換手段を備え、該表示用画像データの前記中心座標を用いて画像変換処理を行う請求項１記載の全方位視覚システム。
【請求項３】
前記中心座標を画像変換処理時の基準座標として座標補正する座標補正手段を備えた請求項１または２記載の全方位視覚システム。
【請求項４】
前記所定の印は、前記回転体ミラーの表面の光学軸部に設けられた請求項１または２記載の全方位視覚システム。
【請求項５】
前記所定の印は、前記回転体ミラーの表面の光学軸部近傍位置に設けられかつ、該回転体ミラーと撮像部とを前記光学軸を中心に相対的に回転させる回転駆動手段を備え、前記中心座標検出手段は、円弧上にある少なくとも三つの所定の印の座標データに基づいて前記中心座標を検出する請求項１または２記載の全方位視覚システム。
【請求項６】
前記所定の印は、前記中心位置指示手段の中心位置に付されており、前記回転体ミラーには、前記回転軸と同心状に孔が設けられ、その孔中に該中心位置指示手段が配設されている請求項１または２記載の全方位視覚システム。
【請求項７】
前記所定の印は中心位置指示手段の中心位置から外れた位置に付されており、前記回転体ミラーには回転軸と同心状に孔が設けられ、その孔中に該中心位置指示手段が配設されており、該中心位置指示手段と前記撮像部とを前記光学軸を中心に相対的に回転させる回転駆動手段を備えた請求項１または２記載の全方位視覚システム。
【請求項８】
前記所定の印は、前記撮像画像データのうちで周辺映像の撮像に寄与しない領域である死角領域に対応する前記回転ミラーの領域に設けられている請求項４〜７の何れかに記載の全方位視覚システム。
【請求項９】
前記所定の印は、前記撮像画像データのうちで周辺映像の撮像に寄与する領域である撮像領域に対応する前記回転ミラーの領域に設けられている請求項４〜７の何れかに記載の全方位視覚システム。
【請求項１０】
前記所定の印は、位置検出マット部材上に分散または連続して円形状に設けられかつ、前記中心座標検出手段は、前記回転体ミラーおよび撮像部を該位置検出マット部材の該円形状の中心部に同心状に配置して得られる前記撮像画像データ内の所定の印を検出し、その検出した該所定の印の位置座標に基づいて前記中心座標を検出する請求項１または２記載の全方位視覚システム。
【請求項１１】
前記撮像部の撮像領域に撮像される円形撮像画像の直径の大きさは、該撮像部と前記回転体ミラーの実装誤差寸法だけ該撮像領域の短辺よりも小さく設定された請求項１または２記載の全方位視覚システム。
【請求項１２】
前記所定の印が回転する際に、前記中心座標検出手段は、前記撮像部によって映し出された画像の横方向をｘ軸方向、縦方向をｙ軸方向としたときに、該所定の印が一定時間内に撮像画像として撮像された複数の画像座標のｘ軸、ｙ軸のそれぞれの最大値、最小値の平均値から前記中心座標を求める請求項５または７記載の全方位視覚システム。
【請求項１３】
最大方位３６０度の画像光を投影する回転体ミラーからの反射光を撮像部で受光して表示用画像データを得、該表示用画像データに含ませた所定の印の画像の座標データに基づいて、該回転体ミラーの回転中心軸である光学軸と該撮像部の受光領域との交点である中心座標を検出する中心座標検出方法。
【請求項１４】
撮像画像の中心位置を算出する方法として中心位置検出用の印を回転させ、前記撮像部によって映し出された画像の横方向をｘ軸方向、縦方向をｙ軸方向としたときに、該印が一定時間内に撮像画像として撮像された複数の画像座標のｘ軸、ｙ軸のそれぞれの最大値、最小値の平均値から中心座標を求める請求項１３記載の中心座標検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、最大方位３６０度の画像光を撮像して特定の物体を監視する全方位監視システムなどの全方位視覚システムおよびこれに用いた中心座標検出方法に関する。
【０００２】
【従来の技術】
従来、全方位画像を同時に撮影可能な全方位知覚系として、凸型回転体ミラーを用いた知覚系が特開平６−２０５３３３号公報に提案されている。ここでは、凸型体ミラーからの反射光の円形画像を撮像手段で撮像し、この撮像手段の撮像部における光学軸の位置、即ち円形画像の中心をＸ座標、Ｙ座標の原点とし、かつ、回転体ミラーの回転軸である光学軸をＺ軸とする座標系を用いると、全パノラマ画像や透視画像が容易に得られる。
【０００３】
その応用技術として、例えば特開平１１−３３１６５４号公報の「全方位視覚センサ」が提案されている。この全方位視覚センサは、撮像手段と回転体ミラーとの組合せにより、周囲３６０°の全方位画像を撮像するセンサであり、撮像手段と回転体ミラーとの位置を固定して撮像された画像から回転体ミラーのカーブを考慮して画像変換するものである。
【０００４】
また、特開２０００−１２８０３１号公報には、走行している自動車の周囲画像を記録するドライブレコーダが提案されている。また、特開２００１−３３１７８９号公報には、移動体の周囲画像を容易に確認して安全性を高めるための装置である移動体の周囲監視システムが提案されている。
【０００５】
そのうちの特開平１１−３３１６５４号公報「全方位視覚センサ」の動作原理について図１８〜図２０を用いて以下に説明する。
【０００６】
図１８は、従来の全方位視覚センサの概略構成図である。
【０００７】
図１８において、この全方位視覚センサ８０は、回転体ミラー８１と、これを保持する透明保持体８２と、回転体ミラー８１と対向して配設された撮像手段８３とを有し、回転体ミラー８１と透明保持体８２とが透光性保持体８２を介して所定の相対的な位置に固定されている。
【０００８】
回転体ミラー８１は、ミラー表面が下に凸型であって、円錐面、球面、放物面、双曲面などの各種形状をしており、このミラー表面は反射率が高く、ここへ外周３６０°の全方位の風景画像が写るようになっている。
【０００９】
撮像手段８３は、回転体ミラー８１からの反射光を集光するレンズ８４と、レンズ８４からの集光を撮像する撮像部８５とを有し、回転体ミラー８１のミラー表面に写った反射画像を撮像するものである。但し、垂直方向のＡ１からＡ２で挟まれた視野角範囲Ｒ１であって水平方向３６０度から回転体ミラー８１のミラー表面に入射する全方位画像光は、回転体ミラー８１のミラー表面で反射し、その反射光がレンズ８４を通って撮像部８５上に結像する。この場合、Ａ２からＡ２’までの死角範囲Ｒ２から回転体ミラー８１のミラー表面に入力されるべき光は、撮像部８５に対して外部の景色が映らず、撮像手段８３自体が映し出される死角部分となっている。
【００１０】
図１９は、図１８の全方位視覚センサ８０で撮像した全方位画像を示す図である。
【００１１】
図１９において、全撮像領域８６は、撮像部８５で映された回転体ミラー８１からの反射光による円形撮像領域８７を有している。この円形撮像領域８７の中央部分には、図１８のＡ２からＡ２’で示した死角範囲Ｒ２の死角領域８８が存在にする。この円形撮像領域８７内側で死角領域８８の外側がドーナツ状の撮像領域８７Ａである。この周囲画像の撮像領域８７Ａには、回転体ミラー８１に映った物体が物体画像８９として結像されている。
【００１２】
図２０は、図１８の全方位視覚センサ８０を用いた撮像システム９０の要部構成を示すブロック図である。
【００１３】
図２０において、この撮像システム９０は、全方位画像を撮像する全方位視覚センサ８０と、全方位画像の認識結果に基づいて各種制御を行う制御装置とを有している。この制御装置としては、画像処理部９１と、記憶手段９２と、演算処理部９３と、被制御部９４と、制御部９５とを有している。
【００１４】
画像処理部９１は、全方位視覚センサ８０で撮像した全方位画像をパノラマ画像に変換する画像変換処理や、その全方位画像から所定の物体画像を検出する物体認識処理などの各種画像処理を行う。
【００１５】
記憶手段９２は、後述する演算処理部９３が各種演算処理を行うのに必要な各処理情報を記憶する。
【００１６】
演算処理部９３は、画像処理部９１での画像処理結果および記憶手段９２の各処理情報に基づいて各種演算を行い、装置内部（被制御部９４）および外部に制御信号（出力信号）を出力する。
【００１７】
被制御部９４としてはモータやスピーカなどである。
【００１８】
制御部９５は、演算処理部９３の演算結果信号により例えばモータやスピーカなどの被制御部９４を駆動制御する。撮像された全方位画像から例えば障害物を認識したときになど、スピーカを介して警報を発すると共に、モータの駆動を停止させることなどが考えられる。この撮像システム９０は、全方位視覚センサ８０からの画像データを各種画像処理して物体認識処理などの各種動作を行うセキュリティ分野やアミューズメント分野などに利用可能である。
【００１９】
図２１は、図２０の画像処理部９１でパノラマ画像に展開する画像変換処理の説明図である。
【００２０】
図２１において、パノラマ画像９７は、全方位画像であるドーナツ状の円形撮像画像９８を矢印方向ａ１，ａ２に切り開く途中を示す展開途中画像９９を介して得られる。
【００２１】
ここで、円形撮像画像９８において、その中心を原点とした極座標で入力画像を表わすと、各画素の座標Ｐは（ｒ，θ）で表わされ、所定の基準座標Ｏは（ｒ０，θ０）で表わされる。
【００２２】
一方、パノラマ画像９７において、円形撮像画像９８の点Ｐ（ｒ，θ）に対応したパノラマ画像９７上の直交座標を点Ｐ（ｘ，ｙ）とし、この円形撮像画像９８の所定の基準座標Ｏ（ｒ０，θ０）を基準に四角いパノラマ画像９７の直交座標に変換する座標変換式は、
ｘ＝θ−θ０
ｙ＝ｒ−ｒ０
となる。
【００２３】
また、円形撮像画像９８上の中心点の座標をその所定の基準点として（Ｘ，Ｙ）とすると、
Ｘ＝ｒ×ｃｏｓθ
Ｙ＝ｒ×ｓｉｎθ
より、
ｘ＝ａｒｃｔａｎ（Ｙ　／　Ｘ）
ｙ＝ｓｑｒｔ（Ｘ２＋Ｙ２）
と表わされる。
【００２４】
つまり、撮像された円形撮像画像９８の座標がどこを中心とした円形画像になっているかが判ると、パノラマ画像９７への展開を正確にすることができる。
【００２５】
【発明が解決しようとする課題】
前述したように、円形撮像画像９８をパノラマ画像９７や透視画像などの各種画像に画像変換処理するためには、画像変換の座標系として光学軸が撮像部に撮像された位置、つまり、回転体ミラー８１の光学軸（回転軸または単に光軸）と撮像部の交点座標を原点とする座標系で画像データを表現する必要がある。
【００２６】
前記全方位視覚センサ８０で説明すると、図１８に示すように撮像部８５に回転体ミラー８１からの反射光が撮像されており、かつ全方位視覚センサ８０からの円形撮像画像信号を用いて、図２１のようなパノラマ画像９８や透視画像を生成するなどの画像変換処理を行う場合には、凸型の回転体ミラー８１の中心座標がどこに映し出されているかが情報として必要になる。つまり、全方位視覚センサ８０の回転体ミラー８１と撮像手段８３とを実装する際に、撮像部８５上に映される画像を見ながら回転体ミラー８１の光軸Ｌ１（中心座標）と撮像手段８３の中心位置Ｌ２とを調整する必要がある。
【００２７】
前記した円形撮像画像９８をパノラマ画像９７に座標変換したり透視画像に座標変換したりするには、ＣＣＤやＣＭＯＳイメージセンサなどの固体撮像素子（例えば撮像部８５の撮像領域）上にある所定の中心位置Ｌ２を座標中心として撮像データを所定の変換方式に従って画像データ処理を行う。
【００２８】
このとき、凸型回転体ミラー８１の回転軸、即ち光軸Ｌ１と固体撮像素子の所定の中心位置Ｌ２とを一致させる必要がある。
【００２９】
しかし、実際に全方位視覚センサ８０を組立ててみると、回転体ミラー８１と撮像手段８３とを機械的に精度よく加工しても撮像部８５に映し出される回転体ミラー８１からの画像には個別に誤差が生じる。これは、撮像手段８３内部にある撮像部８５の筐体またはパッケージとその内部にある固体撮像素子デバイスとの位置ずれが原因である。
【００３０】
前述したような円形撮像画像９８からパノラマ画像９７への座標展開は、原点となる座標（以下、中心座標という）が特定された後の計算式であり、その中心座標に位置ずれが存在すると正しく座標展開することができない。
【００３１】
前述した各先行技術では、その中心座標が設計値の位置からずれた場合に、この中心座標のずれを検出する手段を備えていない。このため、不適切な座標系を用いて画像変換を行うことになり、座標変換後の画像には歪みが生じてしまうという問題があった。このため、通常、回転体ミラー８１の光軸Ｌ１と、撮像部８５（ＣＣＤまたはＣＭＯＳイメージセンサなどの固体撮像素子）上にある所定の中心位置Ｌ２（中心座標）とを一致させるために、光軸Ｌ１を撮像部８５の中心位置Ｌ２（中心座標）に一致させるための組立ジグを機種個別に作り、製品１台毎に人手により位置調整を行っていた。
【００３２】
また、全方位視覚センサ８０を用いた撮像システム９０では、画像処理を行う場合でかつ、中心座標設定を行う必要がある場合に、全方位視覚センサ８０毎の位置ずれが存在するために、全方位視覚センサ８０と画像処理部９１とは１対１に対応しなければならず、全方位視覚センサ８０と画像処理部を９１とを単に組合せただけでは、正しく画像処理を行うことができず、座標変換処理後の画像が歪んでしまう。
【００３３】
さらに、全方位視覚センサ８０の回転体ミラー８１と撮像手段８３とをネジ止めなどの固定装置にて固定したとしても、長期間の使用により経時的にそれらの位置関係にずれが生じる場合にも、画像処理を行うと、前記した光軸Ｌ１と所定の中心位置Ｌ２にずれが生じてしまう。
【００３４】
このように、全方位視覚センサ８０を用いた画像処理システム９０において、製品毎に位置調整が必要になるため、生産上、非常に手間（生産時間）がかかり大量生産には向かず、コスト高になると共に精密な組立てができない。このため、特に民生機器など低コストが求められる分野では、十分なユーザ要望に応えることができなかった。
【００３５】
本発明は、上記事情に鑑みて為されたもので、回転体ミラーの光軸の撮像手段上の交点と、この撮像手段上にある画像変換の中心位置（原点）との相対位置を、人手による調整を行うことなく自動的に一致させることができ、より正確な画像変換処理を行うことができる全方位視覚システムおよびこれに用いる中心座標検出方法を提供することを目的とする。
【００３６】
【課題を解決するための手段】
本発明の全方位視覚システムは、最大方位３６０度の画像光を投影する回転体ミラーからの反射光を撮像部で受光して表示用画像データを得る全方位視覚システムにおいて、表示用画像データに含ませた所定の印の画像の座標データに基づいて、回転体ミラーの回転中心軸である光学軸と撮像部の受光領域との交点である中心座標を検出する中心座標検出手段を備えたものであり、そのことにより上記目的が達成される。
【００３７】
また、好ましくは、本発明の全方位視覚システムにおける撮像部は、回転体ミラーからの反射光を受光して撮像画像データに変換し、撮像画像データを表示用画像データに変換するデータ変換手段を備え、表示用画像データの中心座標を用いて画像変換処理を行う。
【００３８】
さらに、好ましくは、本発明の全方位視覚システムにおいて、中心座標を画像変換処理時の基準座標として座標補正する座標補正手段を備えている。
【００３９】
さらに、好ましくは、本発明の全方位視覚システムにおける所定の印は、回転体ミラーの表面の光学軸部に設けられている。
【００４０】
さらに、好ましくは、本発明の全方位視覚システムにおける所定の印は、回転体ミラーの表面の光学軸部近傍位置に設けられかつ、回転体ミラーと撮像部とを光学軸を中心に相対的に回転させる回転駆動手段を備え、中心座標検出手段は、円弧上にある少なくとも三つの所定の印の座標データに基づいて中心座標を検出する。
【００４１】
さらに、好ましくは、本発明の全方位視覚システムにおける所定の印は、中心位置指示手段の中心位置に付されており、回転体ミラーには、回転軸の中心と同心状に孔が設けられ、その孔中に中心位置指示手段が配設されている。
【００４２】
さらに、好ましくは、本発明の全方位視覚システムにおいて、所定の印は中心位置指示手段の中心位置から外れた位置に付されており、回転体ミラーには回転軸の中心と同心状に孔が設けられ、その孔中に中心位置指示手段が配設されており、中心位置指示手段と撮像部とを光学軸を中心に相対的に回転させる回転手段を備えた。
【００４３】
さらに、好ましくは、本発明の全方位視覚システムにおける所定の印は、撮像画像データのうちで周辺映像の撮像に寄与しない領域である死角領域に対応する回転ミラーの領域に設けられている。
【００４４】
さらに、好ましくは、本発明の全方位視覚システムにおける所定の印は、撮像画像データのうちで周辺映像の撮像に寄与する領域である撮像領域に対応する回転ミラーの領域に設けられている。
【００４５】
さらに、好ましくは、本発明の全方位視覚システムにおける所定の印は、位置検出マット部材上に分散または連続して円形状に設けられかつ、中心座標検出手段は、回転体ミラーおよび撮像部を位置検出マット部材の円形状の中心部に同心状に配置して得られる撮像画像データ内の所定の印を検出し、その検出した所定の印の位置座標に基づいて中心座標を検出する。
【００４６】
さらに、好ましくは、本発明の全方位視覚システムにおいて、撮像部の撮像領域に撮像される円形撮像画像の直径の大きさは、撮像部と回転体ミラーの実装誤差寸法だけ撮像領域の短辺よりも小さく設定されている。
【００４７】
さらに、好ましくは、本発明の全方位視覚システムにおいて、所定の印が回転する際に、中心座標検出手段は、撮像部によって映し出された画像の横方向をｘ軸方向、縦方向をｙ軸方向としたときに、所定の印が一定時間内に撮像画像として撮像された複数の画像座標のｘ軸、ｙ軸のそれぞれの最大値、最小値の平均値から中心座標を求める。
【００４８】
本発明の中心座標検出方法は、最大方位３６０度の画像光を投影する回転体ミラーからの反射光を撮像部で受光して表示用画像データを得、この表示用画像データに含ませた所定の印の画像の座標データに基づいて、回転体ミラーの回転中心軸である光学軸と撮像部の受光領域との交点である中心座標を検出するものであり、そのことにより上記目的が達成される。
【００４９】
また、好ましくは、本発明の中心座標検出方法において、撮像画像の中心位置を算出する方法として中心位置検出用の印を回転させ、撮像部によって映し出された画像の横方向をｘ軸方向、縦方向をｙ軸方向としたときに、その印が一定時間内に撮像画像として撮像された複数の画像座標のｘ軸、ｙ軸のそれぞれの最大値、最小値の平均値から中心座標を求める。
【００５０】
上記構成により、以下、本発明の作用について説明する。
【００５１】
本発明においては、回転体ミラーの光軸と一致した、撮像部における撮像画像の中心座標を自動的に検出するので、従来のように回転体ミラーと撮像部の人手による位置調整を行う必要がなく、回転体ミラーと撮像部を共に組込んだ全方位視覚システムを容易に製造することが可能となる。
【００５２】
回転体ミラーからの反射光を撮像した円形撮像画像の中心座標の検出は、以下の通り、第１の検出装置として、回転体ミラーの中心に特定の色または特定の輝度の小さな印を配置しそれを撮像する。その印の撮像座標位置を円形撮像画像の中心座標とする。
【００５３】
第２の検出装置として、回転体ミラーの回転軸（光軸）の中心付近または回転体ミラーの外周部のミラー表面に、特定の色または特定の輝度の小さい印を配置し、その小さな印を回転体ミラーの回転軸を中心に回転させ、それを撮像する。この撮像された特定の色または特定の輝度に対応する３点以上の座標から、その３点を円周上にもつ円の中心座標を求める。この中心座標は、回転体ミラーの光学軸と同心円であるから、回転体ミラーの中心座標が求められる。
【００５４】
第３の検出装置として、全方位視覚センサを特定のマット上に回転体ミラーが下に凸になるように配置され、回転体ミラーの撮像画像に、回転中心軸から等距離に３点以上の特定の色または輝度の印（円周上の点）が映るようにする。
【００５５】
第４の検出装置として、全方位視覚センサをある所定場所に置くことにより、回転体ミラーの輪郭部分の円弧を画像処理により抽出する。この円弧上の任意の点、３点以上から中心座標を求めることが可能である。
【００５６】
第２〜第４の検出装置の場合、所定の印に対応する撮像点が少なくとも３点取れれば、上記中心座標の検出は可能であるが、簡単に行うためには撮像部に映る特定の色または特定の輝度の印に対応する複数の撮像点の座標（ｘ，ｙ）のｘ軸方向、ｙ軸方向それぞれにおける最大値および最小値をそれぞれ検出し、ｘ軸、ｙ軸のそれぞれについて最大値および最小値の平均をそれぞれ取れば、上記中心座標が検出される。
【００５７】
このようにして、自動的に上記中心座標を容易かつ正確に認識することができ、そのあとの画像変換処理による正確なパノラマ変換や、正確な距離や角度の算出が可能となる。
【００５８】
【発明の実施の形態】
以下、本発明の全方位視覚システムの実施形態１〜６について図面を参照しながら説明する。
（実施形態１）
図１は、本発明の全方位視覚システムの実施形態１における要部構成を示すブロック図である。
【００５９】
図１において、撮像システムである全方位視覚システム１は、最大方位３６０度の画像光を撮像する全方位カメラ装置である全方位視覚センサ２と、全方位撮像画像データに基づいて本発明の中心座標検出処理を含む画像認識処理（画像変換処理を含む）を行う画像認識装置３と、画像認識結果などに基づいて各部を制御する制御装置４とを有しており、全方位画像光の中心光軸Ｌと一致する撮像中心座標（原点）を検出することにより、より正確な画像変換処理を含む画像認識処理をスピーディに行うことができる。
【００６０】
以下、順次、詳細に説明する。
【００６１】
全方位視覚センサ２は、図２に示すように、光学系を構成する凸型回転体ミラー２１（以下では単に、回転体ミラー２１という）と、この回転体ミラー２１からの反射光を受光して撮像画像データに変換する撮像手段２２と、これらの回転体ミラー２１および撮像手段２２を所定の位置関係で保持する透明保持体２３とを有している。
【００６２】
回転体ミラー２１は、ミラー表面が下に凸型（または上に凸型）であって、円錐面、球面、方物面、双曲面などの各種曲面形状をしている。このミラー表面は反射率が高く、ここに水平方向の外周３６０°の全方位の風景画像が写るようになっている。また、撮像手段２２が回転体ミラー２１の真下正面に対向するように位置するために、垂直方向の視野範囲Ｒ１は、図２のＡ１からＡ２で示される所定角度間の領域から回転体ミラー２１に風景画像が入射される。さらに、Ａ２からＡ２’で示される領域Ｒ２は、撮像手段２２自体が映る領域であり、周辺映像を撮像できない死角部分となっている。この凸部表面の先端にあって中心光軸Ｌ付近（回転軸の近傍位置）に特定の色または特定の輝度の印２２１が付けられている。
【００６３】
透光性保持体２３は、回転体ミラー２１と撮像手段２２とが所定の位置関係になるように、その下側と撮像手段２２とが固定され、その上側の開口内で回転体ミラー２１の凸部が嵌合して相対的に回転自在な構成としている。
【００６４】
撮像手段２２は、図２に示すように、回転体ミラー２１からの反射光を集光するためのレンズ２２１と、集光した反射光を撮像画像データに変換する撮像部２２２と、この撮像画像データを表示用画像データに変換する画像データ変換手段２２３とを有しており、最大周囲３６０度の視野角を持つ回転体ミラー２１に投影された画像光が凸型回転体ミラー２１の凸状のミラー表面上で反射し、その反射光がレンズ２２１を通って撮像部２２２の撮像領域上に結像して全方位カラー画像として撮像される。
【００６５】
撮像部２２２は、面状（矩形状の撮像領域）に配置された複数のＣＣＤ素子やＣＭＯＳイメージセンサにて構成されており、後述する図３および図４のように、回転体ミラー２１からの画像が全撮像領域の中央部に映り、更にその中心部に死角部分が映る。また、撮像部２２２に映る回転体ミラー２１からの画像の外側の撮像領域にも、回転体ミラー２１周辺の映像が直接映し出される。ところで、ここでは、回転体ミラー２１は下に凸型であるため、撮像部２２２の撮像領域上に映し出された回転体ミラー２１による画像には、回転体ミラー２１の下方向３６０°の全方位の風景が写されている。つまり、撮像部２２２には、回転体ミラー２１を介さずに直接見える画像も映っており、その中央にドーナッツ状に回転体ミラー２１の正面映像が映り、さらにその中心部に死角部分として撮像手段２２自体が映っている。
【００６６】
前記したように、撮像部２２２にＣＣＤやＣＭＯＳイメージセンサなどの撮像素子を用いる場合、撮像素子２２のパッケージと内部にある撮像素子チップの位置（撮像領域）には、デバイスの設計上、撮像される領域の所定のずれが許容されている。このため、撮像される領域のずれを考慮し、撮像部２２２の矩形状の撮像領域に映す円形撮像画像領域の大きさは、その撮像の条件に応じて、最大限に大きく映すように設定してもよいし（図３参照）、その最大限度の大きさよりも所定割合で予め小さく縮小設定してもよいし（図４参照）、その最大限度の大きさよりも所定割合で予め大きく拡大設定してもよい（図示せず）。
【００６７】
ここで、撮像部２２２の矩形状の撮像領域に映す円形撮像画像領域の大きさについて図３および図４を参照して詳細に説明する。
【００６８】
図３は、図１の全方位視覚センサ２を用いて最大限に大きく撮像した場合の回転体ミラー画像の円形撮像画像領域と撮像素子上の全撮像領域との関係を示した撮像領域図である。
【００６９】
図３において、全撮像領域５には、回転体ミラー２１からの反射投影光が映った円形撮像画像領域５１が位置しており、この円形撮像画像５１の中央部分には死角範囲５１Ａが存在している。この死角範囲５１Ａは、前述した通り、回転体ミラー２１の対向位置に配置された撮像手段２２自体により発生した画像領域である。
【００７０】
実際に、全方位視覚センサ２の周辺風景が全撮像領域５上に円形撮像画像領域５１として映し出される。全撮像領域５に映る回転体ミラー２１からの円形撮像画像領域５１は、回転体ミラー２１に写った投影画像であるため、なるべく大きくする方がよい。このため、本実施形態の全方位視覚センサ２では、回転体ミラー２１の中心光軸Ｌと一致する撮像手段２２の中心位置（中心座標）を検出し、それに基づいて正確に画像認識しようとするのであるから、撮像部２２２の全撮像領域５をなるべく無駄の無いように使うために、回転体ミラー２１の円形撮像画像領域５１のように極力大きく映すように調整することが好ましい。
【００７１】
ところが、先ほど記したように、撮像部２２２で撮像する領域に尚もずれが多少存在するために、たとえ、本実施形態にて、回転体ミラー２１の中心光軸Ｌと、撮像手段２２の中心位置（中心座標）を合わせても、その位置関係を更に調整する機構がなければ、多少の位置ずれが尚も生じる場合には、全撮像領域５に映し出される円形撮像画像領域は、例えば円形撮像画像領域５２のように位置ずれが多少とも生じる。このとき、円形撮像画像領域５２の一部領域５２Ｂは撮像部２２の全撮像領域５内に入っておらず、全撮像領域５上から投影画像が一部欠けてしまうことになる。そこで、このはみ出しを解決するために、図４のように構成してもよい。
【００７２】
図４は、図１の全方位視覚センサ２を用いてその最大限度の大きさよりも小さく撮像した場合の回転体ミラー画像の円形撮像画像領域と撮像素子上の全撮像領域との関係を示した撮像領域図である。
【００７３】
図４に示すように、上記はみ出しをなくすために、全撮像領域５に映し出される回転体ミラー２１からの円形撮像画像領域５３の大きさ（直径Ｄ）を全画像領域５の短辺長ＳＬよりも小さく設定する。このとき、円形撮像画像領域５３の中央部には死角範囲５３Ａが存在している。
【００７４】
今、撮像部２２に映る画像が、中心座標から例えば１０％ずれる撮像システムを使用する場合には、
（撮像部２２２の短辺長ＳＬ）＝１．１×（円形撮像画像領域の直径Ｄ）
と仮定することができる。これは、デバイスに許容されている位置ずれを考慮して回転体ミラー２１の形状と、回転体ミラー２１と撮像手段２２の配置を決定し、撮像部２２２の全撮像領域５上に映る回転体ミラー２１の画像の大きさを撮像部２２２の全撮像領域５の短辺長ＳＬよりもさらに小さく設定して、回転体ミラー２１の画像を全撮像領域５に対して任意のマージンを持たせるようにする。
【００７５】
このため、撮像デバイスに許容されている位置ずれが更に生じても、回転体ミラー２１からの投影画像、即ち、円形撮像画像領域５４とその死角範囲５４Ａのように、全撮像領域５内に位置させることが可能となる。つまり、回転体ミラー２１の投影画像が全撮像領域５からはみ出すことなく、その内部に確実に納まることになる。
【００７６】
なお、以上の説明は、回転体ミラー２１の画像の全てが必要となる場合であるが、回転体ミラー２１の任意箇所の投影画像しか必要でない場合には、その部分の大きさを基準に大きさを考えればよい。例えば、円形撮像画像領域５１の直径Ｄの１／２の所定領域の撮像データのみが必要であるならば、円形撮像画像領域５１の大きさの２倍の大きさに拡大した円形撮像画像領域とすることもできる。
【００７７】
また、図１の全方位視覚センサ２を用いて通常のずれをも吸収できる程度に円形撮像画像領域を更に小さく撮像するようにすれば、本発明のように全方位画像光の中心光軸Ｌと一致する撮像中心座標（原点）を検出して画像認識処理を正確に行う必要がなくなるが、この場合には、円形撮像画像領域を極力大きく撮像することができず、矩形状の全撮像領域５の大きさが無駄になってしまうという課題が生じる。逆に言えば、発明のように全方位画像光の中心光軸Ｌと一致する撮像中心座標（原点）を検出して画像認識処理を正確に行うことにより、回転体ミラー２１の投影画像が全撮像領域５からはみ出すことなく、矩形状の全撮像領域５の大きさ自体を縮小することができて、コンパクト化できる。
【００７８】
次に、撮像部２２により映された回転体ミラー２１の中心座標が全撮像領域５中のどの場所に位置するのかを自動的に検出する本発明の中心座標検出方法について、以下に詳細に説明する。
【００７９】
図５は、図１の回転体ミラー２１の構成図であって、（ａ）はその側面図、（ｂ）はその正面図である。図５（ａ）および図５（ｂ）において、回転体ミラー２１の回転軸である光軸Ｌ１から所定距離だけずれた箇所でミラー表面に特定の色または特定の輝度の印２１１が設けられている。この回転体ミラー２１は、光軸Ｌ１を中心にして回転する。回転体ミラー２１は、回転駆動源としての回転駆動手段としてのモータ部３７（モータまたはモータで駆動されるギア）と連動している。この所定の印２１１が死角領域に対応する位置に設けられている場合は、実際の撮像画像には全く影響を与えないことになる。
【００８０】
次に、画像データ変換手段２２３について説明する。画像データ変換手段２２３はコンピュータのＣＰＵおよびＲＯＭで構成されており、撮像部２２２からの画像データを、Ｙ、Ｕ、ＶまたはＲ、Ｇ、Ｂのいずれかのフォーマットの表示用画像データに変換し、これをカラー信号として出力する。本実施形態では、画像データ変換手段２２３は、撮像部２２２にて撮像された全方位カラー画像データを画素単位で３原色の色信号Ｒ，Ｇ，Ｂに順次変換し、ＲＯＭ内の算出プログラムおよび算出テーブルに基づいて、３原色の色信号Ｒ，Ｇ，Ｂから輝度信号Ｙおよび二つの色差信号Ｕ，Ｖを算出する。なお、これらの３原色の色信号Ｒ，Ｇ，Ｂに代えて補色信号であってもよい。
【００８１】
撮像制御装置３は、画像処理部３１と、中心座標検出手段３２と、座標補正手段３３と、記憶手段３４と、演算処理部３５と、モータ制御部３６と、回転駆動手段としてのモータ部３７とを有している。
【００８２】
画像処理部３１は、各種画像処理として、画像データ変換手段２２３からのカラー信号を受け、このカラー信号に基づいて色判断処理を行うと共に、画像のパノラマ展開処理を行う。なお、画像データ変換手段２２３から順次送られてくる画像のカラー信号を比較するために、画像処理部３１には記憶手段（図示せず）を付加する方法もあるが、ここではこの記憶手段を設けていない。
【００８３】
中心座標検出手段３２は、回転体ミラー２１からの反射光を撮像した円形撮像画像データに含まれる所定の印を撮像した画像の座標データを基に、回転体ミラー２１の光学軸Ｌ１と撮像部２２２上の受光領域との交点である中心座標を検出する。即ち、中心座標検出手段３２は、画像処理部３１からの信号を用いて、撮像手段２２の内部にある撮像素子の所定の基準位置座標と、撮像素子に撮像された回転体ミラー２１の光学中心の位置座標とを一致させる処理を行う。
【００８４】
座標補正手段３３は、中心座標検出手段３２によって求められた中心座標の値を用いて座標補正処理を行う。
【００８５】
記憶手段３４は、演算処理部３３で用いる各種情報を記憶する。
【００８６】
演算処理部３５は、画像処理部３１における色判断結果および、パノラマ展開データを受けて物体を判別するかまたは、パターンマッチングによる動体の認識処理を行う。
【００８７】
モータ制御部３６は、演算処理部３５からのモータ制御信号を受けて、モータ部３７のモータを回転駆動する。
【００８８】
モータ部３７は、回転体ミラー２１の光軸Ｌ１を回転中心として回転させるモータまたはモータで駆動されるギアで構成されている。これらのモータ制御部３６およびモータ部３７によりミラー回転駆動手段が構成されている。
【００８９】
制御装置４は、制御部４１と、被制御部４２とを有している。
【００９０】
制御部４１は、演算処理部３５からの制御信号を受けて判断し、その判断結果に基づいて被制御部３５を制御する。
【００９１】
被制御部３７は、モータ、スピーカおよび画像表示部などの各種出力部である。
（実施形態２）
上記実施形態１における回転体ミラー２１の所定の印２１１に限らず、本実施形態２では、回転体ミラーの表面の中心位置（凸部の頂部であって回転軸部）に印が設けられている場合である。
【００９２】
図６は、本発明の実施形態２における回転体ミラー２１Ａの構成図であって、（ａ）はその側面図、（ｂ）はその正面図である。
【００９３】
図６（ａ）および図６（ｂ）において、回転体ミラー２１Ａの回転軸である光軸Ｌ１が存在する中心位置に特定の色または特定の輝度の印２１１Ａが設けられている。
【００９４】
ここで、回転体ミラー２１Ａの中心座標を検出し、これに基づいて座標補正する時の環境について考える。なお、これについては上記実施形態１の場合も本実施形態２の場合と同様に考える。
【００９５】
図７は、図６の回転体ミラー２１Ａを用いた全方位視覚システム１Ａを実際に使用するときの様子を示した図である。なお、上記実施形態１の各部材と同一の作用効果を奏する部材には同一の符号を付してその説明を省略する。
【００９６】
図７において、全方位視覚センサ２Ａと画像認識装置３Ａ（モータ制御部３６およびモータ部３７がない）および制御装置４とを組合せた全方位視覚システム１Ａをマット６１上に置き、全方位視覚センサ２Ａの上部には、撮像部２２２への余分な画像光が入射されないようにマスク用の板６２が配置してある。例えば、図６の回転体ミラー２１Ａを用いた際に、撮像部２２２には、マスク用の板６２の下部面が映り、その中央付近には、ドーナッツ状に回転体ミラー２１Ａに映ったマットが映り、そのドーナッツ状の画像の中心に特定の色または特定の輝度をした印が映し出されている。
【００９７】
ここで、マスク用の板６２の下部面に白色を用い、マット６１の上部面に青色を用い、回転体ミラー２１Ａ上の印に黄色を用いたとし、撮像部２２２に映し出される円形撮像画像を画素単位で撮像部２２２の右上から順次に左下まで見ていく。すると、画面にドーナッツ状に青の領域が広く存在し、その青の領域の中心付近に黄色に見える領域が存在する。仮に、黄色だけを識別し、判別することができれば、回転体ミラー２１Ａの中心が撮像部２２２のどこに映されているかが判る。
【００９８】
ところで、上記例では、このマット６１に使用した青、中心部に印として使用した黄色であるが、これは二つの色差信号であるＵ、Ｖの座標に配置したときの色相Ｈの差が大きいために使用したのであるが、図８に示すように、赤と緑、マゼンタと緑、シアンと赤など区別しやすい色であれば、どんな組合せを用いてもかまわない。
【００９９】
ここで、色の識別について考える。
【０１００】
通常、撮像部２２２から出力される画像信号は、赤、緑、青の３原色成分で出力するＲＧＢ信号か、輝度信号Ｙと二つの色差信号Ｕ，ＶからなるＹＵＶ信号が一般的であるが、色または、輝度を判別するには、輝度信号であるＹ信号を分離し、赤色と輝度信号Ｙの差であるＵ信号と、青色と輝度信号Ｙの差であるＶ信号の二つの変数だけで識別する方が、Ｒ、Ｇ、Ｂの三つの変数の組合せで判別するよりも容易であるため、ＹＵＶ信号での出力の方が好ましい。
【０１０１】
仮に、ＲＧＢ信号の出力しかない場合でも、ＲＧＢ信号は以下の式によりＹＵＶの各信号に変換可能である。
【０１０２】
Ｙ　＝　０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ
Ｕ　＝　０．７×Ｒ−０．５９×Ｇ−０．１１×Ｂ
Ｖ　＝−０．３×Ｒ−０．５９×Ｇ＋０．８９×Ｂ
また、二つの色差信号Ｕ，Ｖを用いて、色相Ｈも以下の式により求められる。
【０１０３】
Ｈ　＝　ａｒｃｔａｎ（Ｕ／Ｖ）
ここで、図６の回転体ミラー２１Ａを用いて全方位視覚センサ２Ａを構成し、さらにそれを用いた全方位視覚システム１Ａを図７のように青色のマット６１上に配置したときに、全方位視覚センサ２Ａの撮像部２２２Ａに映される回転体ミラー２１Ａの中心座標を求める方法について図９および図１０を用いて説明する。
【０１０４】
図９は、全体が撮像部２２２Ａの撮像素子上で撮像された画像であり、かつ　その全体にある座標も示している。
【０１０５】
図９において、画像座標の左上が起点で画素Ｐｉｘｅｌ（１，１）とし、画像座標の右下が終点で画素Ｐｉｘｅｌ（Ｘｍ，Ｙｍ）とし、一般的には、任意の画素Ｐｉｘｅｌ（ｉ，ｊ）とし、右方向にＸｍ、下方向にＹｍの画素数があるものとする。よって、画像座標の右上の画素Ｐｉｘｅｌ（Ｘｍ，１）、画像座標の左下の画素Ｐｉｘｅｌ（１，Ｙｍ）である。このとき、Ｘ方向、Ｙ方向に対してそれぞれｉをＸｍ、ｊをＹｍまでスキャンし、Ｐｉｘｅｌ（ｉ，ｊ）の全ての画素について二つの色差信号Ｕ，Ｖと、色相Ｈを用いて色判定を行う。
（実施形態３）
本実施形態３では、位置検出用の所定の印がマット部材上に分散または連続して円形状に配置されており、回転体ミラーおよび撮像部をマット部材の円形状の中心部に同心状に配置して得られる撮像画像データ内の所定の印を検出し、その検出した所定の印の位置座標に基づいて中心座標を検出する場合である。
【０１０６】
したがって、この場合には、上記実施形態１，２の回転体ミラー２１，２１Ａのようにその表面上に位置検出用の所定の印が付されているのではなく、マット部材上に円形状に所定の印が三点以上付されている。位置検出用の三点（円形上に三点が位置している）を用いてその円形の中心点が求められる。このような回転体ミラーの構成以外は、上記実施形態１，２と同様であるので、本実施形態３の構成による全方位撮像システムにおける中心座標検出手段３２が中心座標を求める処理について説明する。なお、ここでは、上記実施形態１と同様の部材番号を付して説明する。
【０１０７】
ここでは、全方位視覚センサ２の周辺画像データは、回転体ミラー２１からの反射光が撮像手段２２に入力されて円形撮像画像データとして得られている。この円形画像データは撮像手段２２から画像処理部３１に出力されるが、上記中心座標を求めるための所定の印はマット６１上に複数付されており、モータ部３７は、ここでは固定した状態であるものとする。したがって、全方位視覚センサ２で撮像される円形撮像画像データは時間的には変化しないため、円形撮像画像データを記憶する円形撮像画像データ記憶手段は不要であり、その分、コスト低減が図られる。
【０１０８】
また、上述したように、モータ部３７はここでは駆動させないが、回転体ミラー２１の周辺部に印を付した場合には、モータ部３７によって回転体ミラー２１を回転させ、所定時間毎に周辺画像を撮像し、この撮像した円形撮像画像データを円形撮像画像データ記憶手段に記憶する。この場合の円形撮像画像データ記憶手段は画像処理部３１の内部に備えていてもよい。
【０１０９】
何れにせよ、以下に述べる中心座標検出処理フローでは、中心座標検出手段３２が中心座標を求める処理であるため、処理対象とする画像データが、前述した円形撮像画像データ記憶手段に記憶された画像データであっても、画像処理部３１から出力された出力データであっても本質的に変わらない。
【０１１０】
また、ここでは、撮像手段２２から画像処理部３１に出力される画像データは輝度信号Ｙと二つの色差信号Ｕ，Ｖの信号で出力されるものとする。撮像手段２２からの信号は、輝度信号Ｙと二つの色差信号Ｕ，Ｖの信号で出力される場合には、画像処理部３１を通過してそのまま中心座標検出手段３２に入力されるが、撮像手段２２から三原色のＲ，Ｇ，Ｂ信号で出力される場合には、画像処理部３１により、撮像手段２２からのＲ，Ｇ，Ｂ信号を、輝度信号Ｙと二つの色差信号Ｕ，Ｖの信号に変換し、その変換した輝度信号Ｙと二つの色差信号Ｕ，Ｖの信号を中心座標検出手段３２に入力する。
【０１１１】
何れにしても、以下に述べる中心座標検出処理フローでは、中心座標検出手段３２が中心座標を求める処理であるため、処理対象とする画像データは輝度信号Ｙと二つの色差信号Ｕ，Ｖの信号であり、中心座標検出手段３２の上流側の撮像手段２２で三原色のＲ、Ｇ、Ｂ信号から輝度信号Ｙと二つの色差信号Ｕ，Ｖの信号に変換されても、中心座標検出手段３２の前段の画像処理部３１でＲ，Ｇ，Ｂ信号から輝度信号Ｙと二つの色差信号Ｕ，Ｖの信号に変換されてもよい。
【０１１２】
図１０は、本発明の実施形態３の全方位撮像システムにおける中心座標検出手段が中心座標を求める処理を示すフローチャートである。
【０１１３】
なお、撮像部２２２の画素Ｐｉｘｅｌ（ｉ，ｊ）のｊ＝１の値、つまりｙ軸方向の初期値の入力を行う。その後、中心座標検出処理フローの以下のステップＳ２〜ステップＳ１２の処理内容がｊ＝Ｙｍまで繰り返され、中心座標が検出される。つまり、撮像画像ｊは１からＹｍまで順次スキャンし、各ｊの値に対応してｉは１からＸｍまで順次スキャンすることにより、撮像手段２２に備えられた撮像部２２２に撮像される全領域の画像データを得ることができる。
【０１１４】
また、全てのデータ、配列などの設定および初期化を行う。また、この中で、後に使うカウンタの値（Ｃｏｕｎｔ）も設定し、Ｃｏｕｎｔ＝０とする。
【０１１５】
ステップＳ０；まず、図１３に示すように、画素Ｐｉｘｅｌ（ｉ，ｊ）のｊ＝１の値、つまりｙ軸方向の初期値の入力を行う。
【０１１６】
ステップＳ１；中心座標検出手段３２内の画素座標判定手段は、撮像部２２２に撮像される領域のｙ座標の値が最大値Ｙｍ以下であるか否かを判定する。撮像部２２２に撮像される領域のｙ座標の値が最大値Ｙｍ以下であれば（ｙｅｓ）、ステップＳ２の処理に進む。また、撮像部２２２に撮像される領域のｙ座標の値が最大値Ｙｍを越える場合（ｎｏ）には、ステップＳ１３の処理に進む。
【０１１７】
ステップＳ２；中心座標検出手段３２は、中心座標検出手段３２内の記憶部に、連続する画素座標に対応する配列設定を行う。この配列をｂｕｆと名づける。
【０１１８】
ステップＳ３；画素Ｐｉｘｅｌ（ｉ，ｊ）のｉ＝１の値、つまりｘ軸方向の初期値が入力される。
【０１１９】
ステップＳ４；中心座標検出手段３２内の画素座標判定手段は、撮像部２２２に撮像される領域のｘ座標の値が最大Ｘｍ以下であるか否かを判定する。撮像部２２２に撮像される領域のｘ座標の値が最大Ｘｍ以下であれば（ｙｅｓ）、ステップＳ５の処理に進む。また、撮像部２２２に撮像される領域のｘ座標の値が最大Ｘｍを越える場合（ｎｏ）には、ｊに１を加算する処理をした後にステップＳ１の処理に戻る。
【０１２０】
ステップＳ５；中心座標検出手段３２は、撮像領域座標（ｉ，ｊ）にある画素Ｐｉｘｅｌ（ｉ，ｊ）の画像データであるＵ、Ｖ画像データを、撮像手段２２から画像処理部３１に取り込み、さらに画像処理部３１から取り込む。
【０１２１】
ステップＳ６；中心座標検出手段３２は、前述した式にしたがって、取り込んだＵ、Ｖ画像データを基に色相Ｈの値を計算する。
【０１２２】
ステップＳ７；中心座標検出手段３２は、予め色判定のための所定の色判定閾値を記憶部に記憶させており、この色判定閾値とステップＳ６で算出した色相Ｈの値とを、中心座標検出手段３２内の色比較手段により比較する。
【０１２３】
ステップＳ８；画素Ｐｉｘｅｌ（ｉ，ｊ）は、上記ステップＳ７で所定の色であると判定され、かつその前の画素Ｐｉｘｅｌ（ｉ−１，ｊ）、Ｐｉｘｅｌ（ｉ−２，ｊ）など、連続する画素も同様に所定の色であり、ある所定の数以上の同じ色の画素が連続すると、初めて一つの物体（オブジェクト；Ｏｂｊｅｃｔ）として認識される。
【０１２４】
ここで、画素Ｐｉｘｅｌ（ｉ，ｊ）が所定の色であっても、同じ色の画素が所定の数連続しない場合には、それは物体（オブジェクト；Ｏｂｊｅｃｔ）として認識せず、ノイズとして判断される。これによってノイズの色情報はなくなる。この処理は中心座標検出手段３２の内部において、上記で説明した配列ｂｕｆが存在し、その中に、連続する画素の座標と色情報とが入力され、配列ｂｕｆの中に連続して所定の色が存在しているか否かを判断する。
【０１２５】
ステップＳ９；配列ｂｕｆには、所定の色をした色情報と座標が入る配列であるが、Ｘ軸方向だけでなく、Ｙ方向も連続しているか判別するため、以前に物体（オブジェクト；Ｏｂｊｅｃｔ）と判断されたものが存在する場合には、前に存在するＯｂｊｅｃｔの座標と比較して、一つの物体（オブジェクト；Ｏｂｊｅｃｔ）かどうかを判断する。
【０１２６】
ステップＳ１０；前に判断した物体（オブジェクト；Ｏｂｊｅｃｔ）と同じ所定の色であり、座標が連続している場合、物体（オブジェクト；Ｏｂｊｅｃｔ）の座標は更新される。
【０１２７】
ステップＳ１１；配列ｂｕｆは、画素Ｐｉｘｅｌ毎に判断するため、ステップＳ１０の処理の後に更新される。
【０１２８】
ステップＳ１２；Ｘ軸方向に１加算（ｉ＋１）した後に、ステップＳ４の処理に戻る。
【０１２９】
ステップＳ１３；１画面分の画像をスキャンした後にステップＳ１の処理から進み、スキャン中に得た物体（オブジェクト；Ｏｂｊｅｃｔ）の中心座標を中心座標検出手段３２中にある新たな配列ｍに入力し、Ｃｏｕｎｔに１を加算する。
【０１３０】
ステップＳ１４；配列ｍに入力される数をＮで規定し、ＣｏｕｎｔがＮ回以下であるときは、ステップＳ０の処理に戻る。
【０１３１】
ステップＳ１５；最終的に、画面をＮ回スキャンした後に、ステップＳ１５の処理に進み、配列ｍに入力されている画素を円弧に持つ円の中心座標を求める。これが、回転体ミラー２１の中心部が撮像素子２２に映し出された中心となる。
【０１３２】
つまり、予め色相Ｈの範囲、色差信号Ｕの範囲、色差信号Ｖの範囲で例えば黄色の範囲を特定しておくと、その画素だけを検出することができ、画面上にある青と白とは、検出されることがない。
【０１３３】
ただ、実際の画像においては、色差信号Ｕ，Ｖ、色相Ｈそれぞれの範囲を決めていても、撮像時の光の加減や電気的な環境により、ノイズの中に特定の色または輝度の画素が存在することがある。
【０１３４】
そのため、ノイズ除去を行う必要がある。図１０のフローチャートで連続する画素の配列ｂｕｆは、そのノイズ除去のためであり、特定の色または輝度の画素が所定数連続して存在しないと、求める像でないと判断する。
【０１３５】
今、図６（実施形態２）のように、回転体ミラー２１Ａの中心部に特定の色または輝度の印を付けているので、中心にある特定の色または輝度が撮像され、Ｏｂｊｅｃｔ領域の中心座標を求めると、回転体ミラー２１Ａの中心座標と一致する。
【０１３６】
また、図５（実施形態１）の回転体ミラー２１を用いて上記と同じシステムを構成する場合、回転体ミラー２１は、回転軸を中心に回転させる必要がある。なぜなら、回転体ミラー２１の表面に付けられた所定の印は中心からずれた場所に存在するが、回転体ミラー２１を回転軸（光軸Ｌ１）を中心に回転させ、その印の軌跡を監視すると、回転体ミラー２１の回転軸を中心とした円を描き、そこから、その円の中心が回転体ミラー２１の表面上の光軸部（回転軸部）と判るからである。このときの撮像時間は、回転速度より速いことが必要である。例えば、撮像時間が１５フレーム／秒に対し回転速度が一回転あたり４秒かかるとすると、このとき撮像された連続する６０枚の画像では、特定の色または輝度の印が円を描き移動したことが認識できる。そのときに、特定の色または輝度の印が通った円弧から中心座標が求まる。数学的には三点以上あれば中心座標の算出が可能であるが、誤差を少なく計算するためには、より多くの点を取ったほうがよい。多くの測定点から任意の３点を組合せて選択し、それぞれの組合せに対して、中心座標を求めて、更に各中心座標の平均を取ると更に精度が上がる。
【０１３７】
なお、図５のように、回転体ミラー２１の中心からすこし外れたミラー表面に特定の色または特定の輝度の印をつけている場合、その印が撮像部２２２により映し出された画面上の死角部分に配置すると本来の周辺映像の撮像領域の視野範囲が邪魔されずによい。
【０１３８】
図５の回転体ミラー２１を用い、特定の色または、特定の輝度の印を回転させ、その軌跡が描く円弧の中心をもっとも簡単に求める方法として、Ｘ方向の最小値、と最大値の平均をとったものと、Ｙ方向の最小値、最大値の平均をとったものの座標で中心を求める方法がある。つまり、Ｘ軸方向にみたときの円の直径の中心座標と、Ｙ軸方向にみたときの円の直径の中心座標を求めるのである。この場合であれば、４つの値を記憶し、後は加算と１／２の演算だけなので円弧上の３点から円の中心点を演算するよりも非常に容易に行える。
【０１３９】
なお、全方位視覚センサをある所定場所に置くことにより、回転体ミラーの輪郭部分の円弧を画像処理により抽出し、この円弧上の任意の点、３点以上から中心座標を求めることもできる。
（実施形態４）
本実施形態４では、上記した回転体ミラーとは別の構成例を用いる場合である。
【０１４０】
図１１は本発明の一例である回転体ミラーを示す図であって、（ａ）はその側面図であり、（ｂ）はその正面図である。図１１（ａ）および図１１（ｂ）において、その回転体ミラー２１Ｂは、回転軸を中心に孔が空いており、その孔には、指示棒２１２が挿入されている。その指示棒２１２の先端中心部には、特定の色または、特定の輝度の印２１３がついている。この印２１３を用いて、前述したように中心座標を検出する。
【０１４１】
また、　図１２は、本発明の更に他の一例である回転体ミラーを示す図であって、（ａ）はその側面図であり、（ｂ）はその正面図である。図１２（ａ）および図１２（ｂ）において、その回転体ミラー２１Ｃは、回転軸を中心に孔が空いており、その孔には、指示棒２１４が挿入されている。その指示棒２１４の先端部には、特定の色または特定の輝度の印２１５が付いており、その指示棒２１４は、回転体ミラー２１Ｃの回転軸を中心にして回転するモータ部３７（モータのまたはモータで駆動されるギア）の回転軸に固定されている。
【０１４２】
この、図６または図７を用いた全方位視覚センサについて　図８を用いて説明する。
【０１４３】
図１３では、回転軸を含む中心部に孔が空いている回転体ミラー２１Ｃであり、その孔の内側にある指示棒２１４に同軸状にモータ部３７の回転軸が連結固定されている。その他の構成は、図２の構成と略同様である。即ち、回転体ミラー２１Ｃの表面で反射した投影光が、レンズ２２１を通って、撮像部２２２で結像する。また、撮像手段２２は、回転体ミラー２１Ｃと透光性保持体２３で固定され、さらに図示していないがこれはモータ部３７とも固定されている。
【０１４４】
原理的に、図１１の回転体ミラー２１Ｂを使用した撮像システムは、図６（実施形態２）の回転体ミラー２１Ａを使用するものと、中心座標を検出する点では同様であり、また、図１２の回転体ミラー２１Ｃを使用した撮像システムは図５（実施形態１）の回転体ミラー２１を使用したものと、中心座標を検出する処理の点では同様である。
【０１４５】
図５および図６の回転体ミラー２１，２１Ａでは部品点数が少なくなるのでよいが、図１１および図１２の回転体ミラー２１Ｂ，２１Ｃでは、中心位置を検出するための特定の色または特定の輝度の印が、回転体ミラー２１Ｂ，２１Ｃの表面上に直接塗布するものでないため、印の大きさや、色などを種々変える試作品開発の場合には特に有効である。
【０１４６】
また、図６および図１１のように中心部に特定の色または輝度の印を配置する場合は、後の演算が容易になるという利点はあるが、光が当たり難く、暗くなり易い。このため、図５および図１２のように少しでも中心部より外側に特定の色または輝度の印を配置する方が明るく撮像でき、識別しやすいという面でメリットがある。
【０１４７】
また、図１１のように回転体ミラー２１Ｂの内部の指示棒２１２を回転させる方が、図５のように回転体ミラー２１自体を回転させるものと比較すると、回転体ミラー２１の表面の凹凸が後で行う画像処理に影響しにくいのでよい。
（実施形態５）
本実施形態５では、上記とは更に別の方法で、撮像部２２２に映る回転体ミラー２１Ｄ（位置検出用の印がない）の中心座標を求める場合である。これを図１４を用いて説明する。
【０１４８】
図１４では、回転体ミラー２１Ｄの外周側に、指示棒２１６が配置され、その先端部には、特定の色または、特定の輝度の印が付いている。指示棒２１６は、モータ部３７と接続されており、回転体ミラー２１Ｄの外周辺を回転する。
【０１４９】
この回転体ミラー２１Ｄを用いた全方位視覚システムで、撮像部２２２に映る回転体ミラー２１Ｄの中心座標を求める場合にも、図７に示すように、回転体ミラー２１Ｄの上部にマスク用の板６２を置き、下部にマット６１を敷き、さらに周辺を回転する印が、少なくとも３箇所以上の場所に映っている画像から、この印が乗っている円弧の中心座標を求めると、回転体ミラー２１Ｄの中心座標が求まる。但し、特定の色または輝度の印が、回転体ミラー２１Ｄの外側を回るため、上記図５、図６、図１１および図１２の回転体ミラーを使用した全方位視覚センサよりも、さらに広く周辺が映るように設計する必要がある。
（実施形態６）
本実施形態６では、更に上記とは別の方法で、撮像部２２２に映る回転体ミラー２１Ｄの中心座標を求める場合である。これを図１５〜図１７を用いて説明する。
【０１５０】
本実施形態６は、回転体ミラーに映る像を元に中心座標を求める方法であり、図１５に示すようにマット６１Ａ上には、全方位視覚センサを用いた撮像システムを乗せるための基準の印６３が描いてある。回転体ミラーが設置される位置の中心からのマット６１Ａ上に下ろした垂線の交わる点を中心にして、マット６１Ａ上に中心位置から等距離で同じ形の特定の色の印６４を描いておく。
【０１５１】
図１６に、図１５で示したマット６１Ａを敷き、全方位視覚センサ２Ａを用いた撮像システムを配置した図を示す。図１６に示すように、全方位視覚センサ２Ａおよび全方位視覚センサ２Ａからの信号を処理する信号処理部３Ａをマット６１Ａ中央の基準の印６３上に置き、全方位視覚センサ２Ａの撮像手段２２に上から余分な光が入らないように遮断するマスク用の板６２Ａを置く。
【０１５２】
このとき、全方位視覚センサ２Ａの撮像手段２２には、マスク用の板６２Ａの下面とマット６１Ａがその表面に写った回転体ミラー２Ａの画像が写っている。
【０１５３】
図１７は、図１６で撮像部２２２に写った画像を示す図である。
【０１５４】
図１７において、画面の周辺部４０に図１６のマスク用の板６２の下面が写っており、回転体ミラーの像の中心部４１は、全方位視覚センサ２Ａの死角部分となっている。回転体ミラーを映す像４２の内側でかつ、死角部分４１の外側であり、ドーナッツ状の画像中に、図１５で示したマット６１Ａに描いてある特定の色または輝度の４個の印６４が回転体ミラーの中心から等距離でうつっている。
【０１５５】
ここでも前記と同様、特定の色または輝度の印６４だけを検出し、その点が乗る円弧の中心座標を求めると、それは回転体ミラーの中心座標と一致する。
以上のようにして、全方位視覚センサ２Ａの撮像部２２２に映る画像の回転体ミラーの中心を求めることができる。
【０１５６】
【発明の効果】
以上のように、本発明によれば、回転体ミラーの光学軸中心との撮像部上の交点位置と、この撮像部上にある画像変換の中心位置との相対的位置を人手による調整を行うことなしに、自動的に一致させることが可能である。これは、大量生産する製品に適している。また、人手がかからないためにコストを安くすることができ、民生品への応用も可能となる。
【０１５７】
また従来、回転体ミラーと撮像手段を組合せた全方位視覚センサと画像処理部は１対１対応でなければならず、出荷時点での調整が必要であったが、この装置では、自動的に調整するためにどの組合せのものでも動作するという格別の効果がある。
【０１５８】
さらに、このシステムを長期間で用いた際に、ねじのずれなど回転体ミラーの光学軸と撮像手段の画像変換時の中心座標との相対位置の経時変化が生じても、本発明により新たに自動的に合わせるためにメンテナンスが非常に容易になるという格別の効果もある。
【図面の簡単な説明】
【図１】本発明の全方位視覚システムの実施形態１の要部構成を示すブロック図である。
【図２】図１の全方位視覚システムにおける全方位視覚センサの要部構成を示す斜視図図である。
【図３】図１の全方位視覚センサを用いて大きく撮像した場合の回転体ミラー画像の円形撮像画像領域と撮像素子上の全撮像領域との関係を示した撮像領域図である。
【図４】図１の全方位視覚センサを用いて小さく撮像した場合の回転体ミラー画像の円形撮像画像領域と撮像素子上の全撮像領域との関係を示した撮像領域図である。
【図５】図１の回転体ミラーの構成図であって、（ａ）はその側面図、（ｂ）はその正面図である。
【図６】本発明の実施形態２における回転体ミラーの構成図であって、（ａ）はその側面図、（ｂ）はその正面図である。
【図７】図６の回転体ミラーを用いた全方位視覚システムを実際に使用するときの様子を示した図である。
【図８】Ｕ、Ｖに対する色の関係を示す図である。
【図９】撮像部の撮像素子上で撮像された画像領域に対するよび座標を示す図である。
【図１０】図１の全方位撮像システム１が中心座標を求める処理を示すフローチャートである。
【図１１】本発明の一例である回転体ミラーを示す図であって、（ａ）はその側面図であり、（ｂ）はその正面図である。
【図１２】本発明の他の一例である回転体ミラーを示す図であって、（ａ）はその側面図であり、（ｂ）はその正面図である。
【図１３】図１２の回転体ミラーを用いた全方位視覚センサの要部構成を示す斜視図図である。
【図１４】本発明の更に他の一例である回転体ミラーを示す図であって、（ａ）はその側面図であり、（ｂ）はその正面図である。
【図１５】本発明の位置検出用マットの平面図である。
【図１６】図１５で示したマットを敷き、本発明の全方位視覚センサを用いた撮像システムを配置した図である。
【図１７】図１６で撮像部に写った画像を示す図である。
【図１８】従来の全方位視覚センサの概略構成図である。
【図１９】図１８の全方位視覚センサ８０で撮像した全方位画像を示す図である。
【図２０】図１８の全方位視覚センサ８０などで用いられる撮像システムの構成を示すブロック図である。
【図２１】全方位撮像画像に基づいてパノラマ画像に展開するパノラマ画像変換処理の説明図である。
【符号の説明】
１，１Ａ　　全方位視覚システム
２，２Ａ，２Ｃ　　全方位視覚センサ
２１，２１Ａ〜２１Ｄ　　回転体ミラー
２１１，２１１Ａ，２１３，２１５　　位置検出用の所定の印
２１２，２１４　　指示棒
２２　　撮像手段
２２２　　撮像部
３　　画像認識装置
３１　　画像処理部
３２　　中心座標検出手段
３３　　座標補正手段
３５　　演算処理部
３６　　モータ制御部
３７　　モータ部
６１，６１Ａ　　マット
６２，６２Ａ　　マスク用板
【図１】
2004093973.tif 000003
【図２】
2004093973.tif 000004
【図３】
2004093973.tif 000005
【図４】
2004093973.tif 000006
【図５】
2004093973.tif 000007
【図６】
2004093973.tif 000008
【図７】
2004093973.tif 000009
【図８】
2004093973.tif 000010
【図９】
2004093973.tif 000011
【図１０】
2004093973.tif 000012
【図１１】
2004093973.tif 000013
【図１２】
2004093973.tif 000014
【図１３】
2004093973.tif 000015
【図１４】
2004093973.tif 000016
【図１５】
2004093973.tif 000017
【図１６】
2004093973.tif 000018
【図１７】
2004093973.tif 000019
【図１８】
2004093973.tif 000020
【図１９】
2004093973.tif 000021
【図２０】
2004093973.tif 000022
【図２１】
2004093973.tif 000023