(57)【要約】【課題】  簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することも目的とする。【解決手段】  全方位カメラと、ジャイロセンサと、ポータブルＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）と、ビデオサーバとを備えている。全方位カメラは、周囲３６０の方向から入射した光を反射することが可能な全方位ミラー３２と、カメラとを備えている。全方位ミラー３２は、半円球形状のミラー３２ａ上に６つの小さな半円球形状のミラー３２ｂが一体形成されている。【選択図】      図８
2005234224.tif 000002
【特許請求の範囲】
【請求項１】
各々周囲３６０度の光を反射可能な形状を有する３つ以上のミラーと、
前記３つ以上のミラーで反射される光を撮像する１つのカメラとを備える
ことを特徴とする全方位撮像システム。
【請求項２】
さらに、前記３つ以上のミラーから、２つのミラーの組み合わせを抽出するミラー組み合わせ抽出手段と、
前記ミラー組み合わせ抽出手段で抽出されたミラーの組み合わせの各々について、前記カメラで撮像された画像中より得られる当該組み合わせに含まれる２つのミラーでの反射映像と前記２つのミラーの基線長とに基づいて、対象物までの距離を算出する距離算出手段とを備える
ことを特徴とする請求項１に記載の全方位撮像システム。
【請求項３】
さらに、前記対象物までの距離に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、
前記対象物が前記仮想球面内に侵入した場合に、警告を発する警告発生手段とを備える
ことを特徴とする請求項２に記載の全方位撮像システム。
【請求項４】
さらに、前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、
前記カメラを中心とし、所定の大きさのボクセルで区切られた仮想的な球を生成する仮想球生成手段と、
前記視線方向取得手段で求められた視線と交差するボクセルに投票をする投票手段と、
投票結果に基づいて、所定のしきい値以上の投票が行なわれたボクセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備える
ことを特徴とする請求項１に記載の全方位撮像システム。
【請求項５】
さらに、前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、
前記カメラの周辺に所定の大きさのセルで区切られた仮想的な球表面を生成する仮想球表面生成手段と、
前記視線方向取得手段で求められた視線と交差するセルに投票をする投票手段と、
投票結果に基づいて、所定のしきい値以上の投票が行なわれたセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備える
ことを特徴とする請求項１に記載の全方位撮像システム。
【請求項６】
さらに、前記対象物の三次元位置に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、
前記対象物が前記仮想球面内に侵入した場合に、前記カメラで撮像された画像に基づいて、前記対象物を通常のカメラから見た画像へ透視投影変換し、透視投影変換後の画像をユーザに提示する透視投影変換手段とを備える
ことを特徴とする請求項４または５に記載の全方位撮像システム。
【請求項７】
さらに、前記透視投影変換後の画像を記録する記録手段を備える
ことを特徴とする請求項６に記載の全方位撮像システム。
【請求項８】
さらに、前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像を一列に並べ立体画像を生成する立体画像生成手段と、
前記立体画像中より曲線を抽出する曲線抽出手段と、
前記曲線抽出手段での抽出結果に基づいて、前記カメラから所定の距離内に対象物が存在するか否かを判断する判断手段とを備える
ことを特徴とする請求項１に記載の全方位撮像システム。
【請求項９】
前記曲線抽出手段は、
前記立体画像中より直線を除去する除去部と、
直線が除去された前記立体画像中より曲線を抽出する抽出部とを有する
ことを特徴とする請求項８に記載の全方位撮像システム。
【請求項１０】
さらに、前記判断手段の判断結果に基づいて、前記対象物が前記カメラから前記所定の距離内に侵入した場合に、警告を発する警告発生手段を備える
ことを特徴とする請求項８または９に記載の全方位撮像システム。
【請求項１１】
さらに、前記カメラの傾きを検出する傾き検出手段と、
前記カメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正する傾き補正手段とを備える
ことを特徴とする請求項１〜１０のいずれか１項に記載の全方位撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全方位撮像システムに関し、特に、低コストで画像と距離情報とを同時に獲得することが可能な全方位撮像システムに関する。
【背景技術】
【０００２】
従来、人の周辺環境を監視したり、犯罪を防止したりするために携帯可能な監視カメラや、定点監視カメラなどの研究開発が進められている。
このような人の周辺環境を監視する監視カメラの役割は、人が気付かない視野に現れた対象物の発見および記録にある。人は、前方視野は自身の視覚によって注意しているが、無意識下では、側方および後方視野の情報を獲得していない。このため、人の視覚外から急に現れる悪意を持った犯罪者、または悪意はなくても不注意で衝突する加害者に対し、事前に衝突を検知し、回避または対処することで、事故または事件を未然に防止することができる。
【０００３】
このような側方および後方を含む広角視野情報の獲得のために全方位カメラが開発されており、側方視野を意識した反射光学系に関する研究が、ロボティクスの分野で活発に研究されている。全方位カメラの特徴として周囲３６０度の側方画像を、一度の撮影で獲得できる点にある。
このように、全方位を観測できる利点を生かし、全方位カメラを遠隔テレビ会議に利用したり（例えば、非特許文献１参照。）、全方位カメラを定点監視カメラとして用い、広範囲の監視や、移動物体の追跡またはイベント抽出などに利用したりする試みがある（例えば、非特許文献２参照。）。
【０００４】
また、ロボティクスの応用として提案された様々な技術の一つとして、全方位カメラを用いて、全方位の奥行き情報を観測する手法がある。この手法では曲面を有する２つのミラーをカメラの光軸上に重ね合わせている。これにより、１台のカメラで得られた入力画像から、全方位の奥行き距離を実時間で計測することができる（例えば、非特許文献３参照。）。対象物の奥行き距離はステレオ法の対応関係から求められるが、対象物の偽対応など対応関係を求めるには困難な問題がある。このような対応づけを簡便にするために、投票（ボーティング）と呼ばれる手法が存在する。さらに移動カメラで捉えた複数枚の画像を時空間に並べ、その軌跡をＥＰＩ（Epipolar Plane Image）と称する平面で切断し軌跡から距離情報を得る手法が存在する。
【非特許文献１】Nishihara, T., Yabe, H., and Oka, R., "Indexing of Human Motion at Meeting Room by Analyzing Time-varying Images of Omni-directional Camera," Proc. 4th ACCV, vol. I, pp. 1-4, 2000.
【非特許文献２】Onoe, Y., Yokoya, Y., Yamazawa, K., and Takemura, H., "Visual Surveillance and Monitoring System Using an Omnidirectional Video Camera," Proc. 14th ICPR, vol. I, pp. 588-592, 1998.
【非特許文献３】Southwell, D., Reyda, J., Fiale, M., and Basu, A., "Panoramic Stereo," Proc. ICPR, 1996.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述のように、全周囲を観測するには全方位カメラが有効である。しかしながら、画像と距離情報（奥行き情報）とを同時に獲得するには、複数の全方位カメラが必要になり、コスト的に問題がある。
また、距離情報を得るために、複数の全方位画像より得られるステレオ画像間で、対象物の対応付けを行わなければならないが、処理が複雑であるという問題がある。
【０００６】
さらに、その様子を記録した映像は、事故または事件の状況証拠となるが、周囲を全て撮影した映像を常時記録するにはコスト面で問題がある。このため、カメラに近づく対象物を検知し、対象物が写る画像だけを切り出して記録する要求がある。
【０００７】
また、従来の全方位カメラの遠隔テレビ会議や定点監視への応用では、遠隔地のユーザが、会議の様子を知りたい場所や、監視場所等の切り出す場所をインタラクティブに指定する必要がある。その後、指定された場所の透視投影映像（通常のカメラで見た映像）がユーザに提示されている。しかし、人の周辺環境への監視への適用を考えた場合には、対象物がどの方向から出現するかが分からず、切り出し場所をインタラクティブには指定することができない。このため、実時間で透視投影映像を生成することができない。
【０００８】
また、非特許文献３のように曲面を有する２つのミラーをカメラの光軸上に重ね合わせた全方位カメラは存在する。しかし、２つの視点から観測された画像より三角測量の原理を用いてステレオ視した場合には、偽の対応が起こるという問題点が知られている（例えば、M.Yachida, Y.Kitamura, M.Kimachi, "Trinocular vision: New approach for correspondence problem," Proc. 8th Int'l Conf. Pattern Recognition, pp.1041-1044, 1986）。
【０００９】
本発明は、上述の課題を解決するためになされたもので、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することを目的とする。
また、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することも目的とする。
さらに、低コストで対象物の画像を記録することができる全方位撮像システムを提供することも目的とする。
【００１０】
さらにまた、実時間で逆透視投影映像を生成することが可能な全方位撮像システムを提供することも目的とする。
さらにまた、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することも目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係る全方位撮像システムは、各々周囲３６０度の光を反射可能な形状を有する３つ以上のミラーと、前記３つ以上のミラーで反射される光を撮像する１つのカメラとを備えている。
１台のカメラで３つ以上のミラーで反射される光を撮像している。３つ以上のミラーで反射された画像間で対応付けを行なうことにより距離情報を得ることができる。このため、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。
【００１２】
好ましくは、上述の全方位撮像システムは、さらに、前記３つ以上のミラーから、２つのミラーの組み合わせを抽出するミラー組み合わせ抽出手段と、前記ミラー組み合わせ抽出手段で抽出されたミラーの組み合わせの各々について、前記カメラで撮像された画像中より得られる当該組み合わせに含まれる２つのミラーでの反射映像と前記２つのミラーの基線長とに基づいて、対象物までの距離を算出する距離算出手段とを備える。
【００１３】
３つ以上のミラーから得られる画像に基づいて、対象物までの距離を算出している。このため、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することができる。
さらに好ましくは、上述の全方位撮像システムは、さらに、前記対象物までの距離に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、前記対象物が前記仮想球面内に侵入した場合に、警告を発する警告発生手段とを備える。
【００１４】
この構成によると、仮想球面内に侵入した対象物に対して警告を発し、注意を促すことが可能になる。このため、事故や事件等を未然に防止することができる。
【００１５】
また、上述の全方位撮像システムは、さらに、前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、前記カメラを中心とし、所定の大きさのボクセルで区切られた仮想的な球を生成する仮想球生成手段と、前記視線方向取得手段で求められた視線と交差するボクセルに投票をする投票手段と、投票結果に基づいて、所定のしきい値以上の投票が行なわれたボクセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備えていてもよい。
【００１６】
投票の対象となるボクセルの位置を仮想的な球内に限定し、カメラからの視線と交差するボクセルの投票を行なうことに、投票の多いボクセルの位置を対象物の存在位置としている。このため、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することができる。
【００１７】
一般的に、投票を行なう際には、対象物の周辺に複数の視点を設け、当該視点から対象物に対する視線方向への投票を行なっている。これは、カメラを中心に設置し、全周囲の方向へ投票すると投票対象位置が無限に広がってしまうからである。よって、何らかの方法でボーティングする空間を狭めなければならない。
【００１８】
この構成では、投票の対象空間を仮想的な球内に制限している。このため、カメラを中心に配置した投票を可能にしている。
【００１９】
さらに好ましくは、上述の全方位撮像システムは、さらに、前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像の各々に基づいて、前記カメラから対象物への視線方向を求める視線方向取得手段と、前記カメラの周辺に所定の大きさのセルで区切られた仮想的な球表面を生成する仮想球表面生成手段と、前記視線方向取得手段で求められた視線と交差するセルに投票をする投票手段と、投票結果に基づいて、所定のしきい値以上の投票が行なわれたセルに基づいて、対象物の三次元位置を特定する三次元位置特定手段とを備えていてもよい。
【００２０】
投票位置を仮想的な球表面のセルに限定している。このため、ボクセルに投票をする場合に比べ、投票箇所が少ない。このため、さらに簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することができる。
【００２１】
さらに好ましくは、上述の全方位撮像システムは、さらに、前記対象物の三次元位置に基づいて、前記対象物が前記カメラを中心とする所定の半径を有する仮想球面内に侵入したか否かを判定する判定手段と、前記対象物が前記仮想球面内に侵入した場合に、前記カメラで撮像された画像に基づいて、前記対象物を通常のカメラから見た画像へ透視投影変換し、透視投影変換後の画像をユーザに提示する透視投影変換手段とを備える。
【００２２】
投票という簡便な方法により対象物の三次元位置が求められている。このため、カメラから対象物への視線方向も即座に求めることができる。よって、実時間で逆透視投影映像（通常のカメラから見た映像）を生成することが可能な全方位撮像システムを提供することができる。
【００２３】
さらに好ましくは、上述の全方位撮像システムは、さらに、前記透視投影変換後の画像を記録する記録手段を備える。
【００２４】
逆透視投影映像のみを記録することができるため、カメラで撮像された生の画像を記録する場合に比べ、低コストで対象物の画像を記録することができる全方位撮像システムを提供することができる。
【００２５】
さらに好ましくは、上述の全方位撮像システムは、さらに、前記カメラで撮像された画像に含まれる前記３つ以上のミラーでの反射画像を一列に並べ立体画像を生成する立体画像生成手段と、前記立体画像中より曲線を抽出する曲線抽出手段と、前記曲線抽出手段での抽出結果に基づいて、前記カメラから所定の距離内に対象物が存在するか否かを判断する判断手段とを備えていてもよい。好ましくは、前記曲線抽出手段は、前記立体画像中より直線を除去する除去部と、直線が除去された前記立体画像中より曲線を抽出する抽出部とを有することを特徴とする。
【００２６】
画像間で視差が生じる場合、すなわち対象物がカメラの近傍に存在する場合には、立体画像中で対象物が曲線として抽出されるという性質を利用して、対象物が近傍に存在するか否かを判断している。このため、簡便な方法により対象物までの距離を計測することができる。
【００２７】
さらに好ましくは、上述の全方位撮像システムは、さらに、前記カメラの傾きを検出する傾き検出手段と、前記カメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正する傾き補正手段とを備える。
【００２８】
ジャイロセンサ等の傾き検出手段により検出されるカメラの傾きに基づいて、前記カメラで撮像される映像の傾きを補正することにより、カメラに振動等が加わった場合であっても、対象物までの正確な距離または対象物の正確な三次元位置を求めることができる。
【００２９】
上述したような全方位撮像システムを用いることにより、以下のような効果をも奏する。すなわち、街の定点監視カメラに防犯を依存すると、カメラの視線を遮る障害物が多くある場合には、設置台数を増やしても死角が生じやすい。このため、カメラの配置位置の決定が困難であった。また、定点監視カメラには、プライバシー侵害の問題もある。そこで防犯においても、小型カメラを個人が持ち歩くことで、ユーザの自発的な撮影において、ユーザ個人の近接領域を常に監視することが可能となり、他人のプライバシーを過度に侵害せずに、防犯に対する効果を実現することができる。
【発明の効果】
【００３０】
以上説明したように、本発明によると、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。
また、簡便な処理でステレオ画像間の対象物の対応付けを行なうことができる全方位撮像システムを提供することもできる。
【００３１】
さらに、低コストで対象物の画像を記録することができる全方位撮像システムを提供することもできる。
【００３２】
さらにまた、実時間で逆透視投影映像を生成することが可能な全方位撮像システムを提供することもできる。
さらにまた、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することもできる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照しながら本発明の実施の形態に係る全方位撮像システムについて説明する。
図１は、本発明の実施の形態に係る全方位撮像システムのハードウェア構成を示すブロック図である。全方位撮像システム２０は、全方位カメラ２２と、ジャイロセンサ２４と、ポータブルＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）２６と、ビデオサーバ２８とを備えている。
【００３４】
全方位カメラ２２は、周囲３６０度の映像を一度に撮像可能なカメラである。全方位カメラ２２の詳細については後述する。ジャイロセンサ２４は、全方位カメラ２２の傾きを検出するためのセンサである。ポータブルＰＣ２６は、ジャイロセンサ２４で検出された全方位カメラ２２の傾きに基づいて、全方位カメラ２２で撮像される映像の傾きを補正し、映像切り出しを行う。また、ポータブルＰＣ２６は、無線ネットワーク等によりビデオサーバ２８に接続され、ビデオサーバ２８に切り出された映像を送信する。さらに、ビデオサーバ２８から得られた監視の判断結果に基づいて、アラームを出力したりする。さらにまた、ビデオサーバ２８から得られる画像を表示したりする。
【００３５】
ビデオサーバ２８は、無線ネットワーク等によりポータブルＰＣ２６に接続され、ビデオサーバ２８より受信した映像を解析し、全方位カメラ２２の周囲に対象物が侵入したか否かの判断を行ったり、対象物の画像を生成したりする。ビデオサーバ２８は、その判断結果や対象物の画像をポータブルＰＣ２６に送信する。
【００３６】
図２は、全方位カメラ２２の構成を示す外観図である。全方位カメラ２２は、全方位ミラー３２と、カメラ３４とを備えている。全方位ミラー３２は、周囲３６０°の方向から入射した光を反射するミラーである。全方位ミラー３２の詳細については後述する。カメラ３４は、全方位ミラー３２で反射された画像を撮像する。
【００３７】
図３は、全方位カメラ２２およびジャイロセンサ２４の設置位置の一例を示す図である。図３に示すように、全方位カメラ２２およびジャイロセンサ２４を自動車の天井に設置し、周囲からの接近車や接近者等を監視するようにしてもよい。
【００３８】
図４は、全方位カメラ２２およびジャイロセンサ２４の設置位置の他の一例を示す図である。図４に示すように、ショルダーバッグの肩位置に全方位カメラ２２およびジャイロセンサ２４を設置し、周囲からの接近者等を監視するようにしてもよい。
【００３９】
図５は、全方位カメラ２２およびジャイロセンサ２４の設置位置のさらに他の一例を示す図である。図５に示すように、ランドセルに全方位カメラ２２およびジャイロセンサ２４を設置し、周囲からの接近者等を監視するようにしてもよい。
【００４０】
図６は、全方位カメラ２２およびジャイロセンサ２４の設置位置のさらに他の一例を示す図である。図６に示すように、帽子に全方位カメラ２２およびジャイロセンサ２４を設置し、周囲からの接近者等を監視するようにしてもよい。
【００４１】
図７は、全方位カメラ２２およびジャイロセンサ２４の設置位置のさらに他の一例を示す図である。図７に示すように、バイクに全方位カメラ２２およびジャイロセンサ２４を設置し、周囲からの接近物等を監視するようにしてもよい。なお、ポータブルＰＣ２６を運転者の視認可能な位置に置くことにより、運転者は、側方や後方の接近者等を監視することができる。
【００４２】
図８は、全方位ミラー３２の構成を示す外観図であり、（ａ）は側面図であり、（ｂ）は底面図である。全方位ミラー３２は、半円球形状のミラー３２ａ上に６つの小さな半円球形状のミラー３２ｂが一体形成されている。
このように、ユーザは超小型化された全方位カメラ２２およびジャイロセンサ２４を携帯することにより、獲得した情報から、接近する未確認対象物の存在を事前に知らされる。また、ポータブルＰＣ２６は、注意を促す表示システムを併せ持つ。全方位カメラで獲得した映像はユーザを中心として、全方向に広がりをもつが、ユーザから距離が離れると解像度が低下するため、判別が困難になる。しかし、ユーザ近傍では解像度が高く、認知可能な映像が得られる。
【００４３】
また、上述のように、複数の半円球状のミラー３２ｂを用いて、全方位ミラー３２を形成している。このため、複数のカメラを用いた立体視と同様に、対象物の距離を検出することができる。図８に示したように、それぞれのミラー３２ｂの曲面中心を結ぶ距離が基線長となり、それぞれのミラー３２ｂ間で視差が発生する。
【００４４】
図９は、ある２つのミラー３２ｂより得られる映像からの奥行き距離を求める方法について説明するための図である。ここでは、２つのミラー３２ｂより得られる映像を映像４２ａおよび映像４２ｂとする。基線長をｄとすると、空間中の点４４と、映像４２ａおよび映像４２ｂとの関係は、次式（１）および次式（２）のように表すことができる。この式より各ミラー３２ｂからの奥行きを算出することができる。図９では、２つの曲面から決定できる距離を表したが、同じ対象物は複数の曲面に投影されるため、全ての組合せからの距離が算出可能である。
【００４５】
【数１】
2005234224.tif 000003
カメラから複数の全方位を投影する曲面に対する光軸は、それぞれのミラー３２ｂに対して異なった角度から投影される。そのため、図１０（ａ）に示すように無限遠方の直線は同じ方位となるが、図１０（ｂ）に示すように距離が近くなるに従い、方位にずれを生じる。それに加え、光軸の傾きにより、同じ高さの物体に対しても光軸中心から放射方向までの距離が異なる。ただし、ミラーは設計段階で基線長が決められ、カメラに設置した後、事前にキャリブレーションが可能である。このため、光軸の傾きを仮想的に光軸が平行であるように予め変換することが可能である。
【００４６】
次に、実際に対象物までの距離を得る方法として２つの手法について述べる。
１つ目の方法は、投票による３次元検出である。二眼立体視において、画像間で対応する点を求めるのは複雑な処理が必要であるが、多眼視の場合、空間を所定の大きさのボクセルに区切り、画像から得られる視線をボクセルに投票すると、真の３次元点では複数の投票が得られる。従来の１台の全方位カメラでは視線が中心から放射状になるため、複数の視線を投票することが不可能であったが、複数のミラー３２ｂを用いることで、投票が可能になった。その様子を図１１に示す。カメラの近傍に検出限界の半径を持つ仮想的な球を生成する。球の内部を図１２に示すようなボクセル５２に区切り、複数のミラー３２ｂより得られる画像の各々について、物体の視線が貫通するボクセルに投票を行なう。物体が球内にあるときには、必ず２本以上の視線からの投票が対応するボクセルにある。このことから、複数の投票があった（所定のしきい値以上の投票があった）ボクセルを物体の３次元位置とする。ただし、投票は近傍の球内に限定されるため、処理が簡便になる。
【００４７】
なお、図１３に示すように、検出限界の半径を持つ仮想的な球の表面を複数のセル５４に区切り、セル５４に対して投票を行なうようにしてもよい。このようにすることにより、仮想的な球内に物体が侵入する境界での投票を行なうことができ、さらに、投票は、球表面に限定されることより、さらに処理が簡便になる。
【００４８】
次に、２つ目の方法では、距離の代わりに、複数のミラー３２ｂから得られる画像における視差の有無を検出する簡便な方法について述べる。図１４に示すように、複数のミラー３２ｂから獲得される全方位画像を一列に並べ立体画像（３次元画像）６２を生成する。カメラ３４から遠く離れた物体は上述のように方位が等しくなる。このため、画像間で視差が現れないため、立体画像６２において直線６４を描く。しかし、カメラ３４の近傍に存在する対象物は視差を生じさせるため、基線長に依存して視差が現れる。このため、立体画像６２においては曲線６６を描く。したがって、立体画像６４において、直線除去フィルターを利用し、直線６４を除去することにより、簡便に視差がある領域だけを抜き出し、近傍の対象物と判定することができる。
【００４９】
この奥行き距離は、ユーザから遠く離れるほど距離精度が低下する一方で、ユーザの近傍の対象物の距離は精度良く獲得できる。よって、図１５に示すように、全方位撮像システム２０によると、ユーザ近傍にあたかもバリア７２が形成され、その内部に侵入した未確認対象物までの距離を測定し、その対象物を映像でユーザに知らせることができるようになる。
【００５０】
なお、全方位カメラ２２で撮像された映像は、ユーザにとって現実世界と異なり、周囲の全方向の映像が矩形の撮像面に映る。そのため、ユーザはカメラの方向を意識することなく全方向の情報を獲得することができる。しかし、全方位画像は屈折した画像となっているため、その画像を見ても、ユーザは対象物を認識するのは困難である。
このため、ユーザに違和感なく映像を伝えるには、映像を通常のカメラで撮影した画像と同様の透視投影画像に変換する必要がある。透視投影画像に変換する際のユーザの視線を獲得するため、上述のようにして、ユーザに近づく対象物を自動検出し、ユーザが見るべき方向（ユーザの視線方向）とする。
【００５１】
ユーザから対象物までの距離が、一定距離より近くなり仮想的なバリア７２の内側に入った場合には、未確認対象物の接近として、ユーザにアラーム等により警告するとともに、その方向を提示する。それとともに、当該方向に基づいて、全方位カメラの映像を通常カメラの映像と同様になるように切り出して透視投影映像に変換し表示する。
ユーザが携帯する全方位カメラ２２は、ユーザの周囲を撮影するが、携帯する際に、全方位カメラ２２の傾きが無いように設定する。また、ユーザの動きとともに全方位カメラ２２が動くため、動きによる傾きを補正するために、ユーザは、全方位カメラ２２とともにジャイロセンサ２４を携帯する。ジャイロセンサ２４の出力に基づいて、傾きを補正した映像切り出しが行なわれる。これらの処理はユーザが持つポータブルＰＣ２６で処理される。一方、映像を蓄積するため、全方位カメラ２２から得られた映像およびジャイロセンサ２４の出力は、ビデオサーバ２８に転送され、ビデオサーバ２８においてユーザの行動履歴を常時蓄積するとともに、その行動履歴がポータブルＰＣ２６に転送される。
【００５２】
以上説明したように、本実施の形態によると、１台のカメラで６つのミラーで反射される光を撮像している。このため、ミラーで反射された画像間で対応付けを行なうことにより距離情報を得ることができる。このため、低コストで画像と距離情報とを獲得することが可能な全方位撮像システムを提供することができる。
【００５３】
また、６つのミラーから得られる画像に基づいて、対象物までの距離を算出している。このため、２つのミラーから得られる画像に基づいて対象物の対応付けを行う場合と異なり、対象物の偽対応を起こすことなく、正確な対象物の三次元位置を特定することができる全方位撮像システムを提供することができる。
【００５４】
さらに、投票または立体画像から曲線抽出という手法により、対象物までの距離を求めることができる。よって、高速に全方位の距離を測定できるとともに、ユーザの近傍で高精度の測定結果が得られる。このため、一定距離以内に近づく対象物に対して警告を発し、その映像を表示することができる。
【００５５】
また、距離情報に基づいて、ユーザまでの到達時間を事前に予測検知することもできる。このため、このシステムは自転車、バイクを含む車両に利用でき、運転時における近傍の交通からの安全確保にも利用可能である。特に、高速道路などでは、隣接レーンを走行する車両に気付かずに車線変更すると大事故に繋がるが、側後方を監視するこの発明を利用することで、事前にドライバーに注意を促し、その映像で危険を確認させることができる。またこの映像は走行記録になることから、事故が発生したときの状況証拠として利用することができる。
【００５６】
以上、本発明の実施の形態に係る全方位撮像システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、ミラー３２ｂとして半円球の曲面ミラーを用いたが、双曲面ミラー、放物面ミラー等の周囲３６０度の光を反射可能なミラーであればどのような形状であってもよい。
また、ミラー３２ｂの個数は６個に限定されるものではなく、それ以上であってもよいし、それ以下であってもよい。
【産業上の利用可能性】
【００５７】
本発明は、全方位撮像システムに適用可能であり、特に、ユーザや自転車およびバイクを含む車両の周辺環境の監視等に適用可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の形態に係る全方位撮像システムのハードウェア構成を示すブロック図である。
【図２】全方位カメラの構成を示す外観図である。
【図３】全方位カメラおよびジャイロセンサの設置位置の一例を示す図である。
【図４】全方位カメラおよびジャイロセンサの設置位置の他の一例を示す図である。
【図５】全方位カメラおよびジャイロセンサの設置位置のさらに他の一例を示す図である。
【図６】全方位カメラおよびジャイロセンサの設置位置のさらに他の一例を示す図である。
【図７】全方位カメラおよびジャイロセンサの設置位置のさらに他の一例を示す図である。
【図８】全方位ミラー３２の構成を示す外観図であり、（ａ）は側面図であり、（ｂ）は底面図である。
【図９】ある２つのミラーより得られる映像からの奥行き距離を求める方法について説明するための図である。
【図１０】物体までの距離と方位との関係を説明するための図である。
【図１１】投票の様子を示す図である。
【図１２】球の内部をボクセルに区切った様子を示す図である。
【図１３】球の表面をセルに区切った様子を示す図である。
【図１４】対処物までの距離を得る方法を説明するための図である。
【図１５】ユーザの近傍に設けられる仮想的なバリアについて説明するための図である。
【符号の説明】
【００５９】
２０  全方位撮像システム
２２  全方位カメラ
２４  ジャイロセンサ
２６  ポータブルＰＣ
２８  ビデオサーバ
３２  全方位ミラー
３４  カメラ
３２ａ，３２ｂ  ミラー
５２  ボクセル
５４  セル
６２  立体画像
７２  バリア
【図１】
2005234224.tif 000004
【図２】
2005234224.tif 000005
【図３】
2005234224.tif 000006
【図４】
2005234224.tif 000007
【図５】
2005234224.tif 000008
【図６】
2005234224.tif 000009
【図７】
2005234224.tif 000010
【図８】
2005234224.tif 000011
【図９】
2005234224.tif 000012
【図１０】
2005234224.tif 000013
【図１１】
2005234224.tif 000014
【図１２】
2005234224.tif 000015
【図１３】
2005234224.tif 000016
【図１４】
2005234224.tif 000017
【図１５】
2005234224.tif 000018