(57)【要約】【課題】時系列の全方位画像の方位情報を計測遅延の少なく、かつ、高精度に検出するとともに、外界の空間情報を獲得するのに十分な景観の全周囲画像を取得する。【解決手段】全周囲の景観を撮像可能な全方位カメラ２と地磁気を感知して方位を示す磁針センサ部１とを具備し、全方位カメラは全周囲の景観とともに磁針を撮像する。全方位カメラで撮影した撮影画像を全方位画像取得部３に取り出し、蓄積部４に蓄積すると共に、方位角処理部５では磁針が写っている磁針画像を抽出して磁針の向きを示す線分を抽出し、方位角度として当該全方位画像の座標軸と線分との成す角度を算出し、方位角記録部６に記録する。磁針画像領域の中心が当該全方位画像の中心に一致するように、全方位カメラと磁針とが設置されていることを含む。【選択図】　図１
2004117496.tif 000002
【特許請求の範囲】
【請求項１】
全周囲の景観を撮像可能な全方位カメラと地磁気を感知して方位を示す磁針とを具備し、前記全方位カメラは全周囲の景観とともに前記磁針を撮像するように、前記全方位カメラと前記磁針とが設置されていることを特徴とする全方位撮像装置。
【請求項２】
全周囲の景観を撮像可能な全方位カメラと地磁気を感知して方位を示す磁針とを具備し、前記全方位カメラは全周囲の景観とともに前記磁針を撮像するように、前記全方位カメラと前記磁針とが設置され、
前記全方位カメラが取得した全方位画像から前記磁針が写っている磁針画像を抽出する手段と、
前記磁針画像から前記磁針の向きを示す線分を抽出する手段と、
方位角度として当該全方位画像の座標軸と前記線分との成す角度を算出する手段と、
を具備することを特徴とする全方位撮像装置。
【請求項３】
前記磁針画像領域の中心が当該全方位画像の中心に一致するように、前記全方位カメラと前記磁針とが設置されていることを特徴とする請求項１または２に記載の全方位撮像装置。
【請求項４】
全方位カメラにより全周囲の景観とともに地磁気を感知して方位を示す磁針を撮像した全方位画像を入力する過程と、
前記全方位画像から前記磁針が写っている磁針画像を抽出する過程と、
前記磁針画像から前記磁針の向きを示す線分を抽出する過程と、
方位角度として当該全方位画像の座標軸と前記線分との成す角度を算出する過程とを有することを特徴とする全方位撮像方法。
【請求項５】
請求項４に記載の全方位撮像方法における各過程を、コンピュータに実行させるためのプログラムとしたことを特徴とするプログラム。
【請求項６】
請求項４に記載の全方位撮像方法における各過程を、コンピュータに実行させるためのプログラムとし、前記プログラムを前記コンピュータで読取り可能な記録媒体に記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、方位（例えば、真北の方向）情報を含めて外界の景観情報の全周囲景観を撮像する全方位撮像装置および全方位撮像方法に関する。
【０００２】
【従来の技術】
本発明による全方位撮像装置および方法は、魚眼レンズ、双曲線ミラー、並びに、六角錐ミラーを利用した全方位カメラを使って取得した車載映像、建物の屋上に設置した屋上景観画像、船上からの海上映像、空撮などの時系列画像全般に対して利用可能なものである。
【０００３】
一般に、方位情報を得る手段として、ジャイロセンサが代表的であり、車両やヘリコプターなどに搭載されている。これらのジャイロセンサは、時々刻々と変化する方位情報を計測可能であるが、車両並びにヘリコプターの動きと方位感知が完全に同期していないために、ある程度の遅延が発生し、計測値として誤差を含んでいる。
【０００４】
一方、全方位カメラは外界の景観情報の全周囲景観を撮像する画像入力装置であり、従来より、ロボットナビゲーション等に利用されてきた（例えば、非特許文献１参照）。
【０００５】
しかし、従来の全方位カメラは、全方位画像を取得するだけのものであり、その画像から被写体の方位を知ることはできなかった。例えば、全方位カメラを利用する場合、絶対的な方位（例えば、真北の方角）を検出することは難しい。時系列画像では、初期画像において、特定の方角を決めておき、各時系列画像における相対的な方位を検出することは画像処理技術などを利用すれば可能であるが、外界の景観画像、例えば、建物の線分のみから相対的な方位を算出することは、必ずしも正確な値であるとは言えない。
【０００６】
ところで、全方位カメラとして、魚眼レンズをマウントしたカメラが考えられるが、このような全方位カメラを使った空間計測を行う場合、光軸を鉛直上向きに設置して、外界の景観情報の観測、撮影に用いられている。しかし、射影中心付近の画像は、天空を撮影した部分に割り当てられており、空間情報獲得には無駄な画像領域であるため、外界の空間情報を獲得するのに利用されることは少なかった。
【０００７】
【非特許文献１】
山澤一誠、八木靖史、谷内田正彦、「移動ロボットのナビゲーションのための全方位センサ　Ｈｙｐｅｒ　Ｏｍｎｉ　Ｖｉｓｉｏｎの提案」、信学論（Ｄ−ＩＩ）、Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．６９８−７０７，１９９６．
【０００８】
【発明が解決しようとする課題】
一般に、車両やヘリコプターなどの物体の動き（以降、自已運動と記載）を正確に検出し、かつ、外界の空間情報を獲得するには、車両などに、全方位カメラを設置して、この全方位画像から自己運動と外界の空間情報を同時に獲得することが便利である。
【０００９】
しかしながら、全方位画像において、方角を正確に検出、または、計測することは難しく、これまで、時系列画像からのオプティカルフロー手法を利用した手法により初期画像からの相対的な方位を検出するのが一般的であった。
【００１０】
一方、ジャイロセンサなどの方角センサを利用した手段も存在するが、車両並びにヘリコプターの自己運動と方位感知が完全に同期していないために、ある程度の遅延が発生し、計測値として誤差を含んでいた。また、全方位画像の場合、射影中心には天空領域が多く、画像処理としては対象外の画像部分であった。
【００１１】
本発明の目的は、射影中心付近の画像処理の対象外とされた画像領域を有効に利用して、時系列の全方位画像に一対一に対応付けられた計測遅延の少なく、かつ、高精度な方位情報を自動検出するとともに、外界の空間情報を獲得するのに十分な景観の全周囲画像を取得できる全方位撮像装置、方法、プログラムおよび記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は、前記の課題を解決するため、地磁気を感知して方位角を示す磁針を利用し、磁針が示す方位角情報を、全方位カメラを使って、外界の景観と一緒に画像として撮像し、この撮像により取得した全方位両像において、方位を示す領域を抽出し、撮影した瞬間の方位情報を求めるようにしたもので、以下の装置、方法、プログラムおよび記録媒体を特徴とする。
【００１３】
（１）全周囲の景観を撮像可能な全方位カメラと地磁気を感知して方位を示す磁針とを具備し、前記全方位カメラは全周囲の景観とともに前記磁針を撮像するように、前記全方位カメラと前記磁針とが設置されていることを特徴とする。
【００１４】
（２）全周囲の景観を撮像可能な全方位カメラと地磁気を感知して方位を示す磁針とを具備し、前記全方位カメラは全周囲の景観とともに前記磁針を撮像するように、前記全方位カメラと前記磁針とが設置され、
前記全方位カメラが取得した全方位画像から前記磁針が写っている磁針画像を抽出する手段と、
前記磁針画像から前記磁針の向きを示す線分を抽出する手段と、
方位角度として当該全方位画像の座標軸と前記線分との成す角度を算出する手段と、
を具備することを特徴とする。
【００１５】
（３）前記磁針画像領域の中心が当該全方位画像の中心に一致するように、前記全方位カメラと前記磁針とが設置されていることを特徴とする。
【００１６】
（４）全方位カメラにより全周囲の景観とともに地磁気を感知して方位を示す磁針を撮像した全方位画像を入力する過程と、
前記全方位画像から前記磁針が写っている磁針画像を抽出する過程と、
前記磁針画像から前記磁針の向きを示す線分を抽出する過程と、
方位角度として当該全方位画像の座標軸と前記線分との成す角度を算出する過程とを有することを特徴とする。
【００１７】
（５）上記の全方位撮像方法における各過程を、コンピュータに実行させるためのプログラムとしたことを特徴とする。
【００１８】
（６）上記の全方位撮像方法における各過程を、コンピュータに実行させるためのプログラムとし、前記プログラムを前記コンピュータで読取り可能な記録媒体に記録したことを特徴とする。
【００１９】
【発明の実施の形態】
図１は本発明の基本構成図であり、地磁気を感知して方位を示す磁針センサ部１、全方位画像を取得する全方位撮像部２、並びに、全方位撮像部２で取得した光学情報を全方位画像化し、方位を算出するために必要な方位画像領域と全方位画像部分に分離する全方位画像取得部３、全方位画像を蓄積する全方位画像蓄積部４、方位画像領域において方角を算出する方位角処理部５、並びに、算出した方位角を記録する方位角記録部６から構成される。
【００２０】
本実施形態においては、魚眼レンズなどを利用して、等距離投影（光軸からの入射角に比例した投影）の光学系を組み込んだ全方位カメラ撮像装置を利用した場合を説明するが、他の立体角射影、等立体角射影を用いた場合も同様に利用することができる。さらに、他の全方位カメラ撮像装置（双曲線ミラーや六角錘ミラーなどを利用した全方位カメラ）に対しても適用可能である。
【００２１】
図２は、図１における磁針センサ部１と全方位撮像部２を具体化した構成図であり、一体型と分離型を示す。磁針センサ部１は磁針用台座１１上に磁針１２を配置した構成とし、全方位撮像部２は撮像系１３と魚眼レンズ１４で構成した場合を示す。図２の（ａ）に示す一体型は、全方位撮像部と磁針センサ部が支柱１５により接続されて固定されている。（ｂ）に示す分離型は、磁針センサ部２を方位角を検出したい物体１６に取り付け、全方位撮像部２は、磁針センサ部１を射影中心付近に方位画像部分を形成するように固定する。双方は、支柱により一体になっているかどうかの違いだけが異なる。また、図３には磁針センサ部１と全方位撮像部２を上下方向の配置を逆にし、カメラ光軸を上向きさせて全方位撮影する場合の構成を示す。
【００２２】
これら構成における具体的は撮影形態は、図４〜図６に示し、図４は車両の屋根部に搭載した例を、図５は高層ビルの屋上に載置した例を、図６は地面に載置した例を示す。図４では車両の走行と共に各時系列の全方位画像を撮影したときの物体の方位角を計測することが可能であり、市街地空間における全方位画像と方角を用いた移動計測ができる。また、図５や図６では高層ビルの屋上や地上からみた全周囲のパノラマと方角が常に得られ、多眼ステレオ計測と組み合わせると、市街地空間の空間情報を獲得することができる。
【００２３】
これら構成および全方位撮像において、磁針センサ部１と全方位撮像部２は、全方位撮像部２の魚眼レンズ１４のカメラ光軸が磁針用台座１２に固定した磁針の中心と一致するように取り付けておく。すなわち、図７に示すように、全方位画像において、磁針の中心が射影中心と一致するように一体型の場合は支柱１５を調整し、分離型の場合は磁針センサ部１を取り付けた後に全方位撮像部２を固定する。
【００２４】
この取り付け構造により、磁針１１は全方位画像の中心付近に磁針画像として画像化される。ただし、説明の都合上、磁針用台座１２と台座を設置するときの物体１６は円形とする。
【００２５】
図８には、全方位撮像装置を物体に固定したときのカメラ光軸からの角度を示しており、それぞれφ０は磁針用台座までが映る角度、φ１は物体まで映る角度、φ２は魚眼レンズのイメージサークル（画像化限界枠の円）まで映る角度を示している。同様に、図９には磁針センサ部と全方位撮像装置の位置関係が逆になる場合の角度を示す。
【００２６】
これらにおいて、磁針用台座１２まで映る角がカメラ光軸からφ０のとき、磁針画像は、下記の式（１）の半径ｒの円内部に射影されることになる。ただし、ｆは魚眼レンズの焦点距離であり、Ｄはφ０＝φ２（＝π／２）のとき，ｒ＝Ｒになるように量子化した比例定数である。
【００２７】
【数１】
ｒ＝ｆφ０／Ｄ　　　…（１）
図８また図９における位置関係において、図１０には入射角度に従って射影される画像範囲を示している。それぞれの半径は上記の式（１）および下記の式（２）、（３）に従って得ることができる。
【００２８】
【数２】
Ｒ’＝ｆφ１／Ｄ　　　…（２）
Ｒ　＝ｆφ２／Ｄ　　　…（３）
以上の関係から、磁針画像は、カメラ光軸を基本軸として、０＜φ＜φ０の範囲に対して全方位カメラで射影され、射影中心からの半径ｒまでの領域に磁針画像として撮像される（図７の方位画像部分参照）。また、磁針用台座１２の下の物体１６が映り込む場合は、φ０＜φ＜φ１の範囲に対して全方位カメラで射影され、半径ｒから半径Ｒ’までの領域に撮像される。さらに、外界の全周囲の景観は、φ１＜φ＜φ２の範囲に対して全方位カメラで射影され、半径Ｒ’から半径Ｒまでの領域に撮像される（図７の景観画像部分参照）。なお、図７は、物体の映り込みがない場合の例（Ｒ’＝ｒ）を示している。
【００２９】
次に、図７に示す全方位画像から、方位角を算出する処理を図１１に示す処理フローで説明する。まず、全方位撮像部２で取得した時系列画像は、時系列画像データベース７に蓄積される。このとき、データベースを所有する、または、内部メモリに一旦蓄積する、または、ネットワーク経由でデータを共有してもかまわず、必ずしも、データベースが必要であるとは限らない。ここでは、取得した全方位画像を、逐次、処理する意味で、一旦、時系列画像データベース７に蓄積するとしている。
【００３０】
次に、時系列画像データベース７に蓄積した全方位画像のうち、対象とする全方位画像を取り出す（Ｓ１）。このときの画像を図７に示す全方位画像とする。この画像において、射影中心から半径ｒまでの円を方位画像領域と見なして領域抽出する。
【００３１】
次に、抽出した方位画像部分に対して、エッジ検出を行って線分を抽出する（Ｓ２）。このとき、図７に示すように、方位画像領域には、磁針が映っている単純な画像であるため、線分抽出は容易であり、線分抽出の後に細線化処理を施す。細線化した線分は単一の線分であり、この線分とＸ軸との為す角度、すなわち、磁針の傾きθを求めることができる。このとき、磁針は常に特定の方角、すなわち磁北に向く性質を有するため、各全方位画像について磁針の傾きθを求め、磁北と真北との偏差（磁気偏角）を補正することにより、当該全方位画像の絶対的な方位角、さらには被写体の絶対的な方位角を算出することができる。
【００３２】
図１１の処理フローでは、方位角を算出した後に、この方位角を逐次記録する（Ｓ４）。一方、抽出された残りの全方位画像において、方位画像領域を黒などで塗りつぶして景観のみが映っている全方位画像に整形し、景観画像として保存する（Ｓ５）。
【００３３】
上記の処理を、各時系列画像に対して行うことにより、各時系列の方位角と景観の全方位画像を取得することができる。
【００３４】
なお、本発明は、図１１に示した方法又は図１等に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００３５】
【発明の効果】
以上のとおり、本発明によれば、地磁気を感知して方位角を示す磁針を利用し、磁針が示す方位角情報を、全方位カメラを使って、外界の景観と一緒に画像として撮像し、この撮像により取得した全方位両像において、方位を示す領域を抽出し、撮影した瞬間の方位情報を求めるようにしたため、時系列の全方位画像に一対一に対応付けられた計測遅延の少なく、かつ、高精度な方位情報を自動検出するとともに、外界の空間情報を獲得するのに十分な景観の全周囲画像を取得できる。
【図面の簡単な説明】
【図１】本発明の実施形態を示す基本的構成図。
【図２】磁針センサ部と全方位撮像部の関係を示す図。
【図３】磁針センサ部と全方位撮像部の関係を示す図。
【図４】磁針センサ部と全方位撮像部の車両への搭載例を示す図。
【図５】磁針センサ部と全方位撮像部の建物屋上への設置例を示す図。
【図６】磁針センサ部と全方位撮像部の地面への設置例を示す図。
【図７】全方位画像面を示す図。
【図８】全方位撮像部のカメラ光軸に対する入射角を示す図。
【図９】全方位撮像部におけるカメラ光軸に対する入射角を示す図。
【図１０】入射角別の画像領域を示す図。
【図１１】方位角抽出処理フロー。
【符号の説明】
１…磁針センサ部
２…全方位撮像部
３…全方位画像取得部
４…全方位画像蓄積部
５…方位角処理部
６…方位角記録部
７…時系列画像データベース
１１…磁針
１２…磁針用台座
１３…撮像系
１４…魚眼レンズ
１５…支柱
１６…物体
【図１】
2004117496.tif 000003
【図２】
2004117496.tif 000004
【図３】
2004117496.tif 000005
【図４】
2004117496.tif 000006
【図５】
2004117496.tif 000007
【図６】
2004117496.tif 000008
【図７】
2004117496.tif 000009
【図８】
2004117496.tif 000010
【図９】
2004117496.tif 000011
【図１０】
2004117496.tif 000012
【図１１】
2004117496.tif 000013