(57)【特許請求の範囲】
【請求項１】
全方位撮像による環状画像の基準位置検出方法であって、
全方位撮像装置により環状画像を撮像するステップと、
撮像された環状画像を該環状画像の内円と外円の輪郭を明確化した輪郭画像に加工するステップと、
中心と半径が変化する円に基づいて前記輪郭画像の前記輪郭に最も適合する円を選定するステップと、
該選定された円の中心座標とその半径を利用して、前記環状画像をパノラマ画像へ展開する際の該環状画像の展開領域を指定する基準位置を求めるステップとを有し、
前記選定ステップは、
前記環状画像の中央部の所定領域において、中心を移動しつつ半径が変化する円の各変化点において当該円上の画素の濃度値の加算値または平均値を求め、それら加算値または平均値の内で最大の値を示した円を選定し、選定された円の中心座標及び半径をそれぞれ環状画像の中心座標及び内円の半径とする第１のステップと、
前記第１のステップで選定された円の中心座標を中心とし半径が該選定された円の半径よりも大きい領域において変化する円上の画素の濃度値の加算値または平均値についてヒストグラムを形成し、該ヒストグラムに微分フィルタを施して微分ヒストグラムを形成し、該ヒストグラムの最大点に対応する円の半径を環状画像の外円の半径とする第２のステップと
を有する前記方法。
【請求項２】
請求項１に記載の方法において、前記基準位置は前記環状画像の中心座標位置と内円位置と外円位置である、前記方法。
【請求項３】
請求項１に記載の方法において、前記基準位置は前記環状画像の中心座標位置と該中心座標からの前記内円の半径と該中心座標からの前記外円の半径である、前記方法。
【請求項４】
請求項１に記載の方法において、前記画像加工ステップは、前記環状画像にエッジ抽出フィルタを施す、前記方法。
【請求項５】
請求項１に記載の方法において、前記画像加工ステップは、前記環状画像にノイズ除去フィルタを施した後にエッジ抽出フィルタを施す、前記方法。
【請求項６】
請求項４または５に記載の方法において、前記エッジ抽出フィルタを施すステップは、前記環状画像に横方向微分フィルタと縦方向微分フィルタとを施してそれぞれの微分画像を形成し、それら微分画像の和を取って前記輪郭画像を得る、前記方法。
【請求項７】
全方位撮像による環状画像の基準位置検出装置であって、
環状画像を撮像する全方位撮像装置と、
撮像された環状画像を該環状画像の内円と外円の輪郭を明確化した輪郭画像に加工する手段と、
中心と半径が変化する円に基づいて前記輪郭画像の前記輪郭に最も適合する円を選定する手段と、
該選定された円の中心座標とその半径を利用して、前記環状画像をパノラマ画像へ展開する際の該環状画像の展開領域を指定する基準位置を求める手段とを備え、
前記選定する手段は、
前記環状画像の中央部の所定領域において、中心を移動しつつ半径が変化する円の各変化点において当該円上の画素の濃度値の加算値または平均値を求め、それら加算値または平均値の内で最大の値を示した円を選定し、選定された円の中心座標及び半径をそれぞれ環状画像の中心座標及び内円の半径とする第１の手段と、
前記第１の手段により選定された円の中心座標を中心とし半径が該選定された円の半径よりも大きい領域において変化する円上の画素の濃度値の加算値または平均値についてヒストグラムを形成し、該ヒストグラムに微分フィルタを施して微分ヒストグラムを形成し、該ヒストグラムの最大点に対応する円の半径を環状画像の外円の半径とする第２の手段と
を有する前記装置。
【請求項８】
請求項７に記載の装置において、前記加工する手段は、前記輪郭画像の前記内円と前記外円を顕在化するエッジ抽出フィルタである、前記装置。
【請求項９】
請求項８に記載の装置において、前記エッジ抽出フィルタは、縦方向の線分を顕在化する横方向微分フィルタと、横方向の線分を建材かする縦方向微分フィルタと、を備え、それらフィルタにより得られた環状画像の和を取って前記輪郭画像を得る手段と、を備えた前記装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、全方位撮像レンズ（PAL）を用いて全方位撮影することにより得られた環状画像をパノラマ画像に変換する際に必要な基準位置を検出する方法および装置に係るものである。
【０００２】
【発明が解決しようとする課題】
全方位撮像レンズを用いて撮影された画像は図１に示すように環状画像となる。この環状画像をＭＰＵを用いて図２に示すようにパノラマ展開画像に変換する。この画像変換の際に、図１に示すように、中心座標位置と内円および外円の位置からなる画像変換のための基準位置が環状画像に適合しておれば、ＭＰＵは図２に示すように適正なパノラマ展開画像を得るように変換することができるが、図３に示すように基準位置が不適合な状態にあれば、パノラマ展開画像は図４に示すように湾曲したひずみ画像となってしまう。
【０００３】
従来では、このようなパノラマ展開画像の湾曲ひずみを解消するために、全方位撮像光学系並びに撮像素子の機械的取り付け位置の精度を上げるべく機械的取り付けの調整を行ったり、あるいは、環状画像をディスプレイに表示して目視で展開領域の基準位置を決定していた。
【０００４】
本発明の目的は、上記に鑑みなされたもので、撮像光学系並びに撮像素子の取り付け後の調整作業をソフトウエア技術を用いて吸収し機械的ハードウエア調整を不要にした、全方位撮像による環状画像の基準位置検出方法および装置を提供することにある。
【０００５】
本発明の他の目的は、環状画像をパノラマ展開画像に変換する際の環状画像における基準位置を自動的に検出し決定するようにした、全方位撮像による環状画像の基準位置検出方法および装置を提供することである。
【０００６】
【課題を解決するための手段】
本発明によれば、全方位撮像装置により撮影された環状画像の中央の所定領域内において、円形パターンをその中心座標を移動しながらその半径を変化させ、環状画像の内円に最も適合する円をサーチして求めて、求められた円の中心を環状画像の中心座標とし、そのときの半径を環状画像の内円の半径とし、さらに、中心座標を中心とし内円よりも外側において円形パターンの半径を変化させて外円に最も適合する円の半径を外円の半径とすることによって、全方位撮像装置により撮影された環状画像のパノラマ画像への展開領域を表す内円と外円の位置ならびにそれらの円の中心位置を求めるようにした、全方位撮像による環状画像の基準位置検出方法および装置を提供する。
【０００７】
本発明の一実施態様によれば、環状画像をその内円と外円を表す輪郭を顕在化した画像に変換し、その顕在化画像中の内円について、中心座標を移動させつつ半径が変化する円の内で顕在化画像中の内円と最もマッチングの取れた円を選定し、その円の中心と半径を環状画像の内円の中心座標とその半径とし、それから、その中心座標を中心に円形パターンの半径を内円半径から徐々に大きくして行き顕在化画像の外円と最もマッチングの取れた円の半径を環状画像の外円の半径とすることにより、環状画像の中心座標と内円半径および外円半径を求めてパノラマ画像への展開領域を表す基準位置を決定する、全方位撮像による環状画像の基準位置検出方法および装置を提供する。
【０００８】
【発明の実施の形態】
図５は、本発明に係る全方位撮像による環状画像の基準位置検出装置を含む全体構成を示すブロック図である。
【０００９】
図５において、全方位撮像レンズ１によって周囲３６０度の全方位にある被写体からの光線を受光し、撮像素子２に被写体像を映し出す。撮像素子２はその被写体像を電気信号に変換してデジタル画像データとしてＭＰＵ３へ転送する。ＭＰＵ３は、そのデジタル画像データを図１に示すような環状画像としてメモリに保持し、かつ、図２に示すようなパノラマ展開画像に変換する。そして、このパノラマ画像はディスプレイ４によって表示される。
【００１０】
図１の環状画像を図２のパノラマ展開画像に変換する際に、図に付加されている環状画像の中心座標位置、内円位置および外円位置からなる基準位置を正しく設定することが重要である。この基準位置は中心座標、内円半径および外円半径からなるものできる。
【００１１】
本発明は基準位置を図５のＭＰＵ３によるソフトウエア技術を使って求めるものであり、その動作フローが図６に示される。以下本発明を図面を参照して詳細に説明する。
【００１２】
図６のステップ１０において、図１に示すような環状画像（内円と外円の表記はない）にノイズ除去フィルタを施す。ノイズ除去フィルタは画像中に黒や白の点のようなノイズがある画像からノイズを取り除くもので、例えばメディアンフィルタを用いることができる。メディアンフィルタは、例えば３×３の隣接する９個の画素の濃度を小さい順に並べたときの５番目（中央値）を中央画素の濃度値とする操作を全画素について行うものである。これにより、ノイズのように飛び抜けて大きいか小さい濃度値は排除されるので、ノイズの除去された画像を得ることができる。
【００１３】
次に、環状画像はエッジ抽出フィルタを用いて内円と外円のエッジを顕在化する。このエッジ抽出フィルタは横方向と縦方向の微分フィルタからなる。図６のステップ１１において、図７（a）に示すようなフィルタ行列を有する横方向微分フィルタを用いて全画素に対してフィルタ処理をすると、図８（ａ）に示すように縦の線分が強調された画像が形成される。次いでステップ１２において、図７（ｂ）に示すようなフィルタ行列を有する縦方向微分フィルタを用いて全画素に対してフィルタ処理をすると、図８（ｂ）に示すように横の線分が強調された画像が形成される。ステップ１３において、これら横方向と縦方向の２つの微分画像を加算すると、図８（c）に示すように環状画像の内円と外円の輪郭が強調された輪郭画像を形成することができる。
【００１４】
図６のステップ１４において、円パターンを形成し、この円の中心点を移動させつつ各移動点で半径を変化させ、各変化点における円パターンの円周上の各画素の濃度を加算して各円の濃度加算値を求める。濃度加算値は円パターンが環状画像の内円と重なり合わさった時に最も大きくなる。このステップでは環状画像の内円の中心座標とその半径求めることが目的であるから、画像の高さをHとすると中心点の移動範囲は環状画像の中心座標から上下左右に±H×０.２５の範囲とする。また、円パターンの半径の変化範囲は、H×０.１よりも大きくH×０.２５よりも小さい範囲とする。図９は中心の移動と円の半径が変化される様子を示している。なお、円パターンの半径を徐々に変化して、半径の各変化点において中心位置を移動させるようにしてもよい。また、ステップ１４では濃度加算値に替えて濃度平均値を求めてもよい。
【００１５】
ステップ１５において、ステップ１４で求められた濃度加算値の内で最も大きいものを選定し、その円パターンの中心を環状画像の中心座標とし、また、その円の半径を環状画像の内円の半径とする。
【００１６】
そして、ステップ１６において、中心座標を中心とする円形パターンをその半径を内円半径＋１の長さから徐々に大きくなるように変化させ、各半径の変化点における円パターンの円周に沿った画素の濃度値の平均値を求める。なお、円パターンの半径は最大の半径から徐々に小さくするようにしてもよいし、また、濃度値に替えて加算値を得るようにしてもよい。
【００１７】
ステップ１７において、ステップ１６で求められた半径の各変化点における平均濃度値を、横軸に半径Rを取り縦軸に濃度平均値を取ってヒストグラムを描くと図１０に示すようになる。ステップ１８において、ステップ１６で求められたヒストグラムに１次元の微分フィルタを施して図１１に示すようにエッジ部分を強調したヒストグラムを形成する。
【００１８】
ステップ１８の１次元微分の原理を図１２に基づいて更に詳しく説明する。図１２（ｂ）は１次元微分フィルタを施す前の或るエッジ部近辺の濃度平均値を棒グラフで示したものである。この値を数値で示すと図１２（ａ）の中欄に示すようになる。同（ａ）の上欄は１次元微分フィルタ（エッジ抽出フィルタ）の特性を示す。このフィルタ特性列を左端から順番に右方向に１升づつ移動しつつ計算した結果が同（ａ）の下欄のようになり、これをグラフに表すと同（ｃ）のようになる。図１２において、フィルタを施す前は輪郭画像の輪郭部における分布は同（ｂ）のようになっていると考えられる。ここでは１１の位置が最も濃度平均値が高くなっている。これに１次元微分フィルタを施こすと、同（ｃ）に示すように４の位置で最大となる。本来は輪郭部のエッジ部で輪郭画像の外円の半径とするのが好ましいので、図１２（ｃ）のようにエッジ部でピークが出るのが好ましい。
【００１９】
そこで、図６のステップ１９においてその微分ヒストグラム中の最も濃度平均値の高い半径４の円を選択し、その円の半径を環状画像の外円の半径と決定する。
【００２０】
以上のようにして、環状画像の中心座標位置、内円の半径および外円の半径からなる環状画像の基準位置を算出することができる。
【００２１】
なお、以上のようにして決定された環状画像の基準位置により指定された領域、即ち環状画像のパノラマ画像への展開領域のみの画像データを他の装置へ転送するようにすれば、環状画像の転送速度を向上することができる。
【００２２】
【発明の効果】
本発明によれば、環状画像の中心座標位置、内円の半径および外円の半径をソフトウエア技術を用いて自動的に計算して求めることができるので、機械的調整は不要となるばかりでなく、環状画像の展開領域を目視により決定する操作が不要となる。
【図面の簡単な説明】
【図１】全方位撮像レンズで撮影された環状画像の正常な展開領域を示した図である。
【図２】図１の環状画像を矩形に変換したパノラマ展開画像を示す図である。
【図３】不適当な展開領域を指定した状態を示す環状画像を示す図である。
【図４】図３のように不適当な展開領域を指定した結果得られたパノラマ展開画像を示す図である。
【図５】本発明の概略構成を示すブロック図である。
【図６】本発明を実施する場合の手順を示すフローチャートである。
【図７】輪郭画像を得るための微分フィルタのフィルタ行列を示す図である。
【図８】縦方向および横方向に微分フィルタを掛けたときの輪郭画像を得る過程を説明した図である。
【図９】輪郭画像の中心座標と内円の半径を求める操作を説明するための図である。
【図１０】輪郭画像の外円半径を求めるために用いられるヒストグラムである。
【図１１】図１０のヒストグラムを１次元微分フィルタに施した後のヒストグラムである。
【図１２】ヒストグラムに１次元微分フィルタに施して輪郭画像の外円を求める原理を説明するための図である。
【符号の説明】
１  全方位撮像レンズ
２  撮像素子
３  ＭＰＵ
４  ディスプレイ
【図１】
0003705591.tif 000002
【図２】
0003705591.tif 000003
【図３】
0003705591.tif 000004
【図４】
0003705591.tif 000005
【図５】
0003705591.tif 000006
【図６】
0003705591.tif 000007
【図７】
0003705591.tif 000008
【図８】
0003705591.tif 000009
【図９】
0003705591.tif 000010
【図１０】
0003705591.tif 000011
【図１１】
0003705591.tif 000012
【図１２】
0003705591.tif 000013