平成9年度 研究報告 大分県産業科学技術センタ】

2魯のカメラを用もヽた全周囲画像の取得
一遠方領域を対象とした全周囲画像取得装置の試作一
佐藤哲哉

大分県8工業技術院研究交流センター
0独nidまre6七ionalInage A￠quS且七ion Us旦ng T腎O Ca訟eぞaS− Omnidirectionai王maging System For Far Fieid −Tetsuya SÅTOOITA−AISTJoint ReseaTCh Center
要旨

2台のカメラと2つの三角柱型反射ミラーにより構成された全周囲画像取得装置について述べる．本装置の2台のカメラは，水平画角が90度以上となる広角レンズが取り付けられており，また，2つの互いに反射方向が異なる反射面を持つ三角柱型反射ミラーは，互いに90度の角度で配置された構造をしている．2台のカメラは，三角柱型反射ミラーの両反射面が交差する稜線の中央の垂直線上に各々位置し，第1のカメラの画像は，一方の三角柱型反射ミラーにより互いに反対方向の二方向の情報を含んでいる．第2のカメラの画像は，前記に直交する他方の三角柱型反射ミラーにより，互いに反射力向の2方向の情報を含んでいる．これら4方向の画像情報について，画像の歪み補正，4方向の画像間の境界線の抽出等の画像処理を施し，つなぎ合わせることで全周囲画像を生成する．試作装置の揖像試験により，全周囲画像取得の有効性が確認されたので報告する．
ト はじめにZ

7＼ナンズ中心b

監視装置やロボットの視覚装置等にとって，実環境の全周囲画像は，異常や侵入者の検出等周囲状況を把握す型反ミラ鵬b三角線型反射ミ ラーa

ネ了 ミ芸アるための重要な情報である．このような全周囲画像は，高分解能で，かつ，ひずみが小さく，その上実時間で取＼得できることが望ましい．従来，全周囲画像を取得する方法として，カメラを回転する方法，魚眼レンズを用い

讃 …ノ、 ＼ →−＼こゝノ ＼／ノ／る方法，曲面ミラー（球面ミラー，円すいミラーや双曲、面ミラ｝）の反射像を用いた方法等が提案1）されている．

カメラを回転する方法は，カメラを1回転させて全周囲レンズ中心a ／画像を取得する．しかし，ひずみ，解像度については問

／／／

哉Y

ミ ラー野

Fig．1基本原理

題ないが，全周囲画像を取得するのに，時間がかかる。

魚眼レンズを用いる方法は，一台のカメラで全周囲画なければならずき 構造上問題がある．また，画像取得を像を取得するためにはカメラを上方に向けねばならず不用な天井部の情報を多く含む．このため，実時間で全周囲画像を取得できるが，分解能が低くぅ かつ，画像のひ目的とするため，高精度な曲面ミラーーが必要とされる．

本稿では高速で従来方法より分解能が高く，堅固な構造を持ち，かつ篭 画像ひずみが小さい全周囲画像を得る方ずみが大きい。
曲面ミラーーの反射像を用いる方法は，曲面ミラーーに法を提案し9 試作によりその有効性を示す．

写った全周囲の反射像をミラー下方に設置したカメラに2．原 理より揖像する．1台のカメラにより全周囲画像を実時間Fig．1に基本原理を示す響 上Fに配置された2台のカメで取得することができるが，分解能が低く，画像歪みがラ（水平画角が90度以上となる広角レンズが取り付け大きい．その上，ミラーとカメラの位置関係から管 曲面ミラーーをカメラ上方に全周囲の視野を確保しつつ，固定する必要がある￠ このため，曲面ミラーは，透明な光学られている。）と互いに直角に配置された2つの三角柱型反射ミラーにより構成される．カメラと三角柱型反射ミラーを対とする2組が上下逆向きに連結した構造をしガラス，または，それに類した透明材質のもので保持している．三角柱型反射ミラーーaをま亨 2つの反射面を持つ．

164≠

平成9年度 研究報告 大分県産業科学技締センタ叫

レンズ中心aに対するその反射像は，Zミラー面の境界を中心として，互いに反対方向の2方向の情報を持つ．同様にラ レンズ中心bに対する三角柱型反射ミラーbの反射像は，2つの三角柱型反射ミラーが互いに角度90度で組み合わされているため，三角柱型反射ミラーaの反射像に対して，90度回転した互いに反対方向の2方向の情報を持つ．このことから，2つの三角柱型反射ミラーによる反射像は全周（4方向〉 の画像情報を含んでいると言える。よって，これら4方向の画像情報を基本として全周囲画像を生成するt

しかし，Fig．‖こ示すように2台のカメラのレンズ中心位置が異なる。4方向に対して4台の等価的カメラ位置

Fig，3 ミラーとレンズを考える時，各々のレンズ中心位置が異なることを意味する．このこと萎も これら画像間での視差，漬像範囲の4．2 全周カメラ部差違として全周囲画像生成時において問題となる．しかFig．3よりレンズ中心aの位置は，レンズ鏡筒幅m，ミし，レンズ中心間距離を小さくすること及びそのレンズラー面の有効長o p，ミラー面問角度αとの関係におい中心間距離の影響が相対的に無視できる程度に撮像対象て，他方の三角柱型反射ミラーにより視野が妨げられるを比較的遠方領域に限定することで，この問題を回避すことなくカメラの垂直画角βが確保できるよう配置されることができる．以後，この観点より検討を行う．

るす 装置の小型化のためには，レンズ中心aとミラー面の頂点0間距離rをノトさく，かつ，レンズ鏡筒幅mを小3．課題さくする必要がある．

全周囲画像の生成処理に際しては，次の課題を解決す

一方，三角柱型反射ミラーは，2つの平面の反射面をる必要がある．

持つ。ここでは，三角柱型反射ミラーは，ステンレスの①広角レンズ等に起因する画像歪み．

加工により製作した。ミラー面は鏡面仕上げとしている．

②カメラの水平画角が900 以上であることによる画像

光学ミラーの反射像と比較しても遜色はない．構造的に間での重複撮像領域の存在。

は2つの三角柱型反射ミラーを各々単独で製造し組み合

昔カメラ，ミラゝ一一＝一一の配置による実環境に対する像の反転わせて固定する．このことにより，任意のミラー面間角

これら課題は，ソフト処理やキャリブレーション及び度やミラー面を含む任意形状の三角柱型反射ミラーを容装置構造等により解決される．

易に製造することが可能となる。また，金属構造物であ以下，原理に基づく試作装置により説明する，ることから，ミラー面以外の部分には他の構造物との精度の良い固定ができる等の利点を持っている．

穏．試作装置

一方，上下2台のカメラの垂直視野方向は，−一致してい4．1装置棟成なければならない。ここでは，Fig．3より1方向の垂直画試作装置は，全席カメラ部と画像処理部及び表示部か角は水平方向を基準としてβ／4ずつ等角でβ／2となら構成される偽 全周カメラ部は2台のカメラと2つの三るようにミラー面間角度αを決定している。

角柱型反射ミラーにより全周（4方向）の画像情報を得試作した全周カメラ部をFまg。4に示す．本試作では焦点る．画像処理部はタ 2台の画像プロセッサで全周囲画像の生成処理を行う．全周囲画像は，表示部において2台

距離＝2 8mm，水平画角∂＝106度，垂直画角β＝78度，レンズ鏡簡幅m＝16mm，カメラレンズ中のモニタ上の画像間の連結により表現されるp くFまg。2）

心位置からレンズ鏡筒先端までの距離＝5．7mmのレンズを使用している．この時ご＝8申 7mm，ミラー面間角度α＝110度，ミラー面の有効長o p＝約18m㍍k」よ− ず三喜mである。形状は60mm（D〉 ×70mm（Ⅵr）×1

ト≡○−▲己 ⊂＝＝コ ＝ご、］∵川 ごロ〕ここコ「けこ Lしココ

34mm（‡i）であるp
尚，上部カメラは，下部カメラの視野を妨げないように三角柱型反射ミラーーの両端面に取り付けられた保持材を活用し，固定している．

全席カメラ領国像処瑠部

このように，全周カメラ部を小型で堅固な構造物とし表示囁て実現することができた．

Fig2 装置構成
165一

平成9年度 研究報告 大分県産業科学妓補センタ血

fニig、5 処理手順

（3）境界処理
境界処理妄ま4方向画像の水平画角が90こ となる領域

Fig−4 全周カメラ部を抽圧することにある．この領域の抽出は，予めキャリプレーーションによって確定する．ニニでは！全周カメラ

4、3 画像処理部部の中心軸（仮想レンズ中心位置）を原点とし、遠方領次に全周囲画像の生成方法を説明する−域の周囲に90〇 間隔でポ岬・一ルを立てラ

全周カメラ部からの画像にはぎ 広角のカメラレンズに起因する画像歪み及びカメラ光軸が水平方向に対して角（4）反転処理

度β／4で傾斜していることに起因する画像歪みが発生

カメラ画像は全周カメラ部の構造（カメラとミラーのしている8 また，これら4方向の画像間ではカメラの水位置閑係）により互いに反対方向の情報がC（二Dセンサ

平画角が90C 以上であるた鋸こ互いに重複した撮像領中心を境界として2分割された領域上に各々結像される．

域をも含んでいる．また9 全周カメラ部のカメラとミニの時B 一方には実環境の上下反転画像が，他方には実ラーの位置関係から生じる実環境に対する画像の上下及び左右反転がある。よって，これら画像に対しフrブ「

これを画像境界の基準とした。

一カメラ画像について9 この関係に基づいて正転画像へのチャーート（Fig．5）に沿う 処理を行う。こうして得られた変換（反転処理）を行う￠

4方向の画像をつなぎ合わせて全周囲画像を生成する．

ニのように7 全周カメラ部からの画像は歪み補正や境く1）歪曲収差補正2）

界領域の切り出しぎ 反転処理等の処理が施されて全周匪】

広角レンズに起因する画像歪みの主たる要因はぎ 歪牒

画像生成に必要な途方向の画像に変換される。これら画収差にある．歪曲収差は画像中心に対して対象であ畑像を隣接する方向順に連結することで全周囲画像を得る．

像中心からの距離が増加すると共に歪みが増加する関係にある￠ ここでをまradjaidjsl′0‡1tion についてのみを考慧。撮像拶増著こよる繰言護え，この収差補正式をま9 シし一ン内に配置されノた格子じ去

全周カメラ部からの原画像をFig．6に示す。原画像は広角のパネルの格子点を基準として求めたウ ニの補正式によレンズによる歪曲収差とカメラ光軸の傾斜による影響にり原画像の再配置を行い至喪服差を補正する

より歪んでいる。またき 実環境に対して上下反転。左右

しかしヲ 補正された画像中には原画健からの画素が行反転画像となっている包 これら画像に対して処理畠連結配置されない空画素が生じるむ これら空画素にはその周辺画素の平均階調碓によって婦閻処理を行った．軋 こ

して生成した全′同園画像をF言募。7に示す− 但し9 紙面の都こでは他の収差については考厳していない．

合上縦横藩沃∵／2に縮小して表示している．画像歪みが婿託され，かつ。比較的分解能の高い良好な酎象が得（2）傾き補正られている。

Fjg．3によりカメラの光軸凝凍平方向に対Lて角遼牒／／′軋 食間踵画像を表示する去での処理時間は。約6秒4の傾きをもつら 得られる画像は実環境平面が角度β／4だけ傾いた斜視画像となる− このためラ ンンズ中心せである。

基準とした透視変換により芙環境平惑すを等価約に角度β、 ∴： ・‥／4回転した仮想環境平面に変換するネ 補正処理は実牒

全周囲画像取得髄贋せ屈湾したも 良質の全周匪j画像を境平面に対する仮想環境平濠へげ〕変換として考える㊥‡：ニー・

平成9琴度 研究報告 水分県産業科学妓簡センタ幽これら検討により彗 今後，ロボットの視覚装置や監視取得することができたふ

本装置の原理によればき 従来の曲面ミラ鵬一等による方装置き 管内検査装置等への応用を図っていく予定である．

法よりも解像度。画像の低歪み。故得時間（現状ソフト処理によるため時間がかかっている，）等の総合性鰭においてタ より優れた全周靖画像を捏供できる巻本装置の利点を以Fに示す．

￠一度の掠像で全周西画像情報が得られるかp魚眼レンズや曲面ミラレを．郡、た時の画像に比べ92台のカメラを用いていることにより解像度が崗上する。またき カメラから得られる画像は，ひずみが比較的小さく画像補正を容易に行うことができるふ㊤全周カメラ部は簡単な構造でぅ かつ，その製造においても特殊な技術や破損し易い光学ガラス等を伺いることなく小型，堅筒で，かつき 軽量に実現することができる。
◎画像処理部での全周囲画像生成処理秩・，一部空画素の鯖問処理に画素間演算を用いるが他の処理は既知パラメーータによる画素の並べ替えや単純な画像の切り出しのみである．

習。奪後の課題
本装置においてき 嶺像物点までの距離が近い場合には，画像境界近傍において画像問の不連続が生じるh この様子を‖恩牒に示す．境界上に12mm◎のポーールを立て嬢像対象までの距離を可変した場合の境界領域の不連続性の状況について示している− 距離が6拉cm以下で妄、よぅ不連続性が徐々に演著となってくる曾 これは2台のカメラのレンズ中心位置が異なることに起出するものであり，Fig．6 原画像 しと：カメラ19 下：カメラ2）

結果として重複領域の増大，水平方向の不連続が生じて＜参考文献＞いる愴 しかし，画像境界近傍での情報の欠落を意味して

1）八東他； 5全方位視覚センサ〔：OPヱSを用いた移動いるのではないe これら取り扱いについての今後検討し物体との衝突回避 5 儒学論（ひ−−一江），J74D江タ 7，ていく。

p p≦き拍8917 他

またヲ 画像処理過程のハーード処理により全周鍔画像取得時問の短縮化を図るゎ

2）辻内順平ゾ応周画像解析へタ共立出版

Fig。 7 全周囲画像例

20 c㌻n4 0 c mFまg．8 境界領域の不連続i67

60 c m