〈一般研究課題〉

計算機資源の変化を考慮した視覚からの環境情報抽出手法の研究

助 成 研 究 者

愛知工業大学

道木加絵

計算機資源の変化を考慮した視覚からの環境情報抽出手法の研究
道木 加絵（愛知工業大学）

Study of the environmental information extraction fromvision considering the change of the computational resources
Kae Doki(Aichi Institute of Technology)
Abstract
We propose a new method of the environmental information extraction from vision for anautonomous mobile robot, which considers the change of the computational resouces for the action
search according to the situation around the robot. In this research, the environmental information
extraction system for the self-position estimation is constructed as an example. The usefulness of theproposed method is shown through this system.

1. はじめに
自律移動ロボットの研究・開発は、工場や原子炉など人間が作業を行うには危険な場所での利用を想定したものからこの数年で大きく発展し、警備や介護など一般社会で人間と共存することを想定したものへ広がっている。一般に、ロボットは搭載するセンサを用いて周囲の環境情報を取得した後、その状況でどのような行動を行うべきか計画する。特に、人間と共存するロボットは、周囲への衝突を避けながら物を運ぶ経路を決定する等、複数の作業を同時に計画・実行する能力が必要である。ロボットの環境認識・行動計画に関する従来研究では、ロボットの持つ有限な計算機資源を事前に設計者が一定の割合で各作業に対して固定的に割り当ているが、本来、障害物が接近している場合は経路決定より障害物回避を優先する等、その時々の状況に応じて各作業の計画に利用可能な計算機資源の割り当てを変更することが望ましく、この計算機資源の変化を考慮した行動計画− 79 −

の研究が必要不可欠である。
従来手法ではロボットの作業内容が限定されていたため、一定の計算量で作業に特化した環境認識・行動計画を行うに過ぎずこのような問題は生じなかったが、複数作業の同時計画を想定すると、上述のようにロボットを取り巻くその時々の状況に応じて利用可能な計算機資源が変化するため、この変化を考慮した環境認識手法並びに行動計画手法が重要となる。そこで、本研究では計算機資源の変化を考慮した環境認識について着目する。環境認識のための環境情報収集に用いられるセン
サには様々なものが挙げられるが、その中で視覚は対象物の色や形状など環境に関する複数の情報を同時に取得できるため、複数作業を計画するロボットに有用なセンサであり、近年注目を集めている。そこで、本研究では計算機資源の変化を考慮したロボットの視覚から環境情報抽出方法についての研究を行う。
本研究では、具体例として自律移動ロボットの自己位置推定問題を扱い、この問題を通して提案手法の有効性を検証する。この問題は、自律移動ロボットに要求される基本性能の一つであり、さらに移動ロボットの走行速度に応じて環境情報を抽出する時間を変化させる必要がある。以上のことから、本研究の有効性を検証する例題に適している。

2. 計算機資源の変化を考慮に入れた視覚からの環境情報抽出
本研究では、環境情報収集のためのセンサとして視覚すなわちカメラから得られた画像を対象とし、自身を取り巻くその時々の状況に応じて変化する計算機資源に応じた画像からの環境情報抽出手法を検討する。画像からは対象物の色や形状など環境に関する複数の情報を同時に抽出することが可能なため、複数作業を計画するロボットに有用なセンサである。しかし、画像から環境情報の抽出を行う場合、ノイズ除去などの下処理を含めてその計算コストが非常に高く、その計算コストは使用する画像処理アルゴリズムと画像サイズに比例する。従来手法では、自律移動ロボットの環境認識・行動計画に利用できる計算機資源が一定すなわち変化しない事を前提としていたため、画像から環境情報を収集する際は、一般に行動計画に利用する計算機資源を十分確保できる程度の画像サイズ、画像処理を行うことでこの問題を解決している。しかしながら、利用できる計算機資源が変化する環境では、十分な計算機資源の割当を想定した環境情報抽出を行えば、計算機資源の割当が少ない時に環境情報抽出が行えず、また少ない計算機資源の割当を想定した環境情報抽出を行えば、計算機資源の割当が十分な時に計算機資源が余り、限られた計算機資源を有効活用できるとは言えない。そこで、利用できる計算機資源が変化する場合では環境情報抽出手法に関して新たな考え方が必要となる。そこで、本研究では S.Zilberstein らが提案した Anytime Sensing の枠組みを導入することで、この問題の解決を図る。
本研究で導入する Anytime Sensing とは、割り当てられた計算機資源に応じてセンシングの精度を変化させながら環境情報抽出を行う方法論を意味する。すなわち、計算機資源の割当が少ない場合はセンシングの精度を落として少ない計算機資源で環境情報抽出を行い、反対に計算機資源の割当が十分な場合は多くの計算機資源を用いて高い精度の環境情報抽出を行うという、計算機資源と環境情報抽出手法に関する概念である。本研究ではこれに基づいた画像からの環境情報抽出方法を提案する。一般に、画像から抽出される環境情報の精度は画像の画素数、すなわち画像サイズに比例し、同時に環境情報抽出に要する計算コストもこれに比例する。そこで、本研究では新しい画像− 80 −からの環境情報抽出の方法論として、行動獲得に利用できる計算機資源に応じて解像度を変化させた画像を用いて環境情報抽出を行う方法を提案する。画像からどのように環境情報抽出を行うかはロボットが行うタスク内容に深く依存する。そこで、本研究では具体例として自律移動ロボットの自己位置推定問題を扱い、この問題を通して提案する環境情報抽出の方法論の有効性を検証する。
この問題は、自律移動ロボットに要求される基本性能の一つであり、さらに移動ロボットの走行速度に応じて環境情報を抽出する時間を変化させる必要がある。また、抽出された環境情報がタスク内容に直結しているため、提案手法の有効性を検証しやすい。以上より、本研究ではこの問題を通して提案手法の有効性を検証する。

3. 計算機資源の変化を考慮に入れた自己位置推定用環境情報抽出手法
本研究では、前章で述べた画像からの環境情報抽出の方法論に基づき、画像から自律移動ロボットの自己位置推定に用いる環境情報を抽出するシステムを構築した。本章では、まず初めに自律移動ロボットの自己位置推定方法について述べ、その後、画像からの自己位置推定用環境情報抽出手法について述べる。
3.1 自己位置推定方法
本研究では、ロボットは現在位置で取得した画像（以下、入力画像）とロボットに蓄積された画像テンプレートとのマッチングを行い、入力画像に最も近い画像テンプレートが表す環境中の位置をロボットの自己位置として推定する。本研究では、入力画像および画像テンプレートはグレースケール画像とし、マッチングの指標として式(1)に示す正規化相関係数を用いる。

式(1)はサイズが共に M × N である画像 F および G の間の正規化相関係数を求める式を示す。
変数 f ( x , y ) および g ( x , y ) は各画像 F および G の画素 ( x , y ) の濃度値を表し、 f および g はそれぞれ f ( x , y ) および g ( x , y ) の平均値を表す。画像 F が画像 G と同一の場合、正規化相関係数値 R は 1.0となる。反対に、画像 F が画像 G と全く異なる場合、 R は− 1.0 となる。そのため、ここで画像 F を入力画像、画像 G をロボットに蓄積された画像テンプレートと仮定すると、ロボットの現在位置は入力画像との正規化相関係数値が最も高い画像テンプレートが取得された環境中の位置として推定することとする。
上記の式より、正規化相関係数を用いた自己位置推定はロボットの動きにより生じた入力画像の位置ずれに非常に影響を受けることが分かる。これは、正規化相関係数は画素単位の計算によるものである。さらに、正規化相関係数を求めるための計算量は画像の画素数に比例した一定量であり、同時に非常に大きいものであることが分かる。
そこで、本研究ではまず始めに入力画像の位置ずれが生じても安定した自己位置推定を行うため、自己位置推定を行う前に次節に述べる位置ずれ補正を行う。続いて、ロボットの周囲の状況に応じて自己位置推定に要する時間を変化させるため、前章で述べた概念に基づき入力画像ならびに画像テンプレートのサイズを変更する。さらに、限られた計算機資源を有効活用するため、画像サイズを変更しても自己位置推定性能に影響がなく、効率的な画像マッチングが可能な自己− 81 −

図1

Compensation method of position shift図2

Flow of template generation by Genetic Algo-rithm

位置推定用画像テンプレートを生成する。詳細は 3.3 節で述べるが、位置推定に用いる画像テンプレートは予め環境中で取得した画像から作成する。この画像テンプレートは、入力画像から自己位置推定に有効な部分を抽出し、抽出された情報を用いて環境中の位置を推定する。画像テンプレートは 3.3 節で述べるように遺伝的アルゴリズム(Genetic Algorithm:GA)[6]を用いて自動的に生成する。
3.2 位置ずれ補正
ロボットが環境中を走行する際、走行中に生じる滑り等の影響から例え画像テンプレート作成用の画像を取得した位置と同じ位置にいても、得られる入力画像は画像テンプレートとは異なり位置ずれを起こしたものとなる。この入力画像の位置ずれは正規化相関係数を用いた画像マッチングによる自己位置推定に大きく影響を与える。そこで、本研究では画像マッチングを行う前に以下に述べる方法で入力画像と画像テンプレート間の位置ずれを補正する。
位置ずれ補正の基本的な考え方は以下の通りである。まず、本研究ではビル内のような屋内環境でロボットが走行することを想定している。このような人工物で囲まれた環境は縦方向の直線を多く含むため、各位置の特徴は横方向の輝度値の変化として表れる。そのため、ロボットの走行時に生じる滑り等から引き起こされる入力画像の位置ずれは入力画像の横方向のずれとして検出されると考える。そこで、本研究では図 1 に示すような位置ずれ補正方法を導入する。
まず最初に、入力画像および画像テンプレートの各列の輝度値を合計することで各画像の 1 次元配列を求める（図 1(a)）。そして 2 つの配列の平均二乗誤差を求めることで 2 つの画像間のずれ量を求めるが、その際、片方の配列をずらしながら平均二乗誤差を求め（図 1(b)）、2 つの配列の平均二乗誤差が最小となる配列のずれ量を入力画像のずれ量とする。自己位置推定時には、自己− 82 −

図3

図4

Coding of the chromosome of GA

Experimental environment

図5

Acquired images by the robot

位置推定のための画像マッチングを行う前に、上記で求めたずれ量だけ入力画像を右もしくは左にずらし、入力画像と画像テンプレートが重なり合った部分のみを自己位置推定のための計算に利用する。
3.3 遺伝的アルゴリズムによる画像テンプレート生成と環境情報抽出
画像サイズを変更しても自己位置推定性能に影響がなく、効率的な画像テンプレートマッチングを行うため、本研究では GA により画像テンプレートを生成する。画像テンプレートの基本的な考え方は、認識したい位置で取得した画像（以下、蓄積画像）を予め用意し、そこから GA により自己位置推定に有効な部分を選択するというものである。そして、自己位置推定のための画像マッチングでは、選択されたのみを用いて自己位置推定のための正規化相関値を計算する。ここでは、自己位置推定のために選択するマスクと蓄積画像のペアを画像テンプレートと呼ぶ。これにより、生成される画像テンプレートは、マスクによって入力画像から自己位置推定に有効な部分を抽出し、自己位置推定時には抽出された情報のみを用いることから少ない計算コストで効率のよい自己位置推定が可能となることが分かる。

− 83 −

しかし、本研究では自己位置推定に要する時間を変更するため、自己位置推定時に画像サイズを変更する。そのため、GA による画像テンプレートの生成時に画像サイズの変化も考慮に入れる必要がある。そこで、画像サイズの変更にも頑健で、効率のよい自己位置推定が可能な画像テンプレートを生成するため、図 2 に示す方法で GA による画像テンプレート生成を行う。詳細を以下に示す。
1. 画像テンプレートに使用する蓄積画像をサイズに縮小する。

サイズの縮小は 2 次元ウェーブレット変換[7]により行う。変数 n はウェーブレット変換の縮小レベルを表す。
2. 縮小した蓄積画像から自己位置推定に効率的な部分を GA により探索する。ここでは、自己位置推定に効率的な部分を複数の矩形領域として選択する。詳細は後述する。
3. GA による探索が収束した後、効率的な部分を選択された画像テンプレート並びに蓄積画像を拡大する。画像テンプレートは、矩形領域の辺の長さを 2 倍にすることで拡大し、蓄積画像はウェーブレット逆変換によりサイズに拡大する。

4. 拡大した画像サイズをチェックする。ここで、ウェーブレット変換の縮小レベルを表す変数n が 0、すなわち拡大した画像のサイズが縮小する前の物と同じならば、GA による画像テン
プレート生成は終了する。そうでなければ、ステップ 2 に戻り、拡大した画像を用いて GAによる画像テンプレート生成を続行する。
続いて GA のコーディング方法を示す。図 3 に個体の構成を示す。各個体では、変数 a が矩形領域の1 辺の長さを、変数 b および c が画像中における矩形領域左上部の座標を示す。すなわち、1 つの矩形領域がこれら 3 変数のセットにより表現される。各個体はこの変数のセットを複数つなぎ合わせることで構成され、これにより複数の領域を同時に選択することが可能となる。
本論文では、提案手法のテストシステムとしてある特定の位置を別の 1 箇所と区別するための画像テンプレート生成システムを構築した。そこで、各個体の評価関数を下記のように設定した。

式(2) において、 Rc(i ) は画像テンプレートと認識したい位置で取得した画像との正規化相関値を、 Rw(k) は画像テンプレートと認識したい位置とは異なる位置で取得した画像との正規化相関値を表す。生成した画像テンプレートにより、認識したい位置を正しく認識するためには、認識したい位置で取得した画像との正規化相関値 Rc(i ) が大きく、異なる位置で取得した画像との正規化
相関値 Rw(k) が大きくなるほど、生成した画像テンプレートで正しい位置を安定して認識できる。
そこで、各個体の評価値をこの 2 つの値の差とした。また、変数 n および m は、認識したい位置およびそれと異なる位置で取得した画像の枚数を表す。

− 84 −

図 6 Acquired template for distinguishing the position
A from the position B(Case 1)

図 7 Acquired template for distinguishing the position
B from the position C(Case 2)

4. 実験
提案手法の有効性を示すため、本研究で構築した自己位置推定用環境情報抽出システムによる画像テンプレート生成実験、並びに抽出した環境情報を用いた自己位置推定性能の評価実験を行った。
4.1 実験準備
図 4 に本研究で使用した実験環境を示す。図 4(a)は本学工学部 5 号館 2 階の廊下一部の見取り図であり、図に示すようにロボットは環境中の 3 箇所に置かれ、各位置で画像を取得する。
図 4(b)から(d)は取得した画像であり、各画像は部屋 A、B および C の前の位置を示す。本実験
では、上述のように取得した画像を用い、3 章で述べたシステムにより各位置を推定するための画像テンプレートを生成する。今回、画像テンプレートとして、位置 A を位置 B と識別するものと、位置 B を位置 C と識別するものを生成した。画像テンプレートを生成する際の条件は以下の通りである。
実験条件
1
1. 画像テンプレート生成開始時の画像サイズは環境中で取得した原画像の − とする。すなわ
16
ち図2 の変数 n は 2 とする。
2. 各画像サイズでの GA の世代数は 5000 とし、個体数は 200 とする。
3. 評価値計算では、正しい位置での取得画像を 2 枚、異なる位置での取得画像を 3 枚とする。
4. 矩形領域の最大数を 10とし、矩形領域の最大値は 20 × 20[pixel]とする。
4.2 画像テンプレート生成実験
図 6 および図 7 に本実験で取得された画像テンプレートを示す。図 6 は、位置 A を位置 B から識別する画像テンプレートを生成した場合であり、図 7 は位置 B を位置 C から識別するものを生成した場合の実験結果である。各図において、図(a)は GA の最良個体を表す。図の白い矩形領域が画像テンプレートとして選択された領域である。すなわち、自己位置同定のための正規化相関係数計算において白い矩形領域のビットのみが使用される。また、図(b)および図(c)は正しく認識したい位置（図 6 では位置 A、図 7 では位置 B）で取得した画像、および認識したい位置と異なる位置（図 6 では位置 B、図 7 では位置 C）で取得した画像において、正しい位置を識別するために提案手法でどの部分が選択されたかを示す。これらの結果より、提案手法を用いた自己位置推定− 85 −

表1

Value of normalized correlation coefficient(Result 1)

表2

Value of normalized correlation coefficient(Result 2)用画像テンプレート生成システムにより、2 つの位置で取得された画像を区別するために効率のよい部分が選択されていることが分かる。
4.3 自己位置推定性能の評価実験
続いて、前節で生成した画像テンプレートを用い、自己位置推定性能の評価実験を行った。まず始めに、画像サイズの変化による自己位置推定性能への影響について調べた。表 1 および表 2
は、先の実験で得られた画像テンプレートと様々な位置でロボットが取得した画像との正規化相関係数の値を示す。表 1 では、 A1 および A2 は認識したい位置 A から 10cm および 20cm 離れた位置を、B1 から B3 は認識したい位置とは異なる位置 B から 10cm、20cm および 30cm 離れた位置を表す。同様に、表 2 では、 B1 および B2 は認識したい位置 B から 10cm および 20cm 離れた位置を、C1 から C3 は認識したい位置とは異なる位置 C から 10cm、20cm および 30cm 離れた位置を表す。
また、両表において画像サイズはロボットが取得した原画像に対する自己位置推定時の入力画像および画像テンプレートサイズを意味し、マッチング時間は各画像サイズで自己位置推定のための正規化相関係数に要した時間を意味する。
これらの表から以下の事が分かる。まず始めに先の実験で得られた画像テンプレートと認識したい位置で取得した画像との正規化相関係数値が、認識したい位置と異なる位置で取得した画像とのものより大きいという結果が得られた。ロボットは、入力画像との正規化相関係数値が最も高い画像テンプレートが示す位置を自己位置として推定するため、この結果より獲得された画像テンプレートによって正しい位置を推定することが可能であることが分かる。また、画像サイズの変更による正規化相関係数値の減少が非常に小さい。この事から、周囲の状況に応じてロボットの自己位置推定に割り当てる時間を変化させても、自己位置推定性能に影響がほとんどない事が分かる。
続いて、自己位置推定性能への位置ずれ補正の影響について調べた。結果を図 8 および図 9 に示す。各図はロボットの位置を認識したい位置から 10cm 刻みでずらしていった時に、各位置で取得される画像を用いて、位置ずれ補正を組み込んだ場合と組み込んでいない場合における画像− 86 −

図 8 Relationship between the position shift and normalized correlation coefficient(Case 1)

図 9 Relationship between the position shift and normalized correlation coefficient(Case 2)

図 10 Relationship between the weather condition andnormalized correlation coefficient(Case 1)

図 11 Relationship between the weather condition andnormalized correlation coefficient(Case 2)

テンプレートとの正規化相関値の変化を示す。各図において、縦軸は先の実験で得られた画像テンプレートと各位置で取得された画像との正規化相関値を表し、横軸は図 4 の位置 A および位置Bからの距離を表す。
これらの図より、ロボットの位置が認識したい位置からずれたとしても、位置ずれ補正を組み込んだ場合は正規化相関係数値が高い値に保たれていることが分かる。これより、提案手法の位置ずれ補正が機能し、位置ずれが起こっても安定した自己位置推定が可能であることが示された。
4.4 気象条件の変化による自己位置推定性能への影響
最後に、気象条件の変化に対する自己位置推定性能への影響について調べた。図 10 および図11 にロボットからの入力画像として各位置で曇りの日に撮影した画像を用いた場合の正規化相関係数の値を示す。横軸は図 8 および 9 と同様に認識したい位置（図 4 の位置 A および位置 B）からの距離を示し、各位置で撮影した画像を用いて正規化相関係数値を求めた。比較として、位置ずれ補正を行わないでの正規化相関係数値も同時に求めた。これらの図から、気象条件の変化により画像のコントラストが変化した場合であっても、正規化相関係数値はさほど劣化しないことが分かる。これは、気象条件の変化によるロボットの入力画像の変化が自己位置推定性能に影響を与えないことを意味する。以上の結果より、提案手法により得られた画像テンプレートを用いることで、気象条件の変化に対しても安定した自己位置推定が可能であることが示された。

− 87 −

5. おわりに本研究では、自律移動ロボットを取り巻くその時々の状況に応じて行動獲得に利用可能な計算機資源が変化することを想定し、計算機資源の変化を考慮したロボットの視覚から環境情報抽出方法についての提案を行った。提案手法では、Anytime Sensing の枠組みを導入して、行動獲得に利用できる計算機資源に応じて解像度を変化させた画像を用いて環境情報抽出を行うこととした。さらに、具体例として自律移動ロボットの自己位置推定問題を扱い、提案手法を適用した自己位置推定用環境情報抽出システムと構築した。そして、構築したシステムを用いた実機実験により、提案手法の有効性を確認した。
今回構築した自律移動ロボットの自己位置推定用環境情報抽出システムは、まだテスト段階のものであるため、実用的なシステムからは程遠い。そこで、今後はこのシステムを拡張し、より実用的なシステムの構築とそれによる提案手法の有効性の検証を行う予定である。

参考文献[1] H.Koyasu et.al:

Recognizing Moving Obstacles for Robot Navigation Using Real-Time Om-

nidirectional Stereo Vision , J.of Robotics and Mechatronics, Vol.14, No.2, pp.147-156,2002[2] Y.Abe et.al:

Vision Based Navigation System by Variable Template Matching for Au-tonomous

Mobile Robot , Proc. of the 1998 IEEE International Conference on Robotics & Automation,
pp.952-957m 1998
[3] S.Zilberstein et al.:Anytime Sensing, Planning and Action: A Practical Model for Robot Control ,the ACM magazine,1996[4] K.Doki et al.:Self-position Estimation of Autonomous Mobile Robot with Vision using Matching-time Variable Image Template , Proc. of the Sixth IASTED International Confer-ence on Intelligent
Systems and Control, 446-089(CD-ROM), 2004
[5] Y.Satoh et.al:

Robust Image Registration Using Selective Correlation Coefficient , Trans. of IEE

Japan, Vol. 121-C, No.4, pp.1-8, 2001
[6] D.E. Goldberg:[7] S. Mallat:

Genetic Algorithms , Addison-Wesley,1989

A theory for Multiresolution Signal Decomposition: The Wavelet Representa-tion ,IEEE Trans. Pattern Anal. & Mach. Intell., Vol.11, No.7, pp.674-693, 1989

− 88 −