立石科学技術振興財団

助成研究成果集(第26号) 2017

昆虫の神経系に学んだ視覚フィードバック制御を行う小型自律飛行ロボットの開発
Development of a small unmanned aerial vehicle controlled by insect- inspired visual signal processing
2151005

研究代表者

大阪工業大学

情報科学部

講師

奥野弘

嗣

る。OF パターン取得において重要な役割を果[研 究 の 目 的]

たす画像局所速度の検出には，昆虫の視覚神経近年，小型飛行体の自律制御手法が盛んに研系に着想を得た簡便なアルゴリズムを用いた。

究されている。このような自律制御は主としてまた，制御信号生成回路等を実装するための回姿勢制御用の慣性センサ (加速度センサ，ジャ路として，プログラム可能な回路である field-イロセンサ) や周囲環境把握用のセンサ (赤programmable gate array (FPGA) を 利 用 し

外線センサ，超音波センサ等)，位置方向把握た。

用のセンサ (GPS，地磁気など) といった多数[研究の内容，成果］のセンサを協調的に利用することで実現されている。しかし，この方法では制御システムの大規模化，複雑化は避けられない。小型飛行体の1．自己運動識別アルゴリズムの開発

自律飛行を実現するためには，このように多様本研究では，まず画像局所速度の検出アルゴなセンサに頼ることなく，少数のセンサ情報をリズム，及びこの検出器によって得られた OF元に制御することが望ましい。

パターンを元に自己運動を識別するアルゴリズ

一方で，昆虫を始めとした飛行を行う生物は，ムを提案した。本研究で提案するアルゴリズム

必ずしも高精度ではない感覚系と，小規模で処は，飛行体の左右に 180 度の角度を持って取り理能力の限定された神経回路系しか持たないに付けられた二つの視覚センサからの撮像を想定もかかわらず，ロバストに自己運動を制御してした。この様な広い視野角の OF パターンを利いる。このような生物の運動制御は，主に視覚用する理由は，昆虫が非常に広い視野からの入情報を用いて実現されている。中でも視覚情報力を利用しており，また自己運動の識別のためのうち網膜上で観測される速度場であるオプには，広い視野の OF パターンを取得することティカルフロー (OF) が運動制御に有用な情が有効であるためである。
図 1 に自己運動と OF パターンの関係を示す。

報をもたらすと考えられている。
本研究の目的は，OF パターンを利用して小

図中，四角の枠で囲まれた矢印群は OF パター型飛行体の自己運動を識別するアルゴリズムをンを表す。前進をした場合 (図 1(a))，右側に開発し，実環境で評価すること，並びに本アル設置されたセンサからは画面全体が左から右方ゴリズムによって制御されるモータ駆動系とこ向へ流れる OF が得られ，左側に設置されたセれを搭載するドローン機体を開発することであンサからはその逆方向の OF が得られる。また― 1 ―立石科学技術振興財団

ヨーイング，ピッチング運動を行った場合も同像は，それぞれ局所運動検出器に入力される。

様に，右側および左側に設置されたセンサからここで得られる OF パターンの一例としてピッ

図中の矢印で示された OF が観測される (図 1

チング運動時の局所運動検出器の出力結果を図(b), (c))。このように自己運動の種類によっ2 枠内に示す。次にこの出力結果を自己運動推て観測される OF は異なったものとなる。

定器に入力し，6 自由度それぞれの参照 OF と視覚対象までの距離を一定とすると，6 自由の相関をとることで自己運動が検出される。図度の運動 (XYZ 軸に対する自己の水平移動と2 の例では，ピッチングの参照 OF (図 1(c))

回転運動) が定まれば，OF は数式によって一と相関が高くなるため，アルゴリズムは自己運意に定まる。これによって定まる 6 つの OF動をピッチングと判定する。 (アルゴリズムの(以下，参照 OF) と，イメージセンサによっ

詳細は研究成果 [1] を参照。)て観測した実際の OF との類似度を計算することにより，自己運動の推定を行う。

2．自己運動識別アルゴリズムの評価

このアルゴリズムの流れを図 2 に示す。飛行

図 3 に示す環境によってイメージセンサに模体に設置された 2 つのカメラから撮像された画擬的な自己運動を与えることによりアルゴリズムの検証を行った。提示画像を 4 方に設置したアクリル板及び床面に設置した。この領域の中央に，左右に 2 つイメージセンサが接続されたボードと，それを稼働させるサーボモータを設置した。イメージセンサは，サーボモータによりヨー方向とロール方向への回転運動が可能である。この実験環境を用いてヨー方向の回転，ロール方向運動，ヨー方向とロール方向の複合運動の種類の運動についてイメージセンサで撮像した。
ア ル ゴ リ ズ ム を 試 験 す る た め，CMOS イ
メ ー ジ セ ン サ (OmniVision OV7725)，FPGA(XILINX XC6SLX45), PC (Core i5-3470, 3.2GHz) で構成されるシステムに前章で述べたア

図1

飛行体の自己運動と，OF パターンの関係。センサは飛行体の左右に 180 度の角度をなして設置されているものとする。図中の枠に囲まれた矢印群は OFパターンを表す。

図2

アルゴリズムの流れ。局所速度検出器の出力はピッチング時の OF を表す。

図3

― 2 ―

本実験で設定した環境。提示画像によって囲まれた環境でサーボモータによって CMOS イメージセンサに動きを与える。

Tateisi Science and Technology Foundation

ルゴリズムを実装した (図 4)。本研究ではア転に対応する検出器の出力が有意に大きくなっルゴリズムの検証のため PC を用いたが，検証た。

後は FPGA にハードウェア実装することを想3．ドローン機体の開発定している。
イメージセンサをヨー方向に回転させた場合前節で説明した視覚情報から自己運動を推定のシステムの出力結果を図 5 に示す。図 5(a)するアルゴリズムを実装でき，これによっては，アルゴリズムの出力結果である XYZ 軸方モータ制御が可能なドローン機体の開発を行っ向に対する並進速度 (V X，V Y，V Z)，回転速た (外観は図 6)。視覚情報処理からモータ制度 (ω X，ω Y，ω Z) に対応する 6 種類の出力を御信号の生成までの遅延時間を極力短くするた示し，図 5(b) は，サーボモータのエンコーダめ，全ての処理過程がハードウェアベースで完より得た回転角速度を示す。図 5(a) からヨー了する構成となっている (図 7)。モータ制御

方向回転時はこの運動に対応する ω Z 検出器の基板の設計・製造を行い，機体本体の 3D 設

出力が高い値を示し，その他の 5 つの出力は，計・3D プリンタによる造形を行った。

相対的に小さな値となっていることが確認でき

次に，モータ制御信号生成回路を設計し，機る。同様にイメージセンサをロール方向に回転体に搭載した FPGA にこの回路を実装し，試させた場合のアルゴリズムの出力も，ロール回作ドローンの飛行試験を行った。自己運動識別アルゴリズムがまだ回路実装されていないため，基本的な離着陸の試験を行い，適切に行えることを確認した。これにより，広い視野の視覚情報を元にリアルタイム視覚情報処理を行い，その結果を元にドローンの制御が行えるプラット
フォームが完成した。

図4

アルゴリズムの評価に用いたシステムの構成

図6

図5(a) ヨ ー 方 向 回 転 時 の ア ル ゴ リ ズ ム の 出 力 結 果。
(b) サーボモータのエンコーダより取得したモータの回転角速度。横軸は時間である。

― 3 ―リアルタイム視覚情報処理回路を実装可能なドローンの外観

図7

アルゴリズムの評価に用いたシステムの構成

立石科学技術振興財団[今後の研究の方向，課題］

Tetsuya Yagi, Hirotsugu Okuno, “Computing egomotion of a small UAV with image processing

本研究では，OF パターンを利用して小型飛inspired by the visual neuronal circuit of insect,”
The SICE Life Engineering Symposium 2016, Osaka,

行体の自己運動を識別するアルゴリズムを開発

2016/11/3-5, Proceedings of Life Engineering Sym-

し，本アルゴリズムによって制御されるモータ

posium 2016, pp. 26-27.

駆動系とこれを搭載するドローン機体を開発した。今後は，本研究で開発したアルゴリズムを，招待デモ・招待講演[1] 奥野弘嗣，“小型飛行ロボット制御のための昆虫本研究で開発したドローン機体に搭載されていに学んだ視覚システム，”NEDO エネルギー・環境

る FPGA に実装し，昆虫のように空中を自由新技術先導プログラムワークショップ「人工知能のに飛び回るドローンの実現を目指す。

応用範囲を拓く超高速・低消費電力ハードウェア技術」，東京，2016/10/27．
[2] 奥野弘嗣，“神経に学んだ視覚情報処理システ
ム，”公益社団法人精密工学会 ――第 70 回超精密[成果の発表，論文等］

加工専門委員会「脳型コンピューティングの最前線

発表・論文
[1]

常川尚汰，上野冬貴，石井和男，八木哲也，奥野弘嗣，“昆虫視覚系の運動検出モデルに学んだ小型自律飛行体のための自己運動推定システム”，電子情報通信学会ニューロコンピューティング研究会，
北九州，2016/1/28，信学技報，vol. 115, no. 426, pp.
33-38.
[2]

Shota Tsunekawa, Fuyuki Ueno, Kazuo Ishii,― 4 ――― 生物，ニューロモルフィックから人工知能まで ――」，大阪，2016/12/16．
受 賞[1]IEEE Computational Intelligence Society Japan
Chapter Young Researcher Award：発 表・論 文[1] において，筆頭著者の学生が受賞。