計測自動制御学会東北支部 第 308 回研究集会(2017.5.29)
資料番号 308-4

魚の捕食行動のモデル化に用いる水中ロボットシステムの開発
Development of underwater robot for modeling of the feeding behavior of fish
○山生章義*, 髙木基樹**, 三好扶*Akiyoshi Yamaoi*, Motoki TAKAGI**, Tasuku MIYOSHI**岩手大学,**帝京大学*Iwate University, **Teikyo University
キーワード : 捕食行動 (feeding behavior), モデル化(modeling),水中ロボット(underwater robot), ロボットビジョン(robot vision)
連絡先：〒020-8551 盛岡市上田 4 丁目 3-5 岩手大学 理工学部 システム創生工学科 三好扶E-mail: tmiyoshi@iwate-u.ac.jp

1.

研究背景
生物は進化の過程で種固有の機能や生態系のいて魚類の捕食動作をモデル化することを目標獲得に至っている．とりわけ生息環境に適応しとし，捕食動作モデル化の１つとしてロボットた運動機能や感覚機能の獲得は，当該種が生ハンドによる把持機構の開閉判断を行うアルゴ

息・生存，また維持・保存するために極めて重リズムを構築したので，これを報告する．

要であり，生物多様性を明らかにする要因ともなる．
日本近海は生物多様性のホットスポットとさ

2. ロボットシステム概要
2.1 要求項目

れ，全海洋生物種数の 13.5％が分布する 1) ．人ロボットシステムを開発するに当たり，まず類と海洋生物が持続的に共存するためにも，本は捕食動作のフローをまとめた．ⅰ)自由遊泳又研究では海洋生物の運動制御系を明らかにする

は潜伏，ⅱ)視覚，聴覚，嗅覚から捕食対象であことで，生物多様性や生態系の機能を理解する

ると推定，認識，ⅲ)対象に体軸を向け追尾，ⅳ)ことを目的とする．海洋生物の運動制御系を明

捕食対象であると確信，ⅴ)捕食対象の運動を予らかにするには，対象種の運動を観察すること測しつつ突進，ⅵ)口を閉じる，以上のフローにが一般的である

2,3)．しかしながら，例えば捕食なる．特に動作に関しロボットを用いてモデル動作に伴う運動制御系については，(1)水・海中化する場合，ⅰ)推進器とビジュアルサーボによ環境下で行われる運動，(2)高速運動のためそのる対象の追尾，ⅱ)センサを用いた対象の運動予観察は極めて困難であり，海洋生物の行動・運測，ⅲ)予測方向への突進，ⅳ)対象が口の中に入動については未だ不明な点が多い．そこで本研ったか判断，ⅴ)把持機構による摂食の再現とな

究では，観察の困難な水・海中での海洋生物のる．以上より，ロボットに要求される機能はⅰ)

捕食動作を水中ロボットによってモデル化を行

光学センサ(カラーカメラ)，ⅱ)推進機構，ⅲ)ロい，その妥当性を検証するアプローチ 4,5)を用いボットハンドによる把持機構，ⅳ)対象の運動のることとした．本稿では自律水中ロボットを用

予測，ⅴ)対象の追尾制御，ⅵ)把持機構の開閉判

断，以上になると考えた．ⅱに関して，追尾，突進行動は魚の向き，前進で近似できるため，サージ，ピッチ，ヨーの 3 自由度で近似した．

2.2

使用機体

2.1 の機械部分を満たす水中ロボットとして，FANⅡを利用することとした．FANⅡの外観を
図 1,システム構成図を図 2 に示す．図 2 に示す

Fig.1

FANⅡの外観

通り，ロボット制御部はアクチュエータ駆動用パルスを発生させるためのマイコン，動力源，カラーカメラで構成されており，推進機構は制御の容易なプロペラ推進機構でサージ，ピッチ，ヨーの自由度を持ち，サージ方向にハンドを持っている． 以上により水中ロボットを用いた魚の捕食行動のモデル化を行うに当たり，要求される機能のうちⅰ，ⅱ，ⅲは満足した．しかしⅳ，ⅴ，ⅵの機能を満足していないため，これ

Fig.2

FANⅡのシステム構成図を達成するシステムを開発する．

2.3

把持機構開閉判断

ロボットに要求される機能のうち，ⅵの把持機構の開閉判断を行うシステムの構築を初めに行った．多くのロボットハンドにおいて，ハンドと対象の位置関係を把握する際はステレオビジョンなどを用いた 3D 計測を行うことが多い．
しかし，水中において光は異なる材質を通る際に屈折する．従って，水中において光学的な位置計測は困難である 6)．そこで我々は水中浮遊物体を補足するために学習を用いることとした．
学習システムは事前に，対象を把持できる状態の画像を保存し，画像平面上の対象の図心，半径をルックアップテーブルとして学習し，動作中に学習データと画像を比較することで判断を行うシステムになっている．図 3 に学習中のフロー,図 4 に判断時のフローを示す．ルックアッ
プテーブルは𝐴[𝑖,𝑗,2] の配列で表される．i は画像平面上の横方向画素数，j は画像平面上の縦方向画素数であり図心位置に対応する．3 次元目のFig.3

把持機構開閉判断システムの学習フロー2 は各座標における学習した半径の最大値と最小値に対応する．図 4 の判断中フローチャートのマッチング判断は，画像処理により得られた
図心位置(𝑥𝑟𝑡 , 𝑦𝑟𝑡 )，半径𝑟𝑟𝑡 のうち (𝑥𝑟𝑡 , 𝑦𝑟𝑡 )より

ルックアップテーブルから半径の最大値
𝑟𝑚𝑎𝑥 ，最小値𝑟𝑚𝑖𝑛 を抽出し，以下に示す式により判断を行う．
rmin<rrt<rmax(1)(1)式を満たす場合ハンドを閉じる判断を行う．
以上のシステムを用いて陸上にて動作確認を行ったところ，5 試行中 2 試行失敗した．原因とFig.4

把持機構開閉判断システムの判断フロー

しては対象が見切れた場合判断が困難になること，ルックアップテーブルのデータが足りないことがあげられる．次章でその改善方法を説明する．

3 誤判断割合の低減
3.1 対象の遮蔽判断

(a)

(b)

Fig.5

画像処理を用いた判断は，対象が何らかの原ルックアップテーブルのデータ格納座標因により遮蔽され判断が困難になるといった問題が存在するため，遮蔽時には判断を行わないこととした．そのために遮蔽であると認識する必要があるが，遮蔽の認識には Bounding Box とアスペクト比を用いることとした．本稿におい

Fig.6

補完パターンて Bounding Box は，画像処理により得られる二値画像の座標値に関して，最大ブロッブの各座(3)式の Threshold は動作確認を通し経験的に決標最大値，最小値を(xmax,ymax)，(xmin,ymin) とおく定する．と，(xmin,ymin)，(xmax,ymin)，(xmax，ymax)，(xmin,ymax)の 4 点を四隅とする矩形であり，アスペクト比は3.2

ルックアップテーブル補完

2.3 の動作確認に用いたルックアップテーブ
Rb=(xmax-xmin)/(ymax-ymin)(2)ルにおける半径が格納されている座標を二値化により求められる．学習時，対象が遮蔽されてにより強調した図を図 5(a)に示す．この図はカいない画像より対象のアスペクト比 Rbadv を取得

メラより得られる画像と同様の座標系であり，し,把持機構の開閉判断中の対象のアスペクト赤部分が学習データがルックアップデータに格比 Rbrt と比較する．ここで大きな差が見られた納された座標となっている．図 5(a)が示すよう場合に取得した画像を用いて判断を行わないこに補完を行う以前はデータが格納されていないとで誤判断の割合を低減する．判断式を(3)式に箇所が多く，把持機構開閉判断を失敗する要素示す．

があった．穴を埋める方法としては学習用画像| Rbadv - Rbrt|≦Threshold(3)

の枚数を増やす又は補完があげられる．しかし学習量を増やす場合，ルックアップデータ配列の大きさは 20000 点近くにもなるため，負担が大きい．そこでルックアップテーブルの補完を行うことで問題の解決を図ることとした．ルックアップテーブルのある座標に注目したとき,その座標にデータが格納されておらず，図 6 のいずれかのケースでデータのある座標が隣接する場合，周囲のデータが格納されている座標の値を ri，座標の個数を n とする．

rb=Σri/n(4)(4)式により求められる rb を注目した座標に格納する．これをルックアップテーブルの全座標に対して行う．しかし処理後にさらに補完可能な座標

Fig.7 把持機構開閉判断システム

が出てくるため，補完を数回繰り返す．図 5(b)に改良後のフロー20 回補完処理を繰り返したルックアップテーブ
ルを示す．この補完により 908 点のデータが 1218点に変化した．

3.3

参照するルックアップテーブルの範囲

我々の構築したシステムは 2.3，3.1，3.2 のとおりリアルタイムで得られるデータとルックア

(a)

(b)

Fig.8

水中における学習ップテーブルを比較し実行される．しかしルッ
クアップテーブルには図 5(b)に示されるように補完しきれない座標が存在する．そこで図心位置を用いルックアップテーブルを参照する際，ではなく図心位置の 1 点だけでなく，以下の式で示される図心位置近傍のデータをも参照する(b)
Fig.9 Operation checkこととした．
𝐴[𝑥±𝑘,𝑦±𝑘,2]

(a)

(4)

k は動作確認を通し経験的に決定されるが，本稿

持機構開閉判断中のフローチャートを図 7 に示

では k=2 として，ルックアップテーブルの 25 点す．把持対象として本稿では円形状のピンク色の座標値を参照することとした．の球を使用した． 2 章で記述した通り，事前に学習を行う必要がある．そこで，水中において4 水中ロボットを用いた動作確認
4.1 学習ロボットをハンドを開いた状態で待機させ，ロボットが対象を確実に把持できる領域内におい本章では水中ロボットを使用した動作確認にて把持対象を移動させた動画を撮影する．そのついて記述を行う．本稿において改善された把後，画像処理，確認を通し学習を行った．図 8(a)に学習時の動画の 1 フレームを示し，図 8(b)に機体に搭載した WEB カメラの画像とルックアプテーブルに把持機構の開閉判断を行うためのデータが格納された範囲を示す．

4.2

動作確認

謝辞
本研究の一部は JSPS 科研費 17K08029 の助成を受けたものです．
参考文献

水底で待機しているロボットのハンドに対し（1） 独立行政法人海洋研究開発機構, 日本近対象を任意の経路で近づけることで動作確認を

海は生物多様性のホットスポット,http://

行った．その様子を図 9 に示す．図 9(a)は対象

www.jamstec.go.jp/j/about/press_release/20

がハンドの外から近づいている際の様子，図100803/#note,2017/05/26

9(b)は把持機構開閉判断プログラムを動作させ（2） Yuichi Takeuchi, et al. Acquisition of La

つつ対象を把持できない位置から把持できる位

teralized Predation Behavior Associated

置に徐々に近づける際の様子である．図 9(b)にwith Development of Mouth Asymmetry

おいてシステムが正常に動作している場合，対in aLake Tanganyika Scale-Eating Cichlid

象を正しく把持できるはずである．この時のフFish, PLOS ONE 11 (1):e0147476

レームレート，制御レートはともに 30[Hz]であ（3） 丘 明城ら,動きのある物標による視覚刺り，(3)式の Threshold は 0.08 とした．結果とし激がマダイの摂餌行動に与える誘発効て，対象がロボットに搭載したカメラに映る限果,日本水産学会誌,79(2),158-165 (2013)

り 10 回試行のうち全試行成功した．次に対象を（4） Justin Thomas, et al. AVIAN-INSPIRED

ハンドが把持できない位置に配置した動画を撮

FOR QUADROTOR MICRO UAVSONR

影した．動画から，ハンドの中に対象が無いにGrant N00014-07-1-0829

も関わらず誤ってハンドを閉じる判断が行われ（5） Phi Luan Nguyen, et al. Dynamic Modelていないか確認を行った．結果として，対象がing and Experiment of a Fish Robot wit

画像に写り込んだ 500 フレームに対し誤判断は

h a Flexible Tail Fin, Bionic Engineering

一度もなかった．

10, 39-45 (2013)（6） 高木基樹ら,AR マーカーの水中における5.

結論・今後の展望
本研究は生物多様性や生態系の機能を理解することが目的である．そのために自律水中ロボットを用いて魚類の捕食動作をモデル化することと目標を定めた．本稿では自律水中ロボットシステムのうち把持機構の開閉判断システムを構築し，水中にて動作確認を行った．結果，所望の動作を確認できた．これにより，捕食対象を食べるために口を閉じる動作が再現できるようになった．今後はビジュアルサーボ等を用い，対象を追尾する機能を実装し，水中静止対象を捕捉する．また，対象の運動予測機能を実装し，水中浮遊対象捕捉，水中移動対象の捕捉を行う．

位置姿勢推定方法,第 17 回システムイン
テグレーション部門講演会,SY0012/16/0
000-06