[2019/12/06]No.21

複雑系知能ロボットへの挑戦

担当教員

成果発表

松原仁(Hitoshi Matsubara)

鈴木恵二(Keiji Suzuki)

複雑系知能ロボットへの挑戦
Challenge to complex Intelligent robots
安藤直輝(Naoki Ando)

田中滉大(Koudai Tanaka)

垂石哲平(Teppei Taruishi)概要

加藤大地(Daichi Kato)

赤坂駿斗(Hayato Akasaka)

小山晃弘(Akihiro Koyama)

古里優典(Masanori Hurusato)

西谷和将(Kazumasa Nishiya)

湊宏太郎(Kotaro Minato)

Overview“ 複雑系知能ロボットへの挑戦 ” は, 人工知能とロボットの融合による知能ロボットの開発に挑むプロジェクトである. メン
バーはロボットを作成, 強化するロボット班とロボットにプログラムを導入するAI班の二つのグループに分かれて開発を行った.
The project “ Challenge to Complex Intelligent Robot ” is to challenge creating intelligent robot by fusion between artificial intelligence and robot.
We developed in two groups. There are a robot group that create and develop robots and an AI group that implement the program.

目的

Purpose次世代知能ロボットとして, 様々な路面を自律的に進む人型ロボットの開発を目的とする.
This project purpose is to develop humanoid robot moving on
various road as Next-generation intelligent robot.

FUN

開発した人型ロボットに, はこだて未来大学の購買前から階段を降り, 外に出てはこだて未来大学バス停前まで歩行させる.
The developed humanoid robot steps down the stairs before
purchasing store of Hakodate Future University, then goesoutside to walk to Hakodate Future University bus stop.

主な活動

Main activities of the previous term

● 班決定中間発表会- AI班とロボット班

報告書作成
Meeting to report midle results
Preparing midle report

7.8月● 開発するロボットの決定- KHR-3HV ver2
● 目標設定- ロボットが歩行するルートの決議● 3グループに別れて学習- 画像認識プログラム● コースの障害確認● ロボットをプログラムで動かす● 階段の模型作成- Python 3.7.3- 強化学習について

9月- ロボットのモーション

5月● 強化学習の知識の習得● Detect of group● Acquire knowledge reinforcement learning● Confirmation of disabilities in the course● Move the robot program● Make a staircase model- Python 3.7.3- AI group and Robot group● Detect of robot- KHR-3HV ver2

● 強化学習のプログラム作成● センサ取り付け● 画像認識プログラムの改善● 姿勢制御● Setting of the goal

- ジャイロセンサ- Resolution of the route the robot walks

10月 ● Create the program of reinforcement● Study in 3 groups● Improved image recognition program- Reinforcement learning● Put on the sensor● Attitude control

learning- Image recognition program- Gyro sensor- Motion of robot

6月

AI班

ロボット班

● Raspberry Pi 3の運用

● ロボットの組み立て● 画像認識プログラムの作成● 拡張サーボの取付● モーション作成● Create of Image recognition program

Robot group● Make a robot● RasberryPiの取り付け● ロボットに強化学習を導入- 可動範囲の拡張
AI group● Practical use of Raspberry Pi 3

● 無線制御化● 強化学習の実験

11月 ● Experiment of reinforcement learning● Input reinforcement learning to robot● Put on the expansion servo● Wireless● create many motion● Put on RasberryPi- Extended range of motion

7月● ソケット通信プログラムの作成● サンプルモーションの試作● Create a socket communication● Prototype motion

ロボット歩行実践
Robots practice walking
成果発表会

program12月

報告書作成
Meeting to report results
Preparing midle report[2019/12/06]No.21

担当教員

複雑系知能ロボットへの挑戦 成果発表

Group AAI班の活動

松原仁(Hitoshi Matsubara) 鈴木恵二(Keiji Suzuki)

メンバー Member
古里優典 赤坂駿斗
垂石哲平 湊宏太郎

概要 Overview
AI班では, 人型ロボットが自律してより正確に歩けるように, カメラを用いて画像認識するプログラムとロボットが強化学習により行動するプログラムの作成に取り組んだ.

目標 Purpose
人型ロボットで, 強化学習を用いてスタート地点からゴール地点までを自律歩行するロボットのプログラムを作成する.

課題 Assignment
ロボットを人による操作なしで動かせるようにしたい.
• 近藤科学のHeartToHeart4を使って, Pythonでロボットを動かせるようにする.

強化学習を使い, 平らな道やでこぼこな道, 傾斜を歩いたり, 階段を上り下りしたりできるようにしたい.
• 道の状態にあったモーションを選択できるようにする.（モーションはロボット班が開発する）• 実験を行い, 評価値などを調整する.

ロボットが自分のいる位置とゴールの位置がわかるようにしたい.
• ロボットにカメラを付け, 色認識を用いてゴールまでの道筋を色テープで誘導する.
• ロボットを上から撮影するカメラを実装しロボットの座標とゴールの座標を管理する.

活動内容 Ac2vi2es
ロボットのプログラム
ロボットを動かすプログラムの作成
近藤科学が販売しているコントロールボードであるRCB-4をPythonで動かせるようにした. これにより同社が提供しているソフトウェアであるHeartToHeart4で定めたモーションを再生し, 後述の強化学習をPythonによって実装することが可能となる.

カメラのプログラム
カメラのプログラムの作成

上カメラからの映像

横カメラからの映像

上と横の２つの方向からカメラでロボットを撮影できるようにプログラムを作成した. ロボットに色付きの布を貼り, 色認識のプログラムによってロボットとゴールの位置を座標で表示した. 上から撮ったカメラの映像からは, 強化学習する
時ロボットが横にどれだけそれたかや, どれだけゴールに近づけたか, またロボットが転倒時に仰向けかうつ伏せかを判断した. 横から撮ったカメラの映像からは, ロボットが転倒しているかどうかを判断した.

[2019/12/06]No.21

担当教員

複雑系知能ロボットへの挑戦 成果発表

松原仁(Hitoshi Matsubara)

鈴木恵二(Keiji Suzuki)

活動内容 Activities
強化学習
ロボットが強化学習するプログラムの作成
強化学習の一種であるQ学習の中のε-greedy法を用いたプロState

グラムを作成した. ロボットにモーションを実行させ, 転倒

0

ゴールとロボットが一直線にある状態

0

低速歩行

1

ロボットが左にずれている状態

1

高速歩行

2

ロボットが右にずれている状態

2

左サイドステップ

3

ロボットがうつ伏せで倒れている状態

3

右サイドステップ

4

ロボットが仰向けで倒れている状態

4

うつ伏せからの起き上がり5

ゴールに接近した状態

5

仰向けからの起き上がり6

挨拶

しているかどうか, ロボットとゴールがどれだけ離れているかなどを基に報酬を設定し与えた. 実際に強化学習中に与えていた報酬について条件と値を以下に示す. 式中の各変数について, rewardは報酬値を代入するための変数で, frは転倒時

各状態のロボットの状況

実装した状態一覧

Action

各行動のロボットの動作実装した行動一覧に用いる変数で今回は-50と設定した, adjustは距離を報酬として扱う際に大きさを調整するための変数で30と設定した.
zはカメラから与えられたロボットとゴールの距離である.
ロボットが転倒している場合
reward = fr

想定したスキーム図

ロボットが転倒している状態から立ち上がった場合
reward = -fr / 2
直線上から外れた場合
reward = -z / adjust
直線上から外れた状態から直線上に戻った場合
reward = (z/adjust) / 3
直線上にいる状態が続いている場合
reward = -(z/adjust) / 3
ゴールに接近している状態になった場合
reward = 5 /(z/adjust)
ゴールに接近している状態から離れた状態になった場合
reward = -(z/adjust) * 5

学習の試行回数とゴールまでの残りの距離のグラフ

実験
実験の内容
スタートとゴールを決め, プログラムを起動してロボットに強上からの実験風景化学習を行わせる. 1エピソード終了後, スタート位置に戻し再び強化学習を行わせる. 学習がうまくいっていない場合は報酬やモーションの調整を行い, Q値をリセットして初めから学習をやり直す.
実験風景

横からの実験風景

研究成果 Results
強化学習のプログラムは平面に限定すると目的の位置までの歩行や転倒時の立ち上がりが可能になった. 学習の中で報酬の与え方や実験環境に結果が大きく左右されるため, ただ回数を重ねるだけでは求める結果に辿り着けないことがわかった. 画像認識のプログラムは撮影した色が蛍光灯の光によって反射したり, 実験をする場所によって明度が変わったりする
ため正常な動作をさせることが難しいことがわかった. 強化学習の結果に誤差が出るのは画像認識の動作に異常が出ることも一因と考えられる. これは, カメラの性能に依存すると考えられるため, より高性能なカメラを使用するか, センサを用いるなどして画像認識以外のアプローチを行うことにより解決される. 当初想定していた階段の上り下りといった動作は今回使用していたロボットでは難しいことがわかったため, よりパワーや耐久性のあるロボットを用いることで目標を達成可能であることがわかった.

[2019/12/06]No.21

複雑系知能ロボットへの挑戦 成果発表

Group B
ロボット班の活動概要

担当教員 松原仁(Hitoshi Matsubara)

メンバー Member田中滉大 安藤直輝
小山晃弘 西谷和将

鈴木恵二(Keiji Suzuki)

加藤大地

Overview

ロボット班では, 人型の次世代知能ロボットの筐体の作成や, センサの取り付け, 複雑なモーションの作成などのロボットの外部にある課題の解決に取り組んだ.

目標 Purpose
遠隔操作によって自作したモーションを再生できるロボットを作成すること. そして, ロボット自身があらゆる状況下でも移動能力を維持できるモーションの作成がロボット班の目標である.

課題 Assignment
転倒した際の対処
ロボットが転倒した際, うつぶせの状態と仰向けの状態で別々に起き上がるモーションが必要になる. また, 転倒時にロボットが破損しないように衝撃を吸収する素材をロボットに装着する必要がある.
AI班との連携
AI班がプログラムを導入するためのRaspberry Pi 3と, それを動かすためのバッテリーモジュールをロボットに取り付ける必要がある. 取り付ける際にロボットの可動域にそれらが触れないように新たに部品を作成し, 取り付けなければならない.

階段
目標コースには24段の階段がある. 降りる必要がある.
ロボットの全長では, 人間のように階段を降りることが困難であるため転倒しないような規則性のある降り方を考える必要がある.

STORE

2F
1F
点字ブロック
点字が足に当たるか, 踏むとバランスを崩し, 転倒してしまう. 点字ブロ
ックの上を進行する際は, 点字の干渉が少なくなるようにモーションを工夫する必要がある.

カーペット
硬い床とは違いカーペットは柔らかく, 消耗具合によって環境が違い, 通気口も存在するため安定した歩行が困難である.

坂道
大学の外の道には, 傾斜角の異なる路面が存在する. 通常の歩くモーションでは,バランスを崩して坂道を歩けないため坂道に対応する制御が必要である.

[2019/12/06]No.21

担当教員 松原仁(Hitoshi Matsubara)

複雑系知能ロボットへの挑戦 中間発表

鈴木恵二(Keiji Suzuki)

活動内容 Activities
ロボットの作成・強化
目標を達成するために, 近藤科学のKHR-3HV ver2を使用して開発を行った. 前期
では本体の組み立てや関節の可動域を広げるために拡張サーボモータを取り付けた. 後期ではロボットに転倒時の衝撃を吸収する素材と, Raspberry Pi 3を取り付ける台を作成し搭載した.
ロボットのモーションの作成

ロボットの動きを制御するHeartToHeart4というソフトを使用し, ロボットを動かしながらモーションを作成した. また, KHRシミュレータを使用することで個人のPCから仮想空間でロボットを動かすことができるようになった. これにより複数人が同時にモーションを作成する環境が整い, いつでもモーションの作成を行うことができるようになった.
通信手段の変更
前期では, ロボットにケーブルを接続してモーションの再生を行っていた. 後期では無線の状態でもロボッ
トがモーションを再生するように, ロボット用無線コントローラ KRC-5FHを搭載しロボットの無線化を実現した.
センサの搭載と姿勢制御
転倒時にどの向きで転倒したかを検出することができる加速度センサを搭載した. また, ジャイロセンサを搭載することでロボットが直立時や歩行時の補正動作(姿勢安定)を行えるように制御した.

研究成果 Results
・転倒時の補助
転倒した際に最も地面にぶつかりやすい胸部と背中にスポンジを取り付け, モーションを作成した.

・ AI班との連携の実用
現状のサーボモータの出力では,Raspberry Pi 3とカメラの重さを制御することが難しいと判明した.

！

STORE

階段
勢いがある降り方をすると足への負担が大きく, 故障に繋がってしまう. 安全に降りるためにはモータの出力不足と判明した.

2F
1F
点字ブロック
4足歩行によって移動を試みたが前進できなかった. 点字の間でジャンプモーションを行うことで進行を実現した.

カーペット
バランスを保つ力を強くする必要があった. 当初は足首だけにジャイロセンサによる制御を実装したが, 制御部分を下半身全体にすることでより安定した歩行を実現した.

坂道
傾斜と足首の傾きを同じ角度にすることで, バランスを維持し歩行することが可能になった. 実際の坂道は角度が一定ではないため, 足首の角度を変えた歩くモーションを16通り作成した.