VOL. 39
SEP. 2021
特集紹介

22021 年度日本ロボット学会フェローのご紹介

5【特集】「強化学習最先端とロボティクス」
7

書評：ヒューマノイドロボット（改訂 2 版）
69

論文抄録

70

論文 （本文は J-Stage にてオープンアクセス掲載

https://www.jstage.jst.go.jp/browse/jrsj/list/-char/ja
p.77～p.112 は本冊子には掲載されておりません）■ 状態遷移速度図を用いた部品整列ロボットの作業時間算出法

A Work Time Calculation Method of Parts Alignment Robots Using State Transition Speed Diagram

永井 清・西村 海里・櫻田 武・土橋 宏規・吉川 恒夫

Kiyoshi Nagai・Kairi Nishimura・Takeshi Sakurada・Hiroki Dobashi・Tsuneo Yoshikawa■‌‌レター77
85

詳細は論文抄録（p.70～p.75）参照ADVANCED ROBOTICS review■‌‌Call for Papers: Special Issue on Adaptive Motion of Animals and Machines

AR 1■‌‌Call for Papers: Special Issue on Technology for Networked and distributed Robotics

AR 2

■ ‌A
 DVANCED ROBOTICS Vol. 35, Issue 13～14 Graphical Abstract

AR 3

お知らせ

会告 1

■‌カレンダー

会告 2■‌主催行事のお知らせ

会告 3■‌セミナーのご案内

会告 4■‌共催・協賛行事のお知らせ

会告 6■‌理事会報告

会告 7■ ‌新入会員

会告 8■‌刊行物のご案内

会告10

─1─

特集：強化学習最先端とロボティクス
【展望】
【解説】

■ ロボティクスと強化学習浅田 稔

Robotics and Reinforcement Learning

Minoru Asada■ 動的環境下におけるロボットの動作生成

太田 佳・金崎 朝子

Robot Motion Planning in Dynamic Environments

Kei Ota・Asako Kanezaki



7



13

■ 乱択化フーリエ特徴を用いた近似ガウス過程によるモデルベース強化学習

Model-based Reinforcement Learning with Approximate Gaussian Processes using Random Fourier Features19

岡田 雅司・谷口 忠大23

石原 弘二・森本 淳29

有木 由香



33

福井 啓・河本 献太



37



41



45

内部 英治



49

前田 新一



53

松原 崇充

Takamitsu Matsubara■ 確率推論に基づくモデル予測制御と強化学習

Model Predictive Control and Reinforcement Learning based on Probabilistic Inference

■ 全身のダイナミクスを考慮した最適制御

Masashi Okada・Tadahiro Taniguchi

Whole-body Optimal Control using a Full-body Dynamics Model

Koji Ishihara・Jun Morimoto■ 深層強化学習の最新研究動向―行動計画の観点から―

Deep Reinforcement Learning Survey from the Peopective of Action Planning

Yuka Ariki■ ロボット移動技術と強化学習

Robot Navigation and Reinforcement Learning

Akira Fukui・Kenta Kawamoto■ 工場現場の組立応用に向けたソフトロボット運動学習

Learning Control with Soft Robots: Application for Industrial Assembly濵屋 政志・田中 一敏・フェリクス フォン ドリガルスキ・井尻 善久
Masashi Hamaya・Kazutoshi Tanaka・Felix von Drigalski・Yoshihisa Ijiri■ ロボットのための階層型深層強化学習

Hierarchical Deep Reinforcement Learning for Robots■ 順・逆強化学習を用いた生成的模倣学習

長 隆之

Takayuki Osa

Generative Imitation Learning using Forward and Inverse Reinforcement LearningEiji Uchibe■ 最新強化学習理論

Theory of Reinforcement Learning

Shin-ichi Maeda■ 複数の環境を利用した逆強化学習―推定報酬の精度向上と転移に向けて―
Inverse Reinforcement Learning with Expert Data in Multiple Environments
―Toward Improved Accuracy and Transfer of Estimated Rewards―

荒井 幸代

■ 逆強化学習を用いた生活道路中の運転行動モデリング

Sachiyo Arai

Driving Behavior Modeling in Residensial Roads with Inverse Reinforcement Learning

下坂 正倫

Masamichi Shimosaka



57

63「強化学習最先端とロボティクス」特集について
強化学習は心理学用語に端を発する生物の古典的な報酬，罰則に基づく学習手法でありボードゲームの自動戦略獲得に特に用いられることが多かった．強化学習の人間における試行錯誤を通じた運動獲得の仕組みの解明は今後のロボットの高次認知機能を付与することにも期待され人工知能の分野のみならずロボティクスの分野でも制御問題等に適用され盛んに研究されてきた．特に近年，深層学習の台頭に伴い最先端の強化学習を用いたロボット応用が UC バークレーを筆頭に世界的に注目される機会が多くなった．現在はロボティクスだけでなく自動運転，ドローン，マニピュレータなど多種多様な工学分野に応用されている．ロボット学会においては過去にロボットの学習として深層学習や運動学習が特集され取り上げられてきたが強化学習が単体で取り上げられることはこれまでになかった．これは一般的に強化学習がボードゲームや迷路のような離散的な問題を解くことに限定され高次元な連続状態を扱うロボットには適用困難であると考えられていたためである．
近年の深層学習やその他最先端の強化学習研究はこうした縛りから強化学習を解放するものであり，その結果として強化学習は先に述べたような人間と同様な高次の認知機能を達成する可能性のある学習スキームとして期待され現在注目を集めている．本特集は国内の第一線で強化学習最先端に携わる研究者の方々の研究をまとめたものである．
はじめにこれまでの強化学習とロボティクスの研究の総括から始まり，最先端強化学習として深層，階層型，メタ，逆強化学習などの様々な枠組みのロボティクス応用，深く関連するモデル予測制御の研究事例を紹介する．それに加えて最先端強化学習理論の解説や新たな知見からロボティクス応用に役立つ他分野の応用まで幅広く解説いただいた．本特集が読書の皆さまの今後の研究開発進展に繋がる一助となるとともにロボティクス分野における強化学習を含めた学習分野，およびロボティクス分野全体の発展に繋がれば幸いである．国内で強化学習を継続的に研究しているグループを集めているので，特に今回の特集号で強化学習に興味を持った学生の読者には普段あまり知ることのない強化学習とロボティクスや理論，応用に取り組んでいる大学，企業を知る一つの契機となれば幸いである．
最後に，大変ご多忙の中，快く記事の執筆をお引き受けいただいた著者の皆様に心よりお礼申し上げる．
（有木由香 ソニー）

─2─Latest Reinforcement Learning and Robotics

─3─VOL. 39
SEP. 2021

一般社団法人

日本ロボット学会

賛助会員のご紹介（50 音順）

本学会をご支援頂いている賛助会員の皆様をご紹介致します。
本学会 web サイト（http://www.rsj.or.jp/about/supporter/）にて会員の皆様の HP へリンクを貼らせて頂いております。

東急建設
（株）
（株）IHI（地独）東京都立産業技術研究センター
（株）
アールティ
（株）
アヴィス
東京ロボティクス
（株）
（株）
東芝
（株）
アスク
戸田建設
（株）
（株）アドイン研究所
特許庁（株）アトックス技術開発センター
トヨタ自動車（株）
アナログ・デバイセズ（株）
トヨタテクニカルディベロップメント（株）（株）イシダナゴヤホカンファシリティーズ（株）（株）
インフィテック
ナブテスコ
（株）
（株）
エクォス・リサーチ（株）
日刊工業新聞社
NTN（株）
NiKKi Fron（株）（株）
エンプラス研究所（株）
オートネットワーク技術研究所（株）
日経 BP／日経 Robotics
オリンパス
（株）
日東精工
（株）
（株）
カクタス・コミュニケーションズ（株） 日本航空電子工業
日本精工（株）
川崎重工業（株）（一財）
日本品質保証機構
カワダロボティクス（株）（一社）
日本ロボット工業会
キャタピラージャパン（同）（株）ハーモニック・ドライブ・システムズ
キヤノン（株）パナソニック（株）
エコソリューションズ社
Kudan（株）
パナソニック（株）
生産技術本部クレスコ（株）
ビー・エル・オートテック（株）（株）ココロ（株）小松製作所／開発本部（株）Piezo Sonic
ZAZA（株）（産業用製品メーカー比較のメトリー） 日立建機
（株）（株）
ジェイテクト（株）日立製作所／（株）
システムインフロンティア
テクノロジーイノベーション統括本部
平田機工
（株）
（株）
システム計画研究所
ファナック（株）
シュンク・ジャパン（株）（国研）新エネルギー・産業技術総合開発機構（株）フエニックスコンタクト（株）不二越
新光電子（株）
富士通（株）
新明和工業（株）
富士ソフト
（株）
（株）
スペース・バイオ・ラボラトリーズ
古河電気工業（株）
生産技術部
セイコーエプソン（株）
セコム（株）／ IS 研究所
WHILL（株）（株）せとうちシステム（株）本田技術研究所／基礎技術研究センター
セントラル警備保障（株）
前田建設工業（株）
技術研究所
綜合警備保障（株）セキュリティ科学研究所（株）マキタ
ソニーグループ（株）
マクソンジャパン
（株）
ソフトバンク（株）
（株）
豆蔵
（株）
ソミックマネージメントホールディングス
三井化学（株）（株）竹中工務店／技術研究所
三菱重工業
（株）
（株）チトセロボティクス
三菱電機（株）（株）データベース
（株）
村田製作所
（株）
明電舎
TIS（株）
THK（株）（株）安川電機（株）TKF
ヤマハ発動機（株）
TechShare（株）
ヤンマーホールディングス（株）（株）テムザック
（株）
リアルビズ
（株）
リコー
（株）デンソーウェーブ（株）電通国際情報サービス（株）Rist
東海旅客鉄道（株）（株）
ロボティズ●御入会またはロゴの掲載をご希望の場合は，下記にお問い合わせください．
一般社団法人日本ロボット学会 事務局 会員係 TEL 03（3812）7594，FAX 03（3812）4628，E-mail:service@rsj.or.jp
─4─