科学・技術・社会の相互作用から未来を予測する「SINIC＊理論」
オムロンの創業者・立石一真は「事業を通じて社会的課題を解決し、よりよい社会をつくるにはソーシャ
ルニーズを世に先駆けて創造することが不可欠になる、そのためには未来をみる羅針盤が必要だ」と考えました。そこで、科学・技術・社会それぞれの円環的な相互関係から未来を予測する SINIC 理論を1970年に構築し、国際未来学会で発表しました。以降、オムロンはこれを未来シナリオとし、経営の羅針盤としています。
SINIC 理論の基本的な考え方は、科学・技術・社会が相互に作用しながら発展していくというものです。情報化社会を例にとると、1940年代に勃興した総合科学であるサイバネティックスやコンピュータ科学の発展が、新しい電子制御技術、プログラミングなどの種（シーズ）となり、パーソナルコンピューターやイン
ターネットの普及を通じて、情報化社会が実現しました。一方、情報化社会が発達し、より多くのデータを正確に素早く分析・解析したいという社会の必要性（ニーズ）が、CPU や GPU などの処理装置の性能を向上させ、ディープラーニングなどの人工知能（AI）技術の進化を促し、脳科学や認知科学の新たな展開を刺激していることも挙げられます。
最適化社会の現在は、工業社会から自律社会へと向かうパラダイムシフトの過渡期です。社会の変化が大きく、将来の見通しがつかないようにみえる今、SINIC 理論をオープンにし、さまざまな人々との議論を通して未来創造のための社会の知として活用を進めています。
＊

SINIC：Seed-Innovation to Need-Impetus Cyclic Evolution の略。

(149) 1

第53巻 第2号（通巻165号）2021年11月

科学・技術・社会の相互作用から未来を予測する「SINIC 理論」目次 

1（149）
2（150）

巻頭言：イノベーションの場としてのオムロン サイニックエックス

オムロン株式会社 技術・知財本部 副本部長 兼 技術・知財戦略室長

兼 オムロン サイニックエックス株式会社 代表取締役社長 諏訪 正樹
寄稿文：人と AI との共生創発がもたらす Humanity2.0
慶應義塾大学・理工学部 兼 慶應義塾大学・共生知能創発社会研究センター
兼 電気通信大学・人工知能先端研究センター教授（センター長）
兼 オムロン サイニックエックス 取締役 栗原 聡（工学博士）
寄稿文：SINIC X-formation ―パラダイム・シフトの先を拓く技術への期待―
株式会社ヒューマンルネッサンス研究所 代表取締役社長
本特集号の章立てについて

中間 真一

4（152）

7（155）
9（157）
13（161）

1．人がやっていることを自動化する

人のようにしなやかなロボット～ソフトロボット田中 一敏

16（164）

しなやかなロボットをうまく制御する～モデルベース学習濵屋 政志

22（170）

Advancing Automated Assembly – Team O2AC at the World Robot Summit 2020
FELIX von drigalski, NAKASHIMA Chisato, KASAURA Kazumi and CRISTIAN beltran-hernandez29（177）2．人から学ぶ 人のように学ぶ

機械学習を活用した経路計画技術
谷合 竜典 , 米谷 竜

36（184）

A Machine Learning System that Adaptively Aggregates Knowledge from
Multiple Models
馬 家昕

46（194）

過去の学習経験を組み合わせて適応するロボット田中 一敏

54（202）

3．人と協調する 人とともに働く

新しい現場で簡単に立ち上げる
米谷 竜

62（210）

ヒトの教示やインタラクションを活用したロボット学習濵屋 政志

69（217）

視覚と言語の共有潜在表現獲得によるモノづくり手順理解橋本 敦史

76（224）

雑踏の中で動き回る自律走行ロボット～社会ジレンマを解決する強化学習の活用西村 真衣

82（230）

動的に変化する環境の中で自己位置を推定する自律走行ロボット
西村 真衣

89（237）

4．技術解説・サーベイ

3次元画像計測におけるステレオマッチングの基礎から最先端まで
谷合 竜典

98（246）

連合学習入門米谷 竜

113（261）

クロスモーダルな理解～サーベイ
牛久 祥孝

120（268）

オムロン サイニックエックスが発表した主な論文・講演など

129（277）

2 (150)November 2021, Vol.53, No.2（Serial No.165）

SINIC Theory: Predicting the Future Through the Interrelationships of Science, Technology, and Society 1（149）

Table of Contents 2（150）

Introduction: OMRON SINIC X as a Place for Innovation
SUWA Masaki, Deputy Senior General Manager, Technology and Intellectual Property H.Q.,
OMRON Corporation, President, OMRON SINIC X Corporation 4（152）

Contribution: Symbiotic Emergence between Humans and AI in Humanity 2.0
KURIHARA Satoshi, Ph.D., Professor, Faculty of Science and Technology, Keio University,
Director, Center of Advanced Research for Human-AI Symbiosis Society, Keio University,
Specially Appointed Professor, Artificial Intelligence eXploration Research Center, The University ofElectro-Communications, Outside Director, OMRON SINIC X Corporation 

7（155）

Contribution: SINIC “X-formation” Expectations for Future Technology beyond the “Paradigm shift”
NAKAMA Shinichi, President, Human Renaissance Institute Co., Ltd. 
Chapters in this special issue 

9（157）
13（161）

1．Automate What Humans doSoft Robots: Soft Touch Like Humans

TANAKA Kazutoshi 

16（164）

Learning Control for Soft Robots: Efficient Model-based Learning Approaches

HAMAYA Masashi 

22（170）

Advancing Automated Assembly – Team O2AC at the World Robot Summit 2020

FELIX von drigalski, NAKASHIMA Chisato, KASAURA Kazumi and CRISTIAN beltran-hernandez 

29（177）

2．Learn from Humans, Learn like Humans
Path Planning using Machine Learning

TANIAI Tatsunori and YONETANI Ryo 

36（184）

A Machine Learning System that Adaptively Aggregates Knowledge from Multiple Models

MA Jiaxin 

46（194）Adaptation to a New Setup by Combining Skills

TANAKA Kazutoshi 

54（202）

3．Cooperate with Humans, Work with Humans
Adapting Machine Learning Models to New Environments

YONETANI Ryo 

62（210）

Robotic Learning from Human Demonstrations and Interactions

HAMAYA Masashi 

69（217）

Cross-modal Representation Learning for Understanding Manufacturing Procedures

HASHIMOTO Atsushi 

76（224）

Towards Interactive Crowd-aware Robot Navigation Inspired by Social Dilemmas

NISHIMURA Mai 82（230）

Mobile Robot Navigation in Densely Crowded Environment

NISHIMURA Mai 

89（237）

4．Advanced Technology Desctiptions and Survey
Binocular Stereo: From the Basics to the State of the Art

TANIAI Tatsunori 

98（246）Introduction to Federated Learning

YONETANI Ryo 

113（261）

Cross-modal Understanding: A Survey

USHIKU Yoshitaka 120（268）

Recent Publications 

129（277）(151) 3

巻頭

言イノベーションの場としてのオムロン サイニックエックス
・企業理念を、より現代的なスタイルで体現する場として創設

・そのために、研究のみならずそのためのマネジメントも刷新し新しいスタイルを築き上げることを目指した。

1．近未来を作る会社〜オムロン サイニックエックスに込めた思い〜

オムロンでは、創業者・立石一真の時代からオムロングループに受け継がれた技術経営スタイル「SINIC
理論という土壌で育まれた近未来デザインからのバックキャスティング」を実践しています。オムロン サ
イニックエックス（OMRON SINIC X 以下 OSX）は、この最先端を担い、近未来の社会から必要とされる
革新的技術を世の中に先駆けて創出し、社会実装を具現化するための技術アーキテクチャをデザインする
ミッションを背負い、2018年に東京・本郷の地に誕生しました。会社名に入っている「サイニック」は冒頭にも登場した “SINIC” すなわちオムロンの創業者・立石一真が提唱した未来予測理論そのものです。そこに未知なる技術 “X” を掛け合わせ、技術革新にもとづく近未来デザイン作りを推進していくという思いを会社

図1

名に込めています。OSX では、世の中の変化の兆しと、そこから生まれる社会的課題をいち早く捉え、解決

オムロンの企業理念のボトルネックとなる技術的課題との重なりから、本質的な研究上の「問い」、魅力的な技術創出の「お題」を作り出すことを目指しています。社会的課題に根ざした研究課題を共有して、アカデミアとビジネスが本
気で英知を結集することで、社会を動かし人々のライフスタイルを革新する大きなインパクトが実現できるとの信念の下、日々の活動を進めています。

んでおり、今でもオムロンの企業理念のなかに根付いています（図1）。
この文脈で OSX という組織を表現するならば、創業者・立石一真の頭の中に存在したであろう「近未来デザイン創出のメカニズム」を、オープンイノベーションと人財の多様性にもとづいて組織実装するという挑OSX はもともと「AI の研究拠点を新たに設立する」という構想で準備が進められていました。しかし、オ戦の証とも言えます。人財の多様性については、これまでに10か国以上の研究者が OSX に来て「企業理念

ムロン社内でのディスカッションを深めていく中で拠点構想が日夜ブラッシュアップされていき、最終的に（図1）の実践は下から」をモットーに互いに切磋琢磨しながら共に活動してきました。今後も SINIC 理論とは「近未来をデザインし、そのために必要なテクノロジー群を構想し、中でもコアとなる革新技術を創出す

いう未来予測論を新時代に即したものとして見据えながら、革新技術を起点にしたソーシャルニーズを創造るための近未来デザイン研究拠点」というコンセプトへと発展していきました。しかしながら、オムロンのするユニークな研究拠点としての存在感を高めていきたいと考えています。

メンバーだけでこの非連続的であり複雑さを増す十数年先の技術進化を予測し近未来をデザインすることは4 (152)

極めて困難です。ゆえに、この OSX という「出島」をオープンイノベーションの場として、国内外から優秀

2．本特集によせてな研究者や専門家などを招いてディスカッションしながら革新技術起点の近未来をデザインしたいという思「近未来デザイン」といっても、単なる未来の夢想ではありません。OSX では具体的な未来の姿をクリア

いをもつようになりました。その結果として生まれたのが OSX です。

な社会実装のイメージにまで落とし込みます。現在は AI やロボティクス、センシングなどが着目している技

もともとオムロンは、創業者の描く近未来デザインをベースに、世界に先駆けて信号制御システムや自動術の中心ではありますが、SINIC 理論でいうところの機械が人の可能性や創造性を広げる「人と機械の融和」

改札機など数々のイノベーションを生み出してきました。創業者はこれを「ソーシャルニーズの創造」と呼を具現化していくためには、人と機械のコミュニケーションや、その間を流れる知識や情報などの多様な(153) 5

巻頭言

データのハンドリング、機械の身体性など、さらに深堀りしていくべき技術領域はどんどん広がっていっています。この度発刊された OMRON TECHNICS では、OSX が誕生して3年あまりで生み出されてきたこれら技術領域における「近未来デザインの種」の代表事例をご紹介します。その多くは、著名な国際学会などで発表してきた論文の和訳をベースに、それぞれの技術について解説を加えた構成になっています。
本特集で紹介した技術の数々は、近いうちに社会実装され世の中に登場してくるでしょう。OSX では引き続きグローバルレベルでのスピード感に遅れることなく、技術革新と社会実装とを世に先駆けて高度に繋げていく活動に邁進していきます。

オムロン株式会社 技術・知財本部 副本部長 兼 技術・知財戦略室長
兼 オムロン サイニックエックス株式会社

6 (154)代表取締役社長

寄稿

人と AI との共生創発がもたらす
Humanity2.0
慶應義塾大学・理工学部 兼 慶應義塾大学・共生知能創発社会研究センター 兼
電気通信大学・人工知能先端研究センター教授（センター長）兼オムロン サイニックエックス株式会社 取締役
博士（工学）

現在、国が進める IT 政策である Society5.0 は、現在の情報化社会（Society4.0 と定義される）をさらに推し進め、

実世界のあらゆる情報をサイバー空間にビッグデータとし

栗原 聡

する状況も散見される。
情報過多・情報洪水の問題が指摘されてすでに 20 年はて集約（デジタルツイン化）し、そのビッグデータに対す

経過していると思うが、人（ホモサピエンス）としての認価値な情報を、実世界にフィードバックさせようというもピュータの高性能化を背景として、より多くのデータ、よる AI による分析や学習・予測を通して生成される高付加のである。現在においてもすでにサイバー空間の利用は

DX が叫ばれる昨今ではあるが、現実にはコロナ禍もあり、なかなか導入が進まない現状となってしまっている。
結果的に、まだまだ実環境からの情報流入は質・量共に少なく、サイバー空間内においても情報の連携などにおいて
まだまだ対応が遅れている。

5G の本格導入や深層学習を軸とする機械学習を基盤として、DX やスーパーシティといったキーワードが新聞雑誌に多く登場する状況を見ても、デジタル後進国と揶揄される日本がその汚名を返上するためにも、現在の動きは決して間違ってはいないと「は」思う。ただし、「は」としたのには理由がある。何か重要な点を見落としていると感じるのである。

「社 会（Society）」は 実 に 使 い 勝 手 の よ い 言 葉である。

人々の行動の総体として創発される「実体なき質感」に「社会」というラベルを付けたものにすぎない。「よりよい社会を作る！」、ということは当然ながら社会を構成する
個々人にとってよりよい状況を目指す、という意味だと思いたいが、昨今の世界情勢やサイバー空間で起きている諸問題や AI に対する懸念等を見るに、肝心の個々人が置き去りになってしまっている。社会という総体として捉える
ことが、逆に個々人をオブラートに包んで見えにくくしてしまうことになってしまっている。そもそも一人一人が基本単位であるにも関わらず、そのような危惧が実際に感じられることの現れとして「人間中心」という強調を敢えて知能力は 8 万年変わらないまま、インターネットやコンり何でも繋ぐことが追求され、SNS におけるデマ、フェイ
ク、フィルターバブルなど、もはやサイバー空間に人が翻弄される状況が深刻化している。

このまま Society5.0 を目指すことが、表面的には利便性が向上するものの、これがもたらす負の面の影響は計り知れない。まだ手遅れ確定ではないと思いたいが、実世界とサイバー空間における「社会」を人々の行動が創発する現象として捉えた上での取り組みを開始する必要があろう。

産業革命にてテクノロジーが急速発展を開始するまでの人類を Humanity0.0 とすれば、工業時代に入って人は
Humanity1.0 にアップグレードしたと言えよう（工業社会は Society3.0 である）。狩猟時代、農耕時代を通して人類は道具を生み出し、道具による効率化により発展してきた。
それは、Society4.0 に区分けされる情報社会となり、特にインターネットの発明により、道具の性能は飛躍的に向上
し、我々の生活は劇的に変わった。しかし、テクノロジー
は人の使う道具である、という立ち位置には変わりはな

い。そもそもテクノロジーとはそういうものだ、という割
り 切 っ た 考 え 方 も あ る。し か し、そ の 立 ち 位 置 は 来 るSociety5.0 においても変わらない、と安易に決めつけてしまってもよいのであろうか。

現在の AI はほぼ機械学習のことを指しており、データ

から学び動作する。与えられるデータから学ぶことで事足りるのであれば、我々はもっとスマートに生きられている(155) 7はず。実環境は複雑系であり、学習したことも利用しつつ高い適応能力と汎用性を持ち、何より我々は受動的な道具ではなく、能動的に動作する自律性を有する。

深層学習が飛躍的に画像・言語処理を中心としてその性能を大きく向上させたことで、次世代型 AI の実現に向けた研究を進める土壌がおおかた整った。深層学習分野においても、現在が学習されたモデルによる即応的反応が主たる能力であり、これを System1 と呼び、今後は熟考できる
System2 を目指す動きがある。どの道、相変わらず学習に

ちなみに、著書「サピエンス全史」や「ホモ・デウス」

で有名な歴史学者のユヴァル・ノア・ハラリが言うところの人間のアップグレードは、人の脳とサイバー空間との接続までを視野に入れていることから、これが実現された際は Humanity3.0 と い う こ と に な ろ う か。我 々 は ま ず は

Humanity2.0 の実現を目指すことになるが、2.0 の次は 3.0

が待っており、一連の Humanity のアップグレードに向けた取り組みを『Project HumanityX.0』と呼称したいと思う。
さらに、共生創発に関しては、多段階の創発が複雑に絡頼ることから、System1 であっても適応性には大きな期待

み合うことが想像される。人体を例にすれば、乱暴な言いのみを基盤とする限りは、System2 であっても道具の位置

ベルが人体レベルを創発し、人体レベルがローカルコミュはできないのも、当然の流れであろう。深層学習（学習） 回しであるが、細胞レベルが臓器レベルを創発し、臓器レづけからは脱却できない。

では、Humanity1.0 はどのタイミングで 2.0 にアップグレートするのであろうか。タイミングとしては Society5.0が実現される頃だと思うが、ただし、個人を主役とする捉
え方でのコンセプトとして大きく見直す必要がある。

Society5.0 が実現される日常には、自律汎用型 AI が社会浸透しつつあり、人と AI との共生が実現され始めているだけでなく、人自体のマシンとの融合も加速していると想像される。人が AI と共生することで、新たな能力が創発されることから（これを共生創発と呼びたい）、それは人

ティレベルを創発し、ローカルコミュティレベルが社会レ
ベルを創発し・・・、というダイナミクスを工学として利活用するための方法論が必要となる。自然界に存在する多段創発系においては階層と階層との間には壁が存在し、これがあることで系としての安定が維持されていると考えているが、インターネットの功罪は、階層間に縦串を通してしまったことなのではと推察している。共生創発の仕組みをデザインすることは、このような多段創発現象の理解・構築・制御方法の確立を意味し、まさに「複雑系社会工学」と呼ぶべき分野の確立にも繋がるのだと思う。

いろいろ妄想を述べてきたが、最後に主張したいこととしてのアップグレードを意味する。すなわち Human-

は、上記の考え方は今更であるが SINIC 理論と本質的に同立ち位置である限りは、道具を使うレベルは人次第となっクスも本格稼働中であり、2021 年 4 月 1 日に筆者は、慶應の壁を越えることが期待できる。実際、筆者が関わった

知 能 創 発 社 会 研 究 セ ン タ ー を 設 立 さ せ た（https://sites.

ity2.0 へのアップグレードである。テクノロジーが道具的てしまうが、人が自律汎用型 AI と共生する状況では、そTEZUKA2020 プ ロ ジ ェ ク ト（https://tezuka2020.kioxia.

じである、ということである。オムロン サイニックエッ

義塾大学に Humanity2.0 実現を目指すことを柱とする共生

google.com/keio.jp/hass/）。同じ野望を持つ者同士、徒党をcom）では、人と AI との共生に向けた取り組みが行われ、 組んで進んで行きたい。
共生創発への可能性を感じることができた。

8 (156)

寄稿

SINIC X-formation
─パラダイム・シフトの先を拓く技術への期待 ─
株式会社ヒューマンルネッサンス研究所

代表取締役社長

中 間 真一

はるか彼方の学生時代、分厚い就職案内のページを繰る

ら話しかけられ、互いに素性がわかって、ますます話しが的な分野での活動を楽しむべきである」というオムロンのかれ、夜通し熱心に工程改善や工場経営の議論をしたとい中で、「機械にできることは機械に任せ、人間はより創造
企業哲学が目にとまった。当時、私は管理工学という学際

分 野 を 専 攻 し、作 業 疲 労、習 熟、工 程 設 計、生 産管理、R&D 戦略、組織文化等、ものづくり現場の問題解決を研究テーマとする、広い意味での IE（インダストリアル・エンジニアリング）研究室に所属していた。その恩師が、いつも私たち学生に投げかける挨拶は、「みんな、ハッピー

してる？」だった。そういう背景、文化、環境も影響して弾み、京都で下車して、そのまま鳴滝の工場まで連れていう逸話を聞いたこともある。まさに「ハッピーな」工場、社会、世界をつくろうと、一生懸命に考えていたのだそうだ。より幸せな未来社会と暮らしをつくるという目的をぶらさず、技術と事業で実現する。それがオムロンの原点にある。

さらに、もう一つ惹きつけられたのが SINIC 理論であか、人間がより創造的な分野での活動を楽しむためのオーる。現場観察から人間観察、社会観察へとスコープを拡なメッセージに惹かれた。

隠れた課題も洞察できることを感得した私は、文化人類学

トメーションという、オムロンの創業者・立石一真の鮮明

その IE とは、狭く見ると、現場の作業や動作を観測して、ムリ・ムダ・ムラを徹底的に削ぎ落とし、生産効率を最大化しようという科学的管理法である。これは、使い方によって、生産現場で働く人たちを、厳しく辛い作業環境に追い込んだ。学生時代の現場実習先の自動車会社のトイレの壁には「IE 消えてなくなれ！」と殴り書きされていた。就職先の新人時代には、写真フィルム製造設備の向こう側から「なんで、あんな若造に、俺の動きにムダが多いと言われなきゃいけないんだ。やってられねえ！」というベテランの方の怒声が聞こえてきた。

もちろん、それは IE が目指すところではない。働く人も経営者も、そして使い手となる顧客も、共にハッピーにげ、事業づくり、組織改革など問題解決の範囲も拡がり、の世界に興味を持ち、その大御所であり探検家でもあった
梅棹忠夫先生の思考と創造の世界、未来探検の世界に引き込まれた。ちょうど、60 年代初頭に情報産業論2）を発表

し、情報社会という未来を展望していた時期である。さらに、当時の気鋭の若手社会学者の加藤秀俊先生や SF 作家の小松左京氏など、未来発想力豊かな面々が集まり、繰り広げられた議論は、1970 年の大阪万博に結実し、人々に未来を見せて夢と希望を与えた。その中で、未来学なる新学問領域も立ち上がっていたが、当時の経営者としては珍しく「未来予測」の重要性を感じとり、梅棹忠夫先生を中心とした、言わば京都の「梁山泊」の面々とやりとりしていた中に、他でもない立石一真もいたのだ。

到達すべき未来社会のビジョンを「自然」と留めると共なることが目指される。立石一真も、F. W. テイラーの科に、一気に原始社会まで遡って人類史全体を俯瞰し、人間

いち早く師事し、熱心に研究して活用していたと聞く。動作用の発展過程から未来予測する理論、それが SINIC 理論

学的管理法を「能率学」1）として紹介した上野陽一先生に、作研究の権威であった M. E. マンデル博士を 60 年代初頭

社会の価値観の変遷と、科学・技術・社会の円環的な相互である。情報化社会以降の未来として、最適化社会、自律にアメリカから招聘した際、日本での随行を恩師が担い、 社会、自然社会を設定した背景には、京都の自由な学者の東京から関西に向かう車中で、隣りの座席の初老の紳士か

叡智や東洋思想的な観点も注ぎ込まれていた。さらに、そ(157) 9

れらの智慧に、当時の中央研究所に設置したコンピュータ

うさも孕んでいる。やはり、精神生体技術に、コントロー

測の理論が、創業者・立石一真と若いスタッフらの情熱

ばめられたカーム・テクノロジーとも言える。立石一真はを使ったシミュレーションも加え、2033 年に至る未来予で、まとめあげられた3）。

SINIC 理論は、不易の未来予測「理論」なのだ。だから、VUCA の時代の今こそ、SINIC 理論を神棚に祀って拝

むだけでなく、手元に取り戻し、未来への航路の羅針盤として、針路を定めるために使うべき時なのだ。

では、これから到来する「自律社会」とは、どんな社会であろうか。これを考えてきた結果、私は「自立」「連携」「創造」の 3 つの構成要件が重なる社会像にたどり着いた。
そして、この社会は「モノ中心・個人中心」という近代工業社会の価値観の対極に位置し、「こころ中心・集団中心」の価値観に基づいた世界と予測されている。だから、この社会の到来を引き寄せる技術は「精神生体技術」、こころの技術なのである。また、「自律社会とは、ノー・コント

ロールの理想社会に近づく社会」だと、立石一真が言い残していることも興味深い。確かに、SINIC 理論で予測されルは禁物なのだ。生き方、暮らし、社会に融け込み、散り
意味深いコメントを残している。「自律社会の到来は、人間の真の変容なしには実現されない」、真の変容を遂げて、自律社会に向かうために必要な技術、それが現代社会の大きなソーシャルニーズのはずだ。

このように考えてくると、これからの技術開発には、これまでにない「倫理」のメカニズムが重要になる。自律社
会の新たな規範を目指した「倫理」である。AI の深層学

習、自律型のロボティクス、ライフログによる行動最適化など、その適用機会は広がる。そして、従来からのトロッコ問題に立ち止まったままの AI 倫理ではなく、近年、急速に研究が進みつつある認識論の一分野である「徳認識論」5）のような知的な徳や、文化の地域性、デジタル・エ

シックスと呼べるような新しい人文社会的な研究フロン
ティアに挑戦していく必要性も高い。

さらに、自然社会とは何か。私はこの「自然」を、Naturalる技術を見ると、最適化社会までの新技術には「制御」との訳語としての「しぜん」というよりは、仏教用語として術」以降には「制御」の二文字が消える。

りのままという状態を意味するものだと考えている。地球いう文字が入るが、自律社会への革新を促す「精神生体技

人の肉体機能を強化し、拡張して機械に代替するオート

メーション、人の一定の判断機能と情報処理を代替するサ
イバネーション、一人ひとりの健康を支えるバイオネー

ション、これらのイノベーション展開予測は、N. ウィー
ナーが提唱したサイバネティクスの思想 に基づくもので4）あり、「制御」の思想である。

その N. ウィーナーの著作には、興味深い指摘が見つかの「じねん」に近いもの、すなわち、無為自然であり、あ上の生態系では、多様な生きものが、何者もコントロール

しているわけではないのに、40 億年という持続性の中で、時々の環境変化に適応して約 870 万種の生物が生きている。つまり、「制御」を超えた自律的な地球環境への「適応」であり、固定したシステムではなく、構造を融通無碍に変えて、環境に最適に対応する、人も自然も人工物も含めた地球生態系の「ホメオスタシス」への発展である。
S. カウフマンや I. プリゴジンらの天才科学者たちが構想した「自己組織化」6）や「カオス理論」7）等が、SINIC 理論のる。「人間の奴隷労働を機械に行わせたとしても、機械的

自然社会以降の次なる螺旋的未来予測の中心的概念となるい。人と機械が奴隷レベルで競い合っても、結局は人の価ての地球の未来だ。ハイパー原始社会と呼べるかもしれな

奴隷をつくっているだけで、それは良いこととは言えな

値を下落させるだけで、それは目的ではない。人間の価値を尊重する社会をつくることが目指すべきゴールだ」とか、「世界は決して機械仕掛けではない。生きた生命体なはずだ。それは、機械仕掛けではなく、まさに生命体としい。

そこに向かう技術は、人と人、人と自然、人と人工物、のだ」とも、数学的に説いている。これらの言及からは、

人工物と人工物の間で互いに働きかけ合って、折り合いを律、自然社会への道筋を重ねられることがわかる。

技術と自然が、共によい塩梅で作用し合う世界とは、I. イ

N. ウィーナーが見通していた制御論の進化の先にも、自もちろん、いきなりノー・コントロールにして、理想社

会ができるはずはない。そこには、自転車の補助輪のように、最初は無いと困る支えだが、自走できるようになると、次第に邪魔になり消えていくような、一人ひとりの個

人の価値観や行動の変容を助ける技術が必要となるだろう。しかし、これはマインド・コントロールと紙一重の危

10 (158)

つける機能が重要になるだろう。このようにして、人間とリイチが提唱した、豊かでハッピーな自立共生社会「コンヴィヴィアルな社会」8）に通じる。私は、自然社会とはコンヴィヴィアル社会だと考えている。そして、そこにはAI の発展領域として、池上高志氏らの Alife（人工生命）の発想から生まれる技術の社会実装も現実となるだろう。
1970 年、人類の進歩と調和をテーマとして開催された大阪万博の同年に発表されたのが、2033 年の自然社会から バ ッ ク キ ャ ス ト し た SINIC 理 論 で あ る。奇 し く も、

1）F. W. テーラー／上野陽一訳『科学的管理法』技報堂，1957 年

西万博が「いのち輝く未来社会のデザイン」をテーマとし

3）立石一真ほか．未来接近への SINIC 理論．OMRON TECHNICS．

SINIC 理論では自律社会の始まる 2025 年、再び大阪・関て開催される。SINIC 理論も、2 周期目の未来を見据えた、新たな進化の準備の時を迎えている。

今こそ SINIC 理論を羅針盤として、渾沌としたパラダイ

ム・シフトを超えた地平、新しい社会への変容を先駆ける

2）梅棹忠夫「情報産業論」『中央公論』中央公論社，1963 年 3 月
1970. Vol. 10, No. 3,（通巻 34 号），P. 26-39.

4）ノーバート・ウィーナー／池原止戈夫他訳『サイバネティッ

クス―動物と機械における制御と通信―』岩波書店，1957 年．

5）飯塚理恵．「倫理的徳と認識的徳」．『ワードマップ心の哲学―

新時代の心の科学をめぐる哲学の問い』信原幸弘編．新曜社，
2017 年時である。まさに、「人間がより創造的な分野での活動を

6）スチュアート・カウフマン／米沢富美子訳『自己組織化と進SINIC X-formation（サイニック・トランスフォーメーショ

7）イリヤ．プリゴジン，イザベル・スタンジェール／伏見康治

楽しむ」、みんながハッピーになれる未来可能性を高めるン）を、オムロン サイニックエックスの革新技術が拓く
時だ。

そして、
「SINIC 理論」を活用して、社会・技術・科学化の論理』日本経済新聞社，1999 年

他訳『渾沌からの秩序』みすず書房，1987 年

8）イヴァン・イリイチ／渡辺京二・渡辺梨佐訳『コンヴィヴィ

ア リ テ ィ の た め の 道 具』日 本 エ デ ィ タ ー ス ク ー ル 出版部，
1989 年の未来を描くヒューマンルネッサンス研究所の未来社会論と相互円環的に高め合い、よりよい社会への進化を拓いていきたい。

(159) 11

12 (160)

本特集号の章立てについて
本特集号は、自律走行ロボットや自動組み立てロボット、ファクトリーオートメーションにおける品質管理システム、ヘルスケアにおける医療システムのデータマネジメント機能など、いま挙げた事
例やそこに留まることのない「多様な形で社会実装をイメージすることのできる」基盤技術に関する
オムロン サイニックエックス研究者が執筆した論文を集めています。

様々なアプリケーションに適用できるポテンシャルを持つ技術であるが故に、各々の技術は一見すると雑多な話題の寄せ集めにも見えてしまうかもしれません。しかしながら、オムロン創業者 立石
一真の言葉でもあり、オムロンの企業哲学ともいえる「機械にできることは機械に任せ、人間はより創造的な分野で活動を楽しむべきである」を 3 つの切り口で分解して得た研究成果であり、各切り口
毎に第 1 章から第 3 章を構成しました。

加えて、AI 技術やセンシング技術の中から 3 つの技術を取り上げ、その技術トレンドや技術展望について述べた、技術解説・サーベイ論文を第 4 章に構成しました。

人と機械の未来の関係性に思いを馳せつつ、本特集号の論文をご高覧いただけますと幸いです。

本誌構成

第 1 章：人がやっていることを自動化する
第 2 章：人から学ぶ 人のように学ぶ
第 3 章：人と協調する 人とともに働く
第 4 章：技術解説・サーベイ

機械にできることは機械に任せ、人間はより創造的な分野での活動を楽しむべきである
オムロン創業者

立 石 一真

創業者物語：https://www.omron.com/jp/ja/about/corporate/history/founder/(161) 13

14 (162)

1
人がやっていることを自動化する

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

1. 人がやっていることを自動化する

人のようにしなやかなロボット～ソフトロボット
田中 一敏
ロボットは製品生産ラインに組み込まれ、製品の大量生産に使われてきた。同一動作の反復しかできないロボッ
トが、臨機応変に作業を行って人手の作業を代われるようになれば、製品を利用する一人ひとりに合った製品を提供できるようになる。部品の相対位置を正確に合わせて部品同士をはめあわせる製品組立作業は、ロボットにとって困難な作業の代表である。臨機応変に製品組立作業を行うロボットのアーキテクチャを構築するため、身体を構成する部品の変形によって物体と柔らかく接触するソフトロボットに着目し、ソフトロボット研究のプラットフォームとして、市販の硬いロボットに柔軟さを加えられるロボット手首を開発した。開発した手首は、物体と接触する時にはバネの変形によって柔らかさを生む一方、物体を運ぶ時には振動して物体を落とさないように動かない状態を取れる。ベースに置かれたシリンダがワイヤを介して手首を駆動するため、手先の限られた空間を変位に活用できる。実験において、柔らかい手首が衝撃の緩和や位置誤差の補償に寄与することを確認した。筆者らの提案するロボットの手首は、身体の柔らかさを駆使して作業する新しいロボットの構成法の研究を可能にした。

Soft Robots: Soft Touch Like Humans
TANAKA Kazutoshi
Robots have been integrated into product production lines and used for the mass production of products. If robots,
which can only repeat the same motions, can perform a task flexibly and replace manual labor, it will be possible
to provide products that suit each product user. Parts assembly tasks are a typical example of tasks that are difficult to be replaced by robots. In parts assembly tasks, the relative positions of parts must be precisely aligned to
fit them together. To solve this problem, we focused on soft robots that can make soft contact with objects by
deformation of parts in their body and developed a robotic wrist that can add softness to a commercially available
hard robot. The developed wrist can take a fixed state to avoid vibrating and dropping an object when carrying
this object. A cylinder placed on the base drives the wrist via a wire. Thus, the limited space at the end of the arm
can be used for displacement. With the developed wrist, we can explore new architectural methods of robots thatwork by leveraging the softness of the body.

1. まえがき

大量消費の時代は経て、現在は、多様な価値観を持つ個人

う必要性について解説する。続いて、臨機応変に製品組立を解消し、幸福を追求できるよう、ロボット技術を含む情本稿ではまず、ロボットが臨機応変に製品組立作業を行作業を行うロボットの実現に貢献すると期待できる、ソフ
トロボットを用いた新しいロボットアーキテクチャを紹介する。最後に、ソフトロボット研究のプラットフォームとして開発した柔らかいロボット手首を紹介する。

2. 多様な製品組立作業を行うロボットの必要性

ロボットは、人間を幸せにする賢い機械として、人間の仕事を代替してきた。時代が進み、社会の求めるものが変

ひとりひとりが自分に適した製品を手にし、各自の苦しみ
報技術に対して、人間を補完、支援、能力拡張することへの期待が高まっている。ロボットが人手の作業を代替でき
れば、コストが下がり、個人に最適な製品を安価に提供できるようになる。これまで数十年に渡って生産に使われてきたロボットは、技術の発展によって、臨機応変に作業し、人手の作業を代替するようになったであろうか。以下
では、過去の産業用ロボットの解説について総括する。

産業用ロボットは多品種少量生産にも使えるであろう

われば、ロボットの果たすべき役割も変わる。大量生産・か。大量消費社会において、同一の製品を大量に生産する

Contact : TANAKA Kazutoshi kazutoshi.tanaka@sinicx.com

ピュレータ、（2）固定シーケンス・ロボット、（3）可変16 (164)ために使われた産業用ロボットは、（1）マニュアル・マニ田中 一敏人のようにしなやかなロボット～ソフトロボット

シーケンス・ロボット、（4）プレイバック・ロボット、

し今後ロボットが、臨機応変に作業を行って人手の作業を者ほど技術的に高度だとされている 。これらのうち、た製品を提供できるようになる。野田が述べたように、製（5）数値制御ロボット、（6）知能ロボットに分類され、後1）（1）から（5）のロボットに共通する基本特性は、あらか

じめ定められた通りの動きをそのまま繰り返すことにあり、この繰り返し型のロボットを中野は第一世代の産業用ロボットと呼んだ 。中野は、感覚器の情報に基づいて行
2）

動を修正できるロボットを第二世代、学習を通じて事前に代われるようになれば、製品を利用する一人ひとりに合っ品組立作業などの生産を臨機応変に行うロボットを実現す
るには、全く新しいロボットアーキテクチャが必要である。そのようなロボットアーキテクチャは、どうすれば作れるであろうか。

プログラミングされていない行動を獲得するロボットを第3. 製品組立作業におけるソフトロボットの必要性の、より高度な基本的手法が特徴づけるロボットを第四世

3.1 柔らかく物体に触れるソフトロボットされている産業用ロボットのほとんどは繰り返し型の第一ンを基礎とするロボットアーキテクチャとは異なる先進的能ロボットの割合は増加した 。水川と小山は、産業用ロテクチャが挙げられる。形態による演算では、身体と物体

三世代、学習手法が成熟した後に現れる新しい未知概念

代のロボットであると予見した。1982 年の時点で、使用世代のものであった。米本が指摘したように、その後、知3）ボットへの教示は Manual Data Input やティーチングプレイ

バックがほとんどであると指摘した 。米本が指摘したよ4）

うに、1980 年を境に大量生産の時代から、多品種少量生産の時代に移ったが 、大量生産にロボットは使われ続けた。
5）

産業用ロボットを多品種少量生産に使うことを阻む要因は何であろうか。野田は産業用ロボットを用いた生産シス

従来の電子計算機による演算と正確なアクチュエーショ

なアーキテクチャとして、形態による演算を用いたアーキの相互作用を電子計算機による演算の代わりに用いる。形
態による演算として、受動歩行器が挙げられる。受動歩行器は、計算機による計算もアクチュエータもなしに、下り坂を安定して歩行できる9）。

身体の柔らかさ生かしてタスクを遂行するロボットとして、近年、ソフトロボットが注目を集めている10）。ソフト

テム全体の主要コストは、エンジニアリングコストであるロボットとして、物体の形に変形し、形を固定することでシステムの見積もりの内訳のうち、全体の約半分以上が設る11）。シリコンゴムを材料にしており、空気の流入によっと指摘した 。すなわち、典型的な組立作業系のロボット
6）計、据付、調整のためのエンジニアリングコストで占められており、当該案件ごとのカスタマイズに費やされている物体を把持する、ジャミンググリッパが開発されていて曲がる柔軟なロボット指が開発されている12）。

ソフトロボットの一種として、空気圧筋骨格ロボットがと報告した。野田らは次世代ロボット知能化技術開発プロ

挙げられる。空気圧筋骨格ロボットは、ヒトを始めとする業可能な、生産現場へ導入できるシステムを開発した。こ新山らは跳躍ロボットの Mowgli を開発した13）。このロ

ジェクトにおいて、機種切り替えが迅速で、長時間連続創柔らかさを備えた筋骨格系を規範として設計されている。

の経験を踏まえて、産業用ロボットの設計の中心には、高ボットは、二関節筋の働きによる複数関節の機械的な協調現する機能に特化して最適化されており、さらなる発展のは、空気圧人工筋で駆動される柔軟なロボットアームに

速高精度にロボット手首のフランジ面が目標位置姿勢を再ためには、ロボットを利用する目的を今一度再考し、ロボットの成り立ちを材料と制御からゼロ・ベースで組み立て直す、新たなイノベーションにチャレンジすべきだと述べている6）。

近年の急速な技術発展によって、産業用ロボットを多品によって、外乱に対して安定した跳躍を行える。池本ら

よって、環境に拘束されるドア開け動作を簡単な制御で行えることを示した14）。同様に、製品組立作業においても、製品同士の相対位置を合わせるのに、柔軟な身体構成要素の変形が寄与すると期待できる。

種少量生産に使えるようになったであろうか。堂前が報告

3.2 機械的柔軟性を活用したロボット作業

ングなど、発展した基礎技術が知能ロボットの作業を可能

代表である。製品組立作業においては部品同士をはめあわも、製 品 組 立 作 業 は、人 手 で の 単 純 作 業 を 要 求 し て い

製品組立において、受動的可動性をもつ、柔らかい手首したように、機械学習を用いた認識によるばら積みピッキにした7）。しかし、原田と万が指摘するように、現在で製品組立作業はロボットに代替させるのが困難な作業のせるため、部品の相対位置を正確に合わせる必要がある。

る 。原田と万は、産業用ロボットに組み立て作業を行わが 有 用 で あ る こ と が 知 ら れ て い る。そ の 一 例 と し てはロボットにも簡単にできると考えがちであること、操作らにより提案された15）。RCC では、手首内のバネの変形8）せるのが困難である原因として、人間に簡単にできること

Remote center compliance（RCC）と呼ばれる機構が Whitney

物体の特性を理解する必要があることを指摘した。

によって、軸と穴の位置ズレを補償する。同様に、バネ

できず、多品種少量生産に使う経済性がほとんどない。もる16）。

以上のように、現在でもロボットは同一動作の反復しかや、受動的可動部を有する手首機構は数多く提案されてい(165) 17

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

1. 人がやっていることを自動化する

3.3 ソフトロボットによる製品組立作業

従来のロボットアーキテクチャは、手先の位置と姿勢を高い精度で制御できることを前提とする。さらに、人間がことが要求される可能性がある。これを実現するための要求機能としては、以下の 5 つが挙げられる。

所与の作業について考察し、治具やロボットなどを決め、 （1）6 自由度大変位
経由姿勢と姿勢切り替えの規則をプラグラミングし、変数未知の変位方向を必要とする可能性があるため、6 自を調整する。対して、ソフトロボットは機械的な柔軟性が由度が必要であり、可能な限り大きく変位するのが望ま勢を制御できない。すなわち、既存のアーキテクチャの前トの運動が決まっている従来のアーキテクチャではほと位置の不確かさと応答の遅れを生むため、正確に位置と姿提を満たさない。さらに、筆者らが目指す、臨機応変に作業するロボットは、作業内容が代わるたびに動作をプログラムするのではなく、専門知識なしに動作を自動で生成しい。この多自由度と大変位は、始めから作業とロボッ
んど必要とされない、新しいロボットアーキテクチャのための機構的な特徴である。

し、必要に応じて自動で調整される必要がある。しかし、 （2）小型性
そのような技術は未だ実現には至っていない。機械的な柔未知の作業として干渉の多い場所や対象への作業を行

軟性を利用すれば、簡単な制御で柔らかい接触を実現し、う可能性を考慮した時、手首は部品同士、部品とロボッ

しかし、その動作は自動で生成され、かつ必要に応じて自小型であるのが望ましい。

結果的に物体同士の相対位置を高い精度で合わせられる。
動で調整される必要がある。さらに、ソフトロボットは柔らかく、材料が複雑に変形する。このため、従来の硬いロボットと比べて、幾何的、機構的な自由度が高い。加えて、全身の状態を十全に取得することが困難である。かつ、状態と状態遷移のモデル化も困難である。このモデル

化と計測の困難さも制御を難しくする要因のひとつである。

ソフトロボットを用いた新しいアーキテクチャはどのようなものであろうか。まず、機械学習の技術を用いて、作業を自律的に獲得することを目指す。作業に応じて、複雑なモデルを作り、制御器を設計すると、手間がかかり、臨機応変に作業を行えない。ゆえに、多点分布接触センサ、トの物質的な干渉を避ける必要があるため、できるだけ（3）後付け機能

どのようなロボットアームにも柔らかい手首を後付けできるようにする。すなわち、手首の取り付けによって既存の硬いロボットをソフトロボット化できる。
（4）軽量性

手首が重い場合、可搬重量の大半を手首の重量に費やすことになるため、軽い必要がある。
（5）切替機能

手首が柔軟なままでは、物体を運ぶ時に振動して物体

力覚センサ、近接覚センサなど、多数、多種のセンサを搭を落とすおそれがあるため、硬い状態と柔らかい状態の極的な物体への接触や衝突を可能にする。結果として、よえ機構が必要である。

載して全身の状態を十全に取得する。柔らかい身体は、積り多くの情報の取得を可能にするとともに、学習の過程に両方を取る必要がある。すなわち、固定と解放の切り替

おける不完全な行動で破損する危険を減らせる。以上のよ

4.2 ケーブル駆動型 6 自由度小型可変剛性手首

素は互いの弱点を補い、長所を引き出し合う。これら 3 要

手首について述べる（図 1）。

アーキテクチャを構築する。アーキテクチャを実現するたの部品はアームの先端に固定され、下部の部品はグリッパ

れの構成要素を開発する必要がある。

ている。グリッパや把持した物体が環境中の物体に触れる

うに、柔軟な機構、多種、多数のセンサ、機械学習の 3 要

素を基礎として、臨機応変に作業を行うロボットの新しいめには、これら 3 要素からなる構成を前提として、それぞ

4. 可変剛性手首の提案
4.1 作業のための柔軟なロボット手首の要求機能

臨機応変に作業を行うロボットの柔軟手首には、5 つの機能が求められる。

筆者らは、与えられた作業を臨機応変に行うロボットの実現を目指す。そのようなロボットは、製品組立において、事前に想定されない新しいやり方で部品を組み付ける

18 (166)

ここでは筆者らが開発した、前節で述べた機能を備える
開発した手首は、上部と下部の接続部品からなる。上部に固定される。上部と下部の部品は 3 つのバネで接続されとバネが変形するため、柔らかく接触できる。

田中 一敏人のようにしなやかなロボット～ソフトロボット停止した。手首の上部と下部の間の距離を、1, 6, 11 mmと変え、バネを取り替えて弾性を変え、移動する速度を変え、接触する傾きを変え、緊急保護停止の生じる確率を計測した（図 3）
。手首の柔軟性の効果を確かめるため、手首を固定した「リジッドモード」も試し、比較した。

図1

開発した可変剛性手首

開発した手首は、ワイヤケーブルでアームのベースから駆動している（図 2）。ワイヤケーブルにも弾性があるが、さらに弾性を与え、簡単な制御でワイヤの牽引を行えるよ
う、空気圧シリンダで駆動する。ワイヤシリンダは 5 ポー

トバルブ 1 個で駆動する。ワイヤで牽引した時、バネが縮んだ状態で上部と下部の部品、ピンと穴がはめ合って固定される（図 1 左）。

図3

上下部品間距離 1, 6, 11 mm の手首

高速な位置での成功率が高まった（図 4）。1-6 mm 程度の上部と下部の距離、硬いバネを選択することで、衝撃吸収機能を高められると分かった。

図2

手首の構成

現在、手首にセンサは入っていない。このため、本稿で取り上げる実験以外の、手首を用いたロボット実験では、
モーションキャプチャを用いて位置と姿勢を計測した。ワ

図4

緊急停止の有無

速度と力の関係について述べる。速度が大きくなるほ

イヤの張力は張力センサで計測でき、シリンダの内部圧力

ど、力は大きくなった（図 5）。リジッドモードの方が力部を接続すれば、下部の部品の位置姿勢を計測できるが、機能があることを示す。上下部品の間隔や弾性を比較する

は圧力センサで計測できる。6 つのヒンジ関節で上部と下容積と重量が増加してしまう。このため、手の姿勢を計測する場合には、カメラや近接覚センサによる計測が適しているであろう。

は大きかった。これは、手首の柔軟性が過剰な力を避けると、硬いバネ、小さな開きの条件において力は小さかった。これは上で述べた、緊急停止の有無から見た時の、適切な設計と共通する。

4.3 評価実験17）

本節では開発したロボット手首の評価実験とその結果について述べる。

手首が柔らかい場合、環境に固定された物体に接触する

時、接触を検知した後、停止が遅れても、過剰な力が生じにくい。手首の設計と過剰な力の生起を防ぐ機能との関係を調べるため、接触して停止する実験を行った。ロボットに速度を設定してテーブルに向けて移動させ、接触させて(167) 19

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

1. 人がやっていることを自動化するならないような挿入方法を使用するように注意した。挿入タスクで可能な限り最高のパフォーマンスを実現するために、ほぼ同じ時間をかけてチューニングを行った。

タスク終了後、挿入が成功したかどうか、ペグが 1cm 以

上深く挿入されたかどうか、実行中に緊急停止が発生したかどうかを確認した。ロボットは各条件で 5 回タスクを実行し、成功、失敗、緊急停止の回数を記録した。

挿入の成功率は、位置ずれが大きくなるにつれて小さくなった（図 7）。角度のずれが大きくなるにつれ、物理的な柔らかさによる補正効果が特に顕著に現れている。X/Y,
図5

速度と力の関係

手首の変位が部品間の位置のズレを補償する。この効果

Z の角度がそれぞれ 3 度と 5 度ずれた時、ソフトリストなしで、ロボットはペグの挿入に失敗した。

を調べるため、ペグインホールタスクの成功率を計測した。実験では、柔らかい手首が位置決め誤差の影響を受けたときに、ペグインホールタスクのパフォーマンスに及ぼす影響を評価した。ロボットには、ナイロン製の 3D プリントされた、テーブルに固定された長方形の穴に、辺の長さが 10mm×15mm、長さが 80mm のステンレス製の角型

ピ ン を 挿 入 し た（図 6）。こ の と き の ク リ ア ラ ン ス は、
0.1mm に設定した。

図7

図6

実験の様子と実験における座標系

グリッパの軸と穴の中心との間に異なるオフセットを与えることで、計測ノイズを模擬した。X と Y のオフセット

は 0, 1, 3, 5, 7 mm、角度のオフセットはθ = 0, 1, 3, 5, 7°であった。角度オフセットは個別に評価し、X, Y, Z の各軸に適用した。

グリッパを穴の前に置き、オフセットを加えた後、挿入試行を実施した。柔軟なモードでは、r = 3 mm の螺旋状の

緊急停止の有無

純粋に並進方向の誤差であれば、手首がなくても成功率は高い。これは、穴を螺旋状に探索することで、よく成功したためであると考えられる。しかし、円形のペグとベアリングを使った予備実験では、穴の周囲の隆起によって力信号のノイズが生じるため、スパイラルサーチの成功率は低くなった。リジッドモードでの失敗の主な原因は、スパ
イラルサーチ動作中の緊急停止や、力センサが検知していないのにグリッパが穴に入ってしまった場合の誤認であった。

手首の開き幅が大きくなると、手首の可動域が大きくな動作を行った。位置を固定したリジッドモードでは、まずり、成功率が向上することがわかったが、一方で、開き幅

トの手先が穴の近くにあると仮定し、315 μm の公差を持は、手首の開き幅を制御するシリンダが反力で動くため、穴を見つけるために螺旋状の動きを行い、その後、ロボッ
つカスタムルーチンを使用してペグを挿入した。このルーチンでは、力を加え、ペグが動かなくなったときに X 軸または Y 軸で 1 mm 前後に移動する。このように、各モードが比較的同等の速度で動作し、一方の方法が過度に不利に20 (168)が最小の場合でも成功率が向上することがわかった。これ
大きな力がかかると、手首の開き幅が小さくても、大きく変位できるためだと考えられる。

田中 一敏

5. むすび

本稿では、産業用ロボットによる組み立て作業の現状について解説するとともに、組立作業に筆者らの提案するソ
フトロボットの適用事例について紹介した。

人のようにしなやかなロボット～ソフトロボット

Equations for Elastomer Shear Pad Remote Center Compliances.
ASME. J. Dyn. Sys., Meas., Control. 1986, Vol.108, No.3, p.223232.

16）Nishimura, T.; Suzuki, Y.; Tsuji, T.; Watanabe, T. “Peg-in-hole

筆者らの提案する柔らかい手首の開発によって、機械学

under state uncertainties via a passive wrist joint with push-acti-

なった。それら学習に関する研究については、別稿に譲17）Tanaka, K.; Drigalski, F.; Hamaya, M.; Lee, R.; Nakashima, C.;

習を用いたロボットによる製品組立作業の研究が可能にる。現在では、身体の柔軟さを活かして作業を行うロボッ
トアーム全体の設計へと、設計理論の拡張を進めている。

vate-rotation function”. IEEE-RAS International Conference on
Humanoid Robotics. 2017, p.67-74.

Shibata, Y.; Ijiri, Y. “A Compact, Cable-driven, Activatable Soft
Wrist with Six Degrees of Freedom for Assembly Tasks”. IEEE/
RSJ International Conference on Intelligent Robots and Systems.
2020, p.8752-8757.

参考文献
1）JIS B 0134:1979. ロボット及びロボティックデバイス－用語．
2）中野栄二．産業用ロボットの将来．日本機械学会誌．1982,
Vol.85, No.766, p.1078-1082.

3）米本完二．産業用ロボットの今後の技術動向．日本ロボット
学会誌．1993, Vol.11, No.1, p.7-13.

4）水川真，小山俊彦．作業の教示とプログラミング 産業用ロ

ボ ッ ト の 教 示 方 法 の 現 状 と 展 望．日 本 ロ ボ ッ ト 学 会 誌．
1999, Vol.17, No.2, p.180-185.

5）米本完二．産業用ロボットの現状と展望．農業機械学会誌．

執筆者紹介
田中 一敏

TANAKA Kazutoshi

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：知能ロボット工学
所属学会：日本ロボット学会
博士（情報理工学）

1985, Vol.47, No.2, p.219-224.

6）野田哲男．生産分野に向けた作業知能：産業用ロボットを進化させる知能化技術．日本ロボット学会誌．2013, Vol.31,

本文に掲載の商品の名称は、各社が商標としている場合があります。

No.1, p.10-13.

7）堂前幸康．産業用ロボットマニピュレーション：パタン認

識・機 械 学 習 編．計 測 と 制 御．2017, Vol.56, No.10, p.776-

781.

8）原田研介 , 万偉偉．産業用ロボットの次世代技術について．
日本ロボット学会誌．2019, Vol.37, No.10, p.915-918.

9）Collins, S. H.; Wisse, M.; Ruina, A. A three-dimensional passivedynamic walking robot with two legs and knees. International
Journal of Robotics Research. 2001, Vol.20, No.7, p.607-615.

10）Kim, S.; Laschi, C.; Trimmer, B. Soft robotics: a bioinspired evolution in robotics. Trends in Biotechnology. 2013, Vol.31, No.5,

p.287-294.

11）Brown, E.; Rodenberg, N.; Amend, J.; Mozeika, A.; Steltz, E.;
Zakin, M. R.; Lipson, H.; Jaeger, H. M. Universal robotic gripper
based on the jamming of granular material. Proceedings of the
National Academy of Sciences. 2010, Vol.107, No.44, p.18809-

18814.

12）Thuruthel, T. G.; Shih, B.; Laschi, C.; Tolley, M. T. Soft robot perception using embedded soft sensors and recurrent neural networks. Science Robotics. 2019, Vol.4, No.26.

13）Niiyama, R.; Nagakubo, A.; Kuniyoshi, Y. “Mowgli: A bipedal
jumping and landing robot with an artificial musculoskeletal system”. IEEE International Conference on Robotics and Automation.
2007, p.2546-2551.

14）Ikemoto, S.; Nishigori, Y.; Hosoda, K. Adaptive motion of a musculoskeletal robot arm utilizing physical constraint. IEEE Transactions on Robotics. 2009, Vol.56, No.10, p.3975-3984.

15）Whitney, D. E.; Rourke, J. M. Mechanical Behavior and Design(169) 21

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

1. 人がやっていることを自動化する

しなやかなロボットをうまく制御する～モデルベース学習濵屋 政志
我々は、柔軟要素を持つしなやかなロボットを使用して、より容易に実現できる組立自動化を目指している。柔らかさによって対象物体との馴染みが生じ、部品の破損やロボットの緊急停止が起きにくくなり、その結果、本来必要であったセンシングや制御計画に対する労力を大幅に削減できると期待される。一方で、柔らかさによってダ
イナミクスが複雑となるため、学習技術の活用が必要不可欠となるが、生産現場の早い立ち上げのためなるべく少ない試行回数で学習したい。そこで我々は、モデルベース学習に基づく効率的なロボット学習制御手法を提案した。
本稿では、我々の最新の研究成果である、組立作業の区分化と柔らかさの活用による学習効率化手法と、柔らかいロボットに応用が期待できる Sim-to-Real モデルベース転移学習手法について解説する。

Learning Control for Soft Robots: Efficient Model-based
Learning Approaches
HAMAYA Masashi
We develop an automatic assembly system using a soft robot. Thanks to the physical softness, the robot can interact with the environment safely, resulting in a significantly easier setup for the robotic system. Meanwhile, as the
dynamics model becomes complex due to the softness, we need to use learning-based approaches. However, alarge amount of taring data might not be preferable for real robot applications. To deal with this problem, wedeveloped model-based learning approaches, which are efficient and suitable for real robot applications. This article introduces our recent studies using model-based learning approaches: 1) lower-dimensional dynamics models
by leveraging subtask segmentation and physical softness and 2) model-based Sim-to-Real transfer learning for
multiple environments.

1. まえがきロボットによる組立自動化は、産業的価値が極めて高く、これまで数多くの研究開発が行われてきた 。組立の1）

自動化研究が今日まで広く行われてきた理由として作業の難しさが考えられる。一般的に、組立は部品同士の接触を研究開発がされてきており、接触力を制御することで安全な組立作業を実現することができる。しかし、一般的に高精度な力・トルクセンサや、高制御周期のコントローラな
ど、高性能なハードウェアが必要となる上に、作業に応じて適切なパラメータ設定を行なければならない2）。総じ

伴い、部品同士の公差も小さい。もしセンシングの不確実て、ロボットの組立自動化は、莫大な労力が必要となるた

過剰な力が生じ破損などの致命的な失敗につながる可能性

この問題に対し、我々は物理的な柔らかさをロボットに性などから制御の誤差が少しでも生じた場合、部品同士にめ、依然として工場制手工業に依存している3）。

がある。

持たせることに着目する。柔軟要素が対象部品になじむこ

装を行うために使用されている。このような位置制御に基軽減される。さらに、力・トルクセンサや、高制御周期の

現在の産業用ロボットの多くは位置制御により溶接や塗づくロボットを組立に適用する際には、可能な限り誤差や不確実性を排除するため、入念なセンシング設定と動作計画が必要となる。一方で、力制御を用いた手法も数多くのContact : HAMAYA Masashi mailto:masashi.hamaya@sinicx.com

22 (170)とで、誤差が生じても致命的な失敗を引き起こす可能性がコントローラを導入することなく組立作業が実現でき、結果ロボットの立ち上げにかかる労力を大幅に削減できると期待される。そこで我々は、柔軟要素を持つ手首を開発した4）。この手首は従来の柔軟手首に比べてより軽量で大きな変位量を持つため組立に適しており、様々な市販の汎用濵屋 政志しなやかなロボットをうまく制御する～モデルベース学習

ロボットに搭載することができる。

しかし、物理的な柔らかさと接触を含むダイナミクスは非線形性を持ちモデル化が極めて難しいことが懸念される。複雑なダイナミクスに対処するために、機械学習のア
プローチを適用することが考慮されるが、訓練データ取得

ローチが存在する5）8）9）。これらの手法は、モデルをガウス

過程やニューラルネットワークで学習し、複雑なダイナミクスを表現しつつ、効率的にロボットの制御器を学習する
ことを示した。

しかし、ダイナミクスの自由度が大きくなる、あるいは時における部品の摩耗や、学習環境の初期化などの労力もモデルがより複雑になるなどの場合、モデル学習に必要なションで組立作業動作を学習できるようにしたい。

が困難になる。この問題を解決する手段の一例として、ロ

無視できないため、なるべく少ない実環境とのインタラク
この問題に対し、我々はモデルベースによる学習手法を利用することで活用することで非線形性を有する複雑なダ
イナミクスを記述することを試みる。モデルベースの手法
は、一般的にモデルフリーの手法と比較してサンプル効率がよいことが知られており、様々なロボット制御に応用されている5）。

我々は、このモデルベース学習に基づいて、さらに学習の効率化を試みており、その最新の研究成果について本稿で紹介する。第 2 節では、モデルベース学習における背景を説明する。第 3 節では、組立作業を区分化し、各小区分におけるモデルを単純化することで学習を効率化させる手法6）を紹介する。第 4 節では、柔らかいロボットや組立作

データ数も増加する問題点が生じ、実ロボットのへの応用
ボットが作業を遂行可能な範囲で、モデルをできる限り単純に表現するものや、過去に得られたモデルを新しい環境に適用する手段が考えられる。そこで、我々は、組立作業の環境を区分化し、そこに柔らかさによる物体のなじみを考慮することで、ダイナミクスモデルを低次元で表現する手法を開発し、各小区分をモデルベース強化学習で学習する手法を提案した（図 1a）。また、シミュレーション上で大量のデータを収集し、シミュレーション上でモデルを自己教師あり学習で学習し、多様な実世界の環境に追加の訓練なしに適応できる Sim-to-Real 転移学習手法を提案した（図 1b）。次節以降で、これらについて解説する。

業にも十分応用が期待できる、シミュレーションでダイナ

ミクスモデルを事前学習し、実環境に転移させることで、実環境でのデータ収集の労力を削減する Sim-to-Real 転移学習手法7）について解説する。第 5 節では、まとめと今後の課題について紹介する。

2. モデルベース学習

本節では、モデルベース学習における問題設定を簡単に説明する。一般的には、対象のロボットや操作される物体のダイナミクスは、現在の時間の状態と行動から次時間の状態に遷移するという、マルコフ決定過程（Markov decision process: MDP）によって以下のようにモデル化される。
st +1 = f ( st , at ) + ω（1）

ここで、s は状態（ロボットまたは対象物体の手先位置、関節角、速度など）、a はロボットの行動（ロボットの速度、またはトルク指令など）、ω はノイズである。モデル
ベ ー ス 学 習 は、こ の モ デ ル に 基 づ き、累 積 期 待 コ ス ト

Σ Tt =0 [c( st , at )] を最小にするロボットの行動を決定することを目的とする。最適行動はモデルを使用して将来の状態を予測しながら求められる。

対象の環境が、極めて単純な場合は事前にモデルを設計

図1

本稿で紹介する研究事例 :（a）環境拘束と物理的柔らかさを活用した低次元ダイナミクス表現6）と（b）多様な環境に即座に適応可能なモデルベース Sim-to-real 転移学習7）。

は、厳密な接触や摩擦などのモデルを解析的に求めること

3. 環境と柔らかさを活用した低次元ダイナミク
ス表現による組立学習の効率化

線形性によりダイナミクスがさらに複雑になるのでより問グ挿入作業に着目し、作業区分化と柔らかさを活用するこ習に基づく手法で学習し、ロボット制御に応用するアプ

学習が効率的化できることを紹介する。

することができるが、実世界におけるロボットの環境では極めて困難であり、柔軟要素が加わった場合は、その非題が難しくなる。このため、ダイナミクスモデルを機械学

本節では、組立作業の中で代表的なものの 1 つであるペとで、よりシンプルなモデル表現ができ、その結果として(171) 23

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

1. 人がやっていることを自動化する

3.1 低次元ダイナミクス表現とペグが安定な接触が保障されているので、z 方向のの縁や底に触れるなど、挿入完了に至るまでの環境の物理

触を伴う作業になりダイナミクスが複雑になるので、ペグ挿入作業では、たとえばペグが地面と接触する、穴的な相互作用から、複数の Manipulation primitives（MP）という小課題に区分化できることが示されている

。この区

10）

分化によって、各区分における状態・行動空間を低次元で状態・行動空間を考慮する必要がない。ここから、接最適な速度指令値をモデルベース強化学習によって学習する。

示すことができる。また、柔らかいロボットを活用するこ• n4 Align: 穴 の 縁 と の 接 触 を 保 っ た ま ま、ペ グ の 姿
勢 を 修 正 す る。状 態・行 動 空 間 は s ( Align ) = [α , α ],ている。Hang らは、柔軟なグリッパを使用して、薄い物

た接触を保障できるため、z 方向の状態行動空間は考

柔らかさのおかげで、物体と地面は安定した接触を保障すされており、柔軟要素が 6 自由度の変位が許容できるとで、状態・行動空間をより低次元で示せることが知られ体を押し付けてスライドさせる制御手法を提案している11）。
ることができ、押し付け方向に対する制御を陽に行う必要がなく、平面上のみを考慮した動作計画が可能となる。また、柔らかさによる物体のなじみのおかげで、低次元の制御入力で、多様な物体の把持が可能になることも報告されている12）。そこで、本研究では、MP と柔らかさを活用することで、より状態・行動空間を低次元で表現できるのではないかと考えた。

図 2 に示すように、MP によってペグ挿入作業は 5 種類の小課題に区分化できる。単純のため、矢状面の空間を考a ( Align ) = y d となる。ここでも、柔らかさにより安定し慮しなくてもよい。さらに、ペグ先端は穴の縁で拘束ため、並進運動のみで、ペグの姿勢を修正できる。

• n5 Insertion: ペグを穴の底まで挿入する。この際の状
態・行動空間は s ( Insertion ) = [ z , z ], a ( Insertion ) = [ y d , zd ] となる。入力に y 方向も考慮するのは、ジャミングを回避するためである。

以上により、各区分は状態・行動空間ともに 1 ～ 2 次元で表現できることが示された。

慮する。ロボットの状態は、y・z 方向におけるグリッパの3.2 ガウス過程に基づくモデルベース強化学習

行動はアーム先端の位置もしくは速度指令とする。

ベース強化学習で学習する。学習の目的は、T タイムス

手先の位置と α 方向の回転角及びそれぞれの速度であり、• n1 Approach: ロボットが、穴表面近くに接近する。
( spproach )= [ y, z ], a(approach) =この際の状態・行動空間は s[yd, zd] となる。Approach では、事前設計しておいた位置制御器を使用する。

• n2 Contact: ロボットが地面と接触する。この際の状
態・行動空間は s(contact) = z, a(contact) = zd となる。柔軟要
素が衝撃を緩和するので、この小課題においても事前設計した位置制御器を使用することができる。

• n3 Fit: ロボットが把持したペグをスライドさせ、穴の縁に当てる。この際の状態行動空間は、s ( Fit ) = [ y, y ],a( Fit )= y d で表現される。柔らかさのおかげで、地面

図2

24 (172)

区 分 化 さ れ た、fit、align、insertion の 各 区 分 を モ デ ル

テップ分の累積期待コストを最小化させるような速度制御
器のパラメータを取得することである。

本研究では、サンプル効率の高いモデルベース強化学習

8）
Probabilistic Inference for Learning Control（PILCO）
を使用する。PILCO はガウス過程回帰を使用し、モデルを学習する。ガウス過程を使用することで、データ不足による不確実性を予測分散として明示的に表すことができる。T ス
テップ先の状態予測を行うとき、PILCO は解析的モーメン
トマッチングによる近似推論手法を適用し、過去の状態の不確実性を伝播することができ、その結果効率的な学習を実現している。解析的モーメントマッチングの詳細な説明
は松原の解説記事13）を参照されたい。

環境と柔らかさを活用した組立作業におけるダイナミクスの低次元表現（文献 6）より引用）。

濵屋 政志しなやかなロボットをうまく制御する～モデルベース学習

3.3 シミュレーション

機実験を行った。柔軟手首を協働ロボット UR5 に搭載し行った。シミュレーションの目的は、提案手法が、低次元

チ ャ で 計 測 し た。実 験 で 使 用 し た ペ グ と 穴 は、直 径

提案手法の有効性を確認するため、シミュレーションを空間表現されていないシステムと比較して、より効率的に学習できるかを検証することにある。

た。ロボットのグリッパの位置・姿勢はモーションキャプ
10mm、はめあい公差は H7/h7 であった。

学習後のロボットの動作のスナップショットを図 4 にセットアップ：本研究では、Box2D という物理エンジン示す。シミュレーション同様、ロボットは、Fit、Align、と同様に、y・z・α 方向の変位が可能である。比較対象は、

学習終了時における成功率はそれぞれ 8/10、9/10、10/10を使用し、2 次元平面上のシミュレータを開発した。図 2

低次元空間表現を持たないダイナミクスで、状態・行動空間は s = [ y, z , α , y , z, α ], a = [ y d , zd ] で表現される。

コスト関数は、それぞれの小課題における目標位置・姿

Insertion の小課題を 2 ～ 3 回程度の試行回数で学習でき、であった。以上より、実環境でも少数の試行回数で学習できることを示した。

た。

4. 多様な環境に即座に適応する Sim-to-Real 転移学習

る、目標位置・姿勢の平均絶対誤差を示す。青線は提案手な実環境に転移させる、Sim-to-Real 学習について解説す

勢の誤差である。1 学習実験における試行回数は 20 回とし
結果：図 3 に Fit、Align、Insertion の各学習試行におけ法、赤線は低次元空間表現を用いない手法である。エラー

バーは、30 回の学習実験の標準偏差を示す。提案手法を

本節では、シミュレータで事前に学習したモデルを多様る。

使用した場合、より小さい誤差を示し、3 回の試行で収束

4.1 多様な環境への Sim-to-Real 転移学習

することでより効率的に学習できることを示した。

的に複雑なタスクを学習できるようになってきた。しか3.3 実機実験

いため、シミュレーション学習した事前知識を、実世界にしていることを確認した。この結果から、提案手法を使用

提案手法が実環境でも動作するかを検証するために、実図3

図4

近年の学習技術の発展によって、ロボットがより効率し、実環境でのデータ取得にかかる労力は依然として大き転移させる Sim-to-Real の研究が広く行われている。我々

シミュレーション結果（文献 6）より引用）。

学習後のロボットの組立動作（文献 6）より引用）。

(173) 25

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

1. 人がやっていることを自動化する

は、事前学習されたモデルが、多様な環境に対していかに即座に適応できるかについて興味がある。Sim-to-Real の一般的なアプローチとして、Domain Adaptation（DA） と14）

15）
Domain Randomization（DR）
が挙げられる。しかしながら、DA は未知環境に適応するために追加で訓練する必要

4.2 EXI-Net を用いたモデル学習

まず、シミュレーション上でモデルを訓練させる。 EXI-

Net によるダイナミクスモデルは st +1 = f ( st , at , d e , d i ) で与えられる。ここで、de は明示的パラメータ、di は暗示的パラメータである。de は質量・摩擦・重心位置で構成されてがあり、DR は環境のパラメータ数が多い時に獲得された

おり、訓練中ランダムに与えられる。一方、同時に複数のる16）。

ス17）という手法で学習される。また、ランダムに行動を制御器もしくはモデルが保守的になることが指摘されてい異なる形状の物体も与えられ、di はパラメトリックバイア

この問題に対し、我々は、Explicitly and Implicitly Condi-

与えて、自己教師あり学習によってモデルを学習する。

た 。図 5 に EXI-Net の概要図を示す。EXI-Net はダイナ

うに適応するかを説明する。前節と同様、EXI-Net も、順

ラメータで条件付けされたニューラルネットワークで学習算する。この手法では、最適な行動は、ニューラルネット

tioned Network（EXI-Net）と い う ネ ッ ト ワ ー ク を 提 案 し14）

ミクスモデルを、明示的（Explicit）・暗示的（Implicit）パする。明示的パラメータは、質量や摩擦係数など、定量的に表現できるものを表現し、暗示的パラメータは、形状など定量的に示せないものを表現する。

シミュレーションにおける訓練時は、明示的パラメータを与えて、順ダイナミクスモデルのニューラルネットワー
クのパラメータと暗示的パラメータを学習する。テスト時

次に、テスト時において、EXI-Net が未知物体にどのよモデル予測によって、コスト関数を最小化させる行動を計
ワークの誤差順・逆伝搬によって以下のように求められる。

predga = ∂c( stgoal+1 , st +1 ) / ∂at ,at ← at − ε a ga / ga 2 ,（2）

ここで εa は学習率である。c はコスト関数であり、目標には、未知環境における明示的・暗示的パラメータを誤差状態と予測状態の 2 乗誤差で定義される。また、未知環境算する。この反復的計算による推定によって、未知環境に伝搬によってオンラインで計算することができる。

順・逆伝搬を反復的に行いながら推定し、最適な行動を計
オンランプで適応することができる。

本研究では、ロボットが物体を目標位置まで押す課題に着目する。この課題は押す物体によって、明示的・暗示的
パラメータが大きく異なるので、多様な環境に適応できるかを検証するのに適している。

図5

図6

26 (174)における d e , d i (d = [d i , d e ] とする）も同様に誤差順・逆
pred
gd = ∂c( stobs+1 , sτ +1 ) / ∂d ,d ← d − ε d gd / gd 2 ,（3）

ここで、εd は学習率である。勾配は過去の時間 τ に獲得された状態・行動・次の状態のペアのデータをランダムに

EXI-Net の概要（文献 7）より引用）。

テストに使用した物体（文献 7）より引用）。

濵屋 政志サンプルして計算する。これにより、未知の環境においても、最適な行動とパラメータ d をオンラインで計算することができる。
4.3

実験

提案手法の有効性を検証するために、実機実験を行った。実験の目的は、提案手法が、一般的に使用されている

DR の手法と比較して高い成功率を示すかを確認することである。

セットアップ：シミュレータ上では、長方形 2 種類・三角形 3 種類・円の 1 種類、計 6 種類の形状を持つ物体で訓練を行った。実験には Gazebo というシミュレータを使用した。順モデルには、3 層、ニューロン数 100 個の全結合
ネットワークを使用した。活性化関数には ReLU を使用した。各物体にそれぞれ、60 ～ 120 種類の明示的パラメータde を与えて、ネットワークパラメータと暗示的パラメータ

di を学習した。

テスト時における実環境の物体を図 6 に示す。real_o1 ～o3 では多様な質量・重心・摩擦係数を設定するために、

しなやかなロボットをうまく制御する～モデルベース学習

表1

テスト環境における結果（成功率/到達ステップ数/真の deとの誤差）

Object

EXI w/ True de

LSTM

EXI

real_o10.89/11.3/0.0

0.72/12.8

1.0/8.3/0.52

real_o2

0.95/13.2/0.0

0.69/13.1

0.98/6.2/0.33

real_o3

0.98/10.8/0.0

0.92/13.4

1.0/7.9/0.38

real_o4―

0.5/13.8

1.0/7.0

real_o5―

0.6/14.5

0.9/9.5

real_o6―

0.5/13.3

1.0/7.2

real_o7―

0.5/13.6

1.0/6.8以上の結果より、提案手法が従来手法と比較してより高い成功率で物体を操作することができた。この手法は、硬いロボットを使用しているが、現在我々は柔軟手首を持つロ

ボットのシミュレータを開発しており18）、柔らかいロボットへの応用や、様々な部品の組立への応用も期待できる。

アルミと鉄のプレートを組み合わせ、底面にはゴムやプラ

5. むすび真のダイナミクスが未知である物体 real_o4 ～ o7 も検証し容易に制御するために、モデルベース学習を活用した研究与えられた場合（EXI w/ True de、real_o1 ～ 3 のみ対象）、

ルフリーの手法と比較してサンプル効率が高く、実ロボッ

スチックのシートを貼り合わせたものを設計した。また、た。比較対象は、提案手法（EXI）と EXI-Net に真の de が従来の DR で使用されている、LTSM を使用したネット

ワーク（LSTM）である。real_o1 ～ 3 では、各物体にそれぞれ 12 条件、12 条件、6 条件あり、各条件で 5 試行（計150 回）した。また、real_o4 ～ 7 では、各物体 10 試行した。テスト中は、ロボットが物体を 15 回押す間に指定さ本稿では、組立自動化に向けて柔らかいロボットをより事例について紹介した。モデルベース学習の手法は、モデトの応用に適している。我々はさらに学習を効率化させるために、作業を区分化し柔らかさを活用することで、よりシンプルなダイナミクスにすることで学習を効率化させることがきた。また、柔らかいロボットにも十分応用ができ

る、多様な環境に適応できる Sim-to-Real 転移学習に関するれた目標位置に到達するかどうかを確認した。

手法も紹介した。我々は、EXI-Net という、シミュレータ上

均の成功率・目標到達のためのステップ数、真の de との誤タをオンラインで推定できる手法を提案し、従来の一般的実験結果：実験結果を表 1 に示す。各物体における、平差を示す。この表より、すべての物体で提案手法が最も高い成功率を示し、少ないステップ数で目標に到達している
ことがわかる。興味深いことに、真の de が与えられた場合と比較しても、提案手法の方が高い性能を示している。これは、シミュレーションと実環境とのモデル化誤差が残っているためであり、提案手法はオンラインパラメータ推定
によってこの誤差を減少させていることが原因であると考えられる。

でモデルを事前学習し、未知環境のダイナミクスパラメー
な Domain Randomization の手法より高い成功率を示した。

本稿を読み、モデルベース学習に基づく柔らかいロボッ

ト制御や、Sim-to-Real 転移学習に興味を持っていただければ幸いである。

参考文献
1）Li, R.; Qiao, H. A survey of methods and strategies for high-precision robotic grasping and assembly tasks - some new trends. IEEE/
ASME Transactions on Mechatronics. 2019, Vol.24, No.6,
p.2718-2732.

2）Beltran-Hernandez, C. C.; Petit, D.; Ramirez-Alpizar, I. G.; Nishi,T.; Kikuchi, S.; Matsubara, T.; Harada, K. Learning force control
for contact-rich manipulation tasks with rigid position-controlled
robots. IEEE Robotics and Automation Letters. 2020, Vol.5, No.4,
p.5709-5716.

3）井尻善久，フェリクス フォンドリガルスキ．産業用ロボッ(175) 27

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

1. 人がやっていることを自動化する

トの進化によるものづくりの近未来．日本ロボット学会誌．
2019, Vol.37, No.8, p.675-678.

4）Tanaka, K.; Von Drigalski, F.; Hamaya, M.; Lee, R.; Nakashima, C.;

ing multi-modal dynamics of objects using RNNpb”. IEEE/RSJ
International Conference on Intelligent Robots and Systems. 2005,
p.966-971.

Shibata, Y.; Ijiri, Y. “A compact, cable-driven, activatable soft wrist18）Hamaya, M.; Tanaka, K.; Shibata, Y.; von Drigalski, F.; Nakashima,

with six degrees of freedom for assembly tasks”. IEEE/RSJ Inter-

C.; Ijiri, Y. Robotic learning from advisory and adversarial interac-national Conference on Intelligent Robots and Systems. 2020,

p.8752-8757.

5）Ibarz, J.; Tan, J.; Finn, C.; Kalakrishnan, M.; Pastor, P.; Levine, S.

tions using a soft wrist. IEEE Robotics and Automation Letters.
2021, Vol.6, No.2, p.3878-3885.

How to train your robot with deep reinforcement learning: lessons
we have learned. The International Journal of Robotics Research.
2021, Vol.40, No.4-5, p.698-721.

6）Hamaya, M.; Lee, R.; Tanaka, K.; von Drigalski, F.; Nakashima, C.;
Shibata, Y.; Ijiri, Y. “Learning robotic assembly tasks with lower
dimensional systems by leveraging physical softness and environmental constraints”, IEEE International Conference on Robotics
and Automation. 2020, p.7747-7753.

7）Murooka, T.; Hamaya, M.; von Drigalski, F.; Tanaka, K.; Ijiri, Y.

“EXI-Net: explicitly/implicitly conditioned network for multiple

執筆者紹介
濵屋 政志

HAMAYA Masashi

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：ロボティクス、機械学習、強化学習
所属学会：日本ロボット学会、IEEE
博士（工学）

environment sim-to-real transfer”. Conference on Robot Learning,
2020, https://corlconf.github.io/corl2021/paper_268/,（参照 202106-30）.

8）Deisenroth, M. P.; Fox, D.; Rasmussen, C. E. Gaussian processes
for data-efficient learning in robotics and control. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2015, Vol.37,
No.2, p.408-423.

9）Lenz, I.; Knepper, R. A.; Saxena, A. DeepMPC: Learning deep
latent features for model predictive control”. Robotics: Science andSystems. 2015.

10）Johannsmeier, L.; Gerchow, M.; Haddadin, S. “A framework for
robot manipulation: Skill formalism, meta learning and adaptive
control”. IEEE International Conference on Robotics and Automation. 2019, p.5844-5850.

11）Hang, K.; Morgan, A. S.; Dollar, A. M. Pre-grasp sliding manipulation of thin objects using soft, compliant, or underactuated hands.
IEEE Robotics and Automation Letters. 2019, Vol.4, No.2, p.662-

669.

12）Deimel, R.; Brock, O. A novel type of compliant and underactuatedrobotic hand for dexterous grasping. The International Journal of
Robotics Research. 2016, Vol.35, No.1-3, p.161-185.

13）松原崇充．ガウス過程に基づくロボットの運動制御・学習―

解析的モーメントマッチングによる近似推論．システム／制御／情報．2016, Vol.60, No.12, p.515-520.

14）Patel, V. M.; Gopalan, R.; Li, R.; Chellappa, R. Visual domain
adaptation: A survey of recent advances. Signal Processing Magazine. 2015, Vol.32, No.3, p.53-69.

15）Peng, X. B.;rychowicz, M.; Zaremba, W.; Abbeel, P. “Sim-to-realtransfer of robotic control with dynamics randomization”. IEEE

International Conference on Robotics and Automation, 2018,

p.3803-3810.

16）Nachum, O.; Ahn, M.; Ponte, H.; Gu, S.; Kumar, V. Multi agent
manipulation via locomotion using hierarchical sim2real, arXiv
preprint arXiv:1908.05224, 2019,（参照 2021-06-30）.

17）Ogata, T.; Ohba, H.; Tani, J.; Komatani, K.; Okuno, H. G. “Extract-28 (176)

本文に掲載の商品の名称は、各社が商標としている場合があります。

VON DRIGALSKI Felix et al.Advancing Automated Assembly – Team O2AC at the World Robot Summit 2020

Advancing Automated Assembly – Team O2AC at
the World Robot Summit 2020
FELIX von drigalski, NAKASHIMA Chisato, KASAURA Kazumi and
CRISTIAN beltran-hernandez
When installing robot systems in manufacturing applications, only 20 to 30% of the cost is due to the hardware,
while more than 50% of the cost comes from system integration, such as setting up, programming and connecting
peripheral devices into a unified system. Given the labor shortages both in Japan and worldwide, robot systems
that can handle a variety of products with low production volumes are strongly desired. We participated in theWorld Robot Summit (WRS) Industrial Category to move towards its proclaimed goal of “agile one-off manufacturing”, and aimed to build a production system that can respond quickly, leanly and without waste to various
changing production requirements, thereby realizing the “manufacturing of the future”.
Together with other organizations, we formed a team and have been working since 2018 on a system that isrobust to changes in parts and assembly positions, without using parts-specific jigs or teaching. We have continuously improved the system by tackling issues that came to light at the pre-convention (WRS2018) and otherevents, where we obtained the SICE Special Award. In addition, we participated in the WRS2020 (postponed to2021 due to Covid-19) as Team O2AC and obtained 3rd place as well as the Artificial Intelligence Society Award.
In this article, we describe our approach to solving the assembly problem, the hardware and software technologies we used to implement our solution, and the lessons we learned during the development.

自動組み立てフェリックス フォン ドリガルスキ，中島 千智，笠浦 一海，クリスティアン ベルトラン
ものづくり現場で導入されているロボットシステムのロボット本体のコストは全体の 2、3 割に過ぎず、周辺装置
や周辺機器を 1 つのシステムとして組み上げるシステムインテグレーションに 5 割以上のコストが割かれており、かつ時間もかかるため変更が容易でない。一方で近年では国内外での労働者不足や製品のライフサイクルも変わってきていることから、変種変量生産に対応可能なロボットシステムの実現が期待されている。World Robot Summit（以下 WRS）のものづくり分野では “toward agile one-off manufacturing＝迅速な一品ものづくりを目指して” を目標に掲げ、様々に変化する生産要求に迅速かつ無駄なくスリムに対応できる生産システムを、競技会を通じ構築することで、「未来のものづくり」の実現を目指している。
筆者らは他組織とともにチームを結成し、極力治具を使わず部品や組付け位置の変更にロバストなシステムの研究開発に、プレ大会である WRS2018 が開催された 2018 年より取り組んできた（この年は計測自動制御学会賞を受賞）。そしてプレ大会などを通じて見えてきた課題の解決に挑戦し続けシステムをブラッシュアップしてきた。また、コロナの影響で 2021 年に延期されていた WRS2020 にチーム O2AC として参加し、総合 3 位に入賞したことに加え人工知能学会賞を受賞した。
本稿では、この競技会で使用したシステムのハードウェアおよびソフトウェア面における創意工夫について紹介する。

Contact : NAKASHIMA Chisato chisato.nakashima@omron.com(177) 29

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

1. 人がやっていることを自動化する

1. Introduction

Automated assembly with robotic arms is highly challenging, as
it places high requirements on the physical robot system, as wellas the software implementation. Due to the tight part tolerances,
it requires high mechanical precision and fine control. Becauseof the many interlocking steps in the assembly process which
can change according to part measurements and positions, it islaborious to program the motions (“teach”) manually.
Commonly, assembly tasks are realized by building partsspecific jigs, which ensure that each part is in a known position,
so that the process can be repeated by the robot in an identicalmanner. However, the cost and size of these jigs makes it
intractable to use the same robot system for many different
types of products, or to change from one product to another.
In order to advance towards jigless and teachless assembly,

we built a system for the World Robot Summit 2020 Assembly

Fig. 1 The O2AC robot system at the World Robot Summit 2020 in Aichi-ken.

Challenge with Team O2AC (OMRON SINIC X, OMRON,

The system was controlled by two PCs, running an Ubuntu

Osaka University, AIST, Chukyo University). We obtained thereal-time kernel and Nvidia CUDA drivers respectively. This

3rd place (with only 2 points to the 2nd place) and an award
from the Japanese Society for Artificial Intelligence. In thisarticle, we describe our approach and lessons drawn from theallowed both high-speed robot control as well as neural-network
based computer vision algorithms.

We also used hand-held tools which are described in section 5.

development.

2. System Design

2.2 Software – Rapid prototyping and collaboration
We used ROS, MoveIt and other open-source software to drive

As our goal was to test the limits of and challenges in current

our solution. The system is encapsulated in a Docker container,

jigless and teachless assembly, we teamed up with universities

which can be downloaded and run on any Ubuntu PC (18.04+).

and research institutions which did not have access to and/orThis allowed us not only to collaborate quickly and eﬃciently

experience with industrial hardware. To collaborate eﬃciently

with our external collaborators, but also to use existing open

and immediately start working productively, we decided to build

code and drivers rather than writing custom ones, which accel-

our prototype 1) using ROS-based open software, and 2) as aerated our development and prototyping speed.

lean robot manipulation system that will stay useful beyond the
WRS, with little to no hardware customization. This minimized

Among the packages and code we developed or used:

the time spent on hardware implementation, allowed the use of– An assembly database which generates target part posi-

public, reviewed code and made collaboration significantly

tions based on their CAD models, so that motions are

more eﬃcient.
The code running our system is public and can be found athttps://github.com/o2ac/o2ac-ur

updated automatically according to part specifications– A symbolic planner that tracks uncertainty (see section 3)
and generates actions that reliably position the part in known
positions, even in environments with high levels of noise

2.1 Hardware – Two arms with hand-held tools

After having built a prototype with 3 arms in 20181,2), for the– A computer vision system (see section 4) that uses neuralnetworks, image processing and CAD matching to deter-

WRS2020 we decided to make the system as lean as possible.

mine the position of parts as well as the success/failure of

We used only two generic robot arms equipped with a parallel

assembly operations

gripper and wrist cameras, together with hand-held tools andparts feeders/holders. Fig. 1 shows the complete robot system.

– A hybrid force-position controller applicable to any

6-DOF robot arm, which succeeded on all the insertion
tasks in the competition

If you use our framework, you can define how parts areassembly and display how parts like Fig. 2.

30 (178)

VON DRIGALSKI Felix et al.Advancing Automated Assembly – Team O2AC at the World Robot Summit 2020

pushing it into an obstacle. These actions are highly effective
and have been used in multiple occasions in the competition.
Based on these actions, we have built a planner which generates action sequences that succeed reliably even if the object
position has an error of multiple millimeters. Rather than finetuning each position, the system generates full motion
Fig. 2 Different assemblies defined by their CAD models, generated dynamically.
Robot motions are adjusted automatically. Left: Standard. Right: SurprisePlus.

sequences to perform assembly procedures. These sequences
can then be inspected and optimized by the user, which makes
programming and teaching significantly easier. Fig. 4 shows
example planning results.

Notably, we developed a scheduler for MoveIt which allows
simultaneous planning and execution with multiple robot arms,
and which ensures safety even for overlapping workspaces. This

reduced overall execution time by 20 – 40% and opened up new
avenues for operating even more eﬃciently in multiple tasks.

3. Uncertainty-aware Manipulation

When detecting an object using computer vision, the result isalways subject to an unavoidable amount of noise and uncertainty. Conventional approaches attempt to work around this byusing expensive sensors, very rigid and precisely manufactured
robot bases, and complicated calibration procedures.
By contrast, we accept that some uncertainty cannot be
avoided, and integrate it into our planning and design process.

As shown in Fig. 3, we associate every object pose result

Fig. 4 Different action sequences generated by the planner to determine theobject position with high certainty.

4. Computer Vision

We are using a combination of computer vision techniques,
based on both 2D and 3D image data obtained from the robotsʼ

obtained from vision with an uncertainty, which is reduced only

wrist-mounted cameras. The cameras are consumer-grade (Intelin the course of manipulation. Actions such as grasping andRealsense SR305), which limits the maxium precision of thepushing the object limit the possible positions, and gradually

vision pipeline. However, as described in the previous section,

reduce the uncertainty until the position is known with highour approach accepts this uncertainty and achieves precise posi-precision and certainty.

tioning even with very affordable sensors.

Fig. 5 The vision system developed with Prof. Akizuki from Chukyo University andToshio Ueshiba from AIST.
Fig5-1: Parts being recognized in the tray (using neural networks)
Fig5-2: Cable tip detection (using background subtraction)
Fig. 3 An L-plate recognized by the vision system, at the assumed position (red)with uncertainty (blue).
Left: Before the grasp, many positions are possible. Right: After the grasp,
the possible positions are restricted.

4.1 Tray picking
We used a combination Single-Shot MultiBox Detector4) and

3D Localization (Fig. 5-1). (TODO: Cite the paper) A common

3.1 Planning with uncertainty and the environment

In our previous papers 3), we have proposed different actions todiﬃculty with neural-network based approaches is the sensitivity to lighting conditions. Due to both COVID-19 and the dis-

reduce the uncertainty of grasped objects. In a paper that we aretributed nature of our team, we had to tackle the robustness ofcurrently preparing, we extend these actions to include extrinsic

our vision system early on, as the lighting in the OMRON

manipulation, such as releasing the object from the gripper,

SINIC X oﬃce and the laboratory in Chukyo University was

pushing it with the gripper, or lightly grasping the object whilevery different. As a result, our system was very robust to differ-(179) 31

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

1. 人がやっていることを自動化する

ent lighting conditions, and we experienced practically no diﬃculty with the conditions at the competition site.
In fact, the RGB-based parts detection was so robust that it

often outperformed the 3D-point-cloud-based recognition rou-tines. In retrospect, it would have been very worthwhile toencode the rotation angle of parts in the network, to make useof the high speed of the network.
4.2 Bearing orientation

Fig. 7 Different tool types. Left: Screw tool with suction and compliance.
Middle: Screw tool with compliance and without suction. Right: Passive
tools.

The screw tools were driven by small Dynamixel motors with

Unlike scene-mounted cameras mounted on the work cellʼs ceil-

torque control. Combined with the suction pressure sensor, thising, the wrist-mounted cameras allow close-up views of assem-

allowed the detection of both motor stalling and screw contact,

bled objects. As shown in Fig. 6, the bearing is inspected after

which we used to determine successful fastening of screws.

insertion, to ensure that the holes align with the screwsʼ target

However, some tools that were used for specific manipula-positions. If they do not match, the bearing is rotated in-placetions, just like crochets used by humans, did not need to beby the required amount.

actuated. For example, we used a hook tool to thread the belt
around the pulleys, and a plunger tool to separate items thatwere packed too tightly to be picked.
The screw tools and plunger used physical compliance inorder to apply light pressure to the environment. As a comparable level of compliance would require a very high control fre-Fig. 6 LED-equipped wrist cameras allow parts inspection from up close, todetermine assembly success.
Left: Camera facing the bearing. Middle: Camera view. Right: Vision result(angle offset from edge detection)

4.3 Cable detection
As the cable is highly deformable, the position of the tip cannot

quency if generated by the robotʼs joint actuators, physicalcompliance allows the use of affordable robots, while ensuringhigh reliability and performance.

6. Lessons

One significant diﬃculty that we had hardly encountered during

be predicted reliably, and detecting it in an unstructured envi-

testing occurred frequently in the competition: screws becomingronment is highly diﬃcult. We solve this problem by first exe-stuck in the thread before the fastening is finished. We deter-

cuting a synchronized collaborative motion with both robot

mined the success of the fastening procedure on the basis of thearms, which cages the cable and places the tip in one of thepressure sensor and torque control in our screw tools, but thisrobotsʼ grippers. Then, we use background subtraction to findended up being insuﬃcient.

the tip of the cable in the image and project it back into 3D
space (Fig. 5-2).

5. Compliant, hand-held tools

Instead of using expensive and specialized tool-changers, weused tools that were grasped by the gripper, as a human hand
would. These tools were of three different types, as shown in
Fig. 7:

To ensure that the screw was ﬂush after fastening, we shouldhave used the wrist camera to confirm screwing success. The
wrist camera could have also been used to track the tool tip andimplement a fallback procedure. This cost us a significant
amount of points during the final days of the competition andwould surely have obtained the 2 points separating us from the
2nd place in the competition.

Another takeaway was the importance of developing in a distributed manner and in simulation. Enabling development in– Suction-equipped screw tools, with compliance (using pre-simulation early on allows more people to be productive with-cision parts from SAWA Ltd.)out the robots and allows quicker and safer testing.

tion

state as early as possible. This not only helps in debugging and– 3D-printed screw tools with compliance, but without suc– Passive tools (e.g. hooks, plungers)

Finally, we found that it is important to visualize the system
understanding errors, but also in explaining the system to newusers and interested parties, such as the audience and jury at the
WRS2020.

32 (180)

VON DRIGALSKI Felix et al.Advancing Automated Assembly – Team O2AC at the World Robot Summit 2020

7. Conclusion

We presented a complete robot system with the capability tosolve the World Robot Summit 2020 Assembly Task as well as

the Surprise Plus task. It will continue to be used as a researchplatform at OMRON SINIC X, now that it has proved its performance and usability. The open release of its source codeshould make waves and leave a favorable impression on the
open-source community: https://github.com/o2ac/o2ac-ur
Finally, we wish to thank our team members at Osaka University, AIST and Chukyo University for their hard work.

References

1）von Drigalski, F.; Nakashima, C. et al. Team O2AS at the world

About the Authors

FELIX von drigalski, Ph.D.
(Engineering)
OMRON SINIC X Corporation
Robotics GroupSpecialty: Robot Manipulation
Aﬃliated Academic Society: IEEE

NAKASHIMA Chisato
Technology and Intellectual Property H.Q.
Core Technology Center,
Robotics Department

robot summit 2018: an approach to robotic kitting and assemblySpecialty: System Engineeringtasks using general purpose grippers and tools. Advanced Robotics.

KASAURA Kazumi

2）von Drigalski, F. et al. Robots assembling machines: learning fromOMRON SINIC X Corporation

2020, Vol. 34, p. 514-530.

the World Robot Summit 2018 Assembly Challenge. Advanced
Robotics/Francis & Taylor. 2020, Vol. 34, p. 408-421.

3）von Drigalski, F. et al., “Contact-based in-hand pose estimation

Robotics GroupSpecialty: Mathematics (Number Theory) /Algorithm / Programming

using Bayesian state estimation and particle filtering”, IEEE Interna-Aﬃliated Academic Society: IEEE7294-7299.

CRISTIAN
beltran-hernandeztional Conference on Robotics and Automation (ICRA). 2020, p.

4）Liu, W.; Anguelov, D.; Erhan, D.; Szegedy, C.; Reed, S.; Fu, C. Y.;
Berg, A. C. Ssd: Single shot multibox detector. In European conference on computer vision. Springer, 2016, p. 21-37.

Osaka University
Graduate School of Engineering Science
Specialty: Robot Manipulation
The names of products in the text may be trademarks of each company.

(181) 33

OMRON TECHNICS

34 (182)

Vol.53 No.2（通巻 165 号）2021

1. 人がやっていることを自動化する2
人から学ぶ 人のように学ぶ

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶ

機械学習を活用した経路計画技術
谷合 竜典，米谷 竜
経路計画は、環境中において与えられたスタートからゴールまでの障害物と衝突しない経路を出力する問題であり、モバイルロボットの自律移動におけるグローバルプラニングやマニピュレータの動作計画など、様々な分野において広く取り組まれている。このような経路計画問題に対して、機械学習を活用することで性能の向上を図る取り組みが近年多く報告されている。本稿では機械学習ベースの経路計画技術についていくつかの代表的アプローチを紹介するとともに、著者らの最近の取り組みである深層学習ベースの A* 探索技術（Neural A*）について詳細に解説する。

Path Planning using Machine Learning
TANIAI Tatsunori and YONETANI Ryo
Path planning refers to a problem of finding a low-cost and valid path between start and goal in a given
environment map. This problem has been studied widely for a variety of robotics applications such as the global
planning for autonomous mobile robots and motion planning for robot manipulators. Recently, some work has
proposed to leverage machine learning techniques for improving path planning performances. In this paper, weoverview several popular approaches of such machine-learning-based path planning, and furthermore, introduce
our recent achievement called Neural A*, a deep-learning-based A* search for path planning problems.

1. まえがきの表現された環境において経路をどのように探索するかとロボティクス分野において古くより取り組まれる基本的問

とえばモバイルロボットの経路計画においては、図 1b の経路計画（path planning, pathfinding）は人工知能分野や題である。いま、図 1a のように障害物のある環境を考える。経路計画は、この環境において与えられたスタート地
点からゴール地点に至るまでの、障害物に衝突しない最短の移動経路（path）を出力する問題である。たとえばモバ
イルロボットや自動運転車両の自律移動といったシナリオ
では、環境として SLAM 等で獲得された障害物の地図、ス

タート・ゴール地点としてはその地図上における自律移動
体の現在・目的地を考えることになる。あるいはロボット
マニピュレーションの分野では、環境としてロボットの関節の状態等で定義されるコンフィギュレーション空間、ス
タート・ゴール地点としてロボットの開始・目標状態が与えられることになる（このような問題はしばしば動作計

画、motion planning と呼ばれ経路計画と区別される）。いずれの状況においても、経路問題を解くことによって、我々はロボットを安全かつ短時間で所望の状態に移動させることが可能となる。

経路計画技術は、環境をどのように表現するか、またそContact : TANIAI Tatsunori tatsunori.taniai@sinicx.com

36 (184)

いう観点で、いくつかの種類に分類することができる。たように環境を格子地図に離散化したうえで 4 近傍や 8 近傍のグラフとして表現し、A* 探索や最良優先探索といったグラフ探索アルゴリズムによってスタート地点からゴール地点への最短経路を探索することが一例として挙げられる。ロボットの移動する環境が非常に広域である場合、あるいはロボットマニピュレーションのように環境が高次元空間である場合は、図 1c のように環境中でランダムに選択された地点をつないだグラフ（ロードマップ）を構築したうえで経路計画をすることや、スタート地点からゴール地点に向かって逐次的に次の移動候補地点を選択しつつ経路計画をすることがある。いずれの場合も、環境を細かい
格子地図や多数地点から構成されるロードマップで表現することによって経路計画の成功率や得られる経路長を改善することができるが、それにともなって経路計画の計算コストも増大する。すなわち、経路計画の性能とその計算コストはトレードオフの関係にある。

これに対して近年、機械学習技術を活用することによってこのトレードオフを改善する研究が活発に進められている。直感的には、経路計画の問題インスタンス（環境、ス谷合 竜典 ほか

機械学習を活用した経路計画技術

図1

経路計画の例

タート、ゴールの組合せ）とその解（スタートからゴール

路 を P = (v1 , ..., vT ), v1 = vs , vT = vg と 表 し、コ ス ト の 総 和

何らかの機械学習モデルにより学習する。これにより、新

上記の問題に対して、探索ベース経路計画は一般に以下までの経路）の組を学習データとして用意し、その関係をΣ Tt =−11c(vt +1 ) が最小となる経路を探索することを目指す。

たな問題インスタンスに対して学習済みモデルを適用するのアルゴリズムに基づいて行われる。

を得ることができる。あるいは、典型的な経路計画技術でAlgorithm 1: Search（G, c, vs, vg）

ことで、解となる経路を効率的に計画するための手がかり
は環境中における障害物の位置は既知である必要がある

1: Initialize O ← vs , C ← ∅, Parent (vs ) ← ∅障害物の配置を推定し、それに基づいて経路計画を実行す

3: Select v* = arg min v∈O f (v) based on the criterion f (v)が、未知の環境に対して機械学習モデルを適用することでることもできる。本稿ではこのような機械学習を活用した

2: While vg ∉C do
4:Update O ← O \ {v*}, C ← C  {v*}

経路計画に関していくつかの代表的な技術を紹介するとと*5: Extract Vnbr = N (v ) \ (O  C )索について詳しく解説する。

7: Foreach v ∈Vnbr do

もに、著者らの近年の成果である深層学習ベースの A* 探

2. 機械学習を活用した経路計画技術

6: Update O ← O  Vnbr8:

9: Endfor

Update Parent(v) ← v*

前節で述べた通り、経路計画技術を分類する一つの基準

10: Endwhileに離散化した探索ベースの経路計画およびランダムに選択

12: Return P

ベースの経路計画について、機械学習を活用した事例を紹ここで、探索の進捗はオープンリスト O とクローズドリス

として環境の表現方法がある。以下では、環境を格子地図
された地点をつないだロードマップを用いるサンプリング介する。

2.1 機械学習を活用した探索ベース経路計画

格子地図上での経路計画は、しばしば A* 探索や最良優

先探索が利用される。いずれのアプローチも、格子地図を

4 近傍や 8 近傍のグラフとして表現し、スタート地点から
ゴール地点まで最短経路を逐次的に探索する。いま、グラ
フを G = (V , E ) と表す。V は格子地図上の各地点を表す

ノードの集合であり、E は地点間で移動可能な経路を表す

11: Compute P ← Backtrack (Parent, vg)

ト C と 呼 ば れ る 二 種 類 の リ ス ト に よ っ て 管 理 さ れ る。
オープンリストには解経路の候補となるノードが蓄積され、そこからある評価値 f (v) が最小となるノードが選択され（3 行目）、クローズドリストに移動される（4 行目）。
f (v) は手法によって異なるが、たとえば A* では以下の形式で与えられる。

f (v ) = g (v ) + h (v )（1）

ただし、g (v) はスタートノードから v までのコスト総和、エッジの集合である。また、あるノード v に対して接続さ

h (v) は v からゴールまでのコスト総和の予測値を与える関数で表現する。各ノードに対しては、そのノードに移動する際に発生する非負のコスト c(v) ∈  + が与えられる。

ら v までの経路が P (v) = (v1 , ..., vT ), v1 = vs , vT = v として与れた近傍ノードの集合を N (v) = v′ | (v, v′ ) ∈ E , v ≠ v′} という

このような条件下でスタート地点とゴール地点がそれぞれ
ノード vs , vg ∈V として与えられたとき、それらを結ぶ経ヒューリスティック関数である。具体的には、スタートかえられたとき、 g (v) = Σ Tt =−11c(vt +1 ) である。一方、最良優先探索では f (v) = h (v) となり、g (v) が与えるスタートノード
から v までどのような経路がとられてきたかという情報を(185) 37

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶ

利用することなく、h (v) に基づいて貪欲にゴールまでの経

ラルネットワークに置き換えられる点で、モバイルロボッ

v の周辺ノードが展開され、6 行目においてオープンリス

一部を効率化しているとみることもできる。

路が探索されることになる。5 行目では選択されたノード*

トに追加される。また、この追加にともなって、探索で発トの自律移動のような経路計画を含むパイプライン処理のVlastelica らのアプローチは経路計画アルゴリズムをブ見された経路の接続関係を Parent 関数に記憶させる（7 ～ラックボックス関数とみなすことで、ブラックボックス最

トノードまで Parent が示すノードを辿る（backtrack）ことて、我々は経路計画を微分可能な形で陽に書き直すことに

9 行目）。その結果 11 行目では、ゴールノードからスター
によって、最終的な経路が構築されることになる。

このような探索ベースの経路計画において、機械学習を用いたアプローチは主にヒューリスティック関数 h の学習とコスト関数 c の学習という 2 種類に大別される。たとえば Choudhury らの手法1）では、探索時に選択されたノード
v についてゴールへの最短経路長 h (v) を実際に計算し、v

適化によるコスト関数の学習を実現している。これに対し
より、通常の誤差逆伝播を用いたコスト関数の学習を実現している。このことにより、探索の最終結果のみ活用できる Vlastelica らの手法と異なり、我々の手法は探索の各ス
テップにおけるノード選択結果に基づいてコスト関数を学習できる。3 節ではその詳細について解説する。

*

からゴールまでのユークリッド距離や周囲の障害物への距離といった特徴量から h (v) を回帰するモデルを学習す*

2.2 機械学習を活用したサンプリングベース経路計画

サンプリングベース経路計画においては、ロードマップ

る。このとき、学習データとしては異なる障害物の配置かの構築がしばしば手続き全体を律速する。これは、より良短経路を計算可能な経路計画アルゴリズム（たとえばダイをまく必要がある点、そのサンプル集合からロードマップ

らなる経路計画問題インスタンスと、その問題に対して最クストラ法や A* 探索）が与えられる。いったん学習が行われると、新たな問題インスタンスにおいてモデルから回帰されたヒューリスティック関数の値を利用しつつ最良優
先探索をすることで、従来手法と比較してより少ない探索
数で経路を発見することができる。Takahashi ら はこの
2）

手法をさらに発展させ、手動で設計されていた特徴量の代

わりに畳み込みニューラルネット（具体的には U-Net ）3）

い経路を探索するためには環境全体に対して密にサンプルを構築するために大量の衝突判定が必要である点に起因する。これに対して、もし与えられた問題インスタンスに対して、実際にロードマップ構築をする前に最終的な解経路を予測できれば、その経路周辺を重点的にサンプリングすることにより、より少数のサンプルを用いた効率的なロードマップ構築と経路計画が可能となる。

このような着想のもと、いくつかの研究ではロードマッ

を用いて h* (v) の回帰を行なっている。一般にこのようなプ構築のためのサンプリングモデル（サンプラー）の学習

性能向上につながる良い特徴量表現をデータから獲得できオートエンコーダを用いて、環境の障害物レイアウトおよ

深層学習ベースの手法は、手動での特徴量設計と比較してる利点があるが、経路計画に関する本問題に関しては、学
習データの生成にあたって各問題インスタンスの全ノードについてゴールへの最短距離 h (v) を計算する必要があ*

り、計算コスト面で課題がある。

一方 Vlastelica ら は、障害物配置が未知の環境画像か4）

らコストマップ c (v) を推定するアプローチを提案している。具体的には畳み込みニューラルネットを用いて環境画
像のピクセルごとにコストを出力する。そして、その出力法が提案されている。たとえば文献 5）では条件付き変分

び経路のスタート・ゴール地点を入力として解経路周辺の地点をサンプリング可能なモデルを学習している。このとき、学習されたモデルから得られるサンプルとランダムに抽出されたサンプルを混合してロードマップを構築することで、学習データと異なる環境でモデルからのサンプリングが実際の解経路から外れる場合であっても経路計画が可能となる。ほかにも文献 6）では、環境中において多様な経路が共通して通りうる地点を重要な（critical）点と定されたコストに基づくダイクストラ法により、スタートかめ、周囲の障害物配置から地点の重要さを推定するモデル

して、同環境画像には人手等により真の経路が与えられてと新たな環境の各地点に対する重要度を推定可能であり、らゴールへの最短経路を算出する。このとき学習データといる状況を考えると、モデルの出力した経路と真の経路の間で損失（ここではハミング損失）を計算することが可能になる。この損失を最小化するようにニューラルネットをブラックボックス最適化することにより、「学習データにを学習している。このようなモデルはいったん学習される推定された重要度に比例した確率で同地点をサンプリング
することで、より少数のサンプルから効率的なロードマッ
プ構築が可能となる。

なお、上記のアプローチでは経路探索に先立ってロード

おいて与えられた真の経路を計画するために必要なコスト

マップの構築が行われるが、環境を逐次的に探索するサン

ローチは経路探索にかかる計算・時間的コストを直接的にある。たとえば Motion Planning Network と呼ばれる手法7）関数」をニューラルネットが学習できる。このようなアプ
短縮するものではないが、「経路計画を実行するために必要なコストマップの獲得」というプロセスを単一のニュー

38 (186)

プリングベース経路計画に機械学習を活用する取り組みもでは、移動エージェントの現在位置とスタート・ゴール地
点、障害物の情報を入力として、次ステップで移動すべき

谷合 竜典 ほか

地点を直接出力するニューラルネットワークを学習する。
そして現在位置からその地点への移動が可能であるか判定
し、移動不可能であったときには既存のリプラニングアル

機械学習を活用した経路計画技術に説明する。なお、2.2 節で紹介した手法と同様、Neural
A* は主に格子地図上での経路計画を対象とする。

ゴリズムを用いることで経路を生成する。このようなアプ

3.1 ガイドマップを介した経路計画

ためしばしば効率的に経路計画が可能であるが、得られたながらより詳しく説明したい。Neural A* は A* 探索アルゴ

対して NeuralEXT と呼ばれる手法 8）では、次ステップでのめ、まずは通常の A* 探索にどのような問題があるのかをローチは環境全体をカバーするロードマップを構築しない経路が最適（あるいは準最適）である保証はない。これに移動先に加えて、各地点におけるゴールまでの予測経路長（2.2 節に お ける h* (v) に 対応 す る値）を 予測 する ネット

ワークを学習する。これにより、2.2 節で紹介した評価値

f (v) に基づいて実際の移動先を決定し、より良い経路を探索することが可能となる。

3. Neural A* による経路計画

ここでは、著者らの近年の成果である Neural A*9）につ

1 つ目の問題である最短経路探索について、実例を用いリズムをベースにその探索性能を向上させる手法であるた見てみる。図 2a に示す経路計画の問題インスタンス（即ち、環境マップおよび開始・目標点の組）の例に対して、
A* による実際の経路探索の様子を図 2b に示す。図 2a を人間がみれば、開始・目標点を結ぶ最短経路はおよそ一瞬で見当がつきそうである。しかし、A* 探索では手前にある

ポケット状の行き止まりで探索が大きく滞留していることがわかる。

2 つ目の問題である生画像に対する経路計画についていて解説する。Neural A* は 2.2 節で紹介した探索ベースのも、通常の A* 探索が有する問題点と見ることができる。

通り、近年の機械学習を活用した経路計画の研究においてプとし、マップ中の 2 点間を結ぶ移動可能な経路の計画問に、1）最短経路問題における探索の効率性と最適性のトの交差点であり、交差点中心部の領域は通行不可に見える

経路計画に機械学習を活用するものである。先に紹介したは、いくつかの関心の高い問題があるが、本研究ではとくレードオフの向上、および、2）障害物配置が未知の環境

画像（生画像）に対する経路計画、という 2 つの問題に対して統一的なアプローチを提案する。

以下では、これら 2 種類の問題に対する提案アプローチの基本的な考え方、Neural A* の学習方法の概要、そしてNeural A* の中核となる微分可能 A* の詳細について、順々例として、図 3a に示すような屋外シーン画像を環境マッ

題を考える。図 3a の画像を人間が見れば、これが円形状のでそこを避けた経路を思いつくだろう。実際に、ある歩行者の経路は図 3b のようなものであった。しかし、通常の A* 探索では、どこにそのような障害物が存在するかのラベル付けがない生画像に対して、このような経路計画を遂行することはできない。

図 2 最短経路問題における A* と Neural A* の動作比較（a）経路計画の問題インスタンスについて、（b）通常の A* 探索の動作過程および、（d）Neural A* の動作過程を示す。各マップにおいて、黒は障害物、赤は開始・目標点や探索点、または探索結果を示し、緑は探索済みの領域を表す。Neural A* は問題インスタンスを（d）ガイドマップに変換して探索を行う。ガイドマップ中の白と緑は、優先的に探索すべき低コスト領域および回避すべき高コスト領域を表す。

(187) 39

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶ

図3

図4

生画像に対する経路計画

Neural A* のネットワーク構成

これら 2 つの問題は一見異なるようであるが、本質的には、環境マップ中の行き止まりや障害物などの視覚的手がかりを探索アルゴリズムが認識・利用できていないという

3.2 微分可能 A* 探索によるガイドマップの End-to-end
学習

上述のアプローチの課題は、問題インスタンスが適切な問題として、両者をひと括りに捉えることができる。そこ

ガイドマップに変換されるように、どのようにしてエン（図 2a および図 3a）を畳み込みニューラルネットワーク

イドマップ出力に対して直接損失を与えて学習する方法もで Neural A* では、それぞれの形式の問題インスタンス（以下、エンコーダと呼ぶ）を介してガイドマップ（guidance map）と呼ぶ中間表現（図 2c および図 3c）に変換することで、これら 2 つの問題に対して統一的なアプローチ

コーダを学習するかという点である。エンコーダからのガ考えられるが、どのような損失を定義すれば経路計画に対して効果的なのかは自明ではない。

この問題に対し我々は、図 4 に示すような、ガイドマッを可能にする。

プ変換から A* 探索の実行までを包括的に扱う End-to-end

ドコストと呼ぶ移動コストを割り当てるもので、ここではノードからコストへのマッピング関数 φ (v) で表す。Neural

能な手続きとしてニューラルネットワーク内に組み込むこトの総和が最小となる経路を探索する。ガイドマップの役

ステップを介してガイドマップ、そしてエンコーダへと逆

ガイドマップは、環境マップ中の各地点 v に対してガイ

A* は、このガイドマップ上で A* 探索を行い、ガイドコス

割は、その名の通り、経路探索を各問題の目的に応じて適切に誘導することである。具体的には、障害物位置を既知とした環境マップ上での最短経路問題では、ガイドマップ
はマップ中の “行き止まり” や “通行路” などの視覚的手

がかりを反映し、探索中どのノードを優先して探索すべき

学習アプローチをとる。即ち、A* アルゴリズムを微分可とで、探索結果に対する正解経路との差（損失）の勾配
が、誤差逆伝播法により、A* アルゴリズムの一連の探索

伝播可能にする。したがって学習の際には、問題インスタ
ンスと正解経路例の組の集合からなる学習データセットを作成し、この正解経路に探索結果が近づくようエンコーダを学習する。

なお、学習の際の損失関数として、以下のような探索履

か、あるいは避けるべきかの優先順位をノードに与え、探歴マップ C と正解経路マップ P の間の平均 L1 損失（図 4

物位置を未知とした生画像上での経路計画問題では、ガイ化する。

索効率と最適性のトレードオフの改善を図る。一方、障害ドマップは、通行可能な領域とそうでない領域を入力画像
中の色や模様から認識し、それらを低コストおよび高コス
ト・ノードとして探索アルゴリズムに伝える。一度このようなガイドマップが学習されれば、どちらの問題もガイド
マップ上での最短コスト経路計画問題として A* 探索によって解くことができる。

40 (188)の “Loss” 参照）を用い、これを確率的勾配法により最小
L = || C − P ||1 / | V |（2）

ここで、探索履歴マップ C ∈{0, 1} は A* アルゴリズムのV

クローズドリスト（2.2 節）をマップ V と同じサイズの 2V
値行列で表現したもので、正解経路マップ P ∈{0, 1} は正解経路上のノードを 1、それ以外を 0 で表した正解経路行

列、|V| はマップサイズを表す。正解経路 P として、障害

谷合 竜典 ほか

機械学習を活用した経路計画技術

物位置が既知の最短経路問題においてはダイクストラ法な

ここで関数 I max ( A)は、順伝搬時では行列 A の最大値要素

どにより求めた最短経路を、生画像上の経路計画問題におargmax (A) を 2 値の one-hot 行列として返し、逆伝搬時にはこの損失は、次の 2 種類のノード選択誤りに対してペナ

で の 行 列 A に 相 当 す る 部 分 は、基 本 的 に、負 の コ ス ト

いては人間が与えた経路例などを用いる。

恒等写像 I max ( A) = A として振る舞うよう定義する。上式

ルティを与える。1）false-negative エラー：本来 P を見つ（ – F）に対する softmax 関数を温度パラメータ τ 付きで計

false-positive エラー： P と比べて C の中で余計に選択されたノード。言い換えれば、この損失は探索アルゴリズムにンリストから選ばれるように制限するための 2 値マスクとけるためには C に含まれなければいけなかったノード。2）

対し、1）なるべく得られる経路を正解のものへと近づける一方、2）より少ないノード探索で実現するよう働きかける。とくに最短経路問題の場合では、正解経路 P は最短経路であるため、1）なるべく最短経路に近い解を、2）より少ないノード探索で見つけるよう学習を促すことになる。これにより Neural A* は、単に探索効率のみを改善す

るのではなく、探索の最適性とのトレードオフを改善する算するもので、オープンリスト行列 O は、ノードがオープして機能する。言い換えれば、式（3）は 順伝搬時には負のコストに対するマスク付きの hardmax 関数として動作し、
逆 伝 搬 時 に は、hardmax 関 数 が あ た か も softmax 関 数 であったかのように動作する。これは、本来勾配が常に零になってしまう離散化された活性化関数に対して、離散関数
を “ソフト化” して擬似的な勾配を与えるという Hubara etal.10）によるアイディアに基づく。

選択ノード V* が求まれば、オープンリスト O およびクように学習する。

ローズドリスト C の更新（4 行目）は、単純な行列同士の3.3 微分可能 A* の詳細

お、V* は常に one-hot 行列で、1 回の探索中に同じノードが微分可能 A* は、順伝搬時においては、2.2 節で述べた A*

ズムの実行中は常に 2 値行列として保たれる。

加 減 算 O ← O − V * お よ び C ← C + V * に よ り 行 え る。なNeural A* の中核となる微分可能 A* の詳細を解説する。

探 索 の 手 続 き（即 ち、Algorithm 1 に お い て 評 価 関 数 に
f (v) = g (v) + h(v) を用いたもの）を基本的に 1 対 1 の対応

でそのままニューラルネットワーク上で実行し、逆伝搬時においては、一部の微分不可能な手続きの勾配を近似値で置き換えながら誤差逆伝播法を適用する。

複数回選択されることはないため、O および C はアルゴリ
選択ノード V* の近傍を抽出する工程（5 行目）も、一般的な微分可能操作の組み合わせにより、以下のような 2 値行列で表現できる。

Vnbr = (V *  K )  (1 − O)  (1 − C )  X（4）プと同じサイズの行列で表し、各演算を行列に対する基本

こ こ で、(V *  K ) は 選 択 ノ ー ド 行 列 V* と 固 定 カ ー ネ ル
K = ⎡⎣[1,1,1]T , [1, 0,1]T , [1,1,1]⎤⎦ との 2 次元畳み込み演算で、そや目標点 vg などの単一ノードの位置は、該当ノードで 1、を限定するマスク処理とみなせる。なお、障害物位置が既微分可能 A* では、Algorithm 1 中の各変数や関数をマッ的な演算の組み合わせで表現する。具体的には、開始点 vs

それ以外で 0 をとる 2 値の one-hot 行列 Vs , Vg ∈{0, 1}V で表す。ガ イ ド マ ッ プ φ (v) や 累 積 コ ス ト g (v)、ヒ ュー リ ス

ティック関数 h (v) などの環境ノードに対するマッピング関数は、実数行列 Φ, G , G ∈R で表す。また、クローズドリVの後の 2 値行列 (1 − O) および (1 − C ) との積は抽出ノード

知で 2 値行列 X により表されるとき、ノード選択を通行可
能領域に限定するため X をさらに乗じる。この処理は、Xが生画像である場合は省略する。

その後の近傍ノードのオープンリストへの追加（6 行

スト C と同様に、オープンリストも 2 値行列 O ∈{0, 1}V で目）も、O ← Vnbr + O で行える。なお、7 ～ 9 行目の親子関は、X ∈{0, 1}V は通行可ノードで 1、障害物ノードで 0 をとめ、微分可能にする必要はない。

数値のカラー画像とする。各問題インスタンスは、マップ

索完了となり、それまでに選択されたノードの履歴が 2 値

Algorithm 1 を微分可能な手続きとして書き直すにあた

算することで、その勾配を微分可能 A* の入力変数である表す。また、入力マップは変数 X で表し、最短経路問題でる 2 値行列、生画像上の経路探索問題では、 X ∈ R 3∗V は実

X と開始点 vs および目標点 vg の組 ( X , Vs , Vg ) で表される。
り、最も重要なステップはノード選択（Algorithm 1 の 3 行目）である。これは評価関数 f に対する離散的操作、argmin を含むため微分可能ではない。この操作に対して適切な近似勾配を与えるため、評価関数 f (v) = g (v) + h (v) を行
列変数 F = G + H で表し、ノード選択を以下の式で行う。
⎛ exp( − F / τ )  O ⎞V = I max ⎜⎟⎝ exp( − F / τ ), O ⎠*（3）

係の記録は、損失計算に関わる C の更新には影響しないた
これらの処理を目標点が選択されるまで繰り返すと、探行列 C に蓄積される。C に対して 3.3 節で述べた損失を計

ガイドマップΦに逆伝搬し、エンコーダを学習することが可能になる。推論時には、通常の A* 探索同様に親子関係のツリーを辿る（11 行目）ことで発見された経路を出力する。

3.4 その他の実装の詳細

以上が単一問題インスタンスに対する微分可能 A* の基

本動作である。実際には、上記内容に加え、学習の効率化(189) 41

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶや安定化などのための実装上の工夫や詳細があるので、最後にこれらについて軽く補足する。より完全な情報については論文を参照されたい。

9）

累積コストの更新

2.2 節の説明および Algorithm 1 では詳

細を割愛したが、ノード選択の評価関数 f が累積コスト g

算内での一部の変数を計算グラフから切り離して定数として扱うことで、再帰的な逆伝搬の計算チェーンを簡単化し、学習の安定化や消費メモリの削減を行った。

4. 評価実験

本節では、経路探索問題における Neural A* の探索性能を含む場合、g も探索中に逐次更新する必要がある。これの評価実験について述べる。

v′ に対する累積コスト g (v′ ) の値を、選択ノードまでの累4.1 ベースライン手法

は、基本的には毎回のノード選択後に、その近傍ノード

積コスト g (v*) と選択ノードから近傍ノードまでの移動コ
スト φ (v′ ) の和で更新することになる。ただし厳密には、

ここでの v* の近傍は、初めて開かれる近傍ノード Vnbr とす
でにオープンリストに存在する近傍ノード Vnbr に場合分けされ、後者については前回計算された累積コストと新たなNeural A* の性能評価のため、以下の 2 つの経路探索手法と比較した。これらはいずれも機械学習を活用した手法

で、かつ、内部で Neural A* と同様の A* 探索を用いた探索
ベースの手法である。

経路による累積コストを比べて小さい方を選ぶといった処· SAIL1）: ヒューリスティック関数を事例データから学

み合わせで表現可能であるが、式がやや煩雑になるのでこ法。本実験では、学習サンプルを学習したヒューリス

理が必要になる。このような処理も基本的な行列操作の組
こでは割愛する。

習することで高い探索効率を達成した最良優先探索手

ティック関数から導く場合（SAIL）と、理想的なオラクルから導く場合（SAIL-SL）の 2 手法を試した。

ニューラルネットワークの学習においては、
B
(i )
(i )
(i )
に対するバッチ平
複数の入力サンプル X , Vs , Vg

· BB-A*4）: A* などの組合せ最適化アルゴリズムに対しある。しかし、経路探索は各問題インスタンスによって探いる面があるが、A* 探索を完全なブラックボックス

バッチ学習

{(

)}

i =1

均勾配を用いて学習を効率化・安定化させることが大事で索が終了するタイミングが異なるため、このようなバッチ
処理には工夫が必要である。バッチ処理版の微分可能 A*

では、ノード選択後の各リスト更新（4 行目）において、バッチ中の各問題インスタンスに対する終了フラグ変数

η(i ) = 1 − Vg(i ) , V *(i ) を計算し、O (i ) および C (i ) を以下のよ
うに更新する。
O (i ) ← O (i ) − η(i )V *(i ) , C (i ) ← C (i ) + η(i )V *(i )（5）

これは直感的には、ゴール Vg(i ) が選択された問題インスタ
ンスについては、それ以降、O

(i )

および C

(i )

の更新を停止するように機能する。これにより、各探索の進捗状況に関て、ブラックボックス微分と呼ばれる汎用的な近似勾配計算法を適用して学習。この手法は提案手法と似てとして扱う点で異なる。

また、非学習型の一般的な探索手法として、最良優先探索（BF）と重み付き A* (WA*) とも比較した。さらに提案

手法の変形として、式（3）で累積コストを無視して常にF = Φ + H を用いることで、最良優先探索のような挙動をする Neural BF とも比較した。
4.2 評価指標

探索性能の定量的な評価指標として、以下の 3 つを用いた。

係なく、全てのバッチインスタンスについて同じ行列演算· Opt：手法がどれくらいの頻度で最適（最短）な経路発見された時点で探索ループ終了とすることができる。

· Exp：通常の A* 探索と比べて削減できた探索ステップ

エンコーダ設計· Hmean：Opt と Exp の調和平均。これは探索の効率とを同時に実行でき、全てのバッチインスタンスで目標点がエンコーダとなるニューラルネットワー

クには、セマンティックセグメンテーションなどで用いられる U-Net を用い、ガイドマップの出力解像度が入力
3）

マップの解像度と同じになるようにした。エンコーダの入を見つけられたかを 0-100（％）の値で表す。
数を 0-100（％）の値で表す。

最適性のトレードオフがどれだけ改善したかを示すもので、本研究の主たる評価指標として用いる。

力には、X と Vs + Vg を連結した 2 次元画像を用いた。ガイ

4.3 最短経路問題における性能評価

行き止まり内に目標点がある場合などでも適切なガイド

12）
City/Street Map（CSM）の 3 つのデータセットを用いた。

ドマップの変換を開始・目標点により条件付けることで、

11）、Tiled MP、
評 価 実 験 で は、Motion Planning（MP）

マップの学習ができるようになる。

MP は 32×32 サイズの人工的なマップによる経路探索デー

一部勾配の無効化

2 枚並べて 64×64 サイズに拡張した。CSM は実際の都市

42 (190)

実際の学習では、式（3）の O や G の計

タセットで、Tiled MP では MP のマップをランダムに 2×

谷合 竜典 ほか

機械学習を活用した経路計画技術の 2 値画像マップを 64×64 サイズに切り出したものである。それぞれ 1,000 個以上のマップデータを学習用、検証

用、テスト用として 80％、10％、10％に分割して用いた。
各データセットにおける Opt、Exp、Hmean スコアの比較を表 1 に示す。Neural A* が最も高い Hmean スコアを達成し、探索の効率と最適性のトレードオフ改善効果が最も大きかったことがわかる。MP データセット中のマップに対する実際の探索結果の例を図 5 に示す。

表 1 最短経路問題における定量評価
各評価手法に対して、経路最適性（Opt）とノード探索の削減率（Exp）、そしてそれらの調和平均（Hmean）に対するブートストラップ平均および 95％信頼区間。

MP Dataset

Opt
BF
WA*
SAIL
SAIL-SLBB-A*
Neural BF
Neural A*

Exp

Hmean

65.8（63.8, 68.0） 44.1（42.8, 45.5） 44.8（43.4, 46.3）
68.4（66.5, 70.4） 35.8（34.5, 37.1） 40.4（39.0, 41.8）
34.6（32.1, 37.0） 48.6（47.2, 50.2） 26.3（24.6, 28.0）
37.2（34.8, 39.5） 46.3（44.8, 47.8） 28.3（26.6, 29.9）
62.7（60.6, 64.9） 42.0（40.6, 43.4） 42.1（40.5, 43.6）
75.5（73.8, 77.1） 45.9（44.6, 47.2） 52.0（50.7, 53.4）
87.7（86.6, 88.9） 40.1（38.9, 41.3） 52.0（50.7, 53.3）
Tile MP Dataset
Opt

BF
WA*
SAIL
SAIL-SLBB-A*
Neural BF
Neural A*

Exp

Hmean

32.3（30.0, 34.6） 58.9（57.1, 60.8） 34.0（32.1, 36.0）
35.3（32.9, 37.7） 52.6（50.8, 54.5） 34.3（32.5, 36.1）
5.3 （4.3, 6.1）
58.4（56.6, 60.3） 7.5 （6.3, 8.6）
6.6 （5.6, 7.6）
54.6（52.7, 56.5） 9.1 （7.9, 10.3）
31.2（28.8, 33.5） 52.0（50.2, 53.9） 31.1（29.2, 33.0）
43.7（41.4, 46.1） 61.5（59.7, 63.3） 44.4（42.5, 46.2）
63.0（60.7, 65.2） 55.8（54.1, 57.5） 54.2（52.6, 55.8）
CSM Dataset
Opt

BF
WA*
SAIL
SAIL-SLBB-A*
Neural BF
Neural A*

Exp

Hmean

54.4（51.8, 57.0） 39.9（37.6, 42.2） 35.7（33.9, 37.6）
55.7（53.1, 58.3） 37.1（34.8, 39.3） 34.4（32.6, 36.3）
20.6（18.6, 22.6） 41.0（38.8, 43.3） 18.3（16.7, 19.9）
21.4（19.4, 23.3） 39.3（37.1, 41.6） 17.6（16.1, 19.1）
54.4（51.8, 57.1） 40.0（37.7, 42.3） 35.6（33.8, 37.4）
60.9（58.5, 63.3） 42.1（39.8, 44.3） 40.6（38.7, 42.6）
73.5（71.5, 75.5） 37.6（35.5, 39.7） 43.6（41.7, 45.5）

図5

経路探索結果例の比較(191) 43

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶ

5. 生画像マップに対する経路計画

障害物位置のラベル付けがない生画像マップに対する経路計画問題について、Neural A* と BB-A* の性能比較実験を 行 っ た。実 験 で は、Stanford Drone（SD）デ ー タ セ ットに含まれる屋外シーンの歩行者軌跡データを用いて、

13）

歩行者の経路予測問題のデータセットを作成した。そし表 2 SD データセットにおける定量評価
予測された経路と正解経路の間の chamfer 距離に対するブートス
トラップ平均と 95％信頼区間。

Intra-scenes

Inter-scenes

BB-A*
152.2（144.9, 159.1） 134.3（132.1, 136.4）
Neural A* 16.1（ 13.2, 18.8） 37.4（ 35.8, 39.0）て、シーン画像と開始・目標点が与えられた際に、各手法がどれだけ正確に実際の歩行者経路を予測できるか評価した。

6. むすびしている。Intra-scenes では、学習データとテストデータにして、この分野における最新の研究動向および、我々の研る予測精度を測る。Inter-scenes では、学習データとテストな問題意識のもと研究がされているが、そのなかでも、経表 2 では予測経路と正解経路の間の chamfer 距離を比較

同じ撮影場所の画像を用いることで、未知の歩行者に対すデータで異なる撮影場所の画像を用いる leave-one-out 交差
検定を行い、未知の場所に対する汎化性能を測る。どちらの場合においても Neural A* が、より正解に近い経路を予測していることがわかる。

実際の結果の例を図 6 に示す。最初 2 つの例では、Neu-

本論文では、「機械学習を活用した経路計画手法」と題究成果である Neural A* について解説した。同分野は様々
路探索の最適性と効率性のトレードオフ向上と、障害物位置を未知とした生画像マップに対する経路計画という 2 つの問題に対して、Neural A* は統一的な解決アプローチを提案した。評価実験では、従来の機械学習を用いない経路

探索アルゴリズムと比べ、Neural A* は探索の最適性を大

ral A* が定性的にも正解に近い経路を予測していることがきく損なうことなく効率性を飛躍的に向上できることが確の妥当な経路があるため、予測に失敗している。このよう予測問題では、実際の歩行者の移動経路を従来手法より正わかる。一方、3 つ目の例では、開始・目標点の間に複数な場合に対する拡張として、複数の経路例を確率的にサンプリングできるようにする生成的アプローチ
えられる。

図6

44 (192)

などが考

14）

かめられた。また、固定カメラ画像に対する歩行者の経路
確に予測できることが確かめられた。同技術は、ロボット
マニピュレータの高次元状態空間における動作計画をはじめ、様々なシーンへの適用が期待される。

SSD データセットにおける経路計画結果の例

谷合 竜典 ほか

参考文献
1）Choudhury, S.; Bhardwaj, M.; Arora, S.; Kapoor, A.; Ranade, G.;
Scherer, S.; Dey, D. Data-driven planning via imitation learning.
International Journal of Robotics Research（IJRR）. 2018, Vol.37,
No.13-14, p.1632-1672.

2）Takahashi, T.; Sun, H.; Tian, D.; Wang, Y. “Learning heuristic functions for mobile robot path planning using deep neural networks”.
Proceedings of the International Conference on Automated Planning and Scheduling（ICAPS）. 2019, p.764-772.

3）Ronneberger, O.; Fischer, P.; Brox, T. “U-net: Convolutional networks for biomedical image segmentation”. Proceedings of theInternational Conference on Medical Image Computing and Computer Assisted Intervention（MICCAI）. 2015, p.234-241.

4）Vlastelica, M.; Paulus, A.; Musil, V.; Martius, G.; Rolinek, M. “Differentiation of blackbox combinatorial solvers”. Proceedings of theInternational Conference on Learning Representations （ICLR）.
2020, p.1-19.

5）Ichter, B.; Harrison, J.; Pavone, M. “Learning sampling distributions for robot motion planning”. Proceedings of the IEEE Interna-

機械学習を活用した経路計画技術

執筆者紹介
谷合 竜典

TANIAI Tatsunori

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：コンピュータビジョン、3 次元計測、密対応点推定
所属学会：情報処理学会、IEEE
博士（情報理工学）

米谷 竜

YONETANI Ryo

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：コンピュータビジョン、機械学習
所属学会：情報処理学会、電子情報通信学会、
IEEE
博士（情報学）
本文に掲載の商品の名称は、各社が商標としている場合があります。

tional Conference on Robotics and Automation（ICRA）. 2018,
p.7087-7094.

6）Ichter, B.; Schmerling, E.; Lee, T. W. E.; Faust, A. “Learned criticalprobabilistic roadmaps for robotic motion planning”. Proceedingsof the IEEE International Conference on Robotics and Automation（ICRA）. 2020, p.9535- 9541.

7）Qureshi, A. H.; Simeonov, A.; Bency, M. J.; Yip, M. C. “Motion
planning networks”. Proceedings of the IEEE International Conference on Robotics and Automation（ICRA）. 2019, p.2118-2124.

8）Chen, B.; Dai, B.; Lin, Q.; Ye, G.; Liu, H.; Song, L. “Learning toplan in high dimensions via neural exploration-exploitation trees”.
Proceedings of the International Conference on Learning Representations（ICLR）. 2020, p.1-15.

9）Yonetani, R.; Taniai, T.; Barekatain, M.; Nishimura, M.; Kanezaki,
A. “Path planning using neural A* search”. Proceedings of Inter-national Conference on Machine Learning （ICML）. 2021,
p.12029-12039.

10）Hubara, I.; Courbariaux, M.; Soudry, D.; El-Yaniv, R.; Bengio, Y.

“Binarized neural networks”. Proceedings of the Advances in Neu-ral Information Processing Systems（NeurIPS）. 2016, p.41074115.

11）Bhardwaj, M.; Choudhury, S.; Scherer, S. “Learning heuristic
search via imitation”. Proceedings of the Conference on Robot
Learning（CoRL）. 2017, p.271-280.

12）Sturtevant, N. Benchmarks for grid-based pathfinding. IEEE Trans-

actions on Computational Intelligence and AI in Game. 2012,Vol.4, No.2, p.144-148.

13）Robicquet, A.; Sadeghian, A.; Alahi, A.; Savarese, S. “Learningsocial etiquette: Human trajectory understanding in crowded
scenes”. Proceedings of the European Conference on Computer
Vision（ECCV）. 2016, p.549-565.

14）Salzmann, T.; Ivanovic, B.; Chakravarty, P.; Pavone, M. “Trajectron++: Multi-agent generative trajectory forecasting with heterogeneous data”. Proceedings of the European Conference on Computer Vision（ECCV）. 2020, p.1-17.

(193) 45

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶ

A Machine Learning System that Adaptively
Aggregates Knowledge from Multiple Models
MA Jiaxin
As a machine learning framework, decentralized learning aims to address the difficulties of data collection andannotation by breaking down and assigning these tasks to a group of clients to utilize their own data resources.
Federated learning is a conventional approach of decentralized learning, but it is not suitable to deal with cases
when the client model architectures or data distributions are diverse. This article introduces one of our publishedresearch results, which is a method called Decentralized Learning via Adaptive Distillation (DLAD). As a method
based on knowledge distillation, it learns a model by aggregating and imitating the client models’ outputs, without
requiring identical client-model architecture. Moreover, this method casts adaptive aggregation weights to different
clients, to give priorities to learn from client models with higher confidence. This approach is especially useful forthe non-IID (Independent and Identically Distributed) data. We have conducted evaluation experiments on multiple public datasets and demonstrated the effectiveness of this method.

複数のモデルから適応的に知識を統合する
新たな機械学習スキーム
馬 家昕
非集中学習は、データ収集やアノテーションのコストの高さという課題に対し、これらのタスクを分解してクライアント（ローカル）に割り当てることで、クライアント独自のデータリソースを活用する機械学習の枠組みである。連合学習は従来からの非集中学習の方策の一つだが、各クライアントのモデル構造やデータ分布が多様な場合には適さない。本稿では、適応的蒸留による非集中学習（Decentralized Learning via Adaptive Distillation: DLAD）という手法を解説する。この手法では、知識蒸留に基づいてクライアントモデルの出力を集約し、模倣することにより、不均一なクライアントモデルに対する非集中学習を可能にする。この際、各クライアントのデータが独立同分
布とならない状況にも対応するため、適応的に学習の重みを求める。我々は、多数の公開データセットによって評価実験を行い、提案手法の効果を確認した。

1. Introduction

technology not only in academic research but also in enter-“Adaptive Distillation for Decentralized Learning from Hetero-in a real-world project is related to data, which is usually two-

The content of this article is based on our recent paper named1)

prises. The most common difficulty to deploy machine learning

geneous Clients” . In this article, the author would like to pro-fold. First, deploying machine learning can be costly due to datavide a reader-friendly explanation of the original paper. The

collection. Some sensitive data, such as life logging videos, andpurpose is not only to explain the details of technology, but

medical data, that their owners wish to keep private, are hardly

more importantly, to give readers an insight that how to use theaccessible. Second, deploying machine learning can be costly

related technology to solve real-world problems, since knowl-

due to data annotation. Supervised machine learning (the mostedge deserves to be understood and utilized, to contribute to thecommonly used machine learning algorithm) requires that tobusiness, and the world.

learn a model, training data must be annotated with ground truth

In current days, machine learning is undoubtedly a promising
Contact : MA Jiaxin jiaxin.ma@sinicx.com

46 (194)

labels. Depending on the difficulties of tasks, annotation sometimes needs certain levels of professional know-how (e.g., adoctorʼs diagnosis), and thus can be extremely expensive.

MA Jiaxin

A Machine Learning System that Adaptively Aggregates Knowledge from Multiple Models

So, is there a method to alleviate the cost of data collection

communication conditions, it will be a problem to balanceor data annotation? One promising solution is Decentralized

the training process among all the clients. Extra efforts are

Learning, which means to put the data collection and dataneeded to improve the communication efficiency5,6).

annotation processes on the client side. Here, “client” usually

In this article, the author would like to introduce anothermeans some institutions, companies, or end-users who are sup-decentralized learning framework that is based on knowledge

posed to conduct data collection and data annotation as their

distillation (KD). It can solve the above issues that FL is notdaily behaviors (for comparison, we call the other side “serverside”). For example, Google developed a machine learning
2)

good at. Moreover, the proposed method uses an improved
weight aggregation strategy to deal with the non-IIDness prob-

model to predict the next word of the keyboard input , and thelem, which will be explained later. One should note that thedata collection and data annotation are all performed by smart-

KD-based decentralized learning framework is not necessarily

phone usersʼ daily keyboard input. It is important to note that,superior to FL-based. One should be able to identify which

during the above process, end-users train their own prediction

framework is more suitable for their practical applications.

models on their devices, and only transfer model weights with
Google, but not any sensitive data they have input using theirsmartphone keyboards. This decentralized learning framework iscalled Federated Learning (FL)3,4).

2. Method

2.1 What is knowledge distillation?

Knowledge distillation7) is a method that allows one trained

To better understand the advantages of decentralized learning,model (the source model) to “teach” another new model (thewe give another example. Let us assume that OMRON is about

target model). In other words, it allows a new model to imitate

to develop a new cardiac diagnostic device. It can help early

the output of an existed model, without significant loss of per-detection of heart diseases by reading and analyzing usersʼ vitalformance. The original purpose of KD is mainly on model com-signs. Usually, the development of such a device would face apression, which means that, usually, the source model is a largehigh hurdle because vital signs are sensitive and private data,(deep) model, and the target model is a small (shallow) modeland annotations need expertise from doctors. With FL, OMRON

which is less expensive to be deployed in practice.

just needs to deploy the copies of their machine learning model

The reason a small model can approximate a large model into different hospitals, and get the models trained with the daily

its performance is that, firstly, a large model usually has somemedical data. At the hospital (client) side, operators only needexcessive capacity or power which is not fully utilized; sec-

to input patient data (vital signs, profiles, etc.) and correspond-

ondly and more importantly, a target model can benefit froming diagnosis into the model. Since the model neither uploads

learning “soft labels” from a source model. We will use anany private data to the OMRON side nor requires doctors toexample to explain the latter one.

make additional diagnoses beyond their daily work, the difficulty of development is greatly reduced.

Consider an image classification task, where one of theimages illustrates a cat playing with a mouse (see Fig. 1). Usu-

From the above example, FL is a promising decentralized

ally, the label (ground truth) will be “cat” only, since the catlearning framework and should be encouraged to use in prac-

occupies the main body of the image (it is theoretically possible

tice. However, some limitations of FL still exist, for example:
1. FL requires client model architectures to be identical. Usu-

but too ambiguous and inefficient to annotate this image as “catand mouse”). In this way, the information of the mouse will be
missing from the true label, and thus the machine learningally, it is applicable to just deploy the same model to all themodel that learns from the true label will only learn “this image

clients. However, this requirement is inconvenient underis showing a cat but nothing else”, which is actually not ideal.

some practical circumstances, such as that, clients may haveOn the contrary, in a KD scenario, the source model provides

needs of model customization (due to limitation of computa-“soft labels” rather than true labels. Assume that the source

tional resources, privacy policies, performance bias, etc.);model is well-trained (i.e., it can at least recognize cat andclients may already have their own trained models and wemouse precisely). Then in this case the model may produce awant to directly use them, and so on.

2. FL requires frequent data communication during the modeltraining process. Although such data communication doesclassification output like “70% cat, 30% mouse”. Unlike a truelabel that only represents one possibility, a soft label will represent all the possibilities in ratios. As a result, it can handle thenot involve private data, the data communication itself also

cases such as “A and B are in the same image” or “this object

brings limitations and concerns, such as network qualities,

looks like both A and B”, where the true label cannot. In KD,

securities, and so on. Also, if different clients have different

while the target model learns from soft labels (and from true(195) 47

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶ

labels, at the same time), it has been proved that it can performbetter compared with only learning from true labels.

2.3 How does our work differ from traditional knowledge
distillation?
When we distill knowledge from multiple sources, there is no
guarantee that all the sources provide outputs of the same quality. Different sources are likely to have different confidences
towards different categories of samples. Here, the confidence
may be due to many factors, for example, model architecture,
annotation qualities, number of training data samples, and so on.
Among them, the number of training data samples (on certain
categories) is a very common factor caused by data distribution.

Fig. 1 Should a machine learning model classify this image as a cat or a mouse?

Traditional decentralized learnings, both FL-based and KDbased, aggregate the output (model weights or soft labels)
evenly from multiple clients. It means that it does not distin-

2.2 How does knowledge distillation benefit decentralized
learning?

guish which client gives a more trustable output and train with abias accordingly. It is fine for IID (Independent and IdenticallyAs mentioned previously, the original usage of KD is mainly

Distributed) data. But in most cases, real-world data are non-about model compression, but KD can also benefit decentralized

IID. For example, patient data distribution will be diverse

learning. In a KD-based decentralized learning framework, thedepending on regions, seasons, hospital categories, and so on.

client side owns source models, and the server side owns a tar-

For the case of non-IID data, it is highly possible that some cli-

get model. The client side trains source models with their pri-ents have never seen some categories of data samples during

vate data and annotations, while the server side needs to collect

their training processes, and thus cannot provide confident out-

its own data and input them to source models to get output (softputs.

labels). After that, the server side trains the target model with its

In our work, we proposed an improved KD method, Decen-own data, and the corresponding soft labels which are aggre-

tralized Learning via Adaptive Distillation (DLAD). It allows

gated from all the clients.

the target model to selectively learn from source models, which

KD-based frameworks do not have the limitations of FL-

is an effective solution to non-IID data.

based frameworks mentioned in the previous section. First, KD
does not aggregate model weights but soft labels, so there is no

2.4 The details of DLAD

need to keep model architectures identical. Any client or server

In our distillation process, for each data sample sent from thecan have a unique model. Second, there is no frequent dataserver to the clients, we not only expect to get an output from

communication during the training process. Actually, the data

each client model but also want each client model can provide a

communication only occurs twice: once for the server sending

confidence estimation, which represents “how confident am I todata to the clients, and the other for the clients sending soft

correctly classify this sample”. In our scenario, this condition islabels to the server. The training processes (both on the client

simplified to “how familiar is this sample to me” to address theside and the server side) can be totally off-line.

issue of non-IIDness. It is rather tricky to let client models

KD also has its own limitations. During the above process,there is no data transfer from the client side to the server side,
so the data privacy of the clients is protected, however, there isdata transfer from the server side to the client side, whichmeans the server side still need to collect enough data. Also,

report their familiarity or confidence. Here we introduce our
implementation as follows.

Fig. 2 shows the overview of the proposed DLAD frame-work. In the figure, D1 … DN represents the data owned by cli-ents, M1 … MN (in black) represent the client-side models andthere is no need to annotate the server-side data by humanorange ones are their binary copies (explained later), Ddist repre-

labor, instead, the annotation is done by client-side models.

sents the data collected by the server side, and M represents the

Asking the clients to run their models may still incur costs.

model owned by the server side.

Compared with FL, requiring data collection may be a main
limitation of KD, however, for some types of tasks, it is not so
difficult to get unlabeled data, while sometimes the model heterogeneity can be a critical advantage.

48 (196)

MA Jiaxin

A Machine Learning System that Adaptively Aggregates Knowledge from Multiple Models

Aggregation
weight 𝑤𝑤𝑖𝑖

𝐷𝐷1
(labeled)
Output 1

Client model 𝑀𝑀1⋮

Aggregatedoutputs

Output N

Client model 𝑀𝑀𝑁𝑁

loss

𝐷𝐷𝑁𝑁
(labeled)

𝐷𝐷𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑(unlabeled)⋮⋮

Global model 𝑀𝑀
Global model
outputs
Fig. 2 The overview of DLAD

The training of DLAD has three steps.

Step 1, training client models. Clients train models M1 …

MN with their own data D1 … DN. (The models can be either
provided by the server or owned by the clients themselves.)model Mbi recognizes sample x similar to its own data Di andbecomes smaller otherwise.
Then, we aggregate Ci (x) from all the clients, to calculate aconfidence weight for each client, which is

Step 2, training binary models. The server sends Ddist to all

cation layer with a binary classification layer (with sigmoid⎛ x⎞
exp Ci ⎜ ⎟⎝T⎠wi ( x) =⎛ x⎞
Σ j exp C j ⎜ ⎟⎝T⎠activation to ensure the output is [0,1]). We call these new mod-wi (x) needs to be normalized across all the clients to ensure thatthe clients. Each client duplicates its trained client model(including model weights) and swaps the modelʼs final classifi-

els binary models (Mb1 … MbN). Then the binary models aretrained with both Ddist and Di (i = 1 … N), while Ddist will havelabels of 0s, and Di will have labels of 1s.

Step 3, training the server model. The clients run their(1)

it has the same scale. The above equation is equivalent to asoftmax normalization, with a hyper-parameter T that adjusts thesmoothness of output. Then the final aggregation result which isalso the label to train the model M would bemodels (both Mi and Mbi) with Ddist and send the outputs to the∑ i wi ( x)M i ( x)server (where the output of Mi becomes soft labels, and the out-(2)

put of Mbi becomes aggregation weights). The server aggregates

There are also some limitations of the design of DLAD. First, it

these outputs (into aggregated soft labels) and then uses theserequires each client to additionally train a model of Mbi. Second,

aggregated outputs and Ddist to train model M.

it is not always true that the more overlapping between Ddist andDi, the higher Mbi (x) is, also, since the structure of Mbi is inher-

We can see that the data communication between the serverited from Mi, it can be biased according to the difference ofand the clients only occurs at the beginning of each step. The

model architectures. Anyway, to improve this idea, for example,

model training processes can be totally off-line.

we may properly define a distance function to represent the dis-

The most important part of DLAD is how to design the con-tance between any new sample x and the dataset Di, and thenfidence of each model towards a certain sample, as well as theaggregate using Eq. 1. There are many possibilities to define

aggregation method. In our implementation, we define the con-this distance function. However, this exploration is not included

fidence of client i towards sample x as Ci (x) = Mbi (x). The con-in the current study.

cept of designing Ci (x) is that Ci (x) should become larger if the(197) 49

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶ

3. Experiments

3.1 Problem setting
To evaluate our method, we use image classification as our task.
This is a very common task of computer vision problems. In ourstudy, we choose three datasets, namely MNIST, CIFAR-10,

multiple of five (client 1~5 have the same data distribution asclient 6~10, and so on).

・ IID: all ten classes are accessible to all clients.

・ Non-IID #1: every two classes are exclusively accessible to

and CINIC-10 for evaluation. MNIST is a handwritten digit

only one client, e.g., c0 and c1 are accessible to client 1;

gle digits from 0 to 9. CIFAR-10 and CINIC-10 are both real-・ Non-IID #2: c0~c4 are accessible to all clients, and c5, c6,

database, which includes 28×28 pixel grayscale images of sin-world photo databases, and both include 32×32 color imagesof 10 classes. All of them are commonly used and publicly
available.
Note that image classification is a very popular problem inmachine learning studies. The abundance of public datasets andc2 and c3 are accessible to client 2; and so on.

c7, c8, c9 are exclusively accessible to only one clienteach.

・ Non-IID #3: every class is accessible to only two clientsamong five, e.g., c0 is accessible to clients 1 and 2; c1 isaccessible to clients 1 and 3; and so on.

baselines also attracts researchers to evaluate their machinelearning models on it. However, our proposed method can beapplied to any classification problem but not limited to computer vision. We hope the readers can have their own idea that
how to apply this method to the real-world problems that they

Table 1 The data distribution setting in our experiment: one IID case and three
non-IID cases
Client Index

5n+1

5n+2

5n+3

5n+4

5n+5

IID

c0~c9

c0~c9

c0~c9

c0~c9

c0~c9

Non-IID #1

c0, c1

c2, c3c4, c5c6, c7c8, c9In order to simulate a decentralized learning environment, we

Non-IID #2

c0~c4, c5

c0~c4, c6

c0~c4, c7

c0~c4, c8

c0~c4, c9

divided the datasets into client-side data and server-side data.

Non-IID #3

c0, c1, c2,c3c0, c4, c5,
c6

c1, c4, c7,c8c2, c5, c7,c9c3, c6, c8,
c9

are facing.

Among them, the client-side data is paired with ground truthlabels, and the server-side data is unlabeled. As in the realworld, unlabeled data is always much easier to get, we assign a

3.2 Experiment setting

larger part of data to server side. Specifically, for MNIST and

The experiment involves all the three steps of the training pro-

CIFAR-10, among their training sets (60,000 and 50,000 sam-ples, respectively) we assign 80% samples to server side andcess that were mentioned in Section 2.4.

Step 1, training client models. Theoretically speaking, it is

20% samples to client side. For CINIC-10, the whole validation

possible to assign any type of supervised machine learning

set (90,000 samples) is assigned to server side, and the wholemodel to each client, e.g., support vector machine, decision tree,

training set (90,000 samples) is assigned to client side.

and so on. In our experiment, though, we tested two deep learn-

After that, for each client, its own data Di is created bying models: ResNet18 8) and DenseNet 9). The reason for adopt-

repeatedly and randomly sampling (allowing duplicates) froming them is that both models are typical deep learning models

the data assigned to client side, until Di reaches a predeterminedthat are usually seen in papers. We use pre-trained weights (onnumber of data samples (which is arbitrarily determined as

ImageNet) on both ResNet and DenseNet to reduce the neces-

CINIC-10). If the data distribution is IID, Di will include dataepochs with a batch size of 250. Adam optimizer with the

6,000 for MNIST, 5,000 for CIFAR-10, and 20,000 forof all ten classes. If the data distribution is non-IID, Di will only

sary training time. Each client model Mi is trained for 50
learning rate of 0.001 is applied (the same below).

include data of a part of classes. For simplicity, Di is a balanced

Step 2, training binary models. After client models aredataset. For example, if Di includes data of six classes, thetrained, we duplicate each client model and swap the final layer

probability of each class being sampled should be 1/6. In a realworld problem, Di might be unbalanced, but it should not affectthe performance of DLAD.
In order to simulate the different levels of non-IIDness

with a binary-output layer to get the binary model Mbi and train

them for 20 epochs. If the training sample is from Di, we addi-

tionally apply a sample weight of 1.5 to alleviate the effect ofdata imbalance since in our problem setting Di has much fewer

existed in the real world, we defined one type of IID and threesamples than Ddist (see Section 3.1).

As either MNIST, CIFAR-10, or CINIC-10 has 10 classes ofchosen from ResNet and DenseNet, and its initial weights are

the data distribution, we assume that the number of clients is aepochs. A temperature parameter T of 0.05 is used for calculat-

types of non-IID data distributions. They are shown in Table 1.

data (noted as c0~c9 in Table 1), for simplicity, when we define

50 (198)

Step 3, training the server model. The server model is also
also pre-trained weights on ImageNet. It is trained for 100

MA Jiaxin

A Machine Learning System that Adaptively Aggregates Knowledge from Multiple Models

ing the weight aggregation as in Eq. 1.

unrelated to the image classification task, so it is not shown. In

During all the three training steps, data augmentation is

Step 1, the black line represents the mean validation accuracy

applied to the input data to increase the robustness, where thewhile the gray shade represents the area between max and min

following operations are used: rotation (within±20º), shift inwidth, height, and color (within 20%), and horizontal ﬂip.

accuracy of all client models. In Step 3, the red line is the accu-racy of standard DLAD; the green line is the method of simpleaverage aggregation; the blue line is DLAD with labeled confi-

We compare the result of standard DLAD with the other twobaselines. One is simple averaging, where the aggregation
weight wi (x) is fixed as 1/N (N is the number of clients). The

dence (they were explained in Section 3.2).

From Fig. 3, we can find the following facts:

other is labeled confidence, which calculates aggregation

・ For the IID case, since there is no difference in data distri-weight in the same manner as DLAD, but instead of letting thebution and model architecture among clients and server,

confidence Ci (x) = Mbi (x), it uses a ground truth label tothe server model is unlikely to be benefited or disturbed byexpress Ci (x). This ground truth label is equal to the class dis-any decentralized learning method. Still, the sever model

tribution probability. For example, for the four distribution cases

converges faster compared with client modes, and its final(IID and non-IID #1~3) in Table 1, if sample x belongs to c1,
Ci (x) is equal to 1/10, 1/2, 1/6, and 1/4, respectively, when i =1, and equal to 1/10, 0, 1/6, and 0, respectively, when i = 2.
The former baseline is the traditional strategy used in most(even recently) decentralized learning frameworks10,11), while
the latter one can be treated as DLAD with ideal values of con-accuracy is a litter higher, which is probably due to theeffect of soft labels and a larger number of training samples.

・ For the three types of non-IID cases, client modelsʼ accuracies are obviously low because they only have access totwo, six, and four classes of training samples, respectively

fidence, which is also a theoretical upper bond of DLAD.

(in other words, their performance would be capped at 0.2,

3.3 Experiment results

age aggregation (green) played a limited role where it

To evaluate the performance of our proposed method in various

helped boost accuracies in non-IID #1 and #3 but lost

situations, we conducted three experiments. Their details areaccuracy in non-IID #2. In other words, simple average is

0.6, and 0.4, respectively). In this situation, simple-aver-listed in Table 2. We control the variables of dataset, distribu-

not suitable for all the non-IID cases. Compared to that,tion, client model architecture, global model architecture, andDLAD (red) showed its effectiveness as well as stablenessthe number of clients. The experimental results are discussed as

in all the three non-IID cases. With labeled confidence

follows.

(blue), the performance can be further improved.
Table 2 The variables of experiment 1~3

The above results have already shown the usefulness of our

Variable

DatasetDistribution

Clientmodel

Globalmodel

No. ofclients

proposed DLAD method compared to the commonly used sim-

Exp1

MNIST,CIFAR-10,
CINIC-10

IID, NIID
1~3

ResNetResNet10

described in the original paper but not shown here, we have

NIID 1ResNet,DensNet,both

ResNet,DenseNet

10NIID 1~3

ResNet,DensNet,both

ResNet5, 10, 20,
30

Exp2

Exp3

CIFAR-10

CIFAR-10

ple-average aggregation. From our other experiment results
other observations as follows.
・ About datasets: The difficulty of tasks is like MNIST <CIFAR-10 < CINIC-10, so their accuracies decrease
accordingly. Anyway, DLAD showed no abnormal behavior on all three datasets.

Due to space limitations, we do not quote the complete resultsof experiments 1~3 in this article (they are described in theoriginal paper). We will use Fig. 3 as an example (experiment 1

on CINIC-10) to show how the experiment results look like. In
Fig. 3, the first 50 epoch is Step 1 which represents the training

process of 10 client models, and the last 100 epoch is Step 3

which represents the training (knowledge distillation) process ofthe server model (noted as “global” in the figure). Step 2 is・ About model architectures: In about half experiments,using a combination of ResNet and DenseNet as clientmodels gave better results in server model performance,compared with using identical architecture (ResNet or
DenseNet only). Our experiments only tested two modelarchitectures, so it might be not enough to prove thatdiversity in client model architectures necessarily benefits
DLAD results. But still, allowing customization of client(199) 51

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶ

CINIC10 IID validation accuracy
0.6

validation accuracy

validation accuracy

0.6

0.5

0.5

0.4

0.4

0.3

Client models
Global (DLAD)
Global (avg.)
Global (labeled)

0.2
0.1
0

20

40

60

80
epoch

100

120

140

CINIC10 NIID2 validation accuracy

0.3

Client models
Global (DLAD)
Global (avg.)
Global (labeled)

0.2
0.1

0

20

40

60

80
epoch

100

120

140

CINIC10 NIID3 validation accuracy

0.7

0.6

validation accuracy

validation accuracy

0.6

0.5

0.5

0.4

0.4

0.3

Client models
Global (DLAD)
Global (avg.)
Global (labeled)

0.2
0.1

CINIC10 NIID1 validation accuracy

0.7

0

20

40

60

80
epoch

100

120

140

0.3

Client models
Global (DLAD)
Global (avg.)
Global (labeled)

0.2
0.1
0

20

40

60

80
epoch

100

120

140

Fig. 3 The result of experiment 1 on CINIC-10

models without harming the overall performance will be agreat plus for real-world problems.

・ About the number of clients: The performance of DLAD

4. Conclusion

Starting from the background of decentralized learning, thisarticle introduced the details of DLAD, which is an original

showed a generally increasing trend with the number ofdecentralized learning approach based on knowledge distilla-clients. It indicates that DLAD is potentialized for large-

tion. The article mainly answered the following questions:scale usage.
To recap, the effectiveness of DLAD mainly attributes to themechanism of aggregation weights. If we can precisely estimate
the confidence of client models when doing aggregation, theperformance of DLAD will be enhanced to approach a highlevel (as DLAD with confidence labels). On the other hand, if
we cannot estimate the confidence due to some reasons, the per-・ Why is decentralized learning useful?

・ What are the features of federated learning and knowledge
distillation?

・ How does our method solve the non-IID issue?
・ How is our method implemented?

・ How do the experimental results of our method comparewith baselines?

formance of DLAD will be downgraded to approach the simpleaverage method. One of the possible reasons is the domain dif-

The author believes that decentralized learning, either FL-

ference between Di and Ddist. For example, assume Di is the data

based or KD-based, is a very promising and applicable technol-of Asian patients and Ddist is the data of American patients, thenogy for practical use. Hopefully, this article can stimulate read-a binary classifier can easily distinguish between the two groups

ersʼ interest and bring fresh ideas even new business chances to

no matter their samples have the same label or not. We should

their domains.

prevent such a case because no client model will show predominant confidence and thus the aggregation weights will not work
as intended.

References1）J. Ma, R. Yonetani, and Z. Iqbal, “Adaptive distillation for decentralized learning from heterogeneous clients,” in 2020 25th Int.

Conf. Pattern Recognit. (ICPR), 2021, pp.7486-7492.

52 (200)

MA Jiaxin

A Machine Learning System that Adaptively Aggregates Knowledge from Multiple Models2）A. Hard et al., “Federated learning for mobile keyboard prediction,”
arXiv. preprint arXiv:1811.03604, 2018.

3）H. B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. y
Arcas. “Communication-efficient learning of deep networks fromdecentralized data,” in Proc. 20th Int. Conf. Artiﬁcial Intelligenceand Statistics, 2017, pp.1273-1282.

4）K. Bonawitz et al., “Towards federated learning at scale: Systemdesign,” arXiv. preprint arXiv:1902.01046, 2019.

5）T. Nishio and R. Yonetani, “Client selection for federated learningwith heterogeneous resources in mobile edge,” in ICC 2019 - 2019

IEEE Int. Conf. Commun., 2019, pp.1-7.

6）J. Konečný et al., “Federated learning: Strategies for improving
communication efficiency,” arXiv. preprint arXiv:1610.05492,
2016.

7）G. Hinton, O. Vinyals, and J. Dean, “Distilling the knowledge in aneural network,” arXiv. preprint arXiv:1503.02531, 2015.

8）K. He, X. Zhang, S. Ren, J. Sun, “Deep residual learning for image
recognition,” in Proc. IEEE Conf. Comput. Vision and Pattern

Recognit., 2016, pp.770-778.

9）G. Huang, Z. Liu, L. van der Maaten, and K. Q. Weinberger,“Densely connected convolutional networks,” in Proc. IEEE Conf.

Comput. Vision and Pattern Recognit., 2017, pp.4700-4708.

10）J. H. Ahn, O. Simeone, and J. Kang, “Wireless federated distillation
for distributed edge learning with heterogeneous data,” in 2019
IEEE 30th Annu. Int. Symp. Personal, Indoor and Mobile Radio
Commun. (PIMRC), 2019, pp.1-6.

11）D. Li, and J. Wang, “Fedmd: Heterogenous federated learning via
model distillation,” arXiv. preprint arXiv:1910.03581, 2019.

About the Authors

MA Jiaxin, Ph.D. (Engineering)Research Administrative Division
OMRON SINIC X Corporation
Specialty: Biomedical Engineering andMachine Learning
The names of products in the text may be trademarks of each company.

(201) 53

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶ

過去の学習経験を組み合わせて適応するロボット
田中 一敏
システムインテグレータは顧客の要望する作業を自動化するためにロボットをプログラミングする。ロボットシ
ステムが構築される時だけではなく生産内容に軽微な変更が生じる時にも都度、プログラミングに大きな労力が必要とされている。もしロボットが自律的に新しい作業を学習できれば、この労力を省ける。このため、筆者らはロボットが新しい作業を効率的に学習する手法を新たに提案した。提案手法を用いたロボットは、過去の経験を活かして新しい作業を短時間で学習する。挿入方向の異なるペグインホールの実験を行い、提案手法の有効性を確認した。この手法によって、ロボットが新しい作業を短時間で学習できるようになり、ロボットを製造やサービスの新しい用途に利用できるようになる。

Adaptation to a New Setup by Combining Skills
TANAKA Kazutoshi
The robotic system integrator programs the robot to automate the work requested by the customer. Robotic workfor new parts that require minor changes in production requires a large amount of effort to programs the robot. If
the robot can learn new tasks autonomously, this effort can be eliminated. For this reason, we have proposed amethod for robots to learn new tasks. The robot using the method learns new tasks in a short period of time byutilizing its experience. To evaluate the usefulness of the method, we conducted experiments on a peg-in-hole taskwith different insertion directions. The method enables the robot to perform new tasks in a short time, which willlead to new ways of using robots for manufacturing and service.

1. まえがき（以後、SIer と表記）と呼ばれる人間が、ロボットを他のいて解説し（2 章）、ロボットが新しい作業を学習する既

完成し、利用できるようになる。

本稿では、ロボットが新しい作業を学習する必要性につ

存手法について検討し（3 章）、筆者らが開発した過去の経験を活用してロボットが新しい作業を高速に学習する手法（4 章）と実験結果（5 章）を紹介する。本稿は、筆者らが発表した論文1）を参照し、過去の学習経験を組み合わせて適応するロボットについて解説したものである。

2. ロボットによる新規作業学習の必要性

本章では製品生産を例として、産業用ロボットがどのように使われるかを紹介し、ロボットが新しい作業を学習する必要性について述べる。

2.1 ロボットシステムの構築方法

2）

産業用ロボットは、半製品と呼ばれる。すなわち、産業用ロボットのみ購入しただけでは、使えない。ロボットエ
ンジニア、あるいはロボットのシステムインテグレータ
Contact : TANAKA Kazutoshi kazutoshi.tanaka@sinicx.com

54 (202)

機械と組み合わせることで、はじめてロボットシステムは
ロボットシステムを導入する手順として、RIPS（Robotsystem integration process standard）が 定 義 さ れ て い る。この手順における各フェーズ（各作業工程）と SIer の仕事は以下のとおりである。

1．準備フェーズ（引合、企画構想）：顧客からの自動化
要望の取りまとめ

2．設計フェーズ（仕様定義、基本設計、詳細設計）：要件化、システム仕様の定義、設計

3．製造フェーズ（製造、内部テスト）：加工、組立、配線、プログラミング

4．テストフェーズ（統合テスト、ユーザテスト）：テス
ト5．稼働後（運用保守サポート）：保守
設計フェーズにおいて SIer は、操作対象物体と物体に対する操作を定義して、ロボット、エンドエフェクタ、セン田中 一敏

過去の学習経験を組み合わせて適応するロボット

サなどを選択し、ロボット用の架台、スライダー、治具、

3. ロボットによる新しい作業の学習

グラミングする。

ロボットによる新しい作業の学習について考察する。特ポジショナーを設計する。その後、ロボットの動作をプロロボットへのプログラミングは主に以下の 2 方式がある。

• ティーチングプレイバック方式• マニュアル数値入力方式

代表的なロボット作業である部品組立作業を例として、に、部品組立作業における基礎的な動作であるペグイン

ホールに着目し、新しい傾きの穴への挿入を学習することを考える。続いて、そのようなロボットによる新しい作業の学習を可能にする手法について既存研究を概観するとともに、筆者らの提案する新たな学習手法について解説する。

ティーチングプレイバック方式では、移動させたい位置

3.1 ロボット学習課題としての製品組立作業の新規物体操作

動するかを指示する。一般的に産業用ロボットはティーチ

き方を学ぶ技術として、強化学習4）がある。強化学習は、する。マニュアル数値入力方式では、ロボットの位置姿勢

在も強化学習を用いたロボットの作業学習に関する研究はをロボットに教示し、記憶させ、その位置へどのように移ングプレイバック方式（教示再生方式）でプログラミングを表す数値を直接入力する。

ティーチングプレイバック方式は、さらに以下の 3 方式に細分される。

ロボットやエージェントが試行錯誤を通じてタスクの解ロボットに作業を自動で獲得させることを可能にする。現活発に行われている。しかし、ロボットが既に学習した内容（経験）を活用して新しいタスクを短時間で学ぶことは未だ挑戦的な課題である。

• ダイレクトティーチング
• オンラインティーチング
• オフラインティーチング
ダイレクトティーチングでは、ロボットを直接掴んで動かしながらプログラミングする。オンラインティーチング
では、ティーチングペンダントを使ってロボットを動かしながらプログラミングする。オフラインティーチングでは、ロボットを動かさず、部品の幾何的情報を用いたシ

ミュレーションによってプログラミングする。これら 3 つの方式はいずれもロボットプログラミングにおいて多くの労力を要する。

2.2 新規の物体や作業に対するロボット自動適応

生産ラインでは、製品のマイナーチェンジなどがあり、それにともなうロボットの作業をプログラミングし直す必要がある 。加えて、現在行われているような単一品種大2）

量生産ではなく、ロボットによる多品種少量生産を目指す
場合、新しい部品の作業動作を、短時間でロボットに実装する必要がある。

新しい部品を扱う新しい作業におけるロボットの動作を、オフラインティーチングによって自動で生成する方向も検討されている 。オフラインティーチングは部品や作3）

図1

本論文における問題設定：過去の経験を活用した新しい傾きの穴へのペグインホールの学習

ロボット作業の基礎的な動作であるペグインホールについて考える。特に既にペグの挿入傾きが異なる場合のペグ
インホールを学習したロボットが、同じ部品（ペグ）を未知の挿入傾きでペグインホールを学習することを想定する（図 1）。これはペグ挿入の傾きが異なる一連のペグイン
ホールタスクであり、実際の製造において生じる製品の軽微な変更を想定している。

この新しい傾きの穴へのペグインホール学習は、転移強業の変化のうち幾何的な変更に対応するのに使われる。他

化学習の課題として捉えられる。新しい傾きの穴へのペグ

使える方法として、機械学習を用い、試行錯誤を通じて、きの穴へのペグインホールはソース環境と呼ばれ、新しいの、部品組立作業などの接触を多く含む動的な作業などにロボットの動作を獲得する方法もある。以下では、このロボットによる作業学習について検討する。

インホールを転移強化学習と捉える場合、過去実施した傾傾きの穴へのペグインホールはターゲット環境と呼ばれる。ペグインホールの転移強化学習は具体的には、以下の(203) 55

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶ問題として定式化できる。

定義される。

1．ソース環境とターゲット環境は同じタスクだが、状態遷移ダイナミクスは異なる。

2．正確な環境のダイナミクスは未知である。

3．ターゲット環境における学習時に、ソース環境との通信は不可能である。

ソース環境とターゲット環境の状態遷移ダイナミクスが異なる場合、ペグと穴が接触する位置も異なるため、穴の方向の小さな変化がロボットの状態遷移に大きな影響を及ぼす。すなわち、同じ状態で同じ行動を取っても、次の状態であるペグの位置や姿勢も変わる。ゆえに、穴の向きに応じた制御器が必要である。状態遷移ダイナミクスの完全

図2ある。ここでいうパラメータは、例えばリンクの重量、慣強化学習における目標は、報酬関数の時間総和である収なパラメータは未知か、不正確か、動的に変化するもので提案手法。既知モデルの集約による新規モデルの学習。

性テンソル、関節の粘性摩擦などがある。

益を最大化する最適な制御器を得ることである。提案手法

は分散して配置されており、ロボット間の通信チャンネル

た。提案手法は、実際のダイナミクスから収集したデータ

さらに、実際の製造において、工場のラインにロボットはほとんどない。このため、ロボット同士が情報を大規模に収集、交換するのは難しい。

3.2 製品組立作業のロボット学習

強化学習のうち、モデルベース強化学習は、サンプル効率が高く、ロボットの学習に適している。近年では、複雑なダイナミクスを扱うために、深層ニューラルネットワー
クが用いられている 。
5）

転移強化学習6）も、他のタスクで得られた経験を使うことでサンプル効率を高められる。転移強化学習は、報酬関数や、状態遷移ダイナミクスや、状態行動空間が既知のソース環境と新しい環境が異なる強化学習として分類される。方策、Q 関数、ダイナミクスモデルを転用する。転移強化学習に関する多くの成果があるが、状態遷移ダイナミ
クスの異なる環境間での転用に関する研究は限られている。特に、モデルフリー強化学習の手法が多く、サンプ

7-11）

ル効率の高いモデルベース強化学習には使えない。

には、サンプル効率の優れたモデルベース強化学習を用いを用いて、状態遷移 T を関数 g のモデルで近似する。モデルは行動の系列から状態の系列を予測するため、予測に基づいて最適な行動を選択できる。

転移強化学習の設定を用いた。ダイナミクスモデル gk

で 表 現 さ れ た K 個 の 関 連 す る 既 知 環 境（source environ-ment）を考える。このモデルは、パラメタライズされてな
くても、訓練できなくても良い。例えば、学習したニュー

ラルネットワークでも、システムを近似したヒューリス

ティックな規則を手動で設計したシミュレータでも良い。
モデルは、固定された訓練するパラメータのないブラックボックス関数でも良い。新しい環境における目標は、未知の状態遷移を近似したダイナミクスモデル gtarget を短時間で学べるよう G＝{gk} を活用してモデルベース強化学習のサンプル効率でさらに改善することである。

提案手法である TRANS-AM は、過去のモデルの出力の線形和として、新しいモデル出力を計算する。それに加えて、線形和の残差を補償するため、残差モデルを学習する

他の関連する研究領域はメタ学習である。メタ学習は、 （図 2）。

未知のタスクにロボットエージェントが高速に適応する方法である。メタ学習の多くはモデルフリー強化学習で12-16）

あるため、実用的なロボットの製品組立作業に使うのは難しい。
4.

ダイナミクスモデルを集約するモデルベース転用強化

学習1）

上述した問題を標準的な強化学習の問題として、あらためて定式化する。ロボットの部品組立作業をマルコフ決定

過程としてモデル化する。状態と行動の空間 S と A、状態

遷移 T、報酬関数 R からなるタプルでマルコフ決定過程は

56 (204)

すなわち、提案手法は既知のダイナミクスモデルの出力を適応的に集約し、同時に、集約結果の残差を予測し、補償する補助モデル（auxiliary model）を学習する。既知モデルの出力 st(+k1) = g k ( st , at ) は以下のように結合される。

( ) , ..., ( s ) ⎤⎦⎥ ∈

St +1 = ⎡ st(+1)1⎣⎢

(K ) 
t +1

K ×D

ここで、D は状態空間 S の次元である。新規環境におけるダイナミクスモデルを以下のように表現する。

g target = 1 (θ agg  St +1 , g aux ( st , at ; θ aux ) ])ここで、θ agg ∈  ( K +1)× D は訓練可能な補助重みパラメータ田中 一敏

過去の学習経験を組み合わせて適応するロボットの行列、 は要素ごとの積、1 は K＋1 の大きさの全ての

グリッパの位置と姿勢を用いて状態を定義した。水平成分

提案手法は、モデルベース強化学習のアルゴリズムで、弦と余弦からなる 6 変数で表現した。この際に、グリッパ

要素が 1 の列ベクトルである。この θ agg は正則化しない。

ネ ッ ト ワ ー ク の パ ラ メ ー タ θ = (θ agg , θ aux ) を 訓 練 す る。

Cross entropy method を用いて、モデルに基づく行動を生成する。

提案手法の利点をまとめる。提案手法はモデルベース強化学習であり、サンプル効率が高い。提案手法では収集しの位置と力は 3 変数で、グリッパの姿勢はオイラー角の正の位置は目標位置を原点とする相対位置で表現して正規化
し、力も特定の大きさで正規化した。また報酬は、目標位置までの距離と接触力の線形和で定義する。

ダイナミクスモデルはモデル予測制御で制御し、取得た過去のダイナミクスモデルを利用する。この過去のダイしたデータから学習した。ネットワークは Adam で最適化し、学習率は、0.01 に設定した。φ = 10° から φ = 0° へ

く、他の非線形関数による収集したデータの近似関数も利（K＝2）の TRANS-AM を試した。

る。例えばヒューリスティックに状態遷移が決まるシミュ

100 タイムステップとした。過剰な接触力が生じるか、穴定によって作ったモデルなどが利用できる。

ぐため、エピソードを失敗したとして、終了した。最初のナミクスモデルとして、ニューラルネットワークだけでな用できる。他にも、あらゆるブラックボックスが利用でき
レータ、物体の先験的知識を用いた概形とパラメータの同

5. 実験

1）

提案手法の実用性を評価するため、異なる穴の傾きのペ

グインホールタスクを行った（図 3）。実験には、ロボッ

トアーム UR5 （Universal Robots） を用いた。ロボットの 転 移（K＝1）と、φ = {−10°, 10°} か ら φ = 0° へ の 転 移
学習の 1 セッションは 20 エピソード、1 エピソードはからペグが過剰に離れた場合、ロボットや部品の破損を防
2 エピソードでは、ランダムに行動を決定した。異なる 5

つのランダムシードを試し、5, 10, 15, 20 エピソードでの成功率を計算した。
表1

アームには筆者らが開発した柔軟手首 、グリッパ（2F17）

85, ROBOTIQ）、6 軸力覚センサ（FT300, ROBOTIQ）を搭載した。グリッパの位置と姿勢は 6 個のモーションキャプ
チャカメラ（FLEX13, OptiTrack）で計測した。ペグとして、ス テ ン レ ス 製 の、直 径 10 mm の も の を 用 い て、グリッパに固定した。ペグと穴の公差は H7/h7 であった。異なるペグの傾きを試した。φ ∈{−10°, 0°, 10°} と変更した。

図3

実験に用いたロボットシステムの概観

モデルベース強化学習における行動として、ロボットの初回成功エピソードの平均と標準偏差。
各エピソードにおける成功率。

First Success e＝5 10
Baseline

1520

9.25±5.49

0.2

0.4 0.6 0.8

TRANS-AM（K＝1） 8.20±5.34

0.4

0.6 0.8 1.0

TRANS-AM（K＝2） 7.20±3.37

0.4

0.6 1.0 1.0

図4

収益比較。

表 1 に 成 功 率 と 初 回 成 功 の 平 均 と 標 準 偏 差 を 示 す。

手先（アームの先端）速度の水平方向成分を用いた。ただTRANS-AM がソースダイナミクスモデルを用いて、先見められた目標手先速度から、ロボット制御のフレームワー

早めたことが分かる。図 4 から、TRANS-AM の方が、早い

し手先の傾きは一定に維持すると仮定する。行動として決クである MoveIt

を用いて目標関節角速度を計算し、516）Hz でロボットに送った。手先の位置、接触力の並行成分、的知識なしに学習するベースラインよりも、初回の成功をエピソードで高い報酬を得たことが分かる。図 5 に成功したエピソードのスナップショットを示した。以上のよう(205) 57

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶに、TRANS-AM が短期間での適応を可能にすることが分かった。

2018, p.4754 – 4765.

6）Taylor, M. E.; Stone, P. Transfer learning for reinforcement learning
domains: A survey. J. Mach. Learn. Res. 2009, Vol.10, No.7,

p.1633-1685.

7）Chen, T.; Murali, A.; Gupta, A. “Hardware conditioned policies for
multi-robot transfer learning”. Advances in Neural Information

Processing Systems. 2018, p.9333 – 9344.

8）Barekatain, M.; Yonetani, R.; Hamaya, M. “Multipolar: Multisource policy aggregation for transfer reinforcement learning
between diverse environmental dynamics”. International Joint Conference on Artiﬁcial Intelligence. 2020, p.3108-3116.

9）Song, J.; Gao, Y.; Wang, H.; An, B. “Measuring the distance
between ﬁnite markov decision processes”. International Confer図5

学習したペグインホールの外観。

6. むすび

本稿では、新しい作業をロボットが学習する必要性につ

ence on Autonomous Agents and Multiagent Systems. 2016,
p.468-476.

10）Yu, W.; Liu, C. K.; Turk, G. “Policy transfer with strategy optimization”. International Conference on Learning Representations.
2019.

いて解説し、筆者らの提案するロボットの学習方法を紹介

11）Rajendran, J.; Lakshminarayanan, A. S.; Khapra, M. M.; Prasanna,

提案手法によって、ロボットが過去の経験を活用するこ

tecture for adaptive transfer from multiple sources in the same

した。

とで、新しいタスクに対して高速に作業を学習することが可能になった。この手法を発展させて使うことで、生産する製品の軽微な変更に対して自動で新しいロボット動作を作成できる。加えて、ロボットによる多品種少量生産が可能にあり、一人ひとりに合った製品を届けることが可能になる。さらに、ロボットプログラミングのコストを下げることで、製品組立作業にとどまらず、様々な単純手作業のロボットによる代替が現実的な選択肢になる。

多数のモデルを既に学習していた際に、どのモデルを学習するのか、また、将来においてダイナミクスを再利用することを考慮して、使いやすい形でモデルを学習する方法
は、この研究において残された課題であり、筆者たちが今取り組んでいる課題である。

P.; Ravindran, B. “Attend, adapt and transfer: Attentive deep archidomain”. International Conference on Learning Representations.
2017.

12）Vanschoren, J. Meta-learning: A survey. arXiv:1810.03548, 2018,.
（参照 2021-10-01）

13）Nagabandi, A.; Clavera, I.; Liu, S.; Fearing, R. S.; Abbeel, P.;

Levine, S.; Finn, C. “Learning to adapt in dynamic, real-world
environments through meta-reinforcement learning”. International
Conference on Learning Representations. 2019.

14）Sæmundsson, S.; Hofmann, K.; Deisenroth, M. “Meta reinforcement learning with latent variable gaussian processes”. Conference
on Uncertainty in Artiﬁcial Intelligence. 2018, Vol.34, p.642 –
652.

15）Clavera, I.; Rothfuss, J.; Schulman, J.; Fujita, Y.; Asfour, T.; Abbeel,P. “Model-based reinforcement learning via meta-policy optimization”. Conference on Robot Learning. 2018, p.617-629.

16）Schoettler, G.; Nair, A.; Ojea, J. A.; Levine, S.; Solowjow, E.

参考文献
1）Tanaka, K.; Yonetani, R.; Hamaya, M.; Lee, R.; Drigalski, F.; Ijiri,

Y. TRANS-AM: “Transfer Learning by Aggregating Dynamics
Models for Soft Robotic Assembly”. IEEE International Confer-ence on Robotics and Automation. 2021.

2）経済産業省，日本ロボット工業会．ロボットインテグレータのスキル読本．2018, 87p.

3）小沢邦昭，熊本健二郎，明石吉三，中田英樹．オフラインロ
ボット教示における高速干渉チェックの一方式．日本ロボット学会誌．1986, Vol.4, No.2, p.79-88.

4）Sutton, R. S.; Barto, A. G. Reinforcement Learning: An Introduction, MIT Press, 1998, 344p.

5）Chua, K.; Calandra, R.; McAllister, R.; Levine, S. “Deep reinforcement learning in a handful of trials using probabilistic dynamics
models”. Advances in Neural Information Processing Systems,

58 (206)“Meta-reinforcement learning for robotic industrial insertion
tasks”. International Conference on Intelligent Robots and Systems, 2020. p.9728 – 9735.

17）Tanaka, K.; Drigalski, F.; Hamaya, M.; Lee, R.; Nakashima, C.;

Shibata, Y.; Ijiri, Y. “A Compact, Cable-driven, Activatable Soft
Wrist with Six Degrees of Freedom for Assembly Tasks”. IEEE/
RSJ International Conference on Intelligent Robots and Systems.
2020, p.8752-8757.

18）Chitta, S.; Sucan, I.; Cousins, S. Moveit! IEEE Robotics & Automation Magazine. 2012, Vol.19, No.1, p.18-19.

田中 一敏

過去の学習経験を組み合わせて適応するロボット

執筆者紹介
田中 一敏

TANAKA Kazutoshi

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：知能ロボット工学
所属学会：日本ロボット学会
博士（情報理工学）
本文に掲載の商品の名称は、各社が商標としている場合があります。

(207) 59

OMRON TECHNICS

60 (208)

Vol.53 No.2（通巻 165 号）2021

2. 人から学ぶ 人のように学ぶ3
人と協調する 人とともに働く

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く

新しい現場で簡単に立ち上げる
米谷 竜
ある環境におけるタスクに関して獲得された知識を活用し、別の環境におけるタスクの学習を効率化するアプ
ローチとして転移学習がある。本稿では特に転移強化学習をとりあげ、その概要を紹介するとともに、著者らの最近の成果である MULTIPOLAR（MULTI-source POLicy AggRegation）を解説する。
MULTIPOLAR は、転移元・転移先環境の間で状態遷移確率分布が未知かつ異なる状況を対象とした転移強化学習手法である。同様の問題を扱う先行研究の多くと異なり、MULIPOLAR は転移元環境において獲得された方策関数
を適応的に統合して学習に利用するため、環境において学習サンプルを収集する必要がないという利点がある。
OpenAI Gym 環境におけるシミュレーション評価によって、MULTIPOLAR の有効性を確認している。

Adapting Machine Learning Models to New Environments
YONETANI Ryo
Transfer learning is a machine-learning approach that leverages knowledge acquired from a certain environment
to efficiently train a model in a new environment. In this paper, we particularly focus on transfer “reinforcement”
learning and introduce a brief abstract and our recent achievement called MULTIPOLAR (MULTI-source POLicy
AggRegation). MULTIPOLAR is a method for transfer reinforcement learning between diverse environmental
dynamics. It enables transfer by adaptively aggregating policy functions acquired from source environments, thus
does not require many training samples to be collected from each of the source environments. Through extensive
simulation evaluations using OpenAI Gym, we confirmed the effectiveness of the proposed approach over existing transfer reinforcement learning methods.

1. まえがきである。これに対して、現場ごとにデータを大量に収集・スクを実現できるようにするためには、そのタスクにおいモデルが獲得できると考えられる。しかしながら、データ

機械学習においてモデルが識別や生成、制御といったタて期待される入出力を表現するデータ（学習データ）を収集する必要がある。このデータ収集が機械学習を成功させる鍵の一つとなる―ある現場において、モデルに高いパ学習することで、その現場に適応した高パフォーマンスの収集・学習それぞれにかかる時間・資源的コストの観点から、このようなアプローチは必ずしも現実的ではない。

このような課題を解決する一つのアプローチとして、転フォーマンスを発揮させるためには、その環境に現れうる

移学習と呼ばれる技術がある。転移学習は「ある問題（転望ましい。なぜならば、学習されたモデルを同現場におい題（転移元）のデータや学習結果を再利用する」技術を広現象を広くカバーした学習データを用意できていることがて運用する際、学習時に含まれなかった入力に対して期待移先）を効果的かつ効率的に解くために、別の関連した問（括弧内は著者による注記）。「ある問題」を「新く指す1）される出力を得ることは必ずしも保証されないためであしい現場におけるモデルの運用」、「別の関連した問題の一方で、現実世界において機械学習モデルの運用を期待したデータ」と読み替えると、先の課題との対応が見える。

する現場は数多く存在するものの、また現場によってデー

タの計測条件やタスクの細かな種別はしばしば異なる。

「監視カメラの設置場所ごとに光源環境が異なる」「製造現場においてラインごとに扱う部品が異なる」などがその例
Contact : YONETANI Ryo ryo.yonetani@sinicx.com

62 (210)

データ」を「そのモデルを学習するために別の現場で収集る。すなわち転移学習を用いることで、多様な現場のそれ

ぞれにおいて機械学習モデルを一から構築するのではな
く、過去の現場から得られた何らかのデータを活用して学習を効率的にすることができる。より具体的には、たとえば扱う部品が同種ではあるが完全には一致しないような製造ラインが多数存在するとき、あるラインで収集したデー米谷 竜

新しい現場で簡単に立ち上げる

タや獲得したモデルを用いて、別のラインにおける機械学

行動の “良さ” を示す報酬という量のみが教師信号としてる。

行動ではなく、長期にわたる行動の “系列” を推定する必習モデルの立ち上げを早期化・省力化することが期待されこのような転移学習は、機械学習およびその関連分野において長らく取り組まれてきた課題である。深層学習の発展とともに近年研究が活発であるドメイン適応やマルチタ
スク学習、メタ学習などのトピックとも関連が深い。さら与えられる点、そのようななかで単一時刻における適切な要がある点などにおいて、一般によく知られる教師あり学
習とは大きく異なる。その結果、強化学習はロボットマニ
ピュレータの制御や自動走行ロボットの制御4）、ヘルスケ

ア5）、ゲーム AI6）など、「ある環境において、長期的に効に、転移元・転移先においてどのようなデータが利用可能

果のある意思決定をしたい」という要求のある応用シーン

本稿では、転移強化学習―すなわち強化学習のための転移

一方で、強化学習では固定された学習データセットが与かによって、様々な派生問題やその解決手段が存在する。

において、幅広い活用が期待されている。

学習を取り上げ、その概要に加えて「転移元と転移先で環えられるのではなく、エージェント自身の行動に基づいてデータにアクセスできない」といった状況を扱うことが可め、エージェントの行動に対して何かしらのリスク（たと境の従う状態遷移確率分布が異なる」「転移元における生能な著者らの研究成果2）を紹介する。

学習サンプルが逐次的に収集されることになる。そのたえば誤ったマニピュレーションによってロボットが緊急停止、あるいは破損してしまうなど）が無視できないケース

2. 研究の背景

では、「いかに少ないデータから良い方策を学習できるか」が重要な課題となる。これを解決する一つのアプローチ

2.1 強化学習

転移強化学習の前に、まずは基本的な強化学習 の問題
3）が、次節で紹介する転移強化学習である。

設定と応用について簡単に述べる。強化学習では、マルコ

2.2 転移強化学習

された環境において、ある決められたルール（方策；pol-することにより、転移先における強化学習をなるべく少なMDP は M = (ρ0, γ, S, A, R, T) というタプルで表現される。S

MDP によってモデル化され、転移元・転移先の MDP がど

フ 決 定 過 程（Markov Decision Process; MDP）で モ デ ル 化icy）に基づいて行動するエージェントを考える（図 1）。
はエージェントのとりうる状態が定義される空間（状態空間）、A はエージェントがとりうる行動の定義される空間（行動空間）を表す。エージェントは（1）観測された現在の状態 st ∈ S において、方策 π (at | st, θ) に基づいて（2）行動 at ∈ A を選択し、（3）あらかじめ決められた報酬関転移強化学習では、転移元の環境で得られた知識を活用

いサンプルで実現することを目指す7）。それぞれの環境はのように異なるか、転移元環境の “知識” として具体的に何が与えられるかといった条件に基づいて、いくつかの問

題に派生する。たとえば、Successor Features と呼ばれる有名な研究8）では、転移元と転移先で報酬関数が異なる状況を扱っている。転移元からは状態遷移サンプル（st, at, st+1）

数 R に 基 づ い た 報 酬 rt = R (st, at) を 受 け 取 る。そ の 後、が収集され、そのサンプルを用いて新たな環境における未づいて次の状態へと遷移する。ρ0 は初期状態を定義する分る。より挑戦的な課題として状態空間、行動空間、および

エージェントは（4）状態遷移確率分布 T (st + 1 | st, at）に基布である。このような枠組みにおいて、強化学習は累積報酬 ∑ k = 0 γ krt + k を最大化する方策のパラメタ θ の推定を目指す（γ は割引率）。

知の報酬関数を推定するという形で方策の学習を効率化す
状態遷移確率分布までもが環境間で異なるという状況を扱う研究も存在する9）。同研究はこのようなケースに対して、両環境で共通に利用できる特徴空間を学習し、そこで方策を学習することによる転移を実現している。
2.3 状態遷移確率分布の異なる環境間の転移

とりわけ本稿では、環境間で状態遷移確率分布 T のみが異なるという問題設定を考える。直感的には、「エージェントが同一の状態 st で同一の行動 at を取った後の、次の状
態 st + 1（より正確には次にある特定の状態に遷移する確率）が異なる」ということを示す。たとえば、ロボットマ
ニピュレータにおいてリンクの長さや重さが異なるケース

図1

強化学習の枠組み

このように強化学習は、エージェントによる個別の行動に対して何かしらの明確な正解が与えられるのではなく、が挙げられる10）。また、自動走行ロボットの制御においては、車載物の重量や路面状況が状態遷移確率分布に影響を与えるであろう。文献10）で取り上げられているように、
このような課題の難しさは、実際の状態遷移確率分布が転(211) 63

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く

移元・転移先それぞれの環境においてしばしば未知である

ボットの持つキネマティクスやダイナミクスが異なれば、どのように推定するか、あるいは環境間の状態遷移確率分

結果として最適となる方策も異なる10）。各環境においてサという点にある。したがって、未知の状態遷移確率分布を

それらは異なった MDP としてモデル化されることとなり、布の違いをどのように定量化するかが、同問題を扱う転移

ンプルを大量に収集し学習に活用できるかどうかは、現場

このような課題に取り組んだ関連文献を紹介したい。転キュリティ等の都合から閉じたネットワークの中でロボッ

強化学習において重要な課題となる。

移強化学習における先述の課題を解決するために、既存研究の多くは転移元の環境から学習サンプル（st, at, st + 1）あ

それぞれのストレージや通信環境に依存する。たとえばセトが稼働するケースであれば、転移元環境から逐次的に学
習サンプルを集める必要のある既存手法10）13）14）の適用は

るいは（st, at, st + 1, rt）を大量に収集し活用する。たとえば難しい。

転移元・転移先における MDP の違いを定量化している。

らかの方法で獲得された方策関数が与えられるという別の

文献11）12）では、転移元から収集したサンプルを利用してこのような定量化に基づいて、転移先に最も類似する転移
元環境を特定し、転移学習に活用することができる。一

これに対して本研究では、（複数の）転移元環境から何問題設定を考える。製造現場における上記の例であれば、各現場において個別のロボットを動かす制御アルゴリズム

方、文献10）では転移元環境が多数与えられる問題設定を（＝方策関数）を集約し活用することで、新たな現場におや implicit encoding と呼ばれる）に応じて異なる行動を出策関数は、ヒューリスティックに設計されたルールの集合

取り上げ、環境を表現する条件パラメタ（explicit encoding

力可能な方策を学習する。これにより、未知の転移先環境においても、その環境に対応する条件パラメタから適切な行動を選択可能となっている。同文献ではさらに環境間で状態空間や行動空間が異なる状況においても同様の手法が適用できる可能性を示している。

なお、多数の転移元環境を想定した設定は、メタ学習やマルチタスク学習等類似するトピックの研究でも見られる。たとえば文献13）では、それぞれ異なるルールに従う

サブ方策と、与えられたタスクに対してどのサブ方策を利用するかを決定するマスター方策を、多様な環境から収集されたサンプルを用いてメタ学習するアプローチを提案しける方策の獲得を効率化することを目指す。このような方であろうと、強化学習を含む機械学習でデータドリブンに獲得されたモデルであろうと、既存研究で必要とされる学習サンプル集合と比較するとデータサイズが大幅に小さく、また転移元・転移先間での情報のやりとりも一度です
むため、先に述べたストレージや通信環境に関する課題に対処することができる。一方で、各転移元環境から共有された方策関数自体は同環境の状態遷移を記述するものではない。すなわち、転移先環境においてその方策がどの程度有効に働くかは未知という新たな問題が生まれることにな
る。

こ れ に 対 し て 本 研 究 で は、MULTIPOLAR（MULTI-ている。類似するアプローチは Actor-mimic と呼ばれる手

source POLicy AggRegation）と呼ばれる新たな転移強用いた方策のマルチタスク学習にもとづいて、新たなゲーム

LAR は、複数の転移元環境から収集された方策関数の出法14）でも採用されており、ルールの異なるゲームを複数においても効率的に方策を転移できることを示している。

3. MULTIPOLAR: Multi-source Policy Aggregation

以降では、環境間で状態遷移確率分布の異なる状況を想定した転移強化学習に関する、著者らの近年の取り組み

2）を紹介する。まず本節では研究のモチベーションと具体的なアプローチを解説し、次節で評価実験の結果を報告する。

3.1 モチベーション

化学習手法により、この問題の解決を目指す。MULTIPO力を、転移先環境における累積報酬が最大化されるように、強化学習の枠組みの中で “適応的に統合” する。以降の節で解説するように、この統合は転移元・転移先環境それぞれの状態遷移確率分布が未知であっても実現できる。
さらに、同じく方策の統合を行う他の手法15）と異なり、行動空間が連続・離散いずれの場合も扱うことができるという応用範囲の広さを利点として持つ。
3.2 準備MULTIPOLAR の解説にあたって、与えられた複数の転移元各環境をインデクス付きの MDP Mi =(ρ0, γ, S, A, R, Ti)

2.3 節で紹介したとおり、環境間における状態遷移確率として表現する。ある 2 環境において Ti ≠ Tj、かつ全ての習サンプルが大量に必要となる。しかしながら、このよう

Ti に基づいてサンプルを収集することもできないものと仮分布の違いを扱う既存研究は、しばしば転移元における学環境において Ti は未知である。さらに、既存研究と異なりな前提に基づく学習は現実の場面において必ずしも容易で定する。

がマニピュレーションタスクに取り組むシナリオを考えいて方策関数 μi: S → A が与えられるものとする。この方はない。たとえば、さまざまな製造現場においてロボットる。たとえそれらのタスクが同一であったとしても、ロ64 (212)

このような状況において本研究では、ある環境 Mi にお策関数 μi は決定的であり、ニューラルネットワークのよう米谷 竜

新しい現場で簡単に立ち上げるに陽にパラメタ化されたモデル、あるいは人によってヒューリスティックに設計されたアルゴリズムなど、さまざまな形態をとりうる。いずれにしても、それぞれの方策関数がどのような状態遷移確率分布を持つ環境でどのように設計・獲得されており、転移先環境においてどの程度の性能を発揮するかは、学習時に未知である。

いま、合計 K 種類の転移元環境から方策関数の集合 L ={μ1,…, μK} が与えられたとする。このとき、本研究のゴールは、新たな環境において累積報酬を最大化する方策

図2

πtarget (at | st; L, θ) のパラメタ θ を、強化学習のなかで効率的に推定することとなる。

MULTIPOLAR の全体図

F(st; L, θagg, θaux) = Fagg(st; L, θagg) + Faux(st; θaux)（3）

3.3 方策関数の適応的統合

この補助ネットワーク Faux は 2 種類の機能を持つ。

関数の統合について述べる（図 2 も参照）。転移先環境に

1）もし Fagg が転移先環境において既に最適に近い行動

μi を用いて決定的に得られる行動を at(i ) =μi (st) とおく。連(i )続行動空間では、at は D 次元の実数ベクトルであり、あ2）一方で Fagg が転移先環境において有効でない場合、ている。一方行動空間が離散である場合、at は D 種類のことができる。なお、類似したアプローチは残差方以下では、MULTIPOLAR の一番のポイントである方策

おいて観測された状態 st に対して、ある転移元の方策関数

る時刻 t において同時に実行される D 種類の行動を表現しを出力できている場合、Faux はさらに高い累積報酬を獲得するための「補正項」としての役割を果たす。

Faux は累積報酬を最大化するための行動を学習する(i )行動から一つを選ぶワンホットベクトルとなる。いずれの策学習（residual policy learning）と呼ばれる手法16）17）

場合も、方策関数集合 L のそれぞれの要素に対して同様のにも見られる。ただしこれらの既存研究は、転移元とができる。

を扱うという点で本研究の取り組みとは大きく異なの方策が単一、かつ行動空間が連続という状況のみ行動を考えることで、以下のような行動行列を定義するこ( ) , ..., (a )  ∈

At =  at(1)⊤(K ) T
t

K ×D

る。

（1）

MULTIPOLAR では、この At を強化学習のループにおいて累積報酬を最大化させるように適応的に統合する。この
統合結果は転移先での方策の学習において「およそこのように行動すれば良い」という帰納バイアスを与えるものであり、転移元の状態遷移分布 Ti を知ることなく推定可能で3.5 方策の構成

上記の関数 F (st; L, θagg, θaux) をリパラメタライズすることで、転移先環境の方策 πtarget (at | st; L, θ) として用いることができる。たとえば連続行動空間を扱う場合、F(st; L, θagg,θaux) を平均とするガウシアン方策として πtarget を与えればある。より具体的には、以下のような適応的統合関数 Fagg:

よい。一方、行動空間が離散である場合、F(st; L, θagg, θaux)

1
Fagg ( st ; L,θ agg ) = 1K (θ agg  At )Kて扱うことができる。いずれの場合も、方策 πtarget(at | st; L,

S → A を定義する。

（2）

ただし、θ agg ∈  K × D は学習可能な統合重み、 は行列の要素ごとの積、1 は全要素が 1 である K 次元ベクトルを表Kす。θagg は状態 st によらず学習の中で一つに決まり、またをソフトマックス関数によって正規化することで方策としθ) のパラメタは θ = [θagg, θaux] のみであり、方策を直接更新可能な標準的な強化学習アルゴリズムによって学習可能である。

正規化・正則化されずに推定される量である。その結果

4. MULTIPOLAR の性能評価

るのではなく、外挿することや、重要と思われる行動を強MULTIPOLAR の評価結果を紹介する。 なお、本評価実験にも可能である。

github.com/omron-sinicx/multipolar）において公開されてい

MULTIPOLAR は転移元から得られる行動を単純に内挿す
調すること、あるいは逆に有効でない行動を抑制すること

3.4 補助ネットワーク

図 2 に示すように、MULTIPOLAR では Fagg に加え、以下のような補助ネットワーク Faux: S → A を導入する。

本節では、文献2）において実施した OpenAI Gym による用いたプログラムは、著者らの GitHub リポジトリ（https://る。

4.1 評価設定

評 価 環 境 と し て、OpenAI Gym か ら CartPole, Acrobot,

LunarLander, RoboschoolHopper, Roboschool Ant, Roboschool(213) 65

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く

InvertedPendulumSwingUp という 6 種類のシミュレーショ

ン環境を選択した。それぞれの環境は、ロボットのリンク長や重量、摩擦など、MDP の状態遷移確率分布を特徴づ（episodic reward）がタイムステップとともにどのように改善されていくかを記録、他手法と比較した。

けるいくつかのキネマティクス、ダイナミクスパラメタが含

4.2 実装と比較手法

ことにより、環境ごとに状態遷移分布の異なる 100 種類のよ り 実 施 し た。LunarLander 環 境 で は Soft Actor Critic19）、

まれる。本評価ではこのパラメタをランダムに変化させる

環境インスタンスを作成した。いくつかの例を図 3 に示す。

全ての実験は Stable Baselines18）をベースとした実装にその他の環境では Proximal Policy Optimization20）を用いて方策を学習した。

また MULTIPOLAR の比較手法として、以下を評価した。

• 多層パーセプトロン（MLP）：転移先環境で新規に方策を学習するベースラインであり、転移元環境の情報の有無が与える影響を評価できる。

• 残 差 方 策 学 習（Residual policy learning; RPL）：
MULTIPOLAR において K=1 の場合に相当するベース
ラインであり、転移元環境が複数与えられることの利点を評価できる。

図 3 状態遷移確率分布の異なる転移元環境（souce agents）と転 移 先 環 境（target agents）。（文 献 2）よ り 引 用。Copyright（c）2020 International Joint Conferences on Artificial
Intelligence, All rights reserved.）

さらに、各環境インスタンスに対して、多層パーセプト

ロン（MLP）でモデル化された方策を学習し、転移元における方策関数として利用した。MULTIPOLAR の評価にあ• Attend, adapt, and transfer (A2T)15）：MULTIPOLAR

において Fagg のパラメタが、st を入力とした別モデル

によって与えらえる場合に対応する。もともと A2T は離散行動空間のみを扱うが、ここでは MULTIPOLARと同様に統合結果をガウシアン方策の平均として利用 す る こ と で、連 続 行 動 空 間 に お け る 学 習 に 対 応した。

たっては、1）まず 100 種類のうちそれぞれのインスタン

4.3 実験結果選択された K=4 種類のインスタンスを転移元環境としてトした。さらに、学習終了時における、全エピソードにわ用することで、3）転移先環境におけるエピソード報酬

表 1 に示した。

スを転移先環境として設定し、2）自身以外でランダムにさらに選択、対応する方策関数の集合 L = {μ1, ..., μK} を利

図 4 に環境・手法ごとのエピソード報酬の変化をプロッ

たるエピソード報酬の平均値（average episodic reward）を

図 4 エピソード報酬の変化（文献 2）より引用。Copyright（c）2020 International Joint Conferences on Artificial Intelligence, All
rights reserved.）

66 (214)

米谷 竜

表1

新しい現場で簡単に立ち上げる

平均エピソード報酬の比較（文献2）より引用。Copyright（c）2020 International Joint Conferences on Artificial
Intelligence, All rights reserved.）

CartPole

Acrobot

LunarLander

MLP

291

-111

216

RPL

289

-98

246

A2T

281

-120

226

MULTIPOLAR

299

-96

246

HopperAnt

InvertPendulum

MLP

92

1500

409

RPL

152

1432

322

A2T

126

1361

458

MULTIPOLAR

283

1744

588

するため、同環境において学習サンプルを大量に集める必要がない。また、行動空間が連続・離散いずれの場合においても、一貫した方法によって方策の転移を実現できる。
MULTIPOLAR は、強化学習の中でも特にモデルフリー

学習を対象とした手法である。一方、転移元で獲得されたモデルを転移先環境において適応的に統合するというアプ
ローチ自体は汎用的であり、我々はモデルベース強化学習21）、教師あり学習22）、教師なし学習23）においてもその有効性を確認している。興味のある読者は参照されたい。

参考文献
1）神蔦敏弘．転移学習．人工知能学会誌．2010, Vol.25, No.4,
p.572-580.

2）Barekatain, M. et al. “MULTIPOLAR: Multi-Source Policy Aggregation for Transfer Reinforcement Learning between Diverse Envi-

CartPole のような簡単な環境を除いて、転移元環境の方策を活用する RPL, A2T, MULTIPOLAR はより少ないタイ

ムステップで高いエピソード報酬を獲得できていることが分かる。これらの 3 手法間の優劣は環境によって異なる
が、いずれの場合も MULTIPOLAR が最も高い性能を示している。

MULTIPOLAR の挙動をさらに分析するため、図 5 では

ronmental Dynamics”. Proceedings of the International Joint Con-

ference on Artificial Intelligence. 2020, p.3108-3116. doi:10.
24963/ijcai.2020/430.

3）Sutton, R. S.; Barto, A. G. Introduction to Reinforcement Learning.
1st ed., MIT Press, 1998.

4）Kober, J. et al. Reinforcement Learning in Robotics: A Survey. The
International Journal of Robotics Research. 2013, Vol.32, No.11,

p.1238-1274.

4 種類の方策関数のうち 2 種類を高性能な方策（μ1, μ2）、

5）Gottesman, O. et al. Guidelines for Reinforcement Learning in示した。タイムステップの増加にともない、高性能な方策

6）Mnih, V. et al. Human-Level Control through Deep Reinforcement

残り 2 種類を低性能な方策（μ3, μ4）とした際の重み θagg を関数により大きな重みが与えられるように学習が進んでいることが分かる。

Healthcare. Nature Medicine. 2019, Vol.25, No.1, p.16-18.

Learning. Nature. 2015, Vol.518, No.7540, p.529-533.

7）Taylor, M. E.; Stone, P. Transfer Learning for Reinforcement Learning Domains: A Survey. Journal of Machine Learning Research.
2009, Vol.10, No.7, p.1633-1685.

8）Barreto, A. et al. “Successor Features for Transfer in Reinforcement
Learning”. Proceedings of the Annual Conference on Neural Information Processing Systems. 2017, p.4058-4068.

9）Gupta, A. et al. “Learning Invariant Feature Spaces to Transfer
Skills with Reinforcement Learning”. Proceedings of International
Conference on Learning Representations. 2017, p.1-14.

10）Chen, T. et al. “Hardware Conditioned Policies for Multi-Robot
Transfer Learning”. Proceedings of Annual Conference on Neural
Information Processing Systems. 2018, p.9355-9366.

図 5 性能の異なる方策関数に対する重みの変化（文献 2）より引用。Copyright（c）2020 International Joint Conferences on
Artificial Intelligence, All rights reserved.）

5. むすび

本稿では、既存の環境で得られた知識を活用して新たな環境における強化学習を効率化するアプローチとして転移強化学習をとりあげ、その概要を解説した。また、環境間で状態遷移確率分布が未知かつ異なる状況に適した転移強化 学 習 手 法 と し て、MULTIPOLAR に つ い て 紹 介 し た。
MULTIPOLAR は転移元環境で獲得された方策関数を活用

11）Ammar, H. B. et al. “An Automated Measure of MDP Similarity forTransfer in Reinforcement Learning”. Workshops at the AAAI
Conference on Artificial Intelligence. 2014, p.31-37.

12）Song, J. et al. “Measuring the Distance between Finite Markov
Decision Processes”. Proceedings of International Conference on
Autonomous Agents & Multiagent Systems. 2016, p.468-476.

13）Frans, K. et al. “Meta Learning Shared Hierarchies”. Proceedings ofInternational Conference on Learning Representations. 2018.

14）Parisotto, E. et al. “Actor-Mimic: Deep Multitask and Transfer
Reinforcement Learning”. Proceedings of International Conference
on Learning Representations. 2016, p.1-16.

15）Rajendran, J. et al. “Attend, Adapt and Transfer: Attentive Deep(215) 67

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く

Architecture for Adaptive Transfer from Multiple Sources in theSame Domain”. Proceedings of International Conference on Learning Representations. 2017, p.1-18.

16）Silver, T. et al. Residual Policy Learning. arXiv preprint
arXiv:1812.06298. 2018.

17）Johannink, T. et al. “Residual Reinforcement Learning for Robot
Control”. Proceedings of International Conference on Robotics andAutomation. 2019, p.6023-6029.

18）Hill, A. et al. Stable Baselines. https://github.com/ hill-a/stablebaselines. 2018.

19）Haarnoja, T. et al. “Soft Actor-Critic: Off-Policy Maximum Entropy
Deep Reinforcement Learning with a Stochastic Actor”. Proceedings of International Conference on Machine Learning. 2018,

Vol.80, p.1861-1870.

20）Schulman, J. et al. Proximal Policy Optimization Algorithms. arXiv
preprint arXiv:1707.06347. 2017.

21）Tanaka, K. et al. “TRANS-AM: Transfer Learning by Aggregating
Dynamics Models for Soft Robotic Assembly”. Proceedings ofInternational Conference on Robotics and Automation. 2021,
https://ieeexplore.ieee.org/xpl/conhome/1000639/all-proceedings,
to appear.

22）Ma, J. et al. “Adaptive Distillation for Decentralized Learning from
Heterogeneous Clients”. Proceedings of International Conference
on Pattern Recognition. 2020, p.7486-7492.

23）Yonetani, R. et al. Decentralized Learning of Generative Adversarial Networks from Non-iid Data. arXiv preprint arXiv:1905.

09684. 2019.

執筆者紹介
米谷 竜

YONETANI Ryo

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：コンピュータビジョン、機械学習
所属学会：情報処理学会、電子情報通信学会、
IEEE
博士（情報学）
本文に掲載の商品の名称は、各社が商標としている場合があります。

68 (216)濵屋 政志ヒトの教示やインタラクションを活用したロボット学習

ヒトの教示やインタラクションを活用したロボット学習濵屋 政志
近年の目覚ましい学習技術の発展により、ロボットが複雑な作業を自律的に達成できる可能性を示してきた。しかし、その背景には、ロボットが適切に動作するまでにパラメータや制御目標（報酬関数）の設計をはじめとする、無視できない手間や労力がある。さらに、たとえ制御器（方策）を適切に学習できても、外乱など環境の変化に関して脆弱であることが知られている。この問題に対して、ヒトの知識を活用し、ロボット学習をより容易にさせる
研究が行われている。ヒトがロボットに教示を与える、あるいは物理的に誘導することによって学習を加速できる。
我々は、失敗の教示や、物理的な外乱など、「矛盾した」情報をあえてヒトが与えることによって、さらに学習の性能を向上させる手法を開発した。本稿では、我々の最新の成果である「矛盾からのロボット学習手法」に関して解説する。

Robotic Learning from Human Demonstrations andInteractions
HAMAYA Masashi
Thanks to recent learning techniques, robots can obtain skills for complex tasks automatically. Meanwhile, engineering efforts of tuning hyperparameters and designing appropriate reward functions are not trivial. Some
researchers have leveraged human domain knowledge such as demonstrations and interactions to facilitate robotic
learning. In this article, we introduce our recent works using contradictional information provided by humans.
Concretely, we present learning from1) successful and failed demonstrations and2) advisory and adversarial interactions.

1. まえがきロボットが予期せぬ動作によって、部品の破損やロボット

ボットに学習技術を適用し、自律的に作業戦略を獲得するが無事に作業を学習できたとしても、学習された制御方策

近年の機械学習・強化学習の目覚ましい発展に伴い、ロ研究が盛んになってきている。特に、深層学習による優れた汎化性や表現能力により、画像からロボットの行動を直接決定することができるなど、多感覚統合を実現すること緊急停止が生じる可能性がある。さらに、たとえロボット
は、外力、ノイズ、モデル化誤差などの外乱に対して脆弱であることが知られている。

この問題を解決するためには、いくつかの例が挙げられができる。また、解析的な表現が困難であるダイナミクス

る。一つ目は、本誌の別章で紹介した「サンプル効率の良ある。

ベース強化学習などのアプローチは、複数の試行回数で所を持つシステムの制御に関しても学習技術は極めて有効でしかしながら、ロボットが適切に動作する背景には無視できない労力がある。たとえば、適切なハイパーパラメー
タや、報酬関数の設定などが挙げられる。これらの設定を
実ロボットで試行錯誤的に検証することは、データを取得するための労力が大きい。特に、組立作業など対象物体とロボット間の接触を多く含む作業では、学習初期においてContact : HAMAYA Masashi masashi.hamaya@sinicx.com

い学習手法」を適用することである。たとえば、モデル
望のスクを学習することができるため、設定したパラメー
タや報酬関数が理にかなっているかどうかを早い段階で評価できる。次に、シミュレータを使用し、学習した方策あるいはモデルを実世界に転移させることも考えられる。シミュレータにより、実世界におけるデータ収集の手間を大幅に削減できることが期待される。そして、これらに加えて、ヒトのドメイン知識を活用する方法が考えられる。たとえば、ヒトが教示を与える、動作の良し悪しを評価し、(217) 69

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働くロボットにフィードバックを与える、あるいは、ロボットことができれば、より直感的な教示が可能となるが、ロさせる、などの方法が挙げられる。

差が問題となる。この問題点に対して、我々はハードウェと物理的にインタラクションしながら、適切な動作を学習
このような作業を成功に導くヒトの教示やインタラク

ションに加えて、本稿では失敗の教示や敵対的なインタラ
クションをあえて与える「矛盾からの学習」を活用した

我々の最新の研究成果を紹介する。さらに、物理的柔軟さを持つロボットを使用することで、教示やインタラクショ
ンが容易になることも併せて紹介する。第 2 節では、成功

ボットとヒトの身体（キネマティクス・ダイナミクスの）アからのアプローチを考えた。我々は、直感的に教示ができ、かつロボットとの身体差を軽減させることができる新（図 2）。このデバイスの動しい教示デバイスを開発した1）

作部はロボットのグリッパと形状が近いため、身体の違いを軽減させることができるのが特徴である。

と失敗の教示を与えることで、失敗を回避し作業の成功率を向上させる学習手法1）について紹介する。第 3 節では、ロボットの学習中に、作業を成功に導く外力を与えること
で、学習を促進させる誘導インタラクションと、作業を阻害する外力を与えることで、方策を頑健にさせる敵対イン
タラクションによる学習手法2）について紹介する。

2. 成功・失敗教示からの学習

本節では、図 1 に示すように成功と失敗の教示からロボットを学習させる手法について紹介する。ロボットが作業を学習する際、制御目標（報酬関数）の設計は極めて重要である。適切でない報酬関数を設計した場合、ロボットの学習性能が著しく低下する可能性がある。そこで、ヒトからの教示を活用して報酬関数を学習することを考える。

図2

教示デバイス（文献1）から引用）

さらに本研究では、柔軟手首を持つロボットを使用する。柔軟要素は環境との安全な接触を許容するので、教示
デバイスから位置・姿勢の情報のみを与えるだけで、組立動作など接触を多く含む作業の教示が可能となる。つまり、教示デバイスと対象物体の接触力を計測する必要がな
く、デバイスの軽量化・簡素化が期待できる。

提案した教示デバイスと柔軟なロボットにより、ヒトがより直感的に教示を行うことができるため、成功だけでなく、失敗の教示を与ることを考えた。ロボットの学習においては、過去の失敗から遠ざかるように拘束をかける手

法4）や、失敗や不完全な教示から学習する手法が提案されている5）。これらの手法に対し、我々は、成功・失敗の両

図1

成功・失敗教示からの学習（文献1）から引用）

教示からの学習は、Learning from Demonstration と呼ば方の教示を与えて、失敗教示軌道をなるべく避けるように、成功軌道を生成する手法を提案する。

れており、2000 年代から研究が盛んに行われている3）。教2.1 目標軌道生成・ロボット動作学習

クトティーチングや、特殊なデバイスで遠隔で操作する手強化学習問題と考え、報酬関数となる目標軌道の生成を、

示の手法は、主にロボットに直接触れて教示させるダイレ法が挙げられる。しかし、ダイレクトティーチングは、ロ
ボットの可動域を考慮する必要があるため、精密な教示は困難である。また、ゲームパッドなどのデバイスを使用してロボットと同期的に教示を与えるためには、教示者の熟練が必要になる。

そこで、ヒトの動作を直接計測して、ロボットに与える70 (218)

図 3 に本提案手法の手順を示す。本手法は、ロボットの失敗・成功軌道の教示によって生成する。

濵屋 政志ヒトの教示やインタラクションを活用したロボット学習

CEM は一様乱数的に行動の候補をサンプルするより効率的である。

2.2 実機実験

提案手法の有効性を検証するために、実機実験を行った。本実験の目的は、成功・失敗教示を両方使用すること

で、より高い作業成功率を示すことである。本研究では、
ペグ挿入作業を課題とした。教示軌道は、成功軌道と 4 種類の失敗軌道をそれぞれ 3 回ずつ与えた（図 4）。ロボットには柔軟手首 8）を搭載した。教示デバイスと、ロボットの手先の位置姿勢を計測するために、モーションキャプチャシステムを使用した。比較手法は、成功・失敗教示を与えた 場 合（success and failure）、成 功 教 示 の み 与 え た 場 合（success only）、教示を与えず、挿入穴の位置のみを与えた場合（no demo）とする。

図3

提案手法の手順（文献1）から引用）

まず、教示デバイスで、成功・失敗の教示データを収集し、これらのデータから目標軌道を生成する。目標軌道を

生 成 す る た め に、Physically-consisted Gaussian Mixture

6）
Model（PC-GMM）を適用する。GMM はガウス分布の線形重ね合わせで表現されるモデルであり、PC-GMM は、
データにガウス分布を適合させるときに、データ同士の類似度を計算し、類似度が近いデータに同じガウス分布を割り当てるようにする。また、最適なガウス分布の数は、ノンパラメトリックベイズによって自動的に決定される。本

研究では、失敗と成功データの類似度計算を行うときに、

図4

成功・失敗軌道の教示例（文献1）から引用）

図 5 に、学習時における、穴の位置との誤差を示す。左類似度を下げる項を導入し、成功・失敗データがそれぞれは xyz 方向に、右図は z 方向（穴の挿入方向）における絶果、失敗軌道を避けた状態で、成功軌道にガウス分布が適る標準偏差を示す。この結果から、提案手法が最も小さい

離れるようにガウス分布が割り当てられるようにする。結合される。そして適合された GMM から、連続軌道を生成
す る た め、Gaussian Mixture Regression（GMR）を 適 用 す

対平均誤差を示す。エラーバーは 10 回の学習実験におけ誤差を示した。また、学習後の作業成功率も、提案手法
8/10、成功教示のみ 5/10、教示無し 0/10 となり、提案手法

る。GMR によって、時間依存の目標の位置・姿勢の軌道が最も高い成功率を示した。成功軌道教示のみの場合は、

次に、得られた軌道とロボットの動作軌道との誤差を報通り過ぎた。これに対し、提案手法は、この失敗を避けるを生成する。

酬関数として、強化学習を行う。本研究では、ニューラル

ネットワークを使用したモデルベース強化学習 を適用す
7）る。この手法は、ニューラルネットワークで学習された複ペグを穴の縁に当てる動作の際に、勢いが余り頻繫に穴をように軌道が生成され、結果として高い成功率が示された
ことが考えられる。

数の順モデルを同時に学習し、モデルをランダムに選択しながら、動作予測することで、不確実性に対処でき、結果としてサンプル効率が向上する。また、行動選択には、Cross Entropy Method（CEM）を使用する。CEM は反復的に最適行動を計算する手法である。ランダムに生成した行動をモデルに入力し、数ステップ間の期待収益が最も高くなった行動上位数種類からガウス分布を生成し、次の反復からはそのガウス分布から行動の候補をサンプルする。

(219) 71

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く

は、誘導（Advisory）・敵対（Adversarial）インタラクショ

ンを提案する（図 6）。誘導インタラクションは、学習中の目標誤差を減らす役割を持ち、敵対インタラクションは学習方策を頑健にさせる役割を持つ。また、ヒトとロボッ
トの安全な接触を保障するため、本研究においても柔軟要素を持つロボットを使用することを提案する。

図5

学習時における位置誤差（文献1）から引用）

以上により、成功と失敗の教示を活用することで、ペグ挿入作業において高い成功率を示すことが確認できた。今後は、提案手法の理論保証や、どのように失敗教示を与えるかという課題について取り組む予定である。

3. 物理インタラクションからの学習

本節では、誘導・敵対インタラクションからロボットを学習させる手法について紹介する。前節の教示からの学習
で、失敗・成功教を与えて学習させた手法は、教示を与えない場合より高い成功率を示した。しかし、適切な教示を与えるためには、熟練が必要となる。

熟練者でない場合においても、ヒトの知識を活用してロボット学習を促進させる方法はあるだろうか ? 一つの例として、ヒトのフィードバックを活用する方法が挙げられ

図6

物理インタラクションからの学習（文献2）から引用）

3.1 誘導・敵対インタラクションからの学習本研究では、誘導・敵対インタラクションから学習する問題をモデルベース強化学習として定式化する。ヒトとロ

ボットのインタラクションを考慮したダイナミクスモデル
は st +1 = f ( st , at ) で示される。ここで、s = [ s R , s H  ] は状る。ロボットがある作業を遂行した後に、ヒトがロボット

態、sR はロボットの状態（関節角度や手先位置など）、sH

ドバックをもとに、作業を改善するように学習する。方策

ボットの行動（関節トルクや、手先位置の目標速度指令な

ドバックは、作業中のどの行動が良いか悪いかを与えるこが提案されている。しかしながら、作業後のフィーロ ボ ッ ト に 与 え な が ら モ デ ル を 学 習 さ せ る。報 酬 は
r ( st , at ) で与えられ、累積期待収益を最大化させる行動を一方、たとえロボットが適切に作業を達成できたとして誘導インタラクション：ロボットが作業中に、目標からの作業の良し悪しを与える。ロボットは与えられたフィーを直接改善する手法9）、あるいは報酬関数を改善する手法

10）はヒトの状態（ヒトがロボットに与える外力）、at はロど）である。本研究では、ヒトからのインタラクションをとができないため、フィードバックの質が課題となる。

決定することがこの学習の目的となる。

も、学習された方策・モデルは外乱、モデル化誤差に関し離れるような間違った方向に動作したとき、ヒトが正しいて極めて脆弱であることが知られている11）。この問題に対して、学習中に敵対的な外力を加えて、より頑健な方策を方向に外力を加える。誘導インタラクションにおける報酬2関数は、r ( st , at ) = r R ( s R , a R ) − α s H で与えられる。ここには、作業を行うロボットと外乱を加えるロボットを同時あり、α は重み係数である。ヒトからの誘導外力が大きけ

トアップのために大きな労力が生じる可能性がある。

からの外力をなるべく受けないように動作することが期待

学習する手法が提案されている。実ロボットに適用する際に学習させる12）手法があるが、複数台のロボットのセッ

これらの二つの問題を同時に解決するために、本研究では、ヒトの物理インタラクションを活用する手法を提案する。ヒトとロボットが常に接触している状態であるため、任意のタイミングでヒトがフィードバックとしてのインタ
ラクションを発生させることができる。そして、本研究で72 (220)

で、rR は、ロボットにおける報酬であり目標の位置誤差でれば大きいほど、罰則が与えられるため、ロボットはヒトされる。つまり、ヒトから誘導インタラクションは、作業に使用される報酬の補助的な情報となっており、報酬の表
現力が向上されると考えられる。その結果、学習中の目標
状態との誤差を軽減できると期待される。

敵対インタラクション：誘導インタラクションによって濵屋 政志ヒトの教示やインタラクションを活用したロボット学習

ロボットがある程度学習された後に、敵対インタラクショ

提案手法を使用した結果、誘導インタラクションにおい動作した場合、その方向とは逆にヒトが外力を加える。報2
酬は r ( st , at ) = r R ( s R , a R ) − β s H で与えられる。ここで、インタラクションにおいても、提案手法の誤差が一度増加

ンを適用する。ここでは、ロボットが目標に正しい方向に

β は重み係数である。大きな敵対外力を受けるほど、報酬も大きくなり、結果外乱に対して頑健な方策が学習される。
モデルベース強化学習は前節と同じアルゴリズムを使用て、学習中の誤差を減少させることができた。また、敵対するが、最終試行においては、インタラクションを与えないあるいはランダムなインタラクションを与えた場合よりも小さい誤差を示した。

する7）。ヒトとロボットのインタラクションを含む複雑なモデルに対しても、少ない試行回数で方策を学習できると期待される。

3.2 シミュレーション実機実験

提案手法の有効性を検証するため、シミュレーションを行った。シミュレーションの目的は、提案手法がインタラクションを用いない場合と比較して、学習中の誤差を減少させ、頑健な方策を獲得できるかを確認することである。
本研究においても検証対象としてペグ挿入課題を扱う。

本実験には 6 人の被験者が参加した。被験者はモニターに表示されるロボットに、ゲームパッドで外力を与えた（図 7）。ロボットシミュレータは、PyBullet という動力学

シミュレータを使用して設計された。ロボットには、柔軟手首 が搭載されており、柔軟要素は 6 自由度の PID 制御

図8

目標位置の誤差（文献2）から引用）

8）

によって再現されている。

次に、学習された方策の頑健性を検証するため、ロボッ

トの質量や、穴の摩擦係数を変更してテストを行った。図9 に未知環境におけるペグ挿入作業の成功回数を示す。この結果から、提案手法はすべての場合において、最も高い成功率を示した。以上の実験から、提案手法の有効性が示
された。

図7

シミュレーションの概要（文献2）から引用）

本シミュレーションでは、1 回の学習実験で、7 回の誘導インタラクション、7 回の敵対インタラクション、計 14回行った。評価として、インタラクションなし（no inter-action）、ラ ン ダ ム 外 力 か ら イ ン タ ラ ク シ ョ ン（random
interaction）、経験則で設計した誘導・敵対インタラクショ

ン（heuristic interaction）、提案手法の 4 種類の状況で性能を比較した。

図 8 に学習中の目標位置との平均誤差を示す。橙色の線

はインタラクションなし、黄色はランダムインタラクショ

ン、緑は経験則インタラクション、青は提案手法である。

図9

未知環境での作業成功回数（文献2）から引用）(221) 73

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く

3.3 実機実験注目されたい。

界においても適用可能かを検証するのが目的であった。

究に興味を持っていただければ幸いである。

最後に、実機を使用した実験を行った。提案手法が実世
実機実験においても柔軟手首8）を使用した。ロボット及び学習のセットアップは前節と同じであるが、ヒトの外力を計測するために、触覚センサを搭載した。ロボットを様々な方向から学習させた場合と、異なる素材のペグを適用したときの作業成功率を、インタラクションを与えない場合と比較した。

図 10 に、穴の 3 方向からペグ挿入作業を行った場合と、ある 1 方向から、様々な素材のペグで作業を行った時の成功回数を示す。橙色の棒グラフはインタラクションを与えない場合で、青は提案手法である。この結果より、提案手法はすべての場合において高い成功回数を示した。以上より、実機実験においても提案手法の有効性を示した。

本稿を読み、ヒトの知識を活用して学習を促進させる研

参考文献
1）Hamaya, M.; von Drigalski, F.; Matsubara, T.; Tanaka, K.; Lee, R.;

Nakashima, C.; Shibata, Y.; Ijiri, Y. “Learning Soft Robotic

Assembly Strategies from Successful and Failed Demonstration”.
IEEE/RSJ International Conference on Intelligent Robots and Systems, 2020, p. 8309-8315.

2）Hamaya, M.; Tanaka, K.; Shibata, Y.; von Drigalski, F.; Nakashima,C.; Ijiri, Y. Robotic Learning From Advisory and Adversarial Interactions Using a Soft Wrist. IEEE Robotics and Automation Letters. 2021, Vol.6, No.2, p. 3878-3885.

3）Billard, A.; Calinon, S.; Dillmann, R.; Schaal, S. Survey: Robot
programming by demonstration, Handbook of Robotics. Springer,
2008, Chapter 59, p.1371-1394.

4）Esteban, D.; Rozo, L.; Caldwell, D. G. “Learning deep robot controllers by exploiting successful and failed executions”. IEEE RASInternational Conference on Humanoid Robots, 2018, p. 1 – 9.

5）Gao, Y.; Xu, H.; Lin, J.; Yu, F.; Levine, S.; Darrell, T. Reinforcement learning from imperfect demonstrations. International Conference on Learning and Representation. arXiv preprint arXiv:
1802.05313.

6）Figueroa, N.; Billard, A. “A physically-consistent bayesian nonparametric mixture model for dynamical system learning”. Confer-ence on Robot Learning, 2018, p. 927 – 946.

7）Chua, K.; Calandra, R.; McAllister, R.; Levine, S. Deep reinforcement learning in a handful of trials using probabilistic dynamics
models. Advances in Neural Information Processing Systems.
図 10

実機実験における作業成功回数（文献2）から引用）

今後の課題として、更なる性能向上のために、修正・敵

対インタラクションのより適切な順序やユーザビリティを向上させる手法を検討する予定である。

4. むすび

本稿では、ヒトの知識を活用して、ロボット学習をより容易にする我々の最新の研究成果について紹介した。核心となるアイデアは、「矛盾した」情報を与えることで、ロボット学習をより促進させるという点である。1 つ目の研究事例として、ヒトからの教示を利用する際に、成功軌道

2018, Vol.31, p. 4754 – 4765

8）Tanaka, K.; von Drigalski, F.; Hamaya, M.; Lee, R.; Nakashima, C.

Shibata, Y.; Ijiri, Y. “A Compact, Cable-driven, Activatable Soft
Wrist with Six Degrees of Freedom for Assembly Tasks”. IEEE/
RSJ International Conference on Intelligent Robots and Systems.
2020, p. 8752-8757.

9）Celemin, C. E.; Maeda, G.; Ruiz-del Solar, J.; Peters, J.; Kober, J.
Reinforcement learning of motor skills using policy search andhuman corrective advice. International Journal of Robotics
Research. 2019, Vol.38, No.14, p. 1560 – 1580.

10）Bıyık, E.; Palan, M.; Landolﬁ, N. C.; Losey, D. P.; Sadigh,D. “Asking easy questions: A user-friendly approach to active
reward learning”. Conference on Robot Learning, 2020, p. 1177 –1190.

だけでなく、失敗軌道も陽に活用することで失敗を避ける

11）Ilahi, I.; Usama, M.; Qadir, J.; Janjua, M. U.; Al-Fuqaha, A.; Hoang,て、ヒトがロボットに直接触れて学習する際、誘導インタ

attacks on deep reinforcement learning. arXiv preprint-

ような目標軌道生成手法を紹介した。2 つ目の事例としラクションを活用することで、学習中の誤差を減少させ、学習後の方策を頑健にすることを紹介した。また、これらの作業を行う際に、対象物体やヒトとの安全な接触のために、柔らかさを持ったロボットが重要な役割を持つことも74 (222)

D. T.; Niyato, D.Challenges and countermeasures for adversarial
arXiv:2001.09684, 2020.

12）Pinto, L.; Davidson, J.; Gupta, A. “Supervision via competition:
Robot adversaries for learning tasks”. IEEE International Conference on Robotics and Automation, 2017, p. 1601 – 1608.

濵屋 政志ヒトの教示やインタラクションを活用したロボット学習

執筆者紹介
濵屋 政志

HAMAYA Masashi

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：ロボティクス、機械学習、強化学習
所属学会：日本ロボット学会、IEEE
博士（工学）

本文に掲載の商品の名称は、各社が商標としている場合があります。

(223) 75

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く

視覚と言語の共有潜在表現獲得によるモノづくり手順理解橋本 敦史
組立作業や創薬実験、生化学実験を始め、複数のものを組み合わせ、様々な工程を経て価値の高いプロダクトを作り上げる作業は、わかりやすい価値創出の方法であろう。このような作業を機械に理解させることができれば、該当のシーン検索から手順書の生成、果てはロボットによる作業の代替まで、機械との多様な協働方法が実現できる。このような理解の 1 つの形として、作業を観測した視覚情報データを手順書中の教示テキストと対応付ける視覚言語統合技術がある。特に視覚情報データとして画像列を入力として教示テキストを生成する課題において、筆者らが提案した一連の手法は State-of-the-Art となっている。本稿ではこれらの成果を中心に視覚情報と言語情報の統合による作業理解のための機械学習処理を解説する。

Cross-modal Representation Learning for
Understanding Manufacturing Procedures
HASHIMOTO Atsushi
Creating high-value products through combining materials and processing them, including assembly work, drug
discovery experiments, and biochemical experiments, would be one of the primary methods of value creation. If
computers can understand such activities, we can collaborate with machines in various directions, such as relevant
video scene retrieval, procedural text generation, and eventually substituting work by robots. As one form of such
understanding, there are the vision and language arts to extract shared latent representation between visual observation and textural description of manufacturing. In particular, a series of our methods for procedural text generation from image sequence are state-of-the-art. With the central focus on these methods, this paper explains therecently-developed vision and language technologies for understanding manufacturing procedures.

1. はじめにとを目指している。自然言語と視覚情報の対応付けの試み（Vision&Language）技術について解説する。まず「手順をというものが 1988 年に既に行われていたようである9）。

本稿では機械に手順を理解させるための視覚言語統合

としては、言語指示をアニメーションでシミュレートする

理解する」とはどういう状態だろうか？ 1980 年代に提起された「中国人の部屋問題*1」は記号論理の世界に閉じた

残念ながらこの時代のシステムは基本的にルールベースでら問いかけた。例えば、もし、中国語の部屋の中の人に言言語情報を対応付けられるようになると何ができるように情報処理が「理解」として十分であるかを哲学的な側面か葉で回答できる質問ではなく、行動することを要求したらどうだろうか？辞書だけでは行動を起こすことはできないだろう。行動をするということは、言葉に対応する行為を観測し、対応関係を得る必要がある。視覚言語統合はこのような対応関係を得るための技術である。我々は、この技術を用いることで「手順の理解」、すなわち、実世界で生じる事象と自然言語で記述される記号世界を結びつけるこ
Contact : HASHIMOTO Atsushi atsushi.hashimoto@sinicx.com

76 (224)

あり、言語や視覚情報に多くの制約を課す箱庭的なシステムとなっている。このような制約なしに機械が視覚情報となるだろうか？

まず、作業を観測したデータの中から、言語で表現された手順書の各工程に対応する箇所を自由に検索することができるようになる。多様な作業者に対して、ある工程がどのように行われるかを横断的に解析することができれば、誤った方法を取っている作業者に働きかけて効率的に教育をすることができるようになる。また、作業を観測したデータから、その自然言語表現や明確なフォーマットに従ったスクリプトを生成できるようになる。これにより、個人差なく作業手順を一定の品質で書き橋本 敦史

視覚と言語の共有潜在表現獲得によるモノづくり手順理解

出すことができるようになるだろう。例えば、現在研究ができた。これに対して、生成課題は共通部分だけでな

験手順を正規化された手順書として書き出せれば、それはなければならないという点で検索よりも挑戦的な課題であ

ノートに手作業で書き留められるような生命科学分野の実最新研究の再現性の問題に寄与する。同様に、個々の製品の組立状況を書き出すことは新たなトレーサビリティにもなり、品質保証の向上にも資するだろう。究極的には、言葉だけで誰でもロボットに作業を依頼できるようになるかもしれない。

く、生成対象のモダリティに含まれる情報すべてを予測しり、特に画像からテキストを生成する「キャプショニン

グ」は深層学習による視覚言語統合の代名詞ともなっている。キ ャ プ シ ョ ニ ン グ の 学 習 デ ー タ は 検 索 課 題 同 様、
{xL, xV} の対となるが、EV に加えて、潜在特徴からテキス

トを復号する関数 DL: zV → xL を学習する（図 1）。単純には

このような未来を実現するには、作業と、その作業内容

テキスト中の単語をカテゴリとして、カテゴリ系列の一致

特徴空間を得ることが重要になる（図 1）。このような空

上述の課題において、潜在特徴 zL/V は xL と xV のいずれとに対応する言語表現が同じ点に射影されるような共通潜在度最大化により学習を行う。

間を得ることができれば、空間中の近傍点を探すことで、も対応づくことから、（複数のモダリティの）共有潜在特てテキストを）検索できる。また、映像を射影した点かのような zL/V の集合が張る空間が図 1 に示した共有潜在空

テキストをクエリにして映像を（または映像をクエリにし徴と呼ばれる（図 1 の●や■の点に相当する）。また、こら、その点に対応するであろうテキストを復号（デコー間となる。

映像を生成できる）。本稿では、このような共有潜在空間

2.2 手順理解に関する研究

ド）することで手順書を生成できる（またはテキストからの獲得と、この空間を用いた応用研究について解説する。

手順とは目的を達成するために実行すべき工程の内容だ

けでなく、その実行順序の依存関係を記述したものとなる。したがって、手順は前節で述べたような単一の点ではなく、点と点の関係を示す枝を含む構造で表現される。

テキストや動画は基本的には同一軸上で順序付けられた、つまりシリアライズされたデータである。このため、これらは単純には図 1 に示したように直線的な遷移により表現される。
図1

手順書と観測データの共有潜在空間への埋め込み

視覚情報は伴わないモノモーダルな自然言語においては、このような遷移を追跡し、工程ごとに引き起こされる
材料の状態変化を潜在空間中の点の移動として表現し、そ

2. 関連研究

れを追跡可能にする Neural process network（NPN）1）という研究が知られている。この研究では、例えば「トマトを2.1 視覚言語統合処理

洗って、串切りにする」といった指示に対して「トマト」、

静止画や動画と言語の対応を取る研究は深層学習の登場「洗ったトマト」、「串切りにされたトマト」のそれぞれを

guage と呼ばれる。まだ定着した邦訳は存在しないが、本に対して「洗う」という工程を行うことで、潜在空間中のにより急速に発展した分野であり、一般には Vision & Lan稿では筆者の過去の著作 に合わせ、これを視覚言語統合* と呼ぶ*2。視覚言語統合は深層学習に伴い発展した分
25）

野ではあるが、その源流は深層学習以前から連綿と研究さ潜在空間中の異なる点として表現する。また、「トマト」
どこへ移動するかも予測する。これは、いわば潜在空間中での作業のシミュレーションとみなすことができる。

NPN はあくまでも材料の特徴変化を追跡する、つまりれてきた Web 上での画像検索課題に遡ることができる。

手順書に示された順序に従った図 1 のような直線的な遷移する関数 EL: xL → zL（言語符号化器）と、画像（または映の入れ替えが一部許された半順序構造を持つ。例えば図中

画像検索課題はテキスト xL を D 次元潜在特徴 zL へ写像

像）x を D 次元潜在特徴 z へ写像する関数 E : x → z （視
V

V

V

V

V

覚符号化器）を得ることで実現される（図 1）。学習は同じ内容を示す {x , x } の対からなるデータセットを用いて、LV

対 照 性 損 失 *（Contrastive Loss）や 三 重 項 損失*（Tripletを予測するものである。一方で、手順書は本質的には手順のレシピではトマトとレタスのどちらから取り組んでも差し支えない（工程 1 と工程 2 には順序の依存性がない）。一方で、工程 3 は工程 1、2 の結果得られるものを混ぜる工程であり、両方終了していないと取りかかれない。このよLoss）といった距離学習用の損失関数を最小化することでうな「材料を混ぜる」ことによって生じる順序の依存関係

検索課題は言語や画像といったモダリティを超えた共通

手順の理解には、このようなグラフ構造を抽出するものも実現される。

の情報（key feature）を見つけることができれば解くことは図 2 のようなグラフで表現される。自然言語処理による存在する。

(225) 77

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く

3. 画像列からの手順書生成

一般的な視覚言語統合において、画像列を入力とした文

7）として知章生成は視覚的叙述生成*（Visual Storytelling）

られている11）。しかし、視覚的叙述生成は、対象とする画像列が物語的であり、どこまで逸脱した内容を正解として良いか定めることが難しい。また、複数の材料を追跡する

図2

順序の依存関係のグラフ表記

このような手順に関する研究は、Web 上で大量に入手可

能な調理レシピを対象に行われるのが主流である。これは調理レシピのユーザ数が、化学実験の手順書のユーザに対して圧倒的に多いこと、および、工業製品の組立手順書に対して機密性が低いことに起因している。

例えば、グラフ構造の抽出については、その構造の定義 が 粗 い 順 か ら、SIMMR8）、Action Graph10）、Flow Graph

Corpus12,23）がある。いずれも、構造の定義だけでなく、そモノづくりと異なり、物語の軸となる登場人物は絞られている。これに対して Chandu らは調理を対象とし、手順書と画像列からそれぞれ作業の状態遷移を有限オートマトン
上でシミュレートし、その状態が一致するような損失を導入することでレシピ生成の精度向上を測る手法を提案した2）。これは状態の遷移をモデル化し、その一致度を高めることで工程の進行度を反映した共有潜在空間を得ることを目指したものと解釈できる。

これとは独立に筆者を含む研究グループは大量のレシ

ピ・画像列の対がある Cookpad Image Dataset4）を利用し、検 索 課 題 に よ る 事 前 学 習 を 利 用 す る Retrieval Attentionのような構造がアノテーションされたレシピのコーパスが14）という手法を提案した（図 3）。この手法で（RetAttn）

筆者を含む日本の研究グループによるもので日本語12）と予め訓練することで、工程の進行度を反映した共有潜在空

公開されているが、このうち、特に Flow Graph Corpus は
英語のコーパスがそれぞれ公開されている。

23）

2.3 クロスモーダル処理による手順理解研究

クロスモーダル処理による手順理解研究の先駆けは、深層学習が登場する以前の 2011 年に行われた道満らによる

レシピと調理映像の整合*（alignment）26）であろう。この研究では物体認識や動作認識結果を駆使してテキストに書は、工程の違いまで含めて正確に検索できるようモデルを間を得る。同時に、得られた検索機能を利用し、画像に対応する文書の特徴を参照することで、画像と文書という異なる入力に起因する潜在特徴分布の偏り（モダリティ

ギャップ）による悪影響を低減することで高い性能を達成している（詳細は次に紹介する手法と併せて表 1 で述べる）。

さらに、同グループは中間状態としてグラフ構造を推定かれたレシピの各工程に対応する映像区間を特定している。

し、そのグラフ構造をテキスト生成に積極的に用いる手

連続的なものではなく、物体認識結果や動作認識結果ののモデルでは画像列から図 2 に示す依存関係を推定する。

これに対して、料理に関連したクロスモーダル処理で近TreeLSTM21）を採用し、推定された木構造を組み込んだテ

深層学習以前であるため、共有潜在空間は図 1 のような

one-hot-vector による離散空間が用いられている。

年もっとも活発に研究されているのは im2recipe と呼ばれる、完成した料理の画像からそのレシピを特定する研究であろう。この研究の端緒は画像から対応するレシピを検索

法15）を提案し、さらなる精度向上を実現した（図 4）。ここの推定結果を二値化して木構造を得たのち、デコーダにキスト生成を計算する。木構造の学習は半教師あり学習で行った。具体的には SIMMR を参考に、そのクロスモーダ
ル版である Visual SIMMR データセットを作成し、全体のするもの18）であったが、その精度向上を主な目的として、1％程度のデータには木構造の正解を付与することで学習している。さらに Transformer の登場によって、これらのら推定された木構造と生成されたテキストから推定される

レシピに応じた料理画像の生成24）を行う手法などが登場
研究はさらにレシピ検索からレシピ生成へと拡張されてきている17）。この中では、画像のみから前節で述べたようなグラフ構造の推定を行うことにより精度向上を目指し22）を行った。正解が存在しないデータに対しては、画像列か木構造が一致するような自己教示学習（Tree Re-prediction）
を適用した。

表 1 に、これらの手法の定量的評価を掲載する。テキスた手法なども提案されている。

ト生成課題では、明確に 1 つの正解が定まらず、また全て

題は人間にも難しく、実応用を想定するにはやや不良設定考慮した複数の指標（ワードオーバーラップ指標）によっ

しかし、完成した料理を見るだけでレシピを推定する問な問題に思える。これらの研究に対して、我々は調理の過程を撮影した画像列や動画を入力としたレシピ生成に取り組んでおり、本稿では、それら 2 つの入力を対象とした最近の研究を紹介する。

78 (226)のありえる正解の列挙も難しいことから単語の重複などをて近似的な評価が行われており、この表もその方法に従って得られたものとなっている。なお、実際に生成されたテキストを含む定性的評価を含む詳細な議論について我々の論文14,15）を参照いただきたい。

橋本 敦史

視覚と言語の共有潜在表現獲得によるモノづくり手順理解

図3

Retrieval Attention の概要．各画像から得られる潜在特徴と手順書から得られる各工程の潜在特徴が近くなるような距離学習を行い，共有潜在空間を学習する．テキスト生成では，各画像の潜在特徴に加えて，その画像の近傍にある（学習
データ中の）手順書の特徴を平均したものを入力としてテキストを生成する（文献14）より引用）

図4

依存関係を考慮したテキスト生成モデルの概要．入力は材料リスト（記号の集合）と画像列となる．Process（i）では材
料－画像，および，画像－画像間の依存関係を推定する．Process（ii）では Gumbel Softmax Resampling というテクニックを用いて微分可能な形で推定結果を離散化し，木構造を得る．Process（iii）では Tree LSTM により木構造を反映したテキスト生成計算を行う．最後に Tree Re-prediction では生成テキストからも木構造を推定し，画像から推定された
木構造との一致度が高くなるような自己教示型の木構造推定を行う（文献15）より引用）

表1

3 つのベースライン手法と，それぞれを15）による構造考慮型モデルに拡張したモデルに対するワードオーバーラップ指標による評価（+Half と +Full は図 4 の Tree Re-prediction 部の有無の違い）．B$=$BLEU, RL$=$ROUGE-L, D$=$Distinct であり，食材や動作に相当する単語のみを抜き出した単語列による評価をさらに I$=$Ingredient, Ac$=$Action を付して表記している．また手法別の比較で最良のスコアを太字で，手法内の比較で最良のスコアを下線で表している（文献15）より抜粋）

B1

B4

RL

D1

D2

I-B1

I-B4

I-RL

Ac-B1

Ac-B4

Ac-RL

GLAC Net［11］
+Half
+Full

28.5
28.5
28.9

5.9
5.9
6.1

21.4
21.8
21.3

46.6
46.7
47.2

69.0
68.8
69.9

9.5
10.5
11.8

0.3
0.4
0.4

13.2
15.6
16.3

21.2
21.0
21.0

2.1
2.3
2.3

22.8
23.1
22.5

SSiD［2］
+Half
+Full

28.7
30.3
31.1

6.0
6.2
6.4

20.9
20.8
21.6

45.5
43.9
48.3

66.6
65.1
71.0

8.6
11.4
12.9

0.2
0.4
0.4

13.1
16.4
16.7

20.1
19.8
21.5

2.1
2.2
2.2

21.6
22.1
23.5

RetAttn［15］（Ours）
+Half
+Full

32.2
32.2
33.2

6.5
6.5
7.1

21.6
21.8
22.1

40.2
52.4
52.7

60.3
77.8
78.6

11.2
11.9
12.1

0.3
0.3
0.3

14.5
14.8
14.8

22.1
21.8
22.3

9.0
9.4
9.5

21.2
22.9
23.1

(227) 79

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く

各手法単独では RetAttn が最も性能が高く、この手法が最高性能を達成していることがわかる。また、構造考慮型モデルへの拡張がモデルを問わず性能向上に寄与することも読み取れる。

この他、同グループではデータ構造という観点では画像

列中の食材矩形と、Flow Graph 中の要素（つまり調理途中状態の食材）との対応関係をアノテーションした Recipe

FlowGraph Bounding Box（RFG-BB）デ ー タ セ ット

も公

16）

開しており、今後の活用を検討している。

4. 動画と手順書のクロスモーダル処理

前節までで紹介してきた画像列を入力とした手順理解では「材料の変化」を追跡することにその主眼が置かれてきた。これに対して、動画があれば、「材料の変化」を引き起こす作業者の動作そのものも観測対象となり、「動作」と「材料の変化」の関係性獲得が技術的な挑戦となる。

この問題に対して Naim らは化学実験のように手順が厳格に定義され、図 2 に示した順序の曖昧性は存在しない状
況を仮定し、教師なしでの手順書と動画中のシーンの対応付けを目指した13）。この研究では、把持された物体と文書

中の名詞との対応を隠れマルコフモデルにより確率的に定式化し、各シーンでの名詞と物体の対応関係の一貫性と、映像全体を通した手順の再現性の双方が最尤となる対応付
けを EM アルゴリズムによって推定する手法を提案している。また、調理を対象として、深層学習を用いながらも基本的な発想としては類似した取り組みが後年に Stanford 大の研究グループによって行われている3,5,6）。残念ながら精度という観点では、これらの取り組みはあくまで実験的なものと言わざるをえない結果となっている。これは、おそらく教師情報やデータ量の不足が根本的な原因であろう。
これらは手順書と作業映像との対応付けに関するものであったが、編集済みの動画から手順書を生成する取り組みも発表されている19,20）。ただし、これらの研究では、手順書を生成するために、映像中の音声書き起こしも入力に加えており、この書き起こしから得られる言語的な情報に大きく依存したモデルとなっている。このような外部情報を削減しながら、映像から抽出できる情報を増やしていくことが、モノづくりに対するクロスモーダルな手順理解研究にとっての次の課題となっている。

5. むすび

本稿では視覚言語統合技術を用いて、手順の共有潜在表

現を抽出するための諸技術を概観した。現状ではデータセットの不足や重要シーンのみを抽出することの困難さか
ら、人が編集し、重要シーンのみに分割されたような動画に対する技術しか研究が進んでいない。また、組み合わせによる特徴変化を追跡するモデルは構築できているものの、単独で材料の状態を変化させるような作業に対して、

80 (228)

その状態変化を追跡する技術も未解決である。これらについては現在、問題解決に向けての取り組みをそれぞれ進め
ている。

参考文献
1）Bosselut, A.; Ennis, C.; Levy, O.; Holtzman, A.; Fox, D.; Choi, Y.
“Simulating action dynamics with neural process networks”. ICLR.
2018.

2）Chandu, K.; Nyberg, E.; Black, A. W. “Storyboarding of recipes:
grounded contextual generation”. Proc. ACL. 2019, p.6040-6046.

3）Chang, C.-Y.; Huang, D.-A.; Sui, Y.; Li, F.-F.; Niebles, J. C.
“D3TW: Discriminative diﬀerentiable dynamic time warping forweakly supervised action alignment and segmentation”. CVPR.

2019.

4）Harashima, J.; Someya, Y.; Kikuta, Y. “Cookpad image dataset: An
image collection as infrastructure for food research”. SIGIR. 2017,p.1229-1232.

5）Huang, D.-A.; Buch, S.; Dery, L.; Garg, A.; Li, F.-F.; Niebles, J.C.

“Finding “it”: Weakly-supervised reference-aware visual grounding
in instructional videos”. CVPR. 2018.

6）Huang, D.-A.; Lim, J. J.; Li, F.-F.; Niebles, J. C. “Unsupervised
visual-linguistic reference resolution in instructional videos”.

CVPR. 2017.

7）Huang, T.-H. K.; Ferraro, F.; Mostafazadeh, N.; Misra, I.;
Agrawal, A.; Devlin, J.; Girshick, R.; He, X.; Kohli, P.; Batra, D.;
Zitnick, C. L.; Parikh, D.; Vanderwende, L.; Galley, M.; Mitchell,
M. “Visual storytelling”. NAACL-HLT. 2016, p.1233-1239.

8）Jermsurawong, J.; Habash, N. “Predicting the structure of cooking
recipes”. EMNLP. 2015, p.781-786.

9）R. F. Karlin. “Deﬁning the semantics of verbal modiﬁers in thedomain of cooking tasks.” ACL. 1988, p.61-67.

10）Kiddon, C.; Ponnuraj, G. T.; Zettlemoyer, L.; Choi, Y. “Mise enplace: Unsupervised interpretation of instructional recipes”.

EMNLP. 2015, p.982-992.

11）Kim, T.; Heo, M.-O.; Son, S.; Park, K.-W.; Zhang, B.-T. GLAC
Net: Glocal attention cascading networks for multi-image cued

story generation. arXiv preprint arXiv:1805.10973, 2018,（参照.
2019-2-13）

12）Mori, S.; Maeta, H.; Yamakata, Y.; Sasada, T. “Flow graph corpus
from recipe texts”. LREC. 2014, p.2370-2377.

13）Naim, I.; Song, Y. C.; Liu, Q.; Kautz, H.; Luo, J.; Gildea, D. “Unsupervised alignment of natural language instructions with video segments”. AAAI. 2014, p.164-174.

14）Nishimura, T.; Hashimoto, A.; Mori, S. “Procedural text generationfrom a photo sequence”. INLG. 2019, p.409-414.

15）Nishimura, T.; Hashimoto, A.; Ushiku, Y.; Kameko, H.; Yamakata,Y.; Mori, S. Structure-aware procedural text generation from animage sequence. IEEE Access. 2020, Vol.9, p.2125-2141.

16）Nishimura, T.; Tomori, S.; Hashimoto, H.; Hashimoto, A.;
Yamakata, Y.; Harashima, J.; Ushiku, Y.; Mori, S. “Visual grounding annotation of recipe ﬂow graph”. Proceedings of the 12th Lan-guage Resources and Evaluation Conference. European Language

橋本 敦史

視覚と言語の共有潜在表現獲得によるモノづくり手順理解

Resources Association, 2020, pp.4275-4284.

17）Salvador, A.; Drozdzal, M.; Nieto, X. G.; Romero, A. “Inverse
cooking: Recipe generation from food images”. CVPR. 2019.

18）Salvador, A.; Hynes, N.; Aytar, Y.; Marin, J.; Oﬂi, F.; Weber, I.;

Torralba, A. “Learning cross-modal embeddings for cooking recipes and food images”. CVPR. 201719）Shi, B.; Ji, L.; Liang, Y.; Duan, N.; Chen, P.; Niu, Z.; Zhou, M.
“Dense procedure captioning in narrated instructional videos”.

ACL. 2019, p.6382-6391.

漢字の意味を全く知らない人が中国語の辞書が山のように積まれた部屋の中にいるとする（字が同じかどうかはなんとか判定できる）。
部屋には手紙をやり取りするための穴があり、そこには中国語で書かれた質問が書かれている。
部屋の中の人は言葉の意味がわからないながらも辞書を参照して質問に答えることができるかも知れない。
部屋の中の人が質問に答えられるとして、これは果たして質問の意
味を理解したといえるだろうか？という問い。
*2
この分野はまだ邦訳が定まっていないものが多いため、本稿では25）での訳語を用いる際には初出時に * を付与する。
*120）Shi, B.; Ji, L.; Niu, Z.; Duan, N.; Zhou, M.; Chen, X. “Learning
semantic concepts and temporal alignment for narrated video procedural captioning”. ACMMM. 2020, p.4355-4363.

21）Tai, K. S.; Socher, R.; Christopher D. “Manning. Improved semantic representations from treestructured long short-term memory
networks”. Proc. ACL-IJCNLP. 2015, p.1556-1566.

22）Wang, H.; Lin, G.; Hoi, S. C.; Miao, C. “Structure-aware generation
network for recipe generation from images”. ECCV. Springer,
2020, p.359-374.

23）Yamakata, Y.; Mori, S.; Carroll, J. “English recipe ﬂow graph cor-pus”. Proceedings of the 12th Language Resources and Evaluation

Conference. European Language Resources Association, 2020,
p.5187-5194..

24）Zhu, B.; Ngo, C.-W.; Chen, J.; Hao, Y. “R2GAN: Cross-modal
recipe retrieval with generative adversarial network”. CVPR.

2019.

25）原島純，橋本敦史．キッチン・インフォマティクス―料理を支える自然言語処理と画像処理―．オーム社，March 2021.

26）道満恵介，高橋友和，井手一郎，村瀬洋ほか．マルチメディ
ア料理レシピ作成のための料理レシピテキストと料理番組映像との対応付け．電子情報通信学会論文誌 A. 2011, Vol.94,
No.7, p.540-543.

執筆者紹介
橋本 敦史

HASHIMOTO Atsushi

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：画像処理、機械学習、HCI
所属学会：IEEE、電子情報通信学会、情報処
理学会
博士（情報学）
本文に掲載の商品の名称は、各社が商標としている場合があります。

(229) 81

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く雑踏の中で動き回る自律走行ロボット～社会ジレンマを解決する強化学習の活用
西村 真衣
私たちの日常にロボットが進出するにつれ、人が介在する環境下におけるロボットナビゲーション技術はますます重要なものとなってきている。我々人間は混雑した駅構内やショッピングモールなど様々な場所、状況において社会規範を守りながら目的地に到達するために高度な意思決定を行っているが、同等の能力をロボットで実現する
ことは容易ではない。人が介在する環境でのロボットナビゲーションでは安全性と効率性 2 つの側面で問題を捉える必要があり、この両者はトレードオフの関係にあるためである。本稿では、混雑環境下におけるナビゲーションの主なアプローチを俯瞰すると共に、我々が公共空間で暗黙のうちに意識している社会規範のモデルとして社会ジレンマに着想を得たナビゲーション手法について解説する。

Towards Interactive Crowd-aware Robot Navigation
Inspired by Social Dilemmas
NISHIMURA Mai
The interactive robot navigation system in crowded environment has been receiving increasing attention fordiversified applications, such as automated delivery service, security service at public spaces, and guidance at the
airport. We as human beings can easily navigate in congested environment following the social norms, however,
empowering such sophisticated skills for mobile robots is still a challenging problem. In crowded spaces, robots
are required to consider not only efficiency of the planned path but also the safety to avoid potential collisions to
nearby pedestrians. That is, interactive crowd-aware navigation involves the problem of safety-efficiency tradeoffs. In this document, we briefly review the recent approaches for robot navigation in crowded environments andintroduce a novel approach to balance the trade-offs inspired by sequential social dilemmas.

1. まえがきとそうしているように）ロボットに行わせることは極めて内に至るまで、我々の日常さまざまな場面で移動ロボット

行者との衝突回避だけでなく目的地へ効率的にたどり着け

物流、病院、ショッピングモール、そして駅構内での案が導入され始めている。それに伴い、ヒューマンセントリックな環境下におけるロボットナビゲーション技術はますます重要なものとなっているといえよう。

ロボットナビゲーションでは環境マップ中において障害物を回避しながら目的地へ至る経路の計画を行うが、混雑環境下における経路計画は未だ困難な課題である。第一に人が介在する環境では環境マップが刻一刻と変化するため、取るべき経路を事前に計画しておくというアプローチ

難しい。より具体的には我々は雑踏の中を歩く際、周辺歩
るよう、つまり安全性と効率性のトレードオフを意識しながら非常に高度な意思決定を適応的に行なっているが、これと同等の機能をロボットで実現する必要がある。そこで
本稿では、「人が介在する環境下における適応的なナビ

ゲーションをどう実現するか？」及び「社会規範をロボッ
トにどう認識させるべきか」という 2 つの技術課題について解説する。

動的な環境下におけるナビゲーションにおいて、従来では取れず、環境の変化に合わせて計画を逐次更新していくは予測と計画を別々に取り扱うアプローチが取られてき

おいて、社会規範を意識した振る舞いを（我々人間が自然もとに安全なナビゲーションを行うというものである。一必要がある。更に、公共空間、特に人が介在する環境下にContact : NISHIMURA Mai mai.nishimura@sinicx.com

82 (230)

た1,2）。まず環境マップの変化を予測し、その予測結果を方、これらの 2 段階に分かれたナビゲーションに対し、適応的に環境の予測と取り得る行動の決定を強化学習によっ西村 真衣

雑踏の中で動き回る自律走行ロボット～社会ジレンマを解決する強化学習の活用て同時に行う手法が研究されている4-6）。しかしながら、の長期的な影響はこれまで議論されてこなかった。十分なり多数の動的オブジェクトで囲まれた混雑環境下ではは、環境介入を頻繁に行うことが安全かつ効率的な経路計

いずれのアプローチも環境の複雑さが増加するほど、つまFreezing Robot Problem7,8）と呼ばれる問題に陥ることが知られている。Freezing Robot Problem とは、周辺環境がある混雑度に到達すると、ロボットは安全な経路を導き出すことができず停止（Collision）してしまうか、不必要な迂回路を取ることにより目的地への到達が大幅に遅れてしまう状態（Timeout）を指す（図 1 左）。周囲に十分な走行可能領域がない限り迂回路を取り続けることはできず、また搭載されているバッテリー容量も有限であるため、結果としてロボットは高い確率で目的地へ到達することができな
くなってしまう。我々人間はなぜ極めて混雑した状況でもこの問題に陥らず確実に目的地へ辿り着くことができるのだろうか？そこで、移動ロボットによる経路計画とは異な走行可能領域が確保できないような混雑環境下において画に繋がるわけではない。何故ならば、環境に頻繁に介入すると自然な人の流れを阻害してしまい、結果として目的地への到達が遅れてしまうからである。また逆に、衝突を避け迂回路をとりすぎると目的地への到達が遅れてしまう。つまり、能動的に介入行動を駆使しながら目的地へ効率的に辿り着こうとすること、消極的に周辺の歩行者にぶつからないよう安全性に配慮した経路を選択すること、この効率性と安全性はトレードオフの関係にある。このト

レードオフをどのように調節して環境への介入タイミングを制御するかが介入行動を伴うナビゲーションの主要な技
術課題となる。

本稿では、この衝突回避と環境への介入頻度の制御を社

り、人間は衝突を回避して迂回路を取るほか、環境に介入

会ジレンマの問題として捉えることを考える。社会ジレン

た。この環境への介入行動をロボットに模倣させることを個人にとって合理的な選択が必ずしも社会全体の利益と一して自ら経路を作り出すことができるという点に着目し考える。

まずロボットが行うことができる環境への介入行動を以下のように定義する。従来のナビゲーションではロボットが取れる行動として移動及び衝突回避のみが想定されていマとは、個人と全体が資源を共有している状況において、致しない葛藤（ジレンマ）がある状態を指す。つまり、個人にとって最適な行動が必ずしも社会全体にとって最適な行動とならないということである。経済学の分野で有名な共有地の悲劇11）を例に挙げる。まず複数の酪農家が共有たが、更に自動車のクラクションのように警告音を鳴らし地である牧草地に牛を放牧するとする。個々の酪農家として目的地へ至る経路を自ら作り出す（Path Clearing）能力を受けられるが、全ての酪農家が同様に牛を放牧すると共て介入することができるとする。つまり、環境介入によっを持たせるとする（図 1 右）。このようにロボットが取り得る行動パタンの拡張によって、完全にロボットが停止してしまう状態（図 1 左）から脱し、確実に目的地へ到達する確率を高めることができると考えられる。しかし、この介入行動の実装には「この環境への介入どのような判断基
準及び頻度で行うべきか」という新たな問題が伴う。

ては放牧するほどに牛を肥やすことができ短期的には恩恵
有資源である牧草の枯渇が起こり、長期的には全体の利益を損ねることになる。このような社会ジレンマは牧草地における過放牧のほか、環境汚染や乱獲、無線通信のリソー
ス制御など我々の身近な社会の中で当て嵌まる例が非常に多くある。

ロボットナビゲーションの例を前述の社会ジレンマの枠組みで捉えてみると、公共空間における限られた走行可能領域を複数の周辺歩行者と移動ロボットが共有し、毎時取り得る経路を分け合っている状況であると考えられる。こ
こでの個人の利益とは目的地に可能な限り早く到達する状態に対応し、個人の利益を追求し頻繁に環境への介入を行うことにより、自然な人の流れを阻害し自身も含めた全体の目的地への到達を阻害する状態が全体の利益を損ねることに対応するであろう。この着想を元に、本稿では我々の左）混雑環境において安全な経路を見つけられず、立ち止まってしまうか必要以上の迂回路を取ってしまう。
右）介入行動によって、確実に目的地へ到達することができる。
図1

Freezing Robot Problem

ロボットが環境に介入する機構については、古くから提示、誘導光を用いる方法9）、警告音を用いる方法10）が提案されてきた。しかしながら、環境介入は歩行者が接近した
際の局所的な判断によってのみ行われ、介入による環境へ提案する環境介入を含む適応的なロボットナビゲーション

を、社会ジレンマを伴う意思決定問題としてモデル化し、深層強化学習によって最適な行動方策を獲得する手法
L2B（Learning to Balance）について解説する。

2. 関連研究2.1 混雑環境下におけるロボットナビゲーション

混雑環境下におけるナビゲーションでは、まず群衆の自(231) 83

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く

然な衝突回避行動を模倣するアプローチが考えられてきるペナルティを報酬関数に組み込み、獲得した方策を各

velocity obstacles）及びその拡張手法である ORCA（opti-

御を必要としない衝突回避手法を実現した。CADRL はロ

ity Obstacles として定義される衝突範囲を利用した衝突回行者による混雑環境下においては歩行者同士、及び歩行者た。一般に広く用いられるモデルとして RVO（reciprocal
1）
mal reciprocal collision avoidance）
があり、これらは Veloc-

避手法の安定な拡張手法として広く利用されている。また
実際の人流の振る舞いと類似する動きを学習する模倣学習を用いる方法もある16）。更に、近年深層強化学習によって衝突回避と経路計画を同時に行う方法が提案され、混雑環境下におけるロボットナビゲーションにおいて優れた成果を上げてきた。

4-6）

エージェントで独立に実行させることで、中央集権的な制
ボット同士の衝突回避において優れた性能を示したが、歩―ロボット間の複雑なインタラクションを十分に考慮できていないために積極的に危険な経路を取ってしまうケースが散見された。これに対し、後続研究である SARL12）では、強化学習における価値関数を表現するネットワークに
周辺歩行者のインタラクションをエンコードするモジュー
ルを組み込むことで、より安全な経路を確実に選択することができるナビゲーション手法を提案した。

しかしながら、これらのアプローチは周辺環境が 5 名以下といった比較的混雑していない環境を対象としているほか、周辺歩行者に対する衝突回避のみに重点がおかれている。環境がある混雑度に達するとプランナは全てのパスが走行不能と判断してしまい、ロボットは完全に停止してし

まうか衝突を回避するため不必要な迂回路をとってしまう。深層強化学習を始めとしたこれらの手法はいずれも、
図2

強化学習におけるマルコフ決定過程

ここではまず、ロボットナビゲーションを強化学習の問

題として解く基本的なアプローチについて解説する。混雑
環境下における経路計画は各時刻で障害物を避けながら目的地へ到達するためのロボットの進行方向及び速度を決定

Freezing Robot Problem を完全には解決できない。我々のアプローチは、衝突回避だけでなく能動的に群衆に働きかけ経路を作り出すことができる方策を学習によって獲得することにより、ロボットが停止せず確実に目的地へ辿り着くようにするものである。

する、連続的な意思決定問題と捉えることができる。この2.2 社会規範のモデル化

Process, MDP）によってモデル化することができる。その規範を意識する必要があり、ロボットナビゲーションの文状態（State）が行動主体（Agent）から観測可能であると衆の自然な流れから社会規範に従うルールを学習し、その連続的な意思決定はマルコフ決定過程（Markov Decision
概念図を図 2 に示す。MDP では環境（Environment）からし、エージェントが方策 π (st, at) に基づいて最適な行動（Action）を選択するとことにより環境が次のステップへ遷移し、エージェントは報酬関数に基づいて報酬 rt = R(st, at)を得る。

混雑環境下のナビゲーションにおいて状態 st はロボット

及び周辺歩行者の状態によって構成されるが、移動ロボッ
ト自体の状態は完全に観測可能である一方で、目的地情報

周囲の歩行者と適切にインタラクションを取るには社会

脈においても社会規範の学習が盛んに研究されてきた。群
枠組みをロボットナビゲーションに応用する試みもある 14,15）。また別のアプローチでは歩行者の社会規範を表現する方法としてゲーム理論に影響を受けたモデルが提案されている 3）が、中でも興味深いのはマルチエージェント

シ ミ ュ レ ー シ ョ ン の 分 野 で 提 案 さ れ た Sequential Social
Dilemmas（SSD）13）である。

まずゲーム理論について概説するが、単目的最適化や多を含む周辺歩行者の状態については、外部から観測可能な

目的最適化は全体合理性を追求する目的関数が設定されてす る。つ ま り、部 分 観 測 マ ル コ フ 決 定 過 程（Partially

り個々のエージェントが他者とは独立に自己の目的関数を

速度情報等の情報のみ観測可能（部分観測可能）であるといる一方で、「ゲーム」は個々の行動主体の合理性、つまObservable Markov Decision Process, POMDP）としてロボッ最大化することを前提とした最適化問題である。ゲーム的

習ではこのような枠組みの中で観測と行動を繰り返しなが在し、それぞれが個別の目的関数の最適化を目指して相互

トナビゲーションの問題を定式化することになる。強化学
ら累積報酬を最大化するような最適方策 π* を学習で獲得することを目的とする。

深層強化学習を複数ロボットの衝突回避制御に先駆的に取 り 入 れ た CADRL（Collision Avoidance with Deep Rein4）
forcement Learning）
では、2 エージェント間の衝突に関す

84 (232)

状況とは、環境に複数の意思決定主体または行動主体が存に依存している状況を意味する。ゲーム的状況の中で行動
主体がどのような意思決定をするのかを数理モデルによって表現し、分析手法を理論化したものがゲーム理論である。

社会におけるさまざまなゲーム的状況の中で、特に我々西村 真衣

雑踏の中で動き回る自律走行ロボット～社会ジレンマを解決する強化学習の活用の身近に存在する問題としては共有地の悲劇や囚人のジレグループ）をそれぞれロボットエージェントと群衆エーとは、個人と全体が資源を共有している状況において、個立した異なる行動方策を持っているものとする。特に、今ンマに代表される社会的ジレンマがある。社会的ジレンマ
人にとって合理的な選択が必ずしも社会全体の利益と一致しない葛藤（ジレンマ）がある状態を指す。表 1 に社会的ジレンマがある状況において、エージェント A、B がそれ・非協力（πd）行動を選択した際にエージェ
ぞれ協力（πc）
ント A が受け取る利得構造を示す。
表1

社会ジレンマにおける協調・非強調方策の報酬構造

協力（πc）

非協力（πd）

協力（πc）

R 相互協力S 他方に裏切られる

非協力（πd）

T 自身が裏切る

P 両者が裏切る

この利得行列（Pay-off Matrix）を持つマトリックスゲー

ムが以下の条件を満たすケースが社会的ジレンマである。

ジェント 2 つのタイプのエージェントとして取り扱い、独回はロボットと個々の周辺歩行者ではなく、ロボットと群衆全体との間での意思決定に伴う社会的ジレンマを扱うため、群衆エージェントは複数の歩行者を 1 つのエージェン

トとして簡易的に取り扱い、ロボットエージェントから未知の方策に従っているものとする。

各タイムステップ t において、群衆エージェントの状態

s は部分的に観測可能であり、目的地の情報は外部からは観測不可能であるとする。群衆エージェントの状態が s ={so, sh} のように観測可能（Observable）な状態 so と観測不能（hidden）な状態 sh から構成されているとすると、ロボットエージェントから観測できる状態は自身の状態と群0jn
衆エージェントの部分観測を含め s = {st , st } となる。部

分観測可能な群衆エージェントの状態は以下で表現される。

st = [dt( g ) , vt , v pref , r ( c ) , r (b ) ]so = [ p , v , d , r ]• R＞P : 相互協力が相互敵対より利得が高い• R＞S: 相互協力が一方に裏切られるよりも利得が高い

t

t

t

（1）

t

• 2R＞T＋S : 相互協力が全体的に最も利得が高い

ここで、d (g) は目的地までの距離、vt, vpref はそれぞれ現在速• または P＞S : 相互に裏切る方が一方的に裏切られる

び介入行動によって周辺歩行者が影響を受ける距離半径で• T＞R : 相手を裏切る方が相互協力よりも利得が高いよりも利得が高い（罰則が軽い）

しかしながら、実世界の問題では時間軸が存在し、エー

ジェントの行動空間に対し協調・非強調は二値で常に分離可能ではなく、段階的な量である。また、エージェントは他エージェントの状態を完全に観測することはできず、部分的な観測のみで意思決定を行う必要がある。これらを考慮し、従来の Matrix Game Social Dilemma（MGSD）を時間軸に拡張し、POMDP として扱えるようにした枠組みがSequential Social Dilemmas（SSD）である。

度及び理想とする速度、r(c)、r(b) は衝突を考慮する半径及ある。強化学習では、累積報酬の期待値を最大化するような最適な方策 π * : stjn  at を学習によって獲得することである。

π * ( stjn )= arg max R ( stjn , at )at+γ

Δt ⋅ v pref

∫ T (st , st + Δt | at )V (st + Δt )dst + Δt
jn

*

jn

jn

（2）

また、累積報酬の期待値をエンコードする最適な価値観数
V* は以下の式で表される。

時間軸での状態遷移を伴うマルコフゲームは、状態空間⎡T⎤
V * ( stjn ) =  ⎢ ∑ γ t ′⋅ v pref R stjn′ , π * ( stjn′ ) ⎥ ,⎣ t ′= t⎦

A1×A2 から構成される。各エージェントの行動はそれぞ

ここで、γ ∈ [0,1) は割引率であり、エージェントの現在

S 、行動空間 A1, A2、状態遷移関数 T、報酬関数 R ∈ S×

(

)

（3）

れ独立に決定される一方で、報酬は状態とエージェントの速度によって割引率が増減しないようタイムステップ及びこのマルコフゲームにおける報酬構造に対し、上述の社会の状態空間を扱うため、価値関数を SARL12）に準拠した

境下におけるロボットナビゲーションを社会ジレンマを伴習するのはロボットエージェントの方策 π のみであり、群行動でなく、自己と他者両方の行動に依存する。SSD は的ジレンマの制約を課したものである。本稿では、混雑環
うマルコフゲームである、SSD に類似した状況であるということに着想を得、強化学習によって最適な方策を獲得す
る方法について解説する。

3. 強化学習を用いたナビゲーション

介入行動を伴うロボットナビゲーションを POMDP として定式化を行う。ここで、ロボットと群衆（周辺歩行者の理想とされる速度 vpref によって正規化されている。高次元
ニューラルネットワークで近似することとする。また、学衆エージェントの方策 π としてはルールベースの衝突回避手法である ORCA1）を用いる。

4. 社会的ジレンマを考慮した報酬設計

本研究では群衆への介入行動を伴うロボットナビゲー

ションを社会ジレンマを伴う意思決定問題として捉える。
Sequential Social Dilemmas（SSD）では、個々のエージェン(233) 85

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働くトの行動によって毎時状況が遷移するマルコフゲームにおの介入行動の有効半径とし、ddisc を周辺歩行者が不快と感

人にとって合理的な選択が必ずしも社会全体の利益と一致る。

いて、個人と全体が資源を共有している状況において、個しない葛藤（ジレンマ）がある状態を指す。ロボットナビ

じる近接距離とすると、報酬関数 Rs は以下のようにかけ⎧β ( d t − r ( b )if dt < r (b ) ∧ bt = 1⎪
Re ( st , at ) = ⎨η(dt − d disc ) elseif dt < d disc⎪0
otherwise,⎩

ゲーションの文脈における個人の利益とは目的地に可能な

jn

限り早く到達することであるとすると、個人の利益を追求
し頻繁に環境への介入を行うことは自然な人の流れを阻害
し自分も含めた全体の目的地への到達を阻害するため、自（6）

ここで、α、β、γ はそれぞれ目的地へ早く到達したいと

身を含む全体の長期的な利益を損ねることに対応する。πc,する積極性の制御項、積極的な介入行動によって生じるペの枠組みにおいて、R、P、S、T それぞれの利得を強化学

整項である。提案法では、このような社会ジレンマを考慮

πd をそれぞれ協調的、非協調的方策であるとすると、SSD習の報酬として設計することを考える。ここで、前章で解説した通り R は相互協力、S は自分のみが協力、T は相手のみが協力、P は双方とも協調しなかった場合の利得である。

相互協力による報酬 R = V (πc, πc) をロボットと群衆がそれぞれ衝突回避し道を譲り合う状態、S = V (πc, πd) を群衆の経路を優先してロボットが迂回路を取るケースであるとする。T = V (πd, πc) はは介入動作や自己経路優先により群衆の通行をロボットが阻害するケースであり、P = V(πd, πd)ナルティの重み、消極的に衝突を避けようとする傾向の調した報酬系の上で累積報酬の期待値を最大化することにより、安全性と効率性のトレードオフを調停（L2B: Learning
to Balance）することを目指す。

5. 実験

社会ジレンマを考慮した提案フレームワーク L2B の効果を検証するため、群衆環境を模したシミュレーションにおいて提案手法の有効性の評価を行なった。

はロボット、群衆が両者とも自己経路を優先し、渋滞或い

5.1 シミュレーション

目的地に到達、周辺歩行者に衝突、所定の所要時間を超過

は衝突回避のみを扱っているため、介入行動を伴うナビ

終了するものとする。

て人の回避行動が距離に応じてどう変化するかを RVO のは衝突してしまうケースと考える。また、各エピソードはする何れかの条件を満たすとその結果に紐づく報酬を得て以上を踏まえて社会ジレンマを考慮した報酬関数の設計を行う。環境から得られる報酬 Re 及び群衆エージェントの行動と自己の行動の組み合わせによって得られる報酬を
Rs とすると、報酬関数 R(st, at) を以下のように表すことができる。

R ( stjn , at ) = Re ( stjn , at ) + Rs ( stjn , at ),（4）

Re は一般的な衝突回避に関する報酬である。ただし、ロ前章までで述べたように混雑環境を対象とした既存研究

ゲーションの評価環境は存在しない。そこで、脅威に対し拡張として取り入れた ERVO（Emotional Reciprocal Velocity Obstacles）を模したシミュレーションシステムを実装

し、介入行動に対する人の反応を ERVO により生成することとした。図 3 に示すように、ロボットエージェントが半径 r(b) を影響半径とする警告音で介入行動を選択した際、その距離 r(b) に応じて影響半径から退避する回避行動を取るものとする。また、群衆が目的地へ向かう際の動きは同

様 に RVO の 拡 張 で あ る ORCA に 従 う も の と す る。4.0

ボットエージェントの現在位置 pt が目的地 p(g) に到達する［m2］の空間に歩行者人数 N ={5, 10, 15, 20} 複数の混雑とその係数 α に応じて減衰するものとする。また、周辺歩確認した。

と得られる成功報酬は、所定時間に対する所要時間の割合
行者との最短距離 dt が衝突判定距離 dmin を下回ると衝突と度のシナリオを作成し、各混雑度における提案法の効果をみなし、それ以外の状態については報酬が発生しないものとする。エージェントが目的地に到達または衝突するとエピソードは終了する。

⎧1.0 − α tlimt⎪
Re ( stjn , at ) = ⎨ −0.25⎪0⎩if pt = p ( g )elseif dt < d minotherwisee,（5）

一方、周辺エージェントとのインタラクションにより発生する社会的な報酬 Rs は介入行動及び接近行動によって生じるペナルティによって形成される。2 値符号である bt

は介入行動の有無（有＝1、無＝0）を、r(b) を警告音など

86 (234)（橙● : ロボットエージェント 灰▲ : 群衆エージェント）
図3

ERVO を元にした介入行動に対するシミュレーション

西村 真衣

雑踏の中で動き回る自律走行ロボット～社会ジレンマを解決する強化学習の活用

5.2 評価方法

混雑度に応じて円周上にランダムにエージェントを配置し、対岸の目的値にお互い交差しながら進行するシナリオとによって自己及び全体に不利益をもたらす効果があるという仮説と一致している。
表2（Circle Crossing Scenario）をベンチマークとして用いる。

定量的な評価結果

エージェントの配置には正規分布に従うランダムノイズを

Methods

N

Success Collision Timeout Time的地までの到達率（Success）、衝突率（Collision）、目標時

L2B-SARLSARL［12］

20

0.906
0.700

0.094
0.184

0.000
0.116

13.85
13.50

out）、目的値までの平均所要時間（Time）4 つのメトリク

L2B-SARLSARL［12］

15

0.880
0.778

0.118
0.064

0.002
0.158

11.60
12.43

よ っ て 獲 得 す る 手 法 は こ れ ま で 存 在 し て い な い た め、

L2B-SARLSARL［12］

10

0.904
0.922

0.086
0.046

0.004
0.032

11.31
11.91

回 L2B-SARL と呼称するものとし、介入方策を用いない

L2B-SARLSARL［12］

5

0.978
0.966

0.020
0.032

0.002
0.002

10.14
10.09

果と比較を行った。

L2B-SARL
average
SARL［12］

0.917
0.841

0.079
0.081

0.002
0.077

11.72
11.98

加えて 500 回のテストケースを作成し、フォーマンスを目間内に目的地に到達せずタイムアウトした割合（Time-スで評価を行なった。比較手法として、介入方策を学習に
SARL のモデルをベースに介入行動を導入した提案法を今オリジナルの SARL を各混雑度のシナリオに適用した結表 2 に各メトリクスでの評価結果を示す。SARL はより混雑した環境下では到達率が下がってしまう結果となった。これは介入方策を持たないオリジナルの SARL では消更に、図 4 に定性的な評価結果を示す。橙マーカがロ極的に衝突回避を行うことしかできないので、迂回路を取

ボットエージェントが取った軌跡及び介入行動を選択したある。一方、L2B-SARL は N＞15 の混雑した環境におい（提案法）では、衝突回避方策のみの下段（SARL）よりも地へ確実に到達できていることがわかる。また、環境へので介入行動を行えていることが確認できた。

りすぎてタイムアウトになるケースが頻繁に起こるためでてもタイムアウト率が非常に低い結果となっており、目的介入は常により効率的に目的地へ到達する結果には至ら

地点、灰マーカが群衆エージェント介入方策を用いた上段

迂回路に偏らず効率的な経路を選択でき、かつ適切な頻度

ず、状況によっては介入を用いない方策よりも目的地への

6. むすびうに環境介入は群衆の動きを乱すことにより、多用するこび混雑環境下における課題を紹介し、介入行動を伴う新た到着が遅れるケースが散見された。これは前章で述べたよ

図4

本稿では、適応的なロボットナビゲーションの枠組み及定性的な評価結果(235) 87

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働くなナビゲーション技術の枠組みについて解説した。現状はment learning”. IEEE International Conference on Robotics andは Non-Holonomic なロボットのキネマティクスにも対応

13）Leibo, J. Z.; Zambaldi, V.; Lanctot, M.; Marecki, J.; Graepel, T.

を利用することも可能である。今回は単一エージェントのmas”. International Conference on Autonomous Agents and Multi-

シミュレーション環境のみでの評価のみであるが、提案法することができるため、移動ロボット実機で訓練した方策
みを学習対象としたが、社会ジレンマの介在する環境下において、マルチエージェント強化学習の枠組みにより複数ロボットの協調行動を引き出すような発展も考えられる。

参考文献
1）Van Den Berg, J.; Guy, S. J.; Lin, M.; Manocha, D. “Reciprocal
n-body collision avoidance”. Robotics Research. Springer, 2011,

p.3-19.

2）Fox, D.; Burgard, W.; Thrun, S. The dynamic window approach tocollision avoidance. IEEE Robotics & Automation Magazine.
1997, Vol.4, No.1, p.23-33.

Automation. 2019, p.6015-6022.

“Multi-agent reinforcement learning in sequential social dilemAgent Systems. 2017, p.464-473.

14）Robicquet, A.; Sadeghian, A.; Alahi, A.; Savarese, S. “Learningsocial etiquette: Human trajectory understanding in crowded

scenes”. European Conference on Computer Vision. 2016, p.549-

56515）Chen, Y. F.; Everett, M.; Liu, M.; How, J. P. “Socially aware
motion planning with deep reinforcement learning”. IEEE/RSJ
International Conference on Intelligent Robots and Systems. 2017,p.1343-1350.

16）Tai, L.; Zhang, J.; Liu, M.; Burgard, W. “Socially compliant navigation through raw depth inputs with generative adversarial imitation learning”. IEEE International Conference on Robotics andAutomation. 2018, p.1111-1117.

3）Fisac, J. F.; Bronstein, E.; Stefansson, E.; Sadigh, D.; Sastry, S. S.;

Dragan, A. D. “Hierarchical game-theoretic planning for autono-

mous vehicles”. IEEE International Conference on Robotics andAutomation. 2019, p.9590-9596.

4）Chen, Y. F.; Liu, M.; Everett, M.; How, J. P. “Decentralized noncommunicating multiagent collision avoidance with deep reinforcement learning”. IEEE International Conference on Robotics
and Automation. 2017, p.285-292.

5）Chen, Y. F.; Everett, M.; Liu, M.; How, J. P. “Socially aware

執筆者紹介
西村 真衣

NISHIMURA Mai

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：コンピュータビジョン, GPGPU
所属学会：IEEE

motion planning with deep reinforcement learning”. IEEE/RSJ
International Conference on Intelligent Robots and Systems. 2017,p.1343-1350.

6）Everett, M.; Chen, Y. F.; How, J. P. “Motion planning among
dynamic, decision-making agents with deep reinforcement learning”. IEEE/RSJ International Conference on Intelligent Robots andSystems. 2018, p.3052-3059.

7）Trautman, P.; Krause, A. “Unfreezing the robot: Navigation indense, interacting crowds”. IEEE/RSJ International Conference onIntelligent Robots and Systems. 2010. p.797-803.

8）Trautman, P.; Ma, J.; Murray, R. M.; Krause, A. Robot navigationin dense human crowds: Statistical models and experimental studies of human-robot cooperation. International Journal of Robotics
Research. 2015, Vol.34, No.3, p.335-356.

9）Matsumaru, T.; Kusada, T.; Iwase, K. “Mobile robot with preliminary-announcement function of forthcoming motion using lightray”. IEEE/RSJ International Conference on Intelligent Robots andSystems, 2006, p.1516-1523.

10）Kayukawa, S.; Higuchi, K.; Guerreiro, J.; Morishima, S.; Sato, Y.;

Kitani, K.; Asakawa, C. “Bbeep: A sonic collision avoidance sys-

tem for blind travellers and nearby pedestrians”. CHI Conferenceon Human Factors in Computing Systems, 2019, p.1-12.

11）Hardin, G. The tragedy of the commons. Science. 1968, Vol.162,
No.3859, p.1243-1248.

12）Chen, C.; Liu, Y.; Kreiss, S.; Alahi, A. “Crowd-robot interaction:
Crowd-aware robot navigation with attention-based deep reinforce-

88 (236)

本文に掲載の商品の名称は、各社が商標としている場合があります。

西村 真衣動的に変化する環境の中で自己位置を推定する自律走行ロボット

動的に変化する環境の中で自己位置を推定する
自律走行ロボット
西村 真衣
移動ロボットの自律移動システムは搭載センサによる環境認識と地図構築、その地図上での自己位置認識に基づく経路計画によって構成される。静的な環境においては事前に地図構築を行い、環境センサ情報を登録地図と照合することにより比較的安定して移動システムを動作させることができるが、人が介在するなど動的な環境においては地図構築の観点からはノイズとなる移動体を如何に処理するかが課題となる。本稿では自律移動システムのうち
特に動的環境を対象とした自己位置推定に焦点をあて、移動体が存在する環境下における主なアプローチを俯瞰すると共に、我々が提案する移動体のみを利用する新たな移動軌跡復元手法の枠組みについて述べる。

Mobile Robot Navigation in Densely Crowded
Environment
NISHIMURA Mai
The autonomous mobile robot (AMR) system consists of environment mapping using equipped sensors, selflocalization and path planning on the top of the map. In static environment, where the layout of objects is fixedand no dynamic objects appear in the map, the system can build the whole environment map in advance.
However, when it comes to dynamic environments, the AMR system is required to build the map sequentially byhandling dynamic obstacles in real-time. In this document, we especially focus on the self-localization system inthe dynamic environment. We first briefly review fundamentals of localization system based on the multi-viewgeometry and introduce its extensions to incorporate dynamic points and obstacles. Moreover, towards navigatingin highly congested scenarios, we propose a novel self-localization framework that depend only on dynamic
objects in the observed images.

1. まえがき

移動ロボット（モバイルロボット）、またその土台となる自律移動システムは工場内や公共施設における運搬、警備、物流、清掃など多様なシーン、用途で活用されている。一方で工場内のように経路、障害物を固定できる環境と比較して、人が介在するなど特に動的に大きく変化する
環境へのモバイルロボットの導入は未だ課題が多い。自律
移動システムは搭載センサによる周辺環境の認識と地図構
築、構築した地図上での自己位置認識と経路計画によって構成されるが、その全てのプロセスにおいて移動体の存在を考慮する必要がある。第一に地図構築において、静的な環境では事前に地図構築を行うことが可能であるが、移動体を含む環境地図は刻一刻と変化するため、固定の静的な背景と移動体による動的な前景を分離可能にした環境地図
Contact : NISHIMURA Mai mai.nishimura@sinicx.com

を逐次更新しながら構築し、走行可能領域を算出する必要がある。更に、その構築した地図上で自律走行を行うには、変化する環境地図上での自己位置及び障害物となる移動体の認識が不可欠となる。本稿では、このような動的環
境下を対象とした自律移動システムの中で特に自己位置推定に着目し、既存のアプローチを俯瞰すると共に、移動体のみを利用した新たな自己軌跡復元の枠組みについて述べる。

移 動 ロ ボ ッ ト で は、IMU（Internal Measurement Unit）、

LiDAR 等多様なセンサが利用されているが、本稿では特に単眼 RGB 画像センサで構成される自律移動システムについて解説する。RGB カメラを用いた地図構築及び自己

位置推定は静的なランドマークを複数の視点から観測し、多視点幾何による幾何学的な拘束式を解くことによりカメラの位置パラメータを逐次算出することが基本となる。そのため、環境地図及び自己位置推定は静的なシーンの観測(237) 89

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働くが前提とされ、歩行者や自転車、自動車など移動体が含まれる環境ではそれらを外れ値として、又は意味レベルで障害物として認識し、除外する方法が取られてきた1,2）。更

応点を用いて、視点間のカメラ位置姿勢を回転行列 R, 並

進移動ベクトル t を算出する。

に、移動体が多く存在するシーンでは安定した自己位置推定を実現するため、移動体であるオブジェクトも同時にランドマークとして複合的に最適化対象とするアプローチも提案されている3,4）。しかしながら、これらはいずれも静的なランドマークの観測をベースとした従来の手法の拡張として提案されており、静的なランドマークが安定してトラッキングし続けられることが前提となる。

以上で述べた通り、従来の自律移動システムは周辺環境が静的で変化しないことが前提であり、動的な環境の変化に対応するための拡張手法群もシーン全体の中で静的なランドマークが支配的である環境を対象としている。では、雑踏など移動体の存在がシーンの内で支配的であり、遮蔽により静的なランドマークの安定した追跡が不可能な状況下でも尚自律走行ロボットを運用し続けるにはどのような方法が取れるだろうか。本稿の後半では更に、そのような従来のアプローチが機能しない “超” 動的な環境における自己位置推定の新しい枠組みについて紹介する。

2. 多視点幾何の基礎
2.1 多視点撮影による幾何パラメータの推定

移動ロボットでは以下ⅰ）～ⅳ）のプロセスの反復によって移動しながら環境地図と自己位置を逐次更新していく。

ⅰ）2 視点でのランドマークの検出・マッチングⅱ）ランドマークの 3 次元位置及びカメラ位置姿勢の復元ⅲ）復元したランドマークを環境地図へ登録

ⅳ）新たな観測点において再度ランドマークを検出、登録されたランドマークとの対応関係から、カメラ位
置姿勢を推定ⅴ）新規に観測されたランドマークの 3 次元位置を復元
し、環境地図へ登録

このように地図構築（Mapping）と自己位置推定（Localization）は相互に依存しているため、自律走行におけるロボットの自己位置推定技術は Simultaneous Localization and

Mapping（SLAM）と呼称される。従来の SLAM システムで

図 1 共通のランドマークの観測によるカメラ幾何パラメータ推定

2.2 バンドル調整

バンドル調整17）とは、図 1 におけるランドマーク P の 3

次元位置とカメラを結ぶ光線束（Bundle）を対応する撮影
画像上の特徴点 p の投影関係を利用して調整し、その背後にある幾何パラメータを推定・最適化するための方法である。実用上、計算過程において画像平面上における特徴
点 p の検出座標には観測誤差が含まれるため、ランドマー

ク P の 3 次元位置及びカメラ位置姿勢パラメータの推定結果はその誤差の影響を受けたものとなる。バンドル調整ではこのような観測誤差の混入を前提とし、推定された各カ

メラ姿勢 Ri , ti について元の観測された点 pi と 3 次元点 Piの投影関数 f ( Pi | Ri , ti ) による再投影誤差
min ∑ pi − f ( Pi | Ri , ti ) 2
2

Ri , ti（1）を最小二乗法によって最小化することで最適なパラメータを求める。なお、最小二乗法は誤差に対し正規分布のノイズを仮定した場合の最尤推定に相当する。多視点幾何を用いたカメラの位置姿勢推定は観測を増やすごとに各処理の誤差が蓄積していくため、過去に推定された位置姿勢パラ

メータ群を局所的なグループ毎（local Bundle Adjustment,
local BA）またはループが検出されたタイミングで過去に推定された全ての位置姿勢に対して最適化を行う（global
Bundle Adjustment, global BA）。

は、観測する環境が静的で変化しないランドマーク（特徴3. 動的な環境下における自己位置推定

ンドマークが追跡可能である必要がある。

3.1 ロバスト推定手法

ドマーク P は各視点（View1,View2）において画像平面上の点 p, p ′ として投影される。この画像平面上における対なランドマークを多視点で観測することを基本として構成点）が存在することを前提とし、複数フレームで共通のラ
図 1 に多視点幾何の概念図を示す。3 次元空間中のラン

90 (238)

前章までで述べたように従来の自己位置推定技術は静的されている。従って、観測された特徴点の一部に動的な点西村 真衣動的に変化する環境の中で自己位置を推定する自律走行ロボット群が含まれた場合、それらをまず外れ値として処理するア
プローチが取られてきた。その最も代表的な手法がロバス

ト推定手法である。ロバスト推定とは与えられた観測値、を同時に行い、因子グラフとしてバンドル調整のパイプラインに組み込むアプローチをとっている3,4）。

予測値に外れ値が含まれていることを前提とし、その誤差

4. 移動体のみを利用する自己位置推定

法 と し て Random Sample Consensus（RANSAC）や Leastとして記述される Dynamic SLAM では、移動体を含むシーで触れた最小二乗法では、目的値 y に対する予測値 f (x) の安定して静的なランドマークを追跡し続ける必要があっ影響を抑えることを目的とした手法群である。代表的な手Median of Squares（LMedS）、M-estimator 等がある。2.2 節

二乗誤差最小化を行うが、観測に含まれる誤差の分布が正規分布に従うことを仮定していた。
LMS = min ∑  2 ,Δx

 = y − f ( x)（2）

これに対し、M-estimator は誤差基準  に対して誤差重み関数 ρ を設定し、重み付き誤差を最小化するアプローチ
である。

M = min ρ ( )Δx（3）

重み関数としては外れ値に対してより小さな重みを与え既存の静的なランドマーク観測に基づく SLAM の拡張

ン全体の復元を実現している一方で、移動体と同時に常にた。従って歩行者で混雑した路上など移動体が非常に多く含まれ、相互遮蔽により静的なランドマークの安定した追跡が不可能な状況下において自己位置推定を行うことは極めて難しい。では見方を変えて、静的なランドマークの観測に依存せず、移動体のみを用いてカメラの自己運動を含めた周辺環境を復元することはできないだろうか。つまり、図 2 に示すように一人称視点での周辺歩行者の動きの

2D 観測から、俯瞰視点でのカメラ自己運動及び周辺歩行者の移動軌跡を復元する問題を考える。

るような偶関数が選ばれることが多く、特徴点ベースで代表的な Visual SLAM 手法である ORB-SLAM5,6）では Huberのコスト関数を使用している。また、一般にはデータに対するノイズの分布は未知であることから、学習データに対して最適なこのロバスト推定手法における誤差関数 ρ を学習させる手法7）も近年提案されている。このようなロバス

ト推定に基づくアプロ―チは主に誤検出や僅かな移動体によって生じる外れ値を対象としており、移動体が多く存在するようなシナリオには適用できない。
3.2 Dynamic SLAM

近年の移動体を含む動的なシーンを対象とした SLAM

システムの研究群（Dynamic SLAM）では、大きく二つの方向性において従来の静的シーンを前提とした SLAM シ

ステムを拡張している。まず 1 つは、環境マップを離散的な 点 群 と し て 扱 う の で は な く、Semantics を 考 慮 し て

図2

一人称観測に基づく自己及び周辺歩行者の軌跡復元

各タイムステップ t において、歩行者 1, ..., K の一人称

映像に基づく相対的な観測 Z1t:K = z1t , z2t , ..., z Kt } が与えられ

Object レベルでの処理を行う Object-aware なシステムを構たとき、その俯瞰視点上での位置 X 1t:K = {x1t , x2t , ..., xKt } 及

ベルで検出した移動オブジェクトを個別にトラッキングし

大きさ（身長）築している点である。最も単純な実装として、Semantic レながらフィルタリング処理によって環境地図を構成するランドマークから取り除く方法が提案されている1,2）。更にもう 1 つは、静的なランドマークと同時に移動体であるオ
ブジェクトとその動きを外れ値として除外せず、最適化対

び観測カメラの位置 x0t を同時復元するとする。移動体が⎡ xk ⎤
⎡u k ⎤⎢ y ⎥ = fhk R ⎛ − π ⎞ A−1 ⎢ v ⎥⎢ k ⎥ lk x ⎜⎝ 2 ⎟⎠⎢ k⎥⎢⎣ zk ⎥⎦⎢⎣ 1 ⎥⎦（4）

は、静的なランドマークの検出と同時にオブジェクトレベ

が限られる人物であると仮定すると、画像平面上における

人物検出位置 [uk , vk ] に対し、観測カメラに対する相対的な 3D 位置 [ xk ., 
yk , zk ] は、カメラ内部行列 A, 焦点 f をを扱う SLAM システムが観測フレーム間でマッチング可x 軸周りでの角度 θ の回転、hk , lk はそれぞれ人物の 3 次元

象として含めるという点である。

移動体を同時に最適化対象に含める Dynamic SLAM でルでの検出・追跡処理が実行される。つまり、静的シーン
能な静的な特徴点のみを対象とするのに対し、Dynamic
SLAM では特徴点及びオブジェクトのフレーム間対応付け

用いて以下に示す逆投影で表現される。ここで、 Rx (θ ) は空間での身長、画像平面における観測上の身長である。

実環境での人物の身長が平均 μ h、分散 σ h のガウス分布(239) 91

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働くに従う9）とすると、観測モデルは逆投影線上のガウス分布

として記述される。

（5）

zkt ~ p ( zkt | xkt ; hk ) = N ( μ h , σ h2 )また、観測される歩行者が群として共通の移動モデルに沿って移動していると仮定すると、カメラ及び歩行者の移動軌跡

X 0:t K

は観測モデルである尤度分布 p ( zk | xk ) 及び移動モデルについての事前分布 p ( xk ) を用い、以下の事後分
布を最大化させることによって求められる。

p ( X 0t :K | Z1t:K , X 0t :−K1 ) ∝ p ( X 0t :K | X 0t :−K1 ) p ( Z1t:K | X 0t :K , X 0t :−K1 ) （6）
ここで、周辺歩行者の推定位置 X 1:t K を固定すると、観測カメラの移動量 Δ x0t = [ Δ x0t , Δy0t , Δθ ] は以下の MAP 推定により求められる。

∆ xˆ t =   p  xt  χ t −τ t − ∏ p  xkt  χˆ kt−τ t −  ∆ xt  p  zkt  xkt  ∆ xt ∆xt ∈\k（7）

ここで、 p ( x0t | X 0t −τ :t −1 ), p ( xkt | X kt−τ :t −1 ) は τ フレーム分の観測におけるそれぞれカメラ、周辺歩行者の移動モデルである。周辺歩行者の移動軌跡は上記で推定されたカメラ位置
Δx0tを固定することにより、同様に以下式により求められる。

χˆtK =   ∏ p  xkt  χ kt−τ t −  ∆ xˆ t  p zkt  xkt  ∆ xt  （8）xkt ∈χtKk

この観測カメラ移動量の推定と歩行者位置推定は相互に依存しているため、交互に推定量を固定しパラメータの逐タは既知とし、歩行者の身長はガウス分布 hk = N ( μ h , σ h2 ),μ h = 1.70[m], σ h ∈[0.00, 0.07] [m] に従ってサンプリングしたデータを生成した。

5.2 リアルな歩行者軌跡を利用したデータセット

Motion Model が未知の軌跡データに対する提案法の有効性を確認するため、公開の群衆データセットである

ETH10）、UCY 11）から映像中に含まれる群衆人数に応じて軌跡データを抽出し、歩行者の 1 人に仮想カメラをマウン
ト・その視点における疑似的な投影データを俯瞰視点軌跡とペアとしたデータを作成した。

5.3 写実的なゲーム映像を利用したデータセット

5.1、5.2 節で作成したデータはいずれも仮想的なカメラ

モデルを用いた疑似投影であり、歩行者間の相互遮蔽は考慮されていない。そこで、コンピュータビジョン分野でのCG データセットとして広く利用されている Grand Theft
Auto V（GTAV）14）を用い、人物軌跡データとペアとなる

写実的な一人称映像を生成した。GTAV では Script Hook
V15）というライブラリを用いて GTAV 内のネイティブ関数を呼び出す任意のプラグインを記述することができ、指定のシーンにおいて人物配置や深度画像を逐次取得しながら、各エージェントについてプログラムされた軌跡通りの行動を実行することが可能である。図 3 に GTAV によって作成した軌跡データのサンプルを示す。

次更新を繰り返すことにより、カメラ及び歩行者軌跡の復元を行う。

5. データセット

動的環境での自己位置推定の評価を行うデータセットは3 次元シーンをキャプチャしたデータに 2 次元の動きを含む移動体を撮影画像に 2D 合成したデータセット8）等が提図3

案されているが、歩行者により混雑した環境を対象とし、その移動軌跡とカメラ自己運動の復元を目的としたデータ

GTAV で作成した軌跡データサンプル

セットは存在しない。また、リアルな歩行者の軌跡データ

6. 実験

称視点での群衆の動きを捉えたデータセットは希少であ

6.1 シミュレーションデータでの評価から抽出した軌跡データを仮想カメラモデルによって一人

データセットにおいて、提案手法の評価を行った。図 4 に

瞰視点での軌跡データをペアとしたデータを作成した。

による時刻 t −1 ~ t での回転角及び移動量、Δ x , Δ x は周辺

5.1 シミュレーションデータセット

めた絶対位置の推定結果である。歩行者の身長の分散 σ hは俯瞰視点映像で撮影されたものが殆どであり、一人

10-12）る。そこで、今回は人工的に生成又は群衆の俯瞰視点映像
称映像に投影し、疑似的に生成した一人称視点の観測と俯仮定する移動モデルが既知のケースにおける提案法の性能を検証するため、Social Force Model 13）によって人工的に生成した軌跡データを 10 ～ 50 人の群衆内に含まれる人数毎に作成した。仮想カメラモデルの内部パラメー

92 (240)

5.1 節で作成した既知の移動モデルを利用して構築したシミュレーション結果を示す。Δr , Δt はそれぞれ自己運動

歩行者のカメラに対する相対位置、観測カメラの運動を含が大きいほど推定位置のエラー率は上昇するが、群衆の人数が増加するほどカメラの自己運動の推定精度は高くなり、その観測カメラ位置に基づく周辺歩行者の位置推定精度も高くなる傾向が認められた。

西村 真衣動的に変化する環境の中で自己位置を推定する自律走行ロボット

カメラ軌跡は赤、歩行者軌跡はグレーで描画され、上段（GT）が正解データ、下段（estimated）は推定分布に相当する。数値実験結果は割愛するが、t ~ t + 3 のように歩行者数が少人数の際は推定される位置分布の裾が拡がるため曖昧性が高くなり、t + 4 ~ t + 9 のように歩行者人数が一定以上のケースでは分布の尖度が向上し、観測する移動体が多くなるに従って位置推定は安定して機能する特性が認められた。

6.3 GTAV により生成した一人称映像データによる評価

GTAV により生成した一人称映像に対し、MOT-16 によって事前学習された既存の Multi-Object Tracker（MOT）16）を用いて画像平面上での人物位置に相当する Bounding Box
図4

シミュレーションデータにおける提案法の推定結果を抽出し、そのトラッキング結果に基づいて俯瞰視点上でのカメラ・歩行者移動軌跡復元を行った。図 6 に提案法の推定結果を示す。より実用的な場面を意識し、MOT の出

6.2 リアルな移動軌跡データセットでの評価

力を軌跡復元の入力として用いた場合においても、混雑し

データセットを利用して構築したデータセットにおいて、した。

5.2 節で作成した未知の移動モデルによる群衆の軌跡

提案手法の評価を行った。図 5 に提案法によって推定された環境下において提案法は安定したトラッキング結果を示たカメラ及び歩行者位置の確率分布の可視化結果を示す。

図5

リアルな軌跡データに対するカメラ及び歩行者位置の確率分布推定結果(241) 93

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

図6

3. 人と協調する 人とともに働く

CG により生成した一人称映像（上段）に対する俯瞰視点移動軌跡推定結果（下段）7. むすび

本稿では、多視点幾何に基づく移動ロボットの自己位置推定の基礎を俯瞰するとともに、動的な環境を対象とした拡張手法について紹介した。また後半では更に、静的なランドマークの観測を基本とした従来手法では扱うことができなかった混雑環境下において、移動体のみをランドマー
クとして用いることにより移動ロボット及び歩行者軌跡を復元する取り組みを提案した。移動体のみを利用するアプ
ローチはテクスチャが乏しい背景環境においても適用することが可能であり、これまで従来法の枠組みで扱うことが不可能であった様々なシーンへ応用を広げることが期待される。

algorithm”. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019, p.4581-4590.

8）Lv, Z. et al. “Learning rigidity in dynamic scenes with a moving
camera for 3d motion field estimation”. Proceedings of the European Conference on Computer Vision（ECCV）. 2018, p.468-484.

9）Luo, Y. et al. “Where, What, Whether: Multi-modal learning meets
pedestrian detection”. Proceedings of the IEEE/CVF Conference
on Computer Vision and Pattern Recognition. 2020, p.14065-

14073.

10）Pellegrini, S. et al. “Youʼll never walk alone: Modeling social
behavior for multi-target tracking”. 2009 IEEE 12th International
Conference on Computer Vision. 2009, p.261-268.

11）Lerner, A.; Chrysanthou, Y.; Lischinski, D. Crowds by example.
Computer Graphics Forum. 2007, Vol.26, No.3, p.655-664.

12）Wen, L. et al. “Detection, Tracking, and Counting Meets Drones in

参考文献
1）Bescos, B. et al. DynaSLAM: Tracking, mapping, and inpainting in
dynamic scenes. IEEE Robotics and Automation Letters. 2018,

Vol. 3, No.4, p.4076-4083.

2）Yu, C. et al. “DS-SLAM: A semantic visual SLAM towards

Crowds: A Benchmark”. Proceedings of the IEEE/CVF Conference
on Computer Vision and Pattern Recognition. 2021, p.78127821.

13）Mehran, R.; Oyama, A.; Shah, M. Abnormal crowd behavior detec-tion using social force model. 2009 IEEE Conference on Computer Vision and Pattern Recognition. 2009, p.935-942.

dynamic environments”. 2018 IEEE/RSJ International Conference14）Rockstar Games. “Rockstar Games”. https://www.rockstargames.

3）Henein, M. et al. “Dynamic SLAM: The need for speed”. 202015）Script Hook V. “Script Hook V”. http://www.dev-c.com/gtav/,（参on Intelligent Robots and Systems（IROS）. 2018, p.1168-1174.

IEEE International Conference on Robotics and Automation（ICRA）. 2020, p.2123-2129.

4）Huang, J. et al. “Clustervo: Clustering moving instances and estimating visual odometry for self and surroundings”. Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020, p.2168-2177.

5）Mur-Artal, R.; Jose, M. M. M.; Tardos, J. D. ORB-SLAM: a versatile and accurate monocular SLAM system. IEEE Transactions on
Robotics. 2015, Vol.31, No.5, p.1147-1163.

6）Mur-Artal, R.; Tardós, J. D. Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras. IEEE Transactions
on Robotics. 2017, Vol.33, No.5, p.1255-1262.

7）Lv, Z. et al. “Taking a deeper look at the inverse compositional

94 (242)com,（参照 2021-09-17）.
.
照 2021-09-17）16）Wang, Z. et al. “Towards real-time multi-object tracking”. Com-

puter Vision – ECCV 2020: 16th European Conference. Proceedings, Part XI 16. Springer International Publishing, 2020, p.107-

122.

17）岡谷貴之．バンドルアドジャストメント．情報処理学会研究報告．2009, Vol.2009-CVIM-167, No.37, p.1-16.

西村 真衣動的に変化する環境の中で自己位置を推定する自律走行ロボット

執筆者紹介
西村 真衣

NISHIMURA Mai

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：コンピュータビジョン、GPGPU
所属学会：IEEE

本文に掲載の商品の名称は、各社が商標としている場合があります。

(243) 95

OMRON TECHNICS

96 (244)

Vol.53 No.2（通巻 165 号）2021

3. 人と協調する 人とともに働く4
技術解説・サーベイ

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

3 次元画像計測におけるステレオマッチングの基礎から最先端まで
谷合 竜典
ステレオマッチングは、自動運転における環境認識や自律走行ロボットの SLAM、Augmented Reality（AR）、3 次
元スキャンなど、さまざまな分野において基盤的技術要素となっている 3 次元画像計測技術の一つである。コン
ピュータビジョン分野の歴史の中で、最も古くから取り組まれている問題の一つでもあるが、物理的拘束や幾何学的拘束に基づいて技術構築してきたこの古典的領域に、いま、AI（深層学習技術）が侵食し、新たな展望が見え始めた。本論では、ステレオマッチングの基本的な問題設定や課題、深層学習以前のアプローチ、そして深層学習以降の最新の研究動向を解説し、さらにオプティカルフローやマルチビューステレオなどの周辺分野の紹介も交えながら、この分野を包括的に俯瞰する。

Binocular Stereo: From the Basics to the State of the Art
TANIAI Tatsunori
Binocular stereo is getting better, faster, stronger. This fundamental 3D sensing technique not only makes key
building blocks in various technologies such as autonomous driving, augmented reality, and digital 3D scanning,
but also provides a basis for other relevant problems in computer vision such as multiview stereo and optical flow.
As the field of computer vision has experienced a major turning point since the emergence of deep learning, thefield of stereo vision was not an exception, being strongly influenced by deep learning. This article reviews thebasics of binocular stereo from its concept, challenges, and formulations, and further provides overviews of thepast and current state of the art in the literature before and after the advent of deep learning.

1. まえがき

テレオマッチング分野もその例に漏れることなく深層学習らとらえた 2 枚の画像を用いて、画像中に写るシーンの奥本的な問題設定や課題、深層学習以前のアプローチ、そしステレオマッチングとは、同一の静止シーンを別視点か行きを推定する問題であり、人間の両眼奥行き知覚を計算的に模倣した 3 次元画像計測技術の一つである。ステレオ
マッチングは、コンピュータビジョン分野において最も古くから取り組まれている問題の一つであり、同時に、現在でも国際会議などで盛んに研究が発表されている問題でもある。ステレオマッチング技術の応用は幅広く、自動運転に お け る 環 境 認 識 や 自 律 走 行 ロ ボ ッ ト の SLAM、Aug-の影響を強く受けた。本論では、ステレオマッチングの基て深層学習以降の最新の研究動向を解説し、さらにステレ
オマッチングの周辺分野の解説も交えながら、この分野を俯瞰する。本論は、池内克史編纂の Computer Vision: A Ref-

erence Guide へ筆者が寄稿した “Binocular Stereo”の章1）の内容に対して、和訳および最新動向等を踏まえた加筆・修正をしたものである。

mented Reality（AR）、3 次元スキャンなど、さまざまな分

2. ステレオマッチングの基礎

タビジョン分野内で見ても、オプティカルフォローやマル

2.1 基本知識位置づけることができる。近年の深層学習の台頭は、コン

は静止シーン、つまり 2 枚の画像間で被写体が動いていな

野における基盤的技術要素となっている一方、コンピュー
チビューステレオなどの他の問題に対する基礎的な問題とピュータビジョン分野に大きな転換期をもたらしたが、スContact : TANIAI Tatsunori tatsunori.taniai@sinicx.com

98 (246)

ステレオマッチングにおける基本的な想定として、対象いシーンとし、さらに 2 枚の画像の内容は互いに十分な視覚的重なりがあるとする。

ステレオマッチングの撮影システムは、通常は、向きが谷合 竜典

3 次元画像計測におけるステレオマッチングの基礎から最先端まで揃えられた 2 台の同種のカメラを水平方向に並べて設置すていることがうかがえる。例えば、左視点のある点が右視ぶ。このとき、ステレオマッチング問題は、一方の視点画ても対応点を一意に定めることは難しい。したがって、ある。この際のカメラ間の距離を “ベースライン長” と呼像の各画素について、それに対応する被写体上の点がもう一方の視点画像のどの位置に写っているかを推定する問題、即ち、画像間の密対応点推定問題（dense correspon-

点のどこにあるかを探すとき、その一点のみの色で判断しる点の対応点を探すにしても、その周辺の視覚的コンテキ
ストを見ながら、広域的な手掛かりと局所的な手掛かりを総合してマッチングしていることが推察される。これは、dence estimation）に帰着する。特にステレオマッチングの局所的な手掛かりのみでは残る曖昧性を、広域的な手掛か上に存在するため、2 点間の対応関係を通常は水平方向のマッチングでも行うが、しかし、図 1 の上図に示すよう対応点ペアは、画像上で同一の高さの水平スキャンライン

座標の変位、すなわち視差（disparity）によって表す。したがって、ステレオマッチングは、2 枚の画像間での視差を各画素について求める問題とも言える。

ステレオマッチングによって得られる出力の形式として、奥 行 き マ ッ プ（depth map）や 視 差 マ ッ プ（disparity

りで補っているとも言える。似たようなことはステレオな、全くテクスチャがない領域や繰り返しパターンが存在するシーンだと、広域的な手掛かりをもってしても対応関係に曖昧性が生じて、不良設定問題となる。これらテクス
チャなし物体や繰り返しパターンの問題は、ステレオマッ
チングの基本的な課題に数えられる。また、鏡面反射するmap）などがある。奥行きマップは、メートルなどを単位

物体や、光沢のある物体など、視点によって見た目や明るプは画素数を単位とした視差値を画像で表したものであ

い対象である。

とした各画素の奥行き値を画像で表したもので、視差マッる。これら 2 つの表現は、撮影システムのベースライン長とカメラの焦点距離などの情報があれば相互に変換できる。

2.2 背景および周辺知識

人間の両眼奥行き知覚のように、ステレオマッチングも三角測量の原理を用いており、その数学的原理はエピポー

ラ 幾 何 学（epipolar geometry）に よ り 基 礎 づ け ら れ て いる2）。ただし、エピポーラ幾何学自体は、基本的に、画像間の対応点を既知としてカメラや物体間の 3 次元的な位置関係について数学的理解を与えたり、逆に、カメラ同士のさが変化する物体も、ステレオマッチングが原理的に難し
このほか、二眼のステレオマッチングにおいて避けて通れない問題が、遮蔽（occlusion）である。これは、図 1 の

下図に示すように、一方の視点画像で写っている被写体領域が、もう一方の視点画像において視界に入らない、或いは、他の被写体で遮蔽されることで画像中に写らない問題を指す。遮蔽が生じている領域では、真の意味での対応点は存在しないので、原理上、対応点/奥行き推定は失敗する。ステレオマッチング問題では、このような遮蔽領域は多かれ少なかれ必ず存在するため、基本的に遮蔽の取り扱
い（occlusion handling）が必要になる。

ワイドベースライン・ステレオマッチングは、ステレオ

位置関係を既知として画像座標上での被写体の位置関係にマッチングにおいて特にベースライン長が大きい場合を指にして画像中に対応点を見つけるかまではその範疇にな

ルとの相対関係で定まるが、ベースライン長を大きくとる

ついて数学的理解を与えたりするもので、実際にどのようい。これはステレオマッチング問題の要となる。

我々が普段全く意識することなく行っている両眼奥行き知覚であるが、改めて少し考えると、実に高度な処理をしす。ベースライン長の大小は対象シーンの奥行きのスケー
ことで、奥行きを何センチ単位まで測れるかといった意味
での計測の限界精度を上げられるメリットがある。一方

で、デメリットとして、視差の取りうる範囲が大きくな

図 1 ステレオマッチングにおける繰り返しパターンとテクスチャ無し領域および遮蔽問題
上：背景に繰り返しパターンとテクスチャ無し領域が存在する。下：左右の視点画像においてマッチングが取れない 2 種類の遮蔽領域が存在する。

(247) 99

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

る、画像間の視覚的重なりが少なくなる、被写体の遮蔽領とオプティカルフローを組み合わせた問題で、移動可能な大きくなる、などが挙げられ、奥行き推定の難易度は増点×2 フレーム）から、シーンの奥行きと時間方向のフ域が増える、画像間での被写体の見た目の幾何学的変化がす。

ステレオマッチングは、一方でまた、コンピュータビ

ジョン分野の他の問題を特殊化、或いは、簡単化したものと見なせる。

例えば、マルチビューステレオ（multiview stereo）は 2

視点以上からの多視点画像を用いるもので、通常はカメラの位置関係や撮像モデルは既知とする一方、カメラ配置や画像枚数は任意とする。複数の視点画像を用いることで、二眼カメラシステムにより撮影された 4 枚の画像（2 視ローを同時に求める問題である。これらの 2 種類の対応点

情報は、フレーム間のカメラモーション情報と併せること

で、3 次元空間での被写体表面の 3 次元的な動き（3 次元シーンフロー）を表すことができる。ステレオ・シーンフ
ローは、ステレオマッチングやオプティカルフロー単体よりも扱える情報が増えるため、複数画像からの手がかりを適切に利用すれば精度向上や高速化が見込める 3）。

このように、二眼のステレオマッチング問題は、コンマッチングの曖昧性を減らせ、また、より多くの物体表面

ピュータビジョン分野に存在する様々な密対応点推定問題

題も軽減できる。このため、原理上、マルチビューステレ

に、次節以降で述べるように、カメラキャリブレーション

が最低 2 視点以上から観測できるようになるため、遮蔽問
オは二眼のステレオマッチングよりも高い精度が期待される。一方で、不規則なカメラ配置では、例えば物体正面側と裏面側など、視覚的重なりが少ない画像ペアが存在するの中で最も根本的な問題と考えることができ、また同時や、画像フィルタ、組合せ最適化など、同分野の様々な技
術の上に成り立っている技術でもある。

場合があり、これらをマッチング対象から適切に除外する

2.3 数学的原理

む。また、不規則なカメラ配置下では、ある視点画像上でングの数学的原理を説明する。ここでの目標は、物体表面

く歪んで写る場合があり、単純な正方形パッチ同士の類似

応点情報と紐づけられるかを数学的に理解することである。

ための視点選択（view selection）という新たな問題をはら
カメラと正面平行な小平面（パッチ）が、別視点では大き度評価では精度を落とす。このように、マルチビューステ

ここでは、エピポーラ幾何学にもとづくステレオマッチ

上の点の 3 次元座標が、どのようにしてステレオ画像間の対

レオは、二眼のステレオマッチングを一般化した、より複雑なタスクであると言える。

一方、オプティカルフロー（optical flow）は、ステレオ

マッチングと同様に 2 枚の画像間での対応点を推定する問題であるが、奥行きではなく、被写体の動きそのものを推定する。対象となる 2 枚の画像は、動的なシーンを 1 台の可動カメラにより異なる時刻に撮影したものである。このときフレーム間の対応点の動き（フロー／flow という）は、被写体の動きによるものや視点カメラ自身の動き（ego motion）によるもの、或いは、その両方の複合効果かもしれない。もし被写体が全く動かず、カメラモーションが正面平行な左右方向であれば、オプティカルフロー問題
はステレオマッチング問題と一致する。ステレオマッチン
グにおける対応点の動き（視差）は、被写体の奥行き方向の位置のみを変数として説明可能だが、オプティカルフ

ローにおける対応点の動き（フロー）は、物体の位置や動き、未知の視点モーションと、説明変数が複雑化する。こ図 2 平行化されたステレオマッチングの設定同じ向きに左右に設置されたカメラで撮影されたシーンにおいて、3 次元点 x が左右の視点画像に投影される状況を考える。このとき投影点の画像座標 p および p ′ は、同じ高さのライン（エピポーラ線）上に位置する。カメラのベースライン長を b、焦点距離を f とするとき、この対応点間の水平方向の座標の変位 d は、
3 次元点の奥行き z に対応して d = fb/z と表される。

ステレオマッチングでは一般に、図 2 に示すような、平のため、二眼ステレオマッチングやマルチビューステレオ

行化された（rectified）設定を考える。ここでは、2 台の同あったが、オプティカルフローの推定では 2 次元の探索空向の向きで、それぞれ原点 (0, 0, 0)T と、そこから水平方向

では視差や奥行きといった 1 次元の探索空間で推定可能で間が必要となる。遮蔽問題も依然として存在し、静的シー
ン下での幾何学的解釈が可能だったステレオマッチングの遮蔽問題と比べ、動的物体の存在が遮蔽の発生原理をより複雑にしている。

ステレオ・シーンフローは、二眼のステレオマッチング

100 (248)

一のピンホールカメラが、どちらも 3 次元座標系の z 軸方にシフトした位置 (b, 0, 0)T に設置されているとする。このとき、原点の視点を左視点、もう一方を右視点と呼び、その間隔 b をベースライン長とする。カメラは両方ともキャ
リブレーション済みとし、以下の同一の内部パラメータ行列を持つとする。

谷合 竜典

3 次元画像計測におけるステレオマッチングの基礎から最先端まで⎡f
K = ⎢⎢ 0
⎢⎣ 0

0
f
0

cu ⎤
cv ⎥⎥
1 ⎥⎦

ける奥行き z は、ステレオシステムの焦点距離 f とベース

（1）

ここで、(cu, cv) はカメラの光学的な主点（principal point）

ライン長 b を用いて計算することができる。さらに、このようにして z が分かれば、式（2）により対象点の 3 次元座標
x も推定可能となる。

を表し、f は焦点距離（focal length）を表す。なお、現実に

3. 非学習型のステレオマッチングを構築することは困難であるが、カメラシステムがキャリ

定義や難しさ、他の問題との関連性、そして数学的な原理

部 パ ラ メ ー タ が 既 知）で あ れ ば、ス テ レ オ 画 像 平 行 化

方法論について紹介することとし、ここではまず、深層学はこのような理想的に平行化されたステレオ撮影システム
ブレーション済み（即ち、2 台のカメラの相対的姿勢と内（stereo image rectification） と呼ばれる技術により、撮影
2）

画像をあたかも図 2 の平行化されたシステムで撮影したかのように変換できる。よって、以降はこの平行化されたス

これまでの内容により、ステレオマッチングの基本的なについて理解できたはずである。以降では、より具体的な習登場以前の非学習型の古典的アプローチについて包括的に解説する。

テレオを前提に議論を進める。

3.1 定式て、この視点画像に写る物体表面上のある点に注目し、そて、Scharstein と Szeliski4）による分類が有名である。彼ら

参照カメラ座標系における、この対象点の 3 次元座標 x =ト の 計 算（matching cost computation）、コ ス ト 集 約（cost

原点に座する左視点を参照視点（reference view）としの画素の座標を p = (u, v)T とする。我々が知りたいのは、(x, y, z) であり、これはピンホールカメラの投影モデルかT

ら以下のように表せる。

x = K −1 ( zp )（2）

ここで、p = (u , v, 1) は p の同次座標表現である。この 3 次
T

元点 x が右視点画像上で写る位置、即ち、p の対応点 p′ の2 次元座標は、以下の式で求まる。

p ′ = π ( K [ R t ]x )ここで、[R（3）

古典的なステレオマッチング手法の俯瞰的な理解としはステレオマッチングのアルゴリズムを、マッチングコス
aggregation）、視差計算と最適化（disparity computation andoptimization）、視差微調整（disparity refinement）の 4 つのステップに分割することで、ステレオマッチング手法の分類を与えた。本解説では、古典的なステレオマッチング手法を、以下の式で表される目的関数の定義および最小化方法の組み合わせととらえる新たな観点を導入して俯瞰的理解を試みる。

E ( D) = ∑ Cp ( Dp ) + R ( D)p

（6）t] は一般にカメラ間の相対的姿勢を表す、回

ここで、変数 D は入力のステレオ画像ペアに対する視tor）から成る 3×4 の姿勢行列で、今、カメラは同一方向す。Cp ( Dp ) はマッチングコスト項と呼ばれるもので、画転行列（rotation matrix）R と並進ベクトル t（translation vec-に間隔 b で設置されているため、R は 3 次元の単位行列、

差 マ ッ プ を 表 し、Dp ∈  + は 画 素 p に 対 す る 視 差 を 表
像の各画素 p に対する視差の推定値 Dp の妥当性を、pp′ における左右の画像の見た目の整合性
t = (－b, 0, 0)T で あ る。姿 勢 行 列 は、x の 同 次 座 標 x = ( x, とその対応点
y, z , 1)TTT
x = ( x, y, z , 1) に 対 し て 作 用 す る。関 数 π (x, y, z) = (x/z, y/z) （photo-consistency）の 観 点 で 評 価 す る。R(D) は 正 則 化
は、透視投影変換に基づき 3 次元ベクトルを画像上の 2 次

元座標に変換する。式（3）に対し、式（2）を代入して x を消去すると、対応点ペア p と p′ の関係式として以下が得られる。

⎡ fb / z ⎤p′ = p − ⎢
⎥
⎣ 0 ⎦

（4）

式（4）は、つまり、左画像上の各画素 p について、その項（regularization term）、或 い は、平 滑 化 項（smoothnessterm）とも呼ばれ、視差マップ D に対してある種の滑らかさを促す。通常、視差は離散的な視差値のラベリング
Dp ∈{d1 , d 2 , ..., d K } と し て 定 義 さ れ、式（6）の E(D) は、組合せ最適化（離散最適化）アルゴリズムによって最小化される。これは、ステレオマッチングで用いられる目的関数
E(D) は、一般的に非常に非凸な形をしており、勾配法な

右画像上での対応点の座標 p′ は、座標 p から左方向に水どの連続最適化手法では容易に悪い局所解に陥ってしまうからである*1。

る。この時の水平方向への座標の変位

テレオマッチング手法は、ローカルモデル手法とグローバ

平に (fb/z) 画素分だけずらした位置にあることを意味す
d = fb / z（5）のことを視差（disparity）と呼ぶ。式（5）からわかるように、点 p の視差 d、即ち、対応点 p′ が判明すれば、p におこの目的関数を主眼とした観点を用いると、古典的なス

ルモデル手法の 2 種類に分別できる。ローカルモデル手法
は、式（6）において、マッチングコスト項のみによる目的

関数 E ( D) = Σ pCp ( Dp ) の最小化により視差マップを推定

す る。こ の と き、各 画 素 の 視 差 Dp は そ の 1 変 数 関 数(249) 101

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ（unary function）であるマッチングコスト関数 Cp ( Dp ) のρ (p, p′ ) = max{1 − NCC(p, p′ ), τ }（9）

みによって決定づけられ、その最適解は、視差の候補ラベ
ル{d1 , d 2 , ..., d K }の中で関数 Cp の値が最も小さなラベルとここで、閾値 τ を 0 < τ < 2 の範囲の値（典型的には τ =1）

り（winner-takes-all）方式と呼ぶ。

NCC の値の変動を無視することができ、遮蔽領域などになる。このような最適化方法を指して、しばしば勝者総取

グローバルモデル手法は、正則項 R(D) を明示的に持つ式（6）の目的関数 E(D) を用いる。ローカルモデル手法と違い、各画素の視差変数 Dp は R(D) を介して互いに影響し合うようになるため、E(D) の最適化にはより複雑な計算をに設定することで、類似度が一定値以下の場合についておける外れ値に対して頑健な尺度を与えることができる。
一方で、NCC は比較的計算コストが高いという問題がある。

Zabih と Woodfill6）は、画像パッチを 2 値のベクトルに変要する。一部の特殊な場合を除いて、E(D) の最適化は一換することで、パッチ間の非類似度をハミング距離により解を得ることが目的となる。

CENSUS 変換は、あるパッチに対し、パッチ内の中央画素

般に NP 困難となるため、グローバルモデル手法では近似
以下では、これらローカルモデル手法およびグローバル

モデル手法において重要となる要素や技術について解説する。

3.2 見た目の整合性尺度（photo-consistency measure）
マッチングコスト項の中で、おそらくもっとも重要な要

素は、左右の画像での画素間の類似度（正確には非類似度）を測る尺度、即ち、photo-consistency 関数 ρ (p, p′ ) の定義である。この関数は、左画像 I における画素 p と右画像I′における画素 p′ の間の非類似度、或いは、それらの画素を中心とする小領域（パッチ）の間の非類似度をスカ

ラー値で評価する。最も単純な尺度は AD（absolute diﬀerence）と呼ばれるもので、 ρ (p, p′ ) =| I (p) − I ′ (p′ ) | と定義される。しかし、画素輝度を直接比較することは 2 枚の画像
間で照明変動があった場合に頑健でない。このため、輝度勾配 ∇I の差も考慮してρ (p, p′ ) = α | I (p) − I ′ (p′ ) |+ (1 − α ) | ∇I (p) − ∇I ′ (p′ ) |（7）

より頑健な尺度として、2 つの画像パッチに対する、以正規化相互相関）を用いる場合もある。

（8）

ここで、 pi , i ∈W は左画像 I の座標 p を中心とする矩形領域（パッチ）の座標を表し、μ p と σp はその領域内でのグレースケール輝度 I (・) の平均と標準偏差を表す *2。 μp′ ′ とσ p′ ′ は右画像 I′の座標 p′ を中心とする矩形領域に対して同様に計算される。パッチサイズは 3×3 から 7×7 程度の比較的小さなパッチを用いることが多い。NCC は－1 から

1 の範囲で正規化された類似度の尺度であるから、マッチ

ングコストとして用いる場合、例えば関数 ρ (p, p′ ) を以下のように定義して用いる。

102 (250)

1 で符号化する。近傍画素間の輝度差に基づく尺度であるから、NCC と同様に照明変動に対して頑健であるが、量子化の度合いが強いため尺度の表現力は NCC より低い。
CENSUS 変換は、屋外シーンに対するリアルタイム・ステ
レオ推定システムなどによく用いられる。
3.3 コスト集約（cost aggregation）

photo-consistency 関数は上述の通り、1 画素、或いは、小さなパッチ単位で非類似度を評価するため、それ単体ではマッチングの曖昧性が高く、ノイズに弱い傾向がある。そこでコスト集約では、マッチングコストCp (d ) を計算する
際 に、 ρ (p, p′ ) だ け で は な く、p の 周 辺 の サ ポ ー ト 画 素s ∈Wp におけるコスト ρ ( s, s′ ) も以下のように足し合わせて考慮することで、マッチングコストの推定の安定化を図る。
s ∈Wp

（10）

ここで、Wp は対象画素 p を中心とするサポート窓（support window）と呼ばれる領域であり、 ω (p, s) は後述する
何らかの重み関数、 sd′ = s − (d , 0) は画素 s に対する視差 d
T

下のような NCC（normalized cross correlation、日本語では( I (pi ) − μp ) ( I ′ (p′i ) − μp′ ′ )σ p ⋅ σ p′ ′i ∈W

p とその他の画素 q の輝度差の正負 sign( I (p) − I (q)) を 0 とCp (d ) = ∑ ω (p, s)ρ (s, s′d )という定義を用いる場合もある。

NCC(p, p′ ) = ∑高 速 に 計 算 す る 手 法、CENSUS 変 換 を 提 案 し て い る。

による対応点を表す。

コスト集約は、しばしばコストボリューム・フィルタ（cost volume filtering）とも呼ばれる。その理由を理解する
た め に、式（10）の 計 算 を、生 の マ ッ チ ン グ コ ス ト 値
ρ (p, p′ (d )) の事前計算と、それらの集約の二段階で考えてみる。このとき、 ρ (p, p′ (d )) を H×W サイズの画像の全ての画素 p および全ての候補視差ラベル d ∈{d1 , d 2 , ..., d K }について事前計算すると、これらの値は H×W×K サイズの、コストボリューム（cost volume）と呼ばれる 3 次元ボリューム V (p, d ) を成す。コストボリューム V に対して式（10）の集約計算をすることは、V (p, d ) の同一 d に沿った
各 2 次元スライス Vd (p) （コストマップ/cost map という）に対して、カーネル ω (p, s) による画像フィルタリングを施すことに他ならない。通常、式（10）の計算を安易に実装すれば、各マッチングコスト Cp (d ) の計算には O(| Wp |) の計算量がかかる。しかし、このコストボリューム・フィル

谷合 竜典

3 次元画像計測におけるステレオマッチングの基礎から最先端までタの考えを導入し、フィルタ ω (p, s) に対して定数時間フィルタを用いれば、各 Cp (d ) の計算は窓サイズに依存しこれは、窓領域で視差が線形に変化することを許容し、コスト集約操作の妥当性は、サポート窓 Wp 内の画素 s

3 次元の連続値 (a, b, c) でパラメータ化された平面に代わない O (|1|) の計算量で実現できる。

は中心画素 p と同じ視差（奥行き）を持つ、という仮定に基づいている。しかし、Blayer et al.7）が議論する通り、この仮定は次の 2 つの場合において頻繁に破られる。1）窓

マッチングコスト計算で生じる正面平行バイアスを効果的に軽減した。一方で、視差の表現は 1 次元の離散値から、り、この推定には後述の連続値視差推定のアプローチが必要となる。

内に物体の境界が存在するとき、および、2）窓領域が正

3.4 正則化（regularization）

視差が窓領域内で大きく変動するときである。前者は、推sistency 関数とコスト集約を用いて、マッチングコスト関

アーティファクト（boundary flattening）を生じさせ、後者マッチングコスト関数だけではテクスチャが弱い領域、照面並行ではない、大きく傾いた被写体表面を写しており、定された視差マップにおいて、物体境界を滑らかにするは、傾いた表面に対して階段状のアーティファクト（stair-

ローカルモデル手法では、これまでに述べた photo-con-

数をいかにして設計するかが中心となる。しかしながら、明変動、画像ノイズなどの存在によって、推定精度が低下

case artifact）を招く。これらの問題は大きなサポート窓をすることがある。そこでグローバルモデル手法は、正則項あげるためには窓サイズを大きくする必要があり、このト

マップ D 全体を最適化し、モデルの精度向上を図る。

使うほど顕著になる一方で、マッチングコストの信頼性を
レードオフが大きな足かせになっていた。

R(D) を追加した目的関数 E(D) の最小化を通じて、視差最も単純な正則化モデルは、以下のような線形モデル

1 つ目の問題は、適応的なサポート窓（adaptive support-（linear model）である。

である。適応的サポート窓は、対象画素 p とそのサポート

R( D) = λwindow）を用いるアプローチ 8）により効果的に対処可能

画素 s の類似度により重み付け ω (p, s) を与え、サポート窓

Wp の形を画像内容に応じて実質的に変形させるものである（図 3）。Yoon と Kweon は、ジョイント・バイラテラ
8）∑ ω (p, q) | D p − Dq |( p , q )∈N（12）

ここで、( p, q ) ∈N は画像グリッドの 8 近傍や 4 近傍などの近傍画素ペアで、ω (p, q) は近傍画素間の類似度を表し

ルフィルタをコスト集約に適用した。これに対し Hosni et

たエッジ重み、λ は平滑化項全体の重みパラメータであタである Guided filter を用いることで、高速なコストボ

間で厳密解を求めることが可能である11）。一方、線形モデ

al.9）は、He et al.10）が考案したエッジ保持定数時間フィル

る。この線形モデルを用いた E(D) の最小化は、多項式時

リューム・フィルタリングを提案した。

ルは、色が近い近傍画素であれば近い視差をとるという仮

行な面を仮定することで、視差マップ全体に正面平行バイ発生し、境界付近の推定精度が悪くなる傾向がある。

2 つ目の問題の原因は、サポート窓に対して常に正面平

アス（fronto-parallel bias）が生じることである。この問題に対して Bleyer at al. は、サポート窓に対して単一の視差7）d を推定するのではなく、以下のように、視差を平面式

d＝au＋bv＋c で表し、各画素 p に対して平面パラメータ(a, b, c) を推定した。

このため、実用的には線形モデルに閾値τを導入した、

以下の閾値付き線形モデル（truncated linear model）が最も広く用いられる。

R( D) = λ∑ ω (p, q) max{| D p − Dq |, τ }( p , q )∈N

Cp (a, b, c) = ∑ ω (p, s) ρ (s, s′ (asu + bsv + c))
s ∈Wp

a

定を用いているが、物体境界において過大なペナルティが

b

（11）

c

（13）

このモデルを用いた E(D) の最小化は一般に NP 困難であるが、比較的シンプルな 2 変数関数（pairwise function）のde

図 3 適応的サポート窓
Yoon と Kweon8）による適応的サポート窓は、対象画素（a の中心点）のサポート窓（a）に対して、輝度類似度ベースの重み（b）と距
離ベースの重み（c）を組み合わせたバイラテラル・フィルタカーネル（d）を計算し、マッチングコストを集約する。実際の奥行きマップ（e）と比べると、効果的に対象画素と異なる物体表面を集約計算から除外できている。

(251) 103

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

和で表せられるため、良い近似解が得られる最適化アルゴ

や Sequential Tree Reweighted Message Passing（TRW-S）法

リズムが知られている（後述）。しかし、これら 2 つの線に代表されるメッセージ伝搬法（message passing）ベース

平行バイアスがあり、傾いた被写体表面に対して階段状のは、現在の視差マップの推定値に対して、画素ごとに現在

形モデルはどちらも近傍画素に対して同じ視差を好む正面

アーティファクト（図 4 左）を生じさせる傾向がある 。
12）

このステレオマッチングの正則化における正面平行バイ

アスを軽減させるために、これまでに様々な正則化モデルが提案されている。Woodford et al.12）が提案した 2 階平滑化モデル（second-order smoothness model）は、Dp の 1 回微

分値 | D p − Dq | の代わりに、3 画素の組に対して計算される

2 階微分値 | Dq1 − 2 D p + Dq2 | を評価する。図 4 に示すように、この正則化モデルは正面平行バイアスを大きく軽減でのアプローチに大別される。グラフカット法ベースの手法
ラベルと提案ラベルのどちらが良いかを選択する 2 値問題
を反復的に解くことで、視差マップを更新していく。一方、メッセージ伝搬法は、各画素とその近傍画素の間で、ラベルに関する信頼度メッセージを交換しながら、コスト
ボリュームを更新していく。これらの最適化アプローチは比較的高い計算量を要求するものが多く、リアルタイム・
システムなどの実用場面においては、Semi-Global Match-ing（SGM）法17）が 用 い ら れ る こ と が 多 い。SGM 法 は、

きるが、3 変数関数を含む目的関数の最適化は 2 変数の場
合よりも複雑になる*3。Olsson et al.14）は曲率ベースの正メッセージ伝搬法の近似アルゴリズムであることが知られ定するモデルを用いることで、2 変数関数形式によって定3.6 連続値の視差の推定

al.15）は、事前に推定した物体表面の傾きを正則化モデルの表現と推定には、連続値の視差マップ D を推定する必要

則化モデルを提案した。これは、画素ごとに視差平面を推式化され、効率的な最適化が可能になった。Scharstein etに埋め込むことで、最適化にかかる計算量の増加なしに正面平行バイアスを軽減する方法を提案した。
3.5 最適化（optimization）

最適化はグローバルモデル手法において必須の工程で、2 変数関数、或いは多変数関数の正則項を含む目的関数
E(D) の最小化により、視差マップ D 全体を最適化する。

ている18）。

視差は本来連続値であるため、より正確な 3 次元シーンがある。

連続値の視差推定の一つのアプローチは、最適化の中で連続値の視差を求めることである。この場合、離散最適化
手法を直接適用することはできないが、離散最適化手法を利用して連続値変数を最適化する、離散連続最適化アプ

ローチが取られることが多い。例えば、セグメントベースの手法19）は、RANSAC 法などを利用して事前計算した視差が離散変数であり、かつ、目的関数が高々 2 変数関

シーン中の平面を候補ラベルとして、スーパーピクセル領とも呼ばれる）を直接適用して近似解を求めることが可能

く。融 合 ベ ー ス の 手法12）は、多 数 の 連 続 値 表 現 の 視 差数しか含まない場合、離散最適化手法（組合せ最適化手法

域に平面ラベルを割り当てる組合せ最適化問題として解である。この場合の最適化方法には確立されたものがあ

マップの解候補（proposal）を融合してより良い解を求め

sion move）に 代 表 さ れ る グ ラ フ カ ッ ト 法（graph cuts）て定式化される。融合ベースの手法では、解候補の生成方り16）、アルファ拡張／拡張移動法（alpha expansion/expan-

ベースのアプローチと、信頼度伝搬法（belief propagation）

るもので、グラフカット法を用いた組合せ最適化問題とし法が鍵となるが、例えば、様々な粒度のスーパーピクセル

図 4 正則化モデルによる正面平行バイアスの影響
左の線形モデル（1 階平滑化モデル）には正面平行バイアスがあり階段状のアーティファクトが生じるが、右の 2 階平滑化モデルでは傾いた面もなめらかに推定されている。出典：Woodford et al.12）の発表資料より。

104 (252)

谷合 竜典

3 次元画像計測におけるステレオマッチングの基礎から最先端までで推定したセグメントベース手法の結果などが用いられる方、最適化ベースのアプローチは、通常 1 変数関数である

PatchMatch ステレオ法 は、PatchMatch と呼ばれる空間

め、グローバルモデル手法でしか取り扱うことはできず、（図 5）。

7）

伝搬とランダム探索を組み合わせた対応点推定アルゴリズ
ムを用いることで、各画素に対して連続値 3 次元ベク20）トルで表される視差平面を推定した。この手法は融合移動

マッチングコスト項を多変数関数に拡張する必要があるた
最適化の計算コストも高いが、より正確に遮蔽問題を扱うことができる。

法と比べ、解候補の事前生成が不要である一方、正則化を

4. 学習型のステレオマッチング

うなランダム探索を正則化付きのグローバルモデル手法と法が近年盛んに研究されている。とりわけ、ニューラル

法ベースの手法や、筆者（Taniai et al. ）によるグラフ

これは以下のようなステレオ画像ペアから視差マップへの考慮しないローカルモデル手法であった。PatchMatch のよ
して実現する研究として、Besse et al.21）による信頼度伝搬22）

カット法ベースの手法がある。

連続値の視差推定のもう一つのアプローチは、離散的な視差マップを推定した後にそれを後処理として精細化するものである。通常は、整数値の視差を精細化するため、そのような処理のことをしばしばサブピクセル精細化（sub-pixel refinement）と呼ぶ。具体的な方法として、メッセー

深層学習の台頭により、学習型のステレオマッチング手

ネットワークを用いて一貫学習するアプローチが主流で、マッピング関数 f を直接学習する。

D = f ( I , I ′; Θ )（13）

関数 f は畳み込みニューラルネットワーク（以下 CNN）

により実装され、そのパラメータ Θ は大量の学習データに対して損失関数 ( D) が最小になるように、確率的勾配

ジ伝搬法によって得られる各画素の各候補ラベルに対する降下法により最適化される。学習データセットによって正勾配法23）により目的関数 E(D) を初期解付近で連続値最適て、損失 ( D) は推定視差マップ D と正解視差マップとの信頼度の値を用いて曲面フィッティングをする方法17）や、化する方法などがある。

3.7 遮蔽対処（occlusion handling）

解の視差マップが与えられている際は、教師あり学習とし差を平均 L1 損失や Huber 損失（Smooth L1 損失とも呼ばれる）などを用いて評価する。正解の視差マップの存在を仮定しない場合、損失 ( D) には、式（6）の古典手法で用い遮蔽問題は、推定済みの視差マップに対して後処理としられた目的関数 E(D) に類似したものが用いられ、これはルを組み込むことで最適化の最中に対処するアプロー

このような学習型手法の利点として、これまで非学習型て対処するアプローチ 7,17）と、目的関数 E(D) に遮蔽モデ

自己教師あり学習と見なされる。

がある。後処理ベースのアプローチは、左右の視の古典手法においては、マッチングコスト計算における画

tency check）による遮蔽領域検知と穴埋め（hall filling）に行化やキャリブレーションの誤差などの様々な問題に対しローバル手法のどちらにも用いることが可能である。一ロ ー チ で は こ れ ら が ほ ぼ 自 動 的 に 解 決 で き る。ま た、チ

24,25）

差マップを用いての左右一貫性チェック（left right consisよって行われる。この後処理は、ローカルモデル手法とグ

像パッチの歪みや照明変動の問題、遮蔽問題、ステレオ平て個別に対処が必要だったが、学習型のデータ駆動アプ

図 5 融合ベースのステレオマッチング
上：参照画像に対し、様々な粒度のスーパーピクセルを推定。下：それぞれについてセグメントベース手法により視差マップ候補を生成する。視差マップ候補はグラフカットベースの最適化により融合される。出典：Woodford et al.12）より。

(253) 105

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

CNN の推論計算は GPU 上で大規模に並列化することが可能で、従来の古典手法では計算に時間がかかった連続値視差の推定も、高速に実行することができる。

既存の学習型手法を俯瞰的に理解するならば、これらはコストボリュームにもとづく古典ステレオ手法の模倣とみおける photo-consistency 関数 ρ (p, p′ ) として用いられ、それ以外は古典的なステレオの処理パイプライン（ここではSGM17））にしたがって視差マップを推定する。
チ

この特徴抽出は、後に、ステレオ一貫学習のアプロー

における種々の工程の最初のステージとしてネッ

27-31）

ることができる。そこで本論では、Scharstein と Szeliski4）

トワークに組み込まれた。一貫学習アプローチにおける特ニ ュー ラ ル ネ ッ ト ワ ー ク の 構 成 を、特 徴 抽 出（feature

であり、フィードフォワード型 CNN27）や ResNet 型 CNN28）

による古典ステレオ手法の分類に倣い、学習型手法のextraction）、ボ リ ュー ム 構 築（volume construction）、コ ス

トボリューム学習（cost volume learning）、視差回帰と精細徴抽出の役割は、各入力画像を特徴マップに変換することの他、マルチスケール情報を効果的に利用する取り組みとし て 空 間 ピ ラ ミ ッ ド・プ ー リ ン グ（以 下 SSP）層29）や化（disparity regression and refinement）の 4 つの工程に分解

U-Net 型 CNN31）を用いた実装がある（表 1 参照）。

的な例を図示したものである。以下では、学習型手法に関

4.2 ボリューム構築（volume construction）

を解説する。

したアプローチから直接視差マップの推定まで行う一貫学

4.1 特徴抽出（feature extraction）

古典手法で用いられた 3 次元コストボリュームをネットした。図 6 は、このようなニューラルネットワークの典型する既存研究の解説も交えながら、この 4 つの工程の内容

学習型ステレオは、マッチングコスト関数の学習に特化

習アプローチへシフトしていった。その基本的な方針は、初期の学習型手法は、ニューラルネットワークをマッチ

ングコストの計算に特化して用いるものだった。Zbontarと LeCun26）による MC-CNN は、画像パッチから特徴ベク

トルを抽出し、特徴ベクトル間のマッチングコストをコサ
イン距離（fast 構成）や全結合層（accurate 構成）によって計算した。学習されたマッチングコスト関数は古典手法にワーク内で計算し、そこから視差マップを回帰出力するというものである。

このアプローチに代表される初期の事例が Mayer et al.27）

による DispNetCorr（以下 DispNet）である。DispNet のコストボリューム構築は、左視点の特徴マップ上で右視点の特徴マップを横断させながら、特徴ベクトル間の相関を計

図 6 一貫学習アプローチのニューラルネットワークの構成例
学習型のステレオマッチングでは、通常、各入力画像を特徴マップに変換した後、右特徴マップを左特徴マップ上で横断させながら連結または相関計算することでコスト特徴ボリュームを構築する。コスト特徴ボリュームは、3 次元畳み込みネットワーク等によりコストボリュームに変換された後、soft-argmin 演算により視差マップが出力される。
表1

一貫学習型のステレオマッチング手法の比較

特徴抽出

手法

ボリューム構築

視差マップ
の回帰出力

タイプ

特徴次元

方式

27）

DispNet

CNN

128

相関

1/4

1

なし

2D CNN

GC-Net28）

ResNet

32

連結

1/2

64

3D U-Net

soft-argmin

32

連結

1/4

64

3D U-Net×3

soft-argmin
soft-argmin

PSMNet29） ResNet + SPP

解像度 特徴次元

コストボ
リューム学習30）

GwcNetResNet

320

相関＋連結

1/4

64

3D U-Net×3

GA-Net

31）

U-Net

32

連結

1/3

64

SGA×3 + LGA soft-argmin

106 (254)

谷合 竜典

3 次元画像計測におけるステレオマッチングの基礎から最先端まで

4.4 視差回帰と精細化（disparity regression and refine-

算するもので、以下のように計算される。
V (p, d ) = dot (F (p), F (p − (d , 0)T ))

（14）

ment）

視差回帰は、コストボリュームから連続値の視差マップ

これは相関ベース（correlation-based）のボリューム生成を出力する工程である。初期の学習型手法の例では、古典

リュームの各点をスカラー表現に落とし込むため、視覚的り、或いは、DispNet27）では、3 次元のコストボリュームと呼ばれ、強い帰納バイアスの恩恵を受けられる一方、ボ手法における離散視差推定のように分類ベースで行われたなコンテキスト情報などが欠落する問題がある。そこで、を 2 次元の特徴マップとして 2 次元 CNN により出力した

る、次式のような連結ベース（concatenation-based）の拡

これに対し、Kendall et al.28）が提案した soft-argmin 演算

相関を明示的に計算せずに特徴ベクトルの連結で表現す張も提案されている。

28）

V (p, d ) = concat (F (p), F (p − (d , 0)T ))さらに Guo et al.

（15）は、相関計算を多チャンネル化した

30）

グループ毎相関（group-wise correlation）と、連結ベースのボリューム生成を組み合わせ、相関計算の帰納バイアスと特徴ベクトルに含まれるコンテキスト情報の両方を利用する手法を提案している。

連結ベースやグループ毎相関ベースによって生成されるボリュームは、各マッチングコスト値を多次元の特徴ベク

りする方法がとられた。

は、コストボリュームから効果的に連続値の視差マップを出力することを可能とし、以後の手法に標準的に用いられるようになった。soft-argmin は、3 次元コストボリューム

V(p, d) に対して、視差 d 軸方向に softmin 関数を適用して

確率分布

K −1

Pp (d ) = e −V (p , d ) / ∑ e −V (p , d ′ )d ′= 0を計算し、これにより視差の期待値
K −1

D(p) = ∑ d ⋅ Pp (d )トルで抽象的に表したコスト特徴ボリュームと見なせ、4次元テンソルで表現される。このコスト特徴ボリュームは

（16）

d =0

（17）

メモリ消費が多いため、通常は特徴抽出時において W/2×を求めるものである。

徴マップを用いてボリューム構築する（表 1 参照）。画像

勾配が計算され、誤差逆伝搬により 3 次元 CNN や特徴抽め、特徴ボリューム全体のメモリサイズは (1/s)3 になる。

リューム学習にカスケード構成を用いる手法24,29,31）では、H/2 や W/4×H/4 のサイズにダウンサンプリングされた特サイズを各辺 1/s に縮小すると、視差範囲も 1/s になるた

このように出力された視差マップは、最終的に損失ℓと出 の CNN な ど の パ ラ メ ー タ が 学 習 さ れ る。コ ス ト ボ

生成された特徴ボリュームは、次のステップにより、明示中間層から出力された視差マップに対する補助的な損失がボリュームに変換される。

らに 2 次元 CNN に通すことで精細化する場合もある32）。

的にマッチングコストを表す 3 次元テンソル表現のコスト追加される。また、最終的に出力された視差マップを、さ

4.3 コストボリューム学習（cost volume learning）

4.5 データセット

SGM などの最適化処理を施すことで、生のマッチングコス

るデータセットや性能評価用のベンチマークの存在が重要型手法でも同様の効果をねらった方法が提案されている。

して、以下では、論文等において頻繁に用いられる代表的古典手法では、コストボリュームに対してコスト集約やトに対して正則化を適用し、推定精度を向上させた。学習
DispNet27）とならんで初期の一貫学習アプローチの代表例である Kendall et al.

による GC-Net は、連結ベースの28）

コスト特徴ボリューム（4 次元テンソル）に対して、3 次

元畳み込み層による U-Net 型の 3 次元 CNN を適用するこ

学習型ステレオマッチングにおいては、学習データとなになる。学習型ステレオマッチングの紹介の締めくくりとなデータセットを紹介する。
SceneFlow データセット

Mayer et al.27）は、ステレオマッチング、オプティカルはこの 3 次元

フロー、およびステレオ・シーンフロー用の大規模な CG

Zhang et al.31）の GA-Net は、SGM 最適化処理を模倣した

習用データとして 3 万 5,454 組、テスト用データとしてとで正則化効果を学習する。Chang et al.

29）

U-Net を カ ス ケ ー ド 化 さ せ た 構 成 を 提 案 し た。ま た、SGM 層と、適応的なサポート窓によるコスト集約を模倣した Local Guided Aggregation（LGA）層を提案した。SGMの最適化処理は、元々微分可能な演算の組み合わせであったが、GA-Net では、max 関数を softmax 重みとの内積に置き換えるなど、勾配を効果的に伝搬する工夫がされている。

によるデータセットを構築した。このデータセットは、学

4,370 組 の ス テ レ オ 画 像 ペ ア を 提 供 す る。各 画 像 は、960×540（0.5 メガピクセル）のサイズで、正解となる視差マップのほか、前後のフレーム間のフローマップなども与えられている。Mayer et al. による DispNet27）以降の学習型ステレオマッチング手法は、このデータセットを用いて事前学習するのが一般的となっている。

(255) 107

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

KITTI 2012・2015 ベンチマーク

KITTI 2012 ベンチマークは、実際の車載カメラ画像を用いて、学習用およびテスト用に対してそれぞれ 200 組の徴ボリュームの内容を全て保持しながら計算しなければならないため、メモリ上の制約が厳しい。

似たような問題は古典手法においても存在した。そこ

ステレオ画像ペアを提供している。各画像は、376×1242

で、解決の糸口として古典手法のアプローチを振り返ってや標識などの背景領域については LiDAR センサーによっは、ステレオのような離散最適化アプローチではなく、勾の内容であるが、背景領域のみならず、車の領域に対して

背景には、当時のコンピュータの性能では、大量の計算と（0.5 メガピクセル）のサイズで、学習用画像中の道路や壁て計測された正解視差が与えられる。KITTI 2015 も同様

も 3D CAD モデルをフィッティングして推定した正解視差が与えられている。既存の論文では、SceneFlow データ

セットで事前学習したモデルで ablation study などの評価実験を行い、KITTI データセットで追加学習したモデルで実画像シーンに対する評価実験を行う場合が多い。

Middlebury Stereo（バージョン 3）ベンチマーク

Middlebury ベンチマークは、2002 年の初期バージョン 4）から始まる、比較的古くからあるステレオのベンチマーク

で、実際の屋内シーン画像に対し、structured light 技術で 3次元計測した高精度な正解視差マップを提供している。現在のバージョン 3 では、学習用として 23 シーン、テスト

みる。古典手法の初期の代表例である Lucas-Kanade法23,33）

配法に基づく連続最適化アプローチであった。その登場のメモリを必要とするコストボリューム生成型の離散最適化
アプローチが困難であった点も一因に考えられる。勾配法
ベースの手法は、フローの初期値が正解値から大きく離れていると悪い局所解に陥りやすい。このため Lucas-Kanade
法では、画像ピラミッドの低解像度画像からフロー推定を行い、その結果をより高解像度の画像におけるフロー推定の初期値にしながら、順々に高解像度へと結果を伝搬、更新していく、いわゆる coarse-to-fine 推定のアプローチがとられた。その後、コストボリュームの一部を効率的にサンプリングして離散最適化するアプローチとして、融合ベースの手法と勾配法による精細化の組み合わせ34）や PatchMatch法20）などが現れ、近年では、最適化処理に高速化の用として 15 シーンあり、他のデータセットと比べシーン工夫を凝らしたフル・コストボリュームによる全探索アプ

KITTI と比べ、学習データが少ない点、大きな照明変動や一貫学習アプローチの初期の代表例である FlowNet37）
は、コストボリューム学習を提案した先駆的手法 *4 で数は少ない。もう一つの実画像によるベンチマークである
テクスチャなし領域があるシーンを含む点、高解像度で視

ローチ35,36）が登場するに至っている。

差の探索範囲が大きい点などの難しさがあり、リーダー

あったが、メモリ制約のため極度にダウンサンプリングしが依然として強劣った。その後、解像度と使用メモリのトレードオフを改

ボードでは、完全な学習型手法よりも、学習型マッチング
コストと古典手法を組み合わせた手法

22）

い傾向がある。

5. 他の問題への広がり

これまでに紹介した学習型のステレオマッチングのアプ

ローチは、拡張される形で、オプティカルフローやマルチ

ビューステレオなどの他の類似問題にも利用されている。
以下では、そのような周辺分野への広がりについて簡単に紹介する。

たコストボリュームを使用しており、精度は古典手法にも善するアプローチとして、フル・コストボリュームを用いない Lucas-Kanade 法を模倣した手法が多く登場した。例えば PWC-Net38）は、低中高の 3 つの解像度を持つ画像ピラ
ミッドに対して、各解像度に対応したフロー推定ネット

ワークを用意し、低・中・高解像度と順々にフロー推定しながら結果を次のレベルでの初期値として伝搬していく。
中でも特筆すべきは、ECCV 2020 で Best Paper に選ばれた Teed と Deng39）に よ る RAFT（Recurrent All-pairs Field

Transforms）と呼ばれる手法だ。RAFT は、f0 = 0 で初期化

5.1 オプティカルフロー（optical flow）

されたフローマップに対して、ニューラルネットワーク g

違いは、探索範囲の広さである。ステレオマッチングは、

反復的に繰り返してフローマップをf t +1 = f t + Δf t と更新しステレオマッチングとオプティカルフローとの決定的な

各画素について一定の深さまでの視差の探索範囲を定め、これをカバーするようなコストボリュームを構築する、いわば全探索アプローチがとられた。これは、ネットワーク

上ではコスト特徴ボリューム（4 次元テンソル）に対する3 次元 CNN 等により実装される。しかし、オプティカルフ

を用いてフローの更新量 Δft = g (ft , I, I ′ ) を推定し、これをていく（図 7）。これは、Lucas-Kanade 法による勾配ベースの更新をニューラルネットワークに置き換えたものと解釈できるが、他の模倣手法と大きく異なるのは、画像ピラ

ミッドは用いず、最初から高解像度画像に対して推定できる点だ。また、反復の途中でネットワーク g を切り替える

するには、5 次元テンソルに対する 4 次元 CNN が必要とな必要もなく、常に同じネットワーク g を使用して更新量
Δf t を推定できる。

型手法では、誤差逆伝搬のために中間層の特徴マップや特対応点に基づいてマッチングコストをサンプリングする工

ローでは探索空間が 2 次元に広がるため、同様の全探索をり、メモリおよび計算コストが大幅に増大する。特に学習108 (256)

ネットワーク g の内部では、各画素について現在の推定谷合 竜典

3 次元画像計測におけるステレオマッチングの基礎から最先端まで程（図 7 のブロック “L”）と、マッチングコストと参照画

学習型のマルチビューステレオにおいて要となるのは、像の特徴マップを入力として更新量を推定する工程（図 7

目標画像の数および視点位置が任意であるときに、それら現在の推定対応点のマッチングコストを計算するのではなの奥行きマップ推定の手がかりとして集約するかという点のブロック “□”）がある。サンプリング工程では、単にく、その近傍を含めた複数のマッチングコストを、マルチスケール化された複数のコストボリュームからサンプリン
グする。このように広域的な情報を集めることで、高解像度画像が持つ大きなフローに対しても効果的に推定できる。また、更新量推定の工程では、GRU ベースの再帰レ

イヤーを用いている。これは、精細化用ネットワークなどに対する参照画像とのマッチング情報を、いかにして 1 枚である。これをニューラルネットワークで実現するには、多少の工夫が必要となる。例えば、N 組の画像ペア {I0, Ii}に つ い て、特 徴 ベ ク ト ル 同 士 の マ ッ チ ン グ コ ス ト
Ci (p) = | F0 (p) − Fi (p′i ) | が N 個計算できるとき、これらを単純に c = (C1 , C2 , ..., C N ) と連結し、学習可能な重み w によTり C = w c と集約する方法が考えられるかもしれない。しTの導入を不要にし、全ての反復工程を同一のネットワーク

かしこれは、学習時と推論時で一定の画像枚数 N しか扱え

RAFT は従来のモデルと比べ、パラメータ数、推論速えただけで結果が変動してしまうといった問題がある。

で実行可能にする工夫と考えられる。

度、学習効率のすべての観点において、推定精度とのトず、また、入力の順序を c = (C N , C N −1 , ..., C1 )T のように変（図 8）は、古典学習型手法の代表例である MVSNet40）

レードオフを大幅に向上させた。また、CG による人工的アプローチにおける平面スイープ法に倣い、参照画像に

い汎化性能を有することを示した。同様のアプローチは、

換により、目標画像の特徴マップを参照画像上に投影してデータセットによる事前学習だけでも、実画像に対する高ステレオマッチングにおいても、特にメモリコストが高い
高解像度画像ステレオに対して有効であると筆者は考えている。

5.2 マルチビューステレオ（multiview stereo）

ステレオマッチングは参照画像 I0 と目標画像 I1 のペアに対する対応点推定問題であるが、マルチビューステレオ
は、目標画像が複数枚 Ii (i＝1, 2, ..., N) に拡張された、N組の画像ペア {I0, Ii} に対する対応点推定問題とみることが対して複数の候補平面を仮定し、各平面のホモグラフィ変
マッチングを行う。

奥行き z の候補平面によって投影された目標画像の特徴

マップを Fiz とすると、各画素 p においては、参照画像と合z
わせて N＋1 個の特徴ベクトル {Fi (p)} (i = 0, 1, ..., N ) が重ね合わさる。これらの特徴ベクトルに対して、次式のように、分散を特徴次元ごとに計算することで、全体として 1

つのコスト特徴ボリューム V(p, z)（固定特徴次元を持つ 4次元テンソル）に集約する。

できる。ただし、これらの画像は全て同一の静的シーンをとらえたもので、各視点のカメラ姿勢は既知であることを考慮すると、N 組の画像ペアに対して個別に対応点マップ（視差マップ）を推定する必要はなく、参照画像に対して1 枚の奥行きマップを推定すれば、それが全ての画像ペア

W

1 N z
∑ | Fi (p) − F z (p) |2
N + 1 i=0（17）

ここで、F z (p) は視点間の平均特徴ベクトルである。その後は、Kendall et al.28）の GC-Net とほぼ同様の構成で奥行きマップを回帰出力する。

式（17）からわかるように、MVSNet は、学習後において

W/2⟨⋅, ⋅⟩

W/4

H/4

H/2

H

{I0, Ii} に対する対応点マップを表すことになる。

V (p, z ) =Frame 1

4D Correlation Volumes
10+ iter.
Frame 2Feature Encoder
Text

0
Optical Flow
Frame 1

Context Encoder

図 7 RAFT のネットワーク構成
各画像を特徴マップにエンコードして 4 次元コストボリュームを構成した後、反復プロセスでは、現在の推定対応点周辺で 4 次元ボリュームを参照（“L” ook Up）しながら、GRU が組み込まれた再帰レイヤーでフローの更新量の推定を繰り返す。出典：Teed とDeng39）より。

(257) 109

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ…

Source Imagesc

Conv + BN + ReLU, Stride = 1
Conv + BN + ReLU, Stride = 2
Conv, stride = 1
Concatenation
Addition

Shared Weights

Loss0
Initial Depth Map

Reference Image

Shared Weights

Soft
ArgminVariance
Metric

GT

Loss1

c
Refined Depth Map

FeatureExtraction

Differentiable
Homography

Cost Volume
Regularization

Depth Map
Refinement

図 8 MVSNet のネットワーク構成
参照画像に対して複数の奥行き平面を仮定。各視点画像の特徴マップをホモグラフィ変換で参照画像上に投影し、それらを分散ベースの集約層に通すことで 3 次元ボリュームを生成する。出典：Yao et al.40）より。

も目標画像の枚数 N を自由に変えることができ、また、それらの画像の順番によって計算結果が変わることもない。
実験では、目標画像枚数 N ＝ 2 で学習したモデルにおいて、推論時に N を増やすことで推定精度が向上すること、
さらに、分散ベースの集約が既存の平均ベースの方法よりも優れていることなどが確認された。

8. むすび

本論では、3 次元画像計測におけるステレオマッチングの基礎から最先端までと題し、ステレオマッチングの基本的な定義や課題や定式の解説に始まり、深層学習登場前後での非学習型および学習型のステレオマッチング手法のアプローチを俯瞰的に解説した。さらに、深層学習ベースのステレオマッチング手法が、オプティカルフローやマルチ
ビューステレオといった類似問題とどのように関連しているかを、実例を交えて紹介した。本論の執筆にあたり、いかに深層学習以前の古典的アプローチにおける種々のアイ
ディアが、その後の深層学習ベースのアプローチに直接あるいは再解釈される形で取り入られたかが分かるように書いたつもりであり、その点が読者に伝われば幸いである。

4）Scharstein, D.; Szeliski, R. A taxonomy and evaluation of dense
two-frame stereo correspondence algorithms. Int. J. Comp. Vis.

（IJCV）. 2002, Vol.47, No.1/2/3, p.7-42.

5）Móllenhoﬀ, T.; Laude, E.; Moeller, M.; Lellmann, J.; Cremers, D.

“Sublabel-accurate relaxation of nonconvex energies”. Proc. IEEE
Conf. Comp. Vis. Pattern Recog.（CVPR）. 2016, p.3948-3956.

6）Zabih, R.; Woodfill, J. “Non-parametric local transforms for computing visual correspondence”. Proc. Europ. Conf. Comp. Vis.

（ECCV）. 1994, p.151-158.

7）Bleyer, M.; Rhemann, C.; Rother, C. “PatchMatch stereo - Stereo
matching with slanted support windows”. Proc. British Mach. Vis.

Conf.（BMVC）. 2011, p.1-11.

8）Yoon, K.; Kweon, I. Adaptive support-weight approach for correspondence search. IEEE Trans. Pattern Anal. Mach. Intell.

（TPAMI）. 2006, Vol.28, No.4, p.650-656.

9）Hosni, A.; Rhemann, C.; Bleyer, M.; Rother, C.; Gelautz, M. Fast
Cost-Volume Filtering for Visual Correspondence and Beyond.
IEEE Trans. Pattern Anal. Mach. Intell.（TPAMI）. 2012, Vol.35,
No.2, p.504-511.

10）He, K.; Sun, J.; Tang, X. Guided Image Filtering. IEEE Trans. Pat-

tern Anal. Mach. Intell.（TPAMI）. 2012, Vol.35, No.6, p.1397-

1409.

11）Ishikawa, H. Exact optimization for Markov random fields withconvex priors. IEEE Trans. Pattern Anal. Mach. Intell.（TPAMI）.

参考文献
1）Taniai, T. “Binocular Stereo”. Computer Vision. Ikeuchi, K., eds.
Springer, 2020, p.83-92.

2）Hartley, R.; Zisserman, A. Multiple View Geometry in Computer
Vision. 2nd. ed. Cambridge University Press, 2003, 655p.

3）Taniai, T.; Sinha, S.; Sato, Y. “Fast multi-frame stereo scene flow
with motion segmentation”. Proc. IEEE Conf. Comp. Vis. Pattern
Recog.（CVPR）. 2017, p.6891-6900.

110 (258)

2003, Vol.25, No.10, p.1333-1336.

12）Woodford, O.; Torr, P.; Reid, I.; Fitzgibbon, A. Global stereo reconstruction under second-order smoothness priors. IEEE Trans. Pattern Anal. Mach. Intell.（PAMI）. 2009, Vol.31, No.12, p.2115-

2128.

13）Lempitsky, V.; Rother, C.; Blake, A. “LogCut - Eﬃcient graph cut
optimization for Markov random fields”. Proc. Int. Conf. Comp.
Vis.（ICCV）. 2007, p.1-8.

14）Olsson, C.; Ulen, J.; Boykov, Y. “In defense of 3d-label stereo”.

谷合 竜典Proc. IEEE Conf. Comp. Vis. Pattern Recog. （CVPR）. 2013,p.1730 – 1737.

15）Scharstein, D.; Taniai, T.; Sinha, S. N. “Semi-global stereo match-ing with surface orientation priors”. Proc. 2017 Int. Conf. 3D Vis.

（3DV）. 2017, p.215-224.

16）Szeliski, R.; Zabih, R.; Scharstein, D.; Veksler, O.; Kolmogorov, V.;
Agarwala, A.; Tappen, M.; Rother, C. A comparative study ofenergy minimization methods for Markov random fields withsmoothness-based priors. IEEE Trans. Pattern Anal. Mach. Intell.

3 次元画像計測におけるステレオマッチングの基礎から最先端まで

30）Guo, X.; Yang, K.; Yang, W.; Wang, X.; Li, H. “Group-Wise Correlation Stereo Network”. Proc. IEEE Conf. Comp. Vis. Pattern
Recog.（CVPR）. 2019, p.3268-3277.

31）Zhang, F.; Prisacariu, V.; Yang, R.; Torr, P. H. “GA-Net: Guided
Aggregation Net for End-To-End Stereo Matching”. Proc. IEEE

Conf. Comp. Vis. Pattern Recog.（CVPR）. 2019, p.184-195.

32）Chabra, R.; Straub, J.; Sweeney, C.; Newcombe, R.; Fuchs, H.
“StereoDRNet: Dilated Residual StereoNet”. Proc. IEEE Conf.

Comp. Vis. Pattern Recog.（CVPR）. 2019, p.11778-11787.

（PAMI）. 2008, Vol.30, No.6, 1068 – 1080.

33）Baker, S.; Matthews, I. Lucas-Kanade 20 Years On: A Unifying

mutual information. IEEE Trans. Pattern Anal. Mach. Intell.

34）Lempitsky, V.; Roth, S.; Rother, C. “FusionFlow: Discrete-continu-

17）Hirschmuller, H. Stereo processing by semiglobal matching and（TPAMI）. 2008, Vol.30, No.2, p.328 – 341.

18）Drory, A.; Haubold, C.; Avidan, S.; Hamprecht, F. A. “Semi-global
matching: a principled derivation in terms of message passing”.

Pattern Recognition. Springer, 2014, p.43-53.

19）Birchfield, S.; Tomasi, C. “Multiway cut for stereo and motion withslanted surfaces”. Proc. Int. Conf. Comp. Vis. （ICCV）. 1999,

p.489 – 495.

20）Barnes, C.; Shechtman, E.; Finkelstein, A.; Goldman, D. PatchMatch: a randomized correspondence algorithm for structural
image editing. ACM Trans. Graph. 2009, Vol.28, No.3, Article 24.

21）Besse, F.; Rother, C.; Fitzgibbon, A. W.; Kautz, J. PMBP: PatchMatch belief propagation for correspondence field estimation. Int.
J. Comp. Vis.（IJCV）. 2014, Vol.110, No.1, p.2-13.

22）Taniai, T.; Matsushita, Y.; Sato, Y.; Naemura, T. Continuous 3dlabel stereo matching using local expansion moves. IEEE Trans.
Pattern Anal. Mach. Intell. （TPAMI）. 2018, Vol.40, No.11,

p.2725 – 2739.

Framework. Int. J. Comp. Vis.（IJCV）. 2004, Vol.56, p.221 – 255.
ous optimization for optical flow estimation”. Proc. IEEE Conf.
Comp. Vis. Pattern Recog.（CVPR）. 2008, p.8934-8943.

35）Chen, Q.; Koltun, V. “Full Flow: Optical Flow Estimation by
Global Optimization over Regular Grids”. Proc. IEEE Conf.
Comp. Vis. Pattern Recog.（CVPR）. 2016, p.4706-4714.

36）Xu, J.; Ranftl, R.; Koltun, V. “Accurate Optical Flow via Direct
Cost Volume Processing”. Proc. IEEE Conf. Comp. Vis. Pattern
Recog.（CVPR）. 2017, p.5807-5815.

37）Dosovitskiy et al. “FlowNet: Learning Optical Flow with Convolutional Networks”. Proc. Intʼl Conf. Comp. Vis.（ICCV）. 2015,
p.2758-2766.

38）Sun, D.; Yang, X.; Liu, M.; Kautz, J. “PWC-Net: CNNs for Optical
Flow Using Pyramid, Warping, and Cost Volume”. Proc. IEEE
Conf. Comp. Vis. Pattern Recog.（CVPR）. 2018, p.8934-8943.

39）Teed, Z.; Deng, J. “RAFT: Recurrent All-Pairs Field Transforms for
Optical Flow”. Proc. Europ. Conf. Comp. Vis.（ECCV）. 2020,
p.402-419.

23）Lucas, B.; Kanade, T. “An iterative image registration technique40）Yao, Y.; Luo, Z.; Li, S.; Fang, T.; Quan, L. “MVSNet: Depth Infer-with an application to stereo vision”. Proc. Imaging Understanding

ence for Unstructured Multi-view Stereo”. Proc. Europ. Conf.

Workshop, 1981, p.121-130.

24）Kolmogorov, V.; Zabih, R. “Computing visual correspondence with

Comp. Vis.（ECCV）. 2018, p.785-801.

occlusions using graph cuts”. Proc. Int. Conf. Comp. Vis.（ICCV）.

2001, p.508-515.

25）Wei, Y.; Quan, L. “Asymmetrical occlusion handling using graphcut for multi-view stereo”. Proc. IEEE Conf. Comp. Vis. Pattern
Recog.（CVPR）. 2005, p.902-909.

26）Zbontar, J.; LeCun, Y. Stereo matching by training a convolutional
neural network to compare image patches. J. Mach. Learn. Res.
2016, Vol.17, p.1 – 32.

27）Mayer, N.; Ilg, E.; Hausser, P.; Fischer, P.; Cremers, D.;
Dosovitskiy, A.; Brox, T. “A Large Dataset to Train Convolutional
Networks for Disparity, Optical Flow, and Scene Flow Estima-tion”. Proc. IEEE Conf. Comp. Vis. Pattern Recog. （CVPR）.

2016, p.4040-4048.

執筆者紹介
谷合 竜典

TANIAI Tatsunori

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：コンピュータビジョン、3 次元計測、密対応点推定
所属学会：情報処理学会、IEEE
博士（情報理工学）
本文に掲載の商品の名称は、各社が商標としている場合があります。

28）Kendall, A.; Martirosyan, H.; Dasgupta, S.; Henry, P.; Kennedy, R.;
Bachrach, A.; Bry, A. “End-to-end learning of geometry and context for deep stereo regression”. Proc. Intʼl Conf. Comp. Vis.

（ICCV）. 2017, p.66-75.

29）Chang, J.; Chen, Y. “Pyramid Stereo Matching Network”. Proc.
IEEE Conf. Comp. Vis. Pattern Recog.（CVPR）. 2018, p.5410-

5418.

(259) 111

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

近年では、このようなステレオマッチングのような非凸最適化問題
に対して、連続最適化アプローチの限界を克服しようとする試みも
ある 5）
。
*2
σ p や σ p′ ′ は、実際にはゼロ除算による発散を防ぐため、小さな定数∊を用いて max{∊, σp} などとして実装される。
*3
Woodford et al.12）は、さらに連続値の視差を仮定した、従来よりも複雑なモデルを用いており、これらの最適化アプローチを含めた内容が評価されて CVPR 2008 の Best Paper 賞を受賞している。ここで用いられた最適化法である融合移動（fusion move）法（後述）は、同グループの別論文 13）として既に発表済みであったが、一連の研究を契機に融合移動ベースの最適化法がその後広く取り入れられるようになった。
*4
FlowNe37）は DispNet27）と同じ研究グループから発表された手法だ
が、実は、FlowNet のほうが先行 研 究であり、DispNet は 後に
FlowNet を応用する形で、ステレオ・シーンフローを推定するネット
ワークの構成要素として提案された。
*1112 (260)

米谷 竜

連合学習入門連合学習入門米谷 竜
機械学習、とりわけ深層ニューラルネットワークのような複雑なモデルを学習する場合において、大量かつ多様な学習データを収集することは重要である。これに対して連合学習は、通信ネットワークに接続された多数のクライアント計算機がローカルに保持するデータを各々個別に活用することによって、結果的に大規模な学習を実現す
るアプローチである。連合学習において、クライアントのデータは一箇所に集約されることはない。その代わりに、クライアントは学習をコーディネートするサーバが配布したモデルを自身のデータによって学習し、その学習済みモデルをサーバに共有する。そしてサーバは収集したクライアントのモデルを統合することによって、より高性能なモデルを獲得する。本稿ではこのような連合学習に関するモチベーションや基本的なアプローチ、そしていくつかの代表的な研究について紹介する。

Introduction to Federated Learning
YONETANI Ryo
Collecting a large-scale and diverse data collection is critical for machine learning especially when one needs totrain a complex model like deep neural networks. Federated learning is an approach to enable a large-scaletraining by leveraging decentralized data stored locally by a population of client machines connected to thecoordination server. Importantly, federated learning does not require clients to share their own data. Instead,clients will train a global model distributed from the coordination server using their own data and share thetrained model with the server. A collection of the trained models is then aggregated to produce a higherperformance model. This article introduces the motivation, typical approaches, as well as some popular studies ofthe federated learning.

1．まえがき況（木になっているのか手にもたれているのか）が多様に

学習とは “the science of getting computers to act without being

想像できる。これに対して機械学習は、このようなプログ

スタンフォード大学の提供する Coursera によると、機械なるほど、このプログラミングが困難になることは容易に

explicitly programmed”＝明示的にプログラミングすること

ラミングを「大量の事例（学習データ）からの学習」に置訳）である1）。いま、機械に何らかの意味で知的な行動をおり、それらが撮影環境や状況によってどのように変化すなく計算機に（知的な）行動をさせるための科学（著者
させたいと考える。たとえば、ある写真にりんごが写っているかどうかを判断する機能を計算機上で実現したいとする。これを明示的なプログラミングにより行う場合、「画き換える。すなわち、りんごがどのような色・形状をしてるかという特徴の定義やそのパラメタを、大量の「りんごが映った画像」に基づいて自動的に獲得する。ニューラル
ネットや SVM といった機械学習モデルがこのようにして像中において RGB 値がこの範囲に入っている赤色のピク

いったん “学習” されると、新たな画像にりんごが含まれさらにその円領域の一部は光源の影響を受けてこのようなコモディティ化する以前は、ユーザ側があらかじめ特徴のセルがこのような円形状の領域の一部として現れており、RGB 値の範囲で色合いが変化し……」といったように、色や形状に関する特徴の定義とそのパラメタをすべて手動で指定することになる。りんごの品種やりんごの撮影された環境（たとえば屋外か屋内か）、あるいは撮影された状
Contact : YONETANI Ryo ryo.yonetani@sinicx.com

るかどうかを自動的に判断できるようになる。深層学習が抽出方法を定義し、そのパラメタを機械が学習するパラダイムが主流であった。一方深層学習では、特徴の抽出方法（特徴表現、feature representation と呼ばれる）自体もデー

タから学習可能となる。上では機械学習の中でも特に学習
データにおいてモデルの入出力関係が陽に与えられる教師
あり学習（より具体的には物体検出タスク）を例に挙げた(261) 113

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

が、ほかにも教師なし学習や強化学習など、機械学習にはすることによってグローバルモデルを更新し、それをまたそれでは機械学習によって、我々は労することなく機械続きを繰り返すことにより、サーバは最終的にあたかも多さまざまなバリエーションがある。

別のクライアントに配布する（図 1 も参照）。これらの手による知的な行動を実現できるようになったであろうか

数のクライアントのデータを集約して学習されたかのよう― 実の所問題の難しさの種類が変わっただけであり、明な、高性能なグローバルモデルを獲得することができるよ

示的なプログラミングの代わりに大量の学習データ（上記

うになる。このような連合学習の枠組みにおいて、サーバの例であれば大量のりんご画像）を収集することが必要とは自身で大量のデータを集める必要がない。すなわち、なっている。機械学習の実応用においてしばしば問題とな「多数の他者にデータ収集と学習を依頼する」という形で（何％の確率でりんごを見落とし・あるいは見過ぎてしまらに連合学習は、クライアントは収集したデータそのもの

るように、学習データの質と量は、機械学習モデルの性能データ収集の問題を解決していると見ることができる。さうか）に直結する。その結果、機械学習分野では「いかにをサーバに提供する必要がないため、通信やサーバサイド

大量・多様なデータを省コストで収集するか」「いかに少のストレージ、さらにはプライバシーやセキュリティと数のデータから高性能の機械学習モデルを学習するか」といった観点でも有望な手段である。

いった課題が継続的に取り組まれている。

連合学習はさまざまな分野において実用に向けた検証が本稿で取り上げる連合学習 は、大量・多様なデータを進められている。もともとはモバイルデバイスのキーボー

学習の多くは、学習データがあらかじめ一箇所に集約された3）。これは、デバイスのハードウェアや OS が全クライ2）省コストで活用するアプローチの一つである。既存の機械

ド入力における予測変換モデルの学習に利用されていている、あるいはある単一の計算機から全学習データに容アントで概ね共通である点で、連合学習を実施する比較的

本稿では、なんらかのネットワーク上でサーバと接続されいては、複数の医療機関が患者のデータを直接共有するこ

理想的な問題設定と見ることができる。また医療分野にお易にアクセスが可能である状況を想定する。これに対してとなく医療診断のための機械学習モデルを学習する手段とた多数のクライアント計算機が、それぞれローカルにデーして、連合学習が注目を集めている4）。

タを分散保持しているという状況を考える。連合学習では

本稿では、このような連合学習についてその基礎を紹介

このような状況において、（1）サーバがランダムなクライ
アントに学習をしたいモデル（グローバルモデル、と呼ばするとともに、近年の研究で取り組まれている典型的な課

自身のデータによって学習、サーバに返送する。その後、り組みのいくつかを紹介する。

れる）を配布し、（2）クライアントは配布されたモデルを（3）サーバはクライアントから送られてきたモデルを統合

図1

114 (262)

題、さらには我々の研究事例も含め、実応用を見据えた取連合学習

米谷 竜

2. 連合学習の基礎
2.1 アルゴリズムの概要

連合学習入門においてモデルを更新する。その結果得られるモデルはクライアントのデータに依存することになるため、クライア(k )ントのインデックスもついたパラメタ wt +1 で表現される

連合学習では、サーバと通信が可能な多数のクライアンことになる。11 行目にあるとおり、この更新はいわゆるる。それぞれのクライアントはローカルにデータを保持しる。最後に、サーバはクライアントが更新したモデルを、

トデバイス（以降単純に “クライアント” と呼ぶ）を考えており、また機械学習が可能な計算資源を備えていること

ミニバッチ勾配降下法を用いて、B エポックだけ行われクライアントそれぞれが持つデータサンプル数（nk）で重を想定する。一方サーバは何かしら学習したいモデルを保み付けされた平均処理によって統合する（7 行目）。

ンダムに選択されたクライアントに対してグローバルモデ

2.2 連合学習の特徴

デルを学習する。その後クライアントは学習済みのモデルにコピーして学習する点で、いわゆるデータ並列を用いたントと同数のモデルを保持することになる。サーバはこれ下の点で分散学習と大きく異なる。

持しており、これをグローバルモデルと呼ぶ。サーバはラルを配布し、クライアントは自身のデータを用いてそのモをサーバに返送する。ここでサーバは選択されたクライア
らのモデルを統合し、新たなグローバルモデルとする。こ上記のアルゴリズムは、同一のモデルを複数の計算資源モデルの分散学習と類似している。ただし、連合学習は以アプローチの観点から見ると、単一のミニバッチを複数れが連合学習の 1 ラウンドであり、このような手続きを複の計算資源に分配する分散学習と異なり、連合学習では各上させることを目指す。

る。すなわち、各クライアントがサーバに返送するモデル

数ラウンド繰り返すことで、グローバルモデルの性能を向以下では、連合学習のもっとも基本的なアプローチであ

2）の具体的なアルゴリズム
る Federated Averaging（FedAvg）

を示す。

アルゴリズム 1 Federated Averaging
K：クライアント数
C：クライアント選択の割合
B：ミニバッチサイズ
E：エポック数
η：学習率
Pk：k 番目のクライアントが持つデータ
nk：k 番目のクライアントが持つデータのサンプル数∇L（w; b）：バッチ b についての損失 L（w; b）の勾配
サーバ：
1. Initialize w1
2. for each round t＝1, 2, … do
3. m ← max（C・K, 1）
4. St ←（random set of m＝max（C・K, 1）clients）# K クライアントのうち C 割をランダムに選択
5. for each client k ∈ St ; in parallel do
k)
wt(+1
6.
← ClientUpdate（k, wt）
nk(k )# モデルの統合
7. wt +1 ← Σ k ∈St n wt +1 n = Σ k ∈St nk
クライアント：ClientUpdate（k, w）:
8. B ←（split Pk into batches of size B）
9. for each local epoch i＝1, 2, …, E do
10. for batch b∈B dow←w－η∇L（w; b）
11.
12. return w to server
ここでは、合計 K 人のクライアントのうち、C 割のクライ
アントが毎ラウンドランダムに選択されることになる。モデルはラウンド t のインデクス付きのパラメタ wt で表現さクライアントがミニバッチ勾配降下を複数エポック実行すは、分散学習の例と比較してよりクライアントのデータに対してより適合したものとなっている。実際、文献 2）ではこのエポック数を大きくすることがグローバルモデルの最終的なパフォーマンスに大きく寄与することが報告されている。一方で問題設定の観点から見ると、分散学習においてデータはあらかじめ一箇所に集約されており、学習において複数の計算資源に分散されるに過ぎない。一方で連合学習では、データはあらかじめ別々のクライアントによって独立に収集・保存されていることを想定する。このとき、クライアントによってデータの収集環境が大きく異なれば、クライアントごとのデータセットが持つ統計的性質もそれに応じて異なり、上記の FedAvg アルゴリズムを用いても効率的な学習が難しいことが知られている。これが連合学習における典型的な課題の一つであり、data non-iidness（データ分布の非独立・同一性）などと呼ばれ、その解決策が積極的に研究されている。

その他にも、クライアントによって計算資源や通信環境が異なる状況を想定することがある。連合学習では基本的に全クライアントのモデルがサーバに収集されたのち統合される（アルゴリズムの 7 行目）ため、学習やモデル送信により多くの時間を必要とするクライアントが含まれる場
合、それが全体の連合学習を律速することになる。

3. 連合学習の最先端

2.2 節に述べた項目のみならず、連合学習にはいくつかの典型的な課題があり、それぞれ機械学習分野や通信分野
において積極的に研究が進められている。本節ではそのいくつかを紹介する。

れる。選ばれたクライアントは ClientUpdate サブルーチン(263) 115

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

3.1 Data non-iidness への対応て、降下後のパラメタが元のグローバルモデルのパラメタ

データを活用してグローバルモデルを学習する。クライア

は、アルゴリズム 1 における 11 行目の更新を以下のよう

連合学習ではクライアントがあらかじめ独立に収集したントのデータ収集環境が多様であれば、最終的に学習されるグローバルモデルもより高い汎化性能を得ることが期待できる。しかしながら実際のところ、クライアントごとにから変化しすぎないような制約を与えている。具体的にに変更する。

w ← w − η (∇F ( w; b) + μ ( w − wt ))（1）

学習データの分布が大きく異なると、学習の効率に悪影響

ただし、wt はこのラウンドにおいてクライアントが受けれた画像に映るりんごおよびみかんを検出するタスクにお強さを示すハイパーパラメタである。図 2 に FedAvg とを及ぼすことが知られている。例えば図 1 のように与えらいて、クライアント 1 はりんごの画像のみ、クライアント
2 はみかんの画像のみを保持していた状況を考える。このとき、FedAvg によってクライアント 1 が学習したモデル
はりんごの検出に特化し、一方クライアント 2 のモデルは取ったグローバルモデルのパラメタであり、μ は制約のFedProx の幾何学的な比較を示す。FexProx の方がクライア
ント 1 に過適合しない形でグローバルモデルを更新していることが分かる。

みかんの検出に特化することになる。それでは、これらの3.2 効率的な通信んの両方を検出できるようになるであろうか。答えは否で習対象となるモデルを送り合う。このモデルのサイズは学している状況と比較して学習に必要なステップ数が増加す

とえばコンピュータビジョン分野でしばしば使われるモデルのパラメタを単純に平均することで、りんごとみかあり、両クライアントともにりんごとみかんの画像を保持る。

これを解決するアプローチの一つが FedProx5）と呼ばれる手法である。FedProx における基本的な問題意識は、各クライアントが学習したモデルが、そのクライアントのデータに過適合してしまう点にある。これを防ぐために、同手法ではクライアントによるミニバッチ勾配降下におい

図2

習に必要となるデータよりは小さいことが多いものの、たResNet101 モデルでは 171MB 程度となり、通信の効率化は重要である。これに対して、連合学習においてモデルのパフォーマンスを保ったままでできるだけクライアントからサーバへの通信量を減らすアプローチが多く研究されている。本節では、Konečný らによる代表的な手法6）を紹介する（図 3 も参照）。

FedAvg と FedProx の比較

図3

116 (264)

連合学習では、サーバと選択されたクライアントが、学効率的な通信法米谷 竜

連合学習入門FedAvg アルゴリズムでは、クライアントはグローバルモデル wt を受け取り、それを更新したモデル wt

(k )

をサー

バに返送する。このとき、サーバにとって wt は既知である合処理を実施できず、学習全体が遅れることとなる。

このような問題を解決する一つの手段が、適応的なクライアント選択7）である。このアプローチにおいて、サーバ

ため、サーバが受け取る新たな情報は、実質 ΔW = wt( k ) − wt

はあらかじめ全クライアントについてのモデル学習およびΔW をなんらかの手段で圧縮して送れば良いことになる。

る。そして、たとえば 10 分間など限られた時間の中で、という差分になる。したがって、クライアントはこの差分

Konečný らのアプローチのうち最も単純なものはランダム
マスク（図 3 左）であり、ΔW と同じサイズで少量のラン

ダムな要素が 1、その他の要素がすべて 0 であるスパース

なパターンを用意し、ΔW と掛け合わせたものをサーバに送信する。これは ΔW のうちランダムな数個の要素以外をマスクし、限られた要素のみをサーバに送信することと同義

送信にかかる時間の見積もりを知ることができるものとすできるだけ多くのクライアントがモデルを送信できるように、クライアントの組合せを適応的に選択する。これにより、ランダムにクライアントを選択する場合と比較して、モデルが所望の性能に到達するまでの時間を大幅に短縮できることが実験的に示されている。

一方で、連合学習に参加するクライアントが偏ることであり、転送量を大幅に低減できる。とはいえ、クライア

で、公平性上の課題があることや、データに偏りがある際より洗練されたアプローチとして、同論文では ΔW を

Federated Learning（AFL）8）はこのような課題に対応するたントの学習結果のうち重要な情報が欠落する可能性もある。
よりサイズの小さい行列同士の積で近似する（低ランク近似）方法も提案されている（図 3 中）。いま、ΔW がサにモデルの性能が悪化することも知られている。Agnostic

めのアプローチである。いま、あるクライアントによるモの最小化として定義すデル w の更新を、損失関数 L（w）k

イズ d1×d2 の行列であるとする（たとえば d1 次元の特徴に基づいてミニバッチ b で勾配降下る。すなわち、L（w）
k

を想像すれば良い）。このとき、適当な k＜d1 を用いて、すると、複数クライアントが学習したモデルの統合は、以ベクトルから d2 次元の特徴ベクトルへ変換する全結合層
ΔW = AB, A ∈ 

d1 × k, B ∈

k × d2と い う 形 に ΔW を 分 解 す る。

さらに、行列 A はランダムに生成し、学習中は固定するものとする。これにより、各クライアントがサーバに対してB のみを送信すれば良いこととなり、その転送量も k/d1 まで削減されることになる。差分 ΔW における多くの要素を完全に捨ててしまう先のランダムマスクを用いたアプロー

チと異なり、本手法は ΔW の全ての要素を（近似しつつ）サーバに共有できるメリットがある。

する式が アルゴリズム 1 における 11 行目の手続きである。
下の最小化によって表現することができる。
min L( w) = minww

1∑ Lk (w)
N k（2）

これに対して、AFL では以下のような minmax 問題を考える。

min max L( w, λ ) = min max
w

w

λ

λ

1
∑ λ k Lk (w)
N k

（3）

上式において λ に関する最大化は、「現状のモデルで損ΔW の全ての要素を近似することで転送量を低減させる失が大きいクライアントについての損失をより大きく重みある。直感的には、深層学習フレームワークの中で通常れた損失を w に関して最小化することにより、どのクライ

もう一つのアプローチとして、確率的量子化（図 3 右）が32 ビットの浮動小数点数型で表現される ΔW を 1 ビット（2 値）に 2 値化する。ただし、この際の手続きを確率的か付けする」という効果がある。そのようにして重み付けさ
アントに対しても公平にモデルが学習されることになる。

つ各要素に対して適応的に行う。具体的には、ΔW の最大

3.4 クライアント特化モデル

Δw を、 Δwmax − Δwminmin の確率で Δwmax、Δwmaxmin− Δwmin の確率で Δwmin

アントごとに特化（パーソナライズ）されたモデルを学習であることが簡単に確認できる。

ローバルモデルを学習することが最終的な目標となるた

値を Δwmax、最小値を Δwmin としたとき、ΔW 中のある要素
Δw − ΔwΔw− Δwに変換する。このとき、変換後の要素の期待値は元の Δw

3.3 クライアント選択と公平性

上記の公平性とは少し異なった観点で、「個々のクライしたい」という要求がある。連合学習は通常、単一のグ
め、それとは異なるアプローチが必要である。

こ れ に 対 し て 文献9）は、Model-agnostic meta learning

連合学習の各ラウンドにおいて、サーバは（1）ランダ（MAML）と呼ばれるメタ学習のアプローチに着想したクる。そして、（2）選択されたクライアントが学習したモデ手法では、連合学習における最小化問題を以下のように変ムなクライアントを選択し、グローバルモデルを配布す

ルを全て収集し、平均統合することにより、新たなグロー
バルモデルを獲得する。このとき、（1）において選択したクライアントの一部が限られた計算資源しか保持しない場
合や不安定な通信環境にいる場合、サーバへのモデル返送が遅れることがある。その結果、サーバは（2）の平均統

ライアント特化モデルの連合学習手法を提案している。同更する。

min L( w) = minww

1∑ Lk (w − α∇Lk (w))
N k

（4）

この式は以下のように解釈できる : 各クライアントは損

失関数 Lk を「最終的なグローバルモデルのパラメタ w から

(265) 117

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

1 ステップ α∇Lk ( w) だけ勾配降下すると最小化される」よを ak の値を隠蔽したままで実現するセキュアな統合プロ

全クライアントにわたって共通であるものの、各クライア適用可能である。たとえば Bonawitzら10）が紹介している

うに最小化する。このようにして得られたパラメタ w は
ントはローカルでモデルを w − α∇Lk ( w) という形で各自更新することで、自身のデータに関して最もよく当てはまる（つまり、Lk を最小化する）モデルを獲得することができ

トコルが多く研究されており、連合学習のシナリオにもmasking with one-time pads と呼ばれるアプローチでは、モ

デルの平均統合に先立って、各クライアント k は他クライkアント j に対してランダムなベクトル sk , j ∈[0, R ) を生成、を容易に獲得できるということを意味している。

k)そのものではな交換する。そして、クライアントは wt(+1
(k )
(k )
く、 xt +1 = wt +1 + Σ j ( sk , j − s j ,k ) というランダムベクトルを加3.5 暗号化k)k)を知ることはできない。しかしながら、xt(+1を全ク
値 wt(+1

る。これは言い換えれば、クライアントに特化したモデル

連合学習の持つ特徴の一つは、クライアントがサーバに対して自身のデータを直接共有しなくていいという点である。しかし、これは「クライアントのデータの機密k)から元の算したものを送信する。この時点でサーバは xt(+1ライアントにわたって加算すると、∑ xt(+k1) = ∑ wt(+k1) + ∑ ∑ (sk , j − s j , k ) = ∑ wt(+k1) + ∑ ∑ sk , j − ∑ ∑ s j ,k = ∑
k

k

k

j

k

k

j

が完全に守られる」ということは必ずしも意味しない。ま∑ xt(+k1) = ∑ wt(+k1) + ∑ ∑ (sk , j − s j , k ) = ∑ wt(+k1) + ∑ ∑ sk , j − ∑ ∑ s j ,k = ∑ wt(+1k )
（5）
k
k
j
k
j
k
k
k
k
j
た、サーバ側はクライアントがどのようなデータを使って(k )となり、Σ k wt +1という正しい統合結果を得ることができる。
学習を行なったのかは必ずしも分からない、というのも重要な点である。これらの点をついて連合学習に対する攻撃を検証する研究も取り組まれている。たとえば、Inference

3.6 教師なし学習への応用生成したり、ある特定のサンプルが学習データに含まれて介したような教師あり学習タスクを想定している。一方冒

このような攻撃を防ぐ方法の一つは、サーバに対してどさまざまなタスクのバリエーションが存在する。ここでattack は学習済みモデルから学習データの典型例を推測・いたかを推測したりする攻撃である。

クライアントがモデルを共有する際に、モデルパラメタの具体的値を隠蔽することである。クライアントごとのサンプル数が同一であるという簡単化をすると、連合学(k )習におけるモデル統合は、結局のところ wt +1 = N1 Σ k wt +1 という平均処理である。これに対して、b = Σ k ak という加算

図4118 (266)

連合学習に関する既存研究のほとんどは、ここまでに紹頭に挙げた通り、機械学習には教師なし学習や強化学習なは我々の研究事例の一つとして、敵対的生成ネットワーク（Generative Adversarial Networks; GAN）を連合学習の枠組
みで学習するアプローチ11）を紹介する。

にいま、N 人のクライアントがそれぞれ確率分布 p（x）
n

従うデータセット Xn を保持している状況を考える（図 4）。

連合学習の枠組みでの GAN の学習kj米谷 竜

連合学習入門

このとき、これらのデータセットに直接アクセスすること

5）Li, T. et al. “Federated Optimization in Heterogeneous Networks”.

on Machine Learning and Systems（MLSys）. 2020,z = ∫ x max pConference
なく、全データを生成可能な分布n ( x ) dxnp.1-16.
max pn ( x) z = ∫ x max pn ( x) dx に対応する生成モデル（generator）G（x）を

pmax ( x) = 1z max pn ( x)nn6）Konečný, J. et al. “Federated Learning: Strategies for Improvingn

学習することが本研究の目的である。提案するアプローチ

Communication Eﬃciency”. NIPS Workshop on Private Multi-においてクライアントは、Xn のかわりに、そのデータと生

Party Machine Learning. 2016, p.1-10.

成モデルが生成したデータを区別する識別器（discrimina-

7）Nishio, T.; Yonetani, R. “Client Selection for Federated Learningtor）D（x）
を学習する。具体的には、D（x）
は Xn からサンnnwith Heterogeneous Resources in Mobile Edge”. IEEE Interna-

プリングされたデータについては 1、G（x）からのデータ

tional Conference on Communications（ICC）. 2019, p.1-7.

8）Mohri, M.; Sivek, G.; Suresh, A. T. “Agnostic Federated Learning”,
については 0 を出力するように勾配法で学習される。サー
Conference on Machine Learning（ICML）, PMLR.
D
(
x
)
=
max
Dn (International
x)
max
を
受
け
取
り、
バ は 各 ク ラ イ ア ン ト か ら D（x）
n

Dmax ( x) = max Dn ( x)を計算し、その出力が 1 に近づくように G（x）をn更新する。これを繰り返すことにより、G（x）の大域的最（x）となることが理論的に証明されている。
適解が pmax

我々の提案するこのようなアプローチは、例えばファク

トリーオートメーションの外観検査において、各現場間で不良品データに偏りがあり、個々の現場のみでは性能向上が困難な場合においても「各現場間でデータを直接やりとn

2019, 97, p.4615-4625.

9）Fallah, A.; Mokhtari, A.; Ozdaglar, A. “Personalized Federated
Learning with Theoretical Guarantees: A Model-Agnostic Meta
Learning Approach”, Annual Conference on Neural Information
Processing Systems（NeurIPS）. 2020, p.1-12

10）Bonawitz, K. et al. “Practical Secure Aggregation for Federated
Learning on User-Held Data”, NIPS Workshop on Private MultiParty Machine Learning. 2016, p.1-5.

りすることなく」、検査アルゴリズムの性能をアップデー

11）Yonetani, R.; Takahashi, T.; Hashimoto, A; Ushiku, Y. Decentral-

4. むすび12）Kairouz, P. et al. “Advances and Open Problems in Federated

トすることを可能にする。

ネットワークで接続された多数クライアントが保持するデータを活用した機械学習の一つとして連合学習を紹介し

ized Learning of Generative Adversarial Networks from Non-iid
Data, arXiv. 2019, preprint arXiv:1905.09684.

Learning”, Foundations and Trends in Machine Learning. 2021,
Vol.14, No.1-2, p.1-210.

た。連合学習ではクライアントはサーバに対して学習済み
モデルを共有するのみであり、自身のデータをローカルに留めたままにできるという利点がある。一方、クライアン
トによって保持するデータの統計的性質や計算・通信資源が異なる場合に学習が非効率化するという課題から、さま
ざまなアプローチが研究されている。

連合学習は機械学習および通信分野で近年とりわけ研究の 活 発 な ト ピ ッ ク の 一 つ で あ り、ICML, NeurIPS, ICLR,AAAI, IJCAI, ICC, GLOBECOM といった国際会議において多くの研究論文が発表されている。近年の研究動向はKairouz らのサーベイ12）によくまとめられているので、興味のある読者は参照されたい。

執筆者紹介
米谷

竜

YONETANI Ryo

オムロンサイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：コンピュータビジョン、機械学習
所属学会：情報処理学会、電子情報通信学会、
IEEE
博士（情報学）
本文に掲載の商品の名称は、各社が商標としている場合があります。

参考文献
1）Stanford Online. “機 械 学 習”, https://www.coursera.org/learn/machine-learning,（参照 2021-07-21）.

2）McMahan, H. B.; Moore, E.; Ramage, D.; Hampson, S.; Arcas, B.

A. y. “Communication-Eﬃcient Learning of Deep Networks from
Decentralized Data”. Proceedings of International Conference on

Artiﬁcial Intelligence and Statistics（AISTATS）, 2017, p.12731282.

3）Hard, A. et al. Federated learning for mobile keyboard prediction.
arXiv. 2018, preprint arXiv:1811.03604.

4）Rieke, N. et al. The future of digital health with federated learning.
NPJ Digital Medicine. 2020, Vol.3, 119.

(267) 119OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

クロスモーダルな理解～サーベイ
牛久 祥孝
深層学習の恩恵として、各種データでの既存のタスクの精度が大きく向上したという点以外に、それぞれ隣同士だったはずなのに専門性の強いパイプラインを構築していた結果として生じていた相互参入障壁が大きく緩和された点も特筆するべき点である。例えば、今まで画像認識を専門として研究開発を進めていた研究者や技術者にとってみると、音声認識も導入しようとした際には音声信号処理の独自のパイプラインを習得する必要があった。その様にお互い名前や中身が大きく異なるパイプラインが、畳込みニューラルネットワーク（Convolutional Neural
Network; CNN）や再帰ニューラルネットワーク（Recurrent Neural Network; RNN）、最近であれば Transformer などで統一化されてきているためにお互いを理解しやすい状態になって来た。結果として、画像や音声信号、自然言語など多様なデータを行き来したり同時に理解したりするようなクロスモーダル理解の研究が大きく前進してきた。本稿では、そのようなクロスモーダルな形でデータを理解する種々のタスクについて概説する。

Cross-modal Understanding: A Survey
USHIKU Yoshitaka
In addition to the fact that deep learning has dramatically improved the accuracy of existing tasks with various
types of data, it is also worth noting that it has dramatically eased the barriers to mutual entry into neighboring
fields. Such barriers had arisen as a result of the construction of highly specialized pipelines for each problem.
For example, researchers and engineers specializing in image recognition would have had to learn their pipeline
for speech signal processing if they wanted to introduce a speech recognition module into their image recognition
system. These pipelines, which differ greatly in name and content, have been unified into Convolutional Neural
Network (CNN), Recurrent Neural Network (RNN), and more recently, Transformer. As a result, it has become
easier to understand the state-of-the-art pipelines in each other fields. Thus, research on cross-modal understanding has made significant progress in which diverse data, such as images, speech signals, and natural language canbe traversed and understood simultaneously. In this article, the author outlines various tasks for understanding
data in such a cross-modal manner.

1. まえがき2021 年は、音声認識で深層学習が精度の大幅な向上を果たした 国際コンペティションからちょうど 10 年にな1）用したデータドリブンな解法がそれぞれで注目を集めていた。

その頃の各課題で主流となっていた手法は、基礎的な機る。その次の年には画像認識で同様に深層学習が劇的な精械学習手法やいくつかのアイディアが共有されていたもの

で深層学習が非常に複雑なそれまでのシステムと同等の精特徴量設計、そして後処理などが多段に組み合わされてい度向上を達成2）し、さらに 2 年後の 2014 年には機械翻訳度を達成する という事件が起きた。
3）

これらの課題はそれぞれ、音声信号処理やコンピュータ

ビジョン、自然言語処理と言われるコンピュータサイエン
スを支える各領域で研究されていたものである。特に2000 年頃から課題を解くためのお手本となる教師データの、基本的には各課題で独自に発達したデータの前処理やた。つまり、例えば自然言語処理の研究者が画像も含めた新たな研究を始めようとしても、コンピュータビジョン分
野の技術を習得して自身の研究に組み込むための導入コス
トが大きな壁となっていた。

一方で、それでも各分野の研究者が他の分野と融合したを含めたデータセットを構築し、統計的機械学習手法を適

データ理解を行おうとする取り組みも見られた。例えば動Contact : USHIKU Yoshitaka yoshitaka.ushiku@sinicx.com

徴量設計と機械学習手法によって融合しようとしたり4）、

120 (268)

画認識として各時刻の画像情報と音声情報をそれぞれの特牛久 祥孝

クロスモーダルな理解～サーベイ

画像の内容を自然言語で説明する為に当時の画像認識と自2. エンコーダとデコーダといった研究が見られる。

た表現を与えたが、基本的には入力として与えられたモダでセンセーションを巻き起こした。音声認識で多層パーセ

ダリティのデータに変換して出力することになる。

然言語生成を参考にしながらパイプラインを構築したり5）
その中で、冒頭に述べたような深層学習の研究が各領域

プトロン（Multi-Layer Perceptron; MLP）によって、画像認

まえがきではクロスモーダルな「理解」とあえてぼかし

リティのデータに含まれる情報を抽出し、それを既定のモ
例えば画像認識課題では、入力が画像というモダリティ

識が CNN によって、そして機械翻訳が RNN によって塗りであり、出力がクラスラベルという離散化されたシンボル

はすぐにそれぞれの分野で統一的に利用されるようになっ力が音声、出力は自然言語というモダリティであり、機械替えられたが、それら MLP/CNN/RNN と言うモジュールた。例えば音声認識や動画認識の時系列性は CNN や RNN

で、そして一方機械翻訳分野でも CNN による系列理解がに相当するモダリティである。音声認識は全体としては入翻訳は入力出力どちらも自然言語である。

さらに画像認識を例にとってもう少し中身を考えてみ試みられるようになるといった具合である。既によく知らる。入力された画像から典型的には畳込みニューラルネッを必要としないことも相まって、お互いの分野での異なるなって、単層以上の MLP を通していずれかのクラスに分れているようにこれらの深層学習は職人芸的な特徴量設計
課題へのパイプラインの見通しが極めて立ちやすくなった。

結果として、先ほど述べたように深層学習の流行前に徐々に取り組まれ始めていた複数のモダリティを同時に理解するような研究は、深層学習というロケットブースター

トワークによって処理された途中のデータはベクトルと類される。

また機械翻訳で RNN を用いる場合、入力データの単語を 1 単語ずつ RNN に入力していき、翻訳したい文が全て入力されたときの RNN の隠れ変数ベクトルが得られる。
これをまた別の RNN に入力し、1 単語ずつ訳文の単語を出を得て非連続な加速を果たした。例えば画像キャプション

力しつつ RNN に直前の出力を入力していくということを年には機械学習手法を含めたパイプライン5）が確立し、そここまでの 2 つの例で、途中に何らかのベクトルが出現

生成は 2010 年にその先駆けとなる研究6）が生まれ、2012

文の終わりという意味の出力が得られるまで繰り返す。

の後の精度向上が徐々に進んでいた。そして 2012 年の画していることに注意してほしい。つまり、深層学習においに深層学習の導入が進み、2015 年 6 月に開催された CVPRといった高次元だったり構造化されたりしているデータ

像認識と 2014 年の機械翻訳の深層学習化2,3）によって直ち（Conference on Computer Vision and Pattern Recognition）というコンピュータビジョン分野の最高峰の国際会議では、
CNN で画像を理解して RNN で文を生成するというアプ
ローチによる画像キャプション生成が世界中の大学や企業から同時多発的に提案されるに至った。

このような形で、現在では音声/画像/自然言語といった多様なモダリティの自由自在な組み合わせの入力を受けつけ、その内容を統合理解して自由自在な組み合わせの出力を得るような深層学習の研究が広く行われている。本稿でては多くの画素からなる画像や単語の系列である自然言語
を、連続値からなる数列データに変換している。この数列
データと言うのが典型的にはベクトルの形をとっている場
合が多い、という訳である。このように、入力データをベクトル等の数列データに変換する機構をしばしばエンコー

ダ（符号化器）と呼ぶ。画像認識では CNN のエンコーダが出力したベクトルを MLP で分類しているし、機械翻訳では最初の RNN がエンコーダとして出力したベクトルが、次の RNN に与えられている。

では、この機械翻訳の 2 つめの RNN は何か。このようは、そうした複数のモダリティを入出する研究をクロスに研究課題によっては出力として自然言語や画像などの高することを目的とする。紙幅の都合上各分野に深く入ったる。他によく知られたものとしては自己回帰を用いた音声

モーダルな理解と称して、その概観となるサーベイを提供
解説を与えるのは困難であるが、現在のクロスモーダルな次元ないし構造化されたデータを出力することが求められ
合 成 や、Generative Adversarial Net（GAN）ま た は Varia-

理解の索引となることを目指す。

tional Auto-Encoder（VAE）を用いた画像生成などが挙げらするにあたってキーとなるエンコーダとデコーダという概データ生成の際にも、機械翻訳の 2 つ目の RNN と同様に

2 節では、クロスモーダルな理解としての諸研究を概観

念について解説する。3 節から 5 節では、画像/自然言語/音声という代表的な 3 つのモダリティから 2 つを組み合わせた

クロスモーダル理解の研究について述べる。すなわち、3 節
で画像と自然言語、4 節で自然言語と音声、5 節で画像と音声を繋ぐ研究についてそれぞれ解説する。6 節はより多くの、またはより多様なモダリティを扱った研究についても触れながら、本稿の結びとして今後の展望について述べる。

れるだろう。そしてこれらの自己回帰や GAN/VAE による

やはり何らかのベクトルが入力されている。このように、ベクトルなどの数列データを入力として受け取り、音声や画像、自然言語のようなモダリティのデータを出力する機構をしばしばデコーダ（復号化器）と呼ぶ。

このように、画像認識はエンコーダと分類器の、機械翻訳はエンコーダとデコーダの組合せとみることができる。
他にエンコーダやデコーダという単語が良く出てくる分野(269) 121

OMRON TECHNICS

図1

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

深層学習による画像認識、機械翻訳、画像キャプション生成。このように各課題は入力データをベクトルなどの数列デー
タに変換するエンコーダ（符号化器）と、数列データから出力データを生成するデコーダ（復号化器）からなる。このようなエンコーダ・デコーダの活用はクロスモーダルな理解を概観するにあたって必須の観点となる。

としては、映像などを符号化して再度映像に戻す際にもやション生成のパイプラインが確立する前でも、実際には画を符号化するという点がエンコーダに、復号化するというジュールが組み合わされたパイプラインが提案されておはりエンコーダとデコーダが登場する。このように、情報点がデコーダには期待されている。画像認識の分類器がデコーダと言われないのは、この点が理由であろう。

ここまでの議論をまとめたのが、図 1 の「深層学習による画像認識」および「深層学習による機械翻訳」である。
ここまでの議論を見ていると、次のようなことを考えないだろうか。画像認識のエンコーダは何らかのベクトルを出力している。これは画像を分類する為の情報が符号化されていると期待されるベクトルである。次に機械翻訳のデ

像認識のモジュールと機械翻訳などの自然言語生成モ
り、このエンコーダ・デコーダ構造を深層学習が初めてもたらしたわけではない。このように多様なモダリティのデータを解釈したり生成したりと言う課題がそのままエン
コーダとデコーダとして解釈できる、といういわば観点のようなものが見えてきたのが重要である。3 節以降で解説するクロスモーダルな理解の各分野でも、このように複数のエンコーダとデコーダが登場してくる。

コーダはベクトルから文を出力している。文を出力するた

3. 画像と自然言語を繋ぐ研究

コーダがちゃんと自然言語文を出力してくれる。であれ

Transformer の表現学習が成功しているのは、データセッ

合わせれば、入力画像を説明できるようなキャプション生

きい。そのように大量なモデルで、帰納バイアスの少ないめの情報がベクトルにちゃんと入っていれば、あとはデ

ば、CNN によるエンコーダと RNN によるデコーダを組み成のパイプラインが実現できるのではないだろうか。

このようにして CNN によるエンコーダと RNN によるデコーダを世界中の機関が同時に提案してきたのが、1 節で述べた 2015 年の CVPR である。もちろん画像認識を学習しただけの CNN エンコーダと機械翻訳を学習しただけの

RNN デコーダを直列してそのまま画像のキャプションが生成できるという訳ではなく、画像キャプション生成用の画像とお手本キャプションのペアからなるデータセット上で学習する必要がある。また深層学習による画像キャプ

122 (270)

画像や自然言語処理で CNN や RNN、はたまた最近のトとして大量の画像やテキストを収集可能であることも大巨大パラメータによるネットワークを学習することの恩恵を受けているのがこれらのモダリティのデータであるともいえる。そのようなデータとして、YouTube や Facebook といった web サービスを中心として、画像や動画像と関連するテキストが大量に投稿されている。画像ないし動画像と自然言語というペアのデータは、ドメインさえ絞らなければ大量に集めやすいマルチモーダルデータでもある。

本節では、こうした画像と自然言語を繋ぐクロスモーダ

ル理解について述べる。この二つのモダリティの組合せは

牛久 祥孝

クロスモーダルな理解～サーベイ

特にビジョン＆ランゲージと言う名前がついていて、コン
ピュータビジョンの国際会議でも自然言語処理の国際会議でも数年前から一定の存在感を示すようになっている。

なお、画像から自然言語を出力するタスクと言うと光学的文字認識（Optical Character Recognition; OCR）を想像す

ン生成10）に導入されたのが生い立ちである。生成中のキャプションで次の単語を推定する際に、画像のどの領域に注意を払うべきかを、画像とキャプションのペアのみからデータドリブンで学習できる。

るかもしれない。確かに、深層学習以前から種々の方法で3.2 ビジュアル質問応答

で も、Yann LeCun に よ る LeNet7）は 学 習 可 能 な 畳 込 み

は、与えられた画像に関する質問に答えるタスクである。

デルで、文字認識でその効果が確かめられている。OCR

的に入力画像に含まれている。画像と質問文というマルチ

文字認識がさかんに試みられている。深層学習の歴史の中
ニューラルネットワークとして前世紀から非常に有名なモは画像から自然言語へのクロスモーダルな変換を行う研究と言えなくもないが、直接的な言語情報である文字以外の視覚情報を言語と結びつけるビジョン＆ランゲージの議論

ビジュアル質問応答（Visual Question Answering; VQA）

ビジュアル質問応答では、質問に答えるための情報は基本
モーダルな入力を用いて、回答候補をいずれかの単語に分類するというクロスモーダル理解の研究である。

この研究課題はユーザーインターフェースの分野で最初で、OCR そのものを含めることは少ない。

にアプリケーションとして提案されたもの11）で、視覚障3.1 キャプション生成

し、回答してほしい質問を入力するという使い方を想定し画像キャプション生成（Image Captioning）は、画像の内容を示すテキストを生成するタスクであり、他の自然言語処理の研究と同様に英語を対象としたものが多い。ビ

ジョン＆ランゲージ分野の中でも歴史の長い課題であり、深層学習の流行を迎える前の 2010 年頃から取り組みががい者が旅行先で何か分からなくて困っているもの撮影ていた。そしてこの論文では、アプリに接続されたクラウ
ドソーシングの人々が手動で回答していた。今回紹介する
ビジュアル質問応答システムは、このプロセスを自動化する試みともいえる。

ビジュアル質問応答は、視覚と言語の分野で最も広く取徐々に増えてきたテーマである。そのバリエーションにつり組まれている問題のひとつである。その理由は様々だ

生成の研究も存在する。

されていたことが挙げられる。その中でも貢献の大きいベ

いても枚挙に暇がなく、画像列や動画からのキャプション
最初にこの問題に取り組んだ論文 では、条件付き確率6）（Conditional Random Field; CRF）を用いて、画像の 3 種類のラベル（トリプレット）：「object」、「action」、「scene」を推定し、トリプレットが付加されたキャプションの集合から、類似のトリプレットを持つ文を検索している。つまり、システムは新たな文を生成するのではなく、既存の文の内容と一致する文を検索するのであり、画像やキャプ

ションにトリプレットを付加する必要がある。その後、画像認識モジュールと文生成モジュールをそれぞれコン

ピュータビジョンや自然言語処理の分野から取り込み、画像とキャプションのペアデータのみから新たな文を生成して画像キャプションを生成することを目指した研究が提案

が、一つにはデータセットとその評価方法が早くから確立
ンチマーク論文12）が 2015 年に発表されているが、画像を見ないと答えられない質問をクラウドソーシングで収集し、さらに 1 つの質問に対して 10 個の回答をクラウド

ソーシングで様々な人から収集して新規データセットを構築している。そして、3 人以上の人が一致して回答した場

合に質問が正しいと評価するプロトコルを提案し、画像と質問文をエンコーダで特徴量に変換して直列した後にクラス分類するというシンプルなベースラインで評価を行った。このように整えられたデータセットと評価方法、理解しやすいベースラインがその後の大量の新規参入者をもたらした要素であると考えられる。

また、ビジュアル質問応答もキャプション生成と同様にされた。

注意機構と親和性の高い課題である。Shih らによる手法13）

習によるキャプション生成が話題になり、複数の論文が同で、階層的な質問・画像の共起を活用している。Anderson

その後、前節で述べた通り CVPR 2015 において深層学時に同じパイプラインでキャプション生成を提案した。そは注意機構をビジュアル質問応答に適用した先駆的な研究らが提案した注意メカニズム14）は、画像上で規則的に配の中でも、Google の Vinyals らによる方法8）は、Google の置したグリッドに対する注意と、物体らしき領域を別の手モデルを組み合わせたもので、仕組みが理解しやすい。

る。

CNN 画像認識モデルである Inception と、LSTM 機械翻訳
CNN 画像エンコーダと LSTM 自然言語デコーダの組み合法で複数生成したものへの注意を組み合わせたモデルであわせという非常にシンプルな構造でありながら、生成され3.3 マルチモーダル機械翻訳る。ちなみに深層学習の近年の手法ではしばしば用いられキャプションを用いて、キャプションを別の言語に翻訳すたキャプションは精度、流暢性ともに大きく向上している注意（アテンション）機構は、機械翻訳9）・キャプショ

マルチモーダル機械翻訳とは、与えられた画像とそのる作業である。概念的には、画像を使って入力文の曖昧な(271) 123

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

部分を解消し、翻訳の精度を向上させることが期待できる。例えば、Seal という単語は、ものを貼る「シール」もあれば、ラッコにちかい海洋生物もある。実際にものを貼る「シール」が写っている画像があれば、キャプションに

CLIP21）を 活 用 し て い る と い う こ と が 述 べ ら れ て お り、

CLIP と各種画像生成手法を組み合わせた DALL-E の再現が様々なところで試みられている。

Seal という単語が入っていても、どちらの Seal を指してい3.5 視覚的対話

されると、自然言語が出力されるという形のクロスモーダ

研究に、画像や映像を加えたものである。まさに Visual

Hitschler らの手法16）は、まず、入力された画像とキャプ像に関連した対話を自然言語で行うデータを収集して対話翻訳を行い、翻訳候補文を複数生成している。次に、ター

覚情報から、次の対話行為として自然言語などを生成する

るのかはすぐにわかる15）。これは、画像と自然言語が入力

ル理解の研究になる。

ションのペアから、キャプションのみに対して通常の機械
ゲット言語の画像・キャプションペアデータセットを検索して、入力画像と翻訳候補文からなるペアを複数探し、検索結果に基づいて翻訳候補文のスコアを更新（リランク）

視覚的対話は、これまで言語だけで行われていた対話のDialog と言うタイトルを冠した 2017 年の論文22）では、画の学習を行っている。自然言語での対話履歴と関連する視という意味で、連続的なクロスモーダル理解の研究と解釈できる。

対話生成は人工知能の分野で古くから取り組まれてきたすることで画像による精度向上を促している。

研究テーマで、視覚的対話でもこのような人工知能タスク

行できない問題の精度を、モダリティの数を増やすことでしては、2 人のペアに画像を使った会話をしてもらい、そマルチモーダル機械翻訳は、一部のモダリティでしか実向上させようとする典型的な例の一つである。一方で実は、このようにモダリティを増やして精度を向上させる問

題はクロスモーダル理解のなかでも難しいものの一つとなってしまう。この点については最後の節でも簡単に述べる。

としての対話を扱う研究が多く存在する。代表的な設定との自然言語データを収集している。例えば片方が画像を見ていてもう片方が画像を見られない状態の中で、Q&A 形

式の対話を通じて画像の内容を口頭で伝えるという対話22）や、2 人とも画像を見ている中で、一方が特に見ている領域をもう片方が当てるゲームを Q&A 形式の自然言語対話で進めるもの23）などがある。店舗での店員と客24）や、市

3.4 テキストからの画像生成

テキストからの画像生成は、画像キャプション生成の逆問題で、画像の内容を示すキャプションから同じ内容を示す画像を生成するタスクである。テキストから画像へ変換

街地での電話ナビゲーターと旅行者25）などより社会での活用シーンに近い設定での対話を扱う研究も存在する。

また、広い意味では、エージェントやロボットによるク

ロ ス モ ー ダ ル 理 解 の 研 究 も あ る。VLN（Vision and Lan-

するクロスモーダル理解の研究と解釈できる課題で、前節guage Navigation）というタスク26）はこの中でも有名で、した結果、この複雑なタスクへの挑戦が増えている。

れた言語による指示と現在の視覚情報を頼りに目的地に到でも触れた GAN や VAE などの深層学習生成モデルが普及

は、入 力 さ れ た キ ャ プ シ ョ ン を 双 方 向

17）Mansimovら

LSTM でエンコードした後、RNN ベースの画像デコーダで画像をより鮮明にするために複数回更新するというパイプ

ラインを提案している。Reedら18）は、この問題に初めてGAN を導入しており、Stack GAN

はこのような GAN を

19）

仮想・現実環境にいるエージェントやロボットが、与えら達するタスクである。その時々の視覚情報と最初の言語指示に基づいて、回転や移動などの次の動作を対話行為として出力するという意味では、これもまた視覚的対話に関連する研究と言える。

積み上げて画像の高精細化を達成している。Stack GAN で

3.6 表現学習

方の画像を、入力キャプションとともに別の GAN に再度然言語から、ここまで述べてきた諸タスクのための特徴空ように GAN を繋げて高解像度な画像を生成するアプロー

タ量の削減を目指すものである。画像と自然言語のペア

は Reed らとほぼ同じアプローチで生成した 64 ピクセル四入力し、256 ピクセル四方の画像を出力させている。このチが続いていくことになる。

この問題のブレークスルーは Transformer によるアプ

ローチで、OpenAI が 2021 年 1 月 5 日に、キャプションからこれまでよりもはるかに多様な自然な画像／イラストを生成できる手法である「DALL-E」についてのブログ記

表現学習とは、画像（または動画）とそれに対応する自間を学習することで、様々なタスクの精度向上と学習デー
データをそれぞれのモダリティのためのエンコーダに入力
し、何らかの自己教師あり学習を経て特徴量の初期学習を行うものが典型的なパイプラインである。

VILBERT（Vision-and-Language BERT）はこのような研究の草分け的存在27）で、BERT28）のマルチモーダル版でを公開した。キャプションから極めて多様かつ自然ある。動画の時々の画像フレームの特徴表現の集合と、撃を与えた。またこの記事では、後述する表現学習手法のformer に入力して、エンコーダを学習させる。また、テキ事

20）

な画像やイラストを生成できるという例を示し、界隈に衝124 (272)

キ ャ プ シ ョ ン の 各 単 語 の 分 散 表 現 の ベ ク ト ル を Trans-牛久 祥孝

クロスモーダルな理解～サーベイ

ストから画像を生成する手法である DALL-E とともに紹介

音だけを聞いていれば正しく認識できても、音と矛盾する一つである。Web から 4 億対の画像・キャプションペアをわってしまうのである。

した CLIP21）は、現時点で大きな注目を集めている手法の収集し、対になっている画像・キャプションペアが最も似た値の特徴量にエンコードされるように、画像・キャプションそれぞれのエンコーダを学習する。

視覚情報が加わると、その矛盾を解消するために認識が変5.1 動画像認識

動画像認識とは、動画に含まれる動作、物体、シーンなどの内容に基づいて、動画の特定の時間間隔や領域を何ら

4. 自然言語と音声を繋ぐ研究

音と自然言語を扱ったクロスモーダル理解としては、音

声認識や音声合成がまさに合致するタスクである。音声認識（Acoustic Speech Recognition; ASR）は特に OCR と類似している。OCR が画像メディアの中に埋め込まれている

自然言語を抽出するものであるのに対して、ASR は音声メディアの中に埋め込まれている自然言語を抽出するもの
で、最近出てきたクロスモーダル理解の研究と言うには過かのクラスに分類するタスクである。動画像というと時々刻々のフレームで構成される時系列データだけを指し、音を含まない場合もある。特に人が映った動画での動作認識などは、画像データだけでもうまく識別出来てしまう。逆に画像と音声が相補的に精度向上に貢献する課題としては、この節の冒頭のように音声認識を音声だけでなく喋っている顔の動画も組み合わせて行うものがある33）。

去の歴史が長い。深層学習によるアプローチが導入される

5.2 視覚補助つき音源定位

カルな特徴量設計と、混合ガウス分布や隠れマルコフモデ

Localization）とは、主に動画像中の音源の位置を特定する

位 を ま ず 認 識 し て い た。こ こ が 深 層 学 習、具 体 的 に は位の研究が続けられており、複数の場所から観測された音

直前までは手動で設計された時系列データ処理によるロールによるモデル化を行い、音素と呼ばれる文字のような単MLP によって代替されたというのが最初 2011 年に起きた事件であり、その後 CNN や RNN、近年では Transformer と言う形で他のモダリティデータと同様にネットワーク構造の変遷が起きている。音声合成も深層学習によって研究が大きく進んだタスクで、画像生成に似たアプローチとして自己回帰モデルを利用したもの29）や GAN による敵対的学
習を取り入れたものなどがある。

30）

もう一つクロスモーダル理解の研究として挙げられるのが音声翻訳である。与えられた音声を自然言語として理解

視 覚 補 助 付 き 音 源 定 位（Visually Guided Sound Source

作業である34）。もともと伝統的に音響データで行う音源定の時系列データを用いて音源の位置を推定することが目的となっている。視覚的音源定位の出力は、映像と音が時系列的に同期して記録されている中で、映像の各フレームの中でそれぞれの音が発生している領域を切り出すという意
味で、画像上のアテンションマップやセグメンテーションに似ていると言える。

5.3 視覚補助つき音源分離

視 覚 補 助 つ き 音 源 分 離（Visually Guided Sound Source

するのみならず、別の言語に翻訳するタスクで、旅行先でSeparation）とは、主に映像を対象として音の複雑な組みとまず音声認識を経て同じ言語の音声から自然言語への変ば、複数の楽器が同時に演奏されている音のデータから、変換するという 2 段階の変換アプローチが思いつく。実際のデータだけで行うものは音源分離と呼ばれ、統計的なアの翻訳など応用への期待も高い課題である。単純に考える
換を済ませ、その次に自然言語データ上で別の言語に更にそのような手法を提案している論文が歴史的に大半で31）ある中で、ある言語の音声から直接別の言語の自然言語を出力するようなネットワークを学習するアプローチも32）出現している。

合わせをそれぞれ音の要素に分解する作業である35）。例え

各楽器の音のデータを復元するのが目的となる。これを音プローチや機械学習によるアプローチなど、長い間の発展の歴史をもつ。視覚補助つき音源分離は、視覚的な情報である映像を参照しながら音声データの音源分離を行う課題と捉えることができる。

5. 画像と音声を繋ぐ研究

5.4 音と映像の相互変換

いて重要な役割を果たしており、その視覚との関係を分析

音を推定するクロスモーダル変換の研究である。人間の音究が行われている。人間は視覚と聴覚を組み合わせて事象に大別される。

特に音声コミュニケーションは人々の間のやり取りにおするために心理学や情報学など様々なアプローチからの研を認識しているという心理学的知見があり、有名な例とし

音と映像の相互変換とは、音から映像あるいは映像から声を対象としたもの36）と、楽器の演奏を対象としたもの37）てはマガーク効果がある。例えば「ババ」という音と「ガ6. むすび～より多様なモダリティを繋ぐ研究へ

すと、被験者には「ダダ」に聞こえるという現象である。

以外にも、多様なモダリティの組み合せの研究が存在す

ガ」と発音している口の動きの人の動画を組み合わせて流ここまで見てきた 2 つのモダリティを組み合わせる研究(273) 125

OMRON TECHNICS

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

る。まずはここまで扱ってきたモダリティを全て組み合わ

ティまで含めたサーベイはあまり見かけない。本稿がよりの時系列情報以外に音声も活用してより精緻に動画を検索

つきっかけとなれば幸甚である。

せる課題である。例えばテキストによる動画検索で、画像しようとする研究38）や、動画の音声などを活用しながらその内容を記述する研究39）が挙げられる。

また一言で表現すると例えば「視覚」などの単一のモダリティになってしまうものを、複数の形態の画像など敢えてマルチモーダル表現されたデータとして同時に扱うことでクロスモーダル理解を実現する研究もある。たとえばRGB 画像データと赤外光を組み合わせた物体領域分割

40）や、3 次元の点群データと（2 次元の）RGB 画像データを組み合わせた物体検出41）などがある。

ただ注意したいのが、単純にモダリティを増やせば増やすほどうれしいことばかりではない点である。一つ目の問
題は、データの収集の困難さである。当然ではあるが、扱うモダリティが揃ったデータを収集しようとすると、モダ
リティの種類が増えるほどそのコストも増える。画像キャ
プション生成であれば画像とキャプションのペアデータを収集すればよいが、テキストによる動画検索で音声も扱おうとすると、テキスト・動画像・音声の 3 つのモダリティ
が同時に揃ったトリプレットデータが必要になる。

もう一つの問題が、モダリティを組み合わせたときに単一のモダリティよりもタスクの精度が上がる場合だけとは限らない、と言う点である。例えば動画像認識であれば画像列データだけの方がやや高精度だったり、マルチモーダ
ル機械翻訳であれば自然言語データだけの方が高精度だったりすることが挙げられる。単一モダリティでもある程度の精度が出てしまうようなタスクの入力をマルチモーダルにした場合には、この問題がつきまとう。最近はこれに対応するために勾配ブレンディングと言う手法が提案されている42）。簡単に言えば、収束が進んだモダリティの損失関数はどんどん重みを下げて、まだ収束していないモダリ

ティの損失関数を下げる様な働きをする手法である。種々のタスクでの効果が確かめられており、上記の点群とRGB 画像から物体を検出する研究41）でも採用されている。
クロスモーダル理解に対する機械学習の解析的な議論を含めた研究はまだまだ開拓の余地があるように思われるので、発見的なアプローチだけにとらわれず、数式を操作しながらクロスモーダル理解を解き明かす研究が進むことにも期待している。

本稿ではクロスモーダルな理解の研究として、自然言語

処理/画像/音声を繋ぐ研究課題について概観した。エンコーダ・デコーダと言う基本的な概念について触れたあと、上記の 3 つのモダリティのうち 2 つを繋ぐ研究について そ れ ぞ れ 解 説 し た。画 像 と 自 然 言 語 を 繋 ぐ Vision &Language と呼ばれる分野の研究が一番多く、この分野のサーベイは日本語のものも散見されるようになってきた（英語は言わずもがなである）。一方で音声や他のモダリ

126 (274)

多くの研究者にとって、クロスモーダルな理解に興味をも参考文献
1）Seide, F. et al. “Conversational Speech Transcription Using Context-Dependent Deep Neural Networks”. Conference of the Inter-national Speech Communication Association. 2011, p.437-440.

2）Kriuzhevsky, A. et al. “ImageNet Classification with Deep Convolutional Neural Networks”. Advances in Neural Information Processing Systems. 2012, p.1097-1105.

3）Sutskever, I. et al. “Sequence to Sequence Learning with Neural
Networks”. Advances in Neural Information Processing Systems.
2014, p.3104-3112.

4）Inoue, N.; Shinoda, K. “A Fast MAP Adaptation Technique for
GMM-supervector-based Video Semantic Indexing Systems”.

ACM Multimedia. 2011, p.1357-1360.

5）Ushiku, Y. et al. “Eﬃcient Image Annotation for Automatic Sentence Generation”. ACM Multimedia. 2012, p.549-558.

6）Farhadi, A. et al. “Every Picture Tells a Story: Generating Sentences from Images”. European Conference on Computer Vision.
2010, p.15-29.

7）LeCun, Y. et al. Gradient-Based Learning Applied to Document

Recognition. Proceedings of the IEEE. 1998, Vol.86, No.11,
p.2278-2324.

8）Vinyals, O. et al. “Show and Tell: A Neural Image Caption Generator”. IEEE Conference on Computer Vision and Pattern Recognition. 2015, p.3156-3164.

9）Bahdanau, D. et al. “Neural Machine Translation by Jointly Learning to Align and Translate”. International Conference on Learning
Representations. 2015.

10）Xu, K. et al. “Show, Attend and Tell: Neural Image Caption Generation with Visual Attention”. International Conference on
Machine Learning. 2015, p.2048-2057.

11）Bigham, J. P. et al. “VizWiz: Nearly Real-time Answers to Visual
Questions”. ACM Symposium on User Interface Software andTechnology. 2010, p.333-342.

12）Antol, S. et al. “VQA: Visual Question Answering”. IEEE International Conference on Computer Vision. 2015, p.2425-2433.

13）Shih, K. J. et al. “Where To Look: Focus Regions for Visual Question Answering”. IEEE Conference on Computer Vision and Pattern Recognition. 2016, p.4613-4621.

14）Anderson, P. et al. “Bottom-Up and Top-Down Attention for Image
Captioning and Visual Question Answering”. IEEE Conference on

Computer Vision and Pattern Recognition. 2018, p.6077-6086.

15）Calixto, I. et al. “Images as Context in Statistical Machine Translation”. Workshop on Vision and Language. 2012.

16）Hitschler, J. et al. “Multimodal Pivots for Image Caption Translation”. Meeting of the Association for Computational Linguistics.
2016, p.2399-2409.

17）Mansimov, E. et al. “Generating Images from Captions with Attention”. International Conference on Learning Representations.

牛久 祥孝

クロスモーダルな理解～サーベイ

2016.

Accurate Lip to Speech Synthesis”. IEEE/CVF Conference on18）Reed, S. et al. “Generative Adversarial Text to Image Synthesis”.

Computer Vision and Pattern Recognition. 2020, p.13796-13805.

International Conference on Machine Learning. 2016, p.1060-

37）Owens, A. et al. “Visually Indicated Sounds”. IEEE Conference on19）Zhang, H. et al. “StackGAN: Text to Photo-realistic Image Synthe-38）Gabeur, V. et al. “Multi-modal Transformer for Video Retrieval”.

1069.

sis with Stacked Generative Adversarial Networks”. IEEE Interna-

tional Conference on Computer Vision. 2017, p.5907-5915.

20）Ramesh, A. et al. “DALL·E: Creating Images from Text”. https://openai.com/blog/dall-e/,（参照 2021-09-01）.

21）Radford, A. et al. “Learning Transferable Visual Models From
Natural Language Supervision”. International Conference on
Machine Learning. 2021, p.8748-8763.

22）Das, A. et al. “Visual Dialog”. IEEE Conference on Computer
Vision and Pattern Recognition. 2017, p.326-335.

23）de Vries, H. et al. “GuessWhat?! Visual Object Discovery ThroughMulti-Modal Dialogue”. IEEE Conference on Computer Vision and

Pattern Recognition. 2017, p.5503-5512.

24）Saha, A. et al. “Towards Building Large Scale Multimodal DomainAware Conversation Systems”. AAAI Conference on Artificial
Intelligence. 2018, p.696-704.

Computer Vision and Pattern Recognition. 2016, p.2405-2413.
European Conference on Computer Vision. 2020.

39）Hori, C. et al. “Attention-Based Multimodal Fusion for Video
Description”. IEEE International Conference on Computer Vision.
2017, p.4193-4202.

40）Ha, Q. et al. “MFNet: Towards real-time semantic segmentation forautonomous vehicles with multi-spectral scenes”. IEEE/RSJ Inter-national Conference on Intelligent Robots and Systems. 2017,p.5108-5115.

41）Qi, C. R. et al. “ImVoteNet: Boosting 3D Object Detection in Point
Clouds with Image Votes”. IEEE/CVF Conference on Computer
Vision and Pattern Recognition. 2020, p.4404-4413.

42）Wang, W. et al. “What Makes Training Multi-modal Classification
Networks Hard?”. IEEE/CVF Conference on Computer Vision and

Pattern Recognition. 2020, p.12695-12705.

25）de Vries, H. et al. Talk the Walk: Navigating New York City throughGrounded Dialogue. arXiv. 2018, 1807.03367v3.

26）Anderson, P. et al. “Vision-and-Language Navigation: Interpreting
Visually-Grounded Navigation Instructions in Real Environments”.
IEEE Conference on Computer Vision and Pattern Recognition.
2018, p.3674-3683.

27）Lu, J. et al. “ViLBERT: Pretraining Task-Agnostic Visiolinguistic
Representations for Vision-and-Language Tasks”. Advances in

Neural Information Processing Systems. 2019, p.13-23.

28）Devlin, J. et al. “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”. Conference of the North
American Chapter of the Association for Computational Linguistics. 2019, p.4171-4186.

29）van den Oord, A. et al. WaveNet: A Generative Model for Raw
Audio. arXiv. 2016, 1609.03499v2.

執筆者紹介
牛久 祥孝

USHIKU Yoshitaka

オムロン サイニックエックス株式会社
リサーチアドミニストレイティブディビジョン
専門：コンピュータビジョン、自然 言 語 処 理、
パターン認識、機械学習
所属学会：ACM、IEEE、電子情報通信学会、情報処理学会、日本ロボット学会、人工知能学
会、応用物理学会、建築情報学会
博士（情報理工学）
本文に掲載の商品の名称は、各社が商標としている場合があります。

30）Kumar, K. et al. “MelGAN: Generative Adversarial Networks for
Conditional Waveform Synthesis”. Advances in Neural Information

Processing Systems. 2019, p.14910-14921.

31）Vidal, E. “Finite-state speech-to-speech translation”. IEEE International Conference on Acoustics, Speech, and Signal Processing.
1997, p.111-114.

32）Jia, Y. et al. “Direct Speech-to-Speech Translation with a Sequenceto-Sequence Model”. Conference of the International Speech Communication Association. 2019, p.1123-1127.

33）Ngiam, J. et al. “Multimodal Deep Learning”. International Conference on Machine Learning. 2011, p.689-696.

34）Senocak, A. et al. “Learning to Localize Sound Source in Visual
Scenes”. IEEE Conference on Computer Vision and Pattern Recognition. 2018, p.4358-4366.

35）Hershey, J. et al. “Deep clustering: Discriminative embeddings forsegmentation and separation”. IEEE International Conference on
Acoustics, Speech and Signal Processing. 2016, p.31-35.

36）Prajwal, K. R. et al. “Learning Individual Speaking Styles for(275) 127

OMRON TECHNICS

128 (276)

Vol.53 No.2（通巻 165 号）2021

4. 技術解説・サーベイ

オムロン サイニックエックスが発表した主な論文・講演など
2021･ Ryo Yonetani, Tatsunori Taniai, Mohammadamin Barekatain, Mai Nishimura, and Asako Kanezaki, “Path Planning using
Neural A* Search”, International Conference on Machine Learning（ICML）, PMLR 139, pp.12029-12039, 2021.

･ Qing Yu, Atsushi Hashimoto, and Yoshitaka Ushiku, “Divergence Optimization for Noisy Universal Domain Adaptation”,
IEEE Conference on Computer Vision and Pattern Recognition（CVPR）, pp.2515-2524, 2021.

･ Masashi Hamaya, Kazutoshi Tanaka, Yoshiya Shibata, Felix von Drigalski, Chisato Nakashima, and Yoshihisa Ijiri,“Robotic Learning From Advisory and Adversarial Interactions Using a Soft Wrist”, IEEE Robotics and Automation
Letters（RA-L）with RoboSoft option, vol.6, no.2, pp.3878-3885, 2021.

･ Felix von Drigalski, Devwrat Omkar Joshi, Takayuki Murooka, Kazutoshi Tanaka, Masashi Hamaya, and Yoshihisa Ijiri,“An analytical diabolo model for robotic learning and control”, IEEE International Conference on Robotics andAutomation（ICRA）, 2021.

･ Felix von Drigalski, Kennosuke Hayashi, Yifei Huang, Ryo Yonetani, Masashi Hamaya, Kazutoshi Tanaka, and Yoshihisa

Ijiri, “Precise Multi-Modal In-Hand Pose Estimation using Low-Precision Sensors for Robotic Assembly”, IEEE
International Conference on Robotics and Automation（ICRA）, 2021.

･ Kazutoshi Tanaka, Ryo Yonetani, Masashi Hamaya, Robert Lee, Felix von Drigalski, and Yoshihisa Ijiri, “TRANS-AM:
Transfer Learning by Aggregating Dynamics Models for Soft Robotic Assembly”, IEEE International Conference on
Robotics and Automation（ICRA）, 2021.

･ Ukyo Honda, Yoshitaka Ushiku, Atsushi Hashimoto, Taro Watanabe, and Yuji Matsumoto, “Removing Word-Level Spurious
Alignment between Images and Pseudo-Captions in Unsupervised Image Captioning”, Conference of the European Chapterof the Association for Computational Linguistics（EACL）, pp.3692-3702, 2021.

･ Kazutoshi Tanaka, Shih-Hsin Yang, Yuji Tokudome, Yuna Minami, Yuyao Lu, Takayuki Arie, Seiji Akita, Kuniharu Takei,
and Kohei Nakajima, “Flapping-Wing Dynamics as a Natural Detector of Wind Direction”, Advanced Intelligent Systems,

Vol.3, No.2, 2021.

･ Yuta Kamikawa, Atsushi Hashimoto, Motoharu Sonogashira, and Masaaki Iiyama, “Curiosity Guided Fine-tuning for
Encoder-Decoder-based Visual Forecasting”, IEICE Transactions on Information and Systems, Vol.E104-D, Issue 5,

pp.752-761, 2021.

･ 原島純，橋本敦史．“キッチン・インフォマティクス―料理を支える自然言語処理と画像処理”．オーム社．P264,
2021.

･ 米谷竜．“連合学習入門―基本的なアプローチと典型的な課題―”．精密工学会誌，87 巻，8 号，pp.662-665, 2021.
･ 濵屋政志，田中一敏，Felix von Drigalski．“工場現場の組立応用に向けたソフトロボット運動学習”．日本ロボット
学会誌，39 巻，7 号，pp.609-612, 2021.

2020･ Felix von Drigalski, Christian Schlette, Martin Rudorfer, Nikolaus Correll, Joshua Triyonoputro, Weiwei Wan, Tokuo Tsuji,
and Tetsuyou Watanabe, “Robots assembling machines: Learning from the World Robot Summit 2018 Assembly
Challenge”, Advanced Robotics, vol.34, issue 7-8, pp.408-421, 2020.

･ Nie Kaidi, Felix von Drigalski, et al., “Team O2AS Approach for Task-board Task of WRC 2018”, Advanced Robotics,
vol.34, pp.477-498, 2020.

･ Hiroaki Minoura, Ryo Yonetani, Mai Nishimura, and Yoshitaka Ushiku, “Crowd Density Forecasting by Modeling Patchbased Dynamics”, IEEE Robotics and Automation Letters（RA-L）, vol.6, no.2, pp.287-294, 2020.

(277) 129

･ Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Yoko Yamakata, and Shinsuke Mori,“Structure-Aware Procedural Text Generation from an Image Sequence”, IEEE Access, vol.9, pp.2125-2141, 2020.

･ Taichi Nishimura, Suzushi Tomori, Hayato Hashimoto, Atsushi Hashimoto, Yoko Yamakata, Jun Harashima, Yoshitaka

Ushiku, and Shinsuke Mori, “Visual Grounding Annotation of Recipe Flow Graph”, Language Resources and Evaluation
Conference（LREC）, pp.4275-4284, 2020.

･ Kazutoshi Tanaka, Yuji Tokudome, Yuna Minami, Satoko Honda, Kuniharu Takei, and Kohei Nakajima, “Self-OrganizedSoft Reservoirs”, ICRA2020 Workshop.
･ Ryuhei Takahashi, Atsushi Hashimoto, Motoharu Sonogashira, and Masaaki Iiyama, “Partially-shared Variational Auto-

encoders for Unsupervised Domain Adaptation with Target Shift”, European Conference on Computer Vision（ECCV）, p.117, 2020.

･ Takayuki Murooka, Masashi Hamaya, Felix von Drigalski, Kazutoshi Tanaka, and Yoshihisa Ijiri, “EXI-Net: EXplicitly/

Implicitly Conditioned Network for Multiple Environment Sim-to-Real Transfer”, Conference on Robot Learning（CoRL）,
pp.1-10, 2020.

･ Mai Nishimura and Ryo Yonetani, “L2B: Learning to Balance the Safety-Eﬃciency Trade-Oﬀ in Interactive Crowd-Aware
Robot Navigation”, IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS）, pp.11004-11010,

2020.

･ Felix von Drigalski, Kazutoshi Tanaka, Masashi Hamaya, Robert Lee, Chisato Nakashima, Yoshiya Shibata, and Yoshihisa
Ijiri, “A Compact, Cable-Driven, Activatable Soft Wrist with Six Degrees of Freedom for Assembly Tasks”, IEEE/RSJ

International Conference on Intelligent Robots and Systems（IROS）, pp.8752-8757, 2020.

･ Masashi Hamaya, Felix von Drigalski, Takamitsu Matsubara, Kazutoshi Tanaka, Robert Lee, Chisato Nakashima, Yoshiya

Shibata, and Yoshihisa Ijiri, “Learning soft- robotic assembly strategies from successful and failed demonstrations”, IEEE/
RSJ International Conference on Intelligent Robots and Systems（IROS）, pp.8309-8315, 2020.

･ Matthew Ishige, Takuya Umedachi, Yoshihisa Ijiri, Tadahiro Taniguchi, and Yoshihiro Kawahara, “Blind Bin Picking of
Small Screw through In-ﬁnger Manipulation with Compliant Robotic Fingers”, IEEE/RSJ International Conference onIntelligent Robots and Systems（IROS）, pp.9337-9344, 2020.

･ Shinya Michibata, Katsufumi Inoue, Michifumi Yoshioka, and Atsushi Hashimoto, “Cooking Activity Recognition in
Egocentric Videos with a Hand Mask Image Branch in the Multi-stream CNN”, Workshop on Multimedia for Cooking andEating Activities（CEA）, 2020.

･ Mohammadamin Barekatain, Ryo Yonetani, and Masashi Hamaya, “MULTIPOLAR: Multi-Source Policy Aggregation forTransfer Reinforcement Learning between Diverse Environmental Dynamics”, International Joint Conference on Artiﬁcial

Intelligence（IJCAI）, pp.3108-3116, 2020.

･ Jiaxin Ma, Ryo Yonetani, and Zahid Iqbal, “Adaptive Distillation for Decentralized Learning from Heterogeneous Clients”,
International Conference on Pattern Recognition（ICPR）, pp.7486-7492, 2020.

･ Takayuki Murooka, Artur Istvan Karoly, Felix von Drigalski, and Yoshihisa Ijiri, “Simultaneous Planning of Grasp andMotion using Sample Regions and Gradient-Based Optimization”, IEEE International Conference on Automation Scienceand Engineering（CASE）, pp.1102-1109, 2020.

･ Matthew Ishige, Takuya Umedachi, Yoshihisa Ijiri, and Yoshihiro Kawahara, “In-Hand Small-Object Counting from Tactile
Sensor Arrays Installed on Soft Fingertips”, IEEE International Conference on Soft Robotics（Robosoft）, pp.272-277,
2020.

･ 西村太一，橋本敦史，森信介．“重要語に着目した写真列からのレシピの自動生成”．自然言語処理，27 巻，2 号，pp.257-279, 2020.

130 (278)

･ 室岡貴之，濱屋政志，フェリクッス フォン ドリガルスキ，田中一敏，井尻善久．“明示・暗示ダイナミクス変数を用いた多様な環境間での動作学習”．日本ロボット学会誌レター，27 巻，2 号，pp.257-279, 2020.

･ 千葉直也，伊東秀謹、橋本浩一．“LTM スパース推定による三次元計測の白飛び対応とばら積みピッキングロボッ
トへの応用の紹介”．画像ラボ，31 巻，11 号，pp.41-47, 2020.

･ 上瀧剛，井尻善久．“サブピクセル物体検出とベンチマーク”．画像ラボ，31 巻，8 号，pp.6-13, 2020.

2019･ Masashi Hamaya, Takamitsu Matsubara, Tatsuya Teramae, Tomoyuki Noda, and Jun Morimoto, “Design of physical userrobot interactions for model identiﬁcation of soft actuators on exoskeleton robots”, The International Journal of Robotics
Research（IJRR）, Vol.40, Issue 1, pp.397-410, 2019.

･ 井尻善久，Felix von Drigalski. “産業用ロボットの進化によるものづくりの近未来”．日本ロボット学会誌，37 巻，8 号，pp.675-678, 2019.

･ 古賀達也，井尻善久．“IOT の側面から見た、モバイルロボット・モバイルマニピュレータの現状と今後の展望”．
日本ロボット学会誌，37 巻，8 号，pp.707-710, 2019.

･ 牛久祥孝．“画像に関連した言語生成の取組み”．人工知能学会誌，Vol.34, No.4, pp.483-491, 2019.
･ 牛久祥孝．“マルチモーダル 画像キャプション生成とその派生タスク”．画像ラボ，30 巻，4 号，pp.28-31, 2019.

2018･ Yuki Fujimura, Masaaki Iiyama, Atsushi Hashimoto, and Michihiko Minoh, “Photometric Stereo in Participating Media
Considering Shape-Dependent Forward Scatter”, IEEE/CVF Conference on Computer Vision and Pattern
Recognition（CVPR）, pp.7445-7453, 2018.

(279) 131

技術論文誌「OMRON TECHNICS」は研究開発成果を広く公開することで様々な社会課題を解決し、より良い社会の実現に寄与することを目的に発行しております。

のご紹介

オムロングループのコア技術“Sensing & Control + Think”を活用した
新たな価値を是非ご覧ください。
創刊よりこれまで通巻164号発行し、約1,770編以上の論文を公開しております。

1961年5月 創刊号

1975年 50号

1991年 100号

2008年 160号

162
Vol.51 No.1

163
Vol.52 No.1

164
Vol.53 No.1

2019

2021

2020

164 Vol.53 No.1 2021

機械の五感としてのセンシング
特集

人が活躍するニューノーマルを創るロボット技術

特集

モノづくり現場を革新する
オムロンの技術特集

人が活躍する
ニューノーマルを創るロボット技術
164
Vol.53 No.1
2021

2018年 161号

132 (280)2019年 162号

2020年 163号

2021年 164号