卓球ロボット開発史～人と機械の融和に向けて～
2018年 8月 31日
オムロン株式会社 技術・知財本部
無線・組込研究室八瀬 哲志

卓球ロボット ver 2013

© OMRON Corporation All Rights Reserved1

卓球ロボット ver 2015

© OMRON Corporation All Rights Reserved2

卓球ロボット ver 2017

© OMRON Corporation All Rights Reserved3

卓球ロボット ver 2018(開発風景）© OMRON Corporation All Rights Reserved

4

Contents

１．卓球ロボット開発の目的
２．フォルフェウスの基本技術
３．フォルフェウス開発史
４．今後の進化の方向性© OMRON Corporation All Rights Reserved5Q. なぜオムロンが卓球ロボット？

A1. オムロンのコア技術のシンボル© OMRON Corporation All Rights Reserved

6オムロンのコア技術＝センシング & コントロール +Think② 現場の経験に基づき、データから読み取れる現象に意味づけをする+ Think
蓄積した現場データ 人の知見

センシング
電波

画像
力

光

音波
電力

磁気

コントロール
位置力

向き

情報
助言

社内および顧客の現場① 現場の知見に基づき、必要なデータを取得する③ 解釈に基づき、現場に適切なフィードバックを行なう© OMRON Corporation All Rights Reserved

7例）熟練者の“勘“を実現するFA用AIコントローラ© OMRON Corporation All Rights Reserved

8卓球はセンシング & コントロール +Thinkの詰め合わせ
卓球＝「100m走をしながらチェスをするようなスポーツ」＋ Think ボールの軌道予測
 ラケット経路計算
 相手のレベルや意図の読み取り＆返球計画への反映

センシング

動かしながら同時に実行

コントロール
ロボットを正確に動作

・ボールの3次元位置と速度を正確に計測・「人」の動作を計測© OMRON Corporation All Rights Reserved

9高度な卓球動作を一般産業用機器をベースに実現© OMRON Corporation All Rights Reserved10Q. なぜオムロンが卓球ロボット？

A1. オムロンのコア技術のシンボル
A2.オムロンが目指す人と機械の関係「融和」の具現化© OMRON Corporation All Rights Reserved

11「オートメーション」の近未来は?

機械だけで働く

人と機械が共に働くAI

ロボティクスIoT

センシング© OMRON Corporation All Rights Reserved

12

「人と機械の関係」の変化
機械の高度化に伴い「人と機械の関係」は変化している

自動操縦

自動運転

接客

診察

この服の配送料いくらですか？

お問い合わせありがとうございます。
配送料は500円となっております。
2,500円以上のお買い上げで配送料は無料です。

© OMRON Corporation All Rights Reserved

13オムロンが目指す人と機械の関係

「代 替」

「協 働」

「融 和」

機械が人の作業を置換え

機械と人が作業を分担

機械が人の能力や創造性を引出す

機械人

機械人

機械人

© OMRON Corporation All Rights Reserved

14

「融和」のコンセプトに大きな反響@CES2018

BBCCNBC

フォルフェウスはやさしい

TechCrunch

GIZMODOThe first thing that I should say
about FORPHEUS is that it’s
gentle. The artificially intelligent
Ping-Pong tutor built by Omron
is not trying to beat you. It’s nottrying to take over the world.
FORPHEUS is trying to makeyou a better Ping-Pong player.
© OMRON Corporation All Rights Reserved

15

「融和」のコンセプトに大きな反響@CES2018
オムロン掲載記事の表示回数
BBC
CNBC

38億回以上フォルフェウスはやさしい

TechCrunch

GIZMODO
参考
PPAP：４億回再生
The first thing that I should say
about FORPHEUS is that it’s
gentle. The artificially intelligent
Ping-Pong tutor built by Omron
is not trying to beat you. It’s nottrying to take over the world.
FORPHEUS is trying to makeyou a better Ping-Pong player.
© OMRON Corporation All Rights Reserved

16

「人と機械の融和」の目指す姿「人と機械」で人が成長し、自身の（人間の）限界を超えられる人の能力人と機械だからこそ到達できる融和

人と人でも到達できる機械の能力© OMRON Corporation All Rights Reserved17AIによって人は進化する
AI×制御で人はどんな進化を遂げるか？
AI（頭脳）のみの世界

×

戦術の飛躍的進化＆”人”のスーパースターの誕生

AI（頭脳）× 制御（肉体）の世界

×?
© OMRON Corporation All Rights Reserved

18

Contents

１．卓球ロボット開発の目的
２．フォルフェウスの基本技術
３．フォルフェウス開発史
４．今後の進化の方向性© OMRON Corporation All Rights Reserved19

卓球ロボットを実現する技術

ボールの位置・人の動きをSensingする
最適な返球計画をThinkするロボットを正確にControlする© OMRON Corporation All Rights Reserved

20

Sensing：ピン球の３次元位置を計測

2つのQuadVGAカメラ

ボールの3次元位置を正確に計測 (毎秒80回、精度±5mm)

右カメラ画像

左カメラ画像3次元計測結果© OMRON Corporation All Rights Reserved21

卓球ロボットを実現する技術

ピン球の３次元位置をSensingする
最適な返球計画をThinkするロボットを正確にControlする© OMRON Corporation All Rights Reserved22Think：最適な返球計画を決定
ピン球の軌跡体の動き情報

将来軌跡予測ラリーレベル判定
返球モード決定（速度、コースなど）

ラケットスイング計画
ラケットのスイング命令（位置・姿勢・速度・タイミング）© OMRON Corporation All Rights Reserved23

将来の軌跡を正確に予測 ラケットの打点を決めるために、ピン球の将来の軌跡を計算
 ピン球の空力モデル[Nakashimaら, ICRB2011]（２次常微分方程式）をルンゲ=クッタ法を用いて数値積分
 予測した軌跡と実際の観測軌跡の平均誤差は20mm以下

ピン球加速度 重加速度

Drag力

Magnus力

軌跡予測結果観測軌跡（軌跡予測に使用）

Magnus力予測後の実際の軌跡

Drag力© OMRON Corporation All Rights Reserved

24最適なラケットスイングを計画
 返球目標（返球位置、速度、高さ）を定め、目標を実現するラケットスイングを計画
 小さいロボット負荷かつ小さい目標偏差を両立できるスイングパラメータ𝒑swing = 位置𝑿,姿勢𝛼, 𝛽,速度𝑣, タイミング𝑡 を探索𝑣
𝑿, 𝑡𝛼
目標速度𝛽

ロボット側

目標高さ
目標返球位置人側𝒑swing = argmin 目標偏差 𝒑swing + 𝜆ロボット負荷 𝒑swing𝒑swing※目標偏差は返球後の軌跡予測を行うことで算出© OMRON Corporation All Rights Reserved25

相手の実力に応じて返球を調整
Easyモード（初心者）

Hardモード（上級者）

ゆっくり

球速速い

山なり

ピン球高さ

低い

常にプレイヤ位置コース

ランダム© OMRON Corporation All Rights Reserved26

実力を見分けるための入力
身体情報

軌跡情報

初心者 無駄な動きが多い

初心者 山なり、遅い

上級者 必要最小限の動き

上級者 低位置、速い© OMRON Corporation All Rights Reserved27

RNN (Recurrent Neural Network) 時系列データ・可変長データを取り扱うことのできるDeep learningの一つ
 画像分野においては行動認識・動作認識でstate-of-the-artの性能
 卓球ロボットにおいてラリーレベル判別精度90%以上達成
 ラリー開始から３往復で識別開始、以降毎フレーム識別結果を更新

隠れ層𝒉

入力層𝒙

出力層𝒚

身体情報
(30FPS)

上級者尤度
●
●

軌跡情報
（30FPS）

●𝑾𝒙𝒉●
●
●

𝑾𝒉𝒚

中級者尤度

初級者尤度𝑾𝒉© OMRON Corporation All Rights Reserved28

卓球ロボットを実現する技術

ピン球の３次元位置をSensingする
最適な返球計画をThinkするロボットを正確にControlする© OMRON Corporation All Rights Reserved

29

Control：ロボットを高速・高精度に制御
FAの現場で使われている製品（PLC、サーボドライバ）の構成によりロボットを動かす５軸のモータを高速・高精度に制御（全てオムロン製品）
Programmable
LogicController(PLC)

サーボドライバ
ロボット軌道命令

 モータを駆動、フィードバック制御

 ラケットのスイング命
令からロボットの軌道計画を計算
 1msecの周期でロボットを高速制御
モータ
ラケットのスイング命令
 位置
 姿勢
 速度
 タイミングPC

デルタロボット（３軸＋２軸）© OMRON Corporation All Rights Reserved30

Contents

１．卓球ロボット開発の目的
２．フォルフェウスの基本技術
３．フォルフェウス開発史
４．今後の進化の方向性© OMRON Corporation All Rights Reserved31

「フォルフェウス」は「融和」を目指して進化してきた融和

2018

人の能力の引き出し

2017

2016

協働

スマッシュへの対応と、初心者には難しいサーブの代替により、初心者から上級者まで卓球のラリーを堪能できる初心者/上級者のレベルを判断して、レベルに合わせた返球をする

2015

機械が返球位置を 共有することで、人が卓球ラリーを継続しやすい2014

人と機械で卓球ラリーができる

機械自身の能力© OMRON Corporation All Rights Reserved

32

2014：人とラリーのできる卓球ロボットの登場
人と機械の新しい関係を象徴するラリー継続卓球ロボットをCEATEC JAPAN 2014で初お披露目

出典：response.jp

出典：gigazine.net

出典：ceatec.com

CEATEC JAPAN
米国メディアパネル
イノベーションアワード受賞© OMRON Corporation All Rights Reserved

33

2015：人にラリーをコーチング
ロボットからの返球位置を卓球台に表示することで、ラリーが継続するようにコーチング「世界初の卓球トレーニングロボット」として2016年9月にギネス世界記録認定© OMRON Corporation All Rights Reserved34

2016：AI卓球ロボット～人の実力に合わせて返球～相手の上手さを読み取り、相手に合わせたラリーを実現
プレイヤの卓球の上手さ(初級～上級)を自動で理解

プレイヤの上手さに合わせて動作モードを変化

誰でも卓球が上達する

3次元の身体位置情報(頭、腕など)

Deep
Learning

初心者にはEasyモード

3次元のボール軌跡情報

上級者にはHardモード© OMRON Corporation All Rights Reserved

35

100人以上のラリーデータを用いて学習© OMRON Corporation All Rights Reserved36

2017：初心者から上級者まで楽しめるロボット
スマッシュへの対応と、初心者には難しいサーブの代替により、初心者から上級者までラリーを楽しむことができるスマッシュへの対応

サーブの代替対戦者のニーズ/課題

上級者はスマッシュを打ちたい！

初心者の3割はサーブが入らない

必要な機能

スマッシュ対応機能

サーブ機能

機能を実現する技術

 AI技術による人の意図の読取り
 ピンポン球「追従アルゴリズム」の高速化

 2台のロボットの「同時制御」© OMRON Corporation All Rights Reserved37

人がやりたいことを先回りして予測する
人体センサー(Kinect)

対戦者の身体の動きをAI技術で解析
スマッシュを打とうとする気配を読み取る
上背面

右普通の返球人体センサー取得画像

スマッシュ

解析画像
© OMRON Corporation All Rights Reserved38

機械ができることの幅を広げる
違う種類の2台のロボットの「同期制御」
人のようにトスを上げてサーブする
ピンポン球のトス上げ (左腕)ラケットのスイング (右腕)

オムロン
垂直多関節ロボット
Viper650

1/100秒以下の精度で同期

一般産業用パラレルリンクロボット© OMRON Corporation All Rights Reserved

39

Contents

１．卓球ロボット開発の目的
２．フォルフェウスの基本技術
３．フォルフェウス開発史
４．今後の進化の方向性© OMRON Corporation All Rights Reserved

40

「融和」のアップグレード～FY17：人の成長をサポート
FY18~：人と機械で人の限界を引き上げる

人の能力

人と機械だからこそ到達できる

融和

FY18

人と人でも到達できる
FY17

機械の能力
© OMRON Corporation All Rights Reserved41

人と機械で人の成長曲線を変えたい
ロボットのコーチング＆プレイヤー能力を更に進化させる
成長

人×機械での成長曲線

プレイヤー能力の進化

切磋琢磨する
永遠のライバル(一流のプレイヤー）

成長の飽和「コツ」の早期獲得を促す一流のコーチ

従来の成長曲線コーチング機能の進化「コツ」を掴むまでの時間

時間© OMRON Corporation All Rights Reserved42キーワードは「人理解」
人の「技」を理解する・上級者は状況や相手を見て、適切な球種を繰り出す
・プロのスマッシュ時のスイング速度は20m/s
・一瞬ラケットを当てるだけで60rpsの回転
人の「感覚」を理解する
・人間の反応時間＝約0.5〜0.8s（視覚刺激により前後左右などに移動する場合）⇔プロのラリー時間 は早い時には片道0.2~0.3s
・上級者は一瞬で相手のレベルを把握できる
人の「心」を理解する
・プロのコーチは人に合わせて上手にやる気/能力を引出す「理解」から「共進化」へ© OMRON Corporation All Rights Reserved

43

今後の進化にご期待ください！

次は皆様とラリーできる日を楽しみにしています！

© OMRON Corporation All Rights Reserved

44

ご清聴ありがとうございました

連絡先

京都府木津川市木津川台９－１
けいはんな学研都市

オムロン株式会社 技術・知財本部
組込システム研究開発センタ
八瀬 哲志
Mail：
satoshi_yase@omron.co.jp© OMRON Corporation All Rights Reserved

45