デジタルヒューマン情報学分野

研究・研究テーマ紹介
北海道大学
大学院情報科学院
デジタルヒューマン情報学講座
多田 充徳・宮田 なつき・遠藤 維

産業技術総合研究所 (産総研・AIST)
日本最大の公的研究機関– 経産省管轄の国立研究開発法人– 2300名を超える研究者– ５領域２総合センター• エネルギー・環境• 生命工学• 情報・人間工学• 材料・化学• エレクトロニクス• 製造 • 地質調査
• 計量標準つくばセンター– 全国11箇所の研究拠点• つくばセンター• 臨海副都心センター (お台場)

臨海副都心センター
2情報人間工学領域・人工知能研究センター

デジタルヒューマン研究チーム
メンバー (2021年12月13日現在・35名)– 常勤職員：6名（多田・遠藤）– 客員・協力・招聘研究員：3名– 産総研特別研究員 (ポスドク)：2名– 契約職員 (テクニカルスタッフ)：4名– 技術研修生・RA (大学・大学院生)：20名

ヒストリー– 2001年〜2009年：ラボ・研究センター (金出 武雄 教授)– 2010年〜2014年：工学研究センター (持丸 正明)– 2015年〜2018年：人間情報研究部門のグループ (多田 充徳)– 2018年〜：人工知能研究センターのチーム (多田 充徳)

ミッション– 人間の機能や振る舞いのモデル化とその応用 (2001年以来)
3情報人間工学領域・人工知能研究センター

生活行動モデリング研究チーム

2021年4月発足

メンバー 47名– 常勤職員：5名（宮田）– 客員・協力・招聘研究員：8名– テクニカルスタッフ：17名– ポスドク：1名– 技術研修生：17名 （うちRA 4名）

実生活からのデータ収集と活用を通じた社会課題解決を目指す– AIを活用した児童相談所職員の意思決定支援システム– こども事故データベース，高齢者行動ライ
ブラリなどのデータベースからのリスク要因分析とセーフティデザイン応用– 環境リスク評価を通じた，こどもや保護者の意識・行動変容のための教育システム– …
4

連携講座メンバー
2014

2015

2016

2017

2018

2019

2020

2021

客員教授
客員准教授

客員教授

客員准教授

客員教授
客員准教授修士1年 修士2年
修士1年 修士2年 博士1年 博士2年 博士3年
修士1年 修士2年 博士1年 博士2年
博士1年 博士2年 博士3年
修士1年 修士2年
修士1年 修士2年
修士1年
5論文リスト 1/2
1. 野原 隆樹, 戸田 晴貴, 多田 充徳, 藤田 浩二, “歩行能力と慣性センサで検出可能な杖の動きの関係“, 生体医工学, vol.59, no.1, pp.14-23,2021.
2. 橋元 裕紀, 多田 充徳, 宮田 なつき, 田中 孝之, “足底圧分布を用いた床反力と下肢姿勢の推定“, 第26回ロボティクスシンポジア講演論文集, 6A1, 2021.
3. 橋元 裕紀, 多田 充徳, 宮島 沙織, 田中 孝之, 林 洸, 日比野 真吾, 泉 博之, 島 圭介, 迎田 隆幸, "介助程度判別を考慮した介護作業自動記録のための簡易測定圧センサの設計," 第20回計測自動制御学会システムインテグレーション部門講演会講演予稿集, December, 2019.
4. Saori Miyajima, Yuki Hashimoto, Takayuki Tanaka, Natsuki Miyata, Mitsunori Tada, Masaaki Mochimaru, "Minimal inertial
sensor placement for work recognition and working posture assessment," in Proceedings of the 2019 IEEE/SICE International
Symposium on System Integration, Mo3D.2, 2019.
5. Miyajima Saori, Tanaka Takayuki, Miyata Natsuki, Tada Mitsunori, Mochimaru Masaaki, Izumi Hiroyuki, "Feature selection forwork recognition and working motion measurement," Journal of Robotics and Mechatronics, Vol.30, No.5, pp.706-716, 2018.
6. Miyajima Saori, Miyata Natsuki, Tada Mitsunori, Tanaka Takayuki, Mochimaru Masaaki, "Optimal arrangement of inertial
sensors on a motion measurement suit for on-site working posture assessment," in Proceedings of the 5th International
Digital Human Modeling Symposium, 2017.
7. Miyajima Saori, Miyata Natsuki, Tada Mitsunori, Tanaka Takayuki, Mochimaru Masaaki, "Optimal arrangement of inertial
sensors for workload estimation using digital human model based on body surface deformation analysis," in Proceedings ofthe 7th International Conference on Applied Human Factors and Ergonomics, pp.483-494, 2016.
8. 宮島 沙織, 田中 孝之, 宮田なつき, 多田 充徳, 持丸 正明, "作業負担評価と作業分類自動化のための動作計測用慣性センサ配置検討," 2018年度精密工学会秋季大会学術講演会講演論文集，pp.690-691, 2018.
9. 宮島 沙織, 田中 孝之, 泉 博之, 宮田 なつき, 多田 充徳, 持丸 正明, "作業中における負担感と作業動作の同時計測," 産業保健人間工学会講演論文集, 2017.
10. 宮島 沙織, 田中 孝之, 宮田 なつき, 多田 充徳, 持丸 正明, "実作業負担計測のためのデジタルヒューマンモデルを用いた慣性センサスーツの設計," 第49回測自動制御学会北海道支部学術講演会講演論文集, 2017.
11. 宮島 沙織, 宮田 なつき, 多田 充徳, 田中 孝之, 持丸 正明, "デジタルヒューマンモデルを用いた動作計測用慣性センサの最適配置," 第17回
計測自動制御学会システムインテグレーション部門講演会講演予稿集, 2N2-1, 2016.
12. 宮島 沙織, 宮田 なつき, 多田 充徳, 田中 孝之, 持丸 正明, "デジタルヒューマンモデルを用いた作業負担推定のための体表面形状解析に基づく慣性センサ最適配置," 第21回ロボティクスシンポジア講演論文集, pp.350-355, 2016.

6論文リスト 2/2
13. 宮島 沙織, 田中 孝之, 泉 博之, 宮田 なつき, 多田 充徳, 持丸 正明, "心拍数変動と身体負荷を用いた作業負担推定," 日本人間工学会第57回大会講演集, 2016.
14. Hirosawa Kazuma, Tada Mitsunori, Miyata Natsuki, Kanai Satoshi, Hiroaki Date, "Development of fast posturechange method for FE-model of the human body based on mesh deformation," in Proceedings of the 2018 Asian
Conference on Design and Digital Engineering, PaperID̲27, 2018.
15. 廣澤 憲麻, 多田 充徳, 宮田 なつき, 金井 理, 伊達 宏昭, "メッシュ変形に基づく人体有限要素モデルの高速姿勢変更手法の開発(第三報) -メッシュ品質改善の導入および物体把持接触応力解析への応用-," 2018年度精密工学会春季大会学術講演会講演論文集,
pp.575-576, 2018.
16. 廣澤 憲麻, 多田 充徳, 宮田 なつき, 金井 理, 伊達 宏昭, "メッシュ変形に基づく人体有限要素モデルの高速姿勢変更手法の開発(第二報) -接触応力解析結果の比較による提案手法の有用性検証-," 2017年度精密工学会北海道支部学術講演会講演論文集, 2017.
17. 廣澤 憲麻, 多田 充徳, 宮田 なつき, 金井 理, 伊達 宏昭, "メッシュ変形に基づく人体有限要素モデルの高速姿勢変更手法 -SSDとMVCを用いた人体四面体メッシュの変形-," 2017年度精密工学会春季大会学術講演会講演論文集, pp.617-618, 2017.
18. 廣澤 憲麻, 多田 充徳, 宮田 なつき, 金井 理, 伊達 宏昭, "メッシュ変形に基づく人体有限要素モデルの高速姿勢変更手法の開発 提案手法による手モデルの姿勢変更とその接触応力解析結果の考察-," 2017年度精密工学会北海道支部学術講演会講演論文集,
pp.19-20, 2017.
19. 久澤 大輝, 金井 理, 伊達 宏昭, 多田 充徳, 宮田 なつき, 遠藤 維, "RGB-Dカメラを用いたデジタルヒューマンモデルに対するインタラクティブ教示システム（第３報）-最適化手法に基づく製品モデルに対する姿勢フィット-," 2015年度精密工学会春季大会
学術講演会講演論文集, 2016.
20. 久澤 大輝, 金井 理, 伊達 宏昭, 多田 充徳, 宮田 なつき, 遠藤 維, "RGB-Dカメラを用いたデジタルヒューマンモデルに対するインタラクティブ教示システム（第２報）-製品モデルに対する物理シミュレーションに基づく姿勢フィット手法-," 2015年度精密工学会北海道支部学術講演会講演論文集, pp.23-24, 2015.
21. 久澤 大輝, 多田 充徳, 宮田 なつき, 遠藤 維, 金井 理, 伊達 宏昭, "RGB-Dカメラを用いたデジタルヒューマンモデルに対するインタラクティブ教示システム（第一報）-距離場と物理シミュレーションを用いた製品モデルに対する姿勢フィット手法-," 2015年度精密工学会春季大会学術講演会講演論文集, pp.469-470, 2015.
22. 久澤 大輝, 金井 理, 伊達 宏昭, 多田 充徳, 宮田 なつき, 遠藤 維, "デプスカメラを用いたデジタルヒューマンモデルの実時間教示
システム," 2014年度精密工学会北海道支部学術講演会講演論文集, pp.61-62, 2014.

7

デジタルツインとCPS(Cyber-Physical System)
情報空間に再現された物理空間の複製 (双子)– IoTデバイスを用いた計測による現況再現– デジタルツインを用いた解析による未来予測– メンテナンスなどの介入による運用効率の向上

変容

サイバーフィジカルシステムの基盤技術

介入

物理空間

双方向リアルタイム
全体最適解析

変容

計測情報空間8

人のデジタルツイン
身体運動のような粒度が細かい情報のデジタルツイン– 生活：健康の増進・QoLの向上– 仕事：QoWの向上・人とロボットの協調– スポーツ：運動パフォーマンスの最大化– リハビリ：効果の見える化による意欲向上

健康寿命の延伸
社会参加の促進

介入

物理空間

双方向
リアルタイム
全体最適解析

変容

計測

情報空間
9

情報インフラの充実
情報端末

IoT・RTデバイス– センシング– センシング• 温度・加速度・角速度• カメラ・マイクロフォン– コンピューテーション• 64bit・GHz・GB• 速度重視（コンピュータ）• 温度・加速度・角速度• 圧力・曲げ… (その他任意)– コンピューテーション• 8から32bit・MHz・MB• 省電力重視（組み込み）– コミュニケーション– コミュニケーション• WiFi・Bluetooth• I2C・SPI…
• LTE• WiFi・Bluetooth• I2C・SPI…
• ZigBee– アクチュエーション• 電動アシスト
10IoT・RTデバイスを搭載した製品
スマートシューズ

スマートウォーカー

– モーションセンサ (動き)– ハンドルセンサ (力)– モーションセンサ (動き)– GPS (位置)– アシストデバイスhttps://orphe.shoes

https://www.rtworks.co.jp
11デジタルヒューマンモデル
機能の再現– 幾何学モデル：表皮形状、内臓ボリューム構造– 運動学モデル：関節・リンク構造– 力学モデル：筋骨格、力学特性（質量・重心など）

多様性の再現– 個人別モデル/代表モデル– 年齢(成人/子ども/乳児)/性別/地域

人体部位の再現– 全身/頭部/手部

12

Dhaiba：産総研発デジタルヒューマンモデル

13

研究アプローチ

14

15

デジタルヒューマンモデル構築技術
力学解析向け個別人体相同モデルの開発– 体型計測、ボリュームモデル構築、力学特性の同定など
A1 個人別表皮相同モデルの生成

A3 個人別人体ボリュームモデルの生成

B 個人別人体力
学特性の同定C 筋活性度に基づく力知覚量推定

力の知覚

運動
指令

ボディスキャナ
A2 CT画像から人体ボリュームモデル
構築
標準動作

CT画像

力知覚モデル
16

製品デザインのための身体機能解析
モーションキャプチャ

計測変容解析

DHモデル

介入

身体適合性向上

エルゴノミック
製品デザイン17

解析からリアルタイムインタラクションへ
IoTセンサウェアラブルセンサ

計測

変容

解析
インタラクション

介入

QoL・QoW向上

DHモデル
人工知能

感覚・情報提示
ロボット技術18

計測：ウェアラブルセンサと全身モデル

VICON

XSENS

19

計測：IoTセンサと手モデル
接触拘束＋距離拘束＋身体拘束20

解析：歩行特徴の計算

21

解析：把握頻度の可視化
アッパーキャビネット

キッチンカウンター

22

介入：より良いグリップの教示
安定する握り姿勢の教示

23ro
1. l00
1.
05
1.
10
1.
15

nt

Co

Walking speed [/s]1.1

ro1. l00
1.
05
1.
10
1.
15

Co
nt

Walking speed [/s]コンスタントテンポ

音による歩行速度への介入

アダプティブテンポ

介入：感覚提示による行動変容
歩行スピード

1

0.9

0.8

1.1
1
*
**
**
**

0.90.824

介入：人工筋肉による行動変容
アシストなし遅延100msec・駆動100msec
遅延100msec・駆動300msec
遅延300msec・駆動300msec

遅延・駆動時間とアシスト効果
60

アシストなし角度 [deg.]

453015量度
角度

変化

角展
伸大
最

最

遅延100msec・駆動300msec

大屈

曲

角度

025

テーマ：インタラクションのための再現技術
考え、行動するデジタルヒューマ
ンの実現– 多様な環境や状況・目的に即して、模擬可能な知覚入力に応じて行動する人体モデルを生成する• 公衆環境（駅）、住環境（リビング）、就労環境（工場、オフィス）想定される研究テーマ– 人間中心のコンピュテーショナル・デザイン• 環境や行動にもとづく制約条件下で、製品のバリエーション、パラメータ、配置等を、人間工学の知見から最適化させる
26

テーマ：デジタルツインを活用した人・機械協調
複雑な作業が得意(空箱の撤去など)
疲労の蓄積あり

MoCap

LED

作業者

エルゴノミクス性評価

デジタルヒューマン
動的スケジューラ
作業進捗の把握・予測
身体負荷の低減
生産性の維持・向上
作業計画の更新

物理空間
ロボット
複雑な作業が苦手(ピッキングに専念)
疲労の蓄積なし

情報空間
ロボットモデルドライバ

モーションプランニングセンサ
27

テーマ：CPS棟における検証実験
空箱の発生に伴う作業計画の変更– 空箱の検出• LEDの点滅で空箱の発生を可視化– 作業計画の更新• 空箱の取り替えを作業者にアサイン• 作業負担が高いパーツをロボットにアサイン

28

研究サポート体制
産業技術総合研究所– 宮田 なつき• 手指の形状と運動計測– 多田 充徳• 計測・介入のためのデバイス– 遠藤 維• 身体の形状計測と統計分析• プラットフォームソフトウェア

外部連携機関– 大学 (医学部)• 慶大・広大・医科歯科大など– 公的機関• 福祉のまちづくり研究所など
29

技術研修＠臨海副都心センター
実施時期– 夏季休暇などを利用した短期滞在

実施内容– 模擬環境の活用– 計測技術の研究– 介入技術の研究30

研究設備：インタラクティブルーム

31

新運動場 (14m x 7m)
マルチモーダル– 光学式計測装置 (OptiTrack)• 400万画素カメラ x 24台– 慣性式計測装置 (XSens)– 足底圧センサ (Moticon)• 日本人の±2σを包含する5サイズ– 床反力センサ (Bertec)• 600mm x 400mm x 6枚 ➡︎ 10枚– デプスセンサ (Azure Kinect)

リアルタイム– 逆運動学・動力学演算

オートマチック– 後処理・DB構築の自動化
32

研究設備：サイバーフィジカルシステム研究棟
本館・別館隣機械加工組立工場– 4つの模擬環境– 組立エリア• 機械加工組立工場• 小規模半導体製造工場• 小規模店舗 (コンビニ)• バイオラボ• 作業者とロボットの共存• 作業者とロボットの協調– 機械加工エリア• つながる工場

33

デジタルヒューマンからデジタルツインへ
生活空間

計測

情報空間

IoT x DHAI x DH変容

解析

デジタルツイン
ネットワークインタラクション

介入
多様な行動・認知様式

RT x DH

行動・認知様式のモデル= 生活者のデジタルツイン34デジタルヒューマンを社会に組み込もう！

デジタルヒューマンワークショップ
35