最終講義
わたしの「コミュニケーション支援の研究」
名古屋大学
大学院 情報学研究科
間瀬健二

あらまし
1. 出自
2. NTT研究所時代
3. ATR研究室長時代
4. 名大教授時代
5. 付録
i. CREST研究総括
ii. 学会活動
iii. 研究室の愉しみ（旅行，BBQ，スキー合宿）
2022/3/17

2出自から••

１９５６年生まれ ダートマス会議の年（だったらしい）– 愛知県知多郡東浦町出身，魚七商店の二男
住所の変遷– 東浦町ー名古屋市ー横浜市ーボストンー横浜市ー枚方市ー名古屋市（計９回引っ越し）

現自宅：緑区ほら貝

出身：東浦町

間瀬といえば
半田市亀崎町

2022/3/17

3©Google魚屋の息子（次男）

父芳和
私か兄か？

1973年頃の店先
2022/3/17

中川醸造
刈谷高校
裏手の母の在所
4https://www.nakagawa-tamari.com/about.html
2022.4.4

いつまでたっても魚屋の息子正月のおせちの注文の手伝い(2001/12/31）＜おせち：新鮮なネタを活かして、さらに美味しそうに並べる技術＞
2022/3/17

5

ボーイスカウト（小2から大学生）

フリスビー直輸入

台風一過，泥だらけのキャンプ生活

習ったことØ ロープ結びØ キャンピングØ コミュニケーション
Ø リーダシップ，仲間作りØ Look Wide
Ø 楽しく遊ぶこと
世界ジャンボリー（1971.8、中３）＠朝霧高原
ü 初めての国際舞台
ü 台風に見舞われ一時お寺へ避難
ü US隊の装備の豊かさを体感
62022/3/17

ラジコンに夢中(小３－高２)「ラジコンは生涯の趣味」と高１の担任に宣言したが、、、– ボート（モーター〜エンジン）– 飛行機• 図面引いてバルサ材から切り出す• 作るのは楽しいが，壊すのは瞬間• 資金難
設計から全部自作のエンジンボート
愛知県の大会で４位入賞
ヒノデ２７ＭＣボタン打ち送信機→フタバのプロポを購入

元ガレージを工作室にして自分のお城

2022/3/17

7

高校〜大学
名古屋大学入学（1975)

フォークソング、ロックにはまる高校時代
豆腐がならぶ殺風景なキャンパスも豊かな緑に

熟年はゴスペル2022/3/17

8

In the lab
稲垣先生 故鳥脇先生 故福村先生
福村晃夫先生 瑞宝中綬章受賞と傘寿をお祝いする会にて
工学部電気3学科1979卒業記念アルバム

本多・福村研究室 鳥脇G

1日つづくパターン（PR）Gディスカッション

鳥脇語録「論文までまとめないと成果にはならない」[研究業績]
・研究会2件，全国大会２件
・信学論（卒業後）１件（お叱り）「研究はチームでやっているんだ」
2022/3/17「こんなこと（長期旅行）は，学部のうちにやっとくもんだ」

間瀬健二, 鳥脇純一郎, 福村晃夫, "拡張されたディジタル
ボロノイ線図と その画像処理への応用",信学論,J64-D,
no.11, pp1029-1036, Nov. 1981.
9In the wild• アウトドア派– ユースホステル巡り– テニス– ディンギー（通研ヨット部）– スキー– キャンプ– BBQ– 庭いじり福村研スキーツアー（幹事）

10
2022/3/17

NTT末永Gスキーツアー（幹事）

通研ヨット部（葉山沖）経歴

１９５６年⽣ （６５歳）
１９７５年 愛知県⽴刈⾕⾼校卒
１９７９年 名古屋⼤学⼯学部卒
１９８１年 名古屋⼤学⼯学研究科修⼠了
⽇本電信電話公社⼊社 事業部配属希望→横須賀電気通信研究所画像応⽤研究室配属→ＮＴＴヒューマンインタフェース研究所
１９８８年 ⽶国ＭＩＴメディア研究所（１年間）
１９９２年 博⼠号（⼯学）取得 （名古屋⼤学）
１９９５年 ㈱国際電気通信基礎技術研究所（ATR,京都）
２００２年 名古屋⼤学 情報連携基盤センター教授
２００９年 情報科学研究科
２０１７年 情報学研究科・情報学部、共⽣インタラクションCREST開始
２０２２年 定年退職
２０２５年 CREST総括終わり
2022/3/17

11

My Academic History(1975-2022〜)

Visiting Researcher
MIT Media Lab (1988-1989)
MA, USA (A.Pentland Lab.)
Ph.D. (Nagoya U.)(1992)NTT R&D HQ
Hibiyahttps://news.mit.edu/2010/media-lab-0304 2022.4.4(1992-1994)
ATR, Kyoto (19952002)

https://www.ntt-labs.jp/three/service-labo.html
2022.4.4

NTT Labs,Kanagawa (1981-1995)

https://www.sansokan.jp/tyousa/archive/jigyou/event/keihannaH18.12.5.html
2022.4.4

http://www.is.nagoya-u.ac.jp/ 2022.4.4

Graduated mastercourse (1981)

Return to Info.Tech Center(2002)
GS of Information Sciece(2009)
Nagoya University

2022/3/17

GS of Informatics (2017)12メタバースを描いた？(1985)-NTT通研 主任訓練にて、コミュニケーション支援研究 事始め１９８５．５．１７（NTT４年目）

2022/3/17

セ13

頭部動作の認識(1987)

初めてのI/F研究・トライ/エラーの繰り返し→→未熟だった[SMC1987][SPIE 1990]
2022/3/17

14• MITメディアラボ(1988-1989)– 一心不乱な研究者像– 自由な発想– Demo or Die– Lip Readingの研究 （Symbolics)– 国際コミュニティの重要さ– Star Trek TNGに夢中（VR前夜）

Alex(Sandy) Pentland教授宅2022/3/17

ML 日本人コミュニティでの昼食会

15

ボストンレポート by杉山知之

表情認識の研究（mase1991）
オプティカルフロー＋FACS/機械学習

Horn著

https://www.
amazon.co.jp/ロボットビ
ジョン―機械
は世界をどう視るかBertholdKla
usPaulHorn/dp/425
42006
2022.4.4

K Mase, Recognition of facial expression from optical flow, IEICE
TRANSACTIONS on Information and Systems 74 (10), 3474-3483. 1991
(G. Scholar ref. 715)
2022/3/17

16

指手ジェスチャ認識（Fukumoto-Mase CHI92)
マルチモーダル[画像処理（手）＋音声認識］

2022/3/17

Ref. Put-that-there [Bolt]
17

D論を書く日々(1989-92年、33-36歳頃）
研究ブースにてPersonal / Perceptual User Interfaceの研究(1981-1995 @ NTT)

間瀬1990【環境知能、PUI】

2022/3/17

18

"動画像処理を用いた新しいマンマシンインタフェースの研究"
博士論文(1992 - 6)

やさしさに包まれたならきっと、目に映るすべてのことはメッセージ（荒井由実）

人の動きや行動から何等かの意味のある情報を引き出すには、「やさしさに包む」必要がある？
2022/3/17
19

D論書いたら雑巾がけ• 研究開発本部横 技術交流部門（‘９１−９２）– 日比谷へ痛勤– ベル研、Bellcore、FT、BT等との連携• 幹部交流会の設定とアテンド• 滞在者との連絡、日々の情報交換– 共同研究支援• 幹部交流– 基礎研幹部のCNRS訪問帯同» 美味しいワインとチーズ• 契約支援2022/3/17– 村瀬教授のコロンビア大学派遣契約など

20

震災直後のATR（京阪奈）へ（1995.2）• PUIから対話支援に– AIDE [西本、角]– VISTA-Walk [門林]– C-MAPエージェント [角]VR遺跡のジェスチャwalk-through2022/3/17

21

コミュニケーション支援とアート＆テクノロジー
Interval Script［C.S. Pinhanez,
CHI97,情処論98]

Iamascope [Sidney Fels,C&G99,IEEE MM98]（インタラクティブ万華鏡）
・SIGGRAPH97
Sensor Doll [米澤, ・Ars Electronicaセンター展示
Clarkson,・London Millennium ・国内ドサ回り
CHI 2002LB]
Wearable Instrument [西本]With Max Matthews

2022/3/1722
https://youtu.be/wdZEbE8PDs8

体験共有メディア(2000-2005，ATR)l 基本アイデア••••

2002-2005はメディア情報科学研
客員研究室長

1，2，3⼈称視点での全員による映像⾳声⽂脈の体験記録
全員記録から個⼈記憶の編集
コンテンツ接地の⽂脈（コンテキスト，画像＋タグ）
⾚外タグによる位置＋ID推定↓

間瀬 健二, 萩田 紀博, 角 康之, 小暮 潔, 片桐 恭弘,
伊藤 禎宣, 岩澤 昭一郎, 鳥山 朋二, 土川 仁: "インタラクションに基づく体験共有コミュニケーション", 情報処理学会CVIM論文誌, Vol.48, No.
SIG1(CVIM17), pp.53-64, 2007-02.【間瀬他、情処CVIM論2007】[Lee, IEEE Pervasive 2002][Ito, ISWC 2005][Mase, IEEE MM 2006][Sumi, PUC 2006] 他
2022/3/17

23

ユビキタス＆ウエアラブル
多視点マルチモーダル体験記録
COLLECTIVE EXPERIENCE SHARING

•
•••••

多視点，一人称視点
マルチモーダルI/F
要約，コーチング
コーパス
IoT,Ubi,Wearable
Augmentation（拡張）16 presenters
63 visitors
340GB
380,000 interactions
Nov. 2002
ATR Open House

2022/3/17

24

多視点体験記録を要約

2022/3/17

25

People of MIC (知能映像通信研）
Sidney Fels

SW.LeeC. Pinhanes

B.
Clarkson

秘書：本庄さん2022/3/17

社長秘書：伊藤さん

26【Sidney Fels氏】 https://www.interaction-design.org/literature/author/sidney-fels 2022.4.4【 SW. Lee氏】 https://www.researchgate.net/profile/Seon-Woo-Lee-5 2022.4.4

楽園だった? ATR• 優秀な研究室員とpublicationに感謝• 株式会社研究所は自由！（当時）– 自発的な研究は尊い– 出資者への説明責任と権限のもと– 理解してくれる上司は大事• 上司が説明しやすい材料を用意• 中津所長（知能研），萩田所長（メディア研）に感謝• 発想はディスカッションから– 論文を書いているときもアイデアは溢れる
https://www.amazon.co.jp/エージェント工学―Text-西田-豊明/dp/4274132471 2022.4.4

2022/3/17

27

そして名古屋大学へ

2022/3/17

28

コミュニケーション支援研究41年
1981NTT

1988 MIT後

1995ATR

2002名大基盤セ 2009情報科学 2017情報学 2022

表情・ジェスチャ認識
表情・D論

高齢者表情

ジェスチャ応用

ユビキタス体験共有 発想支援

技能の記録・
分析・
伝達ガイド 要約 医療面接

多視点映像

1人称視点
100眼

自由視点の記録・
分析・
推薦

医療応用
Smart Textile
教育情報基盤2022/3/17

褥瘡予防 介護教育
マルチタスク訓練

医師患者対話分析

圧力シーツ 車椅子

寝姿勢推定

ユビキタス教育
NUCT

名大ID29

マルチモーダル医師患者対話分析[情処論2010，PUC2010，基盤B]• 名古屋大学医学部 医療面接セミナー（OSCE）• 模擬面接– 医学生（D）＋模擬患者（P）– 約10分間，10件• 模擬患者– シナリオに沿って患者役を演技• 目的：面接振り返り、技能チェック– 映像，音声インタラクション書き起こし– 対話構造（インタラクション）の可視化– マルチモーダル・インタラクション・マイニング• 自身初の医工連携
澤本祐一, 神山祐一, 平野靖, 梶田将司, 間瀬健二, 鈴木富雄, 勝山貴美子, 山内一信, "モチーフ抽出によるマルチモーダルインタラクション解釈手法の提案と医師-患者対話要約への応用", 情報処理学会論文誌, vol. 51,no. 2, pp.1-12, (2010.2).
Yuichi Koyama, Yuichi Sawamoto, Yasushi Hirano, Shoji Kajita, Kenji Mase, Tomio Suzuki, Kimiko
2022/3/17
30
Katsuyama, Kazunobu Yamauchi, "A multi-modal dialogue analysis method for medical interviews basedon design of interaction corpus", Personal and Ubiquitous Computing, Vol. 14, No. 8, pp. 767–778, 2010.

多視点フィールド実験(21世紀COE-SCOPE-NICT…)著作権の都合により画像を削除しました

2022/3/17

著作権の都合により画像を削除しました31スポーツコーチング／視聴⽀援(2005-2015@名⼤)

多視点撮影技術• 多視点（⾃由視点）映像⽣成 [Fujii,ICME2006]• 多視点映像の視聴⽀援（⾃動編集）[Wang, IEEE MM2015]• コーチング⽀援– コーチの視線配布分析[Iwatsuki,ASVAI2013]20191817161514131211109876543210100200300

400500600700

時刻 [1/30s]

視聴履歴を機械学習して個性・興味に合致したカメラワークで提示→エキスパートは，ボールが味方ゴール付
近でも（かえって）ボールを見ない
2022/3/1732

データ駆動による技能のモデル化(2010- @名⼤)• 技能者の動作解析と伝承(デンソー技研)• 技能者の視線分析
Ø サッカーコーチの視線分析
Ø 水彩描画者の視線分析

33
2022/3/17

スマート織物を使った⽣体⾏動センシングと介護・リハビリ⽀援 (2010- )• IoT，ウェアラブル／ユビキタス，可視化• 見守り，介護支援，リハビリ支援，介護・看護教育• スキル伝承，熟達の技抽出

平ニ重織で圧⼒センサ

COPD診断・スポーツリハビリ

最密ピッチ1cm

デバイス開発信号処理
パターン認識実証実験
遠隔ログ記録2022/3/17[Ubicomp2013,Ubicomp2014,
ACJANS2014][CIMTEC2012,MHS2013
Ubicomp2013]

あいち知の拠点
研究プロジェクト
・（株）槌屋・尾張繊維技術センター
・愛知県大看護学部
・名市大看護学部
・名大医学部
・中京大学
・デンソー技研ほか

褥瘡予防・介護教育

Smart Textile

歩行分析・体重移動解析

スマート車椅子褥瘡予防・姿勢改善・転倒防止
34[Ubicomp2013]高齢者のe-コーチング(2013-2022）©︎JST（2022.3.29）• マルチタスク認知モデル研究– マルチタスクトレーニングで心身（環境認知＋身体操作）機能の維持向上（JST COIモビリティ拠点，共同研究：パナソニック（株））– 日常生活の安全モビリティ向上– E-コーチ搭載の歩行支援ロボット• コーチング課題
マルチタスクトレーニングを助ける新しいメディアの構築・便益・理論– 利用者：ユーザビリティ，訓練効果• コーチAgentによる情報可視化• 動機付け（励まし、ゲーム性）• 健康長寿力の尺度– 笑顔模倣〜情動伝染• 高齢者表情認識
2022/3/17

2018グッドデザイン賞受賞
35
パナソニック（株）

⼼⾝マルチタスクトレーニング

平均79歳１ヶ⽉間介⼊実験[2017-2019，計３６名]
複雑なルートを歩行

実験環境

2022/3/17
80代前半男性

マーク出現時にボタンを押す

歩行中の認知トレーニング

80代前半女性

70代後半女性

36

2017-2018年度介入実験（n=36,平均年齢約79歳）
認知能⼒

⾝体能⼒

• TOVAが有意に向上• 握⼒が有意に向上• TSが有意に向上

Test of Variablesof A/en1on△自己効力感減少←情動への働きかけ(TOVA)

https://static-content.springer.com/
esm/art%3A10.1038%2Fnature12486/
MediaObjects/41586_2013_BFnature12486_MOESM53_ESM.pdf 2022.4.4

nTOVA200

https://www.kurassist.jp/anshin/anshin53-1.html 2022.4.4

Two-Step Test

150

40.4

30.3

2100
500

10-1-2-50

2022/3/17-100TS

握⼒

0.2
0.1
0-0.1

-3-0.2-4-0.3

課題の心身マルチ化により，特定の機能についてトレーニング効果が現れた．

37

コミュニケーション支援研究41+α年
1981NTT

1988 MIT後

1995ATR

2002名大基盤セ 2009情報科学 2017情報学

2022退職

表情・ジェスチャ認識
表情・D論

高齢者表情

ジェスチャ応用

体験共有・マルチモーダル 発想支援

技能の記録・
分析・
伝達

ガイド 要約 医療面接

MMI分野牽引に一役

1人称視点

多視点映像
多視点観察から主観視点（個人化・多様性・主体性）

100眼

自由視
点の記録・分析・
推薦

匠の技

性被害撲滅

医療応用
鳥脇研出身として医師患者
対話分析

Smart Textile
１からデバイス開発の苦労

教育情報基盤
数理・データ科学教育研究センター
2022/3/17

開缶感性褥瘡予防 介護教育
マルチタスク訓練

圧力シーツ 車椅子

寝姿勢
推定

NUCT 名大ID

間瀬 健二,平山 高嗣,森田 純哉,榎堀 優, “個人ライフログを用いたe-コーチング技術”,情報処理学会論文誌教育とコンピュータ（TCE） vol.5, no.2, 2019.

E-コーチング38

謝辞•名古屋大学（学生時代）–•NTT時代–•NTT CS研，豊田中研，トヨタ自動車，リコー，中京テレビ，シャープ，京大，阪大，中京大，愛知県大，名市大，デンソー技研，尾張繊維技術センター，パナソニック，槌屋，日進医療器，開化堂，川﨑重工，なごみの関係者各位

研究プロジェクト
–•稲垣先生，鳥脇先生，阿草先生，末永先生，渡邊先生，基盤センター，研究科の先生方
梶田将司，美濃導彦，竹村治雄，平野靖， Zhiwen Yu，上田真由美，勝山貴美子，小尻智子，神山祐一，藤井俊彰，目加田慶人，武田一哉，森健策，平山高嗣，川本哲也，東海彰吾，丸谷宜史，斎藤英雄，榎堀優，森田純哉，吉田直人，
米澤朋子，Mehrdad Tehrani，Albert Ali Sarah, Seon-Woo Lee，長江美代子，間瀬研学生諸君，川村さん，阿部さん，他

共同研究先
–

•

中津良平，萩田紀博，角康之，門林理恵子，西本一志，片桐恭弘，Seon-Woo Lee，Sidney Fels，米澤朋子，伊能禎則，坂本竜基，角薫，Brian Clarkson，Claudio Pinhanez，本庄さん，伊藤さん，他

名古屋大学（教員時代）––•

Alex (Sandy) Pentland, Matthew Turk，日本人コミュニティの面々

ATR時代
–

•

末永康仁，石井健一郎，安田浩，岸本登美夫，三ツ矢英治，上田修功，志沢雅彦，渡部保日児，福本雅朗，秋本高明，56
同期他

MIT–

•

福村先生，鳥脇先生，稲垣先生，吉田先生，坂部先生，長谷川先生，山下先生，杉野先生，伊藤さん

文科省，NICT, SCOPE，知の拠点，栢森情報科学振興財団，CREST, COI，RISTEX，JSPS，科学技術交流財団の関係
者

学会関係者
–

電子情報通信学会（MVE，HCG），人工知能学会，情報処理学会（HI，CG，東海支部），IEEE名古屋支部，FG，ISWC，ICMI，Ubicomp，Pervasiveほか

2022/3/1739

コミュニケーション支援とは？
(computer mediated/augmented communication)– Human Augmentation （人間拡張）＝外在化• 様々な道具の発明：記憶，計算，通信，検索，要約• コミュニケーション（非言語，言語，コンテンツ，情動）• 身体，著作，創造性，自己，脳，生命？
【今後】外在化により機能の切り離しが進む» 再編集が可能になる» 数々の制約を超えて：時間，空間，身体，人格» 自分の機能を他者に委譲する» エージェント，アバターによるフル拡張» 模倣される，改竄される，盗まれるリスク
2022/3/1740

付録

2022/3/1741

©︎JST（2022.3.29）©︎JST（2022.3.29）©︎JST（2022.3.29）

JST CREST 共生インタラクション研究領域（２０１７−２０２4年度）

領域総括を引き受けることに．．．

全16チーム集結の第４回領域会議（2019/9、メルパルク東京）

共⽣インタラクション研究領域

2022/3/17

16課題ポートフォリオ

43

狙いとするテーマと目指した成果
⼈間と情報環境の共⽣インタラクション基盤技術の創出と展開

Engineering, Science and Social Design for Innovation• 先進AI技術を背景とした革新的なCHI・人間拡張・環境知能技術– ガジェット発案にとどまらないコンセプト・骨太の研究• 心の状態（状況理解、判断、感情、情動）を想定したインタラクションのモデ
ル化– 認知科学、心理学、脳科学、社会科学と連携するチーム• インタラクションから知りうる「人と社会」– 個性・人格の推測、信頼感・共感の構築– 相互理解、共同作業による社会的課題解決
2022/3/1744

学会活動（抜粋）
••
•
•
•
•
•
•
•
•

情処インタラクション（1999，2000プログラム委員長，2001副実行委員長）
ICFGAR(Face and Gesture 国際会議，1998 Nara，2004 PC Chair）
ISWC（ウェアラブルコンピュータ国際会議，2005 Osaka PC Chair）
ICMI(マルチモーダルインタフェース，2005 PC Chair, 2007 Nagoya General Chair)
人工知能学会理事（2009-2011)
人工知能学会全国大会PC委員長（2011，盛岡）
IEEE名古屋支部長（2013-2014)
Ubicomp/ISWC（2015 Osaka, General Chair)
情報処理学会東海支部長（2020）
電子情報通信学会HCグループ（2020副委員長，2021委員長）

2022/3/17

45

Face & Gesture 1998
(奈良公会堂，Program Chair)2022/3/17

46

ISWC ’05（大阪，Prog.Chair)
IEEE International Symposium on Wearable Computers

2022/3/17

47

ICMI 2007 (名古屋能楽堂，Gen．Chair)
ACM International Conf. on Multimodal Interaction

2022/3/17

48

49

Ubicomp+ISWC 2015
(大阪，Gen. Chair)2022/3/17

研究室旅行・スキー合宿・追いコン
200４高山（第一回）

2007河口湖

スキー合宿

2009北京200７年度 卒業式・追いコン セレモニー

2022/3/17

2004年度 一期生修士追い出し50間瀬家BBQ

2022/3/1751

間瀬研を創り上げてくれた学生，卒業生，スタッフの皆さん，ありがとう．

還暦パーティ(2016.3)

研究の自発的な目覚ましい成果（2019.4）
2022/3/1752

最後に：未曾有の時代に生きる皆さんへ• 学生諸君へ– 教育を受けられることは得がたい特権・機会• 研究者の方々へ– 研究の機会が与えられていることもかけがえがない– ビジョンを持ちましょう– 情報技術＋情報科学＋未来社会デザイン（情報学）の時代＋他学理との連携••「明日のための心配は無用です．明日のことは明日が心配します．労苦はその日その日に，十分あります．」「私の目には，あなたは高価で尊い．」

2022/3/17

53

学生時代の先生・先輩・同窓生，NTTの上司，同期，ATRの上司，部下の研究員，名大の研究室メンバ，OB，先生方，共同研究先の皆様，学会，学界のお世話になった方々，秘書・事務の方々，ご支援ありがとうございました．
お世話になりました！
困難な時代ですが，益々お元気で，ご活躍下さい．
家族も，支えてくれてありがとう．
2022/3/1754

Twist and Shout
Ubicomp band (Seattle EMP, 2014)- pre-Ubicomp 2015 event -2022/3/1755