    

 

th

  Creativity and Technology
Design for an Unknown Future

6 3 thu 4 fri

On the Web

3日12 : 00より公開

NTT京阪奈ビルでの現地開催は行わず、特設ウェブサイトにて最新の研究成果を公開いたします。

http://www.kecl.ntt.co.jp/openhouse/2021/

ごあいさつ

創立30周年「オープンハウス2 0 2 1」へようこそ

NT T コミュニケーション科 学基 礎 研究 所
所長

山田

武士

NT Tコミュニケーション科 学基 礎 研究 所は19 91年7月4日に、ここ、けいはんな学
研 都市に創立しました。
当初から、コミュニケーションの本質とは 、単に情 報を正確かつ効 率良く伝 達 することにとどまらず、お互いの 理 解を深 め、意 図や感 動を共 有し、心 のふ れ あいを実 現すること、との理 念のもと、時 代を先取りすべく基 礎 研究に取り組んで 参りました。
まもなく当研 究 所 が 創立 3 0 周年を 迎 えることが できるのも、ひとえに皆 様 のご 理
解と温かいご 支援によるものと、ここに厚く御 礼申し上げます。
新 型コロナウイルス感 染 症 対 策のため、昨年に引き続きオンラインで の開催となる「オープンハウス2021」では 、人 工 知能（ AI）やメディア処 理から人間の錯 覚や脳科学まで、最 新 の 研 究 成 果 を、講 演 動 画・ポスター・デモコンテンツ等を 通じて、内 容を身近に感じていただけるよう、わかりやすくご 紹介いたします。
不 確 実 な時 代 だからこそ、当 研 究 所 が 提 案 する未 来 へ の 手応えを、オンラインであっても間近に、オンラインだからこそどこからでも気 軽に、実感していただければ幸いです。

01 ｜ オープンハウス2021

目次

ごあいさつ・ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 1
スケジュール●創立30周年にあたって／●講演・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 3

所長講演離れていてもこころは君のそばにある ～こころ豊かな社会を創るコミュニケーションの本質探求～・ ・・・・・・・・・・・・・ 5

招待講演
遠隔時代の身体・ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 7

研究講演
聞きたい人の声に耳を傾けるAI ～深層学習に基づく音声の選択的聴取技術SpeakerBeam～・ ・・・・・・・・・・・・・・・・・ 9
まなざしに宿る運動の巧みさ ～運動スキルを支える視線と腕の結びつき～・ ・・・・・・・・・・・・・・・・・・・・・・・・・ 11
機械が会話のパートナーになる日 ～大規模深層学習で拓く雑談対話システムの新境地～・・・・・・・・・・・・・・・・・・・ 13

研究展示・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 15
データと学習の科学
いろんなデータから学習法自体を学習します    特徴量が異なるタスク群からのメタ学習・ ・・・・・・・・・・・・ 17
02 みんなにとって公平な決め方、教えます    因果関係に基づく一人一人にとって公平な分類器の学習・ ・・・・・・・・・ 18
01

ネットワーク構造に関する様々な質問に答えます    ゼロサプレス型項分岐決定グラフを用いたグラフ構造索引・ ・・・・ 19
04 寄せ集めで不揃いなデータでも学習できます    未知ドメイン・未知クラスへの自己教師あり適応学習・・・・・・・・・ 20
03

つながり関係からグループを見つける    無限の柔軟度を持つ関係データモデル・ ・・・・・・・・・・・・・・・・・ 21
06 データから高速かつ正確に特徴を見つけます    グループ正則化付き特徴選択の高速化・・・・・・・・・・・・・・・ 22
05
07

データを漏洩させない機械学習    革新的な非同期分散型学習アルゴリズムと医療画像への応用・ ・・・・・・・・・・・ 23

08

街における感染リスクを可視化します    匿名センサ情報に基づく人流推定手法・ ・・・・・・・・・・・・・・・・・ 24

コミュニケーションと計算の科学
10

欲張りが提供する量子クラウドはちゃんと動く    経済合理性に従うクラウド量子計算サーバは信頼できる・ ・・・・・・ 25
文章の隠れた構造を見える化します    疑似正解データを活用したニューラル修辞構造解析・・・・・・・・・・・・・・ 26

11

専門家が二人一役で話します    話者融合による専門性の統合と学び合い・ ・・・・・・・・・・・・・・・・・・・・ 27

09

人から人への信頼を橋渡しするチャットボット    ユーザの悩みを専門家に届けるチャットボットの設計と評価・・・・・・ 28
13 楽しくおしゃべりできる対話システムの作り方    大規模深層学習に基づく雑談対話システムの構築と課題分析・ ・・・・・ 29

12

メディアの科学
15

光の位相で微弱な音を捉えます    精密光干渉計による非接触音場計測・ ・・・・・・・・・・・・・・・・・・・・ 30
騒がしい生活環境で、音声だけ高品質に取り出す    音源分離・雑音抑圧・残響抑圧の全体最適化・ ・・・・・・・・・ 31

16

TV を視聴するだけで賢くなる AI    クロスモーダル学習による動作概念の獲得・ ・・・・・・・・・・・・・・・・・ 32

17

顔の表情でリアルタイムに声の表情をつくる    顔表情認識による音声変換技術・・・・・・・・・・・・・・・・・・ 33

18

コロナ禍で知りたい：みんなが触ったのはどこ？    サーマルカメラによるモノタッチ判定とその実環境投影・ ・・・・・ 34

19

テレ聴診器：音で体の中を診る    生体の物理的性質を活用した生体音響解析・ ・・・・・・・・・・・・・・・・・・ 35

14

人間の科学
20

少子化が人口密度に関係するってホント！？   生活史戦略による予測と実証・ ・・・・・・・・・・・・・・・・・・ 36

21

磁場をうごかす・磁場がうごかす    磁性触覚技術マグネタクトの発展と応用・ ・・・・・・・・・・・・・・・・・・ 37

22

硬い物体も柔らかく、粗い物体もなめらかに    触錯覚を応用した簡便な実物体の触感変調手法・ ・・・・・・・・・・ 38

23

触れる感覚が距離を越えて心をつなげます    触覚伝送による共感的な遠隔コミュニケーションの実現・・・・・・・・・ 39

24

お母さんが赤ちゃんの泣き声に近寄るワケ    母親の無意識な接近を制御する神経基盤因子オキシトシン・ ・・・・・・・ 40

25

眼にあらわれる音への注意    微小眼球運動と聴覚空間注意・ ・・・・・・・・・・・・・・・・・・・・・・・・・ 41
レースドライバーのもつ瞬きのパターン    実車運転競技中の瞬目同調から示唆される視覚情報の重要性・ ・・・・・・・・ 42

26

27 「ボールをよく見て！！」の本当の意味    腕運動学習に寄与する目と腕の協調関係・ ・・・・・・・・・・・・・・・・ 43
28

スマートフォンで運動能力を計る？    運動のばらつきで利き手かどうかを簡単判定・ ・・・・・・・・・・・・・・・・ 44

29

豪速球を見極めて打つ脳力    素早い状況判断と運動制御を支える脳情報処理の仕組み・ ・・・・・・・・・・・・・・・ 45

オープンハウス2021 ｜ 02

スケジュール●創立30周年にあたって
6 月 3 日［ 木 ］（13：00〜13：15）

●講

ご挨拶

NTT 常務執行役員 研究企画部門長

祝

理化学研究所 理事長

辞

川添 雄彦

松本 紘

演

6 月 3 日［ 木 ］
所 長講演（13：20〜13：50）

離れていてもこころは君のそばにある〜こころ豊かな社会を創るコミュニケーションの本質探求〜
NTT コミュニケーション科学基礎研究所 所長

招 待講演+ 対談 + 展示体験レビュー（14：00〜15：30）

山田 武士

遠隔時代の身体東京工業大学 リベラルアーツ研究教育院 教授

伊藤 亜紗

6 月 4 日［ 金 ］
研 究講演（11：00〜11：40）

機械が会話のパートナーになる日〜大規模深層学習で拓く雑談対話システムの新境地〜
協創情報研究部

研 究講演（13：00〜13：40）

まなざしに宿る運動の巧みさ〜運動スキルを支える視線と腕の結びつき〜
人間情報研究部

研 究講演（13：50〜14：30）

杉山 弘晃

安部川 直稔

聞きたい人の声に耳を傾けるAI〜深層学習に基づく音声の選択的聴取技術 SpeakerBeam〜
メディア情報研究部

03 ｜ オープンハウス2021

マーク デルクロア

創 立 3 0 周 年 に あ た っ て（ プ ロ フィ ー ル ）

祝

辞

●略歴
1967年 4月

京都大学 工学部 助手

1974年 4月

京都大学 工学部 助教授

1975年 9月

NASAエームズ研究所 客員研究員

1980年 7月

スタンフォード大学 客員研究員

1981年 4月

京都大学 超高層電波研究センター 助教授

1987年 7月

京都大学 超高層電波研究センター 教授

1992年 4月

京都大学 超高層電波研究センター長

2000年 4月

京都大学 宙空電波科学研究センター 教授

2002年 4月

京都大学 宙空電波科学研究センター長
京都大学 評議員

2004年 4月

京都大学 生存圏研究所長、教授
京都大学 教育研究評議員

理化学研究所 理事長

松本 紘
H iroshi M atsum oto

2005年10月

京都大学 理事・副学長

2007年

京都大学 名誉教授

2008年10月

京都大学 総長（〜2014年9月）

2015年 4月

理化学研究所 理事長

［兼務］
2018年

ご挨拶

公益財団法人 国際高等研究所 所長（現在に至る）●略歴
1985年 3月

早稲田大学理工学部卒

1987年 3月

同大学大学院理工学修士課程修了

1987年 4月

日本電信電話株式会社 入社

2003年 7月

同 サイバーソリューション研究所 主幹研究員

衛星通信システム、パーソナル通信システムの研究開発
放送と連携したブロードバンドサービスの研究開発
2008年 7月

同 研究企画部門 担当部長

2009年 9月

京都大学大学院 情報学研究科 博士後期課程修了

2013年 7月

日本電信電話株式会社 研究企画部門 統括部長

2014年 7月

同 サービスエボリューション研究所長

2016年 7月

同 サービスイノベーション総合研究所長

2018年 6月

同 取締役 研究企画部門長

2018年

一般社団法人 映像情報メディア学会 会長

2020年 6月

日本電信電話株式会社 常務執行役員

コンテンツ流通チーフプロデューサー

日本 電 信 電 話 株 式 会 社
常 務 執 行 役員 研 究 企 画 部 門 長

川添 雄彦
Katsuhiko K awazoe

研究企画部門長（現在に至る）
2021年

一般社団法人 電子情報通信学会 次期会長[代表理事]［兼務］
2019年 4月
2020年 1月

NTT Research, Inc. 取締役（現在に至る）
IOWN GLOBAL FORUM President and Chairperson（現在に至る）オープンハウス2021 ｜ 04

所長講演

離れていてもこころは君のそばにある〜こころ豊かな社会を創るコミュニケーションの本質探求〜
I may be far away, but my heart will always be with you −Exploring the essence of communication to create a spiritually rich society−NTT コミュニケーション科学基礎研究所 所長

山田 武士
Ta k e s h i Ya m a d a

概要と共有にも取り組んでいます [3]。

NTTコミュニケーション科学基礎研究所（CS研）は1991
年7月4日に創立されてから、今年で30周年を迎えることとな

乳児にとってのコミュニケーションりました。
この30年間、コミュニケーションの本質を究め、こ

コミュニケーションの本質理解のため、乳児のコミュニころまで伝わるコミュニケーションの実現をめざして、メディケーションや言語獲得にも着目しています。乳児にとってコ

ア処理や機械学習など、人間の能力に迫り凌駕するための革ミュニケーションは、物体の認識や知識や概念、語彙の獲得

新技術の創出と、認知神経科学や脳科学など、人間への深いを促進する重要な手段です。実際乳児は、環境から得られる理解につながる基本原理の発見に取り組んできました。本講情報からさまざまな知識を学んでいますが、決して膨大な情演では、このような取り組みのいくつかを紹介します。

報を無差別に処理しているわけではありません。CS研の研
究では、乳児は、乳児向け発話などの養育者からのコミュニ

はじめにコミュニケーションの語源はラテン語のcommunicare
で、何かを共通 (common) 化する行為を意味します。
このケーションシグナルを学習の手がかりとして利用し、学習すべき対象へ注意を適切に向け、環境から何をどのように学習すべきかを取捨選択していることがわかりました[4]。

ことが示すように、
コミュニケーションの本質は、情報を正確かつ効率良く伝達するのみならず、
お互いの理解を深め、意図や感動を共有し、心のふれあいを深めることまでを広く含むものです。

カテゴリや概念の獲得
人間は似たものをなるべくカテゴリとしてまとめることで、学習を効率化しています。例えば、一匹の動物を見かけたとCS研ではかつて t-Room という遠隔コミュニケーション

き、その姿かたちがすでに学習済みのカテゴリの一つ、例えばシステムを研究していました。t-Room は、地理的および時「猫」と十分類似していればそのカテゴリの要素、猫、として間的に離れた複数のユーザがあたかも同じ部屋にいる感覚認識します。
これまで見たすべての物体を個別に記憶するこ「同室感」を共有するシステムでした[1]。CS研はこのようとは困難ですが、カテゴリとしてまとめるとコンパクトに記憶な、たとえ物理的には離れていても送り手のこころが受け手できます。すなわち、大量のデータに対して、必要に応じて柔のこころに届く、
すなわち、こころまで伝わるコミュニケーショ

軟にカテゴリを増やしたり、場合によっては減らしたりしながンの実現をめざしてきました[2]。

ら、効率的に学習しています。
CS研ではこのような人間の柔軟なカテゴリ学習の計算機

新たなコミュニケーション形態の創出

上での実現に取り組んでいます。例えば、顧客が購入した商

そもそもCS研では、音声音響処理や自然言語処理などコ品を行列形式で記録した購買データを用いて、顧客と商品のミュニケーションの基本技術に、電電公社時代から継続的に両方をカテゴリ分けすることを考えると、
これは購買データ行

取り組んできました。加えて最近では、伝えたい内容を望みの列を長方形分割することに相当します。
この長方形分割のあ表現に自在に変換して送受信する音声変換技術などにも取りらゆる組み合わせパターンの中から、最適な分割をデータに組んでおり、人間の発声・聴覚機能を拡張することによる、新合わせて調整し効率的に学習する手法を考案しました[5]。

たなコミュニケーション形態の創出をめざしています。また、

ここでカテゴリとしての「猫」は、ある特定の「猫」ではなく

音声・言語以外にも、ふれあう感覚を距離を越えて共有する「猫」一般を抽象化したものです。更に、その姿かたちだけで公衆触覚伝話やリモートハイタッチなど、触覚情報の伝送なく、鳴き声や動作、さわり心地、それらの言語による表現な05 ｜ オープンハウス2021

所 長 講演

ど、猫を表す様々な側面（異種のメディア情報）を統合して抽学習されてしまいます。そこで、分散配置されたサーバー群と象化したものが「猫」の概念です。CS研では、異種のメディア

データに対して、サーバー同士がコミュニケーションしコンセ

情報の共起、すなわち同じものに端を発する異種のメディア

ンサスを取りながらあたかも１か所にデータを集約したかの情報は特定の関係性を持って現れることを利用し、陽に正解

ようなグローバルモデルを学習できる、非同期分散型の深層を教えられなくても自律的に概念獲得する人工知能の研究

学習アルゴリズムを考案しました[7]。

に取り組んでいます。

また、CS研ではHiddenStereoという、裸眼で2D映像がクリアに見える3D映像生成技術を考案しました。すなわち、目はこころの窓

メガネを掛けて視 聴する３D 映 像を楽しみたい人も、３D

こころまで伝わると言っても、果たして人間がこころで思っ映像が苦手で２Dのほうを好む人も、どちらも互いを犠牲ていることを外側から読み取ることは可能でしょうか？CS研にすることなく、一 緒に一つの映 像を楽しむことができる

では、人間は魅力的な顔を見ると、無意識のうちに瞳孔が収技術です[8]。

縮することを発見しました。すなわち、
リアルタイムで瞳孔の大きさを観測することができれば、その人のこころの中をある

おわりに程度は読み取ることができます。一方で、輝度コントラストの人間のコミュニケーションにおいて、こころに思っているこ

変化などによって瞳孔を収縮させると、顔の魅力度の評価がとをそのまま相手に伝える人はいません。もし皆がそうした

高くなることも分かりました。すなわち、瞳孔の大きさを制御ら、人間関係は崩壊し、社会の分断はむしろ進みます。そもそすることによって人々の好みをある程度変えることができても自分のこころの中は自分自身ですらわかっていません。何しまうのです[6]。

をどう伝えるかはもちろん、何を伝えないかも含めてコミュニ
ケーションの本質といえます。CS研は今後も、コミュニケー

多様な価値観の調和
現代社会は分断が進んでいると言われます。氾濫する情報

ションの本質を探求することで、こころ豊かな社会を築くことをめざした基礎研究に取り組んでいきます。

の中で異なる意見に耳を傾けることもなく、
グローバリズムか
ナショナリズムか、集中か分散か、アナログかデジタルか、な

山田武士：1988年東京大学理学部数学科卒、2003年京都大ど、一見すると二律背反し、一方を取ると他方が犠牲になる学にて博士号(情報学)を取得。1988年NTT入社、横須賀の問題によって人々の対立はますます深まります。
しかしだから

情報通信処理研究所にて、当時のAI研究を担っていた知能こそ、矛盾を許容し多様な価値観を認め合い、プライバシー

処理研究部に配属。以来、組合せ最適化・データマイニング・は守りつつも、コミュニケーションを通じてお互いの理解を深

機械学習などの研究に従事。1991年に京阪奈に創立された、め共感を広げることで、こころ豊かな社会を築くことが求めら

コミュニケーション科学基礎研所の創立当初のメンバ。同研れています。

究所にて、機械学習グループのリーダ、研究部長などを経て、機械学習においても、データ量の増大やプライバシー保護2017年9月より現職。

のため、学習データはローカルにあるサーバー群に分散して

1996-1997年、英国コベントリー大学客員研究員。

蓄積される必要が生じます。その状況で各サーバーがローカ

電子情報通信学会フェロー。

ルに学習すると、それぞれ異なる、互いに矛盾したモデルが●関連文献[1] 未 来の電話を考える―遠隔コミュニケーションシステムt-Room, 平田圭二、NTT技術ジャーナル 2007.6
https://www.ntt.co.jp/journal/0706/files/jn200706010.pdf[2] あなたを・もっと・知りたくて──AIで人に迫り脳科学で人を究める, 山田武士、NTT技術ジャーナル 2020.9
https://journal.ntt.co.jp/wp-content/uploads/2020/08/JN202009012.pdf[3] “ 近くにいる”を伝送できる公衆端末「公衆触覚伝話」を体験、隔月刊行 ふるえ, Vol.26, 2019 DEC.
http://furue.ilab.ntt.co.jp/book/201912/contents3.html[4] 乳 児期における社会的学習: 誰からどのように学ぶのか, 奥村 優子, 東京大学出版会 2020[5] 世 界で初めて複雑なデータを無限の柔軟度で分類できる機械学習技術を実現～ヒトの脳のように自律的に適応する柔軟なAIの実現に向けて前進～
https://www.ntt.co.jp/news2020/2012/201207a.html[6] Attractiveness in the Eyes: A Possibility of Positive Loop between Transient Pupil Constriction and Facial Attraction,
Liao, H.-I., Kashino, M., & Shimojo, S., Journal of Cognitive Neuroscience , 33 (2), pp. 315-340. (2021).
[7] エッジコンピューティング環境を想定した非同期分散型深層学習の実現～大量のデータを多サーバーに分散蓄積したままでも、モデル学習を可能にする技術～
https://www.ntt.co.jp/news2020/2008/200824a.html[8] 裸 眼では2D映像がクリアに見える3D映像生成技術を開発
https://www.ntt.co.jp/news2017/1705/170529a.html

オープンハウス2021 ｜ 06

招待講演

遠隔時代の身体Bod ie s in t he re m ot e e ra

東京工業大学
リベラルアーツ研究教育院 教授
科学技術創成研究院
未来の人類研究センター センター長
環境・社会理工学院
社会・人間科学コース 教授

伊藤 亜紗
Asa Ito●プロフィール
2010年 東 京大学大学院 人文社会系研究科
基礎文化研究専攻 美学芸術学専門分野を単位取得退学
同 年 東 京 大 学 大 学 院 にて博 士 号（ 文 学 ）を 取 得
2 0 1 3 年 東 京 工 業 大 学リベラルアー ツ 研 究 センター 准 教 授
2 0 1 6 年 東 京 工 業 大 学リベラルアー ツ 研 究 教 育 院 准 教 授
2 0 1 9 年 （ 3 月 ― 8 月 ）マサチュー セッツ 工 科 大 学 客 員 研 究 員
2 0 2 1 年 東 京 工 業 大 学リベラルアー ツ 研 究 教 育 院 教 授（ 現 職 に 至 る ）受賞歴
2017年 WIRED Audi INNOVATION AWARD 20172020年 第13回「池田晶子記念わたくし、つまりNobody賞」
2020年 サントリー学芸賞（社会・風俗部門）●専門の内容美 学 を 専 門としな がら 、身 体 性 、哲 学 、アートに 関 連 する
横 断 的 な 研 究 をおこなう●著書『ヴァレリーの芸術哲学、あるいは身体の解 剖 』（ 水 声 社 、2013）『目の見えない人は世界をどう見ているのか』（ 光 文 社 、2015）『目の見えないアスリートの身体 論 』（ 潮出出版 、2016）『どもる体』（ 医学書院、2018 ）『記憶する体』（ 春秋社、2019）『情報環世界』（ NTT出版、2019）（共著）『見えないスポーツ図鑑』（ 晶 文 社 、2020）（共著）『手の倫理』（ 講談社、2020）『ヴァレリー 芸術と身体の哲 学 』（ 講 談 社 、2021）ほか
07 ｜ オープンハウス2021

招 待 講演

新型コロナウイルスの感染拡大によって、私たちの生活は味を持つのは「信頼」です。信頼は、安心とは異なります。安心

大きく様変わりしました。レジや受付などには透明の衝立がは、不確実な要素をなくそうとするあまり、相手を支配してし置かれ、親しい人とも距離をおいて座らなければならず、授業まうことになりがちですが、信頼は、相手に任せ、その自発性や会議はリモートで行われるようになりました。新しい生活にゆだねることです。信頼は、人と人がお互いの潜在的な可の大原則は、言うまでもなく「距離をとること」
です。

能性を引き出しあう共創的なコミュニケーションにとっても距離は断絶をもたらしますが、別の見方をすれば、新しいコ

不可欠なものです。

ミュニケーションが生まれるきっかけにもなりえます。離れてNTTと共同で開発させていただいている、視覚障害者とスいることで、私たちは何を失ったのか。離れていることは、逆ポーツを観戦する方法「見えないスポーツ図鑑」についてもごにどんな可能性に開かれているのか。身体的なコミュニケー

紹介したいと思います。
このプロジェクトでは、一〇種類の競ションの観点から考察します。

技について、選手が感じているその競技の本質を、身近な道

まず注目したいのは、触覚を介したコミュニケーションで具を使って「翻訳」することを試みています。視覚障害者の視す。確かに、私たちの社会において重視されているのは「視覚」

点を借りることで、振動やリズム、力のせめぎ合いといった触です。
「 目は口程にものを言う」の例のように、人間関係にお覚的な観点から、スポーツを再発見することができます。

いても、視覚的な情報がもたらすニュアンスが大きな意味を離れていることで生まれるコミュニケーションの例として持ちます。
しかしながら、子育て、ケア、性愛、看取りなど、人生は、分身ロボットを介した関係の事例をとりあげます。分身ロのさまざまな局面において、私たちは触覚を介したコミュニ

ボットを前にしている人は、それを操作しているパイロットとケーションも行なっています。
そこには、視覚とは違う、触覚な

物理的に対面したり、お互いの体に接触したりすることはでらではの人間関係や倫理があります。

きません。
しかしながら、そこにはかえってお互いの存在を強本講演では、
この触覚ならではの人間関係や倫理のあり方

く感じるようなコミュニケーションが生まれています。距離をを、視覚障害者など、日常的に触覚的コミュニケーションを多とることを強いられた時代に、「出会う」とは何なのか、考えて用している人たちの感覚をたよりに探ります。そこで大きな意みたいと思います。

オープンハウス2021 ｜ 08

研究講演

聞きたい人の声に耳を傾けるAI〜深層学習に基づく音声の選択的聴取技術SpeakerBeam〜
Developing AI that pays attention to who you want to listen to −Deep learning based selective hearing with SpeakerBeam−

メディア情報研究部 信号処理研究グループ

マーク デルクロア
Marc Delcroix●プロフィール
NTT コミュニケーション科学基礎研究所

メディア情報研究部

2008年 北海道大学

情報科学研究科

大学院情報科学特別研究員。

博 士 課 程 修了。

博 士（ 情 報 科 学 ）。2 0 1 0 年にN T Tに入 社 以 来 、音 声 強 調 、音 声 認 識 、目的 話 者
抽出等の音 声・音 響 信 号 処 理の研 究に従 事 。I EEE、日本 音 響 学 会の各 会員。

人は、パーティ会場などの騒がしい環境の中でも、聞きたい

浴びています。目的話者抽出は、聞きたい話者の手がかりを人（目的話者）の手がかり（声の特徴、話している内容など）に補助情報として活用し、混合音声の中からその話者の音声の注目してその人の声を聞き取ることができる、選択的聴取のみを抽出します[1、2]。話者の手がかりとしては、例えば目的能力を持っています。我々は、この選択的聴取をコンピュータ

話者の声の特徴や唇の映像データなどが考えられます。目的上で実現するため、長年にわたって研究を進めてきました。
し話者抽出は混合音声中の話者数に依らず目的話者音声のみ

かし例えば、複数人が同時に話す状況では、互いに似た特徴を抽出できますし、抽出音声と話者の対応関係も明らかなたを持つ音声同士が混ざるため、その中から聞きたい話者の声

め、BSSが持つ課題を回避できます。

を取り出すことは難しい課題です。これに対する従来技術として、混ざった音声を各話者の音声へ分離する音源分離技術

ニュ ー ラル ネットワ ー ク( N N ) による目 的 話 者 抽 出(Blind Source Separation: BSS)があり、近年、高品質なSpeakerBeam

分離が実現できるようになってきました。
しかしBSSは（1）混

我々は、
目的話者抽出技術として、（Neural network:NN）

合音声に含まれる話者数に関する事前知識もしくはその推を用いた新技術 SpeakerBeam[1、2]を提案しました（図定が必要（2）各分離音声と各話者との対応関係が不定なた

１）。SpeakerBeamの特徴は、NNの挙動を制御するため

め、
どの分離音声が目的話者の音声かが不明、といった制約に、目的話者に関する何らかの手がかりを与える仕組みを導があり、様々な応用先で利用する際の課題となっていました。

入したことにあります。SpeakerBeam は、図１にあるように、10秒程度の事前録音された目的話者音声からその特徴

目的話者抽出量を抽出するNN（①話者特徴抽出NN）と、抽出した特徴量

BSSに代わる新たな枠組みとして、混合音声から聞きたいを補助入力として混合音声から目的話者の音声を抽出する

話者の音声のみを抽出する、
目的話者抽出技術が最近注目をNN（②目的話者抽出NN）、の二つのNNによって構成されて

09 ｜ オープンハウス2021

研 究 講演

います。SpeakerBeamは、目的話者の手がかり（声の特徴）

反応するスマートデバイス、会議音声の議事録システムなど、に基づく目的話者抽出、すなわち選択的聴取を、世界で初め様々なものが考えられます。
さらに最近の進展として、音声だて実現した手法です。ここで目的話者の手がかりとしては声けでなく任意の音を抽出できる、ユニバーサル音抽出の研究の特徴以外にも様々なものが考えられるため、我々はさらににも取り組んでいます[6] (図２)。
これは、音声や映像に基づ

SpeakerBeamを複数の手がかりを選択的に利用可能なマ

く話者情報ではなく、聞きたい音の種類に関する手がかりをルチモーダル(Multi-modal:MM)-SpeakerBeamも提案用いることで、該当する種類の音のみを抽出する枠組みです。

しました[3]。MM-SpeakerBeamでは、例えば音声と映像

この技術により、例えば、消防車の音と女性の声に注意し、犬による複数モダリティの手がかりを活用することで、互いに似の声や他の音を無視できるような未来の音声デバイスを実た声の話者の混合音声からの目的話者抽出性能を大きく向現できるようになると期待されます。また、人間は音や映像と上することに成功しました。

いった手がかりの他にも、話している内容（概念）といったよSpeakerBeamの枠組みは、目的話者抽出の問題以外

り抽象度の高い手がかりに基づいて、自身の聞きたい会話ににも、様々な場面でもその応用が研究されています。実際、注目してその人の声を聞き取る能力を持っています。音や映SpeakerBeamの登場を受けて、(1) 目的話者の手がかりに像のような具体性のある手がかりを超えて、そうしたより抽基づいてその人の発話区間を推定する（目的話者発話区間推象度の高い手がかりをも扱えるように拡張することができれ定）問題[4]や、（ 2）信号の抽出を経ずに目的話者の手がかり

ば、我々の長年の研究目標である人間の選択的聴取の能力のに基づいてその人の発話内容を直接的に推定する（目的話者実現により近づいていけるものと考えています。

音声認識）問題[5]などの新たな試みがなされています。

今後の展開
SpeakerBeamの応用先としては例えば、目的話者の声を聞き取りやすくする補聴器やボイスレコーダ、特定の人のみに目的話者（聞きたい話者）の音声データ（10秒程度）の事前録音

聞きたい音を選択①

話者特徴抽出
ネットワーク

混ざった音声話者特徴②

目的話者抽出
ネットワーク犬
目的話者の音声

SpeakerBeam
図１：目的話者抽出技術SpeakerBeamの仕組み
図１：目的話者抽出技術
SpeakerBeam の仕組み

女性
男性
サイレン
車
図２：音声以外の音も扱えるユニバーサルサウンド抽出
図２：音声以外の音も扱えるユニバーサルサウンド抽出

●関連文献
[1] M
 . Delcroix, K. Zmolikova, 木下 慶介, 荒木 章子, 小川 厚徳, 中谷 智広, “SpeakerBeam: 聞きたい人の声に耳を傾けるコンピュータ
──深層学習に基づく音声の選択的聴取”, NTT技術ジャーナル , vol. 30, no. 9, pp. 12-15, 2018.
[2] K . Zmolikova, M. Delcroix, K. Kinoshita, T. Ochiai, T. Nakatani, L. Burget, and J. Cernocky, “SpeakerBeam: Speaker awareneural network for target speaker extraction in speech mixtures,” IEEE Journal of Selected Topics in Signal Processing ,vol. 13, no. 4, pp. 800–814, 2019.
[3] T. Ochiai, M. Delcroix, K. Kinoshita, A. Ogawa, and T. Nakatani, “Multimodal SpeakerBeam: Single channel target speech
extraction with audio-visual speaker clues,” in Proc. Interspeech , 2019.
[4] I . Medennikov, M. Korenevsky, T. Prisyach, Y. Khokhlov, M. Korenevskaya, I. Sorokin, T. Timofeeva, A. Mitrofanov, A.
Andrusenko, I. Podluzhny, A. Laptev, and A. Romanenko, “Target-Speaker Voice Activity Detection: A Novel Approachfor Multi-Speaker Diarization in a Dinner Party Scenario,” in Proc. Interspeech , 2020.
[5] M . Delcroix, S. Watanabe, T. Ochiai, K. Kinoshita, S. Karita, A. Ogawa, and T. Nakatani, “End-to-end speakerbeam forsingle channel target speech recognition,” in Proc. Interspeech , 2019.
[6] T. Ochiai, M. Delcroix, Y. Koizumi, H. Ito, K. Kinoshita, and S. Araki, “Listen to what you want: Neural network-based
universal sound selector,” in Proc. Interspeech , pp. 2718–2722, 2020.
[7] Y. Ohishi, A. Kimura, T. Kawanishi, K. Kashino, D. Harwath, and J. Glass, “Pair Expansion for Learning Multilingual
Semantic Embeddings Using Disjoint Visually-Grounded Speech Audio Datasets,” in Proc. Interspeech , 2020.

オープンハウス2021 ｜ 10

研究講演

まなざしに宿る運動の巧みさ〜運動スキルを支える視線と腕の結びつき〜
L ook in g mor e , ac tin g be tte r −N e w concept of eye-hand coordi nat i on for s ki lled act i on−

人間情報研究部 感覚運動研究グループ

安部川 直稔
Naotoshi Abekawa●プロフィール
N T T コミュニ ケ ー ション 科 学 基 礎 研 究 所 人 間 情 報 研 究 部 特 別 研 究 員 。
2 0 0 5 年 東 京 工 業 大 学 大 学 院 修 士 課 程 修了。同 年 、N T T に入 社 。2 0 1 4 年 京
都 大 学 大 学 院 博 士 課 程 修了。2 0 1 5 年 U n i ve r s i t y Co l l e ge L o n d o n 客員
研 究 員 。博 士（ 情 報 学 ）。入 社 以 来 、人 の 視 覚 運 動 制 御 に 係 る 研 究 に 従 事し 、
特 に 近 年 は 運 動 学 習 メカ ニ ズ ム に 興 味 を 持 つ 。日 本 神 経 回 路 学 会 奨 励 賞 、IEEE Com p utati onal I ntel l i gence Soci ety J ap an C hap ter Yo u n g
Re s e a r c h Awa r d s 、次 世 代 脳 冬のW S 優 秀 賞など受 賞 。電 子 情 報 通 信 学 会 、
日本神経科 学 会 、日本 神 経回路 学 会 、北 米 神 経 科 学 会 、各 会員。

歩行や車の運転といった日常生活から、テニスや野球など

腕協調関係」の新たな重要性について紹介します。

のスポーツに至るまで、私たちの動きは巧みで滑らかです。
昨今のAIは、囲碁や将棋で人を打ち負かし、画像認識も人*自 律 移 動 型 ロ ボ ッ ト の 発 展 を 目 指 す ロ ボ カ ッ プと同等か、それ以上の精度を誇るようになりました。
しかし、（RoboCup）では、サッカー競技において、人型ロボットが実環境で人と同等の運動機能を実現するロボットは存在しま

人の世界チャンピオンチームに勝つことを、2050年の目標

せん*。そのようなロボットの実現には、ロボットを構成・制御として設定している。

する技術の向上に加えて、人が巧みな運動を実現するメカニ

https://www.robocup.or.jp/

ズム自体の解明が大きく貢献すると考えられます。
さらに、実環境では状況に応じて、適応的に運動を修正していく必要が目と腕が協調して動く仕組み

ありますが、人がスポーツなどで新しいスキルを獲得する能運動の一例として、「コップに手を伸ばす」
ことを考えてみま

力、
つまり運動学習の仕組みの解明も待たれるところです。

す。まず、位置を確認するためにコップに目を向けますが、同人の運動機能を考える際、腕や足に加えて、目の動かし方

時に、コップの大きさ、水の量、掴みやすさなど、必要な情報をが重要な要素になります。例えばテニスのレッスン時、「ボー

視覚的に取得します。人を含めた霊長類の視解像度は、目のルを良く見て」と言われた経験はないでしょうか？また、一流中心で最も高く、周辺に向かうほど低くなることが知られていのアスリートが、自身の目に関わる話をしていることを耳にます。脳は、
これから行う腕運動にとって必要な情報をより正したことはないでしょうか？これらの例に代表されるように、確に得るために目を先行的に動かし、適切な腕運動出力へと

脳は目と腕を協調させて動かす仕組みを持っています。本講

つなげています（図1A）。

演では、これらの仕組みについて従来の考え方を概説した後このような目と腕の協調機構を探る研究が、人やサルの行に、私達の最近の取り組みによって明らかになってきた「目・動実験、脳活動計測など様々な手法を通じて数多く行われて11 ｜ オープンハウス2021

研 究 講演

きました。例えば、腕に先行して目が動くことは上述の通りで状態であっても（図1A）、離れた状態であっても（図1B）、学習

すが、その時間関係は常に一定の範囲内で保たれることが知によって獲得される腕運動スキルと密接に関連していることられています。また、腕と目（視線）の最終到達地点も、相互にが明らかになりました。具体的には、学習時とは異なる目と腕関連します。
このような関係から、脳内の目と腕の運動生成シの位置関係で腕運動を行おうとすると、学習効果が発揮できステムは相互に情報をやり取りし、時空間的に協調した運動

なくなります[3]。
このことは、運動スキルの獲得と生成には、出力を行うメカニズムが存在すると考えられています。また、「運動目標を常に見ること」以上に、「目と腕の位置関係を一そのような協調関係は固定的なものでなく、達成すべき運動定に保つ」
ことが重要であることを示しています。

課題の種類によって柔軟に調節されます。協調機構を実現す

我々のこれまでの知見は、目の重要性に着目した新たなトる脳メカニズムの全容はまだ明らかになっていませんが、大レーニング法やリハビリテーションプログラムに応用できる

脳、小脳、脳幹を含む様々なネットワークの関与が示唆されて可能性を示しています。また、目と腕の関係性は、脳が常に計います。

算・処理・制御していることから、腕運動学習のみならず、人の様々な動き・ふるまいと関連していると考えられます。私達は「目と腕の協調関係」に関する新たな考え方

今後も、目と腕の関係性を足掛かりとして、人の運動メカニズ

先行研究では主に「静止目標への腕運動」が実験課題としムを本質的に理解し、人の自然なふるまいを引き出すインタて用いられてきましたが、実環境では、
目標物は複雑かつ予測

フェースの設計や、人とロボットの効果的なコミュニケーショ

できない動きをする可能性があります。テニスや野球を例にン設計など、ICTに新しい価値を幅広く提案していきます。

とれば、数百ミリ秒以内の厳しい時間制約の中で、即座に判断し、複雑な運動（運動スキル）を生成する必要があります。
こ
れらの環境においても、「目標物を常に目の中心で捉え、その目の動きに協調して腕運動が生成される」という従来研究の考え方は成り立つのでしょうか？さらには、新規の運動スキルを獲得・発揮する過程では、目と腕の協調関係はどのような重要性があるのでしょうか？これらの疑問点が、我々が研究を始めた出発点となっています。
NTTコミュニケーション科学基礎研究所では、突然動く

図 1 目と腕の協調関係

A. 感度の高い視野中心で運動目

目標物を追いかける腕運動課題[1]や、プロ野球選手のバッ標を捉え、腕運動を行う例。目・腕協調関係に関する従来

ティング計測[2]など一連の研究を推し進め、その結果、複雑の考え方は、正確な視覚情報を得て腕運動を行うという機な運動スキルが求められる課題下でも、目・腕の間に一定の能面に着眼点が置かれ、視線を運動目標に向けることの優協調関係が成り立つことが分かってきました。一方、その時間

位性が主に議論されてきた。B. 視線と運動目標が離れた状関係や、目の向かう先など詳細な解析結果は、「目標を目の中態で腕運動を行う例。私達の研究成果により、視線と運動心で捉える」という従来の考え方とは必ずしも一致しません。

目標が「一致している・離れている」という位置関係自体が、そこで私たちは、目と腕の協調関係は運動実行時に視覚情腕運動・腕運動学習で利用される重要な要素になっているこ

報を得る際に重要であるのみならず、腕運動のスキルを獲得とが明らかになってきた。例えば、視線が運動目標とは異なする過程においても、その位置関係自体が重要な要素になっる場所に向けられた状況（図 B）であっても、その状況で獲ていると考えました（図1）。実際、腕運動学習のパラダイムを得した新たな運動スキルを効果的に発揮するためには、目と用いた実験から、目と腕の位置関係は、
それらが一致している

腕運動が離れた状況を保つ必要がある。

●関連文献[1] N . Abekawa, T. Inui, and H. Gomi, “Eye-hand coordination in on-line visuomotor adjustments,” Neuroreport , vol. 25, no.
7, pp. 441–445, May 2014[2] Y. Kishita, H. Ueda, and M. Kashino, “Eye and head movements of elite baseball players in real batting,” Front. Sports
Act. Living , vol. 2, p. 3, 2020.
[3] N . Abekawa, S. Ito, and H. Gomi, “Different learning and generalization for reaching movements in foveal and peripheral
vision,” in Proc. Adv. Mot. Learn. Mot. Control , 2019.

オープンハウス2021 ｜ 12

研究講演

機械が会話のパートナーになる日〜大規模深層学習で拓く雑談対話システムの新境地〜
The coming ages when AI becomes our conversation partners −Cutting edge of conversational systems with large-scale neural network models−

協創情報研究部 知能創発環境研究グループ

杉山 弘晃
Hiroaki Sugiyama●プロフィール
N T T コミュニ ケ ー ション 科 学 基 礎 研 究 所 協 創 情 報 研 究 部 主 任 研 究 員 。
2009年東京大学情報理工学系研究科

知 能 機 械 情 報 学 専 攻 修 了 。同 年 、

N T T 入 社 。博 士（ 工 学 ）。対 話システムの研 究に従 事 。I E E E 、人 工 知 能 学 会 、言語処理学会、情報処理学会各会員。対話破綻検出チャレンジ、対話システムライ
ブコンペティション等、雑談対話システム関連のコンペティションの優勝多数。

私たちは日々、周りの人々との雑談を楽しみながら生活し■複数ロボットの利用による破綻感の軽減ています。このような人の対話欲求を充足させることを目的

ところが、実際にこれらの対話システムと話してみると、
どとするシステムを雑談対話システムと呼びます。システムとのうにもうまく話が噛み合わず、対話が破綻してしまうことがあ

対話は、場所や時間に制約されません。そのため、独居の人々ります。調べてみると、発話単体への応答としては妥当だけれや、高齢者施設・病院等で生活している人のコミュニケーショ

ども、対話の文脈にそぐわない応答、というものが多く観察さン機会の増加に有用であると考えられています。

れたのです。
しかし、文脈を考慮して応答発話を出力したくとも、発話履歴の組み合わせが膨大となるため、ルールでは考■雑談対話システムの一般的な作り方

慮しきれません。

では、雑談対話システムは、どのように作られているのでそこでNTTでは、複数のロボットを連携させて対話を進め、しょうか。最もシンプルかつ広く使われている方法に、ルール

２体目のロボットが適宜割り込んで発話し文脈をリセットす

ベースと呼ばれる、人手で応答ルールを作成するやり方があることで、比較的小さな数のルールデータを使う場合でも、文ります。
ユーザが「こんにちは」と言ったら「こんにちは」と返す、脈との齟齬に対するユーザの違和感を軽減する方法を考案

「眠い」
と言ったら
「おやすみ」と返す、というような、想定されしました [1]。また、ロボット同士の自然な対話をあらかじめるユーザ発話に対して、設計者が定めたシステム発話を返す

作りこんでおくことで、対話が破綻しかけたときでもロボット方法です。人手で応答文を作るため、制御性が高く不適切な間対話を挟み込んで対話を自然に継続させたり、ユーザ発話

発話をする危険性が低い、時事ネタのようなユーザを楽しまを起点として展開される話の流れを作り出せたりすることもせる発話を用意しやすい、といった利点があります。
こうしたわかりました。
この機能を応用し、京都市動物園で「物知りAI利点から、SiriやAlexa等、現在の商用システムのほとんどは、ロボット」の実証実験を行い、来場者と動物について知識をルールベースで実現されています。

深める対話を実現しています [2]（図１）。

13 ｜ オープンハウス2021

研 究 講演■大規模深層学習による急速な性能向上になった現在でも、課題は山積しています。例えば現在のシス

ここまでご紹介したルールベースのシステムは、人が作っテムは、発話の一貫性や事実性について考慮せず、文の自然た発話を選択させるか、単語を組み合わせてテンプレートにさ（生成確率）のみを用いて学習されているため、過去の発話当てはめるといった方法で作られていました。一方で近年、深と矛盾したことや、事実と異なる「嘘」をよく発話します。さら層学習と呼ばれる技術が急速に進展しており、自然言語処理に、対話の内容や相手のことを記憶していないため、数か月に研究全体に非常に大きな影響をもたらしています。特に、大量渡って繰り返し対話し続けることは困難です。人の対話欲求のテキストデータで文の自然さをあらかじめ学習する、というを継続的に満たす雑談対話システム実現に向けて、これらの方法を用いることで、文の生成能力が飛躍的に向上していま

課題に取り組んでいく予定です。

す。雑談対話システムも例外ではなく、2020年に相次いで、深層学習を利用した高性能な雑談対話システムが英語圏で提案されました。

システム

ユーザ

NTTでも、
これまでの研究で蓄積してきた大規模テキスト
対話データに基づく深層学習により、非常に自然な雑談を行うシステムを実現しています [3]。
このシステムは、雑談対話システムの性能を競う「対話システムライブコンペティション３（ライブコンペ３）」で圧倒的な性能で最優秀賞を獲得しました。
ライブコンペ３では、システムが対応できる話題の幅広さを評価するため、ユーザは２つの固有名詞を話題として選択し、それらに触れるよう対話する、というレギュレーションがありました。図２にライブコンペ３でのユーザとの対話（左がシステム）を示します。
このユーザは、「 水曜どうでしょう」
というバラエティ番組と，「 渡辺麻友」というタレントを話題として選んでいました。従来のシステムではここまで細かい話題に適切に応答することは困難だったのですが、私たちの構築したシステムは，渡辺麻友についてはよく知らない、としつつも、
見事に応答し続けることに成功しています。

■今後の展望深層学習によって、非常に自然な発話文を生成できるよう

図１ 物知りAIロボットの対話例
ゾウさんのどんなところが好き？
大きいところかなあそうだね。大きくてかっこいいよね

ロボット 1

肩までの高さは３ｍくらいあるんだよ
すごいねえ。ご飯って何食べてるんだろう？
草や木の実なんかを食べるよ
どのくらいご飯食べてるの？
一日にだいたい40～50キロくらいは食べるよ

図１：物知り AI ロボットの対話例

ロボット 2

図２対話システムライブコンペティション３での対話例●関連文献[1] H . Sugiyama, T. Meguro, Y. Yoshikawa, J. Yamato, “Improving dialogue continuity using inter-robot interaction,” in Proc.
27th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN) , pp. 105-112, 2018.
[2] 杉 山弘晃, 水上雅博, 成松宏美, “複数ロボット協調による一問一答型雑談対話からの脱却,” 第32回人工知能学会全国大会 , 2018.
[3] 杉 山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥, 目黒豊美, 中嶋秀治, “Transformer encoder-decoder モデルによる趣味雑談システムの構築,” 言語・音声理解と対話処理研究会 (SIG-SLUD) , Vol. B5, No. 02, pp. 104-109, 2020.

オープンハウス2021 ｜ 14

研究展示

研究展示のカテゴリ
NTTコミュニケーション科学基礎研究所は、人と人、あるいは人とコンピュータの間の「こころまで伝わる」コミュニケーションの実現をめざして、人間と情報の本質に迫る基礎理論の構築と社会に変革をもたらす革新技術の創出に取り組んでいます。オープンハウス2021では、「 データと学習の科学」、「 コミュニケーションと計算の科学」、「 メディアの科学」、「 人間の科学」に関する合計29展示をご紹介します。

データと学習の科学
機械学習技術に基づくデータ解析を基 礎から活用事 例まで包 括 的に紹 介します。
● 膨 大なデータを高速・正確かつ詳 細に分 析したい
● 多 様なリソースを活用して、データの解 像 度を高めたい● 柔 軟・高速・正確な学習と推論を機 械にさせたい

コミュニケーションと計算の科学
人と人 、人とコンピュ ー タの やりとりを 円 滑 にする 研 究・計 算 の 限 界 に 挑 戦 する
研 究 を紹 介します。
● 効 率のよいネットワークやノイズに強い量 子 計 算 機を設 計したい
● コンピュータとのやりとりを、楽しくかつ信頼できるものにしたい● 対 話システムや機械翻訳を状況に合わせて柔 軟に対 応させたい

メディアの科学
音声・画像・テキストなどのメディア情 報を個 別に、または組み合わせて高 度に処 理する研究を紹介します。
● 多 様な環境で所望の音を利用可 能にしたい● 各 種メディアの本質をとらえ、概 念を自動で獲 得したり、相 互に変 換したい
● メディア情報処理をもとに医療・公 衆 衛 生への応用をしたい

人間の科学
人の情報処理メカニズムを科学的に解明し、豊かなライフスタイルを提案・実現する研究を紹介します。
● 人の知覚・運動特性を理解し、感 情 表 現や運 動 評 価・学習をサポートしたい● お母さんの行動メカニズムを理解し、少 子 化 対 策・子 育て支 援につなげたい● アスリート達がもつ秀でた能力の秘 密を解 明したい
15 ｜ オープンハウス2021

研 究 展示

トピックマップ

展示内容に頻出する単語の重要度を文字の大きさで表現し、その周辺に関連展示を配置しました

量子コンピューティング
コロナ禍で知りたい：

欲張りが提供する量子クラウド

18 みんなが触ったのはどこ？

9 はちゃんと動く1

いろんなデータ
から学習法自体を学習します6

機械学習
4

寄せ集めで不揃いなデータ
でも学習できます

感染症対策

データから高速
かつ正確に特徴を見つけますします

ネットワーク3

関係
2

みんなにとって公平な決め方、教えますTV を視聴するだ

文章の隠れたします

無意識
豪速球を見極めて

29 打つ脳力スポーツ
レースドライバー
26 のもつ瞬きの
パターン

対話

運動

少子化が人口密度
20 に関係するって
ホント！？

注意

28 運動能力を計る？

「ボールをよく見て！！」

27 の本当の意味

テレ聴診器：

楽しくおしゃべり

人から人への信頼を橋

スマートフォンで

磁場

雑談

専門家が

11 二人一役で
話します

コミュニ
ケーション

エージェント
12 渡しするチャットボット

質に取り出す19 音で体の中を診る

13 できる対話システム

社会

15 で、音声だけ高品

音声

の作り方

データ
10 構造を見える化

騒がしい生活環境システム

16 けで賢くなる AI

データを漏洩させない

つながり関係から顔の表情でリアル

17 タイムに声の表情をつくる

ネットワーク構造に関する様々な質問に答えます

7 機械学習5 グループを見つける

計測

街における感染

8 リスクを可視化

アルゴ
リズム

光の位相で微弱な14 音を捉えます

聴覚

眼にあらわれる

25 音への注意

お母さんが赤ちゃんの錯覚

24 泣き声に近寄るワケ

表情
触れる感覚が距離を23 越えて心をつなげます

硬い物体も柔らかく、

22 粗い物体もなめらかに触覚

磁場をうごかす・21 磁場がうごかす

オープンハウス2021 ｜ 16

Meta-learning from tasks with heterogeneous attribute spaces

01 いろんなデータから学習法自体を学習します
特徴量が異なるタスク群からのメタ学習

デー タと 学 習の 科 学

どんな研究

深層学習で高性能を達成するためには膨大な学習データが必要です。本研究では、複数の異なるタスクのデー
タを活用することで、目的のタスクにおいては少量のデータでも高性能を達成する手法を考案しました。これにより例えば異なる工場でのデータからの学習が可能となります。

どこが凄い

ニューラルネットを用いた従来のメタ学習では、特徴量やラベルが異なるタスクのデータを同時に扱えませんでした。本研究では、特徴量やラベルが異なるタスクのデータを扱うことができるニューラルネットを設計し、それを活用したより柔軟なメタ学習を実現しました。

めざす未来

機械学習の適用を考える際、少量の学習データしか入手できない適用分野の場合は、機械学習技術を有効に活用することができません。本技術を発展させることで、機械学習技術の適用範囲を広げ、様々な分野で価値を生み出していくことをめざします。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学
人 間の 科 学

関連文献[1] T. Iwata, A. Kumagai, “Meta-learning from Tasks with Heterogeneous Attribute Spaces,” in Proc. Neural Information Processing
Systems (NeurIPS), 2020.

連絡先
岩田 具治 （Tomoharu Iwata） 上田特別研究室
Email: cs-openhouse-ml@hco.ntt.co.jp

17 ｜ オープンハウス2021

Learning individually fair classifier based on causality

02 みんなにとって公平な決め方、教えます

因果関係に基づく一人一人にとって公平な分類器の学習融資承認や人材採用、囚人の累犯予測など、人間に対する重大な意思決定を機械学習予測によって行うための研究です。この実現に向け、性別・人種・宗教・性的指向など、人間が持つセンシティブな特徴に関して公平で、かつ高精度な予測を行うための技術を考案しました。

どこが凄い

例えば「体力を要する職種なので体力が理由の不採用は差別的でない」といった要請に基づき、不要な制約なしに学習することで予測精度を高めます。従来法ではデータが特定のモデルから生じている場合のみ公平性を保証可能でしたが、提案法では様々なデータで公平性を保証できます。

めざす未来「何が公平か」は人や社会の価値観とともに移り変わるものです。社会的な要請と技術的な限界に向き合いな
がら、より柔軟に社会的要請に応じられる機械学習技術を実現し、一人一人が不利益を被ることなく、同時に、
効率的な意思決定を行える社会に貢献できればと考えています。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学[1] Y. Chikahara, S. Sakaue, A. Fujino, H. Kashima, “Learning Individually Fair Classifier with Path-Specific Causal-Effect Constraint,”
in Proc. the 24-th International Conference on Artificial Intelligence and Statistics (AISTATS), 2021.

連絡先
近原 鷹一 （Yoichi Chikahara） 協創情報研究部 知能創発環境研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 18

人 間の 科 学

関連文献

Indexing graph structure with decision diagrams

03 ネットワーク構造に関する様々な質問に答えます
ゼロサプレス型項分岐決定グラフを用いたグラフ構造索引

デー タと 学 習の 科 学

どんな研究

ネットワーク構造に関する情報を小さく表現する部分構造索引を用いて、効率的に特定の構造を発見したり、数を数えたりする方法を研究しています。 部分構造索引を用いると、通信網や道路網などの、ネットワーク構造をもつ多様な問題を効率的に解くことができます。

どこが凄い

新しい部分構造索引であるゼロサプレス型項分岐決定グラフ（ZSDD）、およびZSDDを効率的に構築するアル
ゴリズムを考案しました。考案した技術を用いるとこれまでよりも小さな索引を構築できます。索引を小さくしたぶんだけ多様な問題をより高速に解決できます。

めざす未来

アルゴリズムの改良は、計算機の性能向上だけでは容易に達成できない、計算の劇的な高速化をもたらします。
考案したアルゴリズムを利用しやすい形で整備することにより、応用問題でより良い解を発見できるようになるなど、効率的な社会の実現に貢献します。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学
人 間の 科 学

関連文献[1] M. Nishino, N. Yasuda, S. Minato, M. Nagata, “Zero-suppressed Sentential Decision Diagrams,” in Proc. 30th AAAI Conference on
Artificial Intelligence (AAAI 16), 2016.
[2] M. Nishino, N. Yasuda, S. Minato, M. Nagata, “Compiling Graph Substructures into Sentential Decision Diagrams,” in Proc. 31st AAAI
Conference on Artificial Intelligence (AAAI 17), 2017.
[3] Y. Nakahata, M. Nishino, J. Kawahara, S. Minato, “Enumerating All Subgraphs Under Given Constraints using Zero-suppressed
Sentential Decision Diagrams,” in Proc. 18th Symposium on Experimental Algorithms (SEA 2020), 2020.

連絡先
西野 正彬 （Masaaki Nishino） 協創情報研究部 言語知能研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

19 ｜ オープンハウス2021

Self-supervised adaptation for unknown domains/classes

04 寄せ集めで不揃いなデータでも学習できます
未知ドメイン・未知クラスへの自己教師あり適応学習

深層学習には、質・量ともに学習に適したデータセットが必要になりますが、それが入手可能となる場面は限られます。本研究では、様々な状況や条件で取得した寄せ集めのデータでも、事前に整理することなく、そのまま深層学習に利用できる手法を提案します。

どこが凄い寄せ集めのデータで学習する場合、「着目すべき情報」だけでなく「無視すべき情報」も捉えてしまい、モデ
ルの認識性能が低下する問題が頻発します。提案手法では、「無視すべき情報」を推定し、この影響を受けな
いように学習することで、モデルの認識性能を飛躍的に改善しました。

めざす未来

様々な医療機関の診療データや、複数の工場設備のメンテナンスデータなど、現実には不揃いで寄せ集めのデー
タが多く存在します。本研究によって、これらのデータが活用が容易になり、従来の深層学習の枠組みを越えたデータ活用による、新たなサービスの創出に貢献します。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学[1] 三鼓悠, 入江豪, 伊神大貴, 柴田剛志, “教師なしドメイン適応の一般化とその解法,” 第23回 画像の認識・理解シンポジウム（MIRU）, 2020.
[2] Y. Mitsuzumi, G. Irie, D. Ikami, T. Shibata, “Generalized Domain Adaptation,” in Proc. IEEE/CVF Conference on Computer Vision and
Pattern Recognition (CVPR), 2021.
[3] R. Tobias, R. Stiefelhagen, “Adaptiope: A Modern Benchmark for Unsupervised Domain Adaptation,” in Proc. IEEE/CVF WinterConference on Applications of Computer Vision (WACV), 2021.

連絡先
三鼓 悠 （Yu Mitsuzumi） メディア情報研究部 メディア認識研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 20

人 間の 科 学

関連文献

Relational data model with infinite flexibility

05 つながり関係からグループを見つける
無限の柔軟度を持つ関係データモデル

デー タと 学 習の 科 学

どんな研究ソーシャルネットワーキングサービスにおける利用者の繋がり関係や、商品群に対するユーザの購買履歴など、
ネットワーク・グラフを含む関係データは、我々の身近に現れます。本研究では、関係データの中に隠れたグループを見つけることを目的としています。

どこが凄い

関係データからグループを見つける際、グループの数やサイズを人手で適切に設定するのは困難です。そこで、グループの数やサイズを入力データのサイズや性質に応じてデータ駆動的に自動調整してくれる能力を持った関係データ解析手法を提案しました。

めざす未来

関係データの中に潜むグループを見つけ出すことによって、そのデータを特徴づける重要な性質を明らかにすることがあります。より大規模な関係データから適切なグループを見つけ出すことで、より効率的に情報を保管・探索・検索するため技術の発展へ貢献していきます。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学
人 間の 科 学

関連文献[1] M. Nakano, A. Kimura, T. Yamada, N. Ueda, “Baxter Permutation Process,” in Proc. Advances in Neural Information Processing
Systems 33 (NeurIPS), 2020.

連絡先
中野 允裕 （Masahiro Nakano） メディア情報研究部 メディア認識研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

21 ｜ オープンハウス2021

Acceleration of feature selection with group regularization

06 データから高速かつ正確に特徴を見つけます
グループ正則化付き特徴選択の高速化

データ分析において、データから重要な特徴のグループを見つけることは基本的なタスクの一つです。しかし、データの規模が大きいとその計算に時間がかかってしまいます。本研究では、特徴グループの選択において精度を劣化させずに高速化を実現しました。

どこが凄い

本技術は不要な計算を安全にスキップし、重要そうなグループを重点的に最適化することで、標準的な手法と比較して精度を維持したまま最大35倍の高速化に成功しました。また、本技術は追加のハイパーパラメータがないため、追加のチューニングコストも不要です。

めざす未来

グループをはじめとした複雑な構造を持つデータの分析を高速化することで、複雑かつ大規模なデータから価値を創出できるようになります。本研究を発展させることにより、多種多様なデータから価値を創出し社会へ還元できる未来の実現をめざします。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学[1] Y. Ida, Y. Fujiwara, H. Kashima, “Fast Sparse Group Lasso,” in Proc. Neural Information Processing Systems (NeurIPS), 1700-1708,
2019.
[2] 井田安俊, 藤原靖宏, 鹿島久嗣, “Sparse Group Lassoのための高速なBlock Coordinate Descent,” 人工知能学会論文誌, 36(1), 2021.

連絡先
井田 安俊 （Yasutoshi Ida） ソフトウェアイノベーションセンタ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 22

人 間の 科 学

関連文献

Distributed learning algorithm and medical application

07 データを漏洩させない機械学習

革新的な非同期分散型学習アルゴリズムと医療画像への応用

デー タと 学 習の 科 学

どんな研究

１か所に集約したデータを使ってモデルを学習することが一般的です。しかし、データ量の激増やプライバシー
保護の観点からデータ蓄積や学習／推論処理は分散化されるでしょう。データを各ノード（例：基地局）から外に出すことなく、機械学習モデルを学習する手法を提案します。

どこが凄い

分散蓄積されたデータは、統計的に偏っていると仮定することが自然です（例：一部クラスのデータが存在しない）。その状況で、ノード同士がモデル等の変数を非同期に交換（通信）しながら、全データを使って学習したかのようなグローバルモデルを得るアルゴリズムを開発しました。

めざす未来

地域／国／世界中のデータ全体を間接的に取り扱えるようにすることで、プライバシーを保護しながらも、高度な知を形成したり、高性能なサービス（例：医療）を提供できるようにしたいです。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学
人 間の 科 学

関連文献[1] J. Chen, A. H. Sayed, “Diffusion adaptation strategies for distributed optimization and learning over networks,” IEEE Transactions
on Signal Processing, Vol. 60, No. 8, pp. 4289–4305, 2012.
[2] B. McMahan, E. Moore, D. Ramage, S. Hampson, B. A. y Arcas, “Communication–efficient learning of deep networks fromdecentralized data,” in Proc. Artificial Intelligence and Statistics (AISTATS 2017), pp. 1273–1282, 2017.
[3] K. Niwa, N. Harada, G. Zhang, W. B. W Kleijn, “Edge-consensus learning: deep learning on P2P networks with nonhomogeneous data,”
in Proc. the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD 2020), pp. 668–678, 2020.
[4] National Institutes of Health (NIH) clinical center, ChestXray14 data set.

連絡先丹羽 健太 （Kenta Niwa）協創情報研究部 知能創発環境研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp
23 ｜ オープンハウス2021

People flow reconstruction based on anonymous sensor data

08 街における感染リスクを可視化します
匿名センサ情報に基づく人流推定手法

感染者の移動経路を知ることで街における感染リスクを把握できますが、個人の移動情報の収集にはプライバ
シーの問題があります。本研究では、プライバシーに配慮しながら感染リスクを把握するために、街における匿名化された通過情報から感染者の移動経路集合を推定する手法を考案しました。

どこが凄い

移動経路をより良く推定するためには、匿名化された通過情報を正しく説明する人々の経路パターンからより適切なものを選ぶ必要があります。本技術では、人の移動の背景にあるモデルを考慮し、通過情報間の相関関係を調べることで、推定精度を高めることができました。

めざす未来

これから実現されるスマートシティにおいて、感染症対策は街が担う機能の1つとして考えられています。本
技術によって、個人の移動経路という個人情報を収集することなく、匿名化して収集した情報から街にいる
人々の感染リスクを推定することができます。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学[1] 松田康太郎, 池内光希, 高橋洋介, 豊野剛, “感染経路を推定可能なスマートシティ基盤の実現に向けた匿名センサ情報に基づく人流推定手法,”
ネットワークシステム研究会, 2020.

連絡先
松田 康太郎 （Kotaro Matsuda） ネットワーク基盤技術研究所
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 24

人 間の 科 学

関連文献

Economic rationality makes cloud quantum computing reliable

09 欲張りが提供する量子クラウドはちゃんと動く
経済合理性に従うクラウド量子計算サーバは信頼できるデ ー タと 学 習の 科 学

どんな研究

量子コンピュータをクラウド方式で運用する際、ユーザがサーバから受け取る計算結果の正しさを保証する手法についての研究です。量子コンピュータにはノイズの影響を受けやすいという性質があるため、実用的なク
ラウド量子計算の実現には、そのような保証機能の実現が不可欠です。

どこが凄い

保証機能を既存の通信技術で実現する場合、従来手法では、量子コンピュータの動作を短時間に制限する必要があります。今回、我々は、経済合理性の概念を導入し、短時間制限を取り除くことに成功しました。本成果は従来よりも幅広い量子コンピュータアーキテクチャに適用可能です。

めざす未来

我々の手法を発展させることで、既存の（古典）ネットワークに大規模量子コンピュータを組み込むことをめざします。これにより、大規模量子コンピュータが実現した際、世界中誰でもどこからでも量子コンピュータの恩恵を受けられるようなネットワークの構築が可能になります。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学
人 間の 科 学

関連文献[1] Y. Takeuchi, T. Morimae, S. Tani, “Sumcheck-Based Delegation of Quantum Computing to Rational Server,” in Proc. the 16th
International Conference on Theory and Applications of Models of Computation (TAMC), 2020.

連絡先
竹内 勇貴 （Yuki Takeuchi） メディア情報研究部 情報基礎理論研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

25 ｜ オープンハウス2021

Neural rhetorical structure parsing with pseudo-labeled data

10 文章の隠れた構造を見える化します

疑似正解データを活用したニューラル修辞構造解析

文書において、文書内のそれぞれの文どうしは意味を構成するために関わりがあります。こうした文と文の間の意味関係を明らかにする修辞構造理論は、文書をラベル付き木としてあらわします。本展示ではそれを自動で解析する修辞構造解析技術についてご説明します。

どこが凄い

修辞構造解析技術は教師あり学習を用いているため、性能の向上には人手で作成した正解データが大量に必要でした。提案法では既存の自動解析結果を組み合わせて疑似的な学習データを作ります。これにより、人手コ
ストをかけることなく解析性能を向上できます。

めざす未来

文脈を解釈することでより自然な要約や 翻訳を実現することができます。修辞構造解析技術はこうした文脈を解釈する処理の基盤となります。本技術をさらに発展させ実用に耐えうる解析器を実現することで、要約や翻訳の性能向上をめざします。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学[1] N. Koabayashi, T. Hirao, H. Kamigaito, M. Okumura, M. Nagata, “Improving Neural RST Parsing Model with Silver Agreement
Subtrees,” in Proc. 2021 Annual Conference of the Noth American Chapter of the Association for Computational Linguistics, 2021.

連絡先
平尾 努 （Tsutomu Hirao） 協創情報研究部 言語知能研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 26

人 間の 科 学

関連文献

Fusing two experts for enhancing their specialties

11 専門家が二人一役で話します

話者融合による専門性の統合と学び合い

デ ー タと 学 習の 科 学

どんな研究

観光ガイドが観光地と外国語に詳しいなど、対話サービスでは複数分野に秀でたオペレータが必要な場合がありますが、そのような人は希少です。 本展示では、秀でた分野の違うオペレータが一緒に話すことで高度な問題を解決したり、実践を通して成長できる協働スタイルを提案します。

どこが凄い

精通分野の異なる二人のオペレータが二人一役で話す協働スタイルを提案しました。このスタイルにより、オペレータは複数の分野に跨る高度なサービスを提供できるようになり、また他者との協働をスムーズに進めたり、他者からの学びを感じられるようになることがわかりました。

めざす未来

少子高齢化や人口減少のため、主婦や高齢者など多様な人材の就労機会の促進が課題となっています。多様な人材が協働できる対話サービスを構築することで、より専門的なサービスを実現するとともに、多くの人の就
労と成長を支援する社会をめざします。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学
人 間の 科 学

関連文献[1] T. Arimoto, R. Higashinaka, K. Tanaka, T. Kawanishi, H. Sugiyama, H. Sawada, H. Ishiguro, “Collection and analysis of dialogues
provided by two speakers acting as one,” in Proc. the 21th Annual Meeting of the Special Interest Group on Discourse and Dialogue(SIGDIAL), pp. 323-328, 2020.
[2] 有本庸浩, 東中竜一郎, 田中宏, 川西隆仁, 杉山弘晃, 澤田宏, 石黒浩, “二人の話者が一人の話者として対話することによる対話内容・満足度への影響,” 第88回 言語・音声理解と対話処理研究会, pp.16-21, 2020.

連絡先
有本 庸浩 （Tsunehiro Arimoto） 協創情報研究部 インタラクション対話研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

27 ｜ オープンハウス2021

Bridging doctor-patient rapport through a chatbot

12 人から人への信頼を橋渡しするチャットボット
ユーザの悩みを専門家に届けるチャットボットの設計と評価

大きな悩みを抱える人は専門家の見解を仰ぐことが重要であるにも関わらず、社会との関わりに疎く専門家に助けを求めない傾向があります。そこで、他者に直接相談しづらい悩みを、対話エージェントを用いて打ち明
けやすくし、その内容を専門家へ伝えることを支援する対話エージェントを開発しました。

どこが凄い

対話エージェントに関する従来研究は、人とエージェントの関係に焦点を当てたものが大半で、人同士をつなげることをめざした研究は世界的にも例を見ません。トラスト・トランスファー理論を活用することで、信頼関係を媒介する対話エージェントを開発し、その有効性を確認しました。

めざす未来

情報技術の普及によって誰とも簡単につながることができる半面、人間関係の希薄化や分断、孤立化が問題になっています。そこで、人と人の信頼関係を橋渡しする対話エージェントを用いて人間関係を再構築することによって、孤立化を防ぐインクルーシブな社会の実現に貢献します。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学[1] Y. Lee, N. Yamashita, Y. Huang, “Designing a Chatbot as a Mediator for Promoting Deep Self-Disclosure to a Real Mental HealthProfessional,” in Proc. ACM Hum.-Comput. Interact. 4, CSCW1, Article 031, (CSCW'20), ACM, pp.1-27, 2020.
[2] Y. Lee, N. Yamashita, W. Fu, Y. Huang, ““I Hear You, I Feel You”: Encouraging Deep Self-disclosure through a Chatbot,” in Proc. the2020 CHI Conference on Human Factors in Computing Systems (CHI '20), ACM, pp.1–12, 2020.

連絡先
山下 直美 （Naomi Yamashita） 協創情報研究部 インタラクション対話研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 28

人 間の 科 学

関連文献

Development of transformer-based conversational systems

13 楽しくおしゃべりできる対話システムの作り方
大規模深層学習に基づく雑談対話システムの構築と課題分析

デ ー タと 学 習の 科 学

どんな研究

自然な雑談を通して人の対話欲求を充足させる、雑談システムの研究に取り組んでいます。本展示では、事前学習と呼ばれる大規模データを利用する技術と、長年に渡るNTTの雑談システム研究で培った大規模対話デー
タに基づく高性能な日本語大規模雑談システムについて、到達点と課題をご紹介します。

どこが凄い

日本語最大規模の対話データを用いた学習により、最新の英語システム相当の日本語雑談システムを開発し、雑談システムのコンペで最優秀賞を獲得しました。また、構築したシステムの発話について定量的分析を行い、矛盾や不連続な話題の飛びなど、今後の改善に向けた指針を明らかにしました。

めざす未来

他者と言葉を交わしてつながりたい、という対話への欲求は、私たち人間の根源的な欲求の一つだと考えています。私たちが望むときに、いつでも、気楽に、どんな話題についても話せる相手。そんな対話欲求を継続的に満たし続ける、パートナーとなりうる雑談システムの実現をめざしています。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学
人 間の 科 学

関連文献[1] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, 千葉祐弥, 目黒豊美, 中嶋秀治, “Transformer encoder-decoder モデルによる趣味雑談システムの構
築,” 言語・音声理解と対話処理研究会 (SIG-SLUD), Vol. B5, No. 02, pp. 104-109, 2020.
[2] 杉山弘晃, 水上雅博, 成松宏美, “複数ロボット協調による一問一答型雑談対話からの脱却,” 第32回人工知能学会全国大会, 2018.

連絡先
杉山 弘晃 （Hiroaki Sugiyama） 協創情報研究部 インタラクション対話研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

29 ｜ オープンハウス2021

Non-contact sound measurement by precision interferometry

14 光の位相で微弱な音を捉えます
精密光干渉計による非接触音場計測

マイクロホンでは実現困難な多様な音計測を実現する手段として光を用いた方法が注目されています。本研究では、NTT物性科学基礎研究所量子光デバイス研究グループと共同で、精密光計測技術を用いた従来よりも遥
かに低雑音な音場計測技術を実現しました。

どこが凄い

音と雑音成分の物理的な特徴の違いに着目して、音に対する感度を最大化しつつ雑音を低減する差動型ミッド
フリンジロック干渉計による音計測技術を提案しました。本技術を高安定レーザ技術と組み合わせることで、従来の方法に比べて計測雑音の振幅を1/30に低減しました。

めざす未来

従来の音計測ではセンサとして用いるマイクロホン自身の大きさ・不安定さに起因する空間分解能・計測精度の限界が存在します。光学分野で培われた精密計測技術を応用することで、音空間の3次元計測、リモートセンシング、超高精度計測など音計測の飛躍的な進歩を実現させます。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学

メ ディ ア の 科 学[1] 石川憲治, 白木善史, 守谷健弘, 石澤淳, 日達研一, 小栗克弥, “光差動検出によるミッドフリンジロック干渉計の低雑音化,” 日本音響学会講演論
文集, 2021.
[2] 石川憲治, 白木善史, 守谷健弘, 石澤淳, 日達研一, 小栗克弥, “ミッドフリンジロック干渉計によるシンプルかつ低雑音な光音響計測法,” 日本音響学会講演論文集, 2020.

連絡先
石川 憲治 （Kenji Ishikawa） メディア情報研究部 情報基礎理論研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 30

人 間の 科 学

関連文献

Joint signal separation, dereverberation and noise reduction

15 騒がしい生活環境で、音声だけ高品質に取り出す
音源分離・雑音抑圧・残響抑圧の全体最適化

デ ー タと 学 習の 科 学

どんな研究

がやがやとした生活環境において、音声端末が人間の声を高精度に音声認識するには、マイクに混入する雑音や残響を取り除き (雑音抑圧・残響抑圧)、複数の人の声を聞き分ける必要があります (音源分離)。この展示ではこれら３つの問題を統合的に解決する新技術を紹介します。

どこが凄い

現在の最先端技術は、音源分離・雑音抑圧・残響抑圧の3技術を別々に最適化するため、雑音や残響が大きい
環境において、音声を高品質に取り出すことができませんでした。これら3技術を統合し全体最適化すること
で、音声を高品質に取り出し、音声認識性能を大きく改善しました。

めざす未来

マイクで収録した音から各話者の音声を高品質に取り出す技術は、スマートスピーカや対話ロボットといった音声端末 (コンピュータ) の基盤をなす技術です。駅・街頭・ショッピングモールなどの生活環境において、人とコンピュータが円滑に対話できる世界の実現に寄与します。

コ ミュニ ケ ー ション と 計 算 の 科 学

メ ディ ア の 科 学
人 間の 科 学

関連文献[1] T. Nakatani, C. Böddeker, K. Kinoshita, R. Ikeshita, M. Delcroix, R. Haeb-Umbach, “Jointly optimal denoising, dereverberation, andsource separation,” in Proc. IEEE/ACM Trans. Audio, Speech, Language Process., vol. 28, pp. 2267-2282, 2020.
[2] R. Ikeshita, T. Nakatani, S. Araki, “Block coordinate descent algorithms for auxiliary-function-based independent vector
extraction,” in Proc. IEEE Trans. Signal Process., 2021, to appear.
[3] R. Ikeshita, T. Nakatani, “Independent vector extraction for fast joint blind source separation and dereverberation,” in Proc. IEEE
Signal Process. Lett., 2021, to appear.

連絡先
池下 林太郎 （Rintaro Ikeshita） メディア情報研究部 信号処理研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

31 ｜ オープンハウス2021

Crossmodal learning for concept acquisition of human movements

16 TVを視聴するだけで賢くなるAI
クロスモーダル学習による動作概念の獲得

大量データの準備には、手間がかかったり、データの入手自体が難しかったり、クラスラベルの付け方を事前に設計することが難しかったりします。この展示では、TV放送のようなメディアデータだけから、モノやコトの概念を自動獲得するAIを、より高度な認識や検索に活用する研究を紹介します。

どこが凄い

教師ラベルなしで映像における動作とそれを説明する話し言葉を時空間で対応付け、概念に相当する特徴表現を獲得する技術を考案しました。スポーツ実況の映像と音声データから、競技者の動作と実況の話し言葉の対応付けによる概念検索を実現しました。

めざす未来

TVを視聴するだけで、AIが音と映像を対応付けながら、知らないモノやコトを自ら学び、賢くなる未来をめざしています。音や映像、言語といったメディアの種類を横断する超大規模アーカイブ検索や自動アノテーショ
ンなどへの応用を検討しています。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学

メ ディ ア の 科 学[1] Y. Ohishi, A. Kimura, T. Kawanishi, K. Kashino, D. Harwath, J. Glass, “Trilingual Semantic Embeddings of Visually Grounded Speechwith Self-attention Mechanisms,” in Proc. International Conference on Acoustics, Speech and Signal Processing (ICASSP) 2020.
[2] Y. Ohishi, A. Kimura, T. Kawanishi, K. Kashino, D. Harwath, J. Glass, “Pair Expansion for Learning Multilingual Semantic Embeddings
using Disjoint Visually-grounded Speech Audio Datasets,” in Proc. Interspeech 2020.
[3] Y. Ohishi, Y. Tanaka, K. Kashino, “Unsupervised Co-Segmentation for Athlete Movements and Live Commentaries Using Crossmodal
Temporal Proximity,” in Proc. International Conference on Pattern Recognition (ICPR) 2020.

連絡先
大石 康智 （Yasunori Ohishi） メディア情報研究部 メディア認識研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 32

人 間の 科 学

関連文献

Emotional voice conversion via facial expression recognition

17 顔の表情でリアルタイムに声の表情をつくる
顔表情認識による音声変換技術

デ ー タと 学 習の 科 学

どんな研究

対話や講演において、心理的な緊張状態や能力的な限界などにより思うような話し方で話せない場面があります。本研究では、入力音声の話し方の雰囲気（表情）を、顔の表情や体の動作により制御することを目的としたクロスモーダル音声表情変換の問題に初めて取り組みました。

どこが凄い

話し方の表情は声質・抑揚・リズムによって決まります。従来技術の多くは声質のみの変換を行いますが、わ
れわれの音声変換技術は、声質とともに抑揚やリズムの変換も可能にします。この技術と顔表情識別技術を組み合わせ、顔画像を用いて声の表情を変換する技術を実現しました。

めざす未来

人と人とのコミュニケーションには、物理的・能力的・心理的な状態に起因する様々な形の制約が存在します。
本研究では、このような制約を取り除き、あらゆる人が自由に快適にコミュニケーションを行える環境を実現することをめざしています。

コ ミュニ ケ ー ション と 計 算 の 科 学

メ ディ ア の 科 学
人 間の 科 学

関連文献[1] H. Kameoka, K. Tanaka, T. Kaneko, N. Hojo, “ConvS2S-VC: Fully convolutional sequence-to-sequence voice conversion,” IEEE/ACM
Transactions on Audio, Speech, and Language Processing, pp. 1849-1863, June 2020.
[2] K. Tanaka, H. Kameoka, T. Kaneko, N. Hojo, “AttS2S-VC: Sequence-to-sequence voice conversion with attention and context
preservation mechanisms,” in Proc. 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2019), pp.
6805-6809, May 2019.
[3] M. Shervin, M. Minaei, and A. Abdolrashidi, “Deep-emotion: Facial expression recognition using attentional convolutional network.”
Sensors 21.9:3046, 2021.

連絡先
田中 宏 （Kou Tanaka） メディア情報研究部 メディア認識研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp
33 ｜ オープンハウス2021

Touched places detection using heat traces by thermography

18 コロナ禍で知りたい：みんなが触ったのはどこ？
サーマルカメラによるモノタッチ判定とその実環境投影

コロナウイルス対策の一つとして環境表面（公共の場所の扉や棚など）の定期的な消毒があります。しかし、扉や棚のどこが触られているのか、消毒した後どれぐらい触られているのか、知る方法はありません。この展
示では、人が触った場所を投影して可視化するシステムを紹介します。

どこが凄い

人がモノに触れると、人の体温がモノの表面に熱痕跡として残ります。本展示はその残った熱をサーモグラフィ
カメラで撮影することで、人が触れた場所を検出しています。近赤外カメラとサーモグラフィカメラを組み合わせることで、軽量なアルゴリズムで検出を可能にしています。

めざす未来

本技術で検出した人が触れた場所を実際のモノの上に投影して表示すると、その場所を一目で理解できます。
ウイルスの可視化はできませんが、他人が触れた場所を避けたり、消毒し、少しでも安心できないかと考えています。感染者が触れた場所の追跡、消毒の効率化にも有効でしょう。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学

メ ディ ア の 科 学[1] Y. Kishino, Y. Shirai, Y. Yanagisawa, K. Ohara, S. Mizutani, T. Suyama, “Identifying Human Contact Points on Environmental Surfaces
using Heat Traces to Support Disinfect Activities,” SenSys2020 COVID-19 Pandemic Response, 2020.
[2] 白井良成, 岸野泰恵, 柳沢豊, 尾原和也, 水谷伸, 須山敬之, “Alertable Surfaces: ウイルスの付着を警告可能な実環境,” 第28回インタラクティ
ブシステムとソフトウェアに関するワークショップ(WISS2020), 2020.

連絡先
岸野 泰恵 （Yasue Kishino） 協創情報研究部 知能創発環境研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 34

人 間の 科 学

関連文献

Biomedical sound analysis utilizing physical characteristics

19 テレ聴診器：音で体の中を診る
生体の物理的性質を活用した生体音響解析

デ ー タと 学 習の 科 学

どんな研究

生体から出る音を収集して解析することにより、身体の機能や状態に関する有用な情報を得ることができると期待されます。本研究では数多くの音響センサで同時多面的にとらえた胸部の生体音を基に、循環器や呼吸器の機能や状態を推定することを目的としています。

どこが凄い

時間の経過を追って収集された多チャンネルの音を言語に直接翻訳する情報変換モデルを提案しました。また
心臓の弁の運動や心室の容積と圧力との関係といった、対象（生体器官）の物理的性質を活用することで、心臓の状態や３Ｄ形状を精度良く推定することも可能になりました。

めざす未来

音以外の様々な情報とも組み合わせ、人の身体の機能や状態を個人ごとにモデル化したデジタルツインを構築できると考えられます。その精度を高めることで、日常生活における病気の早期発見や予防を通じてウェルビー
イングの向上を支援する「AI聴診器」の実現をめざします。

コ ミュニ ケ ー ション と 計 算 の 科 学

メ ディ ア の 科 学
人 間の 科 学

関連文献[1] 柏野邦夫, 中野允裕, 渋江遼平, 塚田信吾, 友池仁暢, “心音に対する説明文の自動生成,” 情報科学技術フォーラム, 2020.
[2] S. Ikawa, K. Kashino, “Neural audio captioning based on conditional sequence-to-sequence model,” in Proc. Workshop on Detection
and Classification of Acoustic Scenes and Events (DCASE), 2019.
[3] M. Nakano, R. Shibue, K. Kashino, S. Tsukada, H. Tomoike, “Gaussian process with physical laws for 3D cardiac modeling,” in Proc.
European Signal Processing Conference (EUSIPCO), pp. 1452-1456, 2020.

連絡先
柏野 邦夫 （Kunio Kashino） メディア情報研究部
Email: cs-openhouse-ml@hco.ntt.co.jp

35 ｜ オープンハウス2021

Prediction and demonstration via life history theory

20 少子化が人口密度に関係するってホント！？
生活史戦略による予測と実証

少子高齢化は深刻な社会問題のひとつです。この研究では、国勢調査等の公開統計データを分析し、人口密度の高い地域では少子長寿傾向のあることがわかりました。競争の激しい状況では、子どもの成功のために、数を減らしてひとりあたりへの投資を増やすためであると考えられます。

どこが凄い

少子化については、出産・保育制度や就業・経済状況など、社会経済的観点から議論されることが多いようです。一方、ここでは生物学的観点から少子化の問題にアプローチしています。そうすることでこれまで見えてこなかった少子高齢化の本質的理解が進みます。

めざす未来

過去50年間、日本だけではなく、世界中で少子高齢化が進行しています。本研究では多角的な視点で現象を理解し、本質的な解決策立案や解決策のための基礎知見を提供していきます。そうして、人類および地球環境全体の持続的発展に寄与していきたいと考えています。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学[1] 松田昌史, 小林哲生, “人口密度および経済状況と人々の生活史戦略 ～ WEB調査を用いた分析 ～,” 信学技報, Vol. 119, No. 394,
HCS2019-69, pp. 89-92, 2020年1月.
[2] 松田昌史, “日本の少子高齢化と人口密度 ～ 都道府県レベルと市区町村レベルの比較 ～,” 信学技法, Vol. 118, No. 437, HCS2018-66, pp.
107-111, 2019年2月.

連絡先
松田 昌史 （Masafumi Matsuda） 協創情報研究部 インタラクション対話研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 36

人 間の 科 学

関連文献

Magnetact: A Magnetic force-based Tactile technology

21 磁場をうごかす・磁場がうごかす
磁性触覚技術マグネタクトの発展と応用

デ ー タと 学 習の 科 学

どんな研究

永久磁石を触覚提示に利用する磁性触覚技術「マグネタクト」は、電源や配線が不要なため低コストでの触覚提示を実現します[1]。しかし、複雑な磁場パターンの書き込みには相応の時間が必要でした。この展示では、複雑な磁場パターンを生成する新しい手法とその応用を紹介します。

どこが凄い

単純な磁場パターンの磁性シートを積層し、磁場を干渉させることで複雑な磁場パターンを生成する手法を確立しました[2]。これにより、着磁に必要な時間が大幅に短縮されるだけでなく、磁性シートどうしの位置を変えることによる提示磁場の動的な制御も可能にしました。

めざす未来

このマグネタクトの進化は、触覚コンテンツの実装コストを下げ、表現の幅を大きく広げます。これにより、
子供用の工作キット[3]や絵本はもちろん、本技術を組み込んだポータブルデバイスやウェアラブルデバイス
による多彩な触覚表現やVRコンテンツの実現も期待されます。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学

人 間の 科 学

関連文献[1] K. Yasu, “Magnetic plotter: a macrotexture design method using magnetic rubber sheets,” in Proc. the 2017 CHI Conference on
Human Factors in Computing Systems (CHI '17), 2017.
[2] K. Yasu, “MagneLayer: force field fabrication by layered magnetic sheets,” in Proc. the 2019 CHI Conference on Human Factors in
Computing Systems (CHI '20), 2020.
[3] K. Yasu, M. Ishikawa, “Magnetact Animals: a simple kinetic toy kit for a creative online workshop for children,” in Proc. CHI EA '21,
Article. No. 198, pp. 1–4, 2021.

連絡先
安 謙太郎 （Kentaro Yasu） 人間情報研究部 感覚表現研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

37 ｜ オープンハウス2021

Simple method for modulating tactile texture

22 硬い物体も柔らかく、粗い物体もなめらかに触錯覚を応用した簡便な実物体の触感変調手法

様々な素材を人工的に再現することで豊かな触感を提示するのは未だ困難な問題です。本研究ではベルベット
ハンド錯覚という触感の錯覚現象に着目・応用することで、触れている素材は同じなのにその触感を錯覚的に変えてしまう手法を考案しました。

どこが凄い

ベルベットハンド錯覚では触れているワイヤの触感がまるで布のように柔らかく錯覚されていることを定量的に示しました。更にその現象をワイヤではなく任意の物体に対して適用し、その触感がまるで別の素材になったかのように実際より柔らかく滑らかに錯覚させる手法を考案しました。

めざす未来

この触感変調を自在に制御することが可能になれば、様々な触感を人工的に提示する技術が実現できると期待されます。また、提案手法は簡単に触感を変化させることができるため、製品設計や店頭実演など様々な場面での活用が期待されます。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学[1] T. Yokosaka, S. Kuroki, S. Nishida, “Describing the sensation of the 'velvet hand illusion' in terms of common materials,” IEEE
Transactions on Haptics, DOI:10. 1109/TOH, 2020. 3046376. Online ahead of print.
[2] T. Yokosaka, Y. Suzuishi, S. Kuroki, “Feel illusory texture through a hole: Rotating stimulus modulates tactile sensation for touchedobject’s surface,” in Proc. EuroHaptics2020 (WIP137), 2020.

連絡先
横坂 拓巳 （Takumi Yokosaka） 人間情報研究部 感覚表現研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 38

人 間の 科 学

関連文献

Empathetic telecommnunication by vibrotactile transmission

23 触れる感覚が距離を越えて心をつなげます
触覚伝送による共感的な遠隔コミュニケーションの実現

デ ー タと 学 習の 科 学

どんな研究コロナ禍で身体的なコミュニケーションが失われつつある中、遠隔時代でも気持ちを共有する共感的コミュニ
ケーションを再構築するために、3つのフレームワークのデザインを解決手段としスポーツの場で遠隔地の家族がハイタッチの体験をする「リモートハイタッチ」を実現しました。

どこが凄い社会の中で共感的コミュニケーションを実現するための枠組みとして、体験する人や体験の流れまで含めたス
トーリーのデザイン、触覚伝送を下支えする技術、そして関係する人々を包摂的に巻き込むコンテクストの3つの要素に整理し、実例をもってその有効性を示すことができました。

めざす未来

触覚伝送技術の標準化によって、遠くの人とでもお互いの存在を伝えあい、一緒にいるという感覚を感じられるコミュニケーションを誰でも実現できる社会をめざします。同時に個々人に沿った体験や、取り巻く周囲の人々が主体的に関われるような枠組みを創造します。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学

人 間の 科 学

関連文献[1] 早川裕彦, 大脇理智, 石川琢也, 南澤孝太, 田中由浩, 駒崎掲, 鎌本優, 渡邊淳司, “高実在感を伴う遠隔コミュニケーションのための双方向型視聴
触覚メディア「公衆触覚伝話」の提案,” 日本バーチャルリアリティ学会論文誌, Vol. 25, No. 4, 2020.
[2] 渡邊淳司, “触れてつながる心と社会,” 電気学会誌, 141巻, 2号, 2021.

連絡先
駒﨑 掲、渡邊 淳司 （Kakagu Komazaki, Junji Watanabe）人間情報研究部 感覚共鳴研究グループ
鎌本 優（Yutaka Kamamoto）メディア情報研究部 情報基礎理論研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

39 ｜ オープンハウス2021

Oxytocin as a neural regulator of maternal implicit approach

24 お母さんが赤ちゃんの泣き声に近寄るワケ

母親の無意識な接近を制御する神経基盤因子オキシトシン

乳乳児の声、特に泣き声は母親の乳児への接近行動を促すことが知られていますが、そのメカニズムは明らかにされていません。本研究では、乳児の声に対する母親の無意識な接近行動に着目し、それを引き起こす要因
や、個人差を生ずるメカニズムを明らかにしました。

どこが凄い

母親の重心移動を測定することで、無意識な接近行動の定量化に初めて成功しました。これによって、緊急性が高いと感じる乳児の泣き声に母親は接近し、母親の養育意欲に関連するホルモンであるオキシトシン量が少ないほど接近行動が顕著であることを発見しました。

めざす未来

無意識な重心移動やオキシトシン量の測定は個人差を客観的に評価できる手法です。これを主観評価と組み合
わせ、母子間関係のメカニズムを解明することで家族のwell-being、そして社会全体のwell-being実現に繋がると考えています。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学[1] 平岡大樹, 大石悠貴, 麦谷綾子, 野村理朗, “乳児の声は母親を惹きつけるのか? 乳児音声刺激に対する母親の重心動揺とオキシトシンレベルの関連,” 日本赤ちゃん学会第18回学術集会, 2018.
[2] 大石悠貴, 平岡大樹, 野村理朗, 麦谷綾子, “母親の接近-回避行動と乳児音声に含まれる感情の関係,” 第42回日本神経科学大会, 2019.

連絡先
大石 悠貴 （Yuuki Ooishi） 人間情報研究部 感覚共鳴研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 40

人 間の 科 学

関連文献

Relation between microsaccades and auditory spatial attention

25 眼にあらわれる音への注意
微小眼球運動と聴覚空間注意

デ ー タと 学 習の 科 学

どんな研究

眼は様々な心の状態を反映します。興味を惹く対象に視線が向くだけでなく、無意識に生じる微小眼球運動（マイクロサッカード）が潜在的注意の方向やタスクへの集中度などを反映することが知られています。このマイクロサッカードと聴覚の空間的注意との関連について調べました。

どこが凄い

聴覚の注意の方向に応じてマイクロサッカードが変動し、その特性が聴覚タスクの成績とも関連することを発見しました。マイクロサッカードと視覚的注意の関連は多くの研究で示されていますが、聴覚的注意の方向や聴覚系の情報処理とも関連することを新たに発見しました。

めざす未来

人の注意状態を外部からの観測により推定する技術の確立をめざします。パーティー会場でどの声に注意を向けているのかといった情報を眼から読み取れるようになるかもしれません。人がその時々に応じて適切に注意を振り分けるメカニズムの解明につながることも期待しています。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学

人 間の 科 学

関連文献[1] S. Yamagishi, S. Furukawa, “Simultaneous measures of auditory brainstem frequency following response, pupillary response, andmicrosaccade during auditory selective attention task,” in Proc. 42nd Association for Research in Otolaryngology (ARO) MidwinterMeeting, 2020.
[2] 山岸慎平, 古川茂人, “聴覚の選択的注意と微小眼球運動（マイクロサッカード）の関係,” 日本音響学会聴覚研究会, 2020.

連絡先
山岸 慎平 （Shinpei Yamagishi） 人間情報研究部 感覚表現研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

41 ｜ オープンハウス2021

Professional drivers always blink at the same time over laps

26 レースドライバーのもつ瞬きのパターン

実車運転競技中の瞬目同調から示唆される視覚情報の重要性

超高速で走るフォーミュラカーを操るドライバーは、外界の情報をどのように処理しているのでしょうか？本
研究では無意識におこる瞬目（まばたき）に着目し、日本のトップドライバーがサーキット周回中に見せる心理・認知状態の変化を調べました。

どこが凄い

周回速度があがると、コース上で瞬目する場所に偏りが生じ、かつドライバー間でもその偏り方が共通することがわかりました。トップレーサーが、周回速度が速くなるにしたがってよりメリハリをつけて心理・認知状
態を調節しながらマシンを操っている様子を初めて明らかにしました。

めざす未来

無意識に生じる生理現象を通して、熟練者が自らも理解していない心理・認知状態を読み解くことをめざしています。優れたパフォーマンスを支える脳の潜在的な情報処理を明らかにすることで、多くの人々の技能向上が容易に実現できる社会を実現します。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学[1] R. Nishizono, N. Saijo, M. Kashino, “Synchronization of Spontaneous Eyeblink during Formula Car Driving”, in Proc. The 13th ACM
Symposium on Eye Tracking Research and Applications (ETRA), 2021.

連絡先
西薗 良太 （Ryota Nishizono） 柏野多様脳特別研究室
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 42

人 間の 科 学

関連文献

Eye-hand coordination in motor learning

27 「ボールをよく見て！！」の本当の意味
腕運動学習に寄与する目と腕の協調関係

デ ー タと 学 習の 科 学

どんな研究

人の巧みな“ふるまい”の実現に、運動学習は欠かせません。特にスポーツシーンなど複雑な環境下では、様々な場所に目を向けながら、新規の腕運動スキルを獲得・発揮することが求められます。本研究では、視線方向が腕運動学習と密接に関連していることを世界で初めて発見しました。

どこが凄い

運動における目の重要性は、従来多く語られてきましたが、その多くが“目標に目を向けることの優位性”に限定されてきました。本研究は、中心視でも周辺視でも、学習中に用いる視線と腕運動の位置関係が、獲得される腕運動スキルの重要な内部表現となっていることを解明しました。

めざす未来

本成果は、腕運動学習における視線の重要性について、新たな考え方を提案するもので、学習メカニズムの解明に向けて、大きなパラダイムシフトを引き起こすものです。また、スポーツトレーニングやリハビリテーショ
ンプログラムなど、実社会の学習問題への活用もめざしていきます。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学

人 間の 科 学

関連文献[1] N. Abekawa, S. Ito, H. Gomi, “Different learning and generalization for reaching movements in foveal and peripheral vision,” inProc. Adv. Mot. Learn. Mot. Control, 2019.
[2] N. Abekawa, S. Ito, H. Gomi, “目と腕の空間関係に依存して獲得される複数の腕運動スキル,” 日本神経回路学会 全国大会(JNNS2020),
2020.

連絡先
安部川 直稔 （Naotoshi Abekawa） 人間情報研究部 感覚運動研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

43 ｜ オープンハウス2021

Quantifying motor-skill performance using a smartphone

28 スマートフォンで運動能力を計る？
運動のばらつきで利き手かどうかを簡単判定

球技スポーツ等で利用される従来の利き手調査［１］は、矯正などに左右されやすく、実際の運動能力に基づいた定量的な測定を簡単に行うことが困難でした。本研究では、左右手の簡単な繰り返し運動を評価して利き手度合いを定量化する手法を生み出しました。

どこが凄い

従来の方法では専用機器で運動能力を計測するため、手軽に計測するのが困難でした。提案した方法ではスマー
トフォンを握って簡単な運動をするだけで運動能力を定量化でき、スポーツの現場でも手軽に、個人ごとに異なる利き手度合いの評価・判断が可能です。

めざす未来

運動能力を簡単に評価する手法をさらに発展させることにより、スポーツ種別に則したトレーニングや運動リ
ハビリでの左右バランスや学習効果を容易に「見える化」できることが期待されます。さらに、運動機能と脳情報処理の関係を探るツールとしての展開もめざしています。

デ ー タと 学 習の 科 学

どんな研究

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学[1] A. Takagi, S. Maxwell, A. Melendez-Calderon, E. Burdet, “The dominant limb preferentially stabilizes posture in a bimanual taskwith physical coupling,” Journal of neurophysiology, Vol. 123, No. 6, pp. 2154-2160, 2020.
[2] R. C. Oldfield, “The assessment and analysis of handedness: the Edinburgh inventory,” Neuropsychologia, 1971.

連絡先髙木 敦士 （Atsushi Takagi） 人間情報研究部 感覚運動研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス2021 ｜ 44

人 間の 科 学

関連文献

Brain mechanisms for quick judgment and motor control

29 豪速球を見極めて打つ脳力

素早い状況判断と運動制御を支える脳情報処理の仕組み

デ ー タと 学 習の 科 学

どんな研究

野球で時速150kmの豪速球を打つとき、打者は約0.4秒で球筋を見極めバットを操らなければなりません。しかし、正確な判断や運動には時間を要します。このような厳しい時間制約下でどのように判断と運動を両立させているのか、その脳情報処理の仕組みについて調べました。

どこが凄い

判断や運動の研究は個別に行われがちですが、両者は密接に関係すると考えられます。私たちは、判断と運動の関係性を評価するための打撃実験を行い、時間が厳しいと球筋を判断する効果は低下するが、その低下を補うために運動戦略を変える能力が重要であることを明らかにしました。

めざす未来

主に身体的な側面（体力面）から行われてきたアスリートの評価やトレーニングに対して、認知や運動制御など様々な脳の情報処理機能、いわば「脳力」面の評価や学習手法を確立することをめざしています。さらに、新たな才能発掘やスポーツ以外の領域での活用なども期待されます。

コ ミュニ ケ ー ション と 計 算 の 科 学
メ ディ ア の 科 学

人 間の 科 学

関連文献[1] 小林明美, 木村聡貴, “ヒッティング課題における認知戦略の影響,” 電子情報通信学会技術研究報告, Vol. 118, No. 470, pp. 37-42, 2019.
[2] 小林明美, 木村聡貴, “意思決定の挙動は運動の冗長性に影響される,” 計測自動制御学会ライフエンジニアリング部門シンポジウム2020,
2020.
[3] A. Kobayashi, T. Kimura, “Go/No-go decision making under severe time constraints interferes with hitting task performance,” inProc. The Society for Neuroscience 49th Annual Meeting, 2019.

連絡先
小林 明美 （Akemi Kobayashi） 柏野多様脳特別研究室
Email: cs-openhouse-ml@hco.ntt.co.jp

45 ｜ オープンハウス2021

NTT コミュニケーション科学基礎研究所
オープンハウス 2021 実行委員会（委 員 長） 新井賢一（副委員長） 加藤

豪

（委

智樹／丹羽

員） 大國

健太／リャオ

シンイ／那須大毅