オ ー プンハウス
2019

食堂入口

02
03
04
05
06
講演中継会場Ａ

07

01 08

食 堂

講演中継会場Ｂ
資料コーナー
26

09
10

休憩スペース

11

展示会場

16 17
12
13 14

喫煙所

28

27

23

19 20
18 21 22 24 25

29
30

講演会場

講演中継会場Ｃ

簡易休憩コーナー
クローク

受付

15

入口

データと学習の科学

コミュニケーションと計算の科学

メディアの科学

人間の科学

通行可能領域

講演会場

インフォメーション

トイレ

食堂

研究展示
データと学習の科学
01 混み具合いを学習して空いてる経路を見つけます 二分決定グラフを用いたオンライン最短経路アルゴリズム
02 AIによる空調制御でもっと省エネ・もっと快適 深層強化学習による環境再現・最適制御技術
03 都市の人口分布変動から人の移動を再現 時間別エリア人口データからの移動傾向推定技術
04 深層学習のボトルネック解消で精度を向上 深層学習における、より高い表現能力を持つ出力関数

05 データから学ぶ：どれが原因？どれが結果？ 教師あり学習に基づく時系列の因果推論
06 過去データの無い地点でも未来を予測 時空間データ解析のための時空間回帰テンソル分解法
07 いろいろな観点で欲しいものを見つけます グラフ索引型探索技術による絵本検索システム「ぴたりえ」

オープンハウス 2019

コミュニケーションと計算の科学
08 限界まで効率よくメッセージを送れます シャノン限界を達成する誤り訂正符号
09 新たな秘密がこれまでの秘密を脅かす 「量子情報を用いた秘密分散」の脆弱性の検証
10 文や段落の修飾関係を賢く判断 ニューラルネットによる階層的トップダウン修辞構造解析
11 ひらがなはいつからわかる？ 幼児の文字習得メカニズムを探る

12 「こころが動く、通う」をどう測る？ 主観・生理・行動からみた共感的コミュニケーションの分析
を集団から測る 共感的コミュニケーションの触覚的促進と多人数同時測定
13 「触れて深まる体感と共感」「いつ、
どこで、何をした」 ユーザ発話中のイベント理解に基づく雑談対話システム
14 ロボットと話そう

メディアの科学15 うるさい車内でも音声操作や会話をサポート 世界トップの集音技術・音声認識技術を実用化
16 少量の入出力ペアから高精度に音声認識を学習 音声合成を活用した半教師ありEnd-to-End学習
17 いつ、誰が、何を話した？全部で何人いた？ 何人の会話でも聞き分けられる深層学習モデル
18 声と話し方を好みのスタイルに変える 系列変換モデルに基づく声質と韻律の同時変換

19 顔に合わせて声を作り、声に合わせて顔を作る 深層生成モデルによるクロスモーダル音声変換
20 声と画像から知らないモノを学びとるAI 音声と画像によるクロスモーダル概念獲得
21 どんな音？物音を言葉で説明しよう 系列変換モデルに基づく音響信号からの説明文生成
22 音からものとかたちを認識 音と画像のクロスメディア情報処理によるシーン理解

5月

30

〈木〉

12:00〜17:30

31

〈金〉

9:30〜16:00

人間の科学
23 鳥の声で喋り、水の泡で演奏する 聴覚信号処理モデルを用いた音のテクスチャ変換
24 踊る紙人形 紙に動きの印象を与える錯覚
25 あなたの目の機能を気軽に楽しく測ります ミニゲームやタブレットを使った視覚能力のセルフチェック
26 勝者のメンタルとは？ 実戦環境での生理状態とパフォーマンスの関連性

27 速いボールを捉える脳のしくみ 視覚と身体の瞬間的な連携と「見守られる」をつなぎます 介護者記録用アプリ「みまもメイト」の記録共有による効果
28 「見守る」
29 身体が 見る 実世界の動きとは？ 自然統計で紐解く視覚運動制御の秘密
30 座っているけど歩行感 疑似歩行感が身体近傍空間を拡張する〒619-0237 京都府相楽郡精華町光台2-4（けいはんな学研都市）
TEL: 0774-93-5020 FAX: 0774-93-5015

会場：NTT 京阪奈ビル B 棟 3F・大会議室

京都府相楽郡精華町光台 2-4（けいはんな学研都市）

ご あ い さ つ「オープンハウス2 019」へようこそ

N T T コミュニケーション科学基礎研究 所
所長

山田

武士

昨今のA I 技 術の著しい進 歩は人々に夢を与えると同時に、それがもたらす予測し難い変化の兆しは時として人々を不安にします。折しも、元号が新たに「令 和」となり、オ
リンピック・パラリンピックを間近に控えた2019 年は時 代の変化 点と言えるかもしれません。

N T Tコミュニケーション科学基礎研究 所は、人と人、あるいはコンピュータと人の間の「こころまで伝わる」コミュニケーションの実現を目指し、時 代を先 取りした基 礎 研
究に取り組んでいます。

「オープンハウス2019」では、機 械 学習や 音 声音 響 処 理 から人間の 錯 覚やスポー
ツ脳科学まで、講演と展 示によって、最 新の研究成 果をわかりやすくご紹介 致します。
特に今 年は、元陸 上 選 手の為末大 氏と、弊 社フェローの柏野 牧 夫 氏が、スポーツと脳科学について語り合う、特別対談もご用意しております。

本イベントが 皆 様にとって、最 新技 術の 体 験を通じて、確 かな未 来の 手応えを感じ取っていただく何らかの機 会となれば幸いです。所員一同、皆様のご来場を心よりお待ち申し上げます。

オープンハウス 20191

目

会 場 案 内 図
講演スケジュール

次
ごあいさつ・ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・1
会場案内図／講演スケジュール・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・3
所長講演
人に迫り、人を究め、人に寄り添う ～人とAIが共生し共創する未来へ～・ ・・・・・・・・・・・・・・・・・・・・・・・・・・4

02
03
04
05
06

特別対談
スポーツの未来と人間の可能性・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・6

研究講演
画像や音を見聞きするだけで賢くなるAI ～クロスモーダル情報処理がひらく未来～・ ・・・・・・・・・・・・・・・・・・・・8

01 08

09
10

休憩スペース

11

展示会場

12
16 17
13 14

07

講演中継会場Ａ

講演中継会場Ｂ
資料コーナー
26
喫煙所

28

27
29

23

19 20
18 21 22 24 25

30「見る力」を簡単に測る ～日常環境での視覚能力の簡易測定とそのヘルスケア応用に向けて～・・・・・・・・・・・・・・・・・・・・ 10
いろいろな観点で似たものを探す、似たものつながり検索法 ～絵本検索システム「ぴたりえ」とそれを支えるグラフ索引型探索技術～・・・ 12

講演会場

研究展示・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 15
データと学習の科学
01｜
混み具合いを学習して空いてる経路を見つけます 二分決定グラフを用いたオンライン最短経路アルゴリズム・ ・・・ 16

講演中継会場Ｃ

簡易休憩コーナー

02｜
AI による空調制御でもっと省エネ・もっと快適 深層強化学習による環境再現・最適制御技術・ ・・・・・・・・・ 1703｜
都市の人口分布変動から人の移動を再現 時間別エリア人口データからの移動傾向推定技術・ ・・・・・・・・・・・ 1804｜
深層学習のボトルネック解消で精度を向上 深層学習における、より高い表現能力を持つ出力関数・ ・・・・・・・・ 1905｜
データから学ぶ：どれが原因？どれが結果？ 教師あり学習に基づく時系列の因果推論・・・・・・・・・・・・・・・ 20
06｜
過去データの無い地点でも未来を予測 時空間データ解析のための時空間回帰テンソル分解法・ ・・・・・・・・・・ 21

クローク

07｜
いろいろな観点で欲しいものを見つけます グラフ索引型探索技術による絵本検索システム「ぴたりえ」・ ・・・・・・ 22

コミュニケーションと計算の科学
08｜
限界まで効率よくメッセージを送れます シャノン限界を達成する誤り訂正符号・ ・・・・・・・・・・・・・・・ 23
09｜
新たな秘密がこれまでの秘密を脅かす 「量子情報を用いた秘密分散」の脆弱性の検証・ ・・・・・・・・・・・・・ 24

受付

10｜
文や段落の修飾関係を賢く判断 ニューラルネットによる階層的トップダウン修辞構造解析・・・・・・・・・・・・・ 25

15

11｜
ひらがなはいつからわかる？ 幼児の文字習得メカニズムを探る・ ・・・・・・・・・・・・・・・・・・・・・・ 26
12｜「こころが動く、通う」をどう測る？ 主観・生理・行動からみた共感的コミュニケーションの分析・・・・・・・・・・・ 27

入口

13｜「触れて深まる体感と共感」を集団から測る 共感的コミュニケーションの触覚的促進と多人数同時測定・ ・・・・・・・ 28

データと学習の科学

コミュニケーションと計算の科学

メディアの科学

人間の科学

通行可能領域

講演会場

インフォメーション

トイレ

講演中継会場A・B・C

14｜
ロボットと話そう「いつ、どこで、何をした」 ユーザ発話中のイベント理解に基づく雑談対話システム・・・・・・・・ 29

メディアの科学15｜
うるさい車内でも音声操作や会話をサポート 世界トップの集音技術・音声認識技術を実用化・・・・・・・・・・・ 30
16｜
少量の入出力ペアから高精度に音声認識を学習 音声合成を活用した半教師あり End-to-End 学習・・・・・・・・・ 31
17｜
いつ、誰が、何を話した？全部で何人いた？ 何人の会話でも聞き分けられる深層学習モデル・・・・・・・・・・・ 32
18｜
声と話し方を好みのスタイルに変える 系列変換モデルに基づく声質と韻律の同時変換・・・・・・・・・・・・・・ 33
19｜
顔に合わせて声を作り、声に合わせて顔を作る 深層生成モデルによるクロスモーダル音声変換・・・・・・・・・・ 34
20｜
声と画像から知らないモノを学びとる AI 音声と画像によるクロスモーダル概念獲得・ ・・・・・・・・・・・・・ 35
21｜
どんな音？物音を言葉で説明しよう 系列変換モデルに基づく音響信号からの説明文生成・ ・・・・・・・・・・・・ 36
22｜
音からものとかたちを認識 音と画像のクロスメディア情報処理によるシーン理解・・・・・・・・・・・・・・・・・ 37

人間の科学
23｜
鳥の声で喋り、水の泡で演奏する 聴覚信号処理モデルを用いた音のテクスチャ変換・ ・・・・・・・・・・・・・・ 38
24｜
踊る紙人形 紙に動きの印象を与える錯覚・ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 39
25｜
あなたの目の機能を気軽に楽しく測ります ミニゲームやタブレットを使った視覚能力のセルフチェック・・・・・・・ 40
26｜
勝者のメンタルとは？ 実戦環境での生理状態とパフォーマンスの関連性・ ・・・・・・・・・・・・・・・・・・・ 41
27｜
速いボールを捉える脳のしくみ 視覚と身体の瞬間的な連携・・・・・・・・・・・・・・・・・・・・・・・・・ 42
28｜「見守る」と「見守られる」をつなぎます 介護者記録用アプリ「みまもメイト」の記録共有による効果・ ・・・・・・ 43
29｜
身体が“見る”実世界の動きとは？ 自然統計で紐解く視覚運動制御の秘密・ ・・・・・・・・・・・・・・・・・ 44
30｜
座っているけど歩行感 疑似歩行感が身体近傍空間を拡張する・・・・・・・・・・・・・・・・・・・・・・・・・ 45

2

オープンハウス 2019

講演スケジュール
5月30日（木）5月31日（金）

所長講演

研究講演

（11:00 -11:40）（13:20 -13:50）

画像や音を見聞きするだけで賢くなるAI

人に迫り、人を究め、人に寄り添う～クロスモーダル情報処理がひらく未来～～人とAIが共生し共創する未来へ～
コミュニケーション科学基礎研究所 所長

山田

武士

邦夫

（13:00 -13:40）（15:00 -16:00）

元陸上選手
NTTフェロー・スポーツ脳科学プロジェクト統括

柏野

研究講演

特別対談

スポーツの未来と人間の可能性

メディア情報研究部「見る力」を簡単に測る

為末
大
柏野 牧夫

～日常環境での視覚能力の簡易測定とそのヘルスケア応用に向けて～
人間情報研究部

丸谷

和史

研究講演

（13:50 -14:30）

いろいろな観点で似たものを探す、
似たものつながり検索法～絵本検索システム「ぴたりえ」とそれを支えるグラフ索引型探索技術～
協創情報研究部

服部

オープンハウス 2019

正嗣

3

所

長

講

演

所

人に迫り、人を究め、人に寄り添う～人とAIが共生し共創する未来へ～

講

聴 を 通じて日々新たな 知 識 を身につけています。コンピュータ

ジしています。例 えば、複 数の人 間 が、場 を 一 緒 に共 有 するこも 将 来 は T V 放 送 のようなメディアデ ー タから 、音と映 像 の 共とによって生じる共 感 的コミュニケーションの 効 果 測 定などが起 を見つ け な が ら自 律 的 にモノやコトの 概 念 を 学 習し賢くな

その 例です。

る、それを目指した基 礎 研 究にも取り組 んで います。

Processing like people, understanding people, helping people
人 間を深く理 解し究める技 術

NTT コミュニケーション科学基礎研究所

山田

所長

武士

Takeshi Yamada

一方、錯 覚 は「潜 在 的 な 脳 の 働 き」解 明 の 手 掛かりとして重に 寄り添うインターフェースやフィードバックの ため の 鍵 で もこのように特 定の 場 面 で はコンピュータの 能 力 は 人 間 に 近

ありま す。C S 研 で はこれ まで人 間 の 錯 覚 を 利 用したインターづき、凌 駕しつつあります。しかし 、A I の 性 能 が 複 雑 な 人 間 のフェースとして、引っ 張 ら れ る 錯 覚 を 生じ させるデバ イス「 ぶ脳 を 超 える ほど に 進 歩 する の は まだ 先 でしょう。一方 で人 間るなび」を 考 案しました 。さらには 、座ってい るの に あた か もは、「振り込 め詐 欺 」にも簡単に騙されるなど、時として「認 知

歩 いているような感 覚の 生 成 にも 取り組 んで います。また、印バイアス 」に 支 配 さ れ 、思わ ぬ 誤りを 犯します。また、人 間 の刷した 絵 や 写 真 に 光 を 当てるだ け で 動 き出して見 える「 変 幻

脳 は 錯 覚します。C S 研 が 運 営 するウェブサイト「イリュージョ灯」、３Dメガネを掛 けると３D 映 像 に 、メガネを 外すと鮮 明 なンフォーラム」には様々な 錯 覚 が 取り上げられています[ 3] 。

２D 映 像を 楽しめる「H i d d e n St e r e o」、印 刷 物 などの２次 元

コミュニケーション 科 学 基 礎 研 究 所（以下、C S 研）は 、人とり、大 学入 試 の 英 語 穴 埋 め 問 題 をある 程 度 正 解 で きるように

複 雑 か つ 不 完 全な 人 間と今 のところ限 定 的 な A I 、この 両 者

平面上の対 象に対して影 に見 えるパターンを投 影することで、人、あ るい はコンピュー タと 人の 間 の「こころまで 伝 わ る」コはなりましたが[ 2]、文 章の意 味を深く理 解したり、常 識を身にのギャップ を埋 めるためには、人 間をもっと深く知ることが 必

そ の 対 象 が あた か も３次 元 的 に浮き上 がって見 える光 投 影 技

ミュニケー ションの 実 現 をめざし 、基 礎 理 論 の 構 築 と革 新 技

つ け たり、というレ ベ ル にはまだ 達して いません 。一方 で、深要 で す。そ のため に 、C S 研 で は「視 覚 」「 聴 覚 」「運 動 感 覚 」

術「浮 像（うくぞう）」など を次々と生 み 出してきました 。これ

術 の創出に取り組 んで います。最 近のA I（ 人 工 知 能 ）技 術 の 発

層学 習技 術を駆使 することで、画 像 認 識 や 音声 認 識 など、特 定といった 人 間 の 基 本 的 な 感 覚 に関 する「潜 在 的 な 脳 の 働 き」

からも 、錯 覚を 利 用した 新たなインターフェースの 提 案と同 時

展 には めざましい もの が あります。もともとコンピュータは 人の面 で は人 間 の 能 力に迫ってきたことも事 実です。例えば、会の 解 明 に注 力しています。錯 覚もその重 要な手 掛かりです。まに 、錯 覚 を 通して 物 理 的 には 生じ 得 な い 体 験 を 生 み 出すこと

間 が 処 理 で きない大 量 のデータを 一 度に処 理し 、人 間 が 苦 手

議 やパーティで の 歓 談などにおいて、複 数の人 が同 時に話した

た、一 流 のアスリートを 題 材として、そ の 優 れ た能 力を脳 科 学による、斬 新な知 覚表 現の可能 性も追 究していきます。

な処 理を人 間に代 わって高速に処 理するのが 得意です。しかしり、背 景 に音 楽 が流 れているとします。人 間 はこのような 状 況の 視 点 か ら解 明し 、人 間 の「 心・技・体 」の 関 係 の 本 質 に 迫

特 に 深 層 学 習 の 発 展 のお か げ で、本 来 人 間 が 得 意 で、な かなにお いても「聞きたい」人の声の 特 徴 を 選り分 けて、話 す内 容

る 、スポーツ脳 科 学 にも 取り組 んで います。例 えば、優 れ た 打

かコンピュータが 追 いつ け な かった 音 声 や 画 像 の 認 識 や自然を 聞 き取ることが で きま す。これ は 人 間 の 聴 覚 の 優 れ た 能 力

者 がわずか 0 .1秒という短い 時 間で、如 何に遅い 球と速 い 球 を

昨 今 のA I 技 術 の 著しい 進 歩 は人々に夢 を与えると同 時 に 、

言 語 処 理などにおいても、人 間の能 力に迫り、場 合 によってはの 一 つで、選 択 的 聴 取と呼 ばれます。従 来、このような 選 択 的

見 極 めて球 種に応じたタイミング で 動 いているか、その 仕 組み

それ が もたらす予 測し 難 い 変 化 の 兆し は 、例 えば A I が 職 を 奪凌 駕する性 能を実 現しつつあります。今後さらにA Iの 進 歩は 加聴 取を、コンピュータは苦手でしたが、C S 研で は 独自の 深 層学の 解 明などに挑 んで います。スポーツ脳 科 学は、最 新技 術で主うので は、など、時として人々を不安にします。それ 以 外にも、

速 すると期 待 されますが、とは いえ A I の 性 能 が 複 雑 な 人 間 の習技 術により、人 間 同 様、コンピュータが目的 話 者 の声の 特 徴に体を鍛える、従 来 のスポーツ科 学 やスポーツ分析手法とは一「 地 球 温 暖 化 」には 科 学的 根 拠 がないとか、果ては、「 地 球平

脳を超 えるほどに進歩するのはまだ 先と言えます。一方で人 間に 基づき、その声だけを聞き取る 技 術を実 現し 、さらにそれを線を画した、野心 的な取り組みと言えます。

面 説 」を 信じる人まで 現 れる始 末です。日本においては、2019

は認 知バイアスにとらわれ間 違いを犯したり、実 際にはありも発 展させています。

おわりに

年 は 折しも 、元 号 が 新しくなり、オリンピックを 間 近 に 控 え た

しない 錯 覚をリアルに感じてしまうなど、複 雑 であるが 故に一これらの 技 術 が今後さらに進 歩し 、人 間に近 づく、その 手 掛

見すると不 完 全な存 在 で もあります。このように 、限 定され た

かりの 一 つ が クロス メディア で す。従 来 、「音 声」「 映 像 」「テスポーツ 脳 科 学 で 得 ら れる成 果 は スポーツに 限らず、人 間し れません 。今後ますます 技 術 の 進 歩 のスピードが 速くなり、

範 囲で 急 速に発 展 を 続けるコンピュータと、複 雑であるがゆえキスト」などのメディアはそ れぞ れ 解 析 手 法 も 異 なり、別 々にが 普段 の 生 活 の中で心 身 の 潜 在 能 力を 最 大 限に発 揮 する、す競 争 が 厳しくなる中で、C S 研 は 、人 に 迫り、人を 究 め 、人 に寄に不完 全でもある人 間とをつなぎ、両 者 のギャップ を埋めるこ

研 究 されてきました 。しかしここに 来 て、深 層 学 習というい わ

なわち 、ウェルビーイングのため の 知 見として生 かすことが でり添う技 術を中心に、これ からも新たなチャレンジに大 胆 かつとが「 心まで 伝わる」を目指 すC S 研 の 使 命と言えます。そのたば「共 通 言 語 」が 整 備 されたお か げ で、メディアの 種 類を 越 え

きます。この、人 間のウェルビーイングという、一見 定性 的でと

粘り強く取り組 んでまいります。本 オープ ンハウス が み なさま

め には 、人 間 の 能 力 に 迫る 技 術 をさらに 追 求 する の はもちろた（＝クロス メディア）「 認 識 」「生 成 」「 変 換 」が 可 能 に なり

らえどころのない 課 題を人 間 科 学 の立 場 から定 量 的 に 扱 い、にとって、最 新技 術 の 体 験 を 通じて、確 かな 未 来 の 手応 えを感ん のこと、人 間 の 機 能 、特 性を 解 明し 、人 間 のことをよく理 解

つつあります。人 間 は 、例 えば、音声を聞 いただけで その 場 のこれを向上させるための設 計指 針を確 立することにもチャレンじ取っていただく何らか の機 会となれば幸いです。

すること、その上で人 間 に寄り添う技 術 の 実 現をめざすこと、

情 景をある程 度 頭の中に思い浮か べることができるなど、このそのための 基 礎 研 究 が 一層重 要であると考えています[1] 。

ような処 理を日常生 活 の中で当たり前のように行っています。
C S 研はこれをコンピュータで実 現する、言 わば「音 から画 像 認

人 間の能 力に迫る技 術

識 」するクロスメディア情 景 分 析 技 術 に 取り組 んで います。実世 の 中 に は ま だ ま だ 、人 間 は 得 意 で も 、コンピュー タに は

現するとカメラで は死 角になってしまうような箇 所 の 情 報も音

苦 手な処 理 が 多 数 存 在します。確 か に 機 械 翻 訳 の 精 度 が上 がを 使って予 測で きるようになるでしょう。また、人 間 はT Vの 視

オープンハウス 2019

演

要なのはもちろん のこと、人 間とA Iとの ギャップ を埋 め 、人 間

Toward the future where humans and AI will cohabitate and co-create

4

長人 間に寄り添う技 術

年です。我々はいろいろな意 味で、時 代 の 変 化 点にいるのかも

関連文献[1]新たな次元へとシフトする─さらに深化するコミュニケーション科学の取り組み, NTT技術ジャーナル 2018.9,
http://www.ntt.co.jp/journal/1809/files/JN20180908.pdf[2]「ロボットは東大に入れるか」における英語問題の回答手法, NTT技術ジャーナル 2015.4,
http://www.ntt.co.jp/journal/1504/files/jn201504063.pdf[3]錯視と錯聴を体験！ Illusion Forum イリュージョンフォーラム, http://www.kecl.ntt.co.jp/IllusionForum/

オープンハウス 2019

5

特

別

対

談
MEMO

スポーツの未来と人間の可能性
Sports in the future and human potentiality
スポーツはそれ自体 大 いなる楽し みであるとともに 、人 間 の 本 質 を垣 間 見ることので きる窓 で もある。可 能 性と限 界 、成 長と破壊 、多様 性とコンプレックス、才 能と鍛 錬、共 感と断 絶 、信 頼と盲信、自覚と無自覚、精神と肉 体 、…。スポーツの実 践 や 分析を通じて見 えてくる人 間 の本 質とは 。そして、I C T、 A I 、 認 知 科 学 、脳 科 学といった科 学 技 術 が、スポーツを、そして人 間をどのように変えていくか。アスリートと研 究 者の立場から縦 横に語り合う。

元陸上選手・Depor tare Par tners 代表

為末大

Dai Tamesue（プロフィール）
1978年広島県生まれ。スプリント種目の世界大会で日本人として初のメダル獲得者。
男子400メートルハードルの日本記録保持者（2019年3月現在）。
現 在は、S p o r t s × Te ch n o l o g yに関するプロジェクトを行う株 式 会 社 De p o r tarePartnersの代表を務める。
新豊洲Brilliaランニングスタジアム館長。主な著作に『走る哲学』、『 諦める力』など。

NT T フェロー・スポーツ脳科学プロジェクト統括柏野牧夫

Makio Kashino（プロフィール）
1964年岡山県生まれ。1989年東京大学大学院修士課程修了。博士(心理学)。1989年
NTTに入社、
コミュニケーション科学基礎研究所人間情報研究部長などを経て、2018
年NTTフェロー。Wisconsin大学客員研究員、東京工業大学工学院情報通信系 特任教授、JST CREST 研究代表者等を歴任。
専門は心理物理 学・認 知 神 経 科 学 。平 成 28年 度 文 部 科 学 大 臣 表 彰 科 学 技 術 賞（ 研
究 部 門 ） 受 賞 。著 書に『 音のイリュージョン～ 知 覚を生み出す脳の戦 略 ～ 』（岩波書
店、 2010）、『 空耳の科学-だまされる耳、聞き分ける脳』（ ヤマハミュージックメディア、
2012）他。

6

オープンハウス 2019

オープンハウス 2019

7

研

究

講

演

研

画像や音を見聞きするだけで賢くなるAI～クロスモーダル情報処理がひらく未来～

See, Hear and Learn to Describe

究講

そ の 音を 表 現 する 擬 音 語 や、そ の 音を 記 述 する説 明 文 を 生 成

い ると、事 前 に「りんご」の 画 像とクラスラベ ル の ペ アを与えする技 術を開発しました [2]（ 展示 21）。この技 術を用いると、なくても、「皆 がこの 物 体を指して “りんご ” と言っているよう「車」「風 」などといったクラスラベルだけで はなく、音の高さだ 。これ は “りんご ” というものなのだ な」といった 方 式 で のや 大 きさ、変 化 の 様 子なども含めて、文 字 によって素 早く把 握学 習が 可 能 になるのです（ 図２）。画 像 や 音を見 聞きするだけすることが 可能になります。

で賢くなる、というわけです。しかも周囲が “りんご ” と言えばりんご、”a p p l e ” と言えば a p p l e であると学 習するといった

AI to sketch the world for semantic media search and conversion
概 念 獲 得－未 知の概 念を自ら学 習する

ように 、周 囲 の人 間 の 感じ 方や 振 る 舞 い方 を 習 得して い きま

クロスモーダル 情 報 処 理 のもう一 つ のメリットは 、「共 通 空す。これ は 、私 たち人 間 が 、生まれてから成 長するにつ れて日間 」にお いて異 種 情 報 の 対 応 を見 出すことで 概 念 獲 得が 可 能

常 生 活 の 中 で 様 々なことを 学 んで いく過 程 にたとえることがになることです。深 層学 習に必 要とされる大 量のデータの準 備できるでしょう。

には 、手 間 がか かったり、データの入手自 体 が 難しかったり、メディア情報研究部

クラスラベ ル の つ け 方 を事 前 に 設 計 することが 難しかったり

これらの 一 連 の 研 究に共 通する考え 方は、音、画 像、テキス

といった困 難 さを 伴うことが 少なくありません 。そこで 私 たち

トといった様 々なメディア情 報 に 対して、私 たちの目や耳 に 触は、メディア情 報の中に含まれるひとまとまりのもの、つまり概れる表 層の 表 現 形式と、その背 後にある共 通 空間 、つまり特 定（プロフィール）

念 を自 動 的 に獲 得し 、認 識 や 検 索 に 活 用 することを目 指したの 表 現 形 式 には依 存し な い本 来 的 な 情 報とを、分 離して 取り

NTTコミュニケーション科学基礎研究所 メディア情報研究部長、上席特別研究員。

研 究に取り組 んで います [ 3] 。

出してそ れぞ れを 活 用しようということで す。このような研 究

柏野

演

邦夫

Kunio Kashino

1995年東京大学大学院工学系研究科博士課程修了。博士（工学）。同年、日本電信電異 種 のメディア情 報 の 共 起 、つまり現 実 世界 の 中で、同じもが 発 展すれば、私 たち人 間と共に暮らし 、感じ方や 振る舞い方

情報学研究所客員教授を兼任。IEEE、ACM、電子情報通信学会、情報処理学会、人工のに端を 発 する異 種のメディア情 報 がランダムにで はなく特 定を共 有しながら、自ら学 習していくA Iも実 現で きそうに思わ れ

知能学会、
日本音響学会の会員。

の 関 係性をもって 現 れることなどを 利 用すると、人手でメディます。そのようなA Iは、今よりもっと親しみ を感じられるパート

アデータ同 士をペアリング すること無しに、共 通 空間を 介したナーになり得るのではないでしょうか。

話株式会社に入社、現在に至る。東京大学大学院情報理工学系研究科客員教授、国立メディアデ ータの ペアリングが 可 能 で す（ 展 示 2 0）。これを用近 年 の人 工 知 能（ A I）の 発 展 を支 える立 役 者 は、何と言ってすることで、従 来 は 考 えら れ な か った ような 情 報 の 変 換 が 可も深 層学 習の 技 術でしょう。例えば、様々な物 体を撮 影した画

能 なことです（ 図１）。その 一 つとして、私 たちの 研 究 チームで像と「りんご」「 みかん」といった 物 体 の 名前（クラスラベ ル）

は、音 から画 像を推 定する課 題に 取り組 んで います。私 たち人とを 組（ペア）にしたデータを大 量に用意して深 層学 習を行う

間 は 、目を 閉じ て いても周 囲 の 音 からそ の 場 の 情 景を思い 浮と、画 像 中 の 物 体 が 何 であるかを高 い 精 度 で 認 識 で きるようか べ ることが で きま す。そこで、マイクで 拾 った 音 からそ の 場になることが 知られています。その 優れた特 性のために様々なの 情 景を 表す 画 像を 作ってみようというわけです。現 在、一定

分 野 で 研 究 や 活 用が 進む 深 層学 習ですが、私 たちが 特 に 着目の 条 件下 で、どこに何がありそうかといった 大まかな情 報を画している能 力 の 一 つ は 、異 種 のメディア情 報（例 えば、画 像と像として示 すことが 可 能 に なっていま す [ 1]（ 展 示 2 2 ）。この音）の対応づ け が で きることです。画 像、音、テキストといった技 術 が 発 展すると、カメラを置くことが 望まれ ない場 所 やカメ

情 報の種 類のことをモダリティ（m o d a l i t y）と言いますので、ラがとらえきれ ない状 況（物 陰や暗 闇など）で の 安 全確 認など異なるモダリティにまたがる情 報の対応づけをクロスモーダルに応 用できると考えています。

音

情報変換

テキスト

APPLE

A wind instrument sounds
small and then louder.

共通
空間(たくさんの事例)

管楽器が小さく鳴ってだんだん大きくなっている。
りんごむいたよ…

お、青りんごがあった…

I’ll have some apple …

学習

画像
映像

クロスモーダル情報処理による情報変換（概念図）
図１図1 クロスモーダル情報処理による情報変換（概念図）

apple
りんご

図2 クロスモーダル情報からの概念獲得

図２ クロスモーダル情報からの概念獲得（c r o s s m o d a l）情 報 処 理と呼ぶことにします。で は、このクロ
スモーダル 情 報 処 理とはどのようなもので、どん なメリットがあるのでしょうか。

新しい 情 報 変 換－物 音を言 葉で 説 明する
異 種 情 報 の 変 換 の もう一 つ の 例 は 、音 からテキストへ の 変換です。音声 認 識 システムを用いると話し言 葉 をテキストに変

新しい 情 報 変 換－音 から画 像を 作る

8

換で きますが、これまで は 、音声 認 識 システムを用いても話し

クロスモーダル 情 報 処 理 のメリットの 一つは、異 種のメディ

言 葉 以 外 の 物 音など を 適 切 なテキストに変 換 することはで き

ア情 報 が 対 応づ けられ た 共 通 の 場 所である「共 通 空 間 」を 介ませんでした 。これ に 対し 私 たちは 、マイクで 拾った 音 から 、

オープンハウス 2019

関連文献
[1] G. Irie, M. Ostrek, H. Wang, H. Kameoka, A. Kimura, T. Kawanishi, K. Kashino, “Seeing through sounds: Predicting visualsemantic segmentation results from multichannel audio signals,” in Proc. International Conference on Acoustics, Speech, andSignal Processing (ICASSP) , 2019.
[2] S. Ikawa, K. Kashino, “Generating sound words from audio signals of acoustic events with sequence-to-sequence model,” inProc. International Conference on Acoustics, Speech, and Signal Processing (ICASSP) , 2018.
[3] 大石康智, 木村昭悟, 川西隆仁, 柏野邦夫, D. Harwath, J. Glass, “画像を説明する多言語音声データを利用したクロスモーダル探索,” 電子情報通信学会技術研究報告 パターン認識・メディア理解 (PRMU) , 2019.

オープンハウス 2019

9

研

究

講

演

研

究

講

レット、あ るい はタッチパ ネルを 備 え たＰＣで 動 作 する2 種 類

従 来 方法 の簡 略 化・一 部 改 変により、従 来の実 験・検 査データの 視 覚テストを 作成して、これらの 課 題 解 決 に 取り組みましたより精 度 が 低 下 する 種目もあります。しかし 、そ のような 場 合（ 図２）。一 つは 、短い 時 間 でプレイで きるゲームの 中に視 覚

で も、スクリーニングや簡易チェックに 必 要な 測 定 精度は達 成

テストを埋 め 込 んだ 視 覚 測 定ミニゲームで す。これ は 、普 段 のしています。例 えば 、ソフトウェア的 手 法 による輝 度 の 解 像 度

Measuring multiple visual abilities in daily circumstances

生 活 の 中 で の反復 利 用を 通して、日常 生 活 の 中 で 視 覚 能 力 のの 拡 張 や W e bカメラによる 視 距 離 の簡 易測 定 など で、実 験 室

Towards establishment of daily selfcheck for eye health

異 常 を セ ルフチェック するた め のツールで す。従 来 の 手 続 き

環 境 のエミュレ ーションを行 い、測 定 精 度の 低 下を小さくしてを 一 部 変 更・簡 略 化したものをベースに 、デザインやカバース

います[ 2] , [ 3] 。

「見る力」を簡単に測る～日常環境での視覚能力の簡易測定とそのヘルスケア応用に向けて～

人間情報研究部

丸谷和史

Kazushi Maruya（プロフィール）

トーリーを 付 加して作 成 され た複 数のミニゲームを 通して、視こ れ ら の ツ ー ル か ら 得 ら れ る デ ー タ は 、日 常 的 な セ ルフ

覚 能 力を 楽しくチェックで きます。もう一 つは 従 来 の 視 覚テス

チェックに 役 立 つだ け で なく、医 療 現 場 で の 診 断 精 度 の 向 上

トを踏 襲しつつ簡 略 化した簡 易テストツールです。従 来 のテス

や、病 院 外で のリハビリテーション支 援 への貢 献も期 待できまト方 法を踏 襲しているので、データの 信 頼 度についてはゲーム

す。このことは、科 学 研 究の立場からみると、健常者、未病 者、形式のものより高く、さらに、ゲーム 形式 からいくつか のテスト

患 者を 含めた多 様 な 群 で の 個 人 差を 示す広 いデ ータと、医 療項目が追 加されているので、より自分 の状 態を 細かく把 握するのプロフェッショナルが 持 つ患者を中心とした群 の 精密なデーことができます。

タの 関 係 を明らか にすることにつながります。この取り組み に

これらのツールで は 、共 通した複 数の 視 覚 能 力 の 測 定 が 可

よって、視 覚 能 力の 多様 性、個 人 差 の 実 態 解 明と、その 背 後 に主任研究員。2004年東能であり、それらのパ フォーマンスのデータを比 較 で きます。

ある人 間 の 複 雑 な視 覚プロセスの 相 互作用の 理 解を加 速した

京大学大学院人文社会系研究科博士課程修了。博士（心理学）。専門は知覚・認知心

ま た 、双 方とも 汎 用 的 な ウェブ ブ ラウ ザ で 動 作し 、インター

いと考えています。

NTT コミュニケーション科学基礎研究所

人間情報研究部

理学。錯視を含む視知覚のメカニズムの研究、また、人間の知覚・認知特性を利用したイ
ンタフェース技術の研究などに従事。
日本心理学会、
日本基礎心理学会、
日本視覚学会、演

ネット上での測 定にも利用できるように設 計をしています[1] 。

日本図学会、米国視覚科学協会(Vision Sciences Society)各会員。

近 年 、医 療 や 教 育 の 現 場で は 、それぞ れ の 個 人 が 抱 える問れ ば 、未 病と呼 ば れる 状 態 のうちに 対 処 が 行えるか もし れ ま

題に個 別 にフォーカスを当てたきめ 細 か い対応 が、より強く求せん 。自分で視 覚 能 力を 短 時 間 に測 定で きるツールと、それをめられています。それらの 社 会 的 要 請 に答えるために 、コミュ

日常的に使ってもらえるような仕 掛 けがあ れば、この問 題の 解

ニケーション 科 学 基 礎 研 究 所で 継 続 的 に 取り組 んで きた 人 間

決に向けた大きなステップになります。

科 学も大きく姿 を 変えつつあります。実 験 室という整った環 境

しかし 、「広 いデータ」の 検 討 には 、これまで の 実 験 で は 顕で比 較 的 少 数の人 から得た精 密で 深 いデータを用いた検 討 だ

在 化し な か った 様 々な 問 題 を 解 決 する 必 要 が ありま す。例 えけで は 、環 境 や 課 題 、個 人 に 応じて 複 雑 にそ の 働 き方 が 変 化

ば、上で 述 べたセルフチェックの 実 現 には 、以下に挙 げるようする人 間の 視 覚システムの 理 解に限界があります。そこで 私 た

な 課 題 が ありま す。まず ① 測 定 時 間 の 大 幅 な 短 縮（ 数 分 以 内

ちは 、より日常 生 活 に 近 い 環 境 で、様々な人 から得られる「広の 測 定 時 間 が 望 まし い）が 必 要 で す。次 に 、一 般 の 電 気 店 でいデータ」を用いた多面的な検 討に取り組 んでいます（図1）。

市 販されている② 汎 用 的 な 機 器で 安 価 にデータ収 集で きる方「広いデータ」の 解 析によって、視 覚 能 力の 個 人 差 や多様 性の法 が 必 要 で す。さらに 、インターネットを 通したデ ータ収 集 の

実 態 が 明らか に な れ ば 、背 後 にある 視 覚プロセスの 相 互作 用

仕 組 みも備 えていることが 望ましいでしょう。また、日常 的 なを理 解する手 掛かりとなるからです。

反復 利 用が 望ましく、③自発 的 に 取り組 みたくなるような 楽し

私たちの取り組み の 一つとして、簡易的な視 覚 能 力のセルフ

く、課 題 が 理 解しや す い 測 定 法 で あ る 必 要 が ありま す。一方

チェックの 実 現 があります。緑 内 障 、白内 障といった目の 病 気で、④これまで の 測 定 法とデータが比 較 可能であることは、検を軽 度 のうちに発 見し 、対処することは 重 要 です。例えばこれ査 の 信 頼 性やデータに 異常 が見られたときに病 院 で の本 格 的らの 病 気 で は 、視 野 の 一 部 で の 感 度 低 下 などの 異常 が 起こりな検 査 へとつなげるために重 要です。

ます。そのような異常を自覚 症 状 が 現 れる前に知ることがで き

10

オープンハウス 2019

私 たち は 、神 戸 市 立 神 戸 アイセンター 病 院 と 共 同 で、タブ

実験室環境
比較的少数の人からの精密で「深いデータ」
従来の心理物理学で洗練されてきた刺激

日常的な環境多数・多様な人からの「広いデータ」

図1 人間科学で用いられる2種のデータ

簡易テストツール
これまで用いられてきた実験刺激で比較的短時間での簡易計測を可能に

タブレット向け
簡易測定方法

楽しく測定が進められるデザインとゲーム性

視覚テストゲーム
デザイン、演出、タスク設定を工夫しモチベーション向
上を狙う

タブレット、汎用機器での利用を想定した
正確な輝度、ピクセル位置に垂直同期信号に同期した描画をする
Web アプリケーションの作成技術（Psychlops-JS, Hosokawa et al., VSS 2016)

図2 視覚能力のセルフチェックシステム概要

関連文献[1] K. Hosokawa, K. Maruya, S. Nishida, “Testing a novel tool for vision experiments over the Internet,” Journal of Vision , Vol. 16,
2016.
[2] R. Allard, J. Faubert, “The noisy-bit method for digital displays: Converting a 256 luminance resolution into a continuous
resolution,” Behavior Research Methods , Vol. 40, No. 3, pp. 735-743, 2008.
[3] X. P. Burgos-Artizzu, M. R. Ronchi, P. Perona, “Distance estimation of an unknown person from a portrait,” in Proc. European
Conference on Computer Vision , pp. 313-327, 2014.

オープンハウス 2019

11

研

究

講

演

研

いろいろな観点で似たものを探す、似たものつながり検索法～絵本検索システム「ぴたりえ」とそれを支えるグラフ索引型探索技術～

Like likes like strategy: search suitable for various viewpoints
Picture book search system "Pitarie" with graph index based search

絵 本 が 何 歳 向 けとして 適してい るかを高 精 度 で自 動 推 定 で き合 いを 介することで 繋 がっていることが「6 次の隔たり」としてるようになりました 。さらに 、同じ 対 象年 齢 に分 類されている

知られています（ 図２）。数 十 億 人もの 中で６人 だ け 経 由す れ

絵 本 同 士 のどちらがより簡 単 / 難しいか、などの 詳 細な 比 較 もば 誰 にで も繋 がると考えると、とても 検 索 向きの 性 質 です。グで きるようにもなったため 、平均 的な発 達 の 仕 方と比 較して子ラフ索 引型 類 似 探 索 法で は 、検 索 対 象 の 似 たもの 繋 がりのグどもの 発 達 が早くても遅くても、その 子どもの 絵 本選 びに役 立

ラフ構 造を構 築し 、そのグラフ上をより似ている知り合 いに 移

つと期 待しています。

動 する手 順 で、高 速 かつメディアによらない 検 索を実 現してい３つ目の 研 究 分 野 は 類 似 探 索 で、検 索 の 中で も特 に入 力とます。もちろん 、すべ ての頂 点 が 互い に 接 続され たグラフを構似 たもの を探 すことを目的 にした 領 域 で す。「ぴ たりえ 」は 検

築 す れ ばどの頂 点 からで も他 の頂 点に直 接 到 達 で きますが、索 の 基 盤としてグラフ索 引型 類 似 探 索 法というC S 研 独自の方

それで は 結 局すべ ての頂 点を 調 べるのと同じで 高 速 な 検 索 は法を用いています。グラフ索引型 類 似 探 索 法 は、高 速性と様々

実 現 で きません 。一 つ 一 つ の頂 点と隣 接してい る頂 点の 数 がなメディアに対応 で きる汎 用性 が 特 長です。絵 本に適 用するこ

人 間 関 係 の 知り合 いの 数くらいに限られているにも関わらず、とで、文 章の内容がお気に入りの 絵 本と類 似の本を探したり、「６次の 隔たり」でどの頂 点にも到 達 で きるということがグラ

お 気に入りの 絵 本と画 風 が 似 た 絵 本作 家を探したり（ 図１）、

フ索引のポイントとなっています。

たりなど、様々な観 点に基づく絵 本 検 索を実 現できます。

正嗣

グラフ索引型 類 似 探 索 法

今後 の展 開NTT コミュニケーション科学基礎研究所

協創情報研究部

育 関 連 学 部 など で の 実 証 実 験 やワークショップ を 通じて 有 効

グラフ索 引型 類 似 探 索 法 は 、メディアの 特 性によらず、検 索

性 を検 証し 改 善 を重 ね た 結 果 、N T Tデ ータ九 州 社 により図 書

対 象 の 一 つ 一 つを頂 点とするグラフ（ネットワーク）を 索 引と館・幼 児 関 連 施 設 など を対 象 に 2 019 年 4月から商 用 化 されて研究主任。2004年京都することで 高 速 な 探 索 を実 現して いま す。似 た も の 同 士 が 繋います。現 在、絵 本 を 活 用した 病 院 で の 発 音 訓 練 支 援 や 英 語（プロフィール）
大学大学院情報学研究科修士課程修了。同年、
日本電信電話株式会社入社。複合的メ

がるようにグラフを構 成 すると、そのグラフはどんなに無 関 係

絵 本 を 活 用した小 学 校 で の 英 語 教 育 支 援などを目指し 、各 所

ディアを対象とした類似探索の研究に従事。情報処理学会、人工知能学会各会員。最もそうなもの 同 士も少 数の「知り合 い」を 経 由することで つながとの 共 同 研 究 を 進 めています。グラフ索 引 型 類 似 探 索 単 独 で思い出深い絵本は新美南吉著「ごんぎつね」。

るスモールワールド 性という性 質 を 示します。たとえば「人 間も一 般 書 籍 、技 術 文 書 、音 声 などへ の 活 用 範 囲 拡 大を目指し

関 係 」はスモールワールド 性を持 つことが 知られており、世界て研 究に取り組 んで いきます。

今 や 多くの方 が 一日一 回 は何らか の 検 索 サービスを 利 用し有用でない可 能 性 が あります。そこで 我々は 、以下に 述 べる３ていることでしょう。キーワード検 索で 様々な目的 に適した 情

つ の 基 礎 研 究 分 野 の 技 術・知 見を応 用して 直 接 絵 本そのもの

報 が 載ったウェブページを簡 単 に見つけることが で きます。特が 持 つ 情 報 を 深く分 析し 、従 来 で きな かった検 索 を実 現しま

定の目的に特 化したウェブ検 索サービスも年々充 実してきておした 。

り、指 定 地 点 近 辺のレストランなどを探 せる地 図 検 索 や、電 車
やバスの 乗 換 案 内 検 索など、枚 挙に暇 がありません。

中の人々の中から無 作 為に抽出した２人は平均して６人の 知り

兄弟

１つ 目 の 研 究 分 野 は 自 然 言 語 処 理 で、文 章 をコ ン ピュー
ピュータが 扱う際には、扱いやすい単 語単位に分 解する「形 態で、絵 本 に 特 化 し た 初 めての 検 索 シス テム として、コミュ ニ

素 解 析」という処 理を行いますが、絵 本の文 章はひらがなばか

ケー ション 科 学 基 礎 研 究 所（C S 研 ）で 研 究 開 発した「ぴ たりりで 言 葉 の 切 れ目が 分 かりにくいため 、従 来 の 技 術 で は 形 態

え 」を 紹 介します。絵 本 の 検 索 なんて簡 単にで きるので は？と素 解 析 精 度 が 低 いという問 題 が ありました 。この 問 題 を 解 決

思わ れる方もいらっしゃるかもし れませんが、実はその実 現にするため 、我々はまず 正しい 解 析 結 果 が 分 かって い る大 量 のは 解 決すべき絵 本 検 索 固 有の 課 題 が あり、様々な 工 夫 が 必 要

大 人 向 け 文 章を 絵 本 同 様 ひらがなばかりに自動 的 に書き換 えでした 。そ れらの工 夫と、「ぴ たりえ 」を支 える 検 索 の 仕 組 みて、大 量 の正 解データ付きのひらがな文 章を準 備しました 。こが 絵 本 に限らず 様々な 検 索 対 象に応 用で きる汎 用 性に優 れたのひらがな文 章を学 習データとして機 械 学 習を行うことで、絵ものであることをご 説 明します。

本 の文 章 に 対しても高 精 度 な 形 態 素 解 析を 低 コストで 実 現しました 。
２つ目の 研 究 分 野 は 、子どもの 言 語 発 達 メカニズ ムを 明ら

真田幸村（信繁）（戦国武将）

真田信之（戦国大名）

タに 上手く処 理 させるた め の工 学 的 な 分 野 で す。文 章 をコン

この ような 目 的 特 化 型 の 検 索 サ ービ ス が 多 数 存 在 する 中

絵 本 検 索システム「ぴたりえ 」

親子

同僚

先祖・末裔

親子

大学時代の
先輩後輩

夫婦

元同僚

同僚

引用させていただいた絵本：
しろくまちゃんのほっとけーき、わかやまけん、こぐま社、1972 年
うさこちゃんと うみ、ディック・ブルーナ、福音館書店、1964 年
うさこちゃんと あかちゃん、ディック・ブルーナ、福音館書店、2005 年
うさこちゃんの だんす、ディック・ブルーナ、福音館書店、2009 年
うさこちゃんと どうぶつえん、ディック・ブルーナ、福音館書店、1964 年
うさこちゃんの はたけ、ディック・ブルーナ、福音館書店、2005 年
わたし ほんが よめるの、ディック・ブルーナ、福音館書店、1972 年

白鵬
（横綱）

高校の
クラスメート同僚

著者

図1 「ぴたりえ」で、一冊の絵本（左上「しろくまちゃんとほっとけーき」）を入力として類似の表紙画像を検索した例。
上位に複数の絵本がランクインする絵本作家を表示することで、お気に入りの絵本作家と画風の似た別の絵本作家を見つけることができる。

ドナルド・クヌース（数学者・計算機科学者）

職場関係

家族関係 学生時代
関係

図2 人間関係の一例。職場関係、家族関係、学生時代の関係など、複数の異なる関係を辿ることで、数人経由しただけでバラエティ豊かな著名人に行き当たる。世界中からこれら著名人を探す際、一見関係がなさそうな著者からスタートしたとしても、「より近そうな知り合いを辿る」という方法ですぐに検索が終了する。

「ぴ たりえ 」は一人一人の 子どもに「ぴ ったりのえほ ん」をか にする言 語 習 得 科 学 です。研 究 過 程で 得られ た、15 0 0 名 以

探すための検 索システムを目指して研 究 開 発しました 。従 来は上もの 子どもがいつごろどんな言 葉を理 解・発 話できるように

購 入者・専 門 家 による情 報 発 信や 大 量 の 購 買 履 歴 などが 絵 本

なった か を 集 約した 幼 児 語 彙 獲 得 デ ー タベースを 参 考 に 、絵関連文献

選 びにおける重 要な情 報として活 用されていました が、子ども

本 に出 現する単 語 の「子どもにとっての 難 易度 」を推 定で きまの成長 が 早く個 人 差も大きいことを考えると、それらの 情 報はす。単 語 の 難 易 度 情 報と前 述 の自然 言 語 処 理 によって 得ら れ

個 々の 子どもの 特 定の 時点の成 長 度 合 い によっては 必ずしもた 絵 本 の 文 章 の 特 徴とを 基 に 機 械 学 習を行うことで、対 象 の[1] 服部正嗣, 小林哲生, 藤田早苗, 奥村優子, 青山一生, “ピタリエ: 興味・発達段階にピッタリの絵本を見つけます,” NTT 技術ジャーナル , Vol. 28, No. 6,
pp. 54-59, 2016.
[2] K. Aoyama, K. Saito, H. Sawada, N. Ueda, “Fast approximate similarity search based on degree-reduced neighborhood graphs,”
in Proc. The 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining , pp. 1055-1063, 2011.

オープンハウス 2019

演

絵 本 検 索 システム「ぴ たりえ 」は自 治 体 図 書 館 や 大 学 の 教

Takashi Hattori

12

講曖 昧 な 記 憶 に 基づ いた、間 違 い を 含 むあらすじで 絵 本 を探し

協創情報研究部服部

究オープンハウス 2019

13

研

究

展

示

CRYUc
122 T_a[SeVbd
D4A48I9DTd]aeXAC)C6::J
E@KI7T_a[SeVbdC L<?4)A C'B(I &C
AB +LF>G=+$CBH"M@9E=5Qe^d\PW.,-0@D4
6ZeXA #C 746T_a[SeVbdA%C 746`ZONC 746)C
7B*=I%/,L;!9><E=5

ZeXA

#C

i¯yµb 3C0»¢¨&b£]z ¬G"EK3 ²h®Å¸ÍXtO·"É»&¹ FÊ´\u©ÊuÄ`ËL¹!#&D oi¯<3@¶±Z&Ï

T_a[SeVbdA%CFFF,A6=C0 ##&T$¢¨B½ªÌ{x$¢¨&¬G
3 FFSw& Fn¿&Ã


MÆÇ

 Ì[pQ¼ÁsH­&"jRvc&JÈ`ZONC
ÎeBPB2+.4;3('vc&NW­_%ÏqU$¢¨&¬G
3 $dI¿&

 gFI¿&°VÏ«qÎe&ÀÂ ^§;3('Ä&|³af~)CFvcU;*5/:&¥i »Ã >)7.0)@&}Bk$¢¨&¬G
3 F¡ºu&»YÇ¶r&} gu&¾l$¤I&-9C4
 418'.?C4¦m&»

14

オープンハウス 2019

オープンハウス 201915

Online shortest path algorithm with binary decision diagrams

混み具合いを学習して空いてる経路を見つけます～二分決定グラフを用いたオンライン最短経路アルゴリズム～

ᵎᵐ～深層強化学習による環境再現・最適制御技術～

通信ネットワーク等において経路を繰り返し選定する際に、混雑が少ない経路を自動的に選定します。
混雑度は急速かつ不規則に変化し得るため送信時の混雑度はわからず、かつ可能な経路の数は膨大であるため、過去データからの臨機応変な学習技術と効率的な計算技術が求められます。

どんな研究

商業施設などの大規模空間における空調制御の最適化をめざした研究です。大規模空間では熱伝達の時間遅れによる過剰な冷暖房が問題となります。本展示では、人流を含む様々な施設内のデータを基に未来を予測しながら最適な制御スケジュールを算出する技術を紹介します。

どこが凄い

混雑度の学習や経路の選定を素朴な方法で行うと、経路の多さゆえに莫大な計算時間がかかります。
私達は二分決定グラフとよばれるデータ構造を用いて経路全体の集合を小さく表現し、そのデータ構
造上での学習手法を開発することで、現実的な時間で動作する世界初の手法を実現しました。

どこが凄い

空調設定を変更した際の室温などの環境変化を予測する環境再現技術と、複数の空調にまたがった
最適な制御スケジュールを見つける最適制御技術を組み合わせることで、省エネ性と快適性を両立するフィードフォワード制御を実現します。実際の商業施設において実証実験を行いました。

めざす未来

本技術を用いることで、混雑度が急激に変化し得る状況下でも、高効率なネットワーク通信経路や短時間で移動可能な道路網上の経路を選定できます。今後はより大規模な通信ネットワークや広域道
路網などへの適用を行い、様々な現実的場面で活用できる技術の実現を目指します。

めざす未来

本技術は空調最適化に限らず、例えば清掃最適化のように施設内のあらゆるリソースを最適化します。さらに対象領域を拡大することで、複数の異なる分野・企業・データを横断した都市単位でのスマート化による競争力や付加価値の向上を目指します。

繰り返し経路選定問題

二分決定グラフを用いた学習手法

混雑度合いが時々刻々と変化するネットワーク上で二拠点間を結ぶ経路を繰り返し選ぶ問題

•
•

空いている

混んでいる

膨大な数の経路の混雑度を予測するのは困難

5

2
1

4

3

5

2

過去の混雑度を学習して経路を選択する既存法 [2] は存在するが毎回全ての経路を調べる必要がある

経路全体の集合

既存学習アルゴリズム

．．．

2
3

3

5

4

⊤

快適

暑い

寒い

課題2: データバリエーション不足
t (00:00-24:00)

: ON

: OFF

一斉にOFFからONへ(逆も同様)

空調1
空調2
…

快適

快適

時間指定によるON/OFF一斉制御が一般的なため、教師データのない不明パターンが存在(例：昼に1箇所だけOFF時に予測困難&正解不明)

快適

効率的に快適さを保つためには予測が必要
提案手法

複合マスク

単独マスク

気象

混雑度の学習から経路の選定までZDD上で完結しているため全ての経路を直接調べる必要なし

室温一度構築したZDDを毎回使い回せる
ドメイン知識環境再現技術(environment)

エリアスライスによるデータ拡張(DAS: Data Augmentation by Slicing)

BEMS※

経路にならない 経路になる

空調1
空調2
…

…
…
…

空調1
空調2
…

…
…
…

(1)エリア内の制御効果を学習 (2)エリア外の相互作用を学習⇒ 空調エリアに対応した確率的なマスク生成&適用によりエリ
ア内外の特徴を並行学習する事で不明パターンも予測可能に状態制御のカリキュラム設計(C3D: Condition Control Curriculum Design)
快適性と省エネ性を定式化&補助タスクとして実装⇒ 相反する指標でもバランスよく高める(最大化する)ような制御スケジュールを深層強化学習で算出可能に

深層強化学習スケジュール
最適制御技術(agent)

実際に運用※BEMS: Building Energy Management System(ビルエネルギー管理システム)

関連文献

関連文献

[1] S. Sakaue, M. Ishihata, S. Minato, “Efficient bandit combinatorial optimization algorithm with zero-suppressed binary decision diagrams,” in Proc.
21st International Conference on Artificial Intelligence and Statistics (AISTATS) , 2018.
[2] N. Cesa-Bianchi, G. Lugosi, “Combinatorial bandits,” Journal of Computer and System Sciences, Vol. 78, No. 5, pp. 1404—1422, 2012.

[1] 社家一平，川瀬康司，鈴木義康, “NSRI×NTT×三井不動産 コラボレーション成果: 日本橋室町地区において都市ビッグデータとAIの活用をめざし
た共同実験を開始,”NTT技術ジャーナル, Vol. 29, No. 11, pp. 63-65, 2017.

連 絡 先

連 絡 先

坂上 晋作 (Shinsaku Sakaue) 協創情報研究部 言語知能研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

松浦 伸彦 (Nobuhiko Matsuura) 未来ねっと研究所
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

人間の科学

人間の科学

突発的な混雑度の変化が起きてもZDDの再構築は不要なため高速に対応可能

空調効果(冷暖房、排気など)

施設内環境のモデル化・予測は困難

人流

ポイント2.

室温

空調負荷

フィード
フォワード
制御

1

ZDD

13:00

フィード
バック
制御

混んでない経路を高速に学習可能

ポイント1.

全経路を直接調べる学習アルゴリズムは非効率的

4

3

12:00

メディアの科学

メディアの科学

混雑度が急速かつ不規則に変化する場合
送信時の混雑度合いはすぐにはわからない

1

．．．

時刻３

突発的変化（サーバーへの負荷集中など）を考慮した
臨機応変な学習・設計手法が求められる
難しさ2.

ZDDの上で [2] の手続きを実行する手法を考案

課題1: 複雑な施設内環境(人体発熱、
外気流入など)数十頂点のネットワーク（経路数は数百万通り）に対しても現実的な時間で動作する世界初の手法を実現

時刻２問題の難しさ
難しさ1.

11:00

ゼロサプレス型二分決定グラフ（ZDD）を用いて経路全体の集合を小さく表現⊤

時刻１

背景: 予測制御の重要性

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

各時刻ごとに、できるだけ混んでない経路を選びたい

16

AIによる空調制御でもっと省エネ・もっと快適
データと学習の科学

データと学習の科学

ᵎᵏEnvironment reproduction and control optimization system

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201917

People flow estimation from spatiotemporal population data

都市の人口分布変動から人の移動を再現

ᵎᵒ～時間別エリア人口データからの移動傾向推定技術～～深層学習における、より高い表現能力を持つ出力関数～

群衆の位置情報を解析する上で、時間別エリア人口データ（いつ・どこに人が何人いたか）が注目を集めています。本技術はそのような時間別エリア人口データから、人の移動の主な傾向（いつ・どこか
ら・どこへ何人移動したか）を推定します。

どんな研究

深層学習による画像認識や機械翻訳において予測精度を改良するための研究です。深層学習は大量のデータをモデルが学習することで、例えば画像が入力されたときにそれが動物、車、人であるという確率を出力します。モデルの最後に使用する出力関数を改良して高精度化します。

どこが凄い

移動傾向を推定するためには、たくさんの「観測された人口データの変化をうまく説明する群衆の移動パターン」の中から正しい解を絞り込む必要があります。本技術では、「都市における人間行動らしさ」
を判断基準に組み込むことで、高精度な推定を実現しました。

どこが凄い

高精度なモデルを構築するためには、様々な確率のパターンを出力できる表現力が必要となります。
既存の出力関数は表現力のボトルネックとなり、精度向上に大量のパラメータを必要とするため、計算コストが高くなります。そこで私達はパラメータを増やすことなく表現力を改善する技術を作りました。

めざす未来

本技術を用いることで、扱いの難しい個人の移動情報を利用せずに群衆の移動傾向を知ることが可能です。タクシー配車やバスの運行計画などの交通系サービスにおいて、「エリア毎の人数」に加えて「エリア間の移動人数」も考慮した、高度な運用計画の立案が可能になります。

めざす未来

本技術を用いることで、高精度なモデルを既存のモデルの一箇所を変更するだけで構築できるようになります。本研究のように表現力のボトルネックを解消していくことで、より少ないパラメータ数、計算コストで高精度な予測が可能な深層学習モデルの実現に寄与します。

深層学習とは問題設定

画像認識や機械翻訳を行う技術
事前にモデルの中の重みをデータから最適化する
確率の表現にはsoftmax（既存の出力関数）を使用

出力の数が3つのときを考えると8:00 AM

7:00 AM

何に取り組んでいるか？

9:00 AM✓ 群衆の移動を記録したデータを
企業間を跨いで様々なサービスで利用することはプライバシーの問題で難しい✓ 実用上は、時間別のエリア人口の形などに集計したものしか利用可能でない場合が多い
本技術「五輪に沸く」8:00 – 9:00 AM

7:00 – 8:00 AM

技術ポイント

判断基準①: エリアごとの特徴（人が集まりやすい・出ていきやすい）を考慮

増加

判断基準②: エリア間の距離が移動しやすさに影響減少

𝜃𝜃𝑖𝑖𝑖𝑖 ∝ 𝜋𝜋𝑖𝑖 × 𝑠𝑠𝑗𝑗 × exp(−𝛽𝛽 ⋅ 𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑(𝑖𝑖, 𝑗𝑗))
判断基準①

•
•

東京駅
品川駅

変化なし
基本のみ

推定
基本 ＋ 判断基準① ②

不正解
近いエリア
への移動
が存在

(0,0,1)(0,1,0) 𝑃𝑃
東京

とりうる確率(1,0,0)

モデル

𝑃𝑃犬

入力
「小屋の中の」「五輪に沸く」

様々な入力

新しい出力関数 sigsoftmax

最終層のユニット数＜出力数-1 のとき
softmax関数は表現力が不足

sigmoidをかけてより曲がる（表現力が向上する）ような関数を提案

𝑃𝑃鳥

sigsoftmax
𝜎𝜎(𝑧𝑧𝑖𝑖 )exp(𝑧𝑧𝑖𝑖 )𝑓𝑓𝑖𝑖 𝒛𝒛 =∑𝜎𝜎(𝑧𝑧𝑗𝑗 )exp(𝑧𝑧𝑗𝑗 )

最終層

𝑃𝑃東京
𝑃𝑃犬

正解
「人が集まりやすい」品川駅への流入が存在（これに紐づき、品川駅から東京駅への移動も再現）

𝑃𝑃鳥Softmax

最終層のユニット数が1だとsoftmaxでは十分に曲がらず
真の確率に一致しない

言語処理の場合、出力数＝語彙数＝数万でありユニット数を出力数と合わせると膨大な重み（パラメータ）が必要となり計算コストが高い

𝜎𝜎 𝑧𝑧 =

1：sigmoid
1−exp(−𝑧𝑧)0から1に近づく関数

𝑃𝑃東京

𝑃𝑃鳥
𝑃𝑃犬

softmaxより高い表現力[1]追加のパラメータなく計算コストが低い

関連文献

関連文献

[1] Y. Akagi, T. Nishimura, T. Kurashima, H. Toda, “A fast and accurate method for estimating people flow from spatiotemporal population data,” in Proc.
the 27th International Joint Conference on Artificial Intelligence and the 23rd European Conference on Artificial Intelligence (IJCAI-ECAI-18), 2018.
[2] 赤木康紀，西村拓哉，倉島健，戸田浩之，“人の移動の特徴を考慮した人口統計情報からの移動人数推定，” 日本データベース学会和文論文誌, Vol.
17-J, No. 9, 2019.
[3] 赤木康紀，西村拓哉，倉島健，戸田浩之，“人口データからの移動傾向推定の高速化について，” 第21回情報論的学習理論ワークショップ, 2018.

[1] S. Kanai, Y. Fujiwara, Y. Yamanaka, S. Adachi, “Sigsoftmax: Reanalysis of the softmax bottleneck,” in Proc. 32nd Conference on Neural Information
Processing Systems (NeurIPS), 2018.

連 絡 先

連 絡 先

赤木 康紀 (Yasunori Akagi) サービスエボリューション研究所
Email: cs-liaison-ml at hco.ntt.co.jp

金井 関利 (Sekitoshi Kanai) ソフトウェアイノベーションセンタ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

人間の科学

人間の科学

次の行き先 𝑗𝑗 は
(𝑠𝑠𝑗𝑗 :エリア𝑗𝑗の人の集まりやすさ)× (𝑖𝑖と𝑗𝑗の距離)に比例した確率で決定※ 𝜋𝜋𝑖𝑖 , 𝑠𝑠𝑗𝑗 , 𝛽𝛽 はデータから教師なし推定

exp(𝑧𝑧𝑖𝑖 )𝑓𝑓𝑖𝑖 𝒛𝒛 =∑exp(𝑧𝑧𝑗𝑗 )様々な入力に対する出力の点を結んでいくと図の青線（確率のパターン）になるとする→モデルの出力の範囲をこれに一致させたい

表現力のボトルネック

判断基準②

エリア 𝑖𝑖 にいる人は 確率 𝜋𝜋𝑖𝑖 で他のエリアへ移動

softmax

三角形上の点となり，モデルは入力からその点を結ぶ

メディアの科学

メディアの科学観測された人数変化

softmax
犬 東京 鳥0.5 0.1 0.4

高精度な予測のためには様々な確率のパターンを出力できる能力（表現力）が必要「都市における人間行動らしさ」を考慮した判断基準により高精度な推定を実現

エリア 𝑖𝑖 から 𝑗𝑗 への移動確率 𝜃𝜃𝑖𝑖𝑖𝑖

𝒛𝒛

softmax
犬 東京 鳥0.05 0.9 0.05

: 減少エリアから増加エリアへ移動を割り当て

例）文章生成:前の文から次を予測
重みユニット

9:00 AM

時間別エリア人口データ から

基本「小屋の中の」出力となる各単語の確率：(𝑃𝑃犬 , 𝑃𝑃東京 , 𝑃𝑃鳥 )コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究エリア間の移動人数 を推定

18

深層学習のボトルネック解消で精度を向上
データと学習の科学

データと学習の科学ᵎᵑLarger capacity output function for deep learning

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201919

Causal inference in time series via supervised learning

Tensor factorization for spatio-temporal data analysis

データから学ぶ： どれが原因？どれが結果？

～時空間データ解析のための時空間回帰テンソル分解法～

時々刻々と変化する時系列データを対象に、その間の原因と結果の関係(因果関係)を自動的に発見する研究です。例えば「研究費は売上に影響を与える」という因果関係は、企業が意思決定をする際に有用な知見です。このほか、遺伝子制御ネットワークの推定など、多種多様な応用が期待できます。

どんな研究

時空間データ解析において、過去のデータが未観測な地点での未来予測技術を研究しています。過去に得られた膨大な時空間データから、データに隠された少数かつ重要な時空間パターンおよびパ
ターン毎に現れる時間・空間相関を同時に学習することで過去データの無い地点の未来を予測します。

どこが凄い

因果関係を正しく推定するには、各データの性質に即して数式表現(自己回帰モデル)を選ぶ必要があり、データ分析の専門家でなければ困難でした。そこで 多様な性質を持つデータを用いて機械学習
モデルを学習することで、データ分析の専門知識なしに因果関係を推定できる技術を構築しました。

どこが凄い

時空間データには、データの観測位置が規則正しく格子状に置かれた場合と、そうでない場合が存在します。どのような観測位置の形状にも対応可能な空間回帰正則化を新たに提案し、自己回帰テンソ
ル分解に適用することで、潜在空間における空間・時間相関を同時モデル化を実現しました。

めざす未来

因果関係に関する知見によって、例えば売上を上げるために研究費を上げるといった重要な意思決定を効果的に行うことができる未来をめざしています。そのために、データの間の相関関係がどのように生じたものかを、因果関係の言葉でより正確に説明できる技術の実現をめざしています。

めざす未来

本技術を用いることで、既存の方法よりも高精度な時空間データの予測ができるようになります。今後
は企業、行政機関、人工衛星、センサーネットワークなどから得られる異なる種類の時空間データに対応した、より柔軟かつ複雑な相関関係を捉える時空間分析技術の実現を目指します。

時系列データから因果関係を推定する問題
時系列データ

因果関係の有無・方向

X
Y

X→Y
X←Y

例：売上と研究費の間の
因果関係

X：研究費
Y: 売上

因果なし

研究費は売上に影響を与える

予測式

X →Y

予測値

Y

Y
予測式

X

X

X→Y

過去のXの値を使うと予測誤差が小さくなる(Granger因果性)

データから因果関係の有無・方向を学習

X →Y

難しさ
データに適した予測式(自己回帰モデル)を選ぶ必要がある•

分析の専門家でなければ困難

本技術のポイント

データ分析の専門知識
サンプリングX →Y
がなくても高精度に
線形
X ←Y
因果関係を推定できる モデル

...

観測時刻

未観測時刻

格子・非格子状に設置された近傍の観測場所との距離・方向の情報から空間回帰するモデルを提案

X→Y
X←Y

方向依存の空間相関を学習することで、過去データ

因果なし

空間回帰正則化

ポイント2.
(訓練)データから
ポイント1.
因果関係の違いを反映した 因果関係の判定方法
特徴を自動的に抽出を自動的に学習

因果関係既知のデータ(訓練データ)

[本技術]

(1)

の存在しない位置の潜在因子𝑢𝑢𝑝𝑝,𝑘𝑘 を推定します

各因子における方向のみから定まる回帰係数𝑏𝑏𝑘𝑘,𝑛𝑛𝑝𝑝𝑝（右図の色の異なる矢印に対応）

潜在因子上の異なる箇所に現れる
空間相関を学習← 正の方向回帰係数← 負の方向回帰係数𝑝𝑝𝑏𝑏𝑘𝑘,𝑛𝑛𝑝𝑝𝑝

𝑤𝑤𝑝𝑝,𝑝𝑝𝑝

𝑝𝑝𝑝

関連文献

関連文献

[1] Y. Chikahara, A. Fujino, “Causal Inference in Time Series via Supervised Learning,” in Proc. 27th International Joint Conference on Artificial
Intelligence (IJCAI), 2018.
[2] 近原鷹一, 藤野昭典,“教師あり学習に基づくGranger causalityの推定,”情報処理学会論文誌：数理モデル化と応用(TOM), Vol. 11, No. 3, pp. 58-73,
2018.

[1] K. Takeuchi, H. Kashima and N. Ueda, “Autoregressive Tensor Factorization for Spatio-Temporal Predictions,” in Proc. of 2017 IEEE International
Conference on Data Mining (ICDM), 2017.
[2] 竹内孝, 鹿島久嗣, 上田修功, “自己回帰テンソル分解による時空間データ予測,” 2018年度人工知能学会全国大会（第32回）, 2018.

連 絡 先

連 絡 先

近原 鷹一 (Yoichi Chikahara) 協創情報研究部 知能創発環境研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

竹内 孝 (Koh Takeuchi) 上田特別研究室
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

人間の科学

人間の科学

様々な確率モデル

X →Y
X ←Y

...

空間方向の回帰•

特徴ベクトルX ←Y 因果なし

未来の潜在因子とデータ未観
測位置の潜在因子を組み合わせ、未来予測(X3)を実現

観測
場所
未観測
場所

予測誤差

( XとY )

現在の時間

非線形
モデル

TRMF: 時間方向の自己回帰[Yu+, NIPS2016]

センサー
の種類

メディアの科学

メディアの科学

過去のXの値が未来のYの値を予測するのに役立
つならば、因果関係は

売上

Y

Y

因果関係とは

時空間回帰問題
未観測場所の因子(青)を空間回帰により推定。自己回帰テンソル分解と組み合わせ、
空間回帰と自己回帰を正則化に利用、未観測場所(赤)を予測する。

研究費

時間

既存の推定方法

結果

原因

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

(Yのみ)

20

ᵎᵔ

～教師あり学習に基づく時系列の因果推論～

データと学習の科学

データと学習の科学ᵎᵓ

過去データの無い地点でも未来を予測

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201921

“Pitarie”: Finding picture books by graph index based search

いろいろな観点で欲しいものを見つけます～グラフ索引型探索技術による絵本検索システム「ぴたりえ」～ᵎᵖ～シャノン限界を達成する誤り訂正符号～「間違い混じりのあらすじを入力して絵本を探す」「好みの絵本と似た画風の作家による絵本を探す」など、いろいろな観点で絵本を検索できるシステムについて紹介します。独自の検索技術に加え、ひらがな文の自然言語処理技術、子どもの語彙獲得についての知見を取り入れた学際的研究です。

どんな研究

高速な通信環境を実現するためには、雑音のある環境下で効率よく正しい情報を送受信する必要があります。これを実現する技術は「誤り訂正符号」と呼ばれています。本技術は、計算機科学者シャノンによって求められた、符号化効率の限界（シャノン限界）を達成する誤り訂正符号を実現します。

どこが凄い

提案手法は、検索対象となる大量のデータを事前に整理して、似たもの同士が接続されたグラフ（ネットワーク）を構成しておくことで高速な検索を実現します。従来手法と異なり、メディア（文章、画像、音声など）の特性に依存しないため、幅広いメディアから抽出する特徴に対応して高速化を実現します。

どこが凄い

第５世代移動通信システム（5G）に実装されている誤り訂正符号（LDPC符号・ポーラ符号）は、特殊な通信路ではシャノン限界を達成できますが、一般の通信路では達成できません。本展示の技術を用いることにより、一般の通信路でもシャノン限界を達成することができます。

めざす未来

病院での発音訓練に適した絵本探し、小学校での英語教育に適した英語絵本探しなど、絵本を活用した様々なサービス実現をめざすとともに、一般書籍や技術文書など絵本以外のメディアについても多様な観点からの検索を実現するための基盤となるような研究を行います。

めざす未来

本技術（ＣｏＣｏＮｕＴＳ＊）を用いることで、既存の方法よりも効率のよい通信を実現できます。これは光通信や無線通信の帯域が貴重となる環境で効果を発揮します。今後は実環境に近い通信路に適用するための周辺技術を確立して、将来の通信技術の実現をめざします。

絵本検索システム「ぴたりえ」

検索に先立ちグラフ索引を用意（オフライン処理）

誤り訂正符号

グラフ索引構築アルゴリズム

絵本データ

誤り訂正のための情報を付加

雑音を除去して元の情報を復元

似たもの同士が接続されたグラフを構成し、索引として活用。

○ メディアの特性に依存しない工夫なので、文章画像音声など多様な対象に適用可能。

観点2: お気に入りの絵本と内容が似ている

入力した絵本と同作者の絵本はもちろん、似た画風の作家の絵本も見つけられます。

入力
クエリ
索引上を移動して類似物を探索

様々な応用
構音（発音）障害の訓練に適した絵本の検索システム「ぴたりえメディカル」

応用例

雑音の混入

クエリ絵本と異なる作者の絵本

引用させていただいた絵本：

サ行の発音をタ行と混同しがちな女の子

言語聴覚士（構音訓練を両者からの複合的な条件と 行う専門家）

𝒙𝒙2

よく一致する絵本を出力
竹田綜合病院と共同研究中

𝒙𝒙3

𝒙𝒙5

𝒙𝒙4
通信路入力

うさこちゃんとうみ、ディックブルーナ作、福音館書店、1964年

限界を達成するためには、通信路入力 𝒙𝒙𝑖𝑖 を効率よく（左図ではできる限
り離して）配置する必要があります。

LDPC符号やポーラ符号は、最適な通信路入力 𝑋𝑋 が一様分布になる通信路では限界を達成しますが、これを満たさない通信路では限界を達成する
配置になっていません。

•

素朴な復号法では、雑音を含む通信路出力から総当たりで通信路入力を推定する（左図では 𝒚𝒚 の最近点𝒙𝒙4 を求める）必要があり、実時間で計算できませんでした。

提案技術のポイント•

符号器に拘束条件を満たす乱数生成器を用いることにより、理想的な通信路入力の配置を実現できます。

•

復号器に拘束条件を満たす乱数生成器を用いて総当たりを回避することにより、実時間の計算が可能になりました。

＊CoCoNuTS = Code based on Constrained Numbers Theoretically-achieving the Shannon limit

関連文献

関連文献

[1] 服部正嗣, 小林哲生, 藤田早苗, 奥村優子, 青山一生, “ピタリエ: 興味・発達段階にピッタリの絵本を見つけます,” NTT 技術ジャーナル, Vol. 28, No. 6,
pp. 54-59, 2016.
[2] K. Aoyama, K. Saito, H. Sawada, N. Ueda, “Fast approximate similarity search based on degree-reduced neighborhood graphs,” in Proc. The 17th
ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 1055-1063, 2011.

[1] J. Muramatsu, “Channel coding and lossy source coding using a generator of constrained random numbers,” IEEE Transactions on Information
Theory, Vol. 60, No. 5, pp. 2667-2686, 2014.
[2] J. Muramatsu, S. Miyake, “Construction of a channel code from an arbitrary source code with decoder side information,” IEEE Transactions on
Information Theory, Vol. 65, No. 1, pp. 500-508, 2019.

連 絡 先

連 絡 先

服部 正嗣 (Takashi Hattori) 協創情報研究部 知能創発環境研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

村松 純 (Jun Muramatsu) 協創情報研究部 知能創発環境研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

人間の科学

人間の科学

(「雪の女王」は本スライドのため内製したものです)

受信者

•

𝒙𝒙1

𝒚𝒚
通信路出力（雑音を含む）

しろくまちゃんのほっとけーき、わかやまけん作、こぐま社、1972年

復号器

符号化・復号化の難しさ•

幾何学的なイメージ

サ行タ行の発音を含む３音以上の言葉が多くて、
３０ページくらいで…

𝑌𝑌

通信効率＝（送信したいシンボル数）／（送信信号数）
これをシャノン限界まで大きくしたい

わたち（私）は、おひめさまが好き！

出
力

通信路出力

メディアの科学

メディアの科学

グラフ索引を用いて高速な検索を実現

グラフ探索
アルゴリズム

送信者

𝑋𝑋

実現の難しさと提案技術のポイント

観点3: 画風が似ている (下記例)

検索例

符号器

○ 「スモールワールド性」：
任意の２頂点が少数ホップ以内に存在し、検索に適している。

グラフ索引

いろいろな観点で絵本を探せます。

通信路入力

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

観点1: あらすじ

22

限界まで効率よくメッセージを送れます
データと学習の科学

データと学習の科学

ᵎᵕError correcting codes achieving the Shannon limit

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201923

Vulnerability assessment of quantum secret sharing

新たな秘密がこれまでの秘密を脅かすᵏᵎ～「量子情報を用いた秘密分散」の脆弱性の検証～～ニューラルネットによる階層的トップダウン修辞構造解析～

どんな研究

文書の背後にある談話構造を木として表現する研究を紹介します。文書を段落系列と文系列で構成された入れ子の階層構造としてとらえ、それぞれの階層での修辞構造をニューラルネットを用いて推定します。そして、それらをつなぎ合わせることで文書全体をあらわす修辞構造木を構築します。

どこが凄い

上記の現象が起こる必要十分条件を世界で初めて示し、その現象を引き起こす実装可能な推定方法を発見しました。この結果は、量子状態の推定可能性の解明に大きく貢献し、同時に、「量子情報を用いた秘密分散」の決定的な脆弱性を顕在化させました。

どこが凄い

段落、文系列を独立かつ再帰的に二分割することで木を構築するため、並列化が容易であり長い文書であっても高速に動作することが期待できます。ニューラルネットを用いてテキストデータを自動的に特徴ベクトルに変換するため、人手で複雑な特徴を考える必要がありません。

めざす未来

量子状態の推定可能性の解明は、量子情報を用いた未来の様々な情報処理技術の実現に貢献します。これらが実現することで、飛躍的に安全な情報処理が可能となります。また、今の技術では原理的に実現できない機能を持った情報処理が可能となることも期待されています。

めざす未来

自然言語処理技術は「文」だけではなく「文章」も処理対象として扱う必要があります。例えば、文書を翻訳する際には文脈に応じて適切な訳語を選ぶ、要約する場合には原文書の話題の一貫性を損なわぬようにすることが重要です。本研究はこうした自然言語処理の基盤として必要不可欠です。

1. ランダムに選ばれた多数のベル状態をユーザに配る

2. ユーザは通常の通信路を用いて、配られた量子状態を推定する

文書

2. ユーザは通常の通信路を用いて、配られたベル状態の種類
𝑥𝑥1 , 𝑥𝑥2 , ⋯ , 𝑥𝑥𝑁𝑁 を全て推定する
ベル状態𝑥𝑥1

未知の量子状態
ユーザ1
ユーザ2

ベル状態𝑥𝑥2

ユーザ2

ベル状態𝑥𝑥𝑁𝑁

通常の通信路
解析結果

ベル状態1
ベル状態2
ベル状態3
ベル状態4

ベル状態𝑥𝑥

推定成功確率< 1

ランダムさのエントロピー > 1の時

1. 秘密情報𝑥𝑥を量子状態に符号化し、通常の通信路で結ばれたユーザに配る
量子状態

全推定に成功する確率の下限
1
0.8
0.6
0.4
0.2
0
100
600
1100 1600
推定すべきベル状態の数𝑁𝑁

どんな推定方法を用いても全推定に成功することは困難

実装可能な推定方法を用いて高い確率で全推定に成功

攻撃ユーザ

文 13

文 14

文 15

従属部

段落2

文 16

従属部
主要部
因果

主要部
文16

従属部

従属部

主要部
文15

主要部

主要部

主要部

並列

並列

主要部
因果

主要部
因果

3RLQW

入れ子の階層構造
・文書は段落の系列→段落を葉とする木を構築
・段落は文の系列→文を葉とする木を構築

文〜文

従属部 主要部 従属部 主要部
文11

文12

文13

従属部主要部 従属部 主要部

文14
文11

3RLQW

文12

文13

文14 文15 文16
赤字：関係ラベル

系列を二分割することで上から木を構築

修辞構造木の構築
文書

修辞構造木

推移
主要部

推移

従属部
因果
並列

従属部
並列

主要部
因果
攻撃ユーザ

修辞構造解析のベンチマークセットによる評価結果
木の形＋主/従ラベル＋関係ラベル

提案法

72.0

58.6

46.7

提案法
階層化なし

66.5

53.4

43.3

従来法

68.6

55.9

45.8

Human

78.3

66.8

57.1

従属部

主要部
推移

2. 攻撃ユーザは、配られた量子状態を推定して秘密情報𝑥𝑥1 , 𝑥𝑥2 , ⋯ , 𝑥𝑥𝑁𝑁 を読み出そうする
…

従属部
並列
並列

主要部 主要部 主要部

主要部

主要部
因果

従属部 主要部 従属部 主要部

Bracket F値: 正解の修辞構造木との一致の割合
文11
段落１

本解析結果→秘密情報の数𝑁𝑁が増えれば増えるほど、全ての秘密情報を読み出されてしまう危険性がある

文12

文13
段落2

文14 文15 文16
段落3

段落４

段落を葉とする木と文を葉とする木を結合

本展示は東京工業大学 奥村研究室との共同研究の成果です

関連文献

関連文献

[1] S. Akibue, G. Kato, “Bipartite discrimination of independently prepared quantum states as a counterexample to a parallel repetition conjecture,”
Physical Review A, Vol. 97, No. 10, 042309, 2018.

[1] 小林尚輝, 平尾努, 奥村学, 永田昌明, “階層構造を考慮したトップダウン談話構造解析,” 言語処理学会第25回年次大会, pp. 1002-1005, 2019.

連 絡 先

連 絡 先

秋笛 清石 (Seiseki Akibue) メディア情報研究部 情報基礎理論研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

平尾 努 (Tsutomu Hirao) 協創情報研究部 言語知能研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

人間の科学

人間の科学

𝑥𝑥 = 1の時、ベル状態1
𝑥𝑥 = 2の時、ベル状態2
𝑥𝑥 = 3の時、ベル状態3
𝑥𝑥 = 4の時、ベル状態4文〜文

文 12

推移

文11：7日未明には30cmの積雪を記録。
文〜文 段落
文12：電車は運行の中止を検討。
文13：気温は氷点下10度まで下がった。
文14：路面凍結による事故が多発。
文〜文
文15：各大学は入試の開始時間を遅延。
文16：混乱なく試験は終わった。

ランダムさのエントロピー < 1の時

全推定に成功する確率の上限
1
0.8
0.6
0.4
0.2
0
50
300
550
800
推定すべきベル状態の数𝑁𝑁「量子情報を用いた秘密分散」の脆弱性の検証

文 11

メディアの科学

メディアの科学

量子状態が4種類のベル状態（量子情報処理における特有かつ有用な量子状態）からランダムに選ばれる時

段落

1. ランダムに選ばれた量子状態を分割してユーザに配る

テキスト系列の分割によるトップダウンパージング

段落

ベル状態の一斉推定タスクの解析

段落 段落

量子状態の推定タスク

コミュニケーションと計算の科学

秘密情報を安全に保管する方法として「量子情報を用いた秘密分散」が提案されていますが、その安全性を確認するには、量子状態の推定可能性を解明することが不可欠です。この展示では、未知の量子状態が増えれば増えるほど、全状態を推定できるようになるという現象の解析結果を紹介します。

…

コミュニケーションと計算の科学

どんな研究

ユーザ1

24

文や段落の修飾関係を賢く判断
データと学習の科学

データと学習の科学

ᵎᵗHierarchical top-down RST parsing based on neural networks

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201925

Emergent literacy development in Japanese

ひらがなはいつからわかる?

12～幼児の文字習得メカニズムを探る～～主観・生理・行動からみた共感的コミュニケーションの分析～

小学生以降の文字の読み書きはこれまで多くの研究が行われてきましたが、就学前の幼児が文字をいつ、どのように習得していくかについてはよくわかっていませんでした。本研究では、ひらがなの習得に注目して、幼児がひらがなを理解し始める時期や習得しやすい文字の特徴等を調べています。

どんな研究

共感は人が社会的な生活を営む基盤ですが、主観・生理･行動から構成される複雑な現象であるために、その仕組みはまだ十分に解明されていません。本研究では、共感を多面的に理解するために定量化し、そこに含まれる個人差を考慮した方法論を提案していきます。

どこが凄い

幼児がひらがなを見ている時の目の動きを測定することで、3歳の誕生日前後から音と文字の対応を正しく理解し始めていることを発見しました。加えて、大規模絵本コーパスなどを用いた解析により、ひらがなの読みと書きの習得の間で異なる要因が関連していることを明らかにしました。

どこが凄い

個人の中で生理と行動がどのような関係にあるのか、複数の個人の間で情動がどのように伝わるのかを明らかにしました。さらに、個人差が大きい主観の分析において、複数人のデータを集約する集合知のアプローチと、心理特性にもとづく個人差を含むモデル構築の両方に取り組んでいます。

めざす未来

幼児のひらがな習得プロセスとその仕組みを科学的に明らかにすることにより、ディスレクシアなどの読み書きが苦手なお子さんをできるだけ早期に発見する手法を確立するとともに、各個人の発達段階に応じたテーラメイド型の文字学習法の提案に貢献することを目指しています。

めざす未来

共感を個人差を含めて定量計測する枠組みが整えば、一人一人にあわせた共感を促す介入やその効果の評価・予測が可能になります。他者との関わりがより豊かになれば、ウェルビーイング（心身の潜在能力を発揮し、いきいきと満足して生きること）の向上にもつながると期待されます。

目の動きを用いたひらがな理解の測定

正
答
文
字
数

しー、しはどっち？

対象児：80名の2-3歳児(24-48ヶ月児)
方法：幼児がモニタを見ている
時の目の動きをアイトラッカー
で記録
分析：標的文字の注視時間を計算

2

文字の出現頻度

0.3文字

1.1文字

24-31ヶ月 32-39ヶ月 40-48ヶ月（国立国語研究所の公開データ）

識別対象：

認知
共有

ビデオ と 筋電図
を用いて表情を計測

回答者：

行動
顕在

潜在

潜在

どのような人が他者と似た情動になりやすく、また、似た情動になっていることを正しく認知しやすいかを
類似性判断理論にもとづき解明しました
システム化指数(SQ)が高い
人ほど自分と相手の情動の類似度をより正しく回答する
自分

共感性指数(EQ)が高い(低い)人ほど、相手と似た情動になりにくい(やすい)
EQ高群

情動空間

自分
長

ひらがな読み正答率順位
図3 絵本の文字出現頻度と読み正答率順位

→ 異なる

相手

1

1

1

0.8

0.8

0.8

0.6

0.6

0.6

0.4

0.4

0.2

0.2

0

0

0.2
0

EMG

EQ低群

個人間での生理の同期と認知の共有
協力課題を実行中に、生理反応が同期すること、生理的同期が高いほど「場」に対する印象（認知）も一致しやすいことを明らかにしました
人物1

人物2

情動空間

短

→ 似ている

0.4

CV

人の判断
画像計測
筋電図計測
正答率は 人 ＜ 画像計測 ≒ 筋電図計測 デ

個人間の情動伝染の認知と心理特性 [2]月齢
図2 音と文字の対応の理解 (32-39ヶ月)

文
字
頻
度
（
対
数
変
換
）

正
答
率

時間

長

短

指尖容積脈波（振幅値）が二人の間で同期

コミュニケーションへの印象評価（認知）の一致度

関連文献

関連文献

[1] H. Higuchi, Y. Okumura, T. Kobayashi, “Acquisition of letter-sound correspondence in Japanese-speaking 2-year-olds: An eye-tracking study,” inProc. Biennial Meeting of Society for Research in Child Development (SRCD) , 2019.
[2] 樋口大樹, 奥村優子, 小林哲生, “幼児のひらがな読み・書き習得に及ぼす文字特性の影響,” 音声言語医学, (in press).
[3] 樋口大樹, 奥村優子, 小林哲生, “幼児のカタカナ読み書き習得に関与する文字特性の検討,” 音声言語医学, (in press).

[1] M. Perusquia-Hernandez, S. Ayabe-Kanamura, K. Suzuki, S. Kumano, “The invisible potential of facial electromyography: A comparison of EMG andcomputer vision when distinguishing posed from spontaneous smiles,” in Proc. CHI Conf. Human Factors in Computing Systems (CHI), 2019.
[2] L. Antaket, M. Matsuda, K. Otsuka, S. Kumano, “Analyzing generation and cognition of emotional congruence using empathizing-systemizing
quotient,” International Journal of Affective Engineering, Vol. 17, No. 3, pp. 183-192, 2018.

連 絡 先

連 絡 先

樋口 大樹 (Hiroki Higuchi) 協創情報研究部 インタラクション対話研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

熊野 史朗 (Shiro Kumano) 人間情報研究部 感覚共鳴研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 2019

人間の科学

人間の科学

ひらがなの読み習得は絵本に出現する文字頻度と関連(図3)
書き習得はその要因に加えて文字の複雑さも影響

自然な笑顔と作り笑顔の識別課題において、ビデオだけを見て判断する人と機械、筋電図のみから判断する機械の精度を直接比較しました

生理同期

順位相関係数 = -0.63

ひらがな書き※筑波大との共同研究成果

この人の表情は自然な笑顔？それとも作り笑顔？

標
的
文
字
へ
の
注
視
度
合

五十音表順位

ひらがな読み心理特性
認知生理

図1 ひらがな読み課題の結果

ひらがな読みと書きの習得に与える影響の分析
文字の複雑さ4.3文字

個人の生理と行動 [1]

メディアの科学

メディアの科学

３歳の誕生日前後の幼児(32-39ヶ月)は、ひらがなをほぼ読めない(図1)にも関わらず、音と文字の対応を理解し始めている可能性(図2)を示唆

人の間で生じる共感には生理の同期という低次の現象から認知の共有という高次の現象まで様々含まれます。本研究ではこれらを多面的に理解しようとしています。

生理反応の同期1

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

絵本コーパス26「こころが動く、通う」をどう測る？
データと学習の科学

データと学習の科学

ᵏᵏ

Quantitative assessment of empathic communication

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201927

Towards tactile enhanced crowd empathetic communication「触れて深まる体感と共感」を集団から測る～ユーザ発話中のイベント理解に基づく雑談対話システム～

触覚体験によって配信コンテンツの視聴効果を向上させると共に、体験の場を共有することで生じる
共感的コミュニケーション（一緒に見る効果）を、可視光通信を使った多人数同時測定技術によって客
観的な生理指標として測定・評価していく研究です。

どんな研究

従来の対話システムに欠けていた、ユーザの発話内容をシステムが理解しているとユーザに感じさせる「理解してくれている感」のある対話を目的とした研究です。ユーザの話したイベントを構造化された情報（いつ、どこで、等）として理解することで、イベントの内容に即した共感や話題展開を実現します。

どこが凄い

触覚情報を映像音と共に記録、配信、呈示する触覚通信の仕組みにより、体感を深めることにつながります。可視光通信により触覚体感を生理的な反応として多人数から同時に測定することが出来ます。
異なる技術分野を組み合わせ共感的コミュニケーションに関する新たな研究を進めることが出来ます。

どこが凄い

ユーザの発話からイベントを正しく理解するためには、発話に含まれる様々な表現の抽出が必要でした。これに対し、従来手法では抽出できなかった雑談中に現れやすい単語やフレーズを抽出可能にし、対話からの構造化されたイベント理解を実現します。

めざす未来

触覚呈示技術と多人数測定技術を統合的に用いることによって、五感介入、測定、評価、要因特定といった循環的プロセスに基づく研究を行い、従来は直感的に語られていた共感的コミュニケーションを定量化するとともに、人々がいきいきと満足できる場を設計する指針や方法論を提案していきます。

めざす未来

本技術により、ユーザの発話からシステムが理解したい情報を整理して抽出できるようになります。今後は、抽出した結果を、外界の情報やシステムの知識にグラウンディングさせることで、ユーザとシス
テムの共通理解を実現し、相手が人であるときと同じように安心して対話ができる世界を目指します。

赤外ＬＥＤ

音声

映像

復調

触覚

触覚データの記録とコンテンツ作成

メタデータ(Video, Audio, Touch)

映像 9LGHR

音声 $XGLR

触覚 7RXFK

映像
コーデック

音声
コーデック

触覚波形
コーデック

++(9&+$9&03(*
03(*
HWF

03
$$&
$/6
86$&
HWF$/6
 HWF

映像・音声と合わせた
触覚データ通信

特殊カメラで撮影
明暗

ううん、なんばに行ったよ。

瞑想度【類似イベントの例 システムの知識 】

なんばなんだ。たこ焼き食べた？

点滅に変換
集中度

脳活動
β波：集中度α波：瞑想度ユーザ

ユーザ

うん。ネットで美味しいって書いてたお店で食べたよ。

システム

システム

いいね。美味しかった？

イベントの内容に即した共感と話題展開を実現

一人一人の脳活動をキャラクターで表現

瞑想度

いつ 連休にどこで 大阪/海遊館
誰と 家族で何を イルカを見た
感想 かわいかった

いつ 9月にどこで 大阪/なんば
誰と 友達と何を たこ焼きたべた
感想 美味しかった

対話システムライブコンペ（対話システムシンポジウム2018）で1位を獲得した対話システムに組み込む形式で実装

ユーザ発話からのフレーズ抽出

触覚体験介入と集団測定による共感的コミュニケーション測定の試み

一人のときと一緒のときの比較を通して、場を一緒に共有することによって生じる共感的
コミュニケーションの効果を解き明かしていきます。

ユーザの発話に含まれるイベント（出来事）を構造化された情報として理解し、システムの知識と照合することで、イベントの内容に即した発話生成を行います。
【理解されたイベントの構造化例】
いつ
夏休み
夏休みはどうだった？
どこで 大阪/なんば
大阪に行ってきたよ。
誰と何をたこ焼き食べた
海遊館とか？
感想

ユーザ発話から正しくイベントを理解するためには、発話に含まれる様々な表現の抽出が求められます。雑談中に現れやすい単語やフレーズ表現を分析し、これまで検出が困難であった一般名詞やフレーズの抽出を可能にしました。

瞑想度【本技術で抽出できた場所フレーズの例と従来技術の結果】
一人

集中度

一人

一緒

集中度

一緒

脳活動レベルや同期性などを指標に、触覚体験の有無による違いや場を共有する人数の違いによる、
共感度の変化を調べます。

フレーズを検出

ユーザ発話（赤字:場所フレーズ）

従来技術の
抽出結果

成否

夏休みにイタリアに行きました。

イタリア

○

お昼に

職場 近くの ラーメン屋 に行ったよ。

京都駅近くの公園でお花見したよ。

京都駅

×（不足）

いつ

どこで

暇なときは電気屋に行きます。

なし

×（未抽出）

一般名詞やフレーズの抽出を実現

関連文献[1] 渡邊淳司，“触／身体感覚の記録・伝送・再生の原理とその社会での価値創生,” 電気通信 2019年2月号.
[2] Y. Shiraki, T. G. Sato, T. Moriya, “Flexible synchronization in optical camera communication with on-off keying,” in Proc. IEEE GLOBECOM
Workshops, pp. 1-6, 2017.
[3] 佐藤尚，白木善史，守谷健弘，“可視光通信による群集Well-Beingの測定の試み,” 人工知能学会全国大会（第32回）論文集, 2F2-OS-4a-03, 2018.

[1] H. Narimatsu, H. Sugiyama, M. Mizukami, “Detecting Location-Indicating Phrases in User Utterances for Chat-Oriented Dialogue Systems,” in Proc.
The Fourth Linguistic and Cognitive Approaches to Dialog Agents Workshop (LACATODA), 2018.
[2] 杉山弘晃, 成松宏美, 水上雅博, 有本庸浩, “文脈に沿った発話理解・生成を行うドメイン特化型雑談対話システムの実験的検討,” 人工知能学会 言語・音声理解と対話処理研究会（SLUD）第84回研究会(第9回対話システムシンポジウム), 2018.
[3] M. Mizukami, H. Sugiyama, H. Narimatsu, “Event Data Collection for Recent Personal Questions,” in Proc. LACATODA, 2018.

連 絡 先

連 絡 先

佐藤 尚 (Takashi G Sato) 守谷特別研究室
Email: cs-liaison-ml at hco.ntt.co.jp

成松 宏美 (Hiromi Narimatsu) 協創情報研究部 インタラクション対話研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

人間の科学

人間の科学

従来の固有表現抽出技術では、雑談対話に登場するフレーズ
全体の約７割が抽出不可（場所フレーズを対象とした場合）

一般名詞を検出関連文献

オープンハウス 2019

メディアの科学

メディアの科学

触覚情報呈示イベント理解に基づくシステム発話生成

可視光通信による多人数同時測定

触覚通信

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

触覚介入時の脳活動を可視光通信技術を利用して測定し
ます。

28

ᵏᵒ

～共感的コミュニケーションの触覚的促進と多人数同時測定～

ロボットと話そう「いつ、どこで、何をした」
データと学習の科学

データと学習の科学ᵏᵑChat-oriented dialogue system based on event understanding

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201929

World’s best voice capture and recognition technologies

うるさい車内でも音声操作や会話をサポートᵏᵔ～世界トップの集音技術・音声認識技術を実用化～

少量の入出力ペアから高精度に音声認識を学習～音声合成を活用した半教師ありEnd-to-End学習～

走行音などによりうるさい車内においても、音声操作や会話をストレスなく行えるようサポートします。
音声操作を実現するため、音声の歪みを少なく保ちながら混入したノイズを除去しました。また、車内の離れた座席間や電話相手との会話の際にストレスとなる遅延をできる限り低減しました。

どんな研究

音声認識は音声を書き起こした文字列へ変換する仕組みです。音声認識モデルの学習用に人手で用意する対応付いた音声と文字列のペアデータが少ない場合、高精度なモデルの実現は困難でした。
この研究ではペアではない音声のみ・文字列のみのデータも活用できる学習方法を提案します。

どこが凄い

音質を保ちながら雑音だけを除去するためには、膨大なメモリと演算量が必要でした。これまで培ってきた音響関連のノウハウ活用により、この問題を解決、かつ、低遅延な処理を実現できました。また、
複数マイクアレイ連携により、ハウリングの兆しを迅速に見つけることができます。

どこが凄い

音声認識モデルと音声合成モデルの構造が似ていることに注目し、二つを組み合わせて音声・テキス
トのみで学んだ特徴量と音声認識の特徴量が近づく≒音声認識に活かせる半教師あり学習を実現しました。実験では少量のペアデータのみで学習する場合と比べて、文字誤り率を半分に削減しました。

めざす未来

今後は、自動車内に混入する自車のエンジン音やロードノイズ、他車からのノイズを低減させることにより、自車内の音環境の改善を目指します。また、緊急車両の接近や故障などによる異常音などのイ
ベント検知を行い、運転支援や早期のメンテナンスに役立つ技術の確立を目指します。

めざす未来

既存の方法よりも少ない音声と文字列の学習用ペアデータで高精度な音声認識モデルを学習できます。将来的には、マイナーな言語や大量に準備しにくい音声（子供など）といったペアデータがほとん
ど得られない環境の音声認識など、より挑戦的な場面で活用できる技術の実現を目指します。

IM : Intelligent Microhpone
ASTER : Anti-distortion Suppression of noise with mask-based TransER function estimation

従来技術との違い

概要

従来NTT技術1 (IM*)

従来NTT技術2 (ASTER*)

本技術 (IM-ASTER)

線形処理と非線形処
理の組み合わせにより、目的方向の音とそれ以外の音を分離

音声と雑音が含まれる信号から、音声歪みを抑えつ
つ最大限に雑音を除去

インテリジェントマイクと
ASTERの強みを組み合
わせ、低演算量・少メモリを実現

処理結果イメージ雑音
音声（入力信号）

雑音を除去する際に音声も削ってしまう

音声歪みを抑えつつ雑音を除去

音声歪みを抑えつつ雑音を除去

音声歪みの抑制△○○

演算量/メモリ量○△○• 音声を受け取る
エンコーダと文字列を出力するデコーダを学習• 未知の入力音声から
正しく文字列が出力できるか評価

デコーダ• 大量のペアデータの準備にはコストと時間がかかって
しまう

中間特徴量

• もし音声だけでエンコーダを、文字列だけでデコーダを学習できればデータの準備が簡単に

エンコーダ

○

デコーダ

・ペアデータが必要なタスク（音声認識、音声合成

・ペアデータが不要なタスク（音声復元、文字列復元

個人／グループ
ハンズフリー通話

音声
認識

）

）

デコーダ

音楽
電話

走行音

音楽 DVD
エアコンつけて

エンコーダ
電話

エンコーダ

全てのエンコーダとデコーダを同時学習

音声
復元

音声
合成

音声認識
エラー率

15.0%
✔

✔
✔

電話

文字列
復元

✔
✔

デコーダ

9.0%

✔
✔

✔

8.7%
✔

8.4%

ポイント2：それぞれの中間特徴量
似るように学習が“こ ん に ち は”

関連文献

関連文献

[1] Y. Hioka, K. Furuya, K. Kobayashi, K. Niwa, Y. Haneda, “Underdetermined sound source separation using power spectrum density estimated by
combination of directivity gain,” IEEE Trans. Audio, Speech, Lang. Process., vol. 21, no. 6, pp. 1240-1250, 2013.
[2] T. Yoshioka, N. Ito, M. Delcroix, A. Ogawa, K. Kinoshita, M. Fujimoto, C. Yu, W. H. Fabian, M. Espi, T. Higuchi, S. Araki, T. Nakatani, “The NTT CHiME-3
system: Advances in speech enhancement and recognition for mobile multi-microphone devices,” in Proc. IEEE ASRU, pp. 436-443, Dec. 2015.

[1] S. Karita, S. Watanabe, T. Iwata, A. Ogawa, M. Delcroix, “Semi-supervised end-to-end speech recognition,” in Proc. Interspeech, 2018.
[2] S. Karita, S. Watanabe, T. Iwata, M. Delcroix, A. Ogawa, T. Nakatani, “Semi-supervised end-to-end speech recognition using text-to-speech andautoencoders,” in Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP) , 2019.

連 絡 先

連 絡 先

原田 登 (Noboru Harada) メディアインテリジェンス研究所
Email: cs-liaison-ml at hco.ntt.co.jp

苅田 成樹 (Shigeki Karita) メデイア情報研究部 信号処理研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

人間の科学

人間の科学
30

学習タスク

“こ ん に ち は”

任意座席からの音声操作“こ ん に ち は”

エンコーダ

半教師あり学習への拡張

デモ内容
インカーコミュニケーション• エンコーダ・デコーダ型モデルの学習は、沢山の音声と書き起こし文字列のペアデータが必要

ポイント1：音声認識と音声合成を組み合わせる○×• 音声と文字列の学習用ペアを準備

音声認識の課題

メディアの科学

メディアの科学

高騒音への対応“こ ん に ち は”

音声認識の枠組み

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

データと学習の科学

データと学習の科学ᵏᵓSemi-supervised end-to-end training with text-to-speech

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201931

All-neural source separation, counting and diarization model

いつ、誰が、何を話した？全部で何人いた？

ᵏᵖ～何人の会話でも聞き分けられる深層学習モデル ～声と話し方を好みのスタイルに変える～系列変換モデルに基づく声質と韻律の同時変換～

会話収録音から、「いつ、誰が、何を話したか」という情報を推定します。従来の類似技術は、収録状況に関して様々な条件（話者は移動不可、話者数は既知、等）を仮定し、その条件が満たされた時のみうまく動作するものでした。しかし、実データではこれらの条件が満たされないことも多々あります。

どんな研究

話し声は抑揚や声質、リズムによって雰囲気が大きく変化します。系列変換モデルを用い、音声の様々な変動要素を柔軟かつ高品質に変換・生成する技術の研究です。例えば、ユーザーが望んだ人の音声に自動変換したり、聞き取りやすい母語話者の発音とリズムに変換することが可能です。

どこが凄い

提案法は、複数人の声が重なっていても、話者数を数え上げながら、「いつ、誰が話したか」という情報を、話者の声の特徴に基づき精度良く推定します。深層学習に基づく、任意の会話状況を表現できるモデルであり、適切な学習データがあれば、あらゆる実会話データに対応できることが期待されます。

どこが凄い

従来の音声変換技術の研究では声質の変換のみに着目したものが多かったのですが、本技術では声質だけでなく抑揚やリズムも自動変換することが可能です。また、機械的に感じる合成音声の波形を心地よく聞き取りやすい音声へと直接変換する深層学習アプローチを世界で初めて実現しました。

めざす未来

人と人との会話から「いつ、誰が、何を話したか」という情報を自動獲得する技術は、会話を自動分析する技術の基盤となり、議事録自動作成や、私たちのコミュニケーションを助けるロボットの実現に寄与します。今後は、より実際的なデータを用い、提案原理の有効性を検証していきます。

めざす未来

本技術を用いることで、既存の音声変換で実現し得なかった高品質な音声変換が可能になります。今後は、感情音声変換や非母語話者の聞き取りにくい音声を母語話者風の音声に変換する研究、発声障がい者支援への応用などを行い、多様で表情豊かな音声変換技術の実現を目指しています。

会話分析（「いつ、誰が、何を話したか」の推定）の難しさ（ターゲット環境の例）

自然な会話は多様でダイナミック（各人の発話している時間区間）

Bさん

Aさん
Bさん

Aさん

Cさん

Cさん

・話者数は任意（時により異なる）
・各人は、不定期的に喋る・各人の声が重なる時もある
・喋っていない時に移動する人もいる→従来の音源分離の方法では対応困難（後述）
時間提案法
深層学習を用いて、収録音から「いつ、誰が、何を話したか」を推定！学習データに基づき、最適な処理を実現！

第１処理
ブロック

ブロック

入力音声

音声の特徴量変換 [1]（抑揚や声質、リズム）

音声の特徴量変換 [1]NeuralNetwork

Ａさんの特徴NeuralNetwork

Ａさんの特徴• 各符号器、復号器と注意機構を学習

1. 入力音声のどの部分を考慮して
音声特徴量を予測するべきかを判断することが可能

入力音声の文脈情報を抽出

NeuralNetwork

Ｂさんの特徴波形ポストフィルタ [2]無音NeuralNetwork

Ｃさんの特徴
追従

学
習
時

変換時

• 循環型モデルを用いることにより無音

1. 合成音声と自然音声のパラレルデータが不要

予測誤差を最小化

識別誤差を最小化

Fake

音声デモは
こちら→

再構成誤差を最小化

𝐹𝐹(𝐲𝐲)が𝐷𝐷に合成音声と識別されるよう𝐹𝐹を学習

𝐲𝐲が元通りになるො
よう𝐺𝐺, 𝐹𝐹を学習

識別誤差を最小化

識別器

自然音声化

𝐺𝐺(𝐱𝐱)が𝐷𝐷に自然音声と識別されるよう𝐺𝐺を学習

Real

Fake
合成音声サンプル
再構成誤差を最小化

識別器

合成音声化

Real/Fake

2. 音声波形を再構成する際に位相情報まで考慮することが可能と一致するようにモデルを学習次フレームの音声特徴量を予想するために自身の出力を利用（例：音声を高音質化する）• 合成と自然音声の間の変換関数𝐺𝐺, 𝐹𝐹を学習

NeuralNetwork

出力用
復号器

出力用
符号器

考慮でき、韻律も変換可能に！

NeuralNetwork

注意機構

入力音声の
音声特徴量

Real/Fake

Ｂさんの特徴提案法の特徴NeuralNetwork
追従・各人の声を抜き出す処理を話者の数分だけ反復→従来には無かった本反復処理を導入することで、任意の数の音源への対応が可能に）・新たな話者が現れたら、音源抽出の回数をその分追加
・声の特徴を用い、特定の人を追従
・ブロック単位の逐次処理

音声デモは
こちら→

時間伸縮された入力音声の文脈情報と自身の過去の出力をもとに
次フレームの音声特徴量を予想

入力用
符号器

目標音声の
2. その結果、長期的な依存関係を 音声特徴量

提案法の優位性（従来の音源分離手法との比較）・提案法は、音源分離と話者数推定を同時に実現。一方、従来技術は、話者数を既知としていた。
・提案法は、話者の声の特徴に注目し、目的話者の声を聴き続けられる。喋っていない時に、話者が移動しても対応可能。
一方、従来技術は、方向情報を基にある話者に注目し続けるものが多く、喋っていない話者が移動すると対応が困難。

• 敵対的生成モデルを用いることにより、クリアな音質の音声を生成可能

関連文献

関連文献

[1] K. Kinoshita, L. Drude, M. Delcroix, T. Nakatani, “Listening to each speaker one by one with recurrent selective hearing networks,” in Proc. IEEE
International Conference on Acoustics, Speech & Signal Processing (ICASSP), pp. 5064-5068, 2018.
[2] T. von Neuman, K. Kinoshita, M. Delcroix, S. Araki, T. Nakatani, R. Haeb-Umbach, “All-neural online source separation, counting, and diarization for
meeting analysis,” in Proc. IEEE International Conference on Acoustics, Speech & Signal Processing (ICASSP), 2019. (to appear)[1] K. Tanaka, H. Kameoka, T. Kaneko, N. Hojo, “AttS2S-VC: Sequence-to-Sequence Voice Conversion with Attention and Context Preservation
Mechanisms,” in Proc. 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2019), May 2019.
[2] K. Tanaka, H. Kameoka, T. Kaneko, N. Hojo, “WaveCycleGAN2: Time-domain Neural Post-filter for Speech Waveform Generation,” arXiv:1904.02892,
Apr. 2019, (submitted to Interspeech2019.)

連 絡 先

連 絡 先

木下 慶介 (Keisuke Kinoshita) メディア情報研究部 信号処理研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

田中 宏 (Kou Tanaka) メディア情報研究部 メディア認識研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

𝐱𝐱ොが元通りになる
よう𝐺𝐺, 𝐹𝐹を学習

Real
自然音声サンプル

人間の科学

人間の科学
32

入力音声の文脈情報を
目標音声の長さに時間伸縮

2. その結果、声質だけでなくリズムも変換することが可能に！

NeuralNetwork

出力音声

波形ポストフィルタ [2]

メディアの科学

メディアの科学

Ａさんの特徴追従

変換音声

1. 異なる長さの入力音声と目標音声とを一つのモデルで処理することが可能

ブロック

肉声らしい音声！

（例：声を別の人の声に変換する、英語の発音をネイティブ風に変換する）• 注意機構を用いることによりNeuralNetwork

声の特徴を変換※合成音っぽい音声• 符号器復号器モデルを用いることによりマイク収録音（何人いて、誰がいつ、何を喋っているか不明）
第２処理 第３処理 第４処理ブロック

音声変換システムの全体像

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

データと学習の科学

データと学習の科学ᵏᵕ

Voice and prosody conversion with Sequence-to-sequence model

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201933

Crossmodal voice conversion with deep generative models

顔に合わせて声を作り、声に合わせて顔を作る～深層生成モデルによるクロスモーダル音声変換～～音声と画像によるクロスモーダル概念獲得～

私たちは、声の印象からその人がどんな顔か、また、顔の印象からその人がどんな声かをある程度想像できます。これは、声と顔には何らかの相関があるからだと考えられます。本研究では、与えられた
顔画像の印象に合った声を作り出すクロスモーダル音声合成の問題に初めて取り組みました。

どんな研究

AIがモノを認識するためには、モノの見え方とその言語表現（名前）を紐付けた辞書が必要です。この展示では、画像を説明する音声データだけから、モノが映る画像領域と声による言語表現を教師ラベ
ルなしで対応付けて、AIが知らないモノを自ら学び取る（辞書を自動作成する）技術を紹介します。

どこが凄い

音声変換器を深層生成モデルで表し、出力音声と入力顔画像との相互情報量を規準として音声変換器を学習する情報論的アプローチを考案しました。これにより、入力顔画像に合った声質に入力音声を変換するクロスモーダル声質変換技術を実現することに初めて成功しました。

どこが凄い

日本語音声データセットを新たに構築し、既存の英語／ヒンディ語音声と合わせて、画像との潜在空間を深層学習することで、従来よりも精度良く、画像領域と言語表現が紐付けられることを確認しました。この手法により、画像を通じて異なる言語の単語翻訳知識が学習されることも大きな特徴です。

めざす未来

私たち人間は、異なる感覚器官から得られる情報（視覚情報や聴覚情報など）を無矛盾に関連付けてモノや出来事を認識しています。本研究では、人間のこの知的な認識機能を実現することを究極の目標としています。

めざす未来

TV放送のような世の中に多く存在するメディアデータを与えるだけで、AIが音と映像の共起（時空間的な偏り）を見つけながら自律的にモノやコトの概念を学び、賢くなる未来を目指しています。音や映像、言語を自在に横断する超大規模アーカイブ検索や自動アノテーションなどへの応用を検討しています。
英語

クロスモーダル声質変換問題の提案
声のみから顔を想像したり顔のみから声の雰囲気を想像したりできる⇒声質と容貌には相関があることを示唆• 音声特徴量系列と顔画像との間の相関を捉え、入力音声を入力顔画像に適合した声質に変換する• さらに入力音声に適合した容貌の顔画像を生成する

ヒンディ語

情報論的アプローチによる問題の定式化

日本語変換器𝑮𝑮：音声𝐱𝐱と顔画像𝐲𝐲を入力として変換音声ො𝐱𝐱 = 𝐺𝐺(𝐱𝐱, 𝐲𝐲)を出力するニューラルネットワーク(NN)
変換器𝑮𝑮の学習：ො𝐱𝐱 = 𝐺𝐺(𝐱𝐱, 𝐲𝐲)と𝐲𝐲の相互情報量を規準として𝐺𝐺を学習する問題として定式化①画像とその内容を説明する
音声のペアデータを収集

下界を𝐺𝐺と𝑅𝑅に関して最大化

音声
復号化NN

潜在空間で画像と音声ペアが近くなるように学習(1) 多言語音声を学習に利用することの有効性

画像CNN（Pre-trained VGG16）※CNN： Convolutional Neural Network

mean
pooling

音声符号化NN2

入力画像
時間
非依存
画像
符号化NN

5つのNNを同時学習

時間
非依存

できるだけ一致させる⇒ 𝐱𝐱ො と𝒚𝒚の相互情報量を大きくすることに相当

画像
復号化NN

画像符号化NN： 入力顔画像の容貌に相当する情報𝐜𝐜を抽出

音声復号化NN

： 発話内容𝐳𝐳と画像特徴𝐜𝐜から音声ො𝐱𝐱を生成Ƹ
： 声質特徴𝐜𝐜から顔画像
𝐲𝐲ො を生成

音声と画像の潜在空間

英語CNN※画像と音声1,000ペアの相互の探索精度をRecall@10で評価
多言語音声による
単一言語音声による潜在空間学習：0.50
潜在空間学習：0.45(2) 画像を中間言語として学習することの有効性※異言語の音声1,000ペアの相互の探索精度をRecall@10で評価
画像を利用した画像を利用しない
潜在空間学習：0.50
潜在空間学習：0.01（Recall@10：10位以内にペアとなる音声 or 画像が見つかる割合。高い値の方が良い。）

顔画像
生成器
𝑅𝑅

画像（中間言語）を通じて異言語の翻訳知識が獲得されることを発見

mean
pooling

ヒンディ語説明音声

ヒンディ語CNN

英語

CNN特徴系列…

mean
pooling

日本語説明音声

Two small children are walking on a dirt
road in what seems to be a cornfield

日本語

日本語CNN

CNN特徴系列…

ペアでない音声mean
pooling

再構成画像

英語/日本語音声の対応マップ

子供二人組が道を歩いている。
えー、左右には背の低い草木が生い茂っている

子供

草木※本展示はMITとの共同研究成果です （MIT Computer Science and Artificial Intelligence Laboratory）

関連文献

関連文献

[1] H. Kameoka, T. Kaneko, K. Tanaka, N. Hojo, “StarGAN-VC: Non-parallel many-to-many voice conversion using star generative adversarial
networks,” in Proc. 2018 IEEE Workshop on Spoken Language Technology (SLT 2018) , pp. 266-273, 2018.
[2] H. Kameoka, T. Kaneko, K. Tanaka, N. Hojo, “ACVAE-VC: Non-parallel voice conversion with auxiliary classifier variational autoencoder,”arXiv:1808.05092 [stat.ML], 2018.
[3] H. Kameoka, K. Tanaka, A. Valero Puche, Y. Ohishi, T. Kaneko, “Crossmodal Voice Conversion,” arXiv:1904.04540 [cs.SD], 2019.

[1] 大石康智, 木村昭悟, 川西隆仁, 柏野邦夫, D. Harwath, J. Glass, “画像を説明する多言語音声データを利用したクロスモーダル探索,” 電子情報通信

連 絡 先

連 絡 先

亀岡 弘和 (Hirokazu Kameoka) メディア情報研究部 メディア認識研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

大石 康智 (Yasunori Ohishi) メディア情報研究部 メディア認識研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 2019

人間の科学

人間の科学

Ƹ
音声符号化NN２ ： 音声ො𝐱𝐱の声質特徴に相当する情報𝐜𝐜を抽出

英語説明音声音声変換例、
画像生成例
はこちら↓

音声符号化NN１ ： 入力音声の発話内容に相当する情報𝐳𝐳を抽出

画像復号化NN

クロスモーダル探索の観点で
音声と画像の潜在空間を評価

時間

時間③画像領域と音声言語の対応関係を辞書化

cornfield

音声符号化NN1

発話内容を保った
まま入力顔画像に適合した声質に変換音声②画像領域と音声言語の対応関係を学習children

特徴量次元

時間依存

日本語

メディアの科学

メディアの科学

特徴量次元

入力音声

ヒンディ語

クロスモーダル概念獲得

画像と多言語音声を対応付ける
深層学習モデルを提案

音声𝐺𝐺(𝐱𝐱, 𝐲𝐲)から予測される顔画像𝐲𝐲の条件付分布を近似するNN

音声変換器𝐺𝐺

英語

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

音声と顔画像のペアデータ

34ᵐᵎ

声と画像から知らないモノを学びとるAI
データと学習の科学

データと学習の科学

ᵏᵗ

Crossmodal audio-visual concept discovery

学会技術報告, パターン認識・メディア理解(PRMU)研究会, (to appear)[2] D. Harwath, G. Chuang, J. Glass, “Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech,” in Proc. IEEE
International Conference on Acoustics, Speech and Signal Processing (ICASSP2018) , 2018.

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201935

Generating text describing non-speech audio

どんな音？物音を言葉で説明しよう

ᵐᵐ～系列変換モデルに基づく音響信号からの説明文生成～

音からものとかたちを認識～音と画像のクロスメディア情報処理によるシーン理解～

これまでは、音声認識システムを用いても、人の話し声以外の音を的確にテキストに変換することはできませんでした。本展示では、任意の音に対して、それがどんな音かを説明するテキスト（擬音語や説明文）を生成する研究を紹介します。本研究により物音などを文字で伝えることが可能になりました。

どんな研究

音から物体や人物を認識する研究です。具体的には、マイクで収音した音だけを分析して、そこにある物体や人物などの種類や形状を含む画像認識結果を予測します。生活空間や公共空間での見守り・防犯等への応用に向けて研究開発を進めています。

どこが凄い

音を文字にすることで、一見するだけでどのような音かを把握できます。どの程度の詳しさで音を説明して欲しいかを数値で指定することで目的に沿った文を生成できます。擬音語や説明文が表現するような主観的な音の近さに基づいて、イメージした音に最も近い音を検索することなどにも応用できます。

どこが凄い

音のみから物体や人物の種類・形状を予測するには、音の方向と音色の時空間的な関係を捉える必要があります。本研究では、この複雑な関係を効率的にモデル化できる特徴統合層を備えた深層
ニューラルネットワークを設計し、より多様な種類の物体の認識を可能にしました。

めざす未来

効果音や異常音などの音の検索がより便利になります。動画中の音を文字で表現することで、公共の場所や騒々しい場所などでの動画視聴も便利になることでしょう。また、AIが人間に近い音の感覚を身につけることで、宅内ロボットなどとの日常のコミュニケーションが円滑になることも期待されます。

めざす未来

安心・安全な見守り・監視システムの実現が期待できます。本技術は、カメラが利用できないようなプ
ライバシー性の高い家庭や公共空間への適用が可能です。また、音ならではの伝搬特性を活かし、カ
メラでは死角になってしまうような箇所の情報も予測できるようになる可能性があります。

音の説明文生成とは“音から画像認識”するクロスメディア情景分析

実験結果 （説明文モードの例）

・任意の音に対して どんな音かを言葉で説明する深層学習システム
・「ベル」「車」 といった単なる音源種類の認識 （＝従来研究あり）
だけでなく 変化の様子なども含む詳しい記述も可能 NEW

よく当てはまる当てはまる
部分的に当てはまる
当てはまらない

この方向

説明文
生成

金属の歯車が噛み合うような
甲高い摩擦音が鳴っています

環境音など

複数のマイクで収録した音の方向と音色を基に、音を発している物体や人物のクラス（種類）と形状を予測

説明文が音に・・・

約 3/4

これまで、少数のクラスの物体や人物の認識が可能であることを確認

説明文の適切さ （詳細度制御なしの場合）

系列変換モデルによる実現
甲高い摩擦音が ～詳細度制御は・・・
制御ありのほうがずっとよい制御ありのほうがよい
約 2/3
どちらとも言えない
制御なしのほうがよい
制御なしのほうがずっとよい

潜在空間上にマップされた
擬音語の例(潜在空間)

エンコーダ（LSTM）

７種類の音

説明文生成における詳細度制御の効果生成された説明文の例 （バスドラムの音）
潜在空間上にマップされた
音響信号の例c 生成された文① 擬音語モード： 擬音語 （音素（カナ）の系列） を出力なし 低い音が一瞬だけ響く② 説明文モード： 説明文 （単語の系列） を出力
20
低い音が一瞬だけ鳴る
50

畳に打ち付けるような低い打撃音が一瞬だけ響く80

つまらなそうにとても低い音でドラムが一度だけ奏でられている

110

つまらなそうにとても低い音で何かを叩くような軽くて少し低い音が小さな音で一瞬鳴ってすぐに消える

全結合層による特徴統合

より多様なクラスの物体や人物の認識、実音声からの認識を実現

低次元化特徴の重み付き外積を取ることでパラメータ数を抑えつつ高次関係を捉える

パラメータ数が膨大！

※本展示は東京大学との共同研究成果です （大学院情報理工学系研究科連携講座）。

関連文献

関連文献

[1] Shota Ikawa, Kunio Kashino, “Generating sound words from audio signals of acoustic events with sequence-to-sequence model,” In Proc. IEEE
International Conference on Acoustics, Speech and Signal Processing (ICASSP 2018), April 2018.
[2] Shota Ikawa, Kunio Kashino, “Acoustic event search with an onomatopoeic query: measuring distance between onomatopoeic words and sounds,” In
Proc. Detection and Classification of Acoustic Scenes and Events (DCASE 2018), November 2018.

[1] G. Irie, M. Ostrek, H. Wang, H. Kameoka, A. Kimura, T. Kawanishi, K. Kashino, “Seeing through sounds: predicting visual semantic segmentation resultsfrom multichannel audio signals,” in Proc. International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 2019.
[2] 王昊辰, 入江豪, 亀岡弘和, 木村昭悟, 平松薫, 柏野邦夫, “双線形特徴統合を用いた音からのセマンティックセグメンテーション,” 第21回 画像の認識
・理解シンポジウム (MIRU), 2018.

連 絡 先

連 絡 先

柏野 邦夫 (Kunio Kashino) メディア情報研究部
Email: cs-liaison-ml at hco.ntt.co.jp

入江 豪 (Go Irie) メディア情報研究部 メディア認識研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

人間の科学

人間の科学
36

ここがポイント
方向と音色の関係を効率的に捉えることのできる特徴統合層を導入することにより、パラメータ数を抑えつつ精度を向上

c
(詳細度)

【課題】 文による説明のしかた（詳しさ）に唯一の正解はない→ 【提案】 詳細度 により説明の詳しさをコントロール
詳細度： 単語単位で計算した “情報量” の総和
文と詳細度の双方の誤差を小さくするように学習する

実験装置

メディアの科学

メディアの科学

デコーダ（LSTM）

z

カメラでは写らない・写したくない空間の様子
を、音だけからでも描写可能にコミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

データと学習の科学

データと学習の科学

ᵐᵏ

Crossmodal audio-visual analysis for scene understanding

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201937

Sound texture conversion with an auditory model

鳥の声で喋り、水の泡で演奏する～聴覚信号処理モデルを用いた音のテクスチャ変換～

ᵐᵒ

踊る紙人形
～紙に動きの印象を与える錯覚～

ブクブク泡立つ水音や森の木々のざわめきのように、自然な環境音からは、それぞれ特有の質感が感じられます。音声や音楽に、このような質感を人工的に持たせる方法を開発しました。画像の質感を操作する研究から着想を得て、その方法を音に適用できるように発展させました。

どんな研究

実物体である紙人形に動きの錯覚を与える技術です。先行研究では、画面上の仮想的な対象が輪郭の明暗と背景の輝度変化との相互作用で動いて見えることが報告されていましたが、背景の輝度変化を利用して実物体に動きの印象を与える手法については提案されてきませんでした。

どこが凄い音が聴こえるメカニズムを考慮した計算モデルを用いて、聴感上効果的な質感操作が実現できました。
この質感操作の仕組みは、画像の質感操作と同じ枠組みで構成されています。これにより、見た物と聴いた物の質感が、脳内で類似した機構で処理される可能性が強く示されました。

どこが凄い

本研究では先行研究の成果を応用し、紙人形の輪郭に明暗のエッジを加えつつその紙人形を明るさの変化する背景上に置くだけで、紙人形が動いて見える錯覚を発見しました。また、明暗エッジパタンを工夫することで、拡大縮小や回転も表現できることがわかりました。

めざす未来

学術的には、モデルのなかで生じている状態を、実際に人が音を聴いているときの脳活動と比較する
ことで、音の質感知覚メカニズムの理解につながります。応用の観点からは、実際は存在しない声で喋ったり、実際には存在しない楽器で演奏したりすることができる可能性があります。

めざす未来

Danswing papersを利用することで、本来動きを与えることが難しい紙媒体のオブジェクトに面白い、注意を引くような動きの印象を付与することができます。錯覚を情報提示に利用することにより、現実場
面でのモノの知覚や認知をより便利に、そしてより楽しい方向へ編集することが可能となります。

既存研究：画像の質感変換

既存研究：音の質感表現

写真の内容と絵画の質感を組み合わせ、それらの両方を持つ音を合成。
（写真の内容を保持したまま質感を絵画のものに変換）

聴覚系モデルを用いて、環境音の質感を表す特徴を計算。

Danswing papersの制作方法※Danswing papersの「Danswing」は、DanceとSwingの２語に由来する造語です。

●例えば少し回転して見えるハートを作りたいときは、以下のように紙人形を制作します。
①グレイのハート、少し回転させた白いハート、 ②①で作成した３つハートをグレイのハートが一番
逆方向へ回転させた黒いハートの画像を準備し 上のレイヤーになるように合成します。印刷し、赤い部分をカットして輝度の変化するディスプレイ上ます。
に配置します。
左に少し回転右に少し回転音声や音楽の内容と環境音の質感を組み合わせ、それらの両方を持つ音を合成。
（音声や音楽の内容を保持したまま質感を水泡のものに変換）

Danswing papersの視覚原理●本錯視には特定の空間周波数帯域の動き情報が関わっていることを明らかにしました。
映像に含まれる空間周波数の中から、所望の範囲の空間周波数成分を選択的に取り出す空間周波数フィルタをかけた映像を使って錯覚運動を識別する実験を行ったところ、左グラフのように特定の空間周波数帯域で錯覚が見えやすいことがわかりました。
錯覚が見えやすい
空間周波数帯域関連文献[1] T. Koumura, H. Terashima, S. Furukawa, “Chimeric sounds with shuffled “texture” and “content” synthesized by a model of the auditory system,” inProc. International Symposium on Universal Acoustical Communication, 2018.
[2] 上村卓也, 寺島裕貴, 古川茂人,“聴覚系モデルを用いた音のテクスチャ変換,”第31回人工知能学会全国大会, 2017.

[1] T. Kawabe, “Danswing papers,” in Proc. SIGGRAPH Asia 2018 (SA '18) Posters Article No. 4.
[2] T. Kawabe, “Danswing papers,” Top 10 finalist of Best illusion of the year contest. http://illusionoftheyear.com/2018/10/danswing-papers/

連 絡 先

連 絡 先

上村 卓也 (Takuya Koumura) 人間情報研究部 感覚共鳴研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

河邉 隆寛 (Takahiro Kawabe) 人間情報研究部 感覚表現研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019

人間の科学

人間の科学
38

右のQRコードからDanswing papersのYouTube動画をご覧いただけます。

関連文献

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

メディアの科学

メディアの科学

聴覚系モデルを用いて、音声や音楽の内容を表す特徴と、環境音の質感を表す特徴を計算。

輝度の変化する
ディスプレイ上に配置

印刷
加工

本研究：音の質感変換

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

データと学習の科学

データと学習の科学ᵐᵑ

An illusion to give motion impressions to papers

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201939

Physiological states and sports performance in real games

Self eye-check system using video games and tablet PCs～ミニゲームやタブレットを使った視覚能力のセルフチェック～ᵐᵔ

勝者のメンタルとは？
～実戦環境での生理状態とパフォーマンスの関連性～

目の機能を気軽に、楽しく測るための方法についての研究です。汎用的なタブレット機器向けに視覚テストを作成しました。ゲーム形式で楽しく、安全に、目の機能のセルフチェックができます。これまでに、コントラスト感度、複数の動く物体を追跡する視覚能力を含むいくつかのテストを作成しています。

どんな研究

スポーツにおいてメンタルは試合の勝敗を左右しうる重要な要素と言われていますが、その根拠となる客観的データは多くありません。本研究では、トップアスリートの実戦中の生理状態の変化（メンタルの指標）とパフォーマンスの関係性を定量的に評価しました。

どこが凄い

これまでの視覚機能のテストでは、時間がかかったり、エキスパートの同席が必要でした。これまでの視覚科学実験のノウハウと、ウェブブラウザ向けの精確描画技術と組み合わせて、汎用的なタブレッ
トＰＣでも、およそ3分でスクリーニングテストとして利用可能な精度で各機能の測定を可能にしました。

どこが凄い

これまで困難だった実戦におけるトップアスリートの生理状態の計測に成功しました。その結果、トップ
アスリートには、心拍増加に伴うパフォーマンスの向上や、直近の状況によらない安定した生理状態と高いパフォーマンスの維持などの特徴があることがわかりました。

めざす未来提案するシステムを使うと、日常的に目の状態をセルフチェックすることができるようになります。また、
簡易で短時間の測定で、眼病患者を含む多くの人のデータを通して知見を蓄積することで、眼病の早期発見や、リハビリテーション応用、そして、複雑な視覚プロセスの科学的解明が期待できます。

めざす未来

生理状態とパフォーマンスの定量的な関係から“メンタル”の構成要素とメカニズムを科学的に理解し、それに基づいて、アスリートの生理状態を最適に整えてパフォーマンスを向上させるための体系的な方法論を確立します。

各場面での視覚テスト利用の状況
自覚症状
重簡易テストツールタブレットPCで、これまでの測定実験のパラダイムを用いて、短時間で簡易計測

診察室、検査室
医師、医療提供者の監督下での検査：一対一の対応高い精度での検査

esports (格闘ゲーム)

野球 (ピッチング)

スノーボード (ジャンプ競技)

対戦相手との実力差が心拍の変動を決める

制球力の高い投手は試合中の心拍が安定している

上位群は心拍が高いとパフォーマンスが高い

投球誤差(捕球位置-目標位置)

上位群

強

弱

信頼性・
安定性の
高い計測

心拍同時計測待合室、保健室
医療提供者の補助：一対多の対応

視覚テストゲーム

簡単な診断に利用できる程度の精度

デザイン、演出、タスク設定を工夫してユーザのモチベーション向上に基づく日
常的な反復利用を狙う

無

医療提供者は不在、スクリーニングに利用できる程度の精度でもよい高低左右左右バラつきが小さい ＝ 制球力が高い


時間 分）



低




時間 分）

投手B

制球力が高い投手は心拍が安定
大
投手A
投
投手B
球
誤
差

実力拮抗：心拍が同期

心
拍
日常的な
セルフ
チェック

制球力： 投手A ＞



心拍は正規化された値

小 130

180

心拍数のイニング平均 (BPM）

高
ス
コ
ア
低
低
高

ジャンプ前の心拍

高

下位群

ス
コ
ア
低
低

ジャンプ前の心拍高心拍は正規化された値

関連文献

関連文献

[1] K. Hosokawa, K. Maruya, S. Nishida, “Testing a novel tool for vision experiments over the internet,” Journal of Vision, Vol. 16, p. 967, 2016.

[1] K. Watanabe, N. Saijo, M. Kashino,“The physiological change reflecting the fight-or-flight response of an esports player correlates strongly with that of
the opponent,” in Proc. NEURO2019, 2019.
[2] 福田岳洋, 持田岳美, 西條直樹, 柏野牧夫,“投手の制球力は状況に影響される - 実戦中の投球分布から -,” 日本野球科学研究会 第5回大会, 2017.
[3] 松村聖司, 渡辺謙, 木村聡貴, 柏野牧夫,“スノーボードのジャンプ競技大会における選手の生理状態計測,” 日本スキー学会 第29回学会大会, 2019.

連 絡 先

連 絡 先

丸谷 和史 (Kazushi Maruya) 人間情報研究部 感覚表現研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

渡辺 謙 (Ken Watanabe) スポーツ脳科学プロジェクト
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

人間の科学

人間の科学
40

高

投手B

実力差有：強者は安定

心
拍
低

日常生活

投手A

メディアの科学

メディアの科学軽高

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

データと学習の科学

データと学習の科学ᵐᵓ

あなたの目の機能を気軽に楽しく測ります

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201941

How sharing caregiving data affects family communication

Instantaneous cooperation between vision and action～介護者記録用アプリ「みまもメイト」の記録共有による効果～

野球等の球技では、高速で動くボールに対して適切に体を動かす必要がありますが、そのメカニズムは分かっていません。本研究では、錯覚を利用した基礎実験と、プロ野球打者の実打中の眼球運動
及び身体運動の計測により、限られた時間の中で速いボールを捉える脳の仕組みを調べました。

どんな研究

うつ病の早期改善には、良好な家庭環境が重要です。そのためには、家族介護者がうつ病患者の言動に上手く対処できる必要があります。本研究では、家族介護者が介護記録を付けて介護者同士で情報共有することができるアプリを開発し、その有効性を確認しました。

どこが凄い

実戦に近い場面で眼球運動と身体運動を詳細に計測することで、トップアスリートの洗練された技を捉えることに成功しました。錯覚を利用した基礎実験では、脳が視覚情報をもとに腕の動きを修正するメカニズムを明らかにしました。

どこが凄い

情報分野におけるヘルスケアに関する研究の大半は患者の治療や介護を効果的に行う方法に焦点を当て，家庭内環境の改善を目指したものは殆ど存在しません。本研究は、家族介護者に働きかけることによって家庭内環境の改善を実現しました。

めざす未来「見て、動くための潜在的な脳の働き」を解き明かし、状況に応じて身体を最適に操るための「技」を鍛える新しいトレーニング法の確立を目指します。これはトップアスリートに限らず、子どもからお年寄りまで幅広い人の運動技能向上に役立ちます。

めざす未来

単にハンディキャップを持つ人をサポートするだけではなく、ハンディキャップを持つ人が抱える問題を
マジョリティと相互に理解し合い、マジョリティからも思いやりを引き出せるようなICTを開発することによって、多様性を許容して活用する社会の実現を目指します。

プロ野球選手はどうやって速いボールを捉えているのか？
実験

実戦に近い対戦場面で眼球運動及び身体運動をウェアラブルセンサによって計測限られた時間でなぜ速いボールが捉えられるのか?
実験(120 fps)

スタート

θ

p

結果

手の軌跡

ぼんやり
はっきり

第２フェーズ・異なる家庭間の情報共有機能を追加
・他の家族介護者の記録が閲覧可能になる検証“ぼんやり”への応答 大= 位置情報の影響

結果“はっきり”への応答 大= 動き情報の影響

目的：第2フェーズの情報共有機能の影響を検証期待されたこと：－ 他者の記録から学びを得る－ 類似他者から精神的な支えを得る懸念されたこと：－ 他の家族介護者へのねたみ－ 患者と家族介護者の衝突

参加者（家族介護者）：－ 家族のうつ病患者を介護している成人14名－ 女性11名、男性3名、平均年齢43歳－ 専業主婦6名、フルタイム雇用6名、自営業2名
患者の病状：－ 発症時期は平均8年前、8名が再発を経験－ 全員が抗鬱剤を服用、定期的に受診

第2フェーズの効果：
他者にも理解しやすい文章の増加
主語の補足や背景・状況の説明期待されたこと：他者からの学び、精神的な支えとなった。
懸念されたこと：ねたみは一部報告されたが、衝突は報告されなかった。

患者-介護者間のコミュニケーションが増加- 他者の記録を材料とした患者への話し掛け- 患者から他の家族への間接的な情報発信- 介護者から患者への間接的な情報発信→ 間接的なコミュニケーションを支援することの重要性が明らかになった。

目標物の動き開始からの時間 [秒]

ボールの位置を特定する前にバットの軌道を変えている?!

関連文献

関連文献

[1] Y. Kishita, H. Ueda, M. Kashino, “Eye movements in real baseball batting by elite players,” in Proc. The 48th Annual Meeting of the Society for
Neuroscience, 2018.
[2] H. Ueda, N. Abekawa, S. Ito, H. Gomi, “Temporal development of an interaction effect between internal motion and contour signals of drifting target
on reaching adjustment,” in Proc. The 47th Annual Meeting of the Society for Neuroscience, 2017.

[1] N. Yamashita, H. Kuzuoka, T. Kudo, K. Hirata, E. Aramaki, K. Hattori, “How Information Sharing about Care Recipients by Family Caregivers Impacts
Family Communication,” in Proc. ACM Conference on Human Factors in Computing Systems (CHI) , 2018.
[2] 山下直美, 葛岡英明, 平田圭二, 荒牧英治, 工藤喬，服部一樹, “家族介護者同士の情報共有が家庭内コミュニケーションに及ぼす影響,” インタラクシ
ョン, 2018.

連 絡 先

連 絡 先

上田 大志 (Hiroshi Ueda) スポーツ脳科学プロジェクト
Email: cs-liaison-ml at hco.ntt.co.jp

山下 直美 (Naomi Yamashita) 協創情報研究部 インタラクション対話研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

人間の科学

人間の科学

視覚情報だけでなく脳内の運動指令を利用している?!

家族看護者

家庭内介護を改善することにより、患者の早期回復を支援するICTツー
ルを開発すること

腕の運動の比較（“ぼんやり”と“はっきり”の差）

運動反応開始悪循環
結果（反応・言動）動きの情報＜

腕の運動は、まず目標物の動きの情報によって駆動され、その後位置の情報によって調整される

ボール位置 (135 km/h)
A選手 (一軍)
B選手 (二軍)

インパクトまでの時間 [秒]

うつ病患者の方向に実際の位置よりズレて知覚される

横方向の手先の加速度 [m/s2]

水平方向の視線(眼球＋身体)位置 θ [度]リリース
θ= arctan(p/(d-vt))

輪郭

メディアの科学

メディアの科学d“はっきり”

輪郭*錯覚 輪郭がぼやけていると、模様の動き

良い打者は視覚情報をスイングに反映できない時
間まで目と身体を連携させてボールを捉えている
視覚情報をスイングに反映できない時間帯

コントラスト手の位置(200 fps)“ぼんやり”

第１フェーズ
介護記録機能を実装
各家庭で家族介護者が記録を取る
・患者の状況（気分・症状）
・介護活動

刺激
（ストレッサー）

知覚位置
の移動*
＞

視野カメラ

結果

開発
家庭内介護

目標物の脳内情報のうち、“位置”と“動き”のどちらを基に腕を動かしているのかを検証

回転しながら移動する
目標物に手を伸ばす

身体運動計測システム

目的

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

視線カメラ

42

ᵐᵖ

～視覚と身体の瞬間的な連携～「見守る」と「見守られる」をつなぎます
データと学習の科学

データと学習の科学

27

速いボールを捉える脳のしくみ

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201943

Distinct visuomotor control revealed by natural statistics

身体が“見る”実世界の動きとは？

ᵑᵎ～自然統計で紐解く視覚運動制御の秘密～～疑似歩行感が身体近傍空間を拡張する～

ヒトは体性感覚に加えて、視覚情報にも頼って運動制御を行っています。どのような情報を利用して視覚運動制御を行うのか、日常動作の一人称映像から得られる視覚的な動き情報や頭の動きの統計的性質からその秘密に迫ります。

どんな研究

視覚や聴覚に加えて触覚や身体感覚の刺激を与えることにより、座っている体験者にあたかも歩いているような感覚を生成させます。さらにこのとき、われわれの脳内表現である自己の身体を取り囲む「身体近傍空間」が前方に拡張していることを明らかにしました。

どこが凄い

低空間周波数情報のみを取り出した映像（低空間周波数映像）は輪郭がボケた映像となり、何が映っているかよく分かりません。しかし、ボケた映像の方が元映像よりも算出される自己運動の推定精度が高く、また、ヒトの無意識な視覚―運動制御情報処理と類似しているという結果が得られました。

どこが凄いバーチャルリアリティ（VR）空間内などで歩く感覚を作るためには体験者を実際に歩かせる必要がありました。本技術は実際に歩くことなく歩行したような感覚を生み出すことを目指しています。また、歩行が困難な利用者でも体験することができます。

めざす未来

様々な実験やモデルシミュレーションを通して、ヒトが無意識に行っている視覚運動制御の仕組みを解明します。また、ヒトの仕組みを理解することで、実環境における視覚情報を使って巧みな動作ができるロボットの実現や映像加工技術への応用に役立つことが期待されます。

めざす未来

本技術を用いることで、VR空間などにおいて多様な移動表現を実現できるようになります。今後はVR酔いとの関連を明らかにし、より臨場感の高い旅行体験や一緒に歩きまわるような体験など、より幅広い場面で活用できる技術の実現を目指します。

MT細胞モデル[1]を用いた自己運動推定

空間 ∑
平均

細胞
モデル

自己運動
（回転角速度）動きの特徴とモデルの自己運動推定精度

・ 速い動きを抽出するには低空間周波数情報が重要
ポスターを見るジョギング

・ ボケた映像を用いた方が自己運動推定精度が高い（散布図中列）映像から算出した自己運動推定値(deg/s)

動きベクトル

ポスターを見る

映像 𝐼𝐼 𝑥𝑥, 𝑦𝑦, 𝑡𝑡

散歩・ ヒトの視覚特性を再現する数理モデルを計算に利用

多感覚刺激による疑似歩行感の生成

推定誤り
元映像

ぼけた映像

輪郭映像

これまでに「着座状態での歩行感覚の生成」を目指し、上肢や下肢を外から動かす機構、身体動揺を実現する
椅子、風・匂いの提示といった五感情報を組み合わせて擬似的な歩行感を生成する手法を開発してきました。
腕振り本研究では足裏に着目し，振動刺激を提示することで歩行感を生成する手法について開発を進めています。
疑似歩行感覚による身体近傍空間の拡張

行動実験：視覚運動で誘発される運動応答[2]

元映像

輪郭映像
ぼけた映像
(低空間周波数映像）（高空間周波数映像）

眼球応答

空間周波数 (cpd)

足裏に与える振動刺激の波形

応答 大

時間周波数 (Hz)GHJV

時間周波数 (Hz)水平回転角速度

足踏み
首都大学東京，豊橋科技大との共同研究→この結果は、本手法により「身体近傍空間」が実際に歩いているかのように広がることを意味します。

・ ヒトも低空間周波数刺激に対して強い運動応答を示す（視覚刺激に対する無意識な運動応答に関して）

ジョギング

身体動揺

歩行感が生じていないとき

PPS = Peripersonal Space (身体近傍空間)

左足
応答 小
空間周波数 (cpd)

右足

時間(秒)

歩行感が生じているとき

関連文献

関連文献

[1] 中村大樹, 佐藤俊治, “計算論的に最適な速度推定器によってMT野細胞の複雑な反応特性を説明する,” 第27回日本神経回路学会全国大会, 2017.
[2] H. Gomi, N. Abekawa, S. Nishida, “Spatiotemporal tuning of rapid interactions between visual-motion analysis and reaching movement,” The Journalof Neuroscience, vol. 26, No. 20, pp. 5301-5308, 2006.
[3] D. Nakamura, H. Gomi, “Statistical analysis of optic flow induced by body motion characterizing OFR and MFR,” in JNNS satellite meeting, 2018.

[1] 雨宮智浩, 池井寧, 広田光一, 北崎充晃, “歩行を模擬した足底振動刺激による身体近傍空間の拡張,” 日本バーチャルリアリティ学会論文誌, Vol. 21,
No. 4, pp. 627-633, 2016.
[2] 雨宮智浩, “触覚・身体感覚の錯覚を活用した感覚運動情報の提示技術,” 基礎心理学研究, Vol. 36, No.1, pp.135-141, 2017.
[3] Tomohiro Amemiya, “Haptic Interface Technologies Using Perceptual Illusions,” in Proc. 20th International Conference on Human-Computer
Interaction (HCI International 2018) , pp.168-174, 2018.

連 絡 先

連 絡 先

中村 大樹 (Daiki Nakamura) 人間情報研究部 感覚運動研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

雨宮 智浩 (Tomohiro Amemiya) 人間情報研究部 感覚運動研究グループ
Email: cs-liaison-ml at hco.ntt.co.jp

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

人間の科学

人間の科学

速い自己運動情報を抽出するために体はボケた映像を見ている

オープンハウス 2019

メディアの科学

メディアの科学センサ出力 (deg/s)

腕応答

風・匂い

足裏に与える振動刺激に応じて身体に接近する刺激（たとえば体に向かってくる物体）に対する反応時間が変化することを明らかにしました。

水平回転運動の分布
散歩

3D映像

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

・ 動作によっては速い動きが多く含まれる44

座っているけど歩行感
データと学習の科学

データと学習の科学

ᵐᵗ

A sensation of pseudo-walking expands peripersonal space

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

オープンハウス 201945

corevo: “collaborative revolution” by AI technologies that NTT group creates through its R&D

corevo®
～NTTグループのAI技術～
人らしさの追求、人との共存

Agent-AI

人の発する情報を読み解き、意図・感情を理解

Heart-Touching-AI

潜在的な心身の状態を理解
心と体を読み解き、深層心理・知性・本能を理解

森羅万象から未来を予測

Ambient-AI

人間・モノ・環境を読み解き、瞬時に予測・制御

通信ネットワークの知能化

Network-AI

複数のAIがつながり、社会全体を最適化

各展示と corevo を構成する４つのAIとの関連性
音声・音響

Agent-AI

うるさい車内でも音声操作や会話をサポート

02

AIによる空調制御でもっと省エネ・もっと快適

04

深層学習のボトルネック解消で精度を向上

06

過去データの無い地点でも
未来を予測

機械学習

05

データから学ぶ：
どれが原因？どれが結果？

18

声と話し方を
好みのスタイルに変える

16

少量の入出力ペアから高精度に音声認識を学習

19

顔に合わせて声を作り、声に合わせて顔を作る

17

いつ、誰が、何を話した？
全部で何人いた？

20

声と画像から知らないモノを学びとるAI

21

どんな音？
物音を言葉で説明しよう

22

音からものとかたちを認識

14

ロボットと話そう「いつ、どこで、何をした」

03

クロスモーダル・変換

2312「こころが動く、通う」を
どう測る？

13

「触れて深まる体感と共感」を集団から測る

28「見守る」と「見守られる」をつなぎますHeartTouching-AI

01

鳥の声で喋り、水の泡で演奏する

対話・共感
ウ
ェ
ル
ビ
ー
イ
ン
グ

Ambient-AI

15

ひらがなは
いつからわかる?

10

文や段落の修飾関係を
賢く判断

30

言語

24

25

26
27

速いボールを捉える
脳のしくみ

07

いろいろな観点で欲しいものを見つけます

量子

踊る紙人形

座っているけど歩行感

勝者のメンタルとは？

混み具合いを学習して空いてる経路を見つけます

探索

11

錯覚

都市の人口分布変動から人の移動を再現29

視覚
あなたの目の機能を気軽に楽しく測ります

身体が“見る”
実世界の動きとは？

09

新たな秘密がこれまでの秘密を脅かす

08

限界まで効率よくメッセージを送れます

通信

Network-AI

運動

関連文献
[1] “[特集] NTTグループにおけるAIの取り組み,” NTT技術ジャーナル, Vol. 28, No. 2, pp. 6-37, 2016.
(http://www.ntt.co.jp/journal/1602/special.html)[2] “[特集] コラボレーションを通じて一緒に革新（レボリューション）を起こすNTTグループのAI技術「corevoTM（コレボ）」,” ビジネスコミュニケーション,
Vol. 53, No. 8, pp. 6-21, 2016.
[3] http://www.ntt.co.jp/corevo/

連 絡 先
納谷 太 (Futoshi Naya) 企画担当
Email: cs-liaison-ml at hco.ntt.co.jp

46

オープンハウス 2019

オープンハウス 2019
Copyright © 2019 NTT. All Rights Reserved.

NTT コミュニケーション科学基礎研究所
オープンハウス 2019 実行委員会（委 員 長） 小川

厚徳（副 委 員 長） 武

小萌（委正彬／Mathieu Blondel／持田員） 西野岳美