オ ー プンハ ウ ス
2020on the Web

6 ／ 4〈木〉 web 公開

12：00 より

本年度はＮＴＴ京阪奈ビルでの開催は行わず
最新の研究成果を web にて公開いたします。
http://www.kecl.ntt.co.jp/openhouse/ 2020/
随時最新情報を公開いたしますので、是非ご覧ください。

〒619-0237 京都府相楽郡精華町光台2-4（けいはんな学研都市）
TEL : 0774-93-5020 FAX: 0774-93-5026

こちらのQRコードからもホームページへアクセスできます。

ご あ い さ つ目次

ごあいさつ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・1
所長講演
あなたを・もっと・知りたくて 〜AIで人に迫り脳科学で人を究める〜・・・・・・・・・・・・・・・・・・・・・・・・・・・・3

招待講演＜個性＞を科学するためのチャレンジ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・5

研究講演
ご所望の声でコミュニケーション 〜深層生成モデルが切り拓く音声変換の可能性〜 ・・・・・・・・・・・・・・・・・・・・・7「オープンハウス2 020」へようこそ

知覚心理学で探る皮膚感覚のしくみ 〜指先の時空間情報処理〜 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・9
言葉の難しさを測る 〜テキストの難易度と人の語彙数の推定〜 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 11

研究展示 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 13
データと学習の科学
NT T コミュニケーション科 学基 礎 研究 所
所長

山田

武士

01

WWW 上のみんな、オラに力を分けてくれ !

WWW 上のリソースを活用した機械学習用データ作成手法 ・・・・ 15

02 システム障害を早期に解決する方法を見つけます
03 都市における空間集約データの高解像度化

04 データに適した異常検知器を高速に生成します
05 低い誤検知率で異常を検知

・・・・・・・・・・・・・・・・・・・ 19

決定グラフを用いた組合せ的相関検定 ・・・・・・・・・・・・・・・・・ 20

コミュニケーションと計算の科学イベントとして開 催することは断 念し、最 新成 果のウェブ公開、という形をとることに07 みんなが協力せず勝手に急ぐとどうなる？

いたしました。

08 小さな窓から量子世界の全てをコントロール

量子系の間接的制御が持つ可能性を探る ・・・・・・・・・・・・ 2209 少量の追加データで作るカスタム機械翻訳

汎用対訳コーパス JParaCrawl を用いた機械翻訳の領域適応 ・・・・・ 231985 年に電 電 公社 が民営化されたN T Tの 発 足から35 年 、19 91年に当研 究 所 が「NT T コミュニケーション科 学 研究 所」として京阪 奈に設 立されてから30 年が 経とうとしています。
私 達は設 立当初から、コミュニケーションの本質は 、「情 報を正確かつ効 率良く伝達すること」のみならず、「お互いに理 解を深め、感動を共 有し、心のふ れあいを実現

混雑ゲームの均衡計算・・・・・・・・・・・・・・・・・・・・ 21

10

こどもの感情発達レベルを測ります

11

こどもの興味と発達に合わせて絵本を作ります12

あなたの語彙数測ります

令和版語彙数推定テスト ・・・・・・・・・・・・・・・・・・・・・・・・・・・ 26

13

京町セイカがご案内！

地域連携で作るなりきり AI ・・・・・・・・・・・・・・・・・・・・・・・・・・・ 27

14

こんなとき、あの人だったらどう思う？

表情・文脈・音声テストによる感情発達プロセスの解明 ・・・・・・・・・・ 24
パーソナル知育絵本を用いた親子の絵本読み活動支援の試み ・・・ 25

人の個性を考慮した体験に紐づく感想生成技術 ・・・・・・・・・・・・・ 28

メディアの科学
15

この声、何歳？

16

ワイヤレスマイクを同時により多く使えます17

聞きたい人の声に耳を傾けるコンピュータ（Ⅱ） 音声と映像を手がかりとしたマルチモーダル選択的聴取 ・・・・ 31人との 接触を大幅に減らさざるを得ない今日の状 況において、コミュニケーション

18

顔で声の表情を制御する

クロスモーダル音声表情変換も希薄になりがちな中、コミュニケーションにおける心のふ れあいの本質を見極める

19

探し方を学びながら探す

適応的スポッティング法による効率的な物体探索 ・・・・・・・・・・・・・・・・・・ 33

すること」との理 念のもと、時 代を先取りした基 礎 研究に取り組んで 参りました。

ことはなおさら重要な課 題と言えます。
私 達はこの理 念を引き継ぎ、「こころまで 伝わる」コミュニケーションの実現と、今後の「新しい生 活様式」を見据えた心豊かな社会のデザインのために、これからも更に技 術の糸を紡いでいく所存です。
「オープンハウス2020」では 、機 械学習や 音声音 響処 理から人間の錯 覚やスポー
ツ脳 科 学まで、ウェブ上の講 演と展示によって、最 新 の 研 究 成 果をわかりやすくご 紹
介いたします。私 達のめざす未 来の手応えを、ぜひ間近に体 感していただければ幸いです。

オープンハウス 2020

話者クラスタリングを用いた深層話者属性推定 ・・・・・・・・・・・・・・・・・・・・・・・ 29

20 データを端末から漏洩させない分散深層学習
21

心臓らしい心臓モデル

ビット誤りに頑健で低遅延な音声音響符号化方式 BRAVE ・・・・・ 30

・・・・・・・・・・・・・・・・・・・・・・・・・ 32

分散 NW 上で機械学習をするための非同期合意形成技術 ・・・・・ 34

物理法則拘束付きガウス過程回帰を用いた心臓のモデル ・・・・・・・・・・・・・・・・ 35

22 あなたの鼓動に耳を澄ます

音響観測に基づく血流動態の解析 ・・・・・・・・・・・・・・・・・・・・・・・ 36

人間の科学
23 ヒト知覚モデルで「自然な」錯覚をつくる
24 微小な眼球運動から垣間見る認知状態
25 触ると似てしまうテクスチャ「不自然さ」予測に基づく「変幻灯」の視覚運動量最適化

27 e スポーツ達人の脳力

3D プリンタを用いた触り心地を変えないテクスチャ変調 ・・・・・・・・・・・・・ 39
実験室環境と日常生活における情動変化の計測 ・・・・・・・ 40

パフォーマンス、身体の生理状態、脳活動の相互関係 ・・・・・・・・・・・・・・・・・ 41

28 ラグビースクラムのハーモニーを紡ぐ
29 ストレートは“まっすぐ”か？

ウェアラブルセンサを用いた選手間協調の簡便な評価 ・・・・・・・・・・ 42

物理計測と知覚計測からピッチングを捉えなおす ・・・・・・・・・・・・・・・ 43

30 巧みで素早い運動を支える脳の中の身体表現

意識より賢い無意識・・・・・・ 37

眼球運動の動特性と認知タスク・瞳孔径の関係 ・・・・・・・・・・・・ 38

26 情動はいつ変化するのか？どうやって測るのか？

311

未知データセットのための転移異常検知法 ・・・・・・・・・・ 18

部分 AUC 最大化のための半教師あり学習06 そのデータ、本当に偏ってますか？

新 型コロナウイルス感 染 症への対 策として、「オープンハウス2020」を実会 場で のニューラルネットを用いた障害復旧コマンドの生成 ・・・・・ 16

空間集約データを補間する多変量ガウス過程 ・・・・・・・・・・・ 17

手の位置推定の不確かさは伸張反射を調節する ・・・・・・・・・ 44

環境に応じた顕在・潜在的視覚運動応答の調節 ・・・・・・・・・・・・・・・・・・・・・ 45

オープンハウス 2020

2

所

長

講

演

所

私 達は 数年前から国 立情 報学 研 究 所の人 工 知 能プロ

あなたを・もっと・知りたくて演もめざしています。
幼児の言語獲 得過程の解明も進めています。人間の幼～AIで人に迫り脳科学で人を究める～が実際に解く問題を人工知能がどこまで解けるのかを明児は 親とのコミュニケーションを 通じて言 語を習得しまらかにする研究を進めています。特にCS研は英語を担当

す。人 類は長い時 間をかけて言 語とそれを用いたコミュ

I want to know more about you

し、大学入試センター試験の英語筆記科目に挑戦してきま

ニケーションを進化させてきました。しかしながら、人 類した。その結果、2019年センター試験の英語筆記本試験

が文字を使うようになったのは比較的最近のことで、「読ー Getting closer to humans with AI and brain science ーにおいて、185点（偏差 値6 4.1）という極めて高い成績をむ」能力はもともと脳に備 わった機 能 ではありません 。

達 成できました[4]。英語問題は、自然言語 処理、知識 処「視 覚」「聴 覚」「言 語」「認 知」など脳の 基 本 機 能を柔理の統合的な問題を多く含んでおり、得られた知見は、AI

軟に組み合わせて実現しているのです[5]。

山田

所長

武士

Takeshi Yamada

1985年に電電公社が民営化され、NTTが発足してから

求と、「人間科学」「多様脳科学」など、「人間を深く理解

すでに35年が 経 過しました。一方で、NT T コミュニケーする」ためのサイエンスの追求からなっています[2]。以下

ション科学基 礎研究所（以降、CS研）が 京阪奈に設立さに、いくつかの研究例をご紹介します。

れたのが1991年ですから、来年で設立30年を迎えようとしています。

人間の能力に迫り凌駕する技術

私 達は設 立当初から、コミュニケーションの本質は 、

コミュニケーションの 基 本はまず 話し言葉を認 識し理「情 報を正 確 かつ効 率良く伝 達 すること」のみ ならず、解することです。人間は、複数人が同時に話す状況でも、「お互いに理 解を深め、感 動を共 有し、心のふれ あいを聞きたい人の声に集中し、その声を聞き取ることができま

実現すること」であるとの理 念のもと、時 代を先取りしたす。CS研では、人間が持つそうした能力をコンピュータ上

基礎研究に取り組んできました。当初は人と人とのコミュで実 現することをめざしています。最 近では声の 特 徴に

ニケーションが主 題でした が、現 在は 、人と人のみ なら

加え、唇の動きを手がかりとすることで、似 通った声の人ず、人とコンピュータとの間の「こころまで伝わる」コミュ

でも聞き分けられるようになってきました。また、最 新のニケーションの実現をめざし、基 礎 理 論の 構築と革 新技

音声変 換技術では、人が話した音声の内容は保持したま術の創出に取り組んでおります。

ま、声質や抑 揚などの 特 徴を自由に変えることができま

1985年当時、電話は、当時の流行歌の歌詞にあるようす。これらの 技 術 が 発 展すれば、発声・聴 覚 機 能の障 がに、親しい人が「いまどこにいるのか」とか、「今 何をしていや加齢による衰えを克服した自然なコミュニケーション

いるのか」などを知るためのコミュニケーションツールのや、更には、不慣れな外国語での会話のサポートなどが実主役でした[1]。現在はソーシャルメディアが新たな主役と現します。

して発達し、あまり親しくない人であっても、それがある程人 間 は 、街 な かでふと流 れてきた 音 楽 の 短 い 断 片 か

度分かってしまいます。そもそも、個人が日々利用するスら、知っている曲であれば、その曲名を当てることができ

マートフォンは、これらの情報をすべて把握しており、むします。CS研ではこれまで、音や映 像の信号の断片を手がろ使 用者本人よりも詳しいかもしれません。一方、黒電話

かりに、楽曲や映 像の膨 大なデータベースの中から一致には不思議な存 在感とぬくもりがありました。今後さらにするものを高速に見つけ出す「ロバストメディア探索」技技術が発達すると、コミュニケーションはどう変化するの術を研究開発してきました。この技 術はNT Tデータを通か？「心まで伝わる」コミュニケーションとは何か？私達はじて実 用 化され 、放 送 番 組で 使 用され た 楽 曲を自動 検

この問いに答えるべく日々研究を続け、パートナーのみな出し、楽曲権 利処 理に必要な使 用楽曲リストを生 成するさまとのコラボレーションを図りながら、世の中にも問いサービスとして、数多くの放送局で利用されています[3]。

かけています。

最近では実空間での物体の探索にも取り組んでいます。
例えば「適 応的スポッティング法」は、実空間の3次元点

CS研の研究領域
CS研の研究領域は、「メディア処理」「データ・機械学
習」など、「人間の能力に迫り凌駕する」ための技術の追オープンハウス 2020

講

ジェクト「ロボットは東大に入れるか」の一環として、人間NTT コミュニケーション科学基礎研究所

3

長

群データから所望の形状の物体を素早く探し出す技術であり、人間が行うのと同じように、効率的な探し方を自ら学習することができます。

と人間のより自然な、よりわかり合える対話の実現に活かすことができます。

私 達は 、言 語獲 得の 仕 組みを理 解するために、こども
がいつどんな語を理解し、発話できるかを大規模調査し、モデル化した「幼児語彙発達データベース」を構築してい人間を深く理解し究めるサイエンスます。このデータベースは、こどもの「読む」能力の育成に一方で、AIの発展により、人間のことを深く知り、理 解も役立つと考えています。そこでNT T印刷を通じてサービすることは 、ますます 重 要になってきました 。例えば、イス化されたのが、お子さま一人ひとりのことばの成長に合

ンターネットで調べものをしている最中に、検索ワードにわせて内容をカスタマイズする、「パーソナル知育絵本」

マッチした商品広告がさりげなく提示されると、いつのまです。私達とNTT印刷は、沖縄県恩納村と協力して、検診にかクリックして購入してしまう、という事例は良く起こに来た親子に、パーソナル知育絵本を作成してもらうことりえます。その際ユーザは、あくまでも自分の意志でそのをきっかけに子どもを図書館に誘導することを始めていま

商品を購入したのであって、第三者に操られて商品を買わす。これは、こどもが早い段階から図書館に通い、絵本をされたとは、あまり自覚しません。今後AI技術が発展する

読むことを習慣化させようという取り組みです[6]。

と、より巧みな、いわばAI版「サブリミナル効果」のリスクが高まると考えられます。

おわりにこのようなリスクを防ぐためにも、人間がいつ、どのようCS研は、人の能力に迫る研究 、人を究める研究に取り組な思い込みを持つのか、そしてその思い込みがどう行動にみ、「こころまで伝わる」理想のコミュニケーションとは何つながるかを、深く理解することが重要です。CS研では、かを探求しています。ちなみに日本語の「幸せ」の語源は、

特に卓越したスキルを持つアスリートに着目して、アスリー「為合わせ」や「仕合わせ」であって、これはまさに、他者

トの身体に現 れる様々な生体 情 報から、彼らはどのようとのインタラクションやコミュニケーションが「うまく行っに情 報を捉えて判 断しているのかなど、脳 情 報 処 理の解た」状 況をさしているとも言えるそうです。私 達はこれか明に取り組んでいます。例えば野球選手において、打てるらも人々の幸福、最近の言葉で言えばウェルビーイングの

打者と打てない打者は何が違うのか？「ボールを良く見て向上に資する技術を創出し、パートナーの皆さまとのコラ打つ」というのは本当か？ストレートは本当に「まっすぐ」

ボレーションを通じて、心豊かな社会の実現へとつなげたか？などです。これらの知見に基づき、脳機能を鍛えるト

いと考えています。

レーニング手法としてアスリートにフィードバックすること▼関連文献[1]「あなたを・もっと・知りたくて（作詞：松本隆）」
は、1985年、NTT民営化直後の「TALK ON THE PHONE」
イメージソング[2] 人に迫り、人を究め、人に寄り添う ―デジタルとナチュラルの共生・共創に向けて NTT技術ジャーナル 2019.9,
https://www.ntt.co.jp/journal/1909/files/pdf/JN20190906.pdf[3] 第9回 ASPICクラウドアワード2015において、NTTデータが「全曲報告サービス」
で総務大臣賞を受賞
https://www.nttdata.com/jp/ja/news/information/2015/100901/[4] 2019年大学入試センター試験英語筆記科目においてAIが185点を獲得！
https://www.ntt.co.jp/news2019/1911/191118a.html[5] Reading in the Brain: The New Science of How We Read, Stanislas Dehaene, Penguin Putnam Inc, 2010
[6] パーソナル知育絵本を用いた３者共同実験を開始しました！
http://www.nttprint.com/company/itemid419-000048.html

オープンハウス 2020

4

招

待

講

演

＜個性＞を科学するためのチャレンジ
A challenge to scientifically understand“individuality”
20 03年にヒットしたSMAPの「世界に一つだけの花」のサビの部分は、以下のような歌詞となっている。
『世界に一つだけの花

大隅典子

Noriko Osumi

その花を咲かせることだけにかについて、ヒトの疫学的研究より示唆される「父親の加一生懸命になればいい』

齢」による次世代への影響について、精子エピゲノム情報の1985年 東京医科歯科大学歯学部卒
1989年 同大学院歯学研究科修了

歯学博士

1989年 同大学歯学部助手
1996年 国立精神・神経センター神経研究所室長
1998年 東北大学大学院医学系研究科教授
2018年 東北大学副学長・附属図書館長
この間、CREST研究代表者（2004～2009）、東北大学グローバルCOE拠点リーダ（2007～2012）など歴任。現在、新学術領域「個性」創発脳（2016～）、領域代表。

専門の内容
発生発達神経科学、脳の発生発達維持の分子機構、神経新生低下と精神疾患発症の関わり、脳の健やかな発生発達維持のための栄養、自閉症の病因病態に関する神経生物学的検証変化による影響を明らかにしつつある。
私たちはマウスをモデル動物として研究している。実験

命 は 、たった１個 の 受 精 卵として始まる。父 親 の 精 子動物であるマウスは、“遺伝的に均一”であることが大きなと母 親 の 卵 子が 受 精したときに、「個」の 情 報 が 規 定さメリットだ。つまり、ゲノム情報が同じであるにも関わらず、れる。それは 、DNAのAC TGの文字として書き込まれた＜個性＞が 認められるということは、種々のエピゲノム情「ゲノム」という情 報、そしてゲノムの“上書き”として付け報が異なることを示している。

加えられた「エピゲノム」という情報だ（「エピ」は「上」や「後」という意味の接頭語）。

プロフィール示すということに着目している。そのような「非定型」さ（それは「個性」と捉えることもできる）がどうやって生じるの

いったい、どのようにして獲得されるのだろう？

副学長・大学院医学系研究科 教授

クトラム症などの神経発達障がいの方が「非定型発達」を一人一人違う種を持つ

私 たちは皆、それぞ れ 異 なる＜個 性＞を持 つ。それ は東北大学を立ち上げた。私たちのグループはとくに、天才や自閉スペ

これまでの 研究 成果により、私たちは確かに父 加 齢により非定型発達を示す仔マウスが多くなることを見出し、エピゲノムは、DNAそのものや、DNAの鎖が巻き取ら

精巣内で精子が形成される過程においてどのようなエピゲれるヒストンというタンパク質の化学修飾に基づくが、ちょノム変化（これを私たちはこれを「エピ 変 異」と名付けて

うど句読点等の“記述記号”のように、その有りなしでゲノいる）が生じるかを示しつつある。

ムの言葉の意味が 変わってしまうような働きがある。ゲノ

このような＜個性＞を科学するためのチャレンジは、生ム情 報は 基 本 的に生 涯、変わらないが、エピゲノム情 報

物学的には有性生殖における卵子 側（＝命自体の継 承）は、生活習慣や経験により変わりうるものであり、遺伝子と精子側（＝多様性の付与）の役割を浮かび上がらせるもの “働き方”を変化させる。

のであるとともに、近年、なぜ発達障がいが増えているのこの問題に実証的に迫ろうと、５年前に「多様な＜個性＞を創発する脳システムの統合的理解」という研究グループ

かについての考察として、社会科学的に大きなインパクトがあると考えられる。

著書
著書に、『 脳の誕生 –発生・発達・進化の謎を解く』（ちくま新書、2017）、『脳からみた自閉症 –「 障害」と「個性」のあいだ』（ブルーバックス、2016）など▼関連文献『 』内：出典「世界に一つだけの花」（作詞：槇原敬之）
大隅典子『脳からみた自閉症 「障害」
と
「個性」
のあいだ』
（講談社ブルーバックス、2016）
大隅典子『脳の誕生

5

オープンハウス 2020

発生・発達・進化の謎を解く』（ちくま新書、2017）

オープンハウス 2020

6

研

究

講

演

研

ご所望の声でコミュニケーション～深層生成モデルが切り拓く音声変換の可能性～

Communication with desired voiceー Deep generative model opens the way to innovative speech transformation ー講演ニューラル ネットワークを 用 いた手 法 や 非 負 値 行 列 因 子 分 解に 導入され 、その 高い 有 効 性 が 瞬く間に注目を浴 びました 。

などを 用 いた 事 例 ベースの 手 法 の 検 討も進 めら れています。

音 声 変 換 の入 力・出 力 はどちらも音 声 信 号（ 連 続 値 で 構 成

しかしな がら 、これら 従 来 技 術 には 、１）学 習 デ ータとして 同され た 時 系 列 デ ータ）であ ることを 意 識しつ つこれ ら の 深 層

一 発 話 内 容 の 音 声ペ ア が 必 要 であ ること、２）変 換 可 能 な 音

学 習 技 術 を うまく拡 張 す ることで 、従 来 音 声 変 換 技 術 の 課

声 特 徴 が 声 質 に 限 定 されること、と技 術 的 制 約 が あります。

題 を 克 服し 様 々な 利 用 シ ーン に 柔 軟 に 対 応 可 能 な 多 用 途 音

さら に 、音 声 の 特 徴 量 か ら 波 形 を 合 成 する 際 に 古 典 的 な ボ

声 変 換 システムを 実 現しま す。私 たち の 音 声 変 換 システムで

コー ダ を 用 いてい るた め 、不 自 然 で い か にも合 成 音といったは 、１）非 パラレルデータを 用 いて 声 質 変 換 を 行える「非 パラ

音 が 生 成されてしまいます。

レル 声 質 変 換 機 能 [2]」、２）声 質 だけ でなく長 期 依 存 特 徴

一方 、深 層 学 習 界 隈 に お いて、2 0 1 4 年 を 皮 切りに 、画 像

であ る韻 律 やアクセントの 変 換 を 行える「音 声 系 列 変 換 機 能

メディア情報研究部

処 理 や 自 然 言 語 処 理 の 分 野 か ら 、非 常 に 興 味 深 い モ デ ル[3]」などの 新 機 能 を 創 出しました 。また 、合 成 音 声 波 形 から田中が 台 頭 して き まし た 。変 分 自 己 符 号 化 器 （ V a r i a t i o n a l

実 音 声 波 形 へ 波 形 空 間 上で 深 層 学 習 を 用 いて 変 換 を 行 い 、Au t o - E n c o d e r : VA E ）や 敵 対 的 生 成モ デル（G e n e r a t i v e

出 力 音 声 の 高 音 質 化 を 実 現 す る「 波 形 ポ ストフィル タ ー 機

A d v e r s a r i a l N e t w o r k s : G A N s ）、系 列 変 換 モ デ ル

能 」を 世 界で 初 めて 実 現しました 。結 果として、人の声と 聴き（S e q u e n c e - t o -S e q u e n c e m o d e l : S e q 2 S e q ）といった

分 けら れ な い ほ ど 高 品 質 の 音 声 変 換 や 任 意 の 目 標 話 者 へ 変

モ デルです。S e q 2 S e q の モジュール の 一つである自己 再 帰 型

換 を 行 うた め の モ デル の 多対 多 化 、非 パラレル デ ータを 用 い

モ デル（ Au t o - R e g r e s si v e m o d e l : A R ）とVAE 、G A N sをることが できるという高 効 率 化 、リアルタイム化を実 現してい宏 Kou Tanaka

プロフィール
NTT コミュニケーション科学基礎研究所 メディア情報研究部 研究員。2017年
奈良先端科学技術大学院大学 情報科学研究科 博士課程修了。博士（工学）。同年NTTに入社以来、音声合成・音声変換の研究に従事。深層生成モデルを用いた
音声信号処理に特に興味を持つ。奈良先端科学技術大学院大学優秀学生賞や日本音響学会第47回粟屋潔学術奨励賞を受賞。日本音響学会の会員。

7

究

音 声 は 、言 語 情 報 だ け で なく話 者 性 な どの 非 言 語 情 報 もに 応じて、変 換したい 音 声 特 徴・学 習 データ・リアルタイム性総 称して三 大 深 層 生 成 モ デルと呼 ば れることもあり、画 像 処ます。また 、近 年 盛 ん に 研 究 されてい る分 野 横 断 型 の 研 究と伝 達 できるという大きな 特 徴 を有しており、人々がお互いにコに 関 する 要 件 など、様 々な 前 提 条 件 が 想 定 され ます。私 たち

理 や自然 言 語 処 理 など様々な 分 野・タスクで その 有 効 性 が 確

して、目 標 話 者 の 顔 画 像 を 用 いてそ の 顔らしい 音 声に 変 換 すミュニケーションを取るうえで 特 に 重 要 なツール の１つとなっは 、高 品 質 であ ること、少 量 デ ータ・非 パラレル デ ータ ※ で 学認されています。また 、2 0 15 年 中 期 の 機 械 翻 訳タスクにて、る「クロスモーダル音声 変 換 機 能 」も実 現しています。

ています。発 話 することで、自 分／相 手 の 意 図 や 感 情を、伝 え

習 可 能 であり効 率 的 であ ること 、リアルタイム に音 声 変 換 が

注 意 機 構 （ A t t e n t i o n m e c h a n i s m）がニューラル ネット

る／ 理 解 すること が で きるた め 、音 声 の 特 徴（ 例 え ば 、抑 揚

動 作 すること、声 質 だけ でなく超 分 節 的 特 徴 などの 柔 軟 な 変や声 質・リズ ム ）をそ の 時 々で 変 化させることで、相 手 に与え

換 が 可 能 であること、上 記 の４点 が 音 声 変 換 に お いて 重 要 なる印 象を 変 えることもできます。しかしな がら、一 個 人の 生 成

要 件 であると考えています。

できる音 声の 表 現 力 は 身 体 的・能 力 的・心 理 的 制 約 により制従 来 技 術 において代 表 的 なもの は 、混 合 ガウス 分 布に 基づ限 されてしまいます。この 制 約 を 超 え 、発 話 者 が 所 望 の 音 声

く統 計 的 声 質 変 換 [1] です。事 前に 時 間 整 合をとった 、入 力

で思い のままに 表 現 できるよう能 力 の 拡 張 を行う技 術 が 音 声

音 声と目 標 音 声 の 同 一 発 話 文（ パラレル デ ー タ）を 用 意し 、

変 換 で す。そ の 適 用 先 は 、話 者 性 の 変 換 や 発 声 障 が い 者 補

この 両 者 の 特 徴 量 の 同 時 確 率 を 最 大 化 することで、前 者 か助 、感 情 などの 発 話 スタイル 変 換 、語 学 学 習 の た め の 発 音／ら 後 者へ の 変 換 関 数 を 得 ます。また 、近 年 で は 、上 述 の パラ

アクセント変 換 など、多 岐 に わたります。これらの 利 用シーン

レル デ ータを 必 要とする 枠 組 み に お いて、性 能 改 善 の た め 、

オープンハウス 2020

※入 力 音声と目標 音声とで 発 話 内 容が異 なるデータ（ 非 同 一 発 話 文 ）を示す。

▼関連文献[1] T. Toda, A. W. Black, K. Tokuda, “Voice conversion based on maximum likelihood estimation of spectral parameter trajectory,”
IEEE Trans TASLP , Vol. 15, No. 8, pp. 2222-2235, 2007.
[2] T. Kaneko, H. Kameoka, K. Tanaka, N. Hojo, “CycleGAN-VC2: Improved CycleGAN-based non-parallel voice conversion,” inProc. 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2019.
[3] K. Tanaka, H. Kameoka, T. Kaneko, N. Hojo, “ATTS2S-VC: Sequence-to-sequence voice conversion with attention andcontext preservation mechanisms,” in Proc. 2019 IEEE International Conference on Acoustics, Speech and Signal
Processing (ICASSP), 2019.

オープンハウス 2020

8

研

究

講

演

研

知覚心理学で探る皮膚感覚のしくみ

形・応答・処理の違い

究

講

演

より複 雑な入力・処理・知覚へ

網 膜に複 数のセンサ があり、それぞれ 異 なる色に対して感 度

触 覚の知覚研究では 、振 動などの素 朴な入 力だけでなく、布を持つように、皮膚にあるセンサにも幾つかの種類があります。

や金属、毛皮やスポンジといった日常素材もしばしば入力としてそれぞれのセンサは、ある種 類は 小 粒で皮 膚表面に密 集し、ま使われます。日頃 触れる素 材が引き起こす感覚について調べる

た 別の大きなものは皮 膚 深くにぽつぽつと点在 するなど、異 なわけですから、いかにも多彩な結果が得られそうです。しかし一る形と分布を持っています。その 結果、ゆっくりした変 形に応答

方 で、入 力のバリエーションが 複 雑になるにつれ 、知覚 変 化 のするセンサや、着信バイブレーションのような高周波の振動に良鍵を理 解することは難しくなってきます。例えば「布Aと石Bの区く応答するセンサといった具合に、種類ごとに個性が生まれます

別はつくのに、布Aと金 属Cは区 別がつかない」という結果が 得（図２）。こうした、異 なるセンサ系からの 信号は 、脳においてられた場 合、石と金属の物理的特 徴の違いが多岐に渡るため、個別に処 理されるのでしょうか、まとめて処 理されるのでしょう

原因を絞りこむのが 難しいのです。なお、最 近では複 雑 な入 力

か？指先で実際の物体に触れる日常的な状況では複 数のセンサと出力の関 係をビッグデータ解 析することで 紐 解く研究が増え系が応答しているため、脳内の処理についてセンサ系ごとに切りていて、とても頼もしい のですが、触 覚については 大きな 触 覚

人間情報研究部

分けて調べることは困 難でした。この講 演では 、正弦 波 振 動な

データセットを用 意 するの が 困 難 なこともあり、未 だ 大きな成黒木

どの非常にシンプルな入力を用いることで、センサ系の応答割合

果は出ていません。

～指先の時空間情報処理～

Towards understanding human skin sensations
ー How the brain integrates spatio-temporal information in touch ー

忍 Scinob Kurokiを制御し、各系の時間情 報が 統合される過 程について調べた研プロフィール究をご紹介します [1]。

我々のグループでは、単純な実 験 刺激と複 雑な現実世界の間を 繋ぐ試 みとして、レーザーカッターや３Dプリンタを 使い、複雑な空間パターンを持つ表面テクスチャを作成しています。中心NTT コミュニケーション科学基礎研究所 人間情報研究部 主任研究員。2011年
東京大学大学院 情報理工学系 博士課程修了。博士（情報理工学）。同年NTTに

周波 数（紙やすりで言うところの番手）のような、単純な統計 量

入社以来、触覚におけるタイミング、周波数、位相、運動、粗さなど、基礎的な知覚だけでなく、より複 雑な統 計 量の 操 作を手軽に行うことが 可能について研究。

になりました 。脳 内で、どの 程 度まで複 雑 な 統 計 量 が 計算されているのかを調べた研究[2]について、本講 演でご 紹介するとと触覚 × 知覚心 理学

べます。例えば 、明かりをゆっくり点けたり消したりすると明る

手は道具でありセンサです。手指を巧みに使う事で、人間は上さの変化を知覚することが出来ますが、切り替え 速 度を上げ て手に進化を遂げてきたと思います。道具をうまく使うには速くていくと明滅は徐々に見えにくくなり、蛍光灯ほど高速になると変正しい計 測と処 理 が 有 効です。私はこの、皮 膚を通じた情 報 処

化は検出出来ません。このように、少しずつ入力を変化させなが理に興 味を持っています。「手に 取るようにわかる」「肌で感じら、私たちの知覚に影 響を及ぼ す物 理 量や、その範 囲を調べてる」など、触 覚に関わる比喩表現には、ものごとを深く理 解するいきます。

もに、展示 25番「触ると似てしまうテクスチャ」にて、詳 細にご説明いたします。こうした時 空間 情 報 処 理やセンサ間の 情 報 統合の 仕組みに関する理 解を積み重ねていくことが、触 覚の理 解につながると期待されます。

様 子をイメージさせるものが多くあります。ところが、触 覚が 実際に何をやっているのか、その 情 報 処 理に関する研究は意外なほど疎で、その処 理のメカニズムはあまり良く解っていません。

皮膚にはセンサである機械受容 器がアレイ状に敷き詰められ自己と世界 の境界から得られる感覚であるため、その 接触面でています。指先でモノに触れると、これらのセンサが局所的に応起きる現象を直接計測したり、人工的に再現したりすることが 難

答してそれぞれ神 経 信号を脳へ送ります。例えば 硬い 物 体に触しいなど、技術的な課題もありました。近年の技術進歩に伴い、れた場合、皮膚の変 形は一定量で止まりますが、指よりも柔らか

視 覚や聴 覚の 研 究を追いかける形で、少しずつ触 覚についてもい物体に触れた場合には、接触後に指が物体にめり込むため、解明が進んでいます。

指が包み込まれるかたちで接触面積が増えてゆきます（図１）。

知覚心理学とは、人間をシステムとして扱い、その内部処理を
同 定 する学 問です。人 間に対して、何か 画 像 や 音 のような入 力を加えたときに、出力としてどのような知覚が得られるのかを調

9

時空間情報 処理の大 切さ

オープンハウス 2020

こうした時空間的な変化を捉えることが、接触対象を正しく推定するためには必要です。

図1 接触対象の物性が皮膚表面を時空間的に変形させる

図2 指先皮膚に存在する複数のセンサと、それらに繋がる神経の応答特性▼関連文献[1] S. Kuroki, J. Watanabe, S. Nishida, "Integration of vibrotactile frequency information beyond the mechanoreceptor channeland somatotopy," Scientific Reports, Vol. 7, 2758, 2017.
[2] S. Kuroki, S. Sawayama, S. Nishida, “Haptic metameric textures,” bioRxiv , 2019. doi: https://doi.org/10.1101/653550.

オープンハウス 2020

10

研

究

講

演

研

言葉の難しさを測る〜テキストの難易度と人の語彙数の推定〜

Which word is more diﬃcult for you, car or vehicle?

ー Estimation of text readability and human vocabulary size ー

究

講

演

から、新しい語の追 加と再調査を実 施、16万3千語というより大適切に反映する特 徴 量を見出しました。加えて、絵本の場合、ひ規模な単語親密度データベースを再構築しました[2]。

らがなを正しく解 析することも必要です。例えば、「とうさん」がデータベースを 元に令 和 版 語 彙 数 推 定テストを 作成 、4千人「父さん」か「倒産」かによって、難易度は大きく異なります。こ以 上を対 象に調査を行ったところ、小学6 年生で 約2万語、大 人

うした特 徴 量 選択やひらがな解 析の工夫により、高精度な難 易で 約5万語の語彙 数があることがわかりました（図1）。また、同度推定を可能にしました[1]。また、この精度向上の工夫は、教科

じ学 年でも生徒によって語 彙 数に大きなばらつきがあることか書など他分 野のテキストの難 易度推定にも有 効であることが分ら、支援が必要な生徒を見つけることにも役立つと考えています

かってきました。

[3]。
今後の展開
テキストの難易度推定

今 回ご 紹介した「人の 語 彙 数 推 定 」と「テキストの 難 易度 推

テキスト側の難 易度については、まず 絵本の難 易度 推 定から定」を組み合わせ、定期的な語彙数の確認をすれば、一人ひとり

取り組みました。本研究 所の主 要テーマでもある幼児の語 彙 発がその時、「ちょうど読める・少し頑張れば読める」テキストを推

協創情報研究部

達の解明、発 達支援などにも寄与できると考えたからです。しか薦することが可能になります。実際我々は、英語の語彙数推定と藤田

し、絵本には電子データ化されたデータベース（コーパス）自体

難 易度 推 定の 研究も進めており、語 彙力にあった英語 絵本を推が 存 在せず、その 構築からスタートしました。人手でほとんどの薦して学 校 の 英 語 教育に活 かす取り組みも始めています（図2 ,プロフィール

本文テキストを入力するという地道な作 業の結果、NT Tの 絵本[4]）。

NTT コミュニケーション科学基礎研究所 協創情報研究部 主任研究員。1999

コーパスは、日本語6000冊・英語2000冊を超える、世界に類を早苗 Sanae Fujita

年奈良先端科学技術大学院大学 情報科学研究科 修士課程修了。同年、NTTに入社。博士（工学）。自然言語処理研究に従事。言語処理学会、情報処理学会各会員。3人の子どもの成長とともに、絵本の難易度推定、学齢期の語彙数調査、英語学習支援と研究テーマを広げています。

文字を覚えたての子どもが自分で選んだ絵本が読めず、読んでの親子モニターの皆さんにご協力をいただき、子どもがいつごろあげることになったことはありませんか。中１の時とても苦労してどのような語を覚えるか、発話できるかというデータを蓄積し、読んだ英文が、大学生になる頃にはとても簡単に感じられたこと

幼児 語 彙 発 達 データベースを構 築してきました 。しかし小 学 生はありませんか。同じ文を読もうとしても、難しいと感じるか易し以上となると、知っているすべての語彙を調査することは困難でいと感じるかは、読み手の知識 量に依存します。もし、読み手にす。そこで、提 示した語を知っているか 回 答してもらうことによ

とってちょうど読めるくらいの、あるいは少し頑張れば 読めるくり、語 彙 数を推 定します。提 示する語は多いほど正確 な推 定 がらいの 絵本や本 、英 文を薦めることができれば、読み手の知 識

できますが、数十語でも推定可能です。この方法では、ある語をを無理なく増やしていけるかもしれません。しかし、「ちょうど良知っていると回答したときに、何語知っていると推定するかがポい難しさ」を判断するのは簡単ではありません。文（テキスト）側

イントとなります。例えば「銀行」と「地歩」だと、「地歩」の方がの難易度と、人側の知識 量の両方を適切に推定する必要がある

知っている人は少ないでしょう。そのため、「銀行」だけを知ってからです。

いる人より「地歩」も知っている人の方が語彙数は多いと思われみない規模になりました。しかも今でも拡張中です。
さて、いよいよ難易度推定です。テキストの難易度には、語彙

我々は今後も、日本 語でも英 語でも、幼児でも小中高 校 生でも、大人に対しても、エビデンスを積み重ねながら、一人ひとりにあった育児・教育支援の実現をめざしていきます。

の難しさ、文構造の難しさの両方が影響しますので、それぞれを

図1 小学６年生から成人を対象とした語彙数推定結果（約4600名）

図2 英語の語彙数推定画面ます。では「地歩」も知っていれば、「何語 知っている」と推定で人の語彙数調査と推定方法
人側の知識の一つとして語彙力があります。NT Tでは20年以上前から、人の語彙数の調査や推定に取り組んできました。

11

きるのでしょうか？
その推定の根拠となるのが、語のなじみ深さを数値化した「単語 親密度 」です。NT Tでは20年以 上前に約7 万7千語の単語 親

幼児を対 象とする場 合、理 解/発話できるすべての語彙を調査

密度を調査、それを元に公開した語彙数推定テストは多くの方にすることも不可能ではありません 。実際私たちは、150 0 組以 上

利用されてきました。しかし、調査から20年以上が経過したこと

オープンハウス 2020

▼関連文献
[1] 藤田早苗, 小林哲生, 南泰浩, 杉山弘晃, “幼児を対象としたテキストの対象年齢推定方法,” 認知科学 , Vol. 22, No. 4, pp. 604-620, 2015.
[2] 藤田早苗, 小林哲生, “単語親密度の再調査と過去のデータとの比較,” 言語処理学会第26回年次大会 (NLP) , 2020.
[3] 藤田早苗, 小林哲生, 山田武士, 菅原真悟, 新井庭子, 新井紀子, “小・中・高校生の語彙数調査および単語親密度との関係分析,” 言語処理学会第26回年次大会 (NLP) , 2020.
[4] 藤田早苗, 服部正嗣, 小林哲生, 納谷太, “日本人初学者の語彙数推定方法の検討,” 2020年度人工知能学会全国大会 (JSAI) , 2020.

オープンハウス 2020

12

研

究

展

示

研

究

展

示

概要図
NTTコミュニケーション科学基礎研究所は、人と人、あるいは人とコンピュータの間の「こころまで伝わる」コミュニケーションの実現をめざして、人間と情報の本質に迫る基礎理論の構築と社会に変革をもたらす革新技術の創出に取り組んでいます。オープンハウス2020では、「データと学習の科学」、「コミュニケーションと計算の科学」、「メディアの科学」、「人間の科学」に関する合計31展示をご紹介します。

音声・音響
16

ワイヤレスマイクを同時により多く使えます15

この声、何歳？

17

聞きたい人の声に耳を傾けるコンピュータ（Ⅱ）

18

顔で声の表情を制御する

機械学習技術に基づくデータ解析を基礎から活用事例まで包括的に紹介します。
◼
◼
◼

膨大なデータを正確かつ詳細に分析したい
多様なリソースを活用して、データの解像度を高めたい
稀に発生する異常でも見逃さずに高速に検知したい

人と人、人とコンピュータのやりとりを円滑にする研究・計算の限界に挑戦する研究を紹介します。
◼
◼
◼

機械学習
02

システム障害を早期に解決する方法を見つけます04

データに適した異常検知
器を高速に生成します20

データを端末から漏洩させない分散深層学習

深層学習

19

探索

探し方を学びながら探す

07

異常検知

検定
21

心臓らしい心臓モデル

22

あなたの鼓動に耳を澄ます

06

オープンハウス 2020

0810

こどもの興味と発達にあった絵本を作ります09

こどもの感情発達レベル
を測ります

14

26

こんなとき、あの人だった
らどう思う？

T

少量の追加データで作るカスタム機械翻訳

12

あなたの語彙数測ります

13

京町セイカがご案内！

01

WWW上のみんな、オラに力を分けてくれ!

触覚

ヒト知覚モデルで「自然な」錯覚をつくる25

スポーツ

触ると似てしまうテクスチャ

視覚
微小な眼球運動から垣間見る認知状態

無意識

□ 銀行
□ 担当
︙
□ 親疎
□ 改鋳

クラウドソーシング

情動はいつ変化するのか？
どうやって測るのか？

錯覚

24

⊥

小さな窓から量子世界の全てをコントロール

言語

多様な環境で会話を楽しみ活用したい
各種メディアの本質をとらえ、自在に変換したい
メディア情報処理をもとに医療への応用をしたい

決定グラフ

翻訳
11

23

13

都市における空間集約
データの高解像度化

そのデータ、本当に偏って
ますか？

量子

こども

音声・画像・テキストなどのメディア情報を個別に、または組み合わせて高度に処理する研究を紹介します。

◼ 人の知覚特性を理解し、斬新で創造的な表現様式を提案したい◼ 人の知覚と運動の関係を明らかにし、包括的な人間理解をめざしたい◼ アスリート達がもつ秀でた能力の秘密を解明したい

03

医療

効率のよいネットワークやノイズに強い量子計算機を設計したい
子供の語彙獲得や感情発達に合わせた支援をしたい
対話システムや機械翻訳を状況に合わせて柔軟に対応させたい

人の情報処理メカニズムを科学的に解明し、豊かなライフスタイルを提案・実現する研究を紹介します。

低い誤検知率で異常を検知

みんなが協力せず勝手に急ぐとどうなる？

対話・共感

◼
◼
◼

05

30
31

巧みで素早い運動を支える
脳の中の身体表現

意識より賢い無意識運動

27eスポーツ達人の脳力28

ラグビースクラムのハーモニーを紡ぐ29

ストレートは“まっすぐ”か？

オープンハウス 202014

Generating datasets using people and information on the WWWGenerating recovery-command sequences by neural networks

WWW上のみんな、オラに力を分けてくれ!

02

WWW上のリソースを活用した機械学習用データ作成手法

ニューラルネットを用いた障害復旧コマンドの生成

WWW上の多種多様、大量のデータに、WWW利用者の力を借りて機械学習用の正解ラベルを付与する仕組みを提供します。既存のWebブラウザにラベリング機能を組み込むことで簡単にラベリングできます。 また、サーバと連携して様々な報酬を提供することで、利用者のラベリングを促進します。

どんな研究

システム障害の発生時に、その障害を復旧させるコマンド列を自動で推定し、その信頼度とともに運用者へ提示します。系列変換を行うニューラルネットワークの一種であるSeq2Seqを用い、障害時に取得できるアラームやログを、機械実行可能な復旧コマンド列に変換します。

どこが凄い

教師あり機械学習で利用する大量かつ高品質な正解ラベル付きデータを作成するには、通常膨大な
人的、金銭的リソースが必要です。WWW上のデータ素材に対してWWWの利用者に自発的にラベリングしてもらうというアプローチをとることで、データの準備からラベリングまでを低コストに実現します。

どこが凄い

従来、復旧コマンドの検討は、運用者の知見に依存することが多く、運用品質のばらつきや復旧の長時間化が問題となっていました。運用者は、本技術が推定したコマンドの実行可否を、同時に提示される信頼度に基づき判断するだけで、多くの復旧作業を半自動で完了させることができます。

めざす未来

WWW上のデータをWWWの利用者自身が整理していくことができる本技術は、いわばクラウドソーシン
グの新たな形態を実現します。本技術によって機械学習用の学習データを作成できるようになれば、機械学習を利用した多種多様なサービスをより安価に創出できるようになるでしょう。

めざす未来

本技術を用いることで、障害復旧を迅速化し、お客様へのサービス影響を最小限に抑えることができます。今後は、推定された復旧コマンドが対象システムの性能や可用性に及ぼす影響も考慮し、コマンド実行可否の判断も自動化することで、システムの完全自動復旧の実現をめざします。

AIを支えるのは大量かつ高品質な学習データ

課題：復旧シナリオ作成の困難性

技術イメージ：復旧コマンド自動生成

世界最大のデータジェネレータ

• システム障害の復旧は運用者の知見に依存 さまざまなデータが未整理状態で存在し、また日々更新されている。

• 復旧シナリオ（＝ログ/アラームと復旧コマンドを紐づけるルール）の事前作成も多大な稼働が必要• ログ/アラームを入力すると、復旧コマンドを自動で生成 → 運用者稼働の削減

World Wide Web （WWW）

素材の準備
 良質な素材の選択には時間がかかる。
購入は、高額なことも。

WWWを利用している人がWWW上のデータを整理（学習データ化）してくれ
ないかなぁ

素材に対するラベリング

第二の生活空間• 推定した復旧コマンドの「信頼度」を算出→コマンドの自動実行判断を支援 多くの人が日常的にWWW上で活動している（潜在的な作業者）。

 作業者への報酬が必要。性能の維持には定期的なラベルの見直しも必要。

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

データと学習の科学

データと学習の科学

01

システム障害を早期に解決する方法を見つけます

WWW横断型ヒューマンコンピュテーション
WWW上での活動にちょっとしたプラスアルファを組み込むことで、WWW上で人が活動していると様々なデータが自動的に整理されていく仕組み
テキストモンスター

マルチボイスラベラー

複数人で協力して特定のトピックに関する画像を収集していくと、正解
ラベルの付与された画像データセッ
トができていく

Webページに隠れている単語（テキモン）を捕まえ、Webサイトを奪い合うゲームをしていくと、単語に単語親密度が付与されていく小説などを複数の音声合成ボイ
スで読み上げるためのラベルを付与していくと、談話構造解析用
正解データが作成されていく

画像を右クリックし、
まとめサイトのトピックを選択

話者情報（登場人物名や年齢、性別など）を入力

テキモンを捕獲するための課題

Seq2Seq（系列間の関係性を学習するニューラルネットワーク）で、過去の復旧履歴を学習し、ログ/アラーム列を、コマンドの単語列に変換するモデルを構築

入力：ID化されたログ/アラーム列選択した話者に対応する文章を指定

・テンプレート化技術[2]でID番号化

出力：コマンドを構成する単語列

各画像の評価

トピックごとに画像をまとめた
Webページが生成される

Webページ上に出現するテキモン（単語付きキャラクター）を選んで捕獲ゲームを開始

課題に沿ってページ中の単語を選択し、テキモンを捕獲すべての発話文を選択したら保存

・「Enter押下」等も一単語として、
復旧完了まで一連のコマンドを出力
・単語の生成確率の積として、信頼度を算出・ビームサーチにより、信頼度上位N位まで提示
関連文献[1] Y. Shirai, Y. Kishino, Y. Yanagisawa, S. Mizutani, T. Suyama, “WWW横断型ヒューマンコンピュテーション,” 第27回インタラクティブシステムとソフトウェ
アに関するワークショップ（WISS2019）, 2019.
[2] Y. Shirai, Y. Kishino, Y. Yanagisawa, S. Mizutani, T. Suyama, “Building human computation space on the WWW: labeling web contents through webbrowsers,” in Proc. The seventh AAAI Conference on Human Computation and Crowdsourcing （HCOMP2019）, 2019.

[1] H. Ikeuchi, A. Watanabe, T. Hirao, M. Morishita, M. Nishino, Y. Matsuo, K. Watanabe, “Recovery command generation towards automatic recovery in
ICT systems by Seq2Seq learning,” in Proc. of IEEE/IFIP Network Operations and Management Symposium （NOMS）, 2020, to appear.
[2] T. Kimura, A. Watanabe, T. Toyono, K. Ishibashi, “Proactive failure detection learning generation patterns of large-scale network logs,” IEICE
Transactions on Communications, Vol. E102-B, No. 2, pp. 306–316, 2019.

連 絡 先

連 絡 先

白井 良成 （Yoshinari Shirai） 協創情報研究部 知能創発環境研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

池内 光希 （Hiroki Ikeuchi） ネットワーク基盤技術研究所
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 2020
15

手法：Seq2Seqによるログ-コマンド変換

メディアの科学

メディアの科学

まとめサポーター

オープンハウス 2020
オープンハウス 202016

Multivariate Gaussian processes for spatially aggregated data

都市における空間集約データの高解像度化
空間集約データを補間する多変量ガウス過程

04

データに適した異常検知器を高速に生成します
未知データセットのための転移異常検知法

都市において取得されたデータ（貧困度や病気の感染率等）は、多くの場合、特定の領域分割（行政地区や管轄区域等）に従って集約されます。我々の技術は、都市における様々な種類の空間集約
データを同時に活用することにより、低解像度の空間集約データを高解像度化します。

どんな研究

異常検知は正常なデータとは性質が異なるデータ（異常）を見つけ出すタスクです。高精度な異常検知器を作るためには正常/異常の両方のデータが必要です。本研究では、正常データしか得られない状況でも、関連するデータセットを用いることで適切な異常検知器を高速に生成する技術を作りました。

どこが凄い

空間集約データは集約がなされた領域分割の違いにより、様々な解像度を持ちます。多変量ガウス
過程に基づいてデータ集約処理をモデル化することで、それぞれの解像度を持つ多様な空間集約
データを有効活用し、低解像度の空間集約データから、任意の解像度のデータを予測できます。

どこが凄い

正常データのみから高精度な異常検知器を作ることは一般に困難です。本技術では、関連データセッ
トの情報を活用することで高精度な異常検知器を生成します。とくに、特殊なニューラルネットモデルを導入することで、計算コストの高い処理（再学習）なしに適切な異常検知器を生成できます。

めざす未来

例えば、貧困地域など重要な地域をピンポイントで知ることができるようになり、都市環境改善に向けた効果的なフィードバックにつながります。今後は、大規模なデータ取得が難しい都市への対応等を行い、より幅広い場面で活用できる技術の実現をめざします。

めざす未来

IoTの発展により多種多様なデータが得られるようになってきています。これらのデータをAI（人工知能）に利活用することで、特別なドメイン知識がなくとも高精度な異常検知器を自動生成することが期待できます。今後は本技術を含むAI技術を発展させ、より安心・安全な社会の実現をめざします。

問題設定 ： 空間集約データの高解像度化
入力：低解像度データ

異常検知とは◆ タスク

出力：高解像度データ

多種多様なデータ群を活用して、低解像度データから
高解像度データを推定

推定（例：貧困度）

正常データと、性質が異なるデータ（異常）を見つけ出すタスク
異常◆ 基本的なアイデア
活用

提案法

空間パターンが類似した高解像度データを活用して、
低解像度データを空間補間する

正常

◆ 難しさ

提案技術 ： データ集約処理を組み込んだ多変量ガウス過程
複数の空間集約データの生成プロセスをモデル化し、観測に基づいて高解像度データを自動的に推定
データセット間で共有される関数◆ ポイント①：空間補間①

データの背後に滑らかな関数（ガウス過程）を想定…
◆ ポイント②：データセット間の関係性の導入②

高解像度
データ（関数）空間パターンの類似度（矢印の太さ）に基づいて、
データセット間において関数gl（x）を共有異常/正常データを用いれば高精度な異常検知器を学習可•

しかし異常データは希少なため学習に利用できないケースが多い

問題へのアプローチ
正常データセットに加えて異常/正常を含む複数の関連データセットも活用
例）画像データ：撮影環境が異なる画像など

③

目標データ
セットに適した
異常検知器

高解像度データ（関数）を各領域において平均化

データ1

データ2

データ3

高解像度データ（関数）

観測データ

目標データセット

NNモデル

関
連
デ
ー
タ
セ
ッ
ト
２

…

データS
集約

観測された空間集約データ

関連データセット1

関連データセット2

異常データがなくとも関連データセットの情報を活用することで適切な決定境界を生成できる関連文献[1] Y. Tanaka, T. Tanaka, T. Iwata, T. Kurashima, M. Okawa, Y. Akagi, H. Toda, “Spatially aggregated Gaussian processes with multivariate areal
outputs,” in Proc. 33rd Conference on Neural Information Processing Systems （NeurIPS）, pp. 3000-3010, 2019.

[1] A. Kumagai, T. Iwata, Y. Fujiwara, “Transfer anomaly detection by inferring latent domain representations,” in Proc. 33ｒd Conference on Neural
Information Processing Systems （NeurIPS）, 2019.

連 絡 先

連 絡 先

田中 佑典 （Yusuke Tanaka） サービスエボリューション研究所
Email: cs-openhouse-ml@hco.ntt.co.jp

熊谷 充敏 （Atsutoshi Kumagai） ソフトウェアイノベーションセンタ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 2020
17

異常検知器による決定境界

正常データ集合

目
標
デ
ー
タ
セ
ッ
ト

1次元における集約処理の例…

複数の関連データセットでNNモデルを事前学習⇒ 正常データのみのデータセットから適切な異常検知器を再学習なしで生成可能に…

◆ ポイント③：データ集約処理のモデル化…

•

メディアの科学

メディアの科学

集約データの生成プロセス•

正常データの集合を入力すると対応する異常検知器を出力する
ニューラルネットワークモデル（NNモデル）を導入

関
連
デ
ー
タ
セ
ッ
ト
１

データの種類によって紐づく領域分割が異なるので、単純にはデータセット間の類似度を評価できない

多種多様なデータ群（例：人口、犯罪率、大気汚染度）•

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

データと学習の科学

データと学習の科学

03Transfer anomaly detection for unseen datasets

オープンハウス 2020
オープンハウス 202018

Semi-supervised learning for maximizing partial AUC

Testing combinatorial correlation by decision diagrams

低い誤検知率で異常を検知

06

部分AUC最大化のための半教師あり学習
機械学習における二値分類問題において、ラベルなしデータを活用することによって、部分AUC（偽陽性率が特定の範囲での真陽性率）を高める分類器の学習方法に関する研究です。例えば異常検知
において、誤検知率を低く抑えた状態で真の異常を見逃さなくすることが可能になります。

どんな研究

病気が流行したとき、その流行に地域性があるかないかを知ることは重要です。組合せ的相関検定では観測データである地域別病気発症率と地域の隣接関係から流行の地域性の有無を検定します。具体的には観測データの偏りとその稀さを計算し、病気の地域性の有無を判定します。

どこが凄い

従来技術ではラベルなしデータを活用することができませんでした。私たちはラベルありデータとラベ
ルなしデータを用いて近似的な部分AUCを計算する方法を考案しました。そして、その近似部分AUCを最大化させるように分類器を学習することによって、高精度の分類を可能にしました。

どこが凄い

偏りはScan統計量として、その稀さはP値（その統計量が考えられる全ての観測パターンのうち上位何％であるか）として計算されます。これらを愚直に計算すると47都道府県別の検定には１億年以上かかります。私達はこの検定時間を決定グラフと呼ばれるデータ構造を用いることで１日に短縮します。

めざす未来

本技術を用いることで、コストが高いラベルを付ける作業を減らしても高い分類性能を達成することができます。これまで少数の学習データしか得られない場合には機械学習技術を適用できませんでしたが、本技術を発展させることにより、機械学習の適用範囲を広げることをめざします。

めざす未来

本手法は流行の地域性のみでなく、センサ網上の侵入者の検知や購買履歴中の顕著な組合せの発見など、様々な組合せ構造に適用可能な一般的な手法です。本手法により、日々蓄積される様々な組合せデータに潜む重要な情報を自動的に抽出可能になります。

部分AUC

組合せ的相関検定

PAUC: Partial Area Under the Receiver Operating Characteristic Curve1

正例の割合と負例の割合が大きく異なる二値分類問題の評価尺度として注目
応用例1：異常検知：異常と誤って検知するとオペレータの負担増

白: 病気が流行していない都道府県※この観測は説明のための例です。

0

正例

提案技術（半教師あり学習）𝔼𝔼[𝐼𝐼（𝑠𝑠 𝐱𝐱 P > 𝑠𝑠 𝐱𝐱 N ）]= pAUC1（𝛼𝛼, 𝛽𝛽）

正例と負例で計算される
部分AUC

1

この問題の難しさ

正例の割合𝜃𝜃p を境に、スコアの良い（悪い）ラベルなしデータは仮の正例（負例）とみなす

正例

ラベル
なし
データ
0
𝜃𝜃P

𝜃𝜃P +𝛼𝛼𝜃𝜃N 𝜃𝜃P + 𝛽𝛽𝜃𝜃N 1

仮の正例

仮の負例

𝔼𝔼[𝐼𝐼（𝑠𝑠 𝐱𝐱 P > 𝑠𝑠 𝐱𝐱 U ）]≈ pAUC2（𝛼𝛼, 𝛽𝛽）

正例とラベルなしデータで計算される近似部分AUC

1.

2.

偶然偏っている？ （対立仮説）

負例

2.
3.

𝛽𝛽

1

𝜃𝜃P ：正例の割合
𝜃𝜃N ：負例の割合
𝔼𝔼[𝐼𝐼（𝑠𝑠 𝐱𝐱 U > 𝑠𝑠 𝐱𝐱 N ）]≈ pAUC3（𝛼𝛼, 𝛽𝛽）

負例とラベルなしデータで計算できる近似部分AUC

4.

目的関数：3つの部分AUCの重み付き和

ABC
AB
BC
A
B

3
5
1
1
1

侵入者？

2.

ノイズ？

（例３） 購買履歴
商品 Ａ Ｂ の組合せは
1.

人気？

2.

偶然？

観測の統計量が「考えられる全ての観測」のうち上位何％であるかの計算が必要
𝑝𝑝（𝐾𝐾 𝑥𝑥 = 𝑘𝑘） レアイベント: 現在の観測と同等以上に偏った観測

観測 𝑥𝑥 と 仮説パターン集合 ℱ （例：全隣接都道府県の集合）を受け取る
観測 𝑥𝑥 の Scan 統計量 （≒ 偏り） 𝐾𝐾（𝑥𝑥） を計算

P値: レアイベントの確率の総和

この面積がP値

統計量 𝐾𝐾（𝑥𝑥） の P値 （≒ 稀さ） を レアイベント集合 𝒲𝒲 から計算
P値 ≦ 有意水準（例 0.05）なら対立仮説を棄却 ⇒ 地域性有りℱ と 𝒲𝒲 は

指数的に巨大な集合

提案技術

愚直に計算すると（例１）で１億年以上かかる

𝑘𝑘
以下の提案技術を用いれば１日で計算可能！ 「考えうるすべての観測」から計算した 𝐾𝐾 𝑥𝑥 のヒストグラム

仮説パターン集合とレアイベント集合を決定グラフで圧縮してＰ値を効率的に計算

Scan 統計量 （≒ 偏り）
𝐾𝐾（𝑥𝑥） = max ෍ 𝑥𝑥𝑣𝑣

圧縮したまま厳密計算

𝐿𝐿 = 𝜆𝜆1 pAUC1 𝛼𝛼, 𝛽𝛽 + 𝜆𝜆2 pAUC2 𝛼𝛼, 𝛽𝛽 + 𝜆𝜆3 pAUC3 𝛼𝛼, 𝛽𝛽

𝑆𝑆∈ℱ

𝑣𝑣∈𝑆𝑆

レアイベント集合

圧縮ℱ

𝒲𝒲 = 𝑤𝑤 ∈ 0,1 𝑉𝑉 ∣ 𝐾𝐾 𝑤𝑤 ≥ 𝐾𝐾 𝑥𝑥
圧縮したまま構成

P値 （≒ 稀さ）

圧縮

𝒲𝒲

仮説パターン集合

レアイベント集合を表す決定グラフを表す決定グラフ

𝑃𝑃 = ෍ 𝑝𝑝0 𝑤𝑤
𝑤𝑤∈𝒲𝒲

圧縮したまま
厳密計算

関連文献

関連文献

[1] T. Iwata, A. Fujino, N. Ueda, “Semi-supervised learning for maximizing the partial AUC,” in Proc AAAI Conference on Artificial Intelligence （AAAI）,
2020.

[1] M. Ishihata, T. Maehara, “Exact Bernoulli scan statistics by binary decision diagrams,” The 28th International Joint Conference on Artificial
Intelligence （IJCAI-2019）, 2019.

連 絡 先

連 絡 先

岩田 具治 （Tomoharu Iwata） 上田特別研究室
Email: cs-openhouse-ml@hco.ntt.co.jp

石畠 正和 （Masakazu Ishihata） 協創情報研究部 知能創発環境研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp
オープンハウス 2020

オープンハウス 2020

人間の科学

人間の科学

目的関数
𝐿𝐿 = pAUC1 𝛼𝛼, 𝛽𝛽

地域性がある？ （帰無仮説）

組合せ的相関検定の手順

スコア降順
でソート
0 𝛼𝛼

1.

1.

は

メディアの科学

メディアの科学

0 𝛼𝛼

スコア降順
でソート
𝛽𝛽 1

𝛼𝛼
𝛽𝛽
偽陽性率

購買履歴 頻度

この病気の流行は

ラベルなしデータから計算できる2つの部分AUCの近似を導出し、スコア関数の学習のために利用

負例

センサの反応赤: 病気が流行している都道府県

pAUC（α,β）

応用例2：病気診断：病気と誤って診断すると不必要な検査によりコスト増

従来技術（教師あり学習）（例２） センサ網（例１） 病気の流行

真陽性率

PAUC : α≤偽陽性率≤βのときの真陽性率曲線（ROC）の下の面積「観測は構造に依存している？」に回答

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

ラベルありデータ（正例、負例）を入力とし、部分AUC最大化により正例らしさを出力するスコア関数𝑠𝑠を学習

19

決定グラフを用いた組合せ的相関検定

データと学習の科学

データと学習の科学

ᵎᵓ

そのデータ、本当に偏ってますか？

オープンハウス 2020
オープンハウス 202020

Equilibrium computation of congestion games

みんなが協力せず勝手に急ぐとどうなる？

ᵎᵖ

混雑ゲームの均衡計算

量子系の間接的制御が持つ可能性を探る

道路や通信などのネットワークでは、ある辺（リンク）を使う人が多いほどその辺は混雑し、コスト（所要時間）が大きくなります。ネットワークの各利用者が経路（辺の組合せ）を選ぶ際に、誘導や制御がなく各々自分勝手にコストが小さい経路を選ぶ場合、どの辺がどの程度混雑するか計算できます。

どんな研究

量子的な系の全てを直接制御できることは稀です。仮に直接制御をしようとすると、ノイズがそのシステムに混入してしまいます。本研究では、ノイズを減らすために、あえて直接制御を避けて間接的に量子系を制御をした場合の制御上の影響を数学的に探究しています。

どこが凄い

素朴な方法では、全ての経路について確率の計算をすることになりますが、経路の数が膨大なため実用上は不可能でした。私たちは二分決定グラフとよばれるデータ構造を用いて経路の集合を小さく表現することで、計算を高速化し、実用的な大きさのネットワークでの計算を可能にしました。

どこが凄い

間接的に量子系を制御しようとするとき、一般にどのような制御が可能になるのかを明らかにしました。
その結果、直接制御可能な量子系の自由度が３以上あればそれ以外の直接制御不可能な量子系の自由度がどれほど大きくても実質的には任意に制御できるなどの普遍的な事実を発見しました。

めざす未来

本技術により、道路や通信のネットワークの混雑状況を簡単に予測できるようになり、ネットワークの設計に役立ちます。また、本技術における「辺」は「アイテム」、「辺の組合せ」は「アイテムの組合せ」と一般化でき、経済学などの一般的な場合におけるゲーム理論的解析にも役立つと考えられます。

めざす未来

量子系を間接的に自在に制御できるようにすることで、量子計算機をはじめとする量子情報処理におけるノイズ問題のブレイクスルーを起こします。これによって、遠隔での完全秘密乱数共有や巨大な因数分解といった、量子情報処理によって初めて可能になる機能を実際に実現します。

二分決定グラフを用いた解法

混雑ゲームと均衡状態
始点・ 無数のプレイヤー
・ プレイヤーは経路（辺の組合せ）を選ぶ
・ なるべく総コストが小さくなるよう選ぶ
・ 選べる経路は決まっている・ 使う人が多いほどコストが増える辺もある

終点

現在の量子計算機

ノイズの入りかた

ゼロサプレス型二分決定グラフ （ZDD） を用いて、選べる経路の集合のうち共通部分をまとめてコンパクトに表現
・ 例えば8,000兆個の経路を1MB未満で表現できることもノイズは操作可能な部分から侵入する→ 各プレイヤーはどのような経路を選ぶ？

ノイズの進入路

全員が、選べる中で今コスト最小の経路を選んでいる状態＝ プレイヤーの不満が出ない状態 … 均衡状態
均衡状態

半分

1

0

0.5 1
1 0 0.5

1

1
1
0
1
1

⊥

ポイント1. 選べる経路の集合の中でコスト最小の経路はZDDを使って簡単に求められる従来技術の課題1
使う人が多いほどコスト増

選べる経路に制限がないとき：均衡状態は簡単に求まる
制限があるとき：選べる経路を一つ一つ見るしかない→ 膨大な数の経路があり均衡状態の計算は困難
制限の例：
均衡状態
合計10円以内の経路しか選べない
半分
10
1
0.5 1
0
1 0 0.5
1
10
半分

0
1

0.2

1
1
0.8
⊥

スケールが大きくなるとノイズは増加•

数千ビット以上の大きい数の因数分解には、ノイズを小さく抑えて、数百万量子ビット必要直接制御できないがノイズの影響を受けにくい量子系を、多少ノイズの影響は受けるが直接制御できる小さな量子系と相互作用させて、全体を量子計算機として利用

0
0 0

•

ノイズを減らすための理論的手段

00.2

I社やG社の量子計算機は53量子ビット使えるようになったが、ノイズも混入

0
0
0.8 T

1

直接操作可能直接操作不可能新しい方針：あえて制御の容易性を犠牲にしてノイズの侵入を防ぐ

－疑問－

数学的背景

制御可能な自由度※を減らせば制御回路からのノイズは減少するが、ちゃんと制御できるのか？
※自由度：３量子ビットならば８𝐿𝐿 ≈ℒ（𝑠𝑠𝑠𝑠 𝑑𝑑𝑆𝑆 ⊗ 𝐽𝐽 ∪ 𝑖𝑖 𝐼𝐼 ⊗ 𝐽𝐽, 𝐽𝐽 ）ノイズが減少？！

ポイント2. 現時点のコストの値でコスト最小の経路を求め、その経路を選ぶプレイヤーを増やすことの繰り返し（反復）で均衡状態が求められる
4割
7割
2割
1
1
1
0
0
0
0.4
0.7
0.2
0.6
0.3
0.8
1
1
1
6割
3割
8割
…

間接制御の場合、実行可能な操作（行列）の集合が下記の形式で必ず書けることを発見

例：超電導量子ビット

𝐽𝐽という集合が満たす条件（特定の操作に関して閉じている）
から、背後の量子的なシステムが存在する空間が持つべき構造を発見発見した事実：自由度が2つの場合はダメだが、3つ以上あれば自在に量子系全体を制御可能
いかなる相互作用でも成り立つ普遍的事実（詳細は右に）ノイズを低く抑えつつ量子ビットの数を飛躍的に増やせる可能性が!!!

直接制御できる一部の量子系の次元が２次元か３次元以上
かによって、 𝐽𝐽に要求される条件が変わることが左記の普遍的事実を保証

例：ダイヤモンド中の
NVセンタ

関連文献

[1] K. Nakamura, S. Sakaue, N. Yasuda, “Practical Frank—Wolfe method with decision diagrams for computing Wardrop equilibrium of combinatorialcongestion games,” in Proc. 34th AAAI Conference on Artificial Intelligence （AAAI）, 2020.

[1] G. Kato, M. Owari, K. Maruyama, “Algebra and Hilbert space structures induced by quantum probes,” Annals of Physics, Vol. 412, 168046, 2020.
[2] G. Kato, M. Owari, K. Maruyama, “Hilbert space structure induced by quantum probes,” in Proc. 11th Italian Quantum Information Science
conference (IQIS2018), 2019.

連 絡 先

連 絡 先

中村 健吾 （Kengo Nakamura） 協創情報研究部 言語知能研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

加藤 豪 （Go Kato） メディア情報研究部 情報基礎理論研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp
オープンハウス 2020

オープンハウス 2020

人間の科学

人間の科学

関連文献

メディアの科学

メディアの科学全員
半分*青線：コストは固定*緑線：使うプレイヤーの割合と同じだけのコストがかかる
0.5

T

•

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

均衡でない

21

小さな窓から量子世界の全てをコントロール
データと学習の科学

データと学習の科学

ᵎᵕInvestigation of the ability of indirect quantum controls

オープンハウス 2020
オープンハウス 2020

22

Domain adaptation with JParaCrawl, a large parallel corpus

少量の追加データで作るカスタム機械翻訳ᵏᵎ

汎用対訳コーパスJParaCrawlを用いた機械翻訳の領域適応

表情・文脈・音声テストによる感情発達プロセスの解明

機械翻訳では、対訳コーパスと呼ばれる学習データから自動で翻訳器を学習します。そのため、特定の領域（分野）に特化した翻訳器を作成するためには、その領域の学習データが大量に必要となっていました。この展示では、少量の追加データだけで翻訳器を特定領域に特化させる技術を紹介します。

どんな研究

自分や他人の気持ちを理解する能力は対人コミュニケーションにおいて不可欠です。本研究では、その能力がどのように発達していくのかを明らかにするために、こどもの感情発達を多角的視点から定量的に測定し、発達レベルを見える化します。

どこが凄い

Webデータを大量に収集し、自動的に対訳になっている文を見つけることで大規模な日本語-英語の学習データを作成しました。この学習データは様々な領域を網羅しているため、これを併用することで少量の学習データだけで特定領域への翻訳器を特化させることが可能になりました。

どこが凄い

従来手法では研修を受けたエキスパートのみが実施可能であったテストを、タブレットアプリ化することにより場所の制約なくどこでも手軽に実施できるようにしました。また、本テストを用いることで、どの感情シグナルの理解が難しいのかや、発達がゆっくりな子を容易に発見することができます。

めざす未来

本技術を用いることで、これまで学習データが乏しかったため翻訳精度が低かった領域に対しても、少量の追加学習データで翻訳精度を飛躍的に向上させることが可能になります。将来的には、どの領域に対しても高精度な機械翻訳の実現をめざします。

めざす未来

本テストを保育・教育機関に導入することで、こどもの感情発達を定期的に測定し、先生が気になる子
や人とのコミュニケーションに困難を抱えている子に適切な支援ができるようになります。早期介入により、こどもの学校生活への適応や円滑な人間関係構築を支援することが期待されます。

機械翻訳器の学習
Please clean the room.
May I have a receipt?
I have a cold.

部屋を掃除してください。
領収書をいただけますか？
風邪をひいた。

感情理解テストの開発

この子は今
どんな気持ち？

音声
言葉表情• 少量しか対訳コーパスが存在しない
領域も正しく翻訳できるようにしたい

大規模日英対訳コーパスの作成

45音声（15文×3感情）をランダムに再生

文脈• 新たにデータを大量に集めるのは大変→ 何らかの工夫が必要

学習

感情音声テスト（対象年齢：3〜12歳）
感情シグナル• 実用化に十分な量の対訳コーパスがある領域は限定的（旅行・特許等）

対訳コーパス（学習データ）翻訳器• 機械翻訳器は、同じ意味の2言語文
対（対訳コーパス）を大量に用意することで自動的に学習→ 対訳コーパスの量が精度に大きく影響*Affect Knowledge Test （AKT）は米国で開発された幼児向けテスト

感情知識テスト（AKT*日本語版）） （対象年（対象年齢：3〜5歳）
年
うれしい顔はどれ？

感情ラベリング

感情マッチングタロウ（主人公）はどんな気持ちかな？

パペットによる
短いお話を見る

少量追加データでの領域適応

大規模日英対訳コーパス
JParaCrawl （1000万文）
事前学習（コスト大）
Webデータ収集
日英対訳文抽出（15万ウェブサイト, 14TB）• Webデータを大規模に収集し、日英対訳文を自動的に抽出することにより、1000万文を超える大規模日英対訳コーパス “JParaCrawl” を作成• これまで無償で公開されている日英対訳コーパスは
高々300万文だったので、従来の3倍以上の大きさ• 本対訳コーパスはWebをもとにしているので、様々な領域を網羅しているという特長あり
本対訳コーパスは研究目的利用に限り
以下のURLから無償公開しています。
http://www.kecl.ntt.co.jp/icl/lirg/jparacrawl/

JParaCrawl汎用翻訳器

練習問題

3-5歳児における感情理解発達

スコア自動算出

定型発達群
発達遅延群

【調査対象児】3-5歳児116名（男児65名）

感情ラべリング

適応領域 （ビジネス、医薬等）
に関する少量の対訳コーパス（数千文〜数万文）

感情シーン理解

感情マッチング

感情発達がゆっくりな子を容易に発見可能感情シーン理解

追加学習（コスト小）ス
コ
ア

領域適応翻訳器• 適応領域に関する対訳コーパスが少量しか用意できなくても、様々な分野を含んでいる大規模日英対訳コーパス
JParaCrawl を組み合わせることで、高い翻訳精度を達成

ラベリングは他のタスクより難易度が高い• 追加学習は短時間ですみ、学習にかかるコストも低い

ス
コ
ア

ス
コ
ア

月齢

月齢

月齢

平均 = 1.27, 標準偏差 = .33

平均 = 1.76, 標準偏差 = .33

平均 = 1.76, 標準偏差 = .26

関連文献[1] M. Morishita, J. Suzuki, M. Nagata, “JParaCrawl: A large scale web-based Japanese-English parallel corpus,” in Proc. 12th International Conferenceon Language Resources and Evaluation （LREC）, 2020.

[1] N. Watanabe, S. A. Denham, N. M. Jones, T. Kobayashi, H. H. Bassett, D. E. Ferrier, “Working toward cross-cultural adaptation: Preliminary
psychometric evaluation of the Affect Knowledge Test in Japanese preschoolers,” SAGE Open, 2019.
[2] N. Watanabe, T. Kobayashi, “Computerization of an emotion knowledge assessment for preschoolers: Supporting their school readiness,” in Proc.
International School Psychology Association 41st Annual Conference, 2019.

連 絡 先

連 絡 先

森下 睦 （Makoto Morishita） 協創情報研究部 言語知能研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

渡邊 直美 （Naomi Watanabe） 協創情報研究部 インタラクション対話研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp
オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 2020

メディアの科学

メディアの科学

この子はどんな気持ちかな？

該当する表情画を選択

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

学習

23

こどもの感情発達レベルを測ります
データと学習の科学

データと学習の科学

09

Investigating developmental changes via multiple cues

オープンハウス 2020
オープンハウス 202024

Support for parent-child picture book interaction

こどもの興味と発達に合わせて絵本を作りますᵏᵐ

パーソナル知育絵本を用いた親子の絵本読み活動支援の試み

令和版語彙数推定テスト

絵本の読み聞かせがこどもの言語発達を後押しすることはよく知られています。特に、興味や発達にあった絵本を読んであげることが重要です。本研究では、こどもの興味と発達にあった絵本をテーラメイドに作成する方法を提案します。読み聞かせを多くの親子に楽しんでもらうスキームも検証しています。

どんな研究

単語親密度とは、語のなじみ深さを評定実験によって数値化したものです。ＮＴＴが20年以上前に調査した約7万7千語の単語親密度は、語彙数推定テストをはじめ、今でも多くの分野で活用されています。
我々は経年変化の調査や、新語追加のため、令和版単語親密度調査に取り組みました。

どこが凄い

こどもが言える語と興味があるものをウェブ上で親に回答してもらい、その情報を「幼児語彙発達データ
ベース（幼児がいつどんな語を理解/発話できるかをモデル化）」と照合します。これから発話できそうな語をそれぞれの子に合わせて推定し、絵とともに挿入した絵本（パーソナル知育絵本）を作成します。

どこが凄い

単語親密度の調査を16万3千語という類を見ない規模で実施しました。クラウドソーシングを用いながら、スクリーニングを丁寧に実施することで、信頼度の高い調査結果を得ることに成功しました。これにより、20年前との比較が可能になりました。これを基に、令和版語彙数推定テストを作成しました。

めざす未来

現在、沖縄県恩納村で乳幼児健診受診者に対し図書館でパーソナル知育絵本の受付と配布を行う実証実験を行っています。こうした取り組みからこの絵本の効果を探るとともに、図書館への来訪を促して絵本と触れ合う機会を増やすことにより、親子の絵本読み活動を後押しできるかどうかを検証しています。

めざす未来

本調査結果を用いることで、現代に適した語彙数の推定が簡単に行えるようになります。小学生～高校生を含む幅広い年代の語彙数調査に取り組んでいます。今後、語彙数と読解力や学力全般との関係の調査・分析を実施、効果的な学習支援の実現をめざします。

■パーソナル知育絵本

単語親密度クラウド調査① 登場する主人公の名前と性別を本人に合わせる
あきちゃん
（女の子）
ひろくん
（男の子）

申し込みサイトから情報投入

ゾウの
はなし

③ これから覚える語を推定し該当する絵を挿入

・期間：2020年2月〜2021年3月
・NTT印刷(株)、恩納村と共同で実施

あり

てんとうむしねこ

ちょうちょ

・親子を図書館へ誘導
・絵本に触れ合う機会を提供

サル

おなまえの入った親しみやすい
知育絵本で絵本を大好きに！

乳幼児健診で全受診者へ案内（恩納村総合保健福祉センター）

1セット1000～2000語
単位で評価（5%の語は重複評価）（恩納村文化情報センター）

重複評価の結果、相関係数が 0.5 以上

ポイント②
新語を含め、16万3千語調査例） スマートフォン、コンビニ、
ヘテロダイマー、臘八、…

語彙数推定結果例（Ａさん）

なじみ
深い

なじみが
ない

学年ごとの語彙数調査結果知っている語をチェックして
ください。
□ 銀行
□ 担当
…
□ 親疎
□ 改鋳

ポイント③
50語程度の簡単チェック

約2週間でお渡し
図書館で申し込みと受け取り

事後スクリーニング

ポイント④
小・中・高・成人 約3600人で語彙数調査を実施

語彙数推定テストはこちらから: http://www.kecl.ntt.co.jp/icl/lirg/resurces/goitokusei/

家庭での絵本読み活動

関連文献[1] NTTグループウェブサイト TOPICS: 「パーソナル知育絵本を用いた親子の絵本読み活動の支援に関する共同実験を沖縄県恩納村で開始」
https://www.ntt.co.jp/topics/oyakoehon/index.html[2] 絵本ナビ: 「赤ちゃん研究から誕生した絵本で楽しく親子のコミュニケーション：その子の言語発達段階にあった絵本を一人ひとりに届けたい！パーソナルちいくえほんが誕生するまで」 https://style.ehonnavi.net/ehon/2020/03/17_358.html[1] S. Fujita, T. Kobayashi, “単語親密度の再調査と過去のデータとの比較,” 言語処理学会第26回年次大会, pp.1037-1040, 2020.
[2] S. Fujita, T. Kobayashi, T. Yamada, S. Sugawara, T. Arai, N. Arai, “小・中・高校生の語彙数調査および単語親密度との関係分析,” 言語処理学会第26回年次大会, pp.355-358, 2020.

連 絡 先

連 絡 先

小林 哲生 （Tessei Kobayashi） 協創情報研究部 インタラクション対話研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

藤田 早苗 （Sanae Fujita） 協創情報研究部 言語知能研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 2020

メディアの科学

メディアの科学ゾウ■沖縄県恩納村での実証実験

漢検2級以上or
漢字の読みテストの成績上位

語彙数推定方法

幼児語彙発達データベース

過去データとの度数分布比較
評価者

親密度評定

ポイント①
漢字の知識があり、真面目に評価してくれる
評価者に繰り返し依頼

イヌの
はなし

https://ehon.nttprint.com

・なまえ、性別
・すきなもの・語彙チェックリスト（現在発話できる語）

評価者
事前スクリーニング② お子さんそれぞれの興味にあわせてストーリーをカスタマイズ

令和版 単語親密度データベース

良好な評価者に繰り返し評定を依頼

かしわらあきお作、NTT印刷(株)コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

対象年齢: 1-2さい

25

あなたの語彙数測ります
データと学習の科学

データと学習の科学

11

Vocabulary size test, Reiwa edition

オープンハウス 2020
オープンハウス 202026

Training the role-play AI with community cooperation

京町セイカがご案内！

14

地域連携で作るなりきりAI

こんなとき、あの人だったらどう思う？
人の個性を考慮した体験に紐づく感想生成技術

市役所等での業務に関するQAや受付対応、観光案内などを行う“なりきりAI”を学習します。従来のQAや受付対応、案内などを行うAIの学習には、多くの誤りのない学習データが必要であり、それらを集めることは非常に高コストで困難な課題でした。この課題を地域連携を活用することで解決します。

どんな研究

対話システムが人間と良い関係を築いていくには、人間の感情を理解し、表現することが必要不可欠です。この研究は、「こういう出来事が起きたとき、あの人だったらこういうことを思いそうだな」という人に紐づいた感想の予測を行うことで、より人間の感情を理解、表現できる対話システムを実現します。

どこが凄い

データ収集作業を地域連携の活動として行うことで、正確なデータを低コストで収集します。その地域に住む人と、その地域に興味のある人を結びつけ、来たい人が質問を、来て欲しい人が回答を作ることで非常に高品質なAIの学習データを収集し、地域と密接に連携したなりきりAIの学習を実現しました。

どこが凄い

従来の研究では、感情の表現は喜怒哀楽のような類型で行われていました。これに対して、私たちは「誰が」「何をしたとき」を入力として、「どのような感想を抱くか」という出力を特定の「人」に応じて推定します。これにより、対話システムがより柔軟な感想の表現を、人に応じて使い分けることができます。

めざす未来

本技術を用いることで、それぞれの地域の需要に合わせた“なりきりAI”を提供できるようになります。
今後は自治体での事例を発展させて、企業や団体等での利用も見据えて、より幅広い場面で活用できる技術の実現をめざします。

めざす未来

本技術を用いることで、対話システムが人間の感情をより柔軟に表現できるようになります。今後は、事前に学習した人のみでなく、対話中のユーザが、どのような「感想の表現の特徴」を持っているかを
リアルタイムに学習したり、ユーザの述べた感想からどのような人物かを推定する手法を実現します。

感想生成とはある「できごと」が起きたときに、「どのような気持ちになるか」を推定、文として生成する技術

AIの発展に伴い、「AIによる業務の効率化」が進んでいます。特に、受付対応、観光案内といった対話を通してユーザに情報を提供するAIの実現は、人の負担の軽減や、人とAIの協働に向けて注目されています。この研究では京都府精華町との共同実験を通して実社会で役立つAIの実現に取り組んでいます。

先行研究→一般的に・多数派がポジティブ・ネガティブもしくは喜怒哀楽のどれだと思うかをクラス推定
課題→同じ出来事でも、経験する人によって感想は千差万別＝「人」に応じて出力を変化させる必要
要

なりきりAIによるタスク対話の実現

疲れた“なりきりAI”は、アニメキャラクターや有名人といった特定のキャラクターを模した対話システムです。
企業の公式キャラクターや有名人が受付や案内をすることでお客様の満足度向上や、エンターテイメン
ト性の付与を行いつつ、受付担当者の負担を軽減する効果が期待されています。
住民票はどこで発行できますか？
学習データ

家族でハイキングに行った

感想生成

いい思い出だ

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

データと学習の科学

データと学習の科学

13

Sentiment text generation based on personality

人情報を考慮する注意機構による感想生成モデル

注意機構に着目→人の注目の特徴を反映するフィルタを導入し、人ごとに異なる出力を実現

２階の総合窓口で受付をしています。
このフロアの先を左に曲がってください。

いい / 思い出 / だ

疲れた

家族、ハイキング→ポジティブ

ハイキング→ネガティブ「お父さん」フィルタ
タ「子供」フィルタ

公式キャラクター

課題であった正確な学習データ収集を「興味のある人」と「知識のある人」を結びつけることで解決→知識のある人（精華町民のみなさま）による学習データ作成は地域連携活動の一環として実施
精華町に住みたい・行ってみたい人が質問「春だと、精華町では何が有名ですか？」

精華町に住んでいる
精華町に住んでいる人が回答「冬から春にかけて、いちご狩りが有名ですよ！」■ポイント
なりきりAI 学習データの収集
・精華町に興味のある人が質問＝需要の高い情報
・精華町の人が回答＝正確性の高い情報

デコーダ
注意機構

エンコーダ
家族 で ハイキング に 行っ た地域連携によるデータ作成＝非常に低コスト、高品質

できごと

家族 で ハイキング に 行っ た■技術のポイント人ごとに「注目の特徴を反映するフィルタ」を学習、利用することで、「どの単語に注目するか」や「単語をどのように理解するか」を人ごとに変化させる

関連文献[1] R. Higashinaka, M. Mizukami, H. Kawabata, E. Yamaguchi, N. Adachi, J. Tomita, “Role play-based question-answering by real users for building
chatbots with consistent personalities,” in Proc. 19th Annual SIGdial Meeting on Discourse and Dialogue, 2018.

[1] M.Mizukami, H. Sugiyama, H. Narimatsu, “Event data collection for Recent Personal Questions,” in Proc. LACATODA, 2018.
[2] M.Mizukami, H. Sugiyama, H. Narimatsu, T. Arimoto, R. Higashinaka, “話者情報を考慮する注意機構を用いた応答生成手法の検討,” 人工知能学会,
2020.

連 絡 先

連 絡 先

水上 雅博 （Masahiro Mizukami） 協創情報研究部 インタラクション対話研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

水上 雅博 （Masahiro Mizukami） 協創情報研究部 インタラクション対話研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 202027

感想メディアの科学

メディアの科学地域連携による学習データ収集

従来は（少数の）人間が手作り→課題：データ収集コストが高い

オープンハウス 2020
オープンハウス 202028

Deep speaker attribute estimation with speaker clustering

この声、何歳？

ᵏᵔ

話者クラスタリングを用いた深層話者属性推定

ビット誤りに頑健で低遅延な音声音響符号化方式BRAVE

音声から発話者の年齢や性別といった話者に関する情報を推定する研究です。顔画像や動画といった視覚的な情報からこれら情報を高い精度で推定する手法は既にいくつか知られていますが、音声のみしか利用できない場合、最新の深層学習技術をもってしても未だ解決が困難な問題です。

どんな研究

マイクとスピーカの間で音声を無線で送る際、音声データを圧縮して送ることで同時に多くのマイクを使えます。その際短い時間で圧縮する必要があり、時には圧縮データが正しく伝わらない場合があります。このような条件下で音質を保ったまま音声を圧縮することは難しい課題でした。

どこが凄い

高精度な年齢推定を行うためには各年代の話者の膨大な学習データが必要です。しかし実際には年代毎にデータ量の違いがあり、特にデータが少ない年代の推定が困難でした。そこで、声が似た他の話者の推定結果を用いて補正することで、従来よりも高い精度で年齢推定できる技術を考案しました。

どこが凄い

音声データの圧縮では、入力をそれぞれ何ビットで表現するかを適応的に決めなければなりません。
しかし、その割当ビット数がデコーダに誤って伝わると大きなノイズが生じる可能性があります。私達は入力の整形法を工夫することで、短時間で圧縮しつつ誤りに頑健な表現を実現しました。

めざす未来

本技術は年齢のみならず感情など話者に関する様々な属性推定へ応用できます。今後は、各属性推定のための深層学習モデルと共に更なる性能改善を行い、話者属性を推定する汎用的な枠組を実現
し、ユーザに特化した新たな音声インタフェース開発やマーケティングへの応用をめざします。

めざす未来

本技術を用いることで、ワイヤレスマイク以外においてもより多くの機器の間で音声をリアルタイムに高音質で送りあうことができるようになります。拡声の用途だけでなく、より豊富な音声の情報を活用できるようにすることで、IoT （Internet of Things） 技術の発展に貢献できると期待しています。

深層話者属性推定

話者クラスタリングに基づく性能改善法

問題設定
音声から発話者の年齢や性別などの話者属性情報を深層
学習モデルにより推定

深層学習モデルによる年齢推定の推定結果を類似話者の推定結果の多数決により補正する

音声音響符号化方式BRAVE

問題の難しさワイヤレスマイク等、機器間のリアルタイムな音声通信に用いるための音声音響データの圧縮符号化方式を開発

伝送途中に符号がビット単位で誤る場合がある- 従来手法の多くはパケット等で保護している- 保護には単位時間毎に付加情報が必要- 低遅延の条件では付加情報の割合が大きくなりすぎる→ パケット等を用いずに符号誤りへの対策をしたい

推定対象音声の集合
入力：モノラル48 kHz, 16 bit
ビットレート：96 kbps
（従来の約半分）
原理遅延：1.5-3.0 ms

深層学習
モデル

応用分野
コールセンタの応答決定やマーケティングの支援、ユーザの属性により挙動を変える音声対話システムの実現など
1-1. 話者類似度に基づきクラスタ作成

問題の難しさ• 年代ごとに学習データ量の偏りが大きい （図1）
• 特定の話者・年代に対し過学習してしまう （図2）

図1.NIST-SRE08の年齢分
布 ●男性_子供●男性_大人●男性_高齢×女性_子供×女性_大人×女性_大人図2. 年齢推定器の出力の可視化（[1]より引用）（左図：学習データ、右図：評価データ）

ビットレートを低くできれば同時に使えるマイク数が増やせる

提案技術： ビットプレーン置換による整形
大人 → 高齢者（クラスタの結果と違うので修正）
2. 多数決で各クラスタの高齢者
代表年齢クラスを決定
C1 = 高齢者
子供
高齢者
3. 各音声の推定年齢が類似話者
C2 = 子供
所属クラスタの代表年齢とクラスタ
違う場合は、所属クラスタの子供
代表年齢クラスに置換え
大人→ 子供（クラスタの結果と違うので修正）:推定対象音声とその年齢推定結果
C*:クラスタ毎に多数決で決定した代表年齢クラス

従来のビット割当の課題
エンコーダ…Hello短い時間で圧縮したい

Hello

誤りの影響を小さくしたい

符号が間違って伝わることによる音質への影響を小さくする

提案法によるビット割当

デコーダ
（誤り有）

エンコーダ

デコーダ
（誤り無）

デコーダ
（誤り有）

入力

入力の
二進数
表現
ビット
割当

評価尺度

従来手法

提案手法

年齢クラス分類精度（子供・大人・高齢者クラス）

59 %

72 %

年齢推定誤差± 10.9 歳± 8.7 歳

誤り

誤り

誤り

誤り

符号
可変の区切り
一か所でも誤りがあると、ビット割当が正しく伝わった箇所にも大きな歪みが生じる

固定の区切り
誤りがあっても、ビット割当が正しく伝わった箇所の上位ビットは正しく復号される

関連文献[1] N. Tawara, H. Kamiyama, S. Kobashikawa, A. Ogawa, “Improving speaker-attribute estimation by voting based on speaker cluster information,” inProc. IEEE International Conference on Acoustics, Speech, and Signal Processing （ICASSP）, 2020 to appear.
[2] N. Tawara, H. Kamiyama, S. Kobashikawa, A. Ogawa, “話者クラスタリングに基づく話者年齢・性別推定精度改善法,”日本音響学会研究発表会講演論
文集, pp. 815-816, 2019.

[1] R. Sugiura, Y. Kamamoto, T. Moriya, “Spectral-envelope-based least significant bit management for low-delay bit-error-robust speech coding,” inProc. IEEE International Conference on Acoustics, Speech and Signal Processing （ICASSP）, 2018.

連 絡 先

連 絡 先

俵 直弘 （Naohiro Tawara） メディア情報研究部 信号処理研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

杉浦 亮介 （Ryosuke Sugiura） 守谷特別研究室
Email: cs-openhouse-ml@hco.ntt.co.jp
オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 2020

メディアの科学

メディアの科学

深層話者属性推定モデル

1-2. 深層学習モデルで各音声の年齢クラスを推定

Hello

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

年齢
年齢： ?? 歳
性別：男性・女性

29

ワイヤレスマイクを同時により多く使えます
データと学習の科学

データと学習の科学ᵏᵓ

BRAVE: Bit-error-robust low-delay audio and voice encoding

オープンハウス 2020
オープンハウス 202030

Neural selective hearing with audio-visual speaker clues

聞きたい人の声に耳を傾けるコンピュータ（Ⅱ）
音声と映像を手がかりとしたマルチモーダル選択的聴取

クロスモーダル音声表情変換

人間は、複数の人が同時に話している状況においても、聞きたい人の声に集中し、聞きたい人の声を聞き取る能力（＝ 選択的聴取）を持っています。本研究は、そうした人間が持つ選択的聴取の機能をコンピュータ上で実現することをめざしたものです。

どんな研究

対話や講演において、心理的な緊張状態や能力的な限界などにより思うような話し方で話せない場
合があります。本研究では、入力音声の話し方の雰囲気（表情）を、顔の表情や体の動作などの手段
により制御することを目的としたクロスモーダル音声表情変換の問題に初めて取り組みました。

どこが凄い

音声情報に加え、映像情報を手がかりとして利用する、マルチモーダル選択的聴取の技術を実現しました。人間のように複数の情報源を適切に活用することで、声の性質が似た話者の会話といった、音声情報だけでは困難であった状況でも安定して動作可能な技術へと発展しました。

どこが凄い

話し方の表情は声質・抑揚・リズムによって決まります。従来技術の多くは声質のみの変換を扱っていましたが、我々の音声変換技術は、声質とともに抑揚やリズムの変換も可能にします。この技術と顔表情識別技術を組み合わせることで、顔画像を用いて声の表情を変換する技術を実現しました。

めざす未来

複数の人の声が混ざった音声から「聞きたい人の声のみを抽出する技術」は、人の音声を入力とする
様々なデバイスの基盤となる技術です。人を認識して対応を変えるロボットやスマートスピーカーの実
現といった、人とより自然に対話するコンピュータの実現に寄与します。

めざす未来

人と人とのコミュニケーションには、物理的・能力的・心理的な状態に起因する様々な形の制約が存在します。本研究では、このような制約を取り除き、あらゆる人が不自由なく快適にコミュニケーションを行える環境を実現することをめざしています。

音声情報に基づく選択的聴取 選択的聴取とは・ 複数の人の声が混ざった状況においても、聞きたい人の声に注意し聞くことが出来る能力
・ 日常的な会話シーンでは、複数の人の声が混ざった状況は自然に起こる⇨ 選択的聴取は人間には容易であるが、従来のコンピュータには困難な問題であった⇨ 音声情報に基づく選択的聴取の初提案（オープンハウス2018）

 課題
音声情報のみを手がかりとした選択的聴取は、声の性質が似た話者同士の場合には困難
同士の場合には
聞きたい人
の声の特徴

抽出音声
聞きたい人の手がかりとして、マルチモーダル
情報を活用

発信側

選択的
聴取

信号や情報を状況に適した表現にリアルタイム変換

発信したい
表現に変換

「本日は晴天なり」「本日は晴天なり！」

受信側

受信したい
表現に変換

sad

顔表情認識技術と音声変換技術を組み合わせたクロスモーダル
音声変換

angry happy

系列変換モデルを用いた音声変換
 解決の方針 : Multimodal SpeakerBeam の提案
声の特徴 （音声情報） に加え、唇の動き （映像情報）を手がかりとして利用⇨ 人間のようにマルチモーダル情報を活用 期待される効果
・ 複数モダリティの活用による性能向上
・ 複数モダリティの活用による性能向上
・ e.g.,
モダリティの劣化や欠損に対する頑健性向上
同性の混合音声であっても上手く抽出出来る声の特徴が役に立たない（声の性質が似た話者）
・ e.g.,
モダリティの劣化や欠損に対する頑健性向上
e.g.,
e.g., 映像データが欠損した（唇が映らない）
登録時と使用時で声の特徴のミスマッチがe.g.,
e.g., 状況でも抽出できるあっても抽出出来る

状況に応じた手がかり選択＊ 聞きたい人の手がかりについて
事前に録音された聞きたい人の
音声データ

音声情報 映像情報
混合音声

音声変換技術を通じて多様なシーンにおいて人が不自由なくコミュニケーションできる手段を創出

聞きたい人

混合音声と同時に録画された
聞きたい人の映像データ（唇周り）◼ 系列変換（S2S）モデル• 系列から系列への変換則を学習する
深層学習の枠組（機械翻訳や音声認識など
での有効性が知られる）• エンコーダ／デコーダ構造と注意機構で長期依存関係を捉えた系列変換を扱える• 変換元と変換先の系列の要素間の対応づけ規則を学習できる• 通常は大規模な学習データが必要◼ S2Sモデルを用いた音声変換[1,2]• 話し方の雰囲気や感情表現は、抑揚やリズムに特に色濃く現れる• S2Sモデルにより声質だけでなく抑揚、リズム、話速の変換を扱える• 少ない学習データでも学習可能な方式を考案

顔表情認識◼ 全層畳み込みネットワークを用いたクラス識別• 顔表情識別結果を音声変換器に入力

注意行列

ソース
符号化器

ソース音声
特徴量系列
ターゲット
音声特徴量系列

入力
画像
顔画像

ターゲット
復号化器
ターゲット
符号化器

𝑘𝑘

𝑘𝑘

ターゲット
感情表現
クラス

感情表現クラス
顔表情
識別器

"sad"

関連文献

[1] T. Ochiai, M. Delcroix, K. Kinoshita, A. Ogawa, T. Nakatani, “Multimodal SpeakerBeam: Single channel target speech extraction with audio-visual
speaker clues,” in Proc. Interspeech, 2019.
[2] K. Zmolikova, M. Delcroix, K. Kinoshita, T. Ochiai, T. Nakatani, L. Burget, J. Cernocky, “SpeakerBeam: Speaker aware neural network for target
speaker extraction in speech mixtures,” IEEE Journal of Selected Topics in Signal Processing, 2019.

[1] H. Kameoka, K. Tanaka, T. Kaneko, N. Hojo, “ConvS2S-VC: Fully convolutional sequence-to-sequence voice conversion,” IEEE/ACM Transactions
on Audio, Speech, and Language Processing, under review.
[2] K. Tanaka, H. Kameoka, T. Kaneko, N. Hojo, “AttS2S-VC: Sequence-to-sequence voice conversion with attention and context preservation
mechanisms,” in Proc. 2019 IEEE International Conference on Acoustics, Speech and Signal Processing （ICASSP2019）, pp. 6805-6809, 2019.

連 絡 先

連 絡 先

落合 翼 （Tsubasa Ochiai） メディア情報研究部 信号処理研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

亀岡 弘和 （Hirokazu Kameoka） メディア情報研究部 メディア認識研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス 2020

人間の科学

人間の科学

𝑘𝑘

関連文献

オープンハウス 2020

メディアの科学

メディアの科学

聞きたい人に関する手がかりを与えることで、混合音声からその話者の音声のみを取り出す
深層学習モデル顔画像による音声表情の制御

誤差最小化

 SpeakerBeam （= 深層学習に基づく選択的聴取モデル）

音声変換によるコミュニケーション機能拡張

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

音声と映像双方に由来する話者手がかりの利用

31

ᵏᵖ

顔で声の表情を制御する
データと学習の科学

データと学習の科学

17

Crossmodal voice expression control

オープンハウス 2020
オープンハウス 202032

Adaptive spotting for efficient object search

探し方を学びながら探すᵐᵎ

適応的スポッティング法による効率的な物体探索

データを端末から漏洩させない分散深層学習
分散NW上で機械学習をするための非同期合意形成技術

点群データにより3次元表現された実空間の中から、所望の形状の物体を素早く探し出す研究です。従来の物体探索技術は、総当たり探索を基本に、見込みのない場所だけをスキップする発想で高速化が図られてきましたが、それでもたくさんの場所を探す必要がありました。

どんな研究現在の深層学習では、1か所に集約したデータを使ってモデルを学習することが一般的です。しかし、データ量の激増やプライバシー保護の観点から、近い将来データは分散蓄積されるようになるでしょう。
多端末に分散蓄積されたデータを外に出すことなく、機械学習モデルを最適化する手法を提案します。

どこが凄い

効率的な探し方を自ら学習する物体探索法「適応的スポッティング法」を考案しました。より早く正確に所
望の物体を探しだすことができた場合に高い報酬を与える深層強化学習により、物体がありそうなところだけを注意深く探す、人と同じような探し方ができるようになりました。

どこが凄い

多端末に蓄積されたデータは、統計的に偏っていると仮定することが自然です（例：各端末には一部クラスのデータしか存在しない）。その状況で、端末同士がモデル等の変数を非同期に交換（通信）しながら、全データを使って獲得したかのようなグローバルモデルを学習するアルゴリズムを開発しました。

めざす未来

物流・製造・交通など、3次元空間中の物体を高速・正確に探しだす機能が求められる領域での活用が期待できます。身の回りを取り巻くセンサやロボットへの搭載を進め、世界中のあらゆる空間にある物体を自在に探し出して活用・操作可能にする仕組みの実現をめざします。

めざす未来

現在は、一部のアプリケーションプラットフォームがデータを集約/独占することにより、高度なサービスを提供しています。データの所有権を個人に帰属させ、プライバシーを保護しながら、多様なサービスに利用できる社会をめざしています。

点群物体探索問題

目的・アプリケーション

3次元センサ（LiDARなど）で計測した空間の点群マップの中から、所望の形状の物体を探し出す

背景: データ量、プライバシー保護、法的規制（e.g. GDPR）の 提案方式: モデル主変数とラグランジュ双対変数をノード間で非同期に交換しながら、グローバルモデルを得るための学習
観点でデータを分散蓄積する時代になる。
アルゴリズムを構築 （任意のネットワーク構造で動作可） 。
目的: 分散蓄積されたデータを外に出すことなく、深層学習モ
デルを最適化したい （ただし、モデルなどの変数を非同期で勾配
グローバルモデルに向かう
交換（通信）することは許容）。

空間の形はさまざま、かつ、物体に対して空間が非常に大きい⇒ 総当たり探索では時間がかかる

適応的スポッティング法

非同期分散型深層学習アルゴリズム

ように更新方向を修正

点群計測した部屋
エッジコンピューティング

深層強化学習により、物体の同一性を判断する特徴量と効率的な探索経路を同時に学習（局舎・基地局を小規模データセンター化）

技術ポイント① 次に探す場所（探索窓の位置・向き・大きさ）を出力する姿勢推定モジュールを導入することで、探索法自らが有望な場所を決定しながら探索できる
技術ポイント② より少ない探索ステップ数で探索できた場合に高い報酬を与える深層強化
学習により、有望な場所だけを探索できる探索経路を学習する

グローバルモデル

合意形成拘束力病院（医療データ） 移動体（自動運転）スマートフォン

工場（検品、異常検知） 家（セキュリティ） オフィスノード #1
ノード #2ノード #3
ノード #V

構築したアルゴリズム

ノード #i4

探したい物体分散型深層学習: データ（xi）がVノードに渡って散財蓄積している。
最終的にノード間でモデルが一致する制約下（s.t.…）で、評価関数和（Σ Fi）を最小化するようにモデル変数（wi）を更新

4

変数を交換

アプローチ: 全ノードのモデルが一致する制約条件下で、評価関数和を最小化する問題を解く。
合意形成

探したい物体X

メディアの科学

メディアの科学U

難しいポイント: 各ノードにあるデータが統計的に偏っている
とき、各ノードの評価関数を最小化するだけでは、グローバ
ルモデルは得られない。
探索性能 探索ステップを大幅に削減

U（主双対）変数を更新

問題の難しさ探索経路の例（オフィスルームにある椅子を探索した場合）少ないステップで探したい物体にアプローチ可能

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

データと学習の科学

データと学習の科学

ᵏᵗ

Asynchronous consensus algorithm for ML over various NW

X
ノード #j

更新時間

ノード #1U U U U X U U U U X U U U X U U U U U U U U X

ノード#2

U U U X U U U U U U U X U U U U U U U U

ノード#3

U U U U U U X U U U U U U U U U U U X U U U U

ノード#V

U U U U XU

X U U U U U U X U U X

点群データの出典：Stanford 2D-3D-Semantics Dataset http://buildingparser.stanford.edu/dataset.html

関連文献[1] O. Krishna, G. Irie, X. Wu, T. Kawanishi, K. Kashino, “Learning search path for region-level image matching,” in Proc. IEEE International Conference on
Acoustics, Speech and Signal Processing （ICASSP）, 2019.
[2] O. Krishna, G. Irie, X. Wu, T. Kawanishi, K. Kashino, “Deep reinforcement template matching,” in 第22回 画像の認識・理解シンポジウム （MIRU）, 2019.
[3] O. Krishna, G. Irie, X. Wu, T. Kawanishi, K. Kashino, “適応的スポッティング：深層強化学習に基づく3D点群物体探索,” in 第26回 画像センシングシンポ
ジウム （SSII）, 2020.

[1] T. Sherson, R. Heusdens, B. Kleijn, “Derivation and analysis of the primal-dual method of multipliers based on monotone operator theory,” IEEE
transactions on signal and information processing over networks, Vol. 5, 2, pp. 334–347, 2018.
[2] K. Niwa, N. Harada, G. Zhang, B. Kleijn, “Edge-consensus learning: deep learning on P2P networks with nonhomogeneous data,” submitted to KDD 2020

連 絡 先

連絡先

クリシュナ オンカー （Onkar Krishna） メディア情報研究部 メディア認識研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

丹羽 健太 （Kenta Niwa） コミュニケーション科学基礎研究所／メディアインテリジェンス研究所
Email: cs-openhouse-ml@hco.ntt.co.jp
オープンハウス 202033

オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 2020
オープンハウス 202034

Gaussian process with physical laws for 3D cardiac modeling心臓らしい心臓モデル

ᵐᵐ

物理法則拘束付きガウス過程回帰を用いた心臓のモデル

音響観測に基づく血流動態の解析

心臓の核磁気共鳴画像（Magnetic Resonance Imaging: MRI）から心臓の３次元形状とその時間的な形
状変化を推定します。この心臓形状推定問題は（１）画像のセグメント分割問題と（２）セグメントからの３次元形状の回帰問題に分けることが出来ます。本研究では特に後者の回帰問題に注力しました。

どんな研究

人体からは生命活動に伴い常に様々な音が発生しています。“聴診”と呼ばれるように、その音を聞き取り、解析することにより、身体の機能や状態に関する有用な情報を得ることができます。本研究では
特に心音に着目し、音響信号の観測に基づく心臓・血管の機能や状態の推定に取り組んでいます。

どこが凄い

心臓の形状推定問題において、MRI画像から得られる見た目の手がかりとは別に心臓の形状変化は全身に血液を送るポンプのような動きをするという物理法則を隠れた手がかりとして新たに活用する
アイディアを導入し、これを拘束付き３次元形状回帰問題として解く方法を考案しました。

どこが凄い

マイクロホンを胸部など数か所に装着して心臓の活動をとらえます。とらえた音をもとに、異常の兆候の無い度合い（正常度）を推定するとともに、音の特徴を説明する文章（説明文）を生成します。正常度の推定と指定した詳しさでの説明文生成がテストデータに対し有効に機能することを確認しました。

めざす未来

心臓病は重篤な症状を引き起こす疾患であり、世界の成人人口の約１～２％が何らかの心疾患の影響を受け、特に７０歳以上の罹患率は１０％以上にもなるといわれています。病気の予防・早期診断に応える医療技術の今後の発展の一要素として、機械学習の活用を図っていきたいと考えています。

めざす未来専門病院では高度な検査機器や様々な検査手法により心臓や血管の状態の詳細な把握が可能になっていますが、熟練した医師は、聴診からも的確に病態を把握できるといいます。機械学習と対象モデルの両面から、多くの人の病気の予防や早期発見に資する “AI 聴診器” の実現をめざします。

心臓の三次元形状推定問題

物理法則による拘束付き回帰モデル

AI 聴診器のコンセプト

AI 聴診器 プロトタイプの動作例◼ 核磁気共鳴画像からの心臓の三次元形状の推定◼ Frank-Starling法則と呼ばれる「心臓らしい心臓の動き」
を表す物理拘束をガウス過程回帰モデルに導入◼ 複数の小型マイクロホンを胸部に装着すれば、有用な情報を聞き取って様々に可視化 （見える化）

データ数◼ 異常の有無や病名の推定（従来のパターン認識）だけではなく、深層学習技術の活用により、例えば心音の特徴を表す説明文の生成が可能 [1]
MRI

MRI画像の解剖学的
な部位分類

400

正常
異常

300
200
100
0
← 異常

閾値 正常度スコア 正常 →図３： テストデータ [3] に対する正常度スコアの分布
形状推定問題を解く
回帰モデル学習隠れた（モデルが推定すべき）心臓の圧力と体積の間の物理法則を隠れマルコフモデルで表現

表１： 説明文の生成例
詳細度

提案モデル（右）は専門家による人手ラベル（中央右）に近い形状を推定

本研究の焦点：ガウス過程回帰モデルに対して新たに心臓の物理的拘束を導入 [1]

問題の難しさと本研究の貢献
 真の心臓形状を知ること自体が容易ではない（専門家が膨大な手間をかけ人手で画像にラベル付け）。
教師なし回帰モデルに物理法則拘束を付けることで代替

図１： 心音収集部のプロトタイプ

系列変換モデルによる説明文やスコアの生成

20

心音に異常があります。

40

心音に収縮期雑音があります。

60

心音に収縮期雑音があり、心筋症の兆候の可能性があります。

詳細度 （生成する説明文の
音響信号
左： 観測（入力）MRI。中央左：心内膜部拡大図。中央右： 専門家が人手で描いた心内膜。右： 提案モデルによって推定された心内膜。

具体性・詳しさ・長さを調節）

目標：専門家が人手で付ける形状推定に迫りたい

デコーダ
潜在特徴

低いほど良い推定性能

エンコーダ

 心臓の詳細な細部を捉えることが本質的に難しい（核33人の患者の心臓MRIに対し、各手法による三次元モデルと磁気共鳴画像自体がもともと心臓の時間的・空間的専門家が人手でつけた正解心臓形状の間の平均二乗誤差に局所的な統計的手がかりしか与えてくれない）。
33名の患者中29名で形状推定■ Raw: 回帰モデルを介さないセグメント分割
時系列モデルを使って、ある時刻の 精度が改善。全患者平均二条誤■ GP-base: 物理法則拘束なしの従来のガウス過程回帰
形状手がかりを別の時刻へも伝播
差で0.173→0.158㎟ の性能改善。 ■ GP-FS: 提案法。物理法則拘束付きガウス過程回帰

[Hz]
Ch. １
カフ上流

音響特徴
説明文

デコーダ

“心音に異常があります”

正常度スコア
分類ラベル

音響信号から説明文や正常度スコアなどへの情報の変換がエンコーダ・デコーダと呼ばれるニューラルネットワークで行われる

図２： 本研究における系列変換モデルの構成例 [1]

詳細度の設定に応じて有用な説明文が生成されている

説明文の生成例

Ch. ２
カフ下流

Ch. ３
心音 （V4）ウォータハンマ音

コロトコフ音

2k
0
2k
0
2k
0

各音の音量・音色・タイミングは血管や血流の物性を反映している

図４： 左上腕にて血圧測定中の心音・血流音の測定例（各 Ch. において 上： 音響信号波形 下： スペクトログラム）
本研究の一部は、NTT （バイオメディカル情報科学研究センタ: BMC） から NTT Research,
Inc. （生体情報処理研究所: MEI Lab.） への委託研究として実施しています。

関連文献[1] M. Nakano, R. Shibue, K. Kashino, S. Tsukada, H. Tomoike, “Gaussian process with physical laws for 3D cardiac modeling,” under review.
[2] T. Ngo, Z. Lu, G. Carneiro, “Combining deep learning and level set for the automated segmentation of the left ventricle of the heart from cardiac cinemagnetic resonance,” Medical Image Analysis, Vol. 35, pp. 159–171, 2019.

[1] S. Ikawa, K. Kashino, “Neural audio captioning based on conditional sequence-to-sequence model,” In Proc. DCASE 2019 Workshop, 2019.
[2] M. Nakano, R. Shibue, K. Kashino, S. Tsukada, H. Tomoike, “Gaussian process with physical laws for 3D cardiac modeling,” under review.
[3] The PhysioNet Computing in Cardiology Challenge, http://physionet.org/content/challenge-2016/1.0.0/, 2016.

連 絡 先

連絡先

中野 允裕 （Masahiro Nakano） メディア情報研究部／バイオメディカル情報科学研究センタ
Email: cs-openhouse-ml@hco.ntt.co.jp

柏野 邦夫 （Kunio Kashino） メディア情報研究部／バイオメディカル情報科学研究センタ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 2020

メディアの科学

メディアの科学

最新の深層学習手法を利用 [2]◼ 今後物理モデル [2] 【展示21】・信号モデルとの統合を進め、私たちの“デジタルツイン”における心臓や血流動態の可視化・解析ツールとして有効性を追求

心臓の３次元
形状推定

閾値の設定に応じて正常・異常データの有用な判別が可能

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究セグメント分割を解く深層学習35

あなたの鼓動に耳を澄ます
データと学習の科学

データと学習の科学

ᵐᵏ

Cardiohemodynamical analysis based on stethoscopic sounds

オープンハウス 2020
オープンハウス 2020

36

Adaptive motion retargeting for illusion-based projection AR

ヒト知覚モデルで「自然な」錯覚をつくる

ᵐᵒ「不自然さ」予測に基づく「変幻灯」の視覚運動量最適化

微小な眼球運動から垣間見る認知状態
眼球運動の動特性と認知タスク・瞳孔径の関係

CS研が考案した「変幻灯」は実物に動きの印象を与える錯覚ベースのプロジェクションマッピングです。
しかし、人の視覚を上手に「だます」ためには、変幻灯を設置する環境毎に与える動きの量を適切に調節する必要があります。本研究では、この動きの調節作業を自動化する方法を提案しました。

どんな研究

我々の眼球は、視覚刺激の情報を取り入れるセンサーであるだけではありません。眼球の運動特性は
その時々の認知状態を反映します。本研究では、視線移動タスク中に生じる眼球運動の詳細な動特性
が、タスクの難しさや瞳孔径の変化とどのように関連するかを調べました。

どこが凄い

人の視覚情報処理の計算モデルを用いて投影結果の「不自然さ」を予測できることを示しました。この予測モデルを用いて、動きの量をリアルタイムに最適化する手法を考案しました。これにより、インタラ
クティブなアプリケーションへの応用など、変幻灯の活用の幅が広がります。

どこが凄い

これまで、視線や瞳孔の変化から認知状態を知ろうとする試みは多く行われてきました。本研究では、
これまで見過ごされてきた微小な眼球運動を詳細に解析することにより、その動特性が認知状態の影響を受けることを発見しました。

めざす未来

変幻灯のように、錯覚を利用することでこれまでは実現不可能であった表現を可能にするメディア技術は他にも考えられます。今後は、「人の知覚のモデルで錯覚を制御する」という枠組みをさらに発展させ、錯覚ベースの表示手法の普及に貢献していきます。

めざす未来

無意識に生じる微小な眼球運動の計測に基づいて、本人も意識していないようなその時々の認知状態（認知的負荷、注意の方向など）を読み取る技術（マインドリーディング技術）の発展をめざします。
作業者の集中度合いの評価やマーケティングなどにも応用できる可能性があります。

変幻灯の仕組みと課題
動いてる！

動きベクトル

変形画像（動画）

眼球運動（サッカード）の動特性と認知タスクの関係

人の脳は色や形、動きの情報を別々に分析し、後から統合してシーンを認識している。これを利用し、変幻灯は白黒の動きの情報だけを投影することで、錯覚的に実物に動きの印象を与える。
問題点 変幻灯を効果的に見せるには大きな動きを与えたいが、錯覚が生じる動きのサイズには限界が存在。

•

サッカード後の視線は目標位置でぴったり止まるわけではなく、目標位置周辺で振動する （オーバーシュート）•

単なる機械的振動とされてきたオーバーシュートと認知状態との関連を検証
オーバーシュート

視線移動タスク

限界を超えると投影パターンと投影対象のズレが知覚されてしまう。

サッカード
の目標位置

投影対象画像時間

投影パターン

投影結果の「不自然さ」の予測

投影結果

動き情報

最適化された（入力）

動き情報

光の逆を向くタスク ＞ 光った方を向くタスク

光った方の逆を向く（認知負荷高）光った方を向く（認知負荷低）時間
瞳孔径と瞳孔中心の振動の動特性が相関動特性から眼球の物性（粘弾性）がわかる•

画像処理により瞳孔中心と虹彩中心の位置を抽出

瞳孔中心の振動•

瞳孔径やタスクの難しさと眼球運動動特性の相関関係を計算
認知状態を反映する要因眼球運動の動特性

メディアの科学

メディアの科学「不自然さ」予測モデル

眼球振動の動特性の大小を比較

サッカード後の眼球振動の動特性が視線移動タスクの難しさを反映することを発見「不自然さ」予測モデルに基づく動き情報の最適化

脳内の視覚情報表現内で投影結果が 投影パターンと投影対象のズレが不自然に感じられない範囲で最大の理想的な見た目からどれくらい乖離して動きが得られるように動き情報を最適化。
いるかを計算し、不自然さの指標とする。
理想的な見た目

視線位置

不自然な結果大きな動き

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

データと学習の科学

データと学習の科学

23

Relation of eye-movement dynamics with cognition and pupil

有意な相関

脳内の視覚情報表現へ変換
理想値からの乖離度を計算不自然さの予測量

移動量

眼球全体の振動

瞳孔中心の振動

タスクの難しさ

眼球全体の振動
眼球全体の動きとの相関は無し

スケーリング 局所運動の強調
位置

動き情報の最適化

手動で微調整を行なう従来法に匹敵する結果をリアルタイムに自動生成可能！

眼球全体の振動に比べて、瞳孔中心の振動の粘弾性が大きいことを示した

動特性がタスクの難しさだけでなく瞳孔径と相関
瞳孔径を制御する筋組織の状態を反映

関連文献[1] T. Fukiage, T. Kawabe, S. Nishida, “Perceptually based adaptive motion retargeting to animate real objects by light projection,” IEEE Transaction on
Visualization and Computer Graphics, Vol. 25, No. 5, pp. 2061-2071, 2019.
[2] T. Kawabe, T. Fukiage, M. Sawayama, S. Nishida, “Deformation Lamps: A projection technique to make static objects perceptually dynamic,” ACM
Transactions on Applied Perception, Vol, 13, No. 2, pp. 1-17, 2016.

[1] S. Yamagishi, M. Yoneya, S. Furukawa, “Relationship of postsaccadic oscillation with the state of the pupil inside the iris and with cognitive
processing,” J Neurophysiol, Vol. 123, pp. 484-495, 2020.

連 絡 先

連 絡 先

吹上 大樹 （Taiki Fukiage） 人間情報研究部 感覚表現研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

山岸 慎平 （Shimpei Yamagishi） 人間情報研究部 感覚共鳴研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 202037

瞳孔径オープンハウス 2020
オープンハウス 202038

Direct control of perceived texture of 3D printed stimuli

触ると似てしまうテクスチャ

26

3Dプリンタを用いた触り心地を変えないテクスチャ変調

実験室環境と日常生活における情動変化の計測

異なる凹凸パターンを持ち、目で見ると区別がつくのに、指で触ると手触りの違いが判らなくなるような
表面テクスチャを設計しました。素材表面の凹凸パターンについて、深さを輝度値に変換してモノクロ
画像として扱うことで、 ３次元のテクスチャを２次元の画像のように解析・変調しています。

どんな研究

私たちの情動は、他者とのインタラクションをはじめとする外的環境と自分自身の内的変化による影響を受けて変化します。本研究では、実験室環境においてインタラクションが情動変化に及ぼす影響を調べるとともに、日常生活における情動の内的変化を評価する新しい枠組みを提案します。

どこが凄い

複雑な統計量を画像上で操作し、作成した画像を元に３Dプリントすることで、これまで計測・実現が困難だった実物体の統計量を簡易に操作できます。その結果、触覚による知覚に影響しない統計量を発見しました。視覚と触覚では知覚に影響する統計量が異なることも明らかになりました。

どこが凄い

共同体験中の自律神経系の生体反応を計測する実験により、他者の情動から受ける影響がネガティ
ブ情動とポジティブ情動で異なることを明らかにしました。日常生活のなかで起こる情動の内的変化を感性表現語（感嘆詞やオノマトペ）を用いて継時的に記録するセルフトラッキング方法を考案しました。

めざす未来

テクスチャ知覚の決め手となる表面形状の特徴が理解できれば、画像特徴を操作するだけで簡便に物体表面の質感を変えることが可能になるかもしれません。また、見た目と触り心地を分けて設計できるため、より自由なテクスチャ設計が可能になります。

めざす未来

人と人のインタラクションによる情動変化の機序を解明することで集団パニックや盛り上がりのような社会現象のモデル化に貢献します。日常生活における情動の内的変化のパターンやそれに関わる要因を明らかすることは、ウェルビーイング向上をサポートする仕組みづくりに役立つと期待されます。

３次元の表面テクスチャを２次元画像のように扱い
画像処理によって表面の手触りを操作

日常生活における情動のセルフトラッキング

実験室における共同体験中の情動反応の計測

日常生活の中でどのような時間的変化を辿るのか？

他者とのインタラクションによってどう変化するのか？

- 素材表面の凹凸パターンについて、彫りの深さを輝度値に変換してモノクロ画像として扱うことで、画像処理の技術を実物体に対して適用可能に

にこにこ

同期

人物２

人物２

弱

感情を表す形容詞ごとの数値評価

嬉しい 0 ：全く感じない〜10：とても感じる
悲しい 0 ：全く感じない〜10：とても感じる
・ 認知的負荷が高い（直感的に回答しにくい）・ 身体的な情動経験を捉えることが難しい
・ 正直に回答しにくいことがある（否定的感情など）
提案手法

感性表現語を使った報告

従来手法の問題を解消するため、身体的感覚の表現に適した感嘆詞やオノマトペなどの感性表現語により情動経験を報告するセルフトラッキング方法を考案

ブロックゲームによる興奮の共同体験

感性表現語を用いてその都度の情動経験を記録し継時的変化を捉える

ポジティブ情動はインタラクションによって同期し、自分よりも相手の情動反応が強いときも弱いときも相手の反応に合わせて変化する強プレイヤー交代
生体反応

触覚は視覚に比べ低次統計量の細かな違いに感度が高く
視覚は触覚より高次の統計量、位相などに感度を持つ
手触りを一定に保ちながら見た目のデザインを変更することが可能に＜協力して交互にゲームをプレイ

プレイヤー プレイヤー
相手

ポジティブ情動

画像処理後も見分けがつく人物１

ネガティブ情動人物１

実験２
ポジティブ情動

低次統計量 一致 高次統計量 不一致

区別が
つかない…

強

（心拍数:正規化）

画像処理によって低次統計量を一致させる

インタラクションあり

インタラクションなし

相手

弱※ブロックを抜く前の25秒間の心拍数

しゅん

感性表現語に基づく情動評価を可能にするため、約１万４千人を対象とした大規模調査により情動の種類・強度と感性表現語の対応表を作成
喜び 悲しみ 予感 驚き
強 うひょー がっくり ぴりぴり えー
弱 にこにこ しゅん そわそわ どきっ

恐怖

嫌悪

好感

いらいら びくびく

怒り

げっ

うっとり

かちん

うわぁ

うん （例）ぞくっ

関連文献[1] S. Kuroki, M. Sawayama, S. Nishida, “Haptic metameric textures,” bioRxiv, 653550, 2019.

[1] A. Murata, H. Nishida, K. Watanabe, T. Kameda, “Convergence of physiological responses to pain during face-to-face interaction,” Scientific Reports,
Vol. 10, 450, 2020.
[2] A. Murata, S. Kumano, J. Watanabe, “協⼒場⾯における対⼈インタラクションの当事者評価と客観評価,” 電⼦情報通信学会技術研究報告, Vol. 118,
No. 487, pp. 111-114, 2019.

連 絡 先

連 絡 先

黒木 忍 （Scinob Kuroki） 人間情報研究部 感覚表現研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

村田 藍子 （Aiko Murata） 人間情報研究部 感覚共鳴研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 2020

メディアの科学

メディアの科学

暗い点: 凹明るい点: 凸５枚見比べるとはっきり異なる
見分けがつく従来手法

ネガティブ情動はインタラクションによって同期し、自分よりも相手の情動反応が強いときはそれに合わせて強まるが、相手の情動反応が弱いときには影響を受けない

生体反応

輝度の平均・分散を揃えた異なる画像
低次統計量 不一致 高次統計量 不一致

実験１
熱刺激による痛みの共同体験
ネガティブ情動（指尖容積脈波）- 従来の粗さ指標よりも複雑な統計量を簡易に操作することで、触り心地に影響する
低次統計量（振幅スペクトル）・影響しない高次統計量（位相スペクトル）を発見

むっうん

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

似ているけれど
区別はつく

39

情動はいつ変化するのか？どうやって測るのか？
データと学習の科学

データと学習の科学

25

Monitoring emotion in experimental settings and daily life

オープンハウス 2020
オープンハウス 202040

Performance, physiological state, and brain activity

Easy assessment of player coordination with wearable sensors

eスポーツ達人の脳力

ᵐᵖ

パフォーマンス、身体の生理状態、脳活動の相互関係

ウェアラブルセンサを用いた選手間協調の簡便な評価

肉体的要因で結果が左右されにくいeスポーツでは、選手の実力・コンディション・基礎能力（視覚能力）を把握することが困難でした。本研究は、脳科学的アプローチによって、eスポーツ選手のこれらの特性を客観的に評価しました。

どんな研究チームスポーツでは選手たちが協調してプレーすることが重要ですが、そうした協調性を評価することは容易ではありません。本研究では、ラグビーのスクラムを対象に、選手たちがいかに力を結集して相手を押しているか、その協調関係（ハーモニー）をウェアラブルセンサを用いて分析します。

どこが凄い

eスポーツ選手のパフォーマンスと身体の生理状態・脳活動の関係を調べることで、試合中の心拍同期が選手の実力を反映することが分かり、未来の勝敗と関連する脳の状態が見つかりました。また、視覚科学の研究成果に基づき、視覚情報処理能力と選手の強さの関係にも注目しています。

どこが凄い

練習中の選手の腰に無線慣性センサを装着し、得られる加速度データから、各選手がいつ、どの位の強さで、どの方向に押そうとしたのか、そして全体としてどのように出力したかを簡便に評価します。
その結果は、手元のPCアプリにデータベース化され、その場で確認することができます。

めざす未来

eスポーツ競技に適した認知機能と生理状態を、多角的なアプローチから明らかにし、その知見に基づいて、eスポーツ選手が実戦環境でパフォーマンスを向上させるための脳科学的な方法論を確立し
ます。

めざす未来

日々の実践的なデータを蓄積することで、各選手の特徴や再現性などを把握できるだけでなく、どのような選手の組み合わせが適切かを見極めることにもつながります。また、この技術は、スポーツに限らず、様々な集団の行動（動きやリズムなど）を評価することにも応用できます。

eスポーツと選手特性簡便なウェアラブルセンシング

eスポーツ

選手間協調をフィードバック

各選手の特性
分析・データベース化

• 実力

慣性センサ

• コンディション

日々のトレーニング• 基礎能力（視覚能力）
加速度データの例

アプローチ

未来の勝敗と関連する脳の状態を発見

心拍数（bpm）

上級者同士：心拍同期12080

頭頂の脳活動が増大

Win
0

5

10

心拍数（bpm）

80

視機能から視覚認知まで広がる
多様な視覚能力に注目
視野周辺で
の文字認識
周辺視野の
見え

中級者同士：心拍非同期
頭頂の脳活動が減少

120

強さにつながる視覚
情報処理能力の追究

5

加速度ピークの時刻

前から後ろの順番になっているか？

複数物体追跡コントラスト
感度

研究所提案の視覚テスト「シカクノモリ」[2]で能力測定

Lose
0

同期映像

10
時間（分）

•

ウェアラブルセンサで簡便に運動計測•

その場で協調関係（ハーモニー）を見える化•

データを蓄積し、選手の特徴や組み合わせの
評価に活用

•

スポーツ以外にも転用可能

ピークタイミングを音にするフィードバックもピーク時刻のスペクトログラムの例
1.5
Frequency（Hz）

心拍同期が実力を反映[1]視覚テスト

加速度ベクトル

前向きに大きな値がでているか？

Y軸方向の加速度

脳波計測

フィードバック画面の例

メディアの科学

メディアの科学

心拍計測

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

データと学習の科学

データと学習の科学

27

ラグビースクラムのハーモニーを紡ぐ

良いスクラムは、低い音から高い音に聞こえる

1.0
0.5
0

0

0.2

0.4

0.6
Time （s）

0.8

1.0＊NTTコミュニケーションズ シャイニングアークスとの共同実験です

関連文献[1] K. Watanabe, N. Saijo, M. Kashino, “The across-player correlation of the physiological change reflecting the fight-or-flight response in esports,”
in Proc. The Society for Neuroscience 49th Annual Meeting, 2019.
[2] K. Hosokawa, K. Maruya, S. Nishida, M. Takahashi, S. Nakadomari, “Gamified vision test system for daily self-check,” in Proc. 2019 IEEE Games,Entertainment, Media Conference （GEM）, 2019.

[1] T. Kimura, N. Saito, H. Okamoto, K. Ohta, “IMUを利用したラグビースクラム時の選手間の協調関係の評価,” in Proc. スポーツ工学・ヒューマンダイナ
ミクス2019, 2019.

連 絡 先

連 絡 先

南 宇人 （Sorato Minami） 柏野多様脳特別研究室
Email: cs-openhouse-ml@hco.ntt.co.jp

木村 聡貴 （Toshitaka Kimura） 柏野多様脳特別研究室
Email: cs-openhouse-ml@hco.ntt.co.jp
オープンハウス 2020

41

オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 2020
オープンハウス 202042

Physical and perceptual attributes of a pitched ball

ストレートは“まっすぐ”か？

30

物理計測と知覚計測からピッチングを捉えなおす

手の位置推定の不確かさは伸張反射を調節する

スポーツ選手の感覚（知覚）は並外れて敏感ですが、物理世界をそのまま捉えているとは限りません。
本研究では、野球の投球軌道の物理特性を正確に定量化した上で、その物理量を打者がどのように知覚しているのかを明らかにしました。

どんな研究

人間には、目や手足などからの感覚入力によって運動目標や姿勢の変化をとらえ、その影響を無意
識的な反応によって小さくする反射的な運動修正の仕組みが備わっています。このような反射的応答
を状況に応じて調節するために、脳内でどのような情報処理が行われているかを調べています。

どこが凄い

物理計測では、ボールの回転特性をカメラ一台から簡便に計測する技術を考案しました。それを元に知覚計測では、軌道の変化量に対して、打者は細かな違いを判別できるにも関わらず、系統的にズレて（錯覚して）知覚すること、また錯覚の方向が投球フォームによって変化することを発見しました。

どこが凄い

急激な姿勢変化を修正するように働く「伸張反射」が、自分の体の動きが見えない状況では小さくなることを発見しました。このことから、反射的応答の調節が、従来考えられていたように単一の感覚情報のみに基づくのではなく、複数の感覚情報を統合した身体表現を介し行われていると考えられます。

めざす未来

従来のスポーツ科学では、物理計測が重視される傾向にあり、選手の知覚とのズレが大きな問題となっています。物理計測と知覚計測を組み合わせてこのズレの原因を解明することで、スポーツトレー
ニングや指導、戦略などに劇的な変化をもたらすことができます。

めざす未来

反射的な応答が生成・調整される仕組みを解明し、人間が巧みな運動を行う上で、意識に上らない運
動制御がどのように役立っているかを明らかにしていきます。将来的には、アスリートの能力の分析・解明に役立てることや、スポーツトレーニングへの応用をめざします。

物理計測
カメラ映像

「投球の回転軸の向き（投手1名の例）」
打者側からみたボールの平面図。回転軸の向き（各点）を計測し、1球ごとの軌道の変化を詳細に解析。

投手

意識を介さない運動修正

反射的な応答を調整する情報処理※筋の急激な伸びに対して、筋肉を収縮させることで姿勢を修正する反射応答

従来仮説： 単一の感覚情報による調整

スライダー
ストレート

シュート回転ストレートの実測軌道

ほとんどのストレートは物理的にはシュートする

伸張反射（＝体性感覚性の応答, 約50[ms]）●外界との接触

ストレートの知覚軌道

打者の知覚の例

まっすぐ「右に曲がった」と回答した割合

物理的には曲がっている
球を“まっすぐ”と錯覚

多感覚統合

反射的な応答によって、外乱や外界の変化の影響を素早く補償できる

伸張反射の
大きさ

体性感覚情報実験：視覚情報によって伸張反射が調整される●手首運動中に外力による姿勢

打者

視覚情報

筋への運動指令

体性感覚入力●姿勢の変化

新規仮説： 多感覚情報の統合による調整

メディアの科学

メディアの科学

知覚計測

体性感覚情報

伸張反射の大きさ

意識 ・思考スライド回転本計測技術は、プロ野球球団、ソフトボール女子日本代表、NTT東・西野球部などと実用に向けたトライアルを実施中です。

意識を介した運動修正 （200[ms]以降）

コミュニケーションと計算の科学

コミュニケーションと計算の科学

どんな研究

3D回転計測実験設定

結果変化を与え、伸張反射を計測●手の位置を示す視覚情報（カーソル）を消し、反射応答への影響を検証シュート●カーソルの消去時間が長いほど

右投手か左投手かで、錯覚の向きが逆転

ボール軌道の横方向への変化量（cm）

反射が小さくなることを発見「ストレート」が“まっすぐ”に見える方向に知覚がバイアスされる。

●多感覚統合に基づく手の位置

表現の不確かさが反射応答を調節することを示唆

関連文献[1] D. Nasu, T. Kimura, M. Kashino, “Do baseball batters perceive straight ball trajectory as straight?” in Proc. 2020 Conference on North American
Society for Psychology of Sport and Physical Activity, 2020.

[1] S. Ito, H. Gomi, “Visually-updated hand state estimates modulate the proprioceptive reflex independently of motor task requirements,” eLife,9:e52380, 2020.
[2] S. Ito, H. Gomi, “Online modulation of proprioceptive reflex gain depending on uncertainty in multisensory state estimation,” in Proc. The Society for
Neuroscience 49th Annual Meeting, 2019.

連 絡 先

連 絡 先

那須 大毅 （Daiki Nasu） 柏野多様脳特別研究室
Email: cs-openhouse-ml@hco.ntt.co.jp

伊藤 翔 （Sho Ito） 人間情報研究部 感覚運動研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

オープンハウス 2020

人間の科学

人間の科学

関連文献

オープンハウス 202043

巧みで素早い運動を支える脳の中の身体表現
データと学習の科学

データと学習の科学

ᵐᵗ

Uncertainty of hand-state estimate regulates stretch reflex

オープンハウス 2020
オープンハウス 2020

44

Environmental dependency in visuomotor responses

データと学習の科学

31

意識より賢い無意識
環境に応じた顕在・潜在的視覚運動応答の調節

コミュニケーションと計算の科学

どんな研究

人間が複雑で多彩な動きを行うことができるのは、外界の状況を理解し、意識的に運動を制御する情報処理能力が高いからであると考えがちです。しかし実は、巧みな運動は無意識的に制御されている部分も多く、どのような情報処理が無意識に行われているかを明らかにしていくことを試みています。

どこが凄い

姿勢安定性や視覚ノイズが異なる環境下で、視覚運動刺激に対して素早く対応する能力を随意・反射
応答について調べたところ、状況に適した調節ができるのは反射応答のみであることを発見しました。
このことは、無意識的処理が意識的処理よりも状況適応能力が高い場合があることを示唆しています。

めざす未来

感覚運動系における意識的情報処理と無意識的情報処理の異なる点を明らかにすることで、脳の情報処理のさらなる解明、通信・マンマシンインタフェースのデザイン、アスリートのトレーニングなどに活かしていくことをめざします。

日常における身体の動きと腕の制御⚫ 人は日常生活の中で、常に体を動かしながら、運動のための意識的・無意識的情報処理
知覚
意思決定

外界とのインタラクションを行っています。
⚫ コンピュータに比べて伝達が遅い脳神経系で、視覚

意識的情報処理
無意識的情報処理

運動

こうした巧みな動きを実現するためには、どのような情報処理が行われているのでしょうか。

従来、運動生成に使われる無意識的処理は、意識的処理よりも、素早く反応できるものの、環境・状況に合わせた調節機能は低いと考えられてきました。
本研究は、無意識的処理の方が、意識的処理と比較して、より賢く環境・状況を認識し、適切に応答を調節できる場合があることを明らかにしました[1]。

実験：視覚運動刺激に対する無意識な腕応答と意識的な応答における環境の文脈依存性
実験

実験設定

環境の文脈

反射応答の結果

メディアの科学⚫ 姿勢を揺らす・視覚運動ノイズを入れる、という「環境の文脈」を実験的に与える。
⚫ 視覚運動刺激に対する2種の応答を計測。
1. 反射応答（Manual Following Response：MFR）
2. 随意応答（Motion Direction Discrimination）
結果

1.反射：状況依存・合理的な調節を観察
2.随意：状況を無視した調節を観察
解釈
反射応答は、姿勢と視覚の動きを結び付けた賢い調節がされる一方、随意応答ではその結び付けができないことを示唆

反射応答の環境認識
スキーム

身体が揺れやすい環境 ⇒ MFR大身体の揺れに対して反射的に腕運動

外界が動きやすい環境 ⇒ MFR小軌道を修正するMFRの機能[2]と合致

人間の科学

関連文献
[1] N. Abekawa, H. Gomi, “Modulation difference in visuomotor responses in implicit and explicit motor tasks depending on postural stability,” in Proc. The
Society for Neuroscience 47th Annual Meeting, 2017.
[2] H. Gomi, K. Kadota, N. Abekawa, “Dynamic reaching adjustment during continuous body perturbation is markedly improved by visual motion,” in Proc.
The Society for Neuroscience 40th Annual Meeting, 2010.

NTT コミュニケーション科学基礎研究所
オープンハウス 2020 実行委員会

連 絡 先
五味 裕章 （Hiroaki Gomi） 人間情報研究部 感覚運動研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp（委 員 長） 亀井

オープンハウス 202045

オープンハウス 2020

剛次

（副 委 員 長） 安部川
（委

員） 大國

直稔
智樹／村松

純／上田

大志／澤山

正貴