Augmented Human Communication Lab

コミュニケーション
支援技術の研究中村研に入りませんか?
研究室を探しています？

～コミュニケーションを強化する～
人のコミュ二ケーション能力の強化を目指し、多言語音声通訳、機械翻訳、音声対話システム、

2019/5/20 利用者に適応した超音声認識/音声合成、コミュニケーションに関わる脳活動計測・解析・応用の研究を実施、また、2017年よりデータ駆動型サイエンス創造センターを統括しています。

/14

2019/5/20

6 ,D: 17 , M2: 17

D: 3; M: 9

D: 8; M: 6

2019/5/20:1, M1:10

D: 1; M: 6

D: 5;
M: 6

Professor Nakamura Satoshi

2019/5/20

日本における音声翻訳の歴史
1986

1992

NAIST

1999

2006

2008

ATR

ATR

NICT

読み上げ音声

簡単な会話

より広い話題多言語

超多言語
社会サービス• Syntactically correct• Clear utterance• Limited domain
Ex. “ConferenceRegistration”• Standard expression• Unclear utterance• Limited domain
Ex. “Hotel Reservation”

ATR•21 multilateral text translation VoiceTra• Wider and real domain“International Travel”
A-STAR• Realistic expressions• Noisy speech• J-E, J-C speech translation • Multilateral translation for 8 Asian languages• Network-based S2ST

C-STAR

要素技術• Multilateral translation for 7 world languages

IWSLT

2019/5/20

2011• Evaluation Campaign of S2S technologies

コーパスベース翻訳
ルールベース翻訳
ハンドメイド2010

大規模コーパス+ 機械学習次世代音声翻訳の研究（科研費

基盤S)

雑音源、音響特性
課題１：自動音声同時通訳と音声翻訳の高度化音源推定
雑音抑圧

常時・同時複数
話者音声認識

同時
言語翻訳

パラ言語
情報抽出

同時パラ言語翻訳

同時パラ言語
音声合成

字幕生成

課題２：パラ言語音声翻訳
発話顔画像抽出、３Dモデル

同時
音声合成

発話顔
画像変換

発話顔画像制御、生成

課題３：ビデオコンテンツ字幕翻訳，音声画像翻訳

課題4：脳活動を含むセンシングによる実時間
コミュニケーション測定
視線検出装置Tobi，モバイル心拍計，32ch脳波計を用いて同時通訳作業時，および同時通訳ユーザの聴取負荷の測定を行う．

課題５： コーパス構築とプロトタイプシステム
400時間以上の研究用の日英双方向同時通訳コーパス，およびビデオ翻訳コーパスを構築する．

次世代音声翻訳システムのプロトタイプを構築する．研究代表者，分担者の大学の講義，講演，会議の同時通訳とアーカイブ翻訳に適用し，評価，コーパスとしての蓄積，モデルの学習，改良を継続的に行う．

/42

理研 観光情報解析チーム
IoT2H: センシング情報をリアルタイムに言語化
金閣寺が混雑しています。

リアルタイムビーコン

何が起こっているの？!

寺社仏閣
ビーコンレストランチャットボット

電車

ホテルビー
コン

ビーコン

バス
買い物

病院

IoT，ソー
シャル情報

言語化

ヒトに繋ぐ観光地混雑

京都の多様な観光情報

深層学習 画像キャプション付与
image2cap のアイデアを発展！
IoT2H はIoTと人間をつなぐ技術

2019/5/20

Satoshi NAKAMURA@AHC,NAIST

8/42

Associate Professor Katsuhito Sudoh

74

72a

A long rectangular oil strainer 74 is fitted within thegrooves 72a in a substantially vertical posture.
2019/5/20

あなたも外国人と喋れる！
～機械翻訳・言語理解の挑戦～
NAISTへようこそ!!

NAISTへようこそ!!

Welcome to NAIST!!

より良い翻訳とは…
・短い処理時間・正しい翻訳結果
・多くの言語に対応

私たちは，世界中の誰とでも話せる未来を目指し，これらの問題に取り組んでいます．

機械翻訳

機械生成文の評価方法 (准教授 須藤 克仁)

etc.

高品質な雑談応答の生成 (中村 良)

ニューラル機械翻訳の同時通訳への適用 (帖佐 克己)

端子は互いに接触しないように配置されている
Terminals are placed not to be
in contact with each other.

読めるけど意味が逆…
誤解シテシマイマスネ…

誤解を招く
リスクに着目文の意味を考慮した自動翻訳評価 (高橋 洸丞)
原文俄罗 斯可以宣布 胜利了正解訳文
Russia candeclarevictory

機械翻訳文
Russia could claim
a victory of sorts

機械翻訳文の意味の整合性を評価

過去の研究
テーマ：

翻訳までにかかる時間を減少

文章スタイルの自動変換 (二又 航介)

意味論的一貫性を考慮した文の符号化 (石橋 陽一)

スタイル(Positive)
The chicken was delicious.
スタイル(Negative)
The chicken was Terrible.

発話内容に任意のスタイルを適用

同じ意味なら同じ分散表現として符号化

・音声認識と機械翻訳の同時最適化
・同時通訳の評価尺度
・単語対応を考慮した同時音声翻訳の文分割
・機械翻訳の高精度化・軽量化
・機械翻訳の誤り分析・常体から敬体への翻訳
・構文情報に基づく翻訳の前処理 ・構文解析器の自己学習
・中間言語を用いた多言語翻訳
・欠落のあるコーパスからの他言語翻訳
・ニューラル機械翻訳の高効率化 ・自動プログラミング
・OJSデータを用いたプログラムの効率性予測

Assistant Professor Koichiro Yoshino

Web

→



2019/5/20

2

1

音声対話グループ- 対話を通じたユーザとの共生・協働を目指す 理解
音声認識・パラ言語
認識 (SP, CC)

認識理解
言語処理 (NL)

制御
生成
言語処理 (NL)

行動

音声合成・パラ言語
行動 (SP, CC)

理解とは何か?
• 発話内容の基盤化• 対話行為の付与• 対話からの知識抽出• 知識ベースの拡張• 事態間知識の利用・汎化

制御

生駒周辺のイタリアン
DA: questionDomain: restaurant{
type=Italian, …}

システムをどのように実現するか?
• 強化学習による行動選択• 様々な情報の利用:
事実, 嘘, 感情, タスク達成率
同調, 矛盾, etc• 強化学習のアルゴリズム• 対話システムの評価

生成

観測

D 村瀬

M 池内

M 田中

M1

D TungM 浅井D 河野

M1

D 杉山

M 隆辻

M Mai

M1

さきがけ: 漸進的な言語理解・知識獲得確認?
感情を使う?

AP 吉野
質問?

ユーザの行動変容

生駒には3件イタリアンユーザへの働きかけがあります。他の条件は• 言語・パラ言語応答の生成:ありますか?
制御の出力, コンテキスト,個人性, etc
観光シーズンなの• 画像を用いたインタラクション で清水寺はとても混んでいます。
• End-to-Endによる情報蒸留

D 品川

AIP: 観光情報解析

Assistant Professor Hiroki Tanaka

2019/5/20

認知コミュニケーション班
心理・認知状態の推定

進行中の研究テーマ
コミュニケーションスキルの訓練

コミュニケーション同時通訳者の脳波を計測

精神状態推定システム（自閉症・認知症）
コミュニケーションスキル訓練の自動化（認知行動療法、SSTを参考）
マルチモーダル情報を解析：
音声、画像、視線、行動、脳波

対人間対システム
助教
田中 宏季

D3
矢倉 晴子

 同時通訳中のワーキングメモリに関する認知機能を脳波を用いて定量化

脳波

顔・視線

音声

脳波を用いた文中の誤り単語の検出
音声
太郎はりんごを食べた

自動評価・フィードバック（医療システム、認知行動支援）

過去の研究テーマ

太郎はりんごを走ったM2
本村 駿乃介• 生活習慣からのうつ傾向の予測

脳波

正文

音声刺激

誤り文

応用先:
機械出力文の自動評価，対話システムの行動選択

2名同時計測された脳波による共感の計測

M2
木下 泰輝

共感計測

合成音声の品質推定

評価値の予測M1
Ivan Halim P.

応用先:
合成音声の客観的な品質評価

テンソル分解を用いた観光情報解析

脳波の計
測
脳活動の同期

脳波信号

実験協力者

予測音声文を聞いた時の脳波を機械学習モデルにより，正文と誤り文のどちらを聞いていたのか予測• 脳波を用いた音声認識技術の開発• 質問への応答からの認知症検出

合成音声の品質スコアの予測
合成音声

場所

種々のモダリティ
情報から状態推定+ ・・・ +

統計分析
共感の計測

応用先:
人工エージェントに対する人間の共感を計
測

M2
久保 基

観光情報

テンソル分解移動経路や人気スポットの傾向

多様な(=高次元)観光情報にテンソル分解を適用し，観光客の移動経路や人気の観光スポットの傾向を分析

Associate Professor Sakriani Sakti
1995-1999(BSc)

2000-2002(MSc )

2005-2008(Dr.-Ing)

1999 – 2000
2001 – 2002

Sumarno Pabotingi ,2003 – 20092006 – 20112009 – 2011
2011 – 20172015 – 20162018 – Now

ATR

2000 – 2002
2019/5/20

NICT

INRIA

Siemens-DAAD

ASIA 21st Century

音声信号処理とその応用～ 話し言葉を認識できるマシンを作りましょう ～音声認識と音声合成

スピーチチェーン

深層学習を用いた音声波形からの音声認識
今日は暑いです!

Marco Vetter
柳田 智也
(DC)
(DC)
[語彙発見][インクリメンタル音声合成]

Andros Tjandra (DC)
[スピーチチェーン]

Wu Bin(DC)[ゼロリソース音声認識]

動画を用いたリアルタイム音声認識
音声を認識してテキストを出力する!

リアルタイムな音声合成

Mayuko Okamoto(MC)[エントレインメント
音声合成]

音声翻訳のための多言語音声認識

Kazuki Tsunematsu(MC)[音声予測]

ꦱꦸꦒꦌꦚꦁ

Sahoko Nakayama(DC)[コードスイッチング
スピーチチェーン]Sashi Novitasari(MC)[インクリメンタル音声認識]

人間の認知機能を音声認識へ

マルチモーダルな非言語情報の認識とモデル化

Nurul Fitria Lubis (D-OB)[感情対話]

ゼロリソース
スピーチチャレンジ

音声翻訳

感情分析と嘘検出

強調、抑揚、声の高さのような非言語情報を含む翻訳

観光情報分析

Do Quoc Truong (D-OB)[非言語情報の音声翻訳]

叶 高朋(DC)[音声から音声への直接翻訳]

Johanes Effendi The (DC)
[マルチモーダル翻訳]

Michael Heck (AIP-OB)[マルチモーダル表現学習]

Fan Yang (DC）
[映像認識]