マルチメディアシステム（対話システム）名古屋⼤学⼤学院情報学研究科
知能システム学専攻
東中⻯⼀郎
1

対話システムの概要
2

対話システムとは• 対話– 情報の授受を繰り返すこと– それにより外界に作⽤を及ぼすこと≒ 会話（但し対話システム研究者にとって会話のほうが雑談よりのニュアンス）• 対話システム：⼈間と対話するソフトウェア
⽂脈の存在が前提．⼊⼒は主に話し⾔葉••

⾃然⾔語インタフェース（⽂⇒SQL，⼀問⼀答）
対話型インタフェース（Unix shell など）
3対話システムの類型• タスクの有無（タスク指向型，⾮タスク指向型）• ⼈数（⼀⼈，⼆⼈，多⼈数）• モダリティ（テキスト，⾳声，タッチパネル，ジェスチャ）• 主導権（システム，ユーザ，混合主導）• ⾝体性（バーチャルエージェント型，ロボット型）
4

対話システムの意義• 複雑な情報を素早く，簡便に⼊⼒できる（任意の量の情報を任意の単位で伝えられる）• 両⼿がふさがっていても操作できる（⾳声の場合）• 使い⽅を学ばなくても使える（理想としては．実際はそうでもない）• エンターテイメント・教育（ゲーム・博物館の展⽰）• 会話訓練（語学学習者，⾃閉症患者など）

タスク指向
よりのメリット
⾮タスク指向よりのメリット• コミュニケーションパートナー（独居⽼⼈など）

⼯学の他，認知科学・⼈間科学への貢献も期待される
5

マルチモーダル（マルチメディア）の重要性
6

マルチモーダル対話• モダリティ理解– 顔の向き– 視線– ジェスチャー– 表情

https://www.youtube.com/watch?v=ejczMs6b1Q4• モダリティ⽣成– ジェスチャー⽣成– 視線
http://research.microsoft.com/en-us/news/features/situatedinteraction-040814.aspx

7状況依存対話• センサーを⽤いた状況理解– スマートフォンにおける対話• 位置情報– ⾞載対話• 位置情報– 店舗内対話• ⼈物の位置関係• 家具の位置– ゲーム• ボードの状態
8対話という現象
9

対話理論の構成
⼼理⾔語学・計算⾔語学
Clark, Traum, …

④共通基盤
対話とは共に創り上げること（共同活動として⽣じる構造）③談話構造

認知科学・⼈⼯知能
Allen, Grosz, Pollack,…
Grice「会話の含み」対話とは⽬標を達成すること（意図に基づく構造）②話者交代

社会学・⾔語学
Goffman, Schegloff,
Sack…

対話とは，やり取りを続けること（呼応に基づく構造）①発話⾏為
⾔葉で外界に作⽤すること（構造の単位）
60

70

⾔語哲学
Austin, Searle,….

研究されたおおよその年代

80

90

00

10

①発話⾏為• 「何かを⾔うことは何かをすることである」
私はこの船をメアリー号と名付ける

発語行為
発語内行為
発語媒介行為
間接発話行為しゃべる，板書する
依頼する，約束する
笑わせる，脅す（相手の捉え方による）「とれる？」≒「とって」 [Searle 79]
11

②話者交代• 対話：ターンの繰り返し（作業仮説）• ターン：1⼈の話者が話している区間-0.5 〜 0.5 s 程度

休⽌

交替潜時ターンAB

あのっさぁ

晩ごはんなにがいいかな カレーとかかなん

相槌はターンを形成しない．
Bによるターン取得を辞退し，Aにターン継続を促す役割．

発話単位

うん カレーにしよう
移⾏適格場所（Transition Relevance Point）

ターン
12話者交代における現象• バックチャネル– 発話中の話し⼿へ肯定的・⽀持的な即時的応答• 相槌もバックチャネルの⼀種• ターンを奪取しない• バージイン
– 発話中の話し⼿への聞き⼿からの割り込み• 相槌はバージインとは捉えない• ターンを奪取する– ⾳声インタフェースにおける概念（提唱者不明）
13

③談話構造談話セグメント（対話の⼊れ⼦構造）
品川で個室がある沖縄料理店を教えて副対話

個室がある沖縄料理店は 1軒あります
残念ながら今⽇は定休⽇です

五反⽥は？

副対話

五反⽥には 2軒あります
お店の情報を読みあげましょうか？
14

main

Groszの談話構造
28

2.

対 話 の モ デ ル• ＜⾔語構造，注意状態，ユーザの意図構造＞– ⾔語構造はユーザの意図構造に従う– 注意状態は現状の話題を管理(a)

ユーザが U1 を発話したときの談話状態

⾔語構造（談話セグメント）

注意状態（焦点空間スタック）

意図構造（⽀配階層）
個室のお店を予約
沖縄料理

品川

(b)

五反⽥

ユーザが U2 を発話したときの談話状態※ DSP: Discourse Segment Purpose

図 2.2

言語構造，注意状態，意図構造

出典：「対話システム (自然言語処理シリーズ)」（コロナ社，2015年） p28 図2.2より引用
その下で「沖縄料理店を見つける」ことをつぎに高い優先順位を持つ下位の目

15④共通基盤• 共通基盤は共同活動により構築される• 対話は⼆重構造になっている
Aが知っていること

共通基盤

Bが知っていること

メタコミュニケーション（付帯的コミュニケーション）
コミュニケーション

コミュニケーションについての対話

対話の⽬的についての対話
対話の⽬的

16

対話システムの構成
17

タスク指向型対話システムの構成

⾳声認識

⾔語理解

対話管理状態
更新

ユーザ
内部状態⾳声合成

⾏動
選択

アプリDB／
バックエンド
サービス

⾔語
⽣成

18

雑談対話システムの構成
ルールベース<category><pattern>お酒 * 飲め * か</pattern><template>お酒好きです</template></category>
コスト× 質◎抽出（選択）ベース
リプライ
元気？？

元気いっぱいだよ

関連度：高入力：元気ですか？

コスト◎ 質△生成（深層学習）ベース

抽出

出力：元気いっぱいだよ

理解・生成に基づく手法

入力：こんにちは

対話
データ

コスト○ 質○

エンコーダ
デコーダ
出力：こんにちはー

コスト○質○
19

BlenderBot（1/2）
System: Do you have any hobbies that you like to do in your sparetime? I like to play video games.
Enter Your Message: I love detroit become human!
System: Detroit Become Human is a great game. Have you played itbefore?
Enter Your Message: no
System: I highly recommend it. It's one of the best games I've played ina long time.
Enter Your Message: what did you like about it?
System: I really liked the story and the choices you had to make. It wasa lot of fun.
Enter Your Message: what is your favorite character?
System: I really enjoyed playing as Connor. He was a great protagonist.
How about you?
Enter Your Message: I like Kara.
System: I liked Kara as well. She was a very interesting character. Iliked that she was a reporter.

20

BlenderBot （2/2）

https://ai.facebook.com/blog/state-of-the-art-open-source-chatbot/

21

対話システムの評価• ユーザ評価– ユーザに会話をしてもらいアンケート評価– コストは⾼いが信頼性は⾼い• ⾃動評価
– 所定のデータセットに対する応答性能を評価– コストは低いが信頼性は低い– BLEU, distinct など• シミュレーション評価– シミュレーションユーザとの対話– 応答アルゴリズムの理論的側⾯を確認
22

ユーザ評価• 実ユーザに対話システムと会話をしてもらいシステムの評価を⾏う• 評価の形態– ラボ評価– フィールド評価• 評価指標– 客観評価指標– 主観評価指標– ⾃動評価23チューリングテスト
システム

25分間
チャット難しい！

ユーザ

⼈間

チューリングテスト

⼈間・システムの両⽅と相⼿が分からない状態で会話をした時，どちらが⼈間か分からなければシステムに知性があると判定するテスト [Turing50]

チューリングテストの⼀つである
ローブナー賞での結果は⼈間側の圧勝
24

倫理的課題• 対話システムの特徴– ユーザに直接的に働きかけることが可能– ユーザへの影響が⼤きく倫理的配慮が重要• 主な観点– 発⾔の内容• 誤情報，不要な宣伝，ヘイトスピーチ– プライバシーの保護• 発話・⾳声・画像データ，個⼈情報に基づく発話• 利⽤⽬的の明⽰が必要– ⼈体への影響• 精神的負担25