論文 / 著書情報
Article / Book Information
論題(和文)

対話システムライブコンペティションから何が得られたか

Title(English)

What Did We Learn from the Dialogue System Live Competition?

著者(和文)

東中 竜一郎, 船越 孝太郎, 稲葉 通将, 角森 唯子, 高橋 哲朗, 赤間 怜奈,
宇佐美 まゆみ, 川端 良子, 水上 雅博

Authors(English)

Ryuichiro Higashinaka, Kotaro Funakoshi, Michimasa Inaba, Yuiko
Tsunomori, Tetsuro Takahashi, Reina Akama, Mayumi Usami, Yoshiko
Kawabata, Masahiro Mizukami

出典(和文)

人工知能, Vol. 35, No. 3, pp. 333-343

Citation(English)

Journal of the Japanese Society for Artificial Intelligence, Vol. 35, No. 3,
pp. 333-343

発行日 / Pub. date

2020, 5

Note

ここに掲載した著作物の利用に関する注意 本著作物の著作権は人工知能学会に帰属します。本著作物は著作権者である人工知能学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」に従うことをお願いいたします。
Notice for the use of this material. The copyright of this material isretained by the Japanese Society for Artificial Intelligence (JSAI). This
material is published on this web site with the agreement of theauthor(s) and the JSAI. Please be complied with Copyright Law ofJapan if any users wish to reproduce, make derivative work, distributeor make available to the public any part or whole thereof. All Rights
Reserved, Copyright (C) The Japanese Society for Artificial Intelligence.

Powered by T2R2 (Science Tokyo Research Repository)対話システムライブコンペティションから 何が得られたか

333「AI コンペティション」

対話システムライブコンペティションから何が得られたかWhat Did We Learn from the Dialogue System Live Competition?
†1

東中 竜一郎

日本電信電話株式会社 NTT メディアインテリジェンス研究所

Ryuichiro Higashinaka

NTT Media Intelligence Laboratories, NTT Corporation
ryuichiro.higashinaka.tp@hco.ntt.co.jp†2

船越 孝太郎京都大学

Kotaro Funakoshi

Kyoto University
funakoshi.k@i.kyoto-u.ac.jp

稲葉 通将

電気通信大学Michimasa Inaba

The University of Electro-Communications
m-inaba@uec.ac.jp

角森 唯子（株）NTT ドコモ

Yuiko Tsunomori

NTT DOCOMO INC.
yuiko.tsunomori.fc@nttdocomo.com

高橋 哲朗（株）富士通研究所

Tetsuro Takahashi

Fujitsu Laboratories, LTD.
takahashi.tet@jp.fujitsu.com

赤間 怜奈

東北大学，理化学研究所

Reina Akama

Tohoku University / RIKEN AIPreina.a@ecei.tohoku.ac.jp

宇佐美 まゆみ

国立国語研究所

Mayumi Usami

National Institute for Japanese Language and Linguistics
usamima@ninjal.ac.jp

川端 良子

（同

上）

Yoshiko Kawabata

kawabata@ninjal.ac.jp

水上 雅博

日本電信電話株式会社 NTT コミュニケーション科学基礎研究所

Masahiro Mizukami

NTT Communication Science Laboratories
masahiro.mizukami.df@hco.ntt.co.jp

Keywords: dialogue system, chat-oriented dialogue system, evaluation, competition.

1．は じ め にる [東中 19a]．
表 1 は対話システムに関する主なコンペティションをまとめたものである．軸は二つある．一つは対象とする工学の分野では多くのコンペティションが開催され，対話システムの種類である．対話システムは，所定のタそれによって進展がもたらされてきた．そして，それはスクを遂行することを目的とするタスク指向型対話シス

対話システムにとっても同じである．特に，近年は対話

テムと，所定のタスク遂行が主な目的ではない非タスクシステムに関わるコンペティションが多く開催されてい指向型対話システム（雑談対話システム）に大別されるが [中野 15]，表ではこの分類を用いている．もう一つは，†1 2020 年 4 月より，名古屋大学大学院情報学研究科．
†2 2020 年 4 月より，東京工業大学科学技術創成研究院未来産業
技術研究所．

評価形態である．対話システムの評価の仕方には，オフ
ライン評価とオンライン評価がある．前者は，固定的なデータセットを対象に，対話システムの特定のモジュー人 工 知 能334
表1

対話システムに関する主なコンペティション
オフライン評価

タスク指向型
対話システム

非タスク指向型
対話システム（雑談対話システム）

オンライン評価

・ Dialogue state
tracking challenge（DSTC）

・ DiaLeague
・ Spoken Dialogue
Challenge

・ 対話破綻検出
チャレンジ（DBDC）・ NTCIR Short
Text Conversation（STC）

・ ローブナー賞
・ Amazon Alexa
Prize・ Conversational
Intelligence
Challenge
・ 対話システムライブ
コンペティション

35 巻 3 号（2020 年 5 月）

点をコミュニティ全員で共有できるということだ．これにより，対話システム研究が抱える多くの課題の中で本当に着手すべき課題にコミュニティが一丸となって取り組める可能性が高まる．
本稿では，これまでに二度実施してきたライブコンペの仕様，結果や得られた問題意識について述べる．また，ライブコンペに関連するイベントとして開催した，対話システムライブコンペ講習会と日本語教育学会におけるパネルセッション [宇佐美 19] についても触れる．

2．対話システムライブコンペティション 1
ル（例えば，発話理解や発話選択）の性能を測る．例えば，対話文脈とその文脈で得られるべきユーザ意図が対

第 1 回対話システムライブコンペティション（ライブになったデータセットが与えられ，対話文脈からユーザ

コンペ 1）は第 9 回対話システムシンポジウム（2018

意図を推定する精度で競ったり [Henderson 14]，対話文

年 11 月 20 〜 21 日）の 1 セッションとして開催された．

脈と複数のシステム発話候補が対になったデータセット

対話システムシンポジウムとは，本学会の言語・音声理が与えられ，所定の文脈で複数の候補から妥当なシステ

解と対話処理研究会（SIG-SLUD）が 2010 年から年にム発話を選択する精度を競ったりする [Hori 19]．後者

一度開催している，国内の対話システム関係者が一堂にのオンライン評価は，対話システムの End-to-End の性会するイベントであり，ライブコンペの趣旨に鑑みて最能を測るもので，ユーザとシステムが実際に対話を行い，適な場である．以下，ライブコンペ 1 について紹介する．

主に主観により対話の質を評価する．

詳細はオーバビュー原稿 [東中 18, Higashinaka 19c] をオフライン評価は，パラメータをいくつも振って最適参考にされたい．

化を図ることができるなど，多くのアルゴリズムを効率的に試すことができるというメリットがある．しかし，

2·1

仕

様

切り取られた一部の対話文脈しか扱うことができないと§ 1 対象とする対話システム

いうデメリットがある．オンライン評価はその裏返しで，対象とする対話システムは非タスク指向型対話システ

ユーザとシステムの発話によってつくられていくダイナ

ムとした．タスク指向型対話システムはバックエンドのミックな文脈を扱うことができるというメリットがあ

知識源（レストランのデータベースなど）が必要となりる．しかし，人手による評価が必要となり，コストがか

準備コストが高いこと，また，非タスク指向型対話シス

かるというデメリットがある．

テムは基礎的研究の段階であり，企業・大学問わず参加

著者らが提案・実施してきた，対話システムライブコ

しやすいと考えられることから，このように設定した．

ンペティション（以降，ライブコンペ）は，非タスク指§ 2 評価尺度

向型対話システムを対象としたオンライン評価を行うコ「どのくらいまた話したいと思うか」という一つの軸

ンペティションである [東中 18, 東中 19b, Higashinaka

で評価することにした．非タスク指向型対話システムに19c]．これまでにも，表 1 で同じ象限に含まれるコンペ

望まれる要素として，少なくとも対話を継続することがティションはなかったわけではない．しかし，ライブコ

重要だと考えたためである．5 段階のリッカート尺度でンペにはこれまでのものとは異なるポイントがある．そ評価する．これは，Amazon Alexa Prize＊1 と同様である．

れは，対話のダイナミックさにフォーカスしていること，§ 3 対話システムの要件

そして，対話システム研究のコミュニティの問題意識に

Telegram＊2 と呼ばれるメッセージングプラットフォー

働きかけるということである．

ム上でボットとして動作することを要件とした．これは，先ほど述べたとおり，対話とは発話ごとに状況が刻々

Conversational Intelligence Challenge [Dinan 19] と同と変化していくダイナミックなプロセスである．そのダ様である．Telegram は API が充実しており，ボットのイナミックさを対話システムの研究者・開発者が体感で構築が容易である [東中 20]．

きるコンペティションをつくろうと考えた．具体的には，システムはテキストのみで対話することとし，絵文字，

対話システムと人間の話者の対話を，それがあたかもラ

顔文字，スタンプの使用は不可とした．また，システム

イブコンサートであるかのように，研究者・開発者全員

は 1 ターンで 1 発話のみを行うこととした．対話はシスでライブで鑑賞し，その良し悪しを評価するということ

テム発話から始まり，16 ターン目でシステムから対話を考えた．それがライブコンペという企画である．
全員で同じ対話を鑑賞するということは，対話システ
ム研究にとって大きな意味がある．それは，現状の問題＊1 https://developer.amazon.com/alexaprize＊2 https://telegram.org/

対話システムライブコンペティションから 何が得られたか
表2335

ライブコンペ 1 における各システムの手法．
方式はルールベース，抽出ベース，生成ベースの中から，知識源は，大規模テキストデータの利用，知識ベースの利用，対話データの利用の中から該当するものを参加チームが選択した．学習手法については，機械学習を用いていない場合は N/A としている
方

式

抽

出

順位

チーム名

1

NTTdocomo

✓

2

NTTCS

✓

3

teamzunko

✓

4

IRS

5

TEAM1

✓

6

TEAM2

✓

7

TEAM3

✓

✓

8

TEAM4

✓

✓

✓

ルール

知識源
生

成

テキスト

✓

対

KB

✓

話

学習手法
Other

✓

✓

✓

CRF，SVM

✓

✓

✓

RNN

✓

✓

N/A

✓

✓

N/A

✓

✓

✓

CNN，RNN

✓

✓

CNN

✓

RNN

9

RSL

10

TEAM5

✓

✓

N/A
RNN

11

TEAM6

✓

✓

Transformer

を終えることとした．16 ターンという対話の長さについては，現状の対話システムの性能に鑑み設定した．
§ 4 実施の形態

現状の問題点をコミュニティで共有するためには，現

時点でなるべく高性能な対話システムを選定する必要がある．そこで，予選を実施することにした．予選はクラ

ウドソーシングを用いて行い，勝ち抜いた上位のシス

テムが対話システムシンポジウムにおけるライブイベン



＊3

トで人間の話者との対話を披露できることにした．


 






§ 5 情報公開のポリシー
企業からの参加をしやすくするために，予選を通過したチームのみ，組織名などの情報を公開することにした．

図1

ライブコンペ 1 の予選の結果．スコアは低いほうが良い

その他のチームについては希望者のみ公開することにし旅行についての雑談が可能なシステム，大規模テキスト

た．

から得られた知識を用いオープンドメインの雑談を行う
2·2

予

選

システム，複数のデータベースおよび深層学習に基づく

2018 年 9 月 30 日のエントリ締切までに，12 チーム

発話生成を組み合わせたシステムであった．予選を通過（オーガナイザの 1 チームを含む）がエントリを行った．

したチームはいずれも，ルール，生成，知識源などの組

その後，疎通確認ができた 11 チームについてクラウド合せを行っており，対話データに基づく生成モデルのみ

ソーシングによる評価を実施した．クラウドワーカ（最を利用したチームは順位が低かった．参加チームの手法

大 30 名 ）が各対話システムと対話し，「どのくらいまについては表 2 を参照されたい．

＊4

た話したいと思うか」について評価した．平均スコアの上位 3 チームがライブイベントに進出した．予選のスコ

2·3

ライブイベント

アは図 1 のとおりである．ここで，スコアは 1 が最も良

対話システムシンポジウムでは，予選上位 3 チーム

く，5 が最も悪いことに注意されたい．TEAM 1-6 は組

が人間の対話者と二度ずつ対話した．対話者は本学会

織名非公開のチームを示す．

言語・音声理解と対話処理（SLUD）研究会主査およ

予選に勝ち残ったチームは NTTdocomo，NTTCS，および，teamzunko であり，それぞれ状態遷移ベースで＊3 https://crowdworks.jp/＊4 30 人のクラウドワーカに評価を割り振ったが，クラウドソー
シングの特性上，評価に問題があるケースがあり，それらを排除した結果 30 人未満の評価になった場合があったため，最大30 名と記載している．

人 工 知 能

336

図2

図3

35 巻 3 号（2020 年 5 月）

システムと対話者が対話する様子

参加者が対話を鑑賞・評価している様子

びオーガナイザが選定した COI の認められない対話研究者である．対話順はくじ引きで決定した．図 2 はシ ス テ ム と 対 話 者 が 対 話 し て い る 様 子 で あ る． 図 3
は参加者が対話を鑑賞・評価している様子である．これ
らの写真からもわかるとおり，大勢（100 人超）の参加者が同じ対話をライブで鑑賞・評価した．評価軸は，予図4

SLUD 研究会主査（当時）の伝 康晴氏と NTTCS のシステ
ム（tripfreak）との対話．
U はユーザ，S はシステムを表す．〇△×のカラムは，評価者が付与した発話ごとの評価値の割合（それぞれ Good，どちらでもない，Bad に対応）を示す．「/start」は対話の開始を表すコマンドである

2·4

課

選と同様，
「どのくらいまた話したいと思うか」である．
参加者は，16 ターンからなる一連の対話の後すぐに
Google Form を用いて評価値を投入した．この際，発話ごとに Good，Bad，どちらでもないの 3 段階の評価も
投入した．

題

ライブイベントにおける評価の結果は，NTTCS が 2.81

ライブで対話を鑑賞・評価し，対話システム研究者は（1 回 目：2.69，2 回 目：2.93） で 1 位，NTTdocomo

何を課題と感じ取ったのだろうか．この調査のため，ラが 3.06 点（1 回目：3.18，2 回目：2.95）で 2 位，teamzunko

イブイベントの事前と事後に，現状の対話システムの課

が 3.48 点（1 回目：3.58，2 回目：3.40）で 3 位であっ題は何だと思うかについてのアンケートを取っている．

た．いずれのスコアも約 100 名の評価値の平均である．

このアンケートでは，対話システムの課題 30 項目（オーNTTCS のシステム [杉山 18] は，旅行というドメイン

ガナイザが対話研究者にヒアリングを行い列挙したもにユーザを引き込み，細かく定義された状態遷移に従っの．表 3 参照）のうち，特に重要だと思う 5 項目を選択して，かみ合った雑談を実現していた点が評価された．そてもらった．ライブイベントの前後で同じアンケートをの他のシステムは，オープンドメインを志向していたこ行うことによって，ライブイベントが対話研究者にどのともあり，ユーザの自由発話に対応できない局面も見らような問題意識をもたせたのかを見て取ることができる．

れ，対話破綻 [Higashinaka 16] の状況に陥ることがま

ライブイベント後のアンケートで最も重要だと思われまあった．図 4 は NTTCS のシステムの対話（1 回目）

た課題の上位 10 件は表 4 のとおりであった．各項目にである．少し長いがどのような対話が行われたかが具体

ついてライブイベント前の順位も掲載している．ライブ

的に理解しやすいと思われるので全文を掲載する．

イベント前は「発話内容が文脈に沿っていない」が最も対話システムライブコンペティションから 何が得られたか
表3
観

337

対話システムの課題 30 項目．
課題は八つの観点から整理されている

点

課

題

1．対話の意義

対話の目的が不明確システムの意図が不明確

2．話題

広い話題に対応できない

適切な話題遷移がで
きない

3．知識

常識が欠如している

社会性が欠如している

環境（対話している
季節や時間など）の理解が欠如している

事実と異なる情報を伝える

4．ユーザ適応・個性

ユーザに応じた応答ができていない会話を進めてもシス
テムとの関係性が変わらない

過去のやり取りを活用できていない

キャラクタ性がない／一貫性に欠ける

5．発話理解発話内容の理解能力が低い／浅い感情の理解能力が低い

質問に答える能力が低い

6．発話生成日本語として不自然な文を生成する

発話内容が不明瞭／
不明確

発話内容が文脈に沿っていない同じ内容を繰り返し生成する

7．その他の機能

適切な主導権の交代ができない

対話破綻から適切にリカバリできない

どのような会話をシステムができるのかが不明確

言語以外の入出力に対応できない8．ビジネス · 開発面

構築コストが高い

ビジネスモデルが不明確

品質評価が困難

表4

ライブコンペ 1 後に参加者が重要と考えた対話システムの課題上位 10 件．
ランキングの変化とは，ライブイベントの前後で課題の順
位がどのように変動したかを示している




















¡¢£¤¥¦§¨©ª«¬®¬¯°±¡²³´²²­µ¶¯·¬¸¹º»­»¢£¤¥¦§¨¢£¤¥¶¼¥


½







対話から有益な情報が得られない対話に面白さがない

発話に含まれる情報
が古い自身の発話と矛盾した発話を生成するの 1 セッション（初日の午後）として開催された．
ライブコンペ 1 で志向していた雑談対話システムは
とにかく話し続けたくなるというものであったが，対話における人間らしさ（特に，人間はシチュエーションに
よって言語運用が大きく異なる点に対する考慮）を置き忘れているのでは，という指摘が人文系の研究者からあ­

り，特定のシチュエーションにおいて人間らしい対話が

できたかどうかで評価する「シチュエーショントラック」





を新設した．これに伴い，従来のライブコンペ 1 の内容­

は「オープントラック」という名前とした．以下，ライ







¾¥







ブコンペ 2 について述べる．詳細はオーバビュー [東中19b] を参照されたい．
3·1

仕

様

¡»

オープントラックの仕様は前回と同じとした．新設し½

たシチュエーショントラックの仕様は基本的にオープントラックのもの（ライブコンペ 1 の仕様）と同じである
が，以下の点において違いがある．

重要な課題と認識されていたが，ライブイベント後は「発● 評価尺度として「どれくらい（シチュエーションに話内容の理解能力が低い／浅い」が 1 位となっている．

適した）人らしい会話か」を用いる．評価は 5 段階

その他，
「適切な話題遷移ができない」や「質問に答えのリッカート尺度で行う．シチュエーションとしてる能力が低い」が上位に見られ，対話における基本的なは，図 5 に示すものを用いる．

理解・応答性能についてまだまだであるとの認識が共有されたと考えられる．

● テキスト以外に，絵文字・顔文字も使用可能とする．

絵文字・顔文字は人間どうしのテキストチャットではよく用いられており，使用不可とすることは人間

3．対話システムライブコンペティション 2

らしい対話を志向するうえで自然ではないと考えたからである．

ライブコンペ 1 では対話システムにおけるさまざまな

シチュエーショントラックでは，人間どうしの関係性，

課題が明らかになったこともあり，第 2 回（ライブコン

対話が発生する場所・時間，話題などが設定されており，

ペ 2）を企画・実施した．ライブコンペ 2 は第 10 回対

その中で人間どうしが行うような対話を実現できるかを話システムシンポジウム（2019 年 12 月 2 〜 3 日開催）

競う．

人 工 知 能

338






35 巻 3 号（2020 年 5 月）










図6



ライブコンペ 2（オープントラック）の予選の結果．
スコアが大きいほうが良い






図5

シチュエーショントラックにおいて設定したシチュエー
ション





3·2

予

選




エントリの締切は 2019 年 10 月 1 日であった．この期日までに，オープントラックには 9 チームが，シチュ
エーショントラックには 7 チームがエントリした（それぞれオーガナイザのチームを含む）．オープントラックは 9 チームすべてが疎通確認でき，クラウドソーシング

図7

ライブコンペ 2（シチュエーショントラック）の予選の結果．
スコアが大きいほうが良いによる予選に進んだ．シチュエーショントラックでは，
1 チームの疎通確認ができなかったため，6 チームがクムであった．これは，ライブコンペ 1 でルールベースのラウドソーシングによる予選に進んだ．

NTTCS が 1 位となったこと，また，対話をなるべくか

ライブコンペ 1 では，最大 30 名のクラウドワーカにみ合うものにするために，手作業によるチューニングがより評価を行ったが，対話システムの評価は主観要素が必要と考えたためだと考えられる．なお，
オープントラッ強く，より多くの評価者で評価することが望ましいと考クにおいては抽出ベースや生成ベースのシステムのエンえたことから最大 50 名による評価を行った．

トリも見られたが，いずれも予選を通過できなかった．

予選の結果は図 6 および図 7 のとおりであった．なお，

現状で，対話として成立するためには，ルールベースのライブコンペ 1 では，スコア 1 を「最も良い」としていシステムが中心といえる．参加チームの手法については

たが，わかりにくいとの声もあり，ライブコンペ 2 では，

表 5 を参照されたい．

5 を「最も良い」，1 を「最も悪い」としている点に注意
されたい．

3·3

ライブイベント

オープントラックでは，昨年優勝した NTTCS のシス

ライブイベントでは予選を通過したシステムが人間の

テムが 3 位となった．その上に TokoChanTeam と UEC

話者と対話し，会場の参加者が評価を行った．シチュエー（Tripia）が同スコアで入った．これらの 3 チームは他

ショントラックが新設された影響により，各システムとのチームと点差が見られることから予選通過とした．

人間の話者の対話は一度ずつとなった．

シチュエーショントラックでは，OUHRI が 1 位とな

まず，オープントラックの対話がライブで披露され，り，次いでオーガナイザによるルールベースのベースラ

その後，シチュエーショントラックの対話が披露された．

イン，そして，NTTCS ＊5 という順位となった．これら参加者は，対話を鑑賞し，対話システムの各発話およびの 3 チームを予選通過とした．

対話全体について Google Form を用いて評価した．評各システムの特徴を分析したところ，知識源に多少の価軸は，オープントラックでは「どのくらいまた話した違いはあれど，すべてのチームがルールベースのシステ

いと思うか」であり，シチュエーショントラックでは「どれくらい（シチュエーションに適した）人らしい会話か」である．図 8 にライブコンペ 2 において参加者が対話を＊5 オープントラックの NTTCS とは同組織であるが別チーム．

評価している様子を示す．

対話システムライブコンペティションから 何が得られたか
表5

順位

チーム名

339

ライブコンペ 2 における各システムの手法．
順位に付与された T はタイを表す
方式

ルール

抽

出

知識源
生成

テキスト

KB

対

学習手法

話

オープントラック
1T

TokoChanTeam✓

1T

UEC（Tripia）

✓

3

NTTCS

✓

4T

UEC（NoneJupiter）

✓

4T

IRS

✓

6

TEAM1

7

KyoshiroS

8T

MMI2019

8T

TEAM2

✓

N/A
N/A

✓

SVM

✓

BERT
✓

N/A

✓

✓

✓

✓

✓

✓

RNN

✓

✓

✓

RNN，SVM

N/A
✓

RNN

シチュエーショントラック
1

OUHRI

✓

CRF，ロジスティック回帰

2

LiveCompetition2019

✓

N/A

3

NTTCS

✓

4

HSSLAB

✓

N/A

5

110

✓

N/A

6

nskw

✓

N/A

✓

3·4

課

Transformer

題

対話システムの課題についてのアンケートの結果について述べる前に，ライブコンペ 2 では，システムのつく
りや動作から明らかな問題が二つ見られた．
一つは，ライブコンペの予選ではクラウドワーカは一度しか対話をしないことを利用し，ルールベース，それも，システム主導によって一度きりの対話をうまく行うというシステムが予選を通過していたことである．これは，ライブコンペの予選を勝ち上がるためのハックのようなものである．具体的には，UEC（Tripia）[稲葉 19]
がそうである．このシステムはユーザが何を発言しても，
図8

ライブコンペ 2 において参加者が対話を評価する様子

あらかじめ指定された 16 個の発話を順番に出力するというつくりのものであった．複数回システムと会話をす

参加者による評価の結果，オープントラックでは 1 位るような予選であればよかったのかもしれないが，一度は TokoChanTeam（3.61 点），
2 位は NTTCS（3.28 点），

きりの対話を無難にこなすようにつくり込まれたシナリ

3 位は UEC（Tripia）（2.81 点）であった．シチュエー

オによって予選が突破されてしまった＊6．これは対話シ

ショントラックは，1 位は OUHRI（3.70 点），2 位はステムの評価の仕方について大きな課題を投げかけたと

NTTCS（3.48 点），3 位は LiveCompetition2019（3.23

いえる．

点）であった．

もう一つは，オープントラックとシチュエーショント

図 9 は OUHRI のシステム（OHBOT）[中島 19] と対

ラックの対話にあまり違いが見られなかったということ

話者との対話である．絵文字が取り入れられており，人である．具体的には，
オープントラックのシステムであっ間らしい対話を実現しようとしている様子が垣間見えても，最初からオープンに会話することを諦め，自身のる．ほとんどすべてのシステム発話が質問で終わってい得意なドメインに誘導するシステムが予選を勝ち残ってることなど（これは，チャットボットを作成するときの常道であり，こうすることでユーザ発話を想定しやすくできる）人間らしくない点も見られるが，大きな破綻なく対話を続けることができている．

＊6 シチュエーショントラックのオーガナイザによるベースライン（LiveCompetition2019）も同様のつくりをしていたが，こちらも予選を突破できた．

人 工 知 能

340

図 10

35 巻 3 号（2020 年 5 月）

ライブコンペ講習会における飯尾氏のレクチャの様子

さて，ライブコンペ 1 と同様，ライブイベントの事前と事後に対話システムにおける課題についてのアンケー
トを実施した．アンケート項目は前回と同様（表 3）である．結果は表 6 のとおりである．1 位はライブコンペ
1 と同じく「発話内容の理解能力が低い／浅い」であったが，上述したような二つの問題を受けて，「広い話題に対応できない」や「品質評価が困難」が上位に位置している．また，シチュエーショントラックの対話を受けて，「ユーザに応じた応答ができていない」も順位を上げている．ライブコンペ 2 では，ライブコンペ 1 では見
えてこなかった課題が浮き彫りにされたといえる．評価の仕方など仕様面での改善を図るとともに，これらの問
題点を解決するシステムを今後のライブコンペでは期待したい．
表6

ライブコンペ 2 後に参加者が重要と考えた対話システムの課題上位 10 件

図9

対話者と OUHRI のシステム（OHBOT）との対話いた．その結果，特定の話題の中だけで雑談を行うようなシステムばかりになってしまった．NTTCS は旅行ドメイン，TokoChanTeam は音楽ドメインであった．シ


















­ 











£¤¥
«¬®¯°

±²·¸¹º»¼
 









¡¢¦§¨©ª­

³´µ¶


«½¾¿ÀÁÀÂÃÄ°
··¼

チュエーショントラックのシステムについても，人間らしさを表出することは難しく，いわゆる「システム」的な応答を行うものが多かった．結果として，二つのトラッ

4．対話システムライブコンペ講習会

クは似通ってしまったのである．これも大きくは評価の問題だといえるが，広い話題で破綻なく対話を続けるこ

ここからはライブコンペに関連した二つのイベントにと，人間らしい対話をモデリングすることの難しさを物ついて述べる．一つは対話システムライブコンペ講習会

語っているともいえる．

である．

対話システムライブコンペティションから 何が得られたか

341

ライブコンペ 2 ではシチュエーショントラックを新者（今回は教育関係者）に対話システムの現状を知ってたに導入したが，システムが人間らしい対話を行えるよ

いただき，工学系からは得られない人文系ならではの意

うにするにあたって，人文系の研究者の知見が有効であ

見を聞きたいと考えたからである．

ろうと考えた．例えば，会話分析，教育，言語学，社会パネルではパネリストからの講演のほか，ライブコンペ

学などの分野では人間どうしの対話を研究対象としていと同様の実演を行った．具体的には，ライブコンペ 1 にる．これらの分野の研究者にライブコンペに参加しても

おいて 1 位だった NTTCS のシステム（tripfreak）と 2

らうことで工学系の研究者が思いもつかない豊かな対話位だった NTTdocomo のシステム（MarikoZatsudanBot）を行うシステムが期待できると考えた．

[角森 18] と人間の話者との対話を参加者に鑑賞・評価ししかし，人文系の研究者にとって，対話システムを一てもらい，現状の対話システムの問題は何かについて討から構築することは難しいと考えられる．そこで，対話論を行った．加えて，ライブコンペ 1 と 2 でも実施した

システムライブコンペ講習会と称して，人文系の研究者

対話システムの課題についてのアンケートを実演の前後向けに対話システム構築のための講習会を行った．このに実施した．アンケートには 60 〜 80 名程度の方に記入

講習会は，エントリの約 1 か月前，2019 年 9 月 8 日にいただけた．評価の結果は，ライブコンペ 1 の際と同様，実施した．30 名超の枠はすぐに埋まり，人文系の研究

NTTCS のシステムのスコア（2.80）が NTTdocomo の者に多く参加いただけた．

システムのスコア（2.30）を上回った（スコアは高いほ

講習会の内容はルールベースによるシチュエーション

うが良い）
．

トラック向け雑談対話システムの構築法である．対話ロ

表 7 に日本語教育学会の参加者が重要と考えた対話

ボットのデモンストレーションを多く手掛けられているシステムの課題上位 10 件を示す．アンケート結果は対筑波大学の飯尾尊優氏に「対話システムにおけるシナリ

話システムの研究者の結果と若干異なることが見て取れ

オ作成の秘訣」 と題したレクチャを実施していただいる．特に，「発話内容が文脈に沿っていない」，「適切なた．内容としては，ユーザの発話にすべて応えようとす

話題遷移ができない」が上位に入っている．また，「対るのはやめて，ユーザを質問責めにすることでユーザの話の目的が不明確」についても，実演の後，大きく順位

発話を予測できるようにし，たいていの場合に適切に動が上昇している．人間どうしの対話に日頃から着目して作するルールを作成しようというものであった．これは，いる教育関係者としては，文脈，話題，対話の目的（意図）

破綻のない対話システムの戦略としては王道であるが，といったものに適切に対応できていないシステムの挙動

前述のように，評価についての問題を引き起こすものでに違和感を覚えたのだろうと考えられる．

＊7

もある．

フリーフォームのアンケートでは，「反応が早すぎてレクチャのあとは，Repl-AI ＊8 と呼ばれる，ルールを気持ち悪い」，「質問の連続は飽きる」，「このままでは使GUI によって記述するツールの使い方とその演習，そしいものにならない」，「会話ではない」などの意見が寄せて，最後に Repl-AI で作成したルールを Telegram からられた．人文系の研究者がもつ対話についてのさまざま

呼び出す方法についての講習を行った．

な知見を反映していくことで，より人間どうしの対話に技術的な問合せが多くあったものの，本講習に参加し近い対話が実現できるのではないかと考えており，今後た複数の人文系の研究者がライブコンペにエントリするもこのようなイベントを企画し，接点をもっていければなど一定の成果を実現することができた．また，参加者と考えている．

からは対話ルールの作成を日本語教育の題材に用いたいという声も聞かれた．対話ルールの作成は人文系と工学系をつなぐ良い接点となることがわかった．今後も講習

表7

日本語教育学会における実演後に参加者（主に教育関係者）
が重要と考えた対話システムの課題上位 10 件



会を開催し，人文系における対話の知見を対話システム

に取り込んでいくとともに，対話システムの他分野への

適用についても検討していきたい．
















セッションである．このパネルは 2019 年度日本語教育¤­

学会秋季大会（2019 年 11 月 23 〜 24 日開催）の初日¥

¦§¨©ª«¬®¯°®
­¥に開催された．パネルを提案した目的は，人文系の研究

±



²³´µ±±

¶



·¸



¹º»¼½¡¾¿µ5．日本語教育学会におけるパネルセッション
もう一つのイベントは日本語教育学会におけるパネル＊7 https://youtu.be/GArldtAH8O0＊8 https://repl-ai.jp/





­






­



¡¢£





¶
ÀÁ¶

人 工 知 能

342

6．ま

と

め

本稿では対話システムライブコンペティションについて紹介した．これまでに行った 2 回のライブコンペ（および，その関連イベント）について述べ，予選の結果や会場における参加者のアンケートの結果からわかった現状の対話システムの問題点について述べた．現在，特に問題だと考えられることは，システムの理解・応答能力の低さである．また，対話システムの評価の難しさも大きな課題である．
ライブコンペは，対話システムの関係者全員で対話シ
ステムの問題についての認識を共有でき，より良いシス
テム構築につなげることのできるイベントであると感じている．現在，ライブコンペ 3 に向けた準備をしている
ところであるが，次回はどのようなシステムが登場するのか，人文系の知見はどのようにシステムに生かされるのか，そして，どのような問題点が新たに浮かび上がるのか，今から楽しみである．
最後になるが，これまでの発表資料や講演動画，対話
ログはホームページからダウンロードできるようにしている＊9，＊10．これらをぜひご覧いただき，興味をもっていただけたのであれば，ぜひライブコンペ 3 へのエントリを検討いただきたいと考えている．
謝 辞
ライブコンペの実施にあたっては，本学会より特別補助をいただきました．ライブコンペ講習会においては，
飯尾尊優氏にご協力いただきました．日本語教育学会に

赤間怜奈：対話システムライブコンペティション，SIG-SLUD,
Vol. B5, No. 02, pp. 106-111（2018）[東中 19a] 東中竜一郎：最近の対話システム事情：深層学習・デー
タセット・コンペティションの観点から，映像情報メディア学
会誌，Vol. 73, No. 2, pp. 271-276（2019）[東中 19b] 東中竜一郎，船越孝太郎，稲葉通将，角森唯子，高橋哲朗，
赤間怜奈，宇佐美まゆみ，川端良子，水上雅博：対話システム
ライブコンペティション 2，第 87 回人工知能学会言語・音声理
解と対話処理研究会（第 10 回対話システムシンポジウム）（2019）[Higashinaka 19c] Higashinaka, R., Funakoshi, K., Inaba, M.,
Tsunomori, Y., Takahashi, T. and Akama, R.: Dialogue system
live competition: Identifying problems with dialogue systems
through live event, Proc. IWSDS（2019）[東中 20] 東中竜一郎，稲葉通将，水上雅博：Python でつくる対話システム，オーム社（2020）[Hori 19] Hori, C., Perez, J., Higashinaka, R., Hori, T., Boureau,
Y.-L., Inaba, M., Tsunomori, Y., Takahashi, T., Yoshino, K.
and Kim, S.: Overview of the sixth dialog system technology
challenge: DSTC6, Computer Speech & Language, Vol. 55, pp.
1-25（2019）[稲葉 19] 稲葉通将：雑談対話システムをどう評価すべきか─
TripiaBot のライブコンペ予選通過から考える─，第 87 回人工知能学会言語・音声理解と対話処理研究会（第 10 回対話システ
ムシンポジウム）（2019）[角森 18] 角森唯子，大西可奈子，藤本拓，角野公亮，吉村 健，礒
田佳徳：カスタマイズ可能なオープンドメイン雑談対話エンジンの開発，第 84 回人工知能学会言語・音声理解と対話処理研究会（第 9 回対話システムシンポジウム）（2018）[中島 19] 中島圭祐，駒谷和範，中野幹生：雑談対話システム構築
フレームワーク PyChat に基づく特定シチュエーション向け対話システム，第 87 回人工知能学会言語・音声理解と対話処理研究会（第 10 回対話システムシンポジウム）（2019）[中野 15] 中野幹生，駒谷和範，船越孝太郎，中野有紀子：対話シ
ステム，コロナ社（2015）[杉山 18] 杉山弘晃，成松宏美，水上雅博，有本庸浩：文脈に沿った発話理解・生成を行うドメイン特化型雑談対話システムの実験的検討，第 84 回人工知能学会言語・音声理解と対話処理研究会（第 9 回対話システムシンポジウム）（2018）[宇佐美 19] 宇佐美まゆみ，東中竜一郎，杉山弘晃，角森唯子，高橋哲朗，大塚容子：対話システム構築と談話研究・日本語教育の接点，2019 年度日本語教育学会秋季大会予稿集（2019）

おけるパネルでは大塚容子氏にスムーズな進行をしていただきました．また，杉山弘晃氏には tripfreak システ
ムをご準備いただきました．大変感謝いたします．

◇ 参 考 文 献 ◇[Dinan 19] Dinan, E., Logacheva, V., Malykh, V., Miller, A.,
Shuster, K., Urbanek, J., Kiela, D., Szlam, A., Serban, I., Lowe,
R., Prabhumoye, S., Black, A. W., Rudnicky, A., Williams,
J., Pineau, J., Burtsev, M. and Weston, J.: The Second
Conversational Intelligence Challenge（ConvAI2）, arXiv
preprint, arXiv:1902.00098（2019）[Henderson 14] Henderson, M., Thomson, B. and Williams, J. D.:
The second dialog state tracking challenge, Proc. SIGDIAL,
pp.263-272（2014）[Higashinaka 16] Higashinaka, R., Funakoshi, K., Kobayashi, Y.,
andInaba, M.: The dialogue breakdown detection challenge:
Task description, datasets, and evaluation metrics, Proc.
LREC, pp. 3146-3150（2016）[東中 18] 東中竜一郎，船越孝太郎，稲葉通将，角森唯子，高橋哲朗，＊9 https://dialog-system-live-competition.github.
io/dslc1/index.html＊10 https://dialog-system-live-competition.
github.io/dslc2/index.html

35 巻 3 号（2020 年 5 月）

2020 年 3 月 2 日 受理

対話システムライブコンペティションから 何が得られたか

著 者 紹 介
東中 竜一郎（正会員）
2001 年慶應義塾大学大学院政策・メディア研究科
修士課程，2008 年博士課程修了．2001 年日本電信電話株式会社入社．現在，NTT メディアインテリ
ジェンス研究所上席特別研究員．質問応答システム・
音声対話システムの研究開発に従事．博士（学術）．
「しゃべってコンシェル」の質問応答機能の研究開
発や，「ロボットは東大に入れるか」プロジェクトにおける英語科目を担当．平成 28 年度科学技術分野の文部科学大臣表彰を受賞．著書に「質問応答システム」（コロナ社，2009），「おうちで学べる人工知能のきほん」（翔泳社，2017），「人工知能プロジェクト「ロボットは東大に入れるか」：第三次 AI ブームの到達点と限界」（東京大学出版会，2018），「Python でつくる対話システム」（オーム社，2020）など．
言語処理学会，情報処理学会，電子情報通信学会各会員．

船越 孝太郎（正会員）
2000 年東京工業大学工学部情報工学科卒業．2002
年同大学院情報理工学研究科計算工学専攻修士課程修了．2005 年同研究科博士課程修了．同年，東京工業大学大学院特別研究員．2006 年（株）ホンダ・リ
サーチ・インスティチュート・ジャパン入社．2013
年より同シニア・リサーチャ．2017 年より京都大学
大学院情報学研究科知能情報学専攻特定准教授（出向）．博士（工学）．自然言語理解，マルチモーダル対話に関する研究に従事．情報処理学会，言語処理学会，ACM SIGCHI 各会員．

稲葉 通将（正会員）
2012 年名古屋大学大学院情報科学研究科博士後期課
程修了．同年，広島市立大学大学院情報科学研究科
助教，2019 年電気通信大学人工知能先端研究セン
ター准教授．現在に至る．博士（情報科学）．対話システム，対話処理に関する研究に従事．電子情報通信学会，情報処理学会，言語処理学会各会員．

角森 唯子（正会員）
2015 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．同年，（株）NTT ドコモ入社．
自然言語処理および対話システムに関する研究開発
に従事．

高橋 哲朗
2005 年奈良先端科学技術大学院大学博士後期課程修了．博士（工学）．同年，（株）富士通研究所入社．
2008 〜 10 年ニフティ株式会社にて Web サービス
開発，2011 〜 12 年および 2014 〜 15 年マサチュー
セッツ工科大学にて客員研究員を経て，現在，（株）
富士通研究所にて自然言語処理およびデータ分析の研究に従事．言語処理学会，情報処理学会各会員．

343
赤間 怜奈（学生会員）
2017 年東北大学工学部卒業．2018 年同大学院情報科学研究科博士前期課程修了．現在，同研究科博士後期課程在学中．自然言語処理に関する研究に従事．
言語処理学会，ACL 各学生会員．

宇佐美 まゆみ
東京外国語大学大学院教授などを経て，2016 年度
より国立国語研究所日本語教育研究領域教授．教育学博士，Ed.D（ハーバード大学）．専門は，言語社
会心理学，日本語教育学．慶應義塾大学大学院社会学研究科心理学専攻，ハーバード大学教育学部大学
院言語・文化修得専攻博士課程修了．ディスコース・
ポライトネス理論研究，自然会話分析のほか，現在は，その知見を対話システム研究に生かせないか模索中．主な著書・論文に，「言葉は社会を変えられる」（編著）（明石書店，1997），「Discourse
politeness in Japanese conversation: Some implications for a universal
theory of politeness」（Hituzi Syobo, 2002）．
「ポライトネス理論の展開（1〜 5，7 〜 13）」『月刊言語』（1 〜 12 月号）（大修館書店，2002）など．
「ポライトネス理論研究のフロンティア−ポライトネス理論研究の課題とディスコース・ポライトネス理論」『社会言語科学』，Vol. 11, No. 1, pp.
4-22（2008），「相互作用と学習─ディスコース・ポライトネス理論の観点から」『西原鈴子・西郡仁朗 編：講座社会言語科学』，4 巻，教育・学習（ひつじ書房，2008），「談話のポライトネス−ポライトネスの談話理論構想−」『談話のポライトネス』（第 7 回国立国語研究所国際シンポジウム報告書）（国立国語研究所，2001），などがある．

川端 良子（正会員）
国立国語研究所音声言語研究領域プロジェクト非常
勤研究員．2002 年千葉大学大学院文学研究科修了．
2019 年同大学院融合科学研究科博士課程修了．博士（学術）．2016 年から現職．
「大規模日常会話コーパスに基づく話し言葉の多角的研究」に参加し，コー
パスの開発に取り組んでいる．対話において共有信念がどのような仕組みで更新されるかに興味をもっており，コーパスを用いた研究を行っている．

水上 雅博
2014 年奈良先端科学技術大学院大学情報科学研究科
修士課程，2017 年博士課程修了．2017 年日本電信電話株式会社入社．現在，NTT コミュニケーション
科学基礎研究所研究員．雑談対話システムの研究開発に従事．博士（工学）．