2022 年 7 月 1 日発行
新学術領域研究「人間機械共生社会を目指した対話知能システム学」

対話知能学
ニュースレター (Vol. 10)
1. 研究紹介■ 写真を用いた対話で高齢者の認知的健康を育む対話ロボットシステムの開発（A01 班）
A01 公募班である，理化学研究所の大武，三宅，熊谷，徳永，田村，福森らの研究グループでは，高齢者の特に認知的健康を見守り育むことを目的とする認知行動支援技術を開発しています．ここでは，健康を育む機能を対話ロボットに実装し，得られた成果をご紹介します．
タブレット端末に映し出される写真と共にロボットが話題提供し，ユーザが質問するとロボットが応答する，対話ロボ
ットシステム構成法に関する論文が Frontiers in Robotics and
図１ 写真を用いた対話で高齢者の認知的健康を育む対話ロボットシステム

AI（IF=4.33）に掲載されました (Tokunaga et al. 2021)．この対話システムの基礎となる共想法は，テーマに沿った写真を参加者が用意し，その写真を見ながら時間を決めて，話す，聞しました．対話ロボットシステムのうち，ユーザに触れる端末

く，質問する，答える，を，バランスよく含む双方向の会話を部分を図 1 に示します．

支援する手法で，会話を通じて認知機能を訓練します．共時間一杯質問応答が成立することを確認しました．コロナ禍

書誌情報：
Tokunaga S, Tamura K, Otake-Matsuura M (2021) A
Dialogue-Based System with Photo and Storytelling forOlder Adults: Toward Daily Cognitive Training. Frontiers
Robotics AI 8: 644964. https://doi.org/10.3389/frobt.20
21.644964
Otake-Matsuura M et al (2021) Cognitive Intervention
through Photo-Integrated Conversation Moderated byRobots (PICMOR) Program: A Randomized Controlled
Trial. Frontiers in Robotics and AI, 8:633076. https://doi.org/10.3389/frobt.2021.633076

において，対話ロボットを高齢者宅に送付し，高齢者と実験

大武美保子（理化学研究所／A01 班 対話継続関係維持研究グループ 公募班代表者）

想法の認知的介入効果を検証するランダム化比較試験の結果を報告する論文も，同じく Frontiers in Robotics and AIに採択されました (Otake-Matsuura et al. 2021)．対話システム
は，共想法形式の会話の中で，聞く，質問する，を重点的に行えるようにするものです．写真と話題提供により枠組みを与えることで，従来の対話システムの課題であった，ユーザが何を話してよいか分からなくなることを解決します．約 30秒の話題提供に対し，4 分間の質問応答時間を設けたところ，者が一度も直接対面することなく，利用評価頂くことに成功■ マルチモーダル対話コーパス Hazumi の収集と公開（A02 班）
A02 班の駒谷らの研究グループでは，大阪大学マルチモ

あたり 15 分から 20 分程度雑談する様子が収録されていまーダル対話コーパス Hazumi を収集し，順次公開を進めていす．全部で 6 バージョンあり，のべ 214 名による合計 18162

ます．対話では，言語情報が重要な役割を担いますが，雑談交換の対話が収録されています．対面で収録した 3 バージョなど，話すこと自体が目的である対話になるほど，言語以外ンは，2020 年度から既に NII-IDR（国立情報学研究所情報の情報もより重要な役割を持ちます．したがって，表情や韻学研究データリポジトリ）と GitHub にて公開しています．オ

律，姿勢，生体信号など言語以外の要素も用いて，相手のンライン収録（2020 年度以降はコロナ禍により Zoom 収録に意図や態度，感情を読み取れることは，高度な対話システム切り替え）の 3 バージョンも，公開準備は概ね完了しており，には必要な機能です．

2022 年第 3 四半期の間に公開予定です．なお Hazumi といこのコーパ スでは，一 般か ら募集 した 実験参 加者と ，Wizard-of-Oz（WoZ）方式で動作するエージェントとが，1 人う名前は，話を弾ませることができる対話システムを作りたいという願いから名付けました．

https://www.commu-ai.org

本コーパスの特長の一つとして，多様なアノテーションがあります．交換（exchange）と呼ばれる，システム発話とユーザ発話の組を単位として，全交換に対して 5 名または 3 名の第 3 者アノテータにより，ユーザ心象と話題継続の 2 種類の値が 7 段階で付与されています．一部のバージョンには，参加者本人よるユーザ心象も付与されています．また，生体信号情報を収録したバージョンもあります．さらに，対話ごと（実験参加者ごと）に，対話前後のアンケート結果や実験参加者の性格特性の入力結果も収集しています．

体信号を用いて本人心象を含むユーザ心象を推定する研これらのデータを使い，マルチモーダル情報からユーザ心究の成果は，本ニュースレター「4.顕著な業績」の項もご参象を深層学習により推定する研究や，複数アノテータによる照ください．

付与結果のバラつきに着目した分析などを進めています．生
駒谷和範（大阪大学／A02 班対話理解生成研究グループ 計画班分担者）■ ヒトに限りなく近いアンドロイドロボットと人間との間に残るわずかな違いについて（A03 班）
人間とコミュニケーションをとることが可能な対話ロボット

二つ目は，ヒトに限りなく近いが明確にヒトではないと断は，私たちの生活にさらに深く関わっていくことになります．

言できるアンドロイドとしての対話戦略の検討です．これまでは，どのような場面で，そしてどのような形で対話ロボット

で，ロボット対話の研究は，できるだけ人間らしい対話の実の利用は進んでいくのでしょうか．今後の方向性を技術的現を目標として研究が進められてきました．ロボットと対話観点から検討することを目的として，対話ロボットの実用性する人間の満足度を上げるためのお手本は，人間同士の対を評価検証するコンペティションが昨年 10 月アンドロイドロ話でした．しかしながら，チューリングテストに合格する，即ち，ボットを用いて実施されました．アンドロイドロボットは，姿形人間と区別をすることができないアンドロイドが完成するま（すがたかたち），表情や動作，さらにその知能を人間に近づでの間は，社会実装されるアンドロイドは，人間に限りなく近けることを狙ったロボットです．ロボットを限りなく人間に似いが人間ではないものとして認識されるロボットなのです．

せていくというこの試みは，同時に「人間とは何か」という根話し相手が人間だと思っている人間の満足度を高めるため源的な問いを私たちに投げかけることにもなります．の対話戦略と，話し相手が人間そっくりのアンドロイドだと思現在の対話ロボットで実現している言語生成，知識獲得，っている人間の満足度を高める対話戦略とは，異なるはず

知識処理は，まだまだ人間にはかないません．しかし，囲碁なのです． つまり，対話ロボットの最適行動戦略は，対話相や将棋のような完全ゲームの世界で人工知能（AI）が人間手である人間が自分（アンドロイド）のことをどのように見なを凌駕し，人間の指し手が AI の影響をうけるようになっていしているかによって違ってくるのです．人間の側の認知モデます．同じことが，対話ロボットでも起こるかもしれません．

ルを推定し，その推定結果によって戦略を臨機応変に変え

つまり対話ロボットの話しぶりや振る舞いから人間が「何か」る，そんな賢い対話ロボットを作りたいと考えています．

を学び，まねをするようになるのかもしれないのです．これか前田英作（東京電機大学／A03 班 行動決定モデル推定研究グループ 計画班分担者）

ら社会実装が進むに違いないアンドロイド対話ロボットには，人間を超えているという点と，人間に限りなく近いが人間には及ばない点との両面があるのです．こうした考察を背景にして，現在大きく 2 つの研究に取り組んでいます．
一つ目は，猫かぶり対話（False Modesty Dialogue）システ
ムの開発です．対話ロボットが持つべき能力のうち，現時点において既に人間を超えているものに，知識の保持能力があります．人間よりはるかに正確で大量の知識を使いこなすことができるのです．では，このときこの博識な対話ロボットは人間に対してどのように振る舞うべきなのでしょうか．さりげない会話の中で，人間に不快感を与えることなく，人間を少し博識にもする，そんな話し上手な対話ロボットを目指しています．

2

■ 対話知能学と “スーパーキズナ AI ”（A04 班）
筆者は，有体物であるロボット・アンドロイドから，無体物動きは多少ぎこちないし，話の内容もとびきり面白いものでであるキャラクター・CG アバターまで，サイバー・フィジカルなくても，「声」「おしゃべり」の魅力によって多数のファン，ド融合社会の進展に伴って登場しつつある新たな主体・人間ネーションを獲得している．ファンにとって，「推し」の VTuber像に対して有効な法理論を模索，構築することを目標としては毎日でも会いたい存在なのであり，それほどに日常生活いる．特に，人間が操作・操縦する「遠隔操作型」のロボット・に浸透することが，対話システムの目指す姿でもあろう．

アバターと，AI 等で発話や動きを生成する「自律型」のロボ

現在の VTuber は，いわゆる「中の人」自身の挙動・発話にット・アバターが混在する社会を念頭に，見た目も存在感もよって動きや声が形作られているが，対話知能を組み込ん動作原理も異なる多様なエージェントの共存を目指して，法だ自律型 VTuber も将来可能になるかもしれない．バーチャ

規範や権利保障のあり方について研究を進めている．

ル YouTuber の元祖であり，最も世間に名が知られているキ研究の端緒・手がかりとして，現在最も商業的にも文化的ズナアイは，奇しくも，自らを AI（人工知能）であると名乗っにも成功しているアバター活用例と思われる「バーチャルている．もちろん，それは「設定」であり，実際には「中の人」YouTuber（VTuber）」に着目した．VTuber は，単なる人間とも，がいて……というのは公然の秘密ではあるが，デビュー時はたまたアニメのキャラクターとも異なり，人間とキャラクタから一貫して自分は AI であると主張してきた．彼女は 2022

ーを媒介する主体という特殊な存在様式を持っている．

年 2 月に活動休止（スリープモード）に入り，いずれ「アップデ見た目はキャラクター風だが，「声」は肉声を使っており，ート」を遂げて帰ってくると宣言した．それがいつになるかはその発信するコンテンツの大半が「トーク」「雑談」を売りにし分からないし，「アップデート」とは何を意味するかは現時点ている．このことは，対話知能学の観点からも注目すべきででは定かでないが，その生まれ変わったいわば「スーパーキある．YouTube の配信においては，どうしても 10 秒ほどの配ズナアイ」が，本当に AI でしゃべるようになっていたとしたら，信ラグ・レイテンシーが発生するので，視聴者から送られるそれこそが対話知能学が目指していたことであり，キズナアチャットへの受け答えに多少のずれや勘違いがあっても，そイにとっての「原点回帰」なのである．

こはごまかせる．すべてのチャットに律儀に反応せず，適当

原田伸一朗（静岡大学／A04 班 人間機械社会規範研究グループ 計画班分担者）にスルーしていても構わない．面と向かって対話していると，当意即妙に応答してくれない相手には不自然さを感じるものだが，VTuber になると，それが上手い具合に解消される．

2. イベント報告■ アンドロイドに「これ，おいしいよ！」って言われたら，食べてみる？
対話知能学プロジェクト×日本科学未来館 vol.11
2022 年 5 月 13 日（金）に標記のオンラインイベントを，YouTube Live（Miraikan Channel）にてライブ配信しました．
下記のリンクからアーカイブをご覧になれます（YouTube）．
https://www.youtube.com/watch?v=iGdIS6pG8DI「対話知能学」領域からは，石黒浩領域代表と，新保史生（A04 計画班研究代表者）に加えて，対話ロボットの研究開発を専門とする港隆史（A02 計画班研究分担者）が登壇しました．
港氏からは，人間がもっと話したいと思うようなアン発に意見が交わされました．オンライン上でも，リアルタイムドロイドを開発するにはどうすればよいのかという観点で多くのコメントをいただきました．

から，アンドロイドへの意見帰属に関する研究（アンドロイドが言っても違和感のないような話題はどのようなものかなど）について紹介がなされました．これを受けて，対話とは何か，対話の目的とは何なのかについて活3

3. イベント案内■ 「対話ロボットコンペティション 2022」予選会 （8 月 11～8 月 31 日＠日本科学未来館）
2022 年 8 月 11 日（木）から 8 月 31 日（水）までのあいだ，Competition 部門という，より大きな舞台にて開催することに日本科学未来館にて，「対話ロボットコンペティション 2022」なりました．その予選会となる今回のイベントは，本選で世界の予選会が行われます（日本科学未来館の特別企画「空想中の人に見てもらう対話システムを日本科学未来館への来⇔実装 －ロボットと描く私たちの未来－」内での開催）．期

館者たちが決める（審査員になってもらう）という意味で，一間中，来館者に対話システムを搭載したアンドロイドと対話般の方々も研究に参加できる貴重な試みと言えます．

し，評価していただきます．

また，7 月 8 日（金）～10 日（日）には第一回コンペティショ

A02 班は，ロボットがいかに自然に対話できるかを競う世ンの対話システムを用いたデモを予定しております。詳しく界で初めての大会として，2021 年に「対話ロボットコンペティは日本科学未来館のイベントページをご覧ください。

ション」を始めました．第二回となる今年度は本選会を，10

https://www.miraikan.jst.go.jp/events/202207082532.html

月 に 行 わ れ る ロ ボ ッ ト の 国 際 会 議 IROS2022 の Robot■ トークイベント「世界初 ”対話ロボットコンペティション” 見どころ徹底解説！」 （7 月 8 日＠日本科学未来館）
上記の予選会に先立って，2022 年 7 月 8 日（金）に日本科して昨年度まで公募班研究代表者として本領域に参加され学未来館にて，「対話ロボットコンペティション」の見どころをていた西﨑博光（音声認識やディープラーニングの研究）が紹介するトークイベントを行います．

登壇します．

「対話知能学」領域からは，対話システムの研究開発をし詳しくは日本科学未来館のイベントページをご覧ください．
https://www.miraikan.jst.go.jp/events/202207082548.htmlている東中竜一郎（A02 計画班研究代表者），対話ロボットの研究開発をしている港隆史（A02 計画班研究分担者），そ4. 顕著な業績■ 論文
駒谷和範（A02 計画班研究分担者），岡田将吾（A02 公募をご覧ください．

班研究代表者）らによる，マルチモーダル対話コーパスにお書 誌 情 報 ： Shun Katada, Shogo Okada, and Kazunori

ける 生体 信号を 用 いた 心 象推定に 関す る論 文が ，IEEEKomatani: Effects of Physiological Signals in Different

Transactions on Affective Computing に採択されました（プレTypes of Multimodal Sentiment Estimation. IEEE

スリリース：https://resou.osaka-u.ac.jp/ja/research/2022/20220

Transactions on Affective Computing. 掲載日 2022 年 3331_3）．ここで使用されているマルチモーダル対話コーパス

月 3 日, DOI: 10.1109/TAFFC.2022.3155604

Hazumi については，本レターの「1. 研究紹介」A02 班の記事

5. 日本科学未来館での実証実験に関する案内「対話知能学」領域では，日本科学未来館と連携して実証てご参加ください．

実験を行っております．来館者を対象とする実証実験の実

二つ目は，未来館のサイエンス・コミュニケーターの協力

施については．「対話知能学」領域のホームページのもとで，研究者たちと実際に話し合う機会ともなるタイプ（https://www.commu-ai.org/）および Facebook にて告知してのものです．例として，2022 年 2 月 26 日に開催した対話ロおりますので，チェックしていただけますと幸いです．

ボット実験およびシティミーティングがあります（https://www.
commu-ai.org/activity/20220226.html）．これは A01 班， A02

来館者を対象とした実証実験には二種類あります．一つ班，A04 班が連携する横断的なイベントともなりました．

目は，研究者の誘導のもとで未来館の研究エリアにある研究室に訪問し，アンドロイドと対話していただくタイプのもの

以下は領域の研究者に向けた案内となります．本領域でです．7 月 1 日～3 日に実施予定の実証実験がその直近のは領域の研究者が来館者を対象に実証実験を行うための例となります（https://www.commu-ai.org/activity/20220701.h

一括契約を未来館と締結しています．事務局および未来館tml）．アンドロイドと対話できる貴重な機会になるだけでなく，スタッフとでバックアップしますので，実証実験および分野研究者からの簡単なレクチャーも予定されています．ふるっ横断的なイベントについて，ぜひ積極的にご検討ください．

4