2023 年 7 月 7 日発行
新学術領域研究「人間機械共生社会を目指した対話知能システム学」

対話知能学
ニュースレター (Vol. 14)
1. 研究紹介■ 好意の返報性に基づく対話惹き込みシステム（A01 班）
A01 班の瀬島らの研究グループでは，相手から好意を寄せられると自己も相手へ好意を寄せようとする「好意の返報性」に着目した対話継続を試みています．対話相手，すなわち聞き手ロボットからの好意的な／無関心な振る舞いが対話意欲や発話継続に与える影響を解析・モデル化し，そのモデルをロボットへ組み込むことで，思わず対話へ惹き込まれてしまうコミュニケーションシステムを追求しています．とくに，好意的／無関心さが伝図 1. 瞳ロボットによる傾聴図 2. きくロボとコミュ力バトルの様子

達されやすく，かつその解釈や意味付けが対話者へ委ねら持つロボットを一般の方が体験する場を提供し，対話を通じれる「瞳の動き」に着目したシステム設計を行っています．てロボットの現状や未来のロボットに必要な機能を創造する機会を設けることを目的としました．言葉に加え，対話感を「瞳の動き」を表現する仕組みとして，直径 25cm の半球デ生み出す非言語情報に注目したコミュニケーション力，通称ィスプレイに瞳孔と虹彩を投影したシステムを構築していま“コミュ力”を体験（バトル）し，対話ロボット技術を広く発信す（図 1）．このシステムは，好意的な振る舞いとしてアイコンしました．イベントには，本領域の「きくロボ（京都大学 河原

タクトの強化と瞳孔拡大，無関心な振る舞いとして視線逸ら研究室）」「瞳ロボット（関西大学 瀬島研究室）」に加え，「自しと瞳孔縮小を実現します．音声が入力されると，推定モデ己推薦ロボット（サイバーエージェント）」「エモーショナル・クルによってこれらの振舞いが切り替わる傾聴アルゴリズムをロースロボット（同志社大学 大久保研究室）」「ペコッぱ（岡設計し，上記のシステムへ導入しました．コミュニケーション

山県立大学 渡辺研究室）」に参画いただきました（図 2）．幼実験により，親近感や傾聴感に加えて対話への意欲が高ま児から大人まで参加し，対話ロボットの印象についてアンケることを確認しました．この研究成果は，第 23 回計測自動制ートで回答しました．来場者からは，「楽しく会話することが御学会システムインテグレーション部門講演会(SI2022) 優秀できた」「最近はオンラインばかりなので，このような企画が講演賞を受賞しました．

あると情報をキャッチしやすい」等のコメントが寄せられ，実さらに，実証実験の試みとして 2022 年 12 月にグランフロント大阪のカフェラボにおいて「対話ロボットとコミュ力バト

証実験に向けた有意義な企画となりました．
瀬島 吉裕（関西大学／A01 班 対話継続関係維持研究グループ公募班代表者）

ル」というイベントを企画しました．この企画は，対話機能を■ 歩行映像解析による話者属性の早期認識（A02 班）
人の歩き姿である歩容は，人物が遠方で小さく映ってい本モジュールは，以下の人物映像解析用の深層学習モデる場合やマスクをしていて顔がはっきりと見えないような場

ルを基に構成した．まず，話者候補となる人物領域は，人物合であっても利用可能な生体情報（バイオメトリクス）としてのインスタンスセグメンテーシ ョンモデルの一つである

注目を集めている．もし，遠方にいる話者候補の属性を早PointRend を利用して抽出する．次いで，人物領域の外接矩期に推定できると，属性に応じた対話の呼びかけが可能と形で切り取った画像に対して，人体モデル当てはめモデルのいった利点が考えられる．そこで，本研究では，歩行映像解一つである Human Mesh Recovery (HRM) ネットワークを適

析による年齢推定・性別識別モジュールを開発した．

用し，人体の体型や姿勢に関する標準的な 3 次元人体モデ

https://www.commu-ai.org

ルの一つである Skinned Muli-Person Linear (SMPL) モデルのパラメータを抽出する．最後に，SMPL モデルの体型パラメータもしくは姿勢パラメータを全結合層や畳み込み層に入力することで，年齢推定や性別識別を行う．
実験では，歩行映像の公開データベース OUMVLP（老若男女の被験者数 10,307 名を含む）による精度評価を行った．
結果として，姿勢パラメータを認識に用いた場合で，性別の図 3. 歩容による属性推定結果（左）と入力画像の人物領域及び頭部領域の拡大図（右）識別精度が 96.64%，年齢推定の MAE（推定値と真値とのは見えない横向きの歩行映像に対しても良好な性別識別・平均絶対誤差）が 5.19 歳となった．顔画像による年齢推定精年齢推定結果が得られた．

度と比較すると劣るものの，大まかな年代を考慮した対話モ
今後は対話モジュールとの連動実験を通して，本モジューデルの適応などには十分な精度と言える．

ルの有効性を検証する予定である．
また，データベースによるオフライン評価に加えて，オンラ槇原 靖（大阪大学／A02 班 対話理解生成研究グループ計画班分担者）

イン（リアルタイム）での動作検証を行った（図 3）．画像中の人物は 33 歳の男性であり，マスクを着用して顔がはっきりと■ ヒューマノイド・オルタ 3 における模倣を通した行動の概念形成（A03 班）
A03 公 募 班 で あ る ， 東 京 大 学 の 升 森 ， 吉 田 ， 丸 山 ，johnsmith，池上らの研究グループでは，ヒューマノイドロボ
ットを用いて，身体動作を主とした対話を通して自己を獲得していくシステムについて研究を行っている．本稿では，これまでの模倣システムに，人の動きを模倣することで身体動作の概念を獲得していくニューラルネットを追加し，ヒューマノイドロボットに実装して実験した成果を紹介する．この模倣システムでは，ヒューマノイドロボット Alter3 が，人の行動を真 似 す る た め に ，3 つ の 戦 略 - Mimicking，Imitation，Memory - を選択的に組み合わせて使用する．Mimicking モードでは，Alter3 は関節角度を計算することで，人が「どのよ図 4. オルタ 3 を用いた模倣実験の様子うに」動くかを再現する．Imitation モードでは，変分オートエ

発見は，機械的な How の模倣（Mimicking）と，身体動作のンコーダ（VAE）の潜在空間の各クラスターの中心を身体運意味的な What の模倣(Imitation)を選択的に使用することで，動の概念として位置付け，その象徴的な身体運動を生成す身体運動の概念形成につながり，さらにそれらの記憶からることで，人の行為の意味を再現しようとする．これらの模新たな動きをの探索が生じるといったように発展的に概念倣が成功しない場合，Alter3 は Memory モードに移行し，場形成をおこなっていくことが示唆された．の雰囲気をもとに記憶を呼び起こして動きを生成する．目の前に被験者がいない場合，Alter3 は目を閉じて記憶から動書 誌 情 報 ： Takahide Yoshida, Atsushi Masumori, Norihiro

きを取り出し，実行することで身体動作の探索を行う

Maruyama, John Smith, Takashi Ikegami, Development of(Dream)．実験の結果，Mimicking だけでも，Imitation だけでConcept Representation of Behavior through Mimicking and模倣するよりも，3 つの戦略を使い分けることで，VAE の潜Imitation in a Humanoid Robot Alter3, Proceedings of The

在空間のクラスターが安定して，かつ身体動作のクラスター

2023 Conference on Artificial Life (in press).と対応することが示された．また，Alter3 が Dream モードを通じて自律的に生成する動きが，Imitation を通じて生成された升森 敦士（東京大学／A03 班 行動決定モデル推定研究グループ公募班代表者）

象徴的な動きから進化していることが示唆された．これらの2

■ 「権利」中心的対話モデルの実装と応用に向けて（A04 班）
対話システムの研究開発や，それに関わる対話規範およ面があるからといって社会規範を伴うとは限らない．なぜなび社会規範についての検討には，「対話とは何か」という問ら，プロトコルに従っているかどうかは事実に関する問題でいに一定の答えを与えておくことが求められる．しかし，シスあるのに対し，規範とは「すべき」と「すべきでない」に関するテムの研究開発と対話規範の研究の両方にとって満足のい問題だからである．だから，例えば，プロトコルに従うべきなくような答えがどのようなものかは全く明らかではない．本のか従うべきでないのかのような価値判断に関わっていな研究で目指すのは，対話知能システムと社会規範の関係をければ社会規範を伴っているとはいえない．それに対し，対明らかにし，それに基づいて人間と機械が共生する社会に話の遂行には，このような価値判断が不可欠である．なぜな求められる新しい社会規範の基盤を提供することである．

ら一般的なコミュニケーションとは異なり，対話では発言の具体的には，人と人との対話に関する哲学，社会学，法学な適切性や対話の目的といった規範が関わる対話への移行

どの研究を元に，人とロボットの対話にも適用可能な対話モがいつでも生じうるからである．

デルを構築し，その実装および応用を目指す．

C005-Start Time
876

そもそも対話モデルとは，対話についての見5L

4R3方（view）ないし捉え方（conception）を提供する

C004-StartTime

281700

ものであり，例えば「人間同士の対話は，人間以50100150200250300

Dominance

6L

3R

54

外との間でも実行しうる音声によるコミュニケー

210

ションや図像によるコミュニケーションとどの点

050100150200250

Utterance Start Timeで異なるのか？」という問いに答えを与えるもの

会話コ ーパス の分析でなければならない．この問いに対して本研究
では，対話とそれ以外のコミュニケーションを社会規範の有無によって区別することを提案す

対話シス テム研究開発

る．すなわち，対話は本質的に社会規範を伴うもチャ ッ ト ボッ ト への実装のであり，それゆえ，必ずしも社会規範を伴うとは限らない他の（非言語的）コミュニケーションとは区別される．具体的には，対話では参加者の間で，社会規範を伴う何らかの社会的関係

対話規範

社会規範

対話規範モ デルの構築

対話がこのように社会規範から切り離せないことは，対話（上下関係，地位の違い，それぞれどのような立場で対話にの参加者は常に何らかの「権利」の主体として参加している参加しているかなど）が成立していることが前提されているとみなすことにより説明できる．このような「権利」中心的なのに対し，対話以外のコミュニケーションは，こうした社会的対話モデルを採用することにより，発言権のような対話規範，関係抜きで成立しうる．

およびヘイトスピーチ，いじめ（無視）のような対話が関わる対話をこのような仕方で特別視するのは，対話が，社会社会問題に適切に取り組むことが可能になると考えられる．

規範が関わる特殊なコミュニケーションとして規定可能だか

現在，「権利」中心的な対話モデルの実装可能性について，らである．コミュニケーションは，身体的接触のような純粋に会話コーパスの分析をもとに，まずはチャットボットへの実装

物理的なインタラクションと比べて社会的側面に特徴がある．

を進めている．

すなわち，コミュニケーションの場合，参加者の間で何らかのプロトコルが共有されており，プロトコルに従っていなけれ

小山 虎（山口大学／A04 班 人間機械社会規範研究グループ公募班代表者）ばインタラクションが発生しない．だが，このような社会的側

3

2. イベント報告■ 対話システムライブコンペティション 6 キックオフミーティング
2023 年 6 月 24 日（土） に標記のオンラインイベントを開催

引き続き今回も，マルチモーダル対話システムを対象とする．

した．「対話システムライブコンペティション 6」のウェブペー

これまでは，任意の話題についてユーザと雑談を行う能力

ジ（下記）から動画と資料を閲覧できる．https://sites.google.cを競うオープントラック，特定のシチュエーションの上で状況

om/view/dslc6/%E3%82%AD%E3%83%83%E3%82%AF%にあった対話をする能力を競うシチュエーショントラックがE3%82%AA%E3%83%95あった．しかしながら，昨今の大規模言語モデルの進展に鑑「対話知能学」領域からは，東中竜一郎（A02 計画班研究

み，任意のトピックで雑談をするオープントラックは一定の役代表者）が登壇し，当コンペティションの概要を説明するとと割を果たしたと考えたため，今年度はシチュエーショントラッ

もに，貸与するソフトウェア（新学術で開発したもの）の紹介クのみを実施する．シチュエーショントラックは，対人関係やを行った．

TPO を踏まえた高度な対話システムの実現の第一歩となることを狙いとする．また，高度な対話を実現するため，

A02 班の活動の一環として実施している「対話システムラ

ChatGPT をはじめとする大規模言語モデルの活用を推奨し

イブコンペティション」とは，オーディエンスの前で実際に対ている．

話システムを動作させ，評価を行うイベントである．前回に3. 顕著な業績■ 論文
岡田将吾（A02 公募班研究代表者）らによる，クロスコー

書誌情報：Yuan Gao, Longbiao Wang, Jiaxing Liu, Jianwu

パス感情認識のための転移学習についての論文がDang, and Shogo Okada. Adversarial Domain Generalized

Affective Computing 分野のトップジャーナルである IEEE

Transformer for Cross-Corpus Speech Emotion Recognition,Transactions on Affective Computing に採択された．

IEEE Transactions on Affective Computing (in press).

異なる言語圏（英語と中国語）・対話設定（人と人，人とシステムの対話）で取得された音声データコーパス間では分布が異なるため，一方のデータで訓練，他方のデータでテストした場合（クロスコーパスタスク），音声感情認識の精度が著しく低下する問題が生じる．本論文では，従来のモデルがクロスコーパスタスクに与える影響を分析し，異なるコーパス間で共有特徴分布を学習することを目的とした ADoGT（adversarial domain generalized transformer）を提案し，有効性を検証した．将来，異なる言語圏・対話設定で取得された複数の少量データセットから学習する手法として期待できる．

（「対話知能学 ニュースレターvol.14」 執筆補助・編集：立花達也）

4