HAI シンポジウム 2022
Human-Agent Interaction Symposium 2022

P-9

LEHU-ITACO: 非自然言語エージェントが乗り移ることで実現される意図伝達
LEHU-ITACO: Intent communication realized
by the migration of non-natural language agents
及川 颯斗 1∗

内村 方哉 2 小川 裕太 2 菊池 華世 2 福嶋 稜 2 板谷 琴音 3 大澤 正彦 1,2
Hayato Oikawa1 , Masaya Uchimura2 , Yuta Ogawa2 ,Kayo Kikuchi2 , Ryo Fukushima2 , Kotone Itaya3 , Masahiko Osawa1,2
専修大学 ネットワーク情報学部
School of Network and Information, Senshu University2
日本大学 文理学部
2
College of Humanities and Sciences, Nihon University3
理化学研究所 生命機能科学研究センター
3
Center for Biosystems Dynamics Research, RIKEN
11Abstract: 非自然言語エージェントは，適切に文脈生成が行われるシチュエーションにおいては，人に内部設計を見透かされることが少なく，インタラクション破綻が起こりにくい．一方，デバイス間で乗り移ることができる ITACO というエージェントは，乗り移る対象を通じて文脈生成が容易にできる．本研究では，両エージェントを組み合わせて，より多くのシチュエーションで破綻しにくいインタラクションを実現する．本稿では構築したシステムについて説明し，実験結果を報告する．

1

はじめに近年，Pepper に代表されるロボット，Alexa や Siriに代表されるスマートスピーカー，りんなに代表されるチャットボットなどの，コミュニケーションエージェント (以下エージェント) が普及し始めている．HumanAgent Interaction (HAI) において，より理想的なエージェントデザインや人とエージェントとのインタラクションデザインを探求することは重要な課題である．本
研究の目的は，より社会実装に適したエージェントデザインやインタラクションデザインを発見することにある．
人-エージェント間での優れたインタラクションの実現のためには，様々な問題がある．例えば，現状の技術レベルで最大限知的なエージェントを構築した場合でも，人の期待値が上がりすぎた結果，逆に人の期待を裏切ってしまう場合がある．小松らは，元々期待していたロボットの能力の大きさ (Fbef ore ) と実際にインタラクションすることでわかったロボットの能力の大きさ (Faf ter ) との差を適応ギャップ（Adaptation gap;AG）[1] と定義し ，人が負の適応ギャップを大きく感∗ 連絡先：専修大学ネットワーク情報学部〒 214-8580 神奈川県川崎市多摩区東三田 2-1-1
E-mail: oh.azurenero@gmail.com

じた場合にエージェントとのインタラクションをやめてしまう問題を指摘している．
現代の負の適応ギャップの問題を避けるエージェン
トデザインは，二極化していると捉えられる．一方のエージェントデザインは，自然言語によるインタラクションを行いながらも会話破綻がなるべく起こらない様に，やりとりを定型化させるデザインである．例えば，スマートスピーカーに天気を聞くなどの定型的なやりとりを定着させる工夫や，チャットボットとのやりとりにおけるユーザーの発話を選択肢式にすることで破綻を避ける工夫がこれにあたる．このデザインでは，自然言語によって情報がやり取りされるため，情報の曖昧性がなく，ツールとして有効に活用される傾向にある．ところが，定型的なやり取りによってユーザの多くが，インタラクションしている相手をエージェントというよりは自然言語インタフェースとして捉え，対象を意図的な存在 [2] として認めにくくなるリスクが高い．もう一方のエージェントデザインは，自然言語を発話せず，非自然言語（乳幼児の喃語やペットの鳴き声を真似た音声，ビープ音などの単純な機械音など）を用いてインタラクションするデザインである．これは産業用コミュニケーションロボットである aibo やLOVOT，パロにも採用されているデザインといえる．

自然言語を用いないことで，エージェントの表出に対してユーザが違和感を感じるリスクが少なく，定型的なやりとりを設定せずとも自然なインタラクションが継続される傾向にある．ところが，自然言語を用いないため，情報の曖昧性が極めて高く「快-不快」「興奮非興奮」など単純な内部状態を超えたエージェントの意図を伝達することは難しい．
著者らの一部はこれまでに，自然言語エージェントと非自然言語エージェントのメリットを両立させたエージェントデザインとして，自然言語を発話することはできないが，自然言語を理解することができるというエージェントデザイン [3] を提案してきた．このデザインのエージェントは表出能力は低いが（Low Expressivefunctionality）理解能力は高い（High Understandingfunctionality）ため，LEHU エージェントと名づけた．
LEHU エージェントは，ユーザにエージェントの意図を積極的に推定してもらえるため，エージェント自体は自然言語を発話せずとも，自然言語的なやりとりが成立する場合がある．実験では，自然言語を発話せずともユーザとのしりとりを成立させられる事例を示した．例えば，ユーザが「しりとり」と発話したことを受けて，エージェントが「***」と自然言語を使わずに応答した場合にも，ユーザが「もしかして『りんご』と言ったのかい？」とエージェントの発話の意図を探ってくれる．ところが，LEHU エージェントの限界として，しりとりの様にエージェントの意図を予測するきっかけとなる文脈がある場合にはユーザは意図を推定することができるが，非自然言語エージェントが自ら文脈生成を行う方法は発見されておらず，実験室実験での実験者の教示によって文脈生成が行われてきた．
本研究では，LEHU エージェントが自ら文脈生成できるインタラクションデザインとして，デバイス間をエージェントが「乗り移る」ことができるエージェントデザインであるマイグレートエージェント [6] と組み合わせることを提案する．つまり，非自然言語エージェン
トがデバイス間を乗り移ることで，「乗り移った先」自体が生成された文脈となり，意図伝達が容易になると考える．この様に乗り移る機能を持つ LEHU エージェ
ントを，既存研究 [6] にちなんで LEHU-ITACO と呼ぶこととする．
以下，本論文の構成を示す．第 2 章は，本研究の背景について述べる．続く，第 3 章では，本研究で提案する LEHU-ITACO の詳細を説明し，第 4 章では，本研究で行った評価実験について述べる．第 5 章では，本研究における考察について述べる．そして最後に第 6章をまとめとする．

図 1: LEHU エージェントの分類

図 2: LEHU エージェントと認められやすいコミュニケーションロボット [7]

2

関連研究

2.1

LEHU エージェント

LEHU エージェントは，低い表出能力と高い理解能力(Low Expressive functionality and High Understanding functionality) を持ったエージェントである [4](図1(D))．既存研究では表出能力に非自然言語，理解能力には自然言語の理解能力を持ったエージェントとして提案されている．LEHU エージェントは，しりとりという簡単なやり取りであれば，自然言語を使わず言語的なコミュニケーションが行える可能性を示された [3]．

2.2

LEHU エージェントとして捉えられや
すいコミュニケーションロボット

福田らは，LEHU エージェントとして成立しやすいエージェントの見た目について検討し，図 2 に示すデザインを提案している [7]．

を指定することができる．ボタンの押下によって指定されたアクションは HTTP リクエストとして LEHUITACO サーバに送信される．LEHU-ITACO アドミン
ページは HTML，CSS，React+TypeScript を用いて実装されている．

3.1.2

LEHU-ITACO サーバ

あるエージェントが PC やタブレット等の複数のデバイス間を乗り移る研究として ITACO が存在する. この研究では，乗り移り先が持つ「役に立つ」機能をエージェントが提供し，ユーザからエージェントに対して強い愛着を獲得できることが示されてきた [6].

LEHU-ITACO サーバは非同期分散的に動作している LEHU-ITACO アドミン及び LEHU-ITACO デバイ
ス間のエージェントの所在地情報の整合性を管理し，LEHU-ITACO アドミンからの入力を受けてアクションの実行リクエストを発行する．LEHU-ITACO サー
バのプログラムは HTTP サーバとして実装されており，ネットワーク機能を有する任意のハードウェア上で実行が可能になっている．本論文中で行った実験においては一般的なパーソナルコンピュータを用いた．プロ
グラム本体は Python3 で書かれており，HTTP サーバ機能に Flask，データ保存に dbm モジュールを使用している．

3

3.1.3

図 3: LEHU-ITACO の概要

2.3

ITACO

LEHU-ITACO本研究では，LEHU エージェントと「乗り移り」を組み合わせることで文脈生成を行い，意図伝達を可能にする LEHU-ITACO を提案する．また，提案手法を実際に LEHU-ITACO システムとして構築した (図 3)．

3.1

システム構成本研究の実験を行うに当たり，LEHU エージェントの乗り移りを再現するためのシステムを構築した．構成要素は，下記の 3 つに分類される．

• LEHU-ITACO アドミン
• LEHU-ITACO サーバ• LEHU-ITACO デバイス
主な機能として，家電やデバイス間のエージェントの乗り移ることやその乗り移り先で音声を出すなどのアクションを実行することができる．

ITACO サーバから発行されたアクションの実行リク
エストを任意のタイミングに受け取り，デバイスの動作や乗り移りなどのアクションを実行できる．LEHUITACO デバイスのプログラムは HTTP クライアントとして実装されており，ネットワーク機能を有する任意のハードウェア上で実行が可能になっている．本論
文中で行った実験においてはロボット，Philips Hue，SwitchBot などのデバイスとのやり取りを仲介するプ
ログラムを記述して LEHU-ITACO デバイスの機能をもたせ，これをそれぞれのデバイス専用に準備された
Raspberry Pi 上で実行した．Raspberry Pi が個々のハードウェアデバイスと LEHU-ITACO サーバの間のやり取りを吸収することで様々なハードウェアに柔軟に対応することが可能になっている．LEHU-ITACO デバイスのプログラム本体は Python3 で書かれており，
HTTP クライアント機能に requests モジュールを使用している．

3.2
3.1.1

LEHU-ITACO アドミン

PC またはスマートフォンなどインターネットブラウ
ザ上で動作する Web アプリケーションフロントエンド
であり，ページ上に存在する UI のボタンを押すことにより，任意の乗り移り先や音声の出力等のアクション

LEHU-ITACO デバイス

システム動作

LEHU-ITACO システムの動作例を記述する．

3.2.1

乗り移り

LEHU-ITACO アドミン画面より任意の乗り移り先を指定し，LEHU-ITACO サーバを介して乗り移り先

のデバイスや家電に設置された LEHU-ITACO デバイスがリクエストを受け取ることで乗り移りが行われる．
その際に，LEHU-ITACO デバイスと共に設置されていた IoT バーライトが発光し，同じく設置されていたスピーカーから音声が発せられる．バーライトの発光は，エージェントがその場に存在する限り発行し続ける仕様である．また，Bluetooth で各デバイスや家電に取り付けられた SwitchBot に接続され，電源などの物理ボタンが自動で押下されることで乗り移りを実現するパターンもある．

3.2.2

発話
図 4: 実験環境

任意のデバイスや家電に乗り移りが完了した状態で，LEHU-ITACO アドミン画面から任意の音声を指定することで，LEHU-ITACO サーバを介して乗り移り先のデバイスや家電に設置された LEHU-ITACO デバイスがリクエストを受け取ることで，発話が行われる．
LEHU-ITACO デバイスと共に設置されているスピーカーから音声が出力される．

4

評価実験

LEHU エージェントがデバイス間を乗り移ることの効果を検証するため，作成した LEHU-ITACO を用いて評価実験を行った．

4.1

実験環境

本実験は，日本大学文理学部の研究室内にて行った．
研究室内にロボット，冷蔵庫，机を配置した．図 4 に実験環境の様子を示す．ロボットを台に設置し，ロボットとの対話の際には実験参加者は椅子に腰掛けロボットと対面することができる．
LEHU-ITACO が乗り移れるデバイスは，ロボット，冷蔵庫，机の 3 つである (図 5)．冷蔵庫と机に乗り移りを行う際には，エージェントが存在する目印としてライトが発光する. 冷蔵庫には冷蔵庫上部にバーライトが取り付けられており，机には机上に卓上ライトが設置されている．また，アクションとして音声を出すため，冷蔵庫と机それぞれにスピーカーをユーザには見えない様に搭載いる．さらに，冷蔵庫の中には，りんご，マンゴー，桃，にんじんのレプリカが入っている．

4.2

実験条件

フェーズ 2 では以下の 2 条件で実験を行う．(1) 乗り移りなし条件: LEHU エージェントがロボットの状態で

図 5: 本実験で用意した乗り移り各プロセスに誘導する．(2) 乗り移りあり条件: LEHU
エージェントが様々な家電やデバイスに乗り移り，各プロセスに誘導する．

4.3

実験方法

本研究の実験方法として，大きく 2 つのフェーズに分けて実施する．

4.3.1

フェーズ 1

フェーズ 1 では，実験参加者にエージェントを理解，認識してもらう目的でロボットの状態のエージェントとしりとりを行う．フェーズ 1 の具体的なフローを示す．

(1) 必要な教示を行う．ここでは，実験参加者にロボットとしりとりをしてもらう旨に加え，2 分間の経過，またはロボットと実験参加者がしりとりで 5 往復完了することを終了条件とする旨を教示する．
(2) 実験参加者には椅子に座ってもらい，台に置かれたロボットと向かい合う．

(3) ロボットの発話を皮切りにしりとりを開始する．

表 1: 質問
Q1 「コミュニケーションが成立したと思うか」
Q2 「非自然言語エージェントの意図を感じたか」Q3 「非自然言語エージェントの訴えかけに対してどのくらい確信を持てたか」Q4 「エージェントをどのように感じたか (1:機械的—7: 生物的)」(4) 2 分間が経過するか，またはロボットと実験参加者がしりとりで 5 往復することでしりとりを修了する．
(5) Google Forms を用いたフェーズ 1 に関するアンケートを実験参加者の PC またはスマートフォンに送信し，回答してもらう．

4.3.2

フェーズ 2

フェーズ 2 では，LEHU エージェント及び LEHUITACO エージェントがしりとり以外のインタラクションにおいてユーザに意図を伝達できるかを検証する．
フェーズ 2 の実験フローは以下の通りである．

(1) 必要な教示を行う．ここでは，この後の実験でLEHU エージェントが何かを伝える発言をする
ためその意図を汲み取ること，エージェントの意図に対応する単語を思いついた際には「○○○と言ったの？」と確認作業を毎回行うこと，そしてLEHU エージェントの意図を全て理解するか実験参加者がギブアップ宣言することで実験終了となる旨を教示する．また上記教示に加えて乗り移りあり条件の場合は，冷蔵庫と机の乗り移る際にはそれぞれを照らすライトが光るが，エージェン
トはそれぞれのライトではなくライトが照らしている冷蔵庫や机に乗り移っているということをあらかじめ教示した．

4.4

実験参加者

本実験では，フェーズ 1 は 6 人，フェーズ 2 は各条
件 3 人ずつの実験参加者で実施した．

4.5

評価方法

コミュニケーションや意図伝達の評価を主題とし，Google Forms を利用した主観評価アンケートを実施した．
フェーズ 1 とフェーズ 2 の終了時に，表 1 に示す質問項目を 7 段階のリッカート尺度で評価する.

4.6

結果

(3) 「扉」に対応する非自然言語の音声を LEHU エー
ジェントが発話し，冷蔵庫の扉に実験参加者の意識を誘導し開けさせる．

本研究では，各実験後に Google Forms を利用したアンケートによる回答を求めた．図 6 にフェーズ 1，フェーズ 2 のそれぞれの評定項目における平均による結果を示す．
図 6 では全ての項目においてフェーズ 2 の「乗り移りあり」の平均値がフェーズ 1 とフェーズ 2 の「乗り移りなし」の平均値より総じて高い値であると確認された．
評価結果から，乗り移りを行うことで，意図伝達が容易になる可能性が示唆されたのではないかと考える．

(4) 「りんご」に対応する非自然言語の音声を LEHU
エージェントが発話し，冷蔵庫の中のりんごに実験参加者の意識を誘導させ取り出させる．

5(2) 「冷蔵庫」という言葉に対応する非自然言語の音声を LEHU エージェントが発話し，冷蔵庫に実験参加者の意識を誘導．

(5) 「机」に対応する非自然言語の音声を LEHU エー
ジェントが発話し，机に実験参加者の意識を誘導．
(6) 「置いて」に対応する非自然言語の音声を LEHU
エージェントが発話し，机上りんごを置くことをに実験参加者に誘導．
(7) Google Forms を用いたフェーズ 2 に関するアンケートを実験参加者の PC またはスマートフォンに送信し，回答してもらう．

考察

第 4 章の実験結果から，乗り移りを行うことにより，意図伝達が容易になる可能性が示唆されたのではないかと考える．
Q2，Q3 ではフェーズ 1 がフェーズ 2 の乗り移りなしと比較して高い数値が出ている．これは，フェーズ 1はしりとりを行っているため，文脈の有無による差なのではないかと考える．
また，Q4 ではどの項目でも比較的高い数値が出ており，LEHU エージェントの生物らしさが高水準である可能性があるということが示唆された．

[3] 清丸寛一, 大澤正彦, 今井倫太, ”予測的認知を用いた非自然言語による言語的コミュニケーション”,
第 6 回汎用人工知能研究会, 2017.
[4] 大澤正彦, ”汎用人工知能実現に向けた人とエージェントの相互適応の研究”, 慶應義塾大学 博士論
文, 2020.
[5] 大澤正彦, 川崎邦将, 八木拓真, 長田茂美, 今井倫
太, ”汎用人工知能研究のマイルストーンとしての擬人化キャラクター”, 第 6 回汎用人工知能研究会,
2017.

図 6: 実験結果

6おわりに

本稿では，LEHU エージェントが自ら文脈生成できるインタラクションデザインとして，デバイス間をエージェントが「乗り移る」ことができるエージェントデザインであるマイグレートエージェントと組み合わせることを提案した．デバイス間をエージェントが乗り移ることができるシステムとして LEHU-ITACO システムを構築し，様々なアクションの実行を可能にし，実験を行った．
実験から，エージェントが乗り移り，何かを伝える発言をすることにより，意図伝達が容易になるという可能性が示唆された．しかし，実験参加者数が規定人数に達していないことにより統計的には優位とは言えない．そのため，今後は実験参加者数を増やし，分散分析を行うことで本研究が優位なものであるか検証する必要がある．

謝辞
本研究を行うに当たり，意見やアドバイス，システ
ム構築等で多大なるお力添えをいただいた，島田大樹
氏に心から感謝申し上げます．

参考文献[1] Takanori Komatsu and Seiji Yamada. Eﬀects ofadaptation gap on user s variation of impressionsof artiﬁcial agents. Proc. WMSCI, 2010.
[2] Dennett, D. C. The Intentional Stance, Cambridge, Mass, Bradford Books/MIT Press, 1987.

[6] 小川浩平，小野哲雄, ”ITACO: メディア間を移動可能なエージェントによる偏在知の実現”, ヒューマンインターフェース学会, 2006.
[7] 福田聡子, 澤田志織, 川崎邦将, 奧岡耕平, 大澤正彦, 長田茂美, 今井倫太, ”適応ギャップ理論を拡張したインタラクションデザインの提案”, HAI シンポジウム, 2019.