HAI シンポジウム 2017
Human-Agent Interaction Symposium 2017

G-9

1 役を演じる 2 者間の HAI - 発話の半自律化に向けてInteracting as One : An Exploration into Human-AgentInteraction in Semi-Autonomous Conversation
豊永 哲士 1∗ 大澤 正彦 12 今井 倫太 1
Tetsushi Toyonaga1 Masahiko Osawa12 Michita Imai1
慶應義塾大学理工学研究科
Keio University, Graduate School of Science and Technology
2
日本学術振興会 特別研究員 (DC1)
2
Research Fellow of Japan Society for the Promotion of Science(DC1)1

1

Abstract: 半自律機能を持ったテレプレゼンスロボットは，遠隔操作者の社会性を引き継ぎつつ，操作負荷も軽減するため，注目されている．ところがこれまで提案されてきた半自律テレプレゼンスロボットの自律機能は補助的な振る舞いのみに止まっている．本研究では，遠隔コミュニケーションにおいてもっとも重要な，発話の半自律化を検討する．検証の題材として 2 人 1 役を演じる 2 者を含むチャットシステムの系を作成して考察を行った．

1

はじめにテレプレゼンスロボットは遠隔操作者の社会性を引き継ぎ，社会的存在価値を高めることが知られている[3]．テレプレゼンスロボットと対面した対話相手は，ロボット越しに遠隔操作者の存在感を感じながら対話するが，テレプレゼンスロボットの動作を一部自律化した半自律テレプレゼンスロボットにおいても，同様に対話相手に存在感を与えながら操作負荷を軽減することが示されている [2][4]．
例えば，[2] では対話中における頷き動作に着目し，自動で頷き動作を行う半自律遠隔操作アンドロイドを開発した．[4] では身体動作の抑制，頷きや相槌などのバックチャネル，指差しの 3 動作を半自律行動として補完し，遠隔操作者と対話相手の二人で共同タスクを円滑に行うことができる半自律型テレプレゼンスシステムを構築した．
半自律テレプレゼンスロボットの従来研究において，主に不随意的な非言語情報の半自律化が行われてきた
一方で，随意的な振る舞いについての検討はあまり行われていない．著者らが行った既存研究でも，随意的な振る舞いの自動化を試みたが遠隔操作者との意図の競合がおこり，結果として強いフラストレーションを与えてしまうことが示されており [6]，随意的な振る舞いの一つであるコミュニケーションの本質としての会話については半自律化に関する検討がなされてこなかった．
∗ 連絡先： 慶應義塾大学理工学研究科〒 223–0061 神奈川県横浜市港北区日吉 3–14–1
E-mail: toyonaga@ailab.ics.keio.ac.jp

図 1: 2 人 1 役を演じる 2 者を含むチャットシステムにおける対話テレプレゼンスロボットにおいて，コミュニケーションのメインになる随意的な振る舞いを自律化するアプ
ローチは 2 つ存在する．1 つ目のアプローチとしては，遠隔操作者の振る舞いをオンライン学習して、随意的な振る舞いのうち遠隔操作者の意図と競合しない振る舞いのみを自律化する方法 [7] があるが，遠隔操作者の意図と競合するような振る舞いについての自律化は困難である．2 つ目のアプローチとしては，遠隔操作者とテレプレゼンスロボットが相互適応することで学習を進める方法 [1] がある．
本研究では 2 つ目のアプローチを用いることで，テレプレゼンスロボットにおける会話の半自律化の実現に向けた，チャットシステムにおいて 2 人 1 役を演じる人間とエージェントのインタラクションを検討していく．
図 1 に本研究での想定するインタラクションの系を示す．チャットシステムにおける会話には対話者，システムユーザ，発話エージェントの 3 者がメッセージを送受信しあうことで成立する．システムユーザと発話エージェントが 2 人 1 役を演じており，2 者はインタラクションをしながら対話者に対して適切な発話をしていく．システムユーザと発話エージェントは共に遠隔操作者として対話者と会話するので，対話者から見ると 1 対 1 で会話しているように見える．システムユー
ザと発話エージェントのインタラクションの設計のために，本研究ではまず人間による 1 人対 2 人のチャットシステムにおける会話を観察する予備実験を行った．
予備実験を行なった結果から，発話者交替の間によって十分適応できる可能性が示唆された．
本研究では発話者交替時の「間」に着目してチャットシステムにおけるシステムユーザと発話エージェントのインタラクションを設計した．本インタラクション
では，システムユーザが対話者にメッセージを送るまでの「間」からシステムユーザに返答の意思があるかどうかを発話エージェントが判断し，システムユーザがメッセージを送らないようであれば，発話エージェントがメッセージを自律的に送信する．
2 人 1 役側の参加者が両方が人間である場合と，1 人が人間でもう 1 人が発話エージェントである場合の 2条件において 1 人対 2 人のチャットシステムにおける会話を分析する評価実験を行った．結果としては，HAIのコンセプトに従って人間とシステムが協力することで発話エージェント自体の能力が質素であったとしても，2 人 1 役側のもう一人の参加者からの評価が人間の場合と発話エージェントの場合で差が小さいことが分かった．
本論文の章立ては以下の通りである．2 章で関連研究とそれに対する本研究の位置づけについて述べる．3
章でインタラクションを設計するために行った予備調査実験について述べ，実験の結果をもとに 4 章にインタラクションの設計と発話エージェントの提案をする．
5 章では発話エージェントの評価をするために行った実験を説明し，実験結果について考察する．6 章では結論を述べるとともに，将来研究についても述べる．

2

背景

2.1

関連研究

遠隔操作ロボットやテレプレゼンスロボットの半自律化に関する研究は以前からなされている [8][2][4][5][6][7]．

[8] では，自律的に行動しているロボットと遠隔操作者によって操作されるロボットの二種類のロボットがそれぞれ子供とインタラクションしたところ，子供は二種類のロボットに対して異なる応答を示さなかったことが確認されている．したがって，遠隔操作者の操作の一部を自律動作に置き換えることで操作者の負担を軽減しながら子供と同じようにインタラクションをすることが可能だということを示唆している．
半自律テレプレゼンスロボットの研究として，テレプレゼンスロボットを使用した会話における非言語情報を用いて半自律テレプレゼンスロボットを開発した研究が存在する [2][4]．[2] では会話における頷き動作に着目し，操作者の遠隔操作に加えて自律頷き動作を行う遠隔操作型アンドロイドを開発した．また，[2] によると半自律操作の利点として，操作者の主体感を損なうことなく状況に応じた適切な動作を実現することが可能である．[4] では身体動作の抑制，顔向けや頷き等のバックチャネル，指差しの三動作を半自律行動として補完した半自律テレプレゼンスロボットを開発した．開発した半自律テレプレゼンスロボットを用いて，遠隔操作者と実験参加者が共同タスクを行ったところ，実験参加者は半自律テレプレゼンスロボットを通じて遠隔操作者の非言語行動の意図をより理解しやすくなり，遠隔操作者は半自律テレプレゼンスロボットとの間に生じる認知的・身体的な齟齬の低減を確認した．
また，随意運動と不随意運動に注目した半自律テレプレゼンスロボットの研究も存在する [5][6]．[5] では
随意運動と不随意運動をそれぞれ自動化した半自律テレプレゼンスロボットを開発し，半自律テレプレゼンスロボットの振る舞いと人の印象との関係を分析した．
分析の結果，随意運動を自動化した場合に遠隔操作者に強いフラストレーションがかかる可能性があることが確認された．[6] では半自律テレプレゼンスロボット
における随意運動と不随意運動の自律化における遠隔操作者への影響を調査した．調査の結果不随意運動の自律化は遠隔操作者のテレプレゼンスロボットへの満足度を向上しうる一方，随意運動の自律化は遠隔操作者に強い不快感を与えることが示唆された．
[1] によると人間とエージェントとのインタラクションである HAI を適応として捉える枠組みを提案し，エージェントのタスクに応じた適応のためのインタラクション設計の重要性が示されているが，テレプレゼンスロボットと遠隔操作者の適応に注目した半自律テレプレゼンスロボットの研究もなされている．[7] では，ロボットが遠隔操作者に適応し，不快な音刺激を学習して自律的に回避行動を表出する半自律テレプレゼンスロボットを開発した．随意運動である回避行動の表出に成功したのは．まさにロボットと遠隔操作者が適応していたためであろう．

図 2: パターン 1:発話者交替時の非言語コミュニケーションの例

2.2

本研究の位置付け

既存研究に対し，本研究ではチャットシステムにおいて 2 人 1 役を演じるシステムユーザと発話エージェントのインタラクションに注目して，コミュニケーションの本質である発話の半自律化について検討していく．
発話は随意運動であるため，発話の半自律化は [5] や[6] にあるように遠隔操作者に不快感を与えかねない．
よって，[7] のように本研究においては発話エージェン
トがシステムユーザの返答の意思をみることでシステムユーザと発話エージェントが適応するようなインタラクションを設計していくことで，発話の半自律化を図っていく．

3

予備調査実験

本章では，インタラクションを設計する前に実施した調査実験について説明する．

3.1

実験目的

本実験の目的は発話の半自律化に向けて，チャットシステムに参加している人間の発話交替時の行動に関する調査をするためである．

3.2

事前準備

実験参加者に対してアンケート調査を行い，23 項目のキーワードについてそれぞれ熟知度を 7 件法で評価させた．7 件法において 6 点以上を付けた参加者が 1 人

図 3: パターン 2:発話者交替時の間の観察の例

以上，2 点以下をつけた参加者が 1 人以上，合わせて 3人以上いたキーワードを 4 つ選定した．選定したキーワードに対し，6 以上を付けた参加者と 2 以下を付けた参加者によってチャットシステム上において 2 人 1 役を演じるよう指示した．対話者は，6 以上を付けた参加者か，2 以下を付けた参加者を選定した．点数が同率の参加者が複数人いた場合はその中からランダムに参加者を選択した．

3.3

実験方法

実験参加者の選定基準として使われた質問事項をテー
マに Slack を利用して会話を開始させた．2 人 1 役側
は，同一アカウントに同時にログインして，対話者からはどちらかが返答したかが確認できないようにした．
2 人 1 役側は，熟知していない方の参加者が主に会話返答するメイン役を担当し，もう一人は必要に応じて知識を補足するために介入するサブ役を担当するように指示した．会話相手となる 1 人側の参加者は，まず初めに自由に会話するように指示され，会話が 3 往復した時点で，3 問のやや難しいテーマに関する質問リストが渡されて，会話の中で質問をすべて行うことを指示した．

3.4

実験参加者

20 代の男女 7 人にアンケートに回答してもらい，その中の 6 人が実際に実験に参加した．

3.5

本実験では，2 人 1 役の参加者がお互いに顔が見えるように座り，自由に非言語的コミュニケーションを取ることを許可してチャットに参加させる場合と，お互いが見えないように座り，会話の間のみをヒントとしてチャットを参加させる場合の 2 条件を用意した．また，対話者として 6 以上を付けた参加者を選定した場合と，2 以下を付けた参加者を選定した場合の 2 条件を用意した．したがって本実験では全体で 2 × 2 の 4条件に各 1 回ずつ計 4 回実験をした．

3.6

評価方法

実験の様子をビデオで撮影し，ビデオ映像を分析するとともに会話のログを確認することで発話者交替時の特徴的な行動を評価した．

3.7

考察

非言語情報のやり取りを許可しなかったパターン 2
においても間を観察することで発話者交替が可能であったため，本研究では発話者交替時に見られた間に着目してインタラクションを設計し，システムユーザと設計した通りのインタラクションを行うことのできる発話エージェントを提案する．

4• IAH 発話エージェントが受け取るシステムユーザの発話情報• IHA システムユーザが受け取る発話エージェントの発話情報である．ただし，システムユーザと発話エージェントは言語情報をやり取りしないため，IAH ，IHA では間の情報のみが伝達される．また，IOE はそのままシステ
ムユーザと発話エージェントが受信した発話情報になり，IEO はシステムユーザと発話エージェントの発話情報の両方であることに注意する．IAH によって得た
間 interval と，対話者からシステムユーザへの発話者交替時の間の平均値 Aveinterval を用いて，interval がAveinterval を超えたら IAE を送信するよう設計した．
次に本研究で提案する発話エージェントを説明する．
発話エージェントの発話生成アルゴリズムは以下の Algorithm1 を用いた．Algorithm1 では予め想定した質問

実験結果

実験の結果，2 人 1 役を演じたメイン役とサブ役間の発話交替時に，パターン 1 では図 2 に見られるような非言語コミュニケーションが見られた．パターン 2
では図 3 に見られるようにメイン役の参加者がサブ役の参加者の会話への参加を待っている際の間が観察された．

3.8• IEO 対話者が受け取る発話情報

比較条件

提案

本章では設計したシステムユーザと発話エージェントのインタラクションと提案した発話エージェントについて説明していく．本研究では I を間の情報も含む発話情報と定義する．したがって，IOE ，IHE ，IAE ，IEO ，
IAH ，IHA はそれぞれ

Algorithm 1 発話生成アルゴリズム
get IOE
if keywords is in IOE thenIAE = answer
else if ’ ?’ is in IOE then
IAE =′ すみません，わからないです′ or ′ すみません，忘れてしまいました′
else
IAE =′ はい′ or ′ そうですね′
end ifreturn IAEとその回答のペアを作成し，受信したメッセージが想定した質問のキーワードとマッチするのであれば，その質問の回答を返す．マッチしなかった際には，受信メッセージ中に’ ?’ があれば想定していなかった質問だと判断し，’ すみません，わからないです’，あるいは’すみません，忘れてしまいました’ と返し，’ ?’ がなければ会話を続けるための無難な応答として，’ はい’，あるいは’ そうですね’ と返す．提案した発話エージェン
トは非常に質素な発話生成能力しか持たないが，設計したインタラクションの中でどのようにふるまうことができるか評価をしていく．

評価実験• IOE 対話者の発話情報

5• IHE システムユーザの発話情報

本章では提案した発話エージェントの評価実験について説明する．

• IAE 発話エージェントの発話情報

5.1

実験目的

実験目的は設計したインタラクションの中における提案した発話エージェントの会話能力を評価することと，会話中における振る舞いを分析することである．

5.2

事前準備調査実験と同様に事前準備として，実験参加者に対してアンケート調査を行い，48 項目のキーワードについてそれぞれ熟知度を 7 件法で評価した．7 件法において 6 点以上を付けた参加者が 1 人以上，2 点以下をつけた参加者が 1 人以上，合わせて 3 人以上いたキー
ワードを会話の話題として 5 つ選定した．対話相手には，7 件法の点数が 3〜5 点の人の中からランダムに選択した. 予備実験の結果から，知識がなさすぎる場合に問題になる傾向があったためである. メイン役には 7件法の点数が 2 点以下の参加者を選定した．サブ役には 7 件法の点数が 6 点以上の参加者あるいは提案した発話エージェントを選定した．サブ役が提案した発話エージェントである場合には実験参加者をランダムに一人選定し，参加者自身が発話内容を考えてチャットシステム上の会話に参加しているように振る舞わせた．

5.3

実験方法

メイン役とサブ役，対話相手はそれぞれお互いに顔の見えない位置に座らせた．実験開始前に対話者には，あらかじめ用意されたテーマに沿った返答難易度の高い質問 3 つを会話中ですべて質問するよう教示した．メイン役には，対話相手からの質問が分からない場合には会話が途切れるようなネガティブな発言 (例 知らない, 分からない, 見たことがない等）をせずに，ごまかすように振る舞うかサブ役の介入を待つことの 2 点を教示した．サブ役が参加者である場合には，メイン役が発話内容に困っていると感じた時には会話に介入するよう教示した．その後，メイン役とサブ役で 2 人 1役を演じながら，対話相手と実験参加者の選定基準として使われた質問事項をテーマにチャットシステム上で会話をさせた．実験終了後，対話者とメイン役に会話に関するアンケート評価を実施した．アンケートの内容は表 1 の通りである．

5.4

実験参加者

20 代の男女 15 人にアンケートに回答してもらい，その中の 10 人が実際に実験に参加した．

図 4: サブ役が 6 点以上を付けた参加者であるときの発話者交替時の間 左:対話者→メイン役 右:対話者→サブ役

図 5: サブ役が発話エージェントであるときの発話者交
替時の間 左:対話者→メイン役 右:対話者→サブ役

5.5

比較条件

サブ役が参加者である場合と発話エージェントである場合の 2 条件において，会話内容と対話相手，メイン役とサブ役を変更しながら，2 条件ともに 5 回ずつ計 10 回実験を行った．

5.6

評価方法

実験終了後に実施したアンケートと，会話ログから分析した発話者交替時の間の 2 点から評価をする．
表 1: 評価アンケート項目
対話者用
1.1 会話は円滑に進んだか？
1.2 対話相手が人間的であると感じたか？
メイン役用
2.1 サブの人が対話に参加するタイミングは良かったか？
2.2 サブの人の対話内容は適切だと感じたか？
2.3 サブの人に助けられたと感じたか？
2.4 会話は円滑に進んだか？
2.5 サブの人に対して人間的であると感じたか？

O: いきなりですが、ベースのスラップ奏法って知っていますか？
A: たしかベースを平手で打つように演奏する方法だった気がします
O: そんな気がしますねー
A: はい
O: ベースって弾いたことありますか？
H: ないです
O: ないのですかー
A: そうですね
O: じゃあ音楽ってよく聞きますか？
H: 聞きますO: ワンオクロックとか聞きます？
H: 詳しくないけど、聞きます
O: ワンオクロックのベースって誰か知っていますか？
A: Ryotaさんですかね
O: おー
O: そうですね
A: そうですね
O: ベースのメーカーとかは知っていますか？
A: すみません、忘れてしまいました
O: ryotaさんに限らず全般的にA: はい
O: 一番大きいサイズのエレキベースを作っているメーカーとか
O: どこか知ってます？
A: 自分はFenderだと思います
O: なるほどー
O: まあ定番ですしいろいろありそうですよね
A: そうですね

図 6: アンケート評価の各項目における結果

5.7

結果

アンケート評価の結果を図 6，会話ログから分析した発話者交替時の間の結果を図 4,5 に示す．なお，話題について多く知識を有しているにもかかわらず、アンケート調査で１（全く知識を有していない）と報告していることが実験後のインタビュー調査で判明し、実験として相応しくないと判断実験参加者がいたため，その実験参加者がメイン役として参加した実験結果を除外している．また，実験中の会話の例を図 7 に示す．

5.8

考察

アンケート評価の各項目において，有意差は見られなかったが質問 1.1 においては有意水準 10%で有意傾向にあるという結果を確認した．これは，発話エージェ
ントの発話候補が少ないため対話者から見た時に返答に人工感を感じたためである，と考えられる．しかし，対話者からの評価と比較すると，メイン役からの評価
では，サブ役が 6 点以上を付けた参加者である場合と，発話エージェントである場合の評価の差は小さかった．
特に質問 2.2 においては，標準誤差の範囲内ではあるが本研究でもっとも注目した，サブ役の発話タイミン
グに関して, 本研究で提案した発話エージェントは非常に質素なものであるにもかかわらず人間のタイミングと同等以上の評価を得ている．したがって，1 役を演じる 2 者のインタラクションを間を用いてデザインできる可能性が高いと考えられるため，今後実験参加者を増やして詳細に検討を進める必要がある．
また，図 4 左と比較すると, 図 5 左ではサブ役である発話エージェントが約 12.6 秒の一定間隔で発話するため，それ以上長い間が空くことがなかった. さらに，サブ役が人間である場合の 12.6 秒以下の発話者交替時の間の平均値は約 8.6 秒であり，サブ役が発話エージェ

図 7: 実際に行われた会話の例 O:対話者 A:発話エー
ジェント H:システムユーザ 太字はあらかじめ作成した質問に対する発話エージェントの返答ントである場合の応答時間の平均値の方が小さいことから，発話エージェントが自律的に発話を行うことで会話のテンポ自体に影響を及ぼした可能性がある. つまり，IAH によって IHA が変化しているため，結果として発話者交替時の間が 1 役を演じる 2 者間の相互適応を促したことが予想される．この点についても今後さらに検証していく.

6

おわりに

本研究ではテレプレゼンスロボットにおける会話の半自律化の実現に向けた，チャットシステムにおいて 2
人 1 役を演じる人間とエージェントのインタラクションを設計した．2 人 1 役を演じたメイン役とサブ役間の発話交替時に観察された間に着目し，インタラクションを設計したところ，サブ役が非常に質素な発話エージェントであってもメイン役の人からの評価が下がりにくいことが分かった．
将来研究として検討すべき事項は 3 つ挙げられる．1
つ目としては追加実験を行い，実験参加者を増やして検討を進めた際の，評価の変化の確認や IHA の検討があげられる．2 つ目としては，本研究では調査実験において発話者交替時に見られた間に注目したが，発話者交替時に見られた非言語情報を考慮していないので，発話者交替時の非言語情報を考慮したインタラクションを設計することがあげられる．最後に 3 つ目として，本研究では非常に質素な発話エージェントを用いたので，2 人 1 役を演じる場合における適切な対話システムのレベルを考察することがあげられる．

参考文献[1] 山田誠二, 角所考: 適応としての HAI, 人工知能学
会誌, Vol.17, No.6, pp.658-664, 2002.
[2] 中道大介, 西尾修一: 遠隔操作型コミュニケーショ
ンロボットにおける頷き動作の半自律化による操作主体感への影響, 人工知能学会論文誌, Vol.31,
No.2, pp.1-10, 2016.
[3] 今井倫太: ロボットが社会的に存在することの価値, 日本ロボット学会誌, Vol.31, No.9, pp.864-867,
2013.
[4] 大本義正, 斎賀弘泰, 西田豊明: 操作者の振る舞いと実世界情報の統合による半自律型テレプレゼンスシステムの構築, 人工知能学会全国大会論文集,
Vol.26, pp.1-4, 2012.
[5] 大澤正彦, 滝本祐介, 奥岡浩平, 今井倫太: 随意・不随意行動に着目した半自律テレプレゼンスロボットのふるまいの印象調査, 日本認知科学会, pp.OS115, 2017.
[6] 奥岡耕平, 大澤正彦, 滝本祐介, 今井倫太: 半自律テレプレゼンスロボットによる自律化が与える遠隔操作者への影響調査, 人工知能学会第 6 回 SIG-AGI,
pp.SIG-AGI-006-08, 2017.
[7] 大澤正彦, 今井倫太: 半自律テレプレゼンスロボッ
トの不快刺激の学習と回避行動の表出, 人工知能学会第 31 回全国大会, pp.1L2-1, 2017.
[8] M. de Hass, A.Mois Aryo, E.barakova, W. Haselager, I. Smeekens: The Eﬀect Of A SemiAutonomous Robot On Children, IntelligentSystem(IS), 2016 IEEE 8th International Conference on, pp.376-381, 2016.