2020年度 グループ１ 活動報告
研究開発項目１︓存在感・生命感 CA の研究開発

研究開発課題１：存在感 CA の開発と高臨場感インターフェースの研究開発
最終的には、人間らしい姿形で、人間の持つ存在感に基づいてサービスを提供する存在感 CA を実現しなければならない。
そのために、これまで課題推進者が培ってきたアンドロイド技術を基に、存在感 CA の概念設計及び詳細設計に取り組んだ。
また、存在感 CA のデザインは社会的影響も考えれば非常に重要である。関係者と議論を重ねながら、広く受け入れられるデザインの実現に取り組んだ。

CG-CA の研究開発
存在感 CA の開発に時間を要することと、より広範囲における CA の利用を考えれば、CG-CA の利便性は非常に高い。そこ
で物理世界で活動する存在感 CA の開発に平行して、コンピュータグラフィックスの CG-CA の概念設計に取り組んだ。CGCA のデザインや動作設計は専門のデザイナーと連携しながら進めた。

CA 自在操作インターフェースのシステム開発
存在感 CA や CG-CA、また生命感 CA を自在に操作するには、そのためのインターフェースが必要となる。ここでは、研究開発課題２と連携しながら、状況や目的に応じた CA 自在操作インターフェースの概念設計に取り組んだ。CA 自在操作インターフェースに用いるデバイスとしては、パソコン、タブレット、スマホ、VR ゴーグル、AR ゴーグルについて検討した。また、そのインターフェースに用いるモダリティとしては、音声、視線、表情、テキスト入力、タッチパネルなどを利用することを考察した。

小型遠隔操作対話ロボット(CA)を用いた実証実験
加えて、本年度では研究開発項目 7 の研究開発課題 1 と連携しながら、遠隔操作対話ロボット(CA)の可能性を検証し、解くべき課題を明らかにする実証実験に取り組んだ。具体的には、まちかね保育園（大阪大学内）、ニフレル（大型商業施設エキスポシティにある水族館）、イズミヤ（大型商業施設エキスポシティにあるスーパーマーケット）において、（株）サイバーエージェントと伴に、CA を用いた実証実験に取り組んだ。CA としては、Sota という名称で販売されているロボットを CA に改良して用いた。まちかね保育園では、高齢者が CA を遠隔操作して、園児の挨拶運動の相手をし、保育士と同レベルの返答率を達成した。また高齢者の業務への評価も高く、高齢者が意欲的に遠隔操作に取り組めた。ニフレルでは、6 台のアバターを 4 人の操作者が操作し、館内案内や展示説明を行った。来場者の多くが CA と対話し、非常に人気のある CA サービスとなった。イズミヤでは、CA によるレシピチラシ配布を行い、常設枚数の約 3 倍を配布することができた。また、自律ロボットとして話すよりも、CA(遠隔操作ロボット)であると明示して話す方が、来客がレシピを手に取る率が高い可能性を発見した。

研究開発課題２：高臨場感遠隔操作インターフェースの認知科学研究
高臨場感を持つ CA インタフェースの情報提示技術の研究開発と適応に関する認知的理解
高臨場感 CA 情報提示インタフェースの概念設計と詳細設計に取り組んだ。認知レベルでの高臨場感は、CA と関わる複数の利用者の感情状態や、CA の意見に対する反応などの、遠隔からでは感知することが難しい利用者の情報を、CA 操作インタフェースの画面にわかりやすく強調表示することが必要である。本年度はこれらについて概念設計及び詳細設計を行った。
具体的には、対話中に操作者が CA の操作を通じて注視すべき領域を画面上に強調表示し、対話現場での、CA の適切な振る舞いを実現できるよう促すインタフェース設計を行った。また、設計されたインタフェースの完成形を評価できるよう、CG を用いたモックアップを作成した。
1 / 3

研究開発課題４：抱擁型生命感 CA の研究開発
抱擁型生命感 CA に関する基礎的研究開発
本年度は、抱擁型生命感 CA の設計指針構築に取り組んだ。具体的には、人体やロボットに簡単に取り付けることが可能な布型のタッチセンサを用いて、人がタッチセンサを触れた際にどのようなデータが得られるかを検証するためのデータ収集を行った。
発展的な取り組みとして、装着型センサを用いて自己接触を検出してユーザを応援する発話を行うシステムを開発し、ストレス緩和効果に与える影響を検証した。これらのデータ収集及び実験結果に基づき、抱擁型生命感 CA の設計指針を構築した。具体的には、自身に装着して利用する自己抱擁型生命感 CA、小さなぬいぐるみのような形状を備えた小型の抱擁型生命感 CA、および人とほぼ同サイズとなる大型の抱擁型生命感 CA の 3 種類を想定し、その実現に向けて仕様を策定した。

研究開発課題５：生命感 CA の開発と連携対話の研究開発
生命感 CA の開発
本年度では、生命感 CA を実現するために、ダイレクトドライブモータを用いて、完全無音で動作する生命感 CA の概念設計およびハードウェアの試作を行った。また、ハードウェアの試作と並行して、生命感 CA の制御用 API を整備し、動作確認を行い、無音の全身動作が可能であることを確認した。また、頭部表現のサンプルパターンを作成し、頭部フレキシブル有機 EL ディスプレイに描画し、頭部表現についての動作確認を行うとともに、生物としての生命感を持つ生命感 CA にふさわしい頭部表現機構の開発に着手した。

連携対話の研究開発
アバター対話システムについては、遠隔操作型ロボットの科研費プロジェクトや Society5.0 拠点形成事業のプロジェクトと連携しながら、ロボットをアバターとする対話機会を提供するオンライン会議システムである、半自律社会的 CG アバタールーム（CommU-Talk）を開発した。本システムでは、話している人のアバターがその人の声に合わせて手振りをするとともに、残りのアバターが話者アバターを注視したり、頷いたりする社会的応答機能を実装することで、ヴァーチャル空間でありながら、対話感・同室感を持ちながら対話できることが期待できる。3 名 1 組を対とした被験者グループに、使用者の顔画像を表示する従来のオンライン対話システムと比較して、被注視感などの使用感を評価させる予備実験を実施した。

研究開発課題６：存在感 CA の自在動作生成の研究開発
操作者の状態を表出する存在感 CA の動作の自動生成
本年度は、本研究開発課題において用いる存在感 CA の仕様について検討を行った。対話等のインタラクションに用いることを想定し、人型で、空気圧によって上半身の各関節が駆動する（移動機構なし）仕様とした。顔部は、存在感と汎用性を両立するため、一見人に見えるが性別や年齢が特定されないような形状をデザインした。また人らしいジェスチャが可能となるように、できるだけ四肢の重量を減らし、関節トルクを高める仕様を定めた。また、開発する CA を遠隔操作するためのシステムについても開発を進めた。CA を遠隔操作することで他者とインタラクションする場合、操作者は対面で他者とインタラクションする場合ほど、体を動かさない。CA の存在感を高める上では、操作者の無自覚的な動作はシステムが自律的に生成して CAに行わせる方がよい。そこで課題推進者らがこれまでに開発してきたアンドロイドロボットの動作生成システムを応用し、発話に伴う口唇動作や頭部動作を操作者の発話音声から自動的に CA 上で生成するだけでなく、遠隔地において発話している人に視線を向ける動作を自動的に生成する機能を実装した。また、CA のジェスチャについても、操作者の認知的負荷をできる
2 / 3

だけ軽減するために単純なインタフェースでジェスチャを生成できるシステムの検討を進めている。
また、CA の動作生成に関しては、Conditional GAN（条件付き敵対的生成ネットワーク）に基づく上半身のジェスチャ生成の研究に取り組んでいる。人が話しながら自然にジェスチャを行ったデータを基に、音声を入力として、韻律特徴を抽出し、それを条件とした C-GAN モデルの学習を進めている。CG エージェントに動作を生成し、被験者実験を通して人らしい動作が生成されることが確認できた。

研究開発課題７：CA の対話動作学習機能の研究開発
複数人対話中の反応動作の生成モデル
対話中の人間の動作の計測については、初年度である令和 2 年度は 2 名の対話シーンに限定し、データ取得の枠組みの設計及び予備実験的なデータ収集を開始した。2 つの状況を想定して記録システムの構築と予備実験的なデータ取得を行った。1) 着座中における、頭部動作やジェスチャーを含めた対話データの取得においては、向かい合った 2 名の対話中の動作について、時刻の同期を取った映像および音声の取得の枠組みを構築し、5 ペアの対話シーンを記録した。また、ここで取得したデータに対する深層生成モデル (具体的には、 Variational Autoencoder with Arbitrary Conditioning) を用いたモデル化を行った。また、2) 移動を制限しない一人称視点の対話データの取得においては、装着型のモーションキャプチャシステム及び視線計測装置を用い、立ち話など移動を伴うシーンでの対話についての計測システムの構築に取り組んだ。
以上のようなデータ収集を行うとともに、遠隔操作型のロボットを用いた対話アバターについても検討を行い、フレームワークの検討を行った。CA の遠隔操作を行う場合、簡便なインターフェースでは操作時に用いることが可能な遠隔地の情報が不十分になる。そのような状況で自然な振る舞いを生成することは容易ではない。例えば、移動機構を持つ遠隔操作アバターにおいては、対話中の対人距離などは遠隔地から知覚しにくいなど、半自律的な制御によるサポートが必要になる。一人称視点
でのセンサ情報を用いて対話相手を含む環境へ反応する人間の振る舞いを生成モデル (確率分布) を用いてモデル化する
ことで、状況に応じた自然でスムーズな動作を半自律的に生成するシステムの構築に取り組む。

3 / 3