2021年度 グループ１ 活動報告
研究開発項目１︓存在感・生命感 CA の研究開発

研究開発課題１：存在感 CA の開発と高臨場感インターフェースの研究開発（１）存在感 CA の研究開発
本年度は個性の表出を抑えた中性的な見かけをもつ汎用型 CA を開発した（下図左）。ニュートラルな外見をもつことで、誰が操作をしたとしてもその人に応じた存在感をもつことができるようになっている。本 CA の上半身運動性能は従来よりも高く、遠隔操作の遅れも 0.5 秒以内に留まることが確認されている。また、本 CA のスキンは取り外しが可能となっており、特定の人物に類似したスキンを取り付けることによって特定の人物の存在感をもつジェミノイド CA に変身することもできる（下図右）。この特性を活かして、CA の外見が操作者の印象に与える影響を調査する心理学実験を実施した。汎用型 CA については誰が操作をしても違和感の無いこと、ジェミノイド CA についてはボイスチェンジを加えることで誰が操作をしても別人になりきれる（石黒浩以外の操作者が石黒浩になりきれる）効果があることが確認された。

（２）CG-CA の研究開発
スクリーン上に投影された CG-CA を実世界の観察者が観察する場合、観察者のスクリーンに対する位置に応じて、CG-CAの視線や指差し動作が正しく認知されないという現象が生じることが知られている。本年度はこの現象に対してモデル構築を行うことで、CG-CA と実世界の人物が適切に視線等を交わしながらインタラクションを行うためのプログラミングを進めた。そして心理学実験によって 80％以上の利用者が CG-CA と共同注意できることを確認した（下図左）。
また、研究開発項目２研究開発課題４（李）との連携のもと 2D-CG-CA「ジェネ」を開発した（下図右）。性別を感じさ

1 / 7

せない見かけによって子どもから大人まであらゆる人に受け入れられ利用されやすいデザインとなっている。

（３）CA 自在操作インターフェースのシステム開発
遠隔操作ロボットに用いることができる CA 自在操作インターフェースを開発した（下図左）。複数のロボットからの映像が常に提示されており、その映像をクリックすることでロボットの操作ができるようになっている。システムは音声認識をもとに適切な動作をロボットに付与するため、誰でも話すだけで簡単に操作ができる。70％以上の操作者が 30 分にわたって強いストレスを感じること無く利用できることを、数多くの実証実験の現場において確認している。
また、遠隔操作者に対して遠隔地の臨場感を高めるインターフェースも開発した（下図右）。カメラ映像に対してエフェクトを加えて提示することで臨場感を高める手法を採用した。

（４）その他︓小型遠隔操作対話ロボットを用いた実証実験
以上に加えて、本年度も研究開発項目７研究開発課題１（宮下）と連携しながら、数多くの実証実験に取り組んだ。水族館ニフレル、神戸空港、東急ハンズ、豊中市役所、甲南学園等といった販売・行政・教育等の多様なフィールドにおいて、複数体の CA 操作を通した就業を実現するにあたっての課題探索に取り組んだ。上記のインターフェースの改良案が見つかるなど、研究開発の場面へのフィードバックが効果的に生じている。
課題推進者︓石黒浩（大阪大学）

研究開発課題２：高臨場感遠隔操作インターフェースの認知科学研究（１）臨場感を持つ CA インタフェースの情報提示技術の研究開発と適応に関する認知的理解
認知レベルでの高臨場感は、CA と関わる複数の利用者の感情状態や、CA の意見に対する反応などの、遠隔からでは感知することが難しい利用者の情報を、CA 操作インターフェースの画面にわかりやすく強調表示することが必要である。本年度では、2 者対話、3 者対話時の標準的な発話単位時間において、対話者の視線、感情状態、発話・傾聴状態、ターンテイキングなどの情報を取得し、実時間で表示するプロトタイプ（図１）を作成した。また、これらの情報から、操作者が注視すべき最適な領域を判断するニューラルネットワークの作成に着手した。

2 / 7

図１． 作成したプロトタイプシステムのスクリーンショット。対話者のラベルと、発話中である表示（Human 1）、CA の視線の移動を軌跡として表示している。また、操作者の操作の負担を軽減させるため、操作者が注目すべき点以外ぼかす効果を追加した。
課題推進者︓小川浩平（名古屋大学）

研究開発課題 3：人間型移動ロボット存在感 CA の研究開発（１）移動可能な存在感 CA のための電動アクチュエータユニットの開発
ブラシレス DC モータ、減速機構としてバックドライバビリティが高く静音性に優れるトロコイドギアの組み合わせによるアクチュエータユニットを開発した。アクチュエータユニットは、減速機構、制御用電子基板込みのサイズで最外径 60mm、全長 63mmとなり、要求仕様を満たすサイズで製作できた。また、モータ単体でのトルク計測実験を実施し、減速機構の効率を 85%として計算すると、20Nm を出力可能であることが確認できた。
アクチュエータユニットの出力軸にリンクを取り付け、バックドライブさせることが可能であることを確認した。騒音については、計測を実施できていないものの、他の小型ロボット用サーボモータと比較して低く抑えられていることを確認した。

（２）操作者の動作を子どもらしい動作に変換する機能の開発
実際の子どもの頭部の寸法データや表情の写真を参考にして、4 種類のコンピュータグラフィックス（CG）モデルを制作した。
最初にニュートラルな表情を制作し、そこから皮膚の変形を考慮して喜び、悲しみ、および怒りの各表情を制作した。これらのモデルデータを CAD ソフトウェアに取り込み、顔面の駆動に必要な機構の設計を行った。
次に、シリコン製の皮膚と電気モータによって皮膚を駆動するのに必要な機構（1 軸分）の試作を行った。皮膚は背面に接続した 22 本のケーブルを手で引くことによって、事前に想定した各表情が実現されることを確認した。また、モータを制御してケーブルを引くことによって、表情表出に必要な皮膚の変形が生じることを確認した。
課題推進者︓仲田佳弘（電気通信大学）

3 / 7

研究開発課題４：抱擁型生命感 CA の研究開発（１）抱擁型生命感 CA に関する基礎的研究開発
本年度は、抱擁型対話に必要な抱擁動作認識技術の確立に取り組んだ。具体的には、まずこれまでに開発を進めてきた抱擁型生命感 CA のプロトタイプに複数の触覚センサを設置した（図１）。次に、複数の被験者と抱擁型生命感 CA による疑似的な抱擁型対話を行うシチュエーションを再現して、センサデータを収集する取り組みを行った。
データ収集には 16 人の被験者が参加し、10 種類の抱擁動作を行った際のセンサデータを学習用データとして利用した。取得した抱擁動作データに対してラベリングを行い、Support vector machine を用いた教師学習アプローチで抱擁動作認識機能の開発を進めた。交差検定による性能検証を行った結果、10 種類の抱擁動作を 95.27%の精度で認識出来た。

（２）抱擁型生命感 CA 操作者支援技術に関する研究開発
本年度は、抱擁状態を可視化する操作用 UI を開発し、CA を操作して抱擁型対話を行ったときの操作負荷を軽減するための取り組みを進めた。具体的には、複数の異なる抱擁型生命感 CA に対して、触覚センサを用いて抱擁状態を可視化する機能を備えた UI を開発した（図２）。さらに、被験者が抱擁型生命感 CA を通じて健常者と簡単な対話及び触れられた場所を確認する実験を実施し、開発した UI を用いることで操作負荷が減少したと感じることをアンケートで確認した。
実験では二つの抱擁型生命感 CA（赤ちゃん型およびぬいぐるみ型）を一人の被験者が遠隔操作して健常者と対話する状況を設定した。なお、コロナ禍による感染予防対策および対話内容の変化を抑えるため、対話する相手は毎回同じ実験者とした。実験では、実験者がぬいぐるみ型 CA と抱擁し、また赤ちゃん型 CA に触れながら対話を行った。その際、被験者は環境内に設置されたカメラと、操作用 UI を用いて CA の操作を行った。
実験条件は可視化する機能を用いた場合と用いなかった場合の 2 条件とし、同じ被験者がどちらの条件も体験する被験者内実験とした。実験後のアンケート結果から、7 割以上の操作者が可視化する機能を用いた UI の方が、より少ない負荷で操作できると感じたことが明らかになった。

図 1 抱擁型生命感 CA 上の触覚センサ配置図

図２ 遠隔操作用 UI
課題推進者︓塩見昌裕（国際電気通信基礎技術研究所）

4 / 7

研究開発課題５：生命感 CA の開発と連携対話の研究開発（１）生命感 CA の開発
当該年度は、人間の存在感は持たないが生物としての生命感を持つ生命感 CA の実現を目指し、以下の特徴をもつ CA のハードウェアとソフトウェアの開発に取り組んだ。
・ダイレクトドライブモータを用いて、完全無音で動作する生命感 CA・本生命感 CA の機構を踏襲した廉価版の CA

・

廉価版 CA に移動機能を持たせた CA

また、完全無音で動作する生命感 CA に、外付けスピーカーを併用して、動作音がする状態でも動作できるようにすることで、CA が無音で動作することによる効果を検証する予備実験を実施した。具体的には、当該 CA を陪席させた状態で、被験者に単純タスクを行わせて、CA について評価させる実験を実施した。完全無音で動作する CA は動作音を伴う CA に比べ、Mind perception 尺度において、高い経験性と主体性が評価される可能性が示された。また動作音を伴って動作する CAにおいては、監視されている感覚を与えやすく、一方で、完全無音で動作する CA においては見守られている感覚を与えやすい可能性を示唆する結果を得た。

（２）連携対話の研究開発
遠隔操作型ロボットの科研費プロジェクトや Society5.0 拠点形成事業のプロジェクトと連携しながら、ロボット（生命感 CGCA）をアバターとする対話機会を提供するオンライン会議システムである、半自律社会的 CG アバタールーム（CommUTalk）の開発を進め、3 名 1 組を対とした被験者グループに、使用者の顔画像を表示する従来のオンライン対話システムと比較して、対話に集中しにくい状況で対話不安を低減できることを確認した。またアバターの移動機能によって対話意欲などの感情表現ができることを確認した。
また、研究開発項目７研究開発課題２（熊﨑）と連携し，CommU-Talk を発達障害の青年のグループ(計 15 名)に使用させ、2 名の面接官がいる状況での、2 週間に及ぶ面接訓練を行わせる実証実験（翔和学園）を実施した。
また、令和４年度以降のマイルストーン達成を見据え、自律対話機能を持つ 2 体の小型ロボットの対を CA（連携 CA 対）として、複数地点に連携 CA 対を設置し、少数のオペレータにより、複数地点での対話サービスの同時提供が可能な CA 制御システムの開発に着手した。ExpoCity ニフレル、蔦屋 ExpoCity 店において、商品推薦の対話サービス提供の実証実験を実施した。
課題推進者︓吉川雄一郎（大阪大学）

研究開発課題６：存在感 CA の自在動作生成の研究開発（１）操作者の状態を表出する存在感 CA の動作の自動生成
まず、本研究開発課題において用いる存在感 CA の開発を行った。胴体部の動作性能を高め人らしいジェスチャが可能となるように、関節の駆動部の仕様を定めた。顔部は人らしさを持ちつつも性別や年齢が特定されないような形状のデザインを確定した。本年度はまず胴体部を開発し、仕様通りの動作性能を示すことを確認した。次年度に顔部の製作を行う予定である。
また、CA の遠隔操作システムの開発を研究開発課題１（石黒）と連携して進めた。遠隔地にいる操作者が高い臨場感を感じられる操作インタフェースを、環境中に設置したカメラ映像にエフェクトを加えることで実現した。これらについては特許出願を検討中である。
CA の動作生成に関しては、Conditional W-GAN（条件付き敵対的生成ネットワーク）に基づく上半身のジェスチャ生成
5 / 7

の研究に取り組んでいる。人が話しながら自然にジェスチャを行ったデータを基に、音声を入力として、韻律特徴を抽出し、それを条件とした C-W-GAN モデルの学習を進めている。CG エージェントに動作を生成し、被験者実験を通して人らしい動作が生成されることが確認でき、国際会議 ICMI のジェスチャ生成に特化したワークショップ GENEA に論文が採択された。このモデルの拡張として、条件として韻律特徴の他に、動きの大きさや速さを表現するラベルも入力することで、生成された CA のジェスチャ動作により、話者のテンションおよび外向性の印象を変えることができることを、被験者実験を通して検証した。この結果を国際会議 IEEE RA-L に投稿し、現在査読中である。
CA が複数人と対面した対話における視線制御の研究にも取り組んでいる。対話の役割（話者、メインの聞き手、サブの聞き手など）に応じた視線を合わせる率と視線を逸らす率に関する確率密度分布を学習し、逸らす場合の黒目の方向もモデルに取り入れた。このモデルを小型ロボット CommU の視線制御に実装し、被験者実験を通して、従来法よりも人らしい振る舞いが生成されることを確認した。また、人同士の対話データにおける視線の意図や原因について分析を進めた。視線の分析
結果は国際会議 Interspeech21 に論文が採択され、ロボットの視線制御の研究成果は国際会議 HAI21 に論文が採択された。現在雑誌論文にも投稿を進めている。
マイルストーンに対しては、3 者対話における役割に応じた視線行動と、音声に伴うジェスチャならびに話者の内部状態（テンション）を表現する視線とジェスチャの生成モデルを構築した。受付業務インタラクションにおける割合が未評価であるが、上記の視線、ジェスチャは受付業務にも現れる多くのジェスチャを包含している。

（２）操作者の複数人格を同時に表出する複数存在感 CA の動作の自動生成
操作者の複数人格の表出に関して、対人相手によって言葉遣いや韻律特徴、振る舞いなどの非言語情報がどのように変わるのかをマルチモーダル対話データを用いて分析を進めている。項目（１）で述べた通り、視線やジェスチャの動作生成モデルに対し、複数人格を表出する機能についても研究開発を進めている。ジェスチャについては上述したように、外向性を表出することができている。また上述した視線制御の研究において、外向性が異なる話者のデータを用いてこの視線生成モデルのパラメータの違いを分析し、同じ声でも、視線生成モデルのパラメータを変えることで、外向性の印象が変わることを、被験者実験を通して検証した。目が誇張された人型ロボット CommU でも、人間の姿をしたアンドロイド Nikola でも同様の結果が得られた。この結果は国際会議 RO-MAN に投稿した論文が採択された。
さらに、人格表出の効果として、CA の不機嫌さ・怒りなどのネガティブな表出が、対話相手の価値観によってどのような効果があるのかについて検証している。具体的には、コロナ禍の御時世において、アンドロイドの丁寧な振る舞いや不機嫌・怒った振る舞いなど、どのような振る舞いが人にマスク着用を強要するのに効果的なのかについて被験者実験を実施した。その結果、コンプライアンス意識が高い人と低い人の間に、CA の振る舞いの適切さ・効果において違いがみられた。この研究成果は、論文誌
IEEE RA-L （＋国際会議 IROS）に投稿した論文が採択された。なお、コンプライアンスの度合いの影響を調べるため、マ
スク着用強要タスクの他に、ダイエットコーチタスクと、禁煙注意タスクのシナリオも作成し、同様にロボットの振る舞いを通して人がどのような印象を受けるのかを検証した。この結果をまとめ、論文誌に投稿予定である。
また、同時に複数人格を表出する際に、人格切り替えで操作者が失敗する可能性があり、それが発生した場合に特定の相手には特定の人格が「ぶれない」ような人格補正処理に関しても現在検討中である。
マイルストーンに対しては、視線における内向的・外向的な表出、両腕のジェスチャにおける外向的な表出、他者に何かしら注意を促す状況での、丁寧・不機嫌・怒りの表出をモデル化した。モダリティや状況が限定されているが、3 種類以上の人格表出をモデル化した。
課題推進者︓港隆史（理化学研究所）

6 / 7

研究開発課題７：CA の対話動作学習機能の研究開発（１）複数人対話中の反応動作の生成モデル
遠隔操作においても CA が人間らしい振る舞いを行うための反応動作の実現に向けて、これまで課題推進者が研究してきた対話動作の深層生成モデルの構築を進めた。当該年度は、2 名の人間同士の対話データを収集し、そのデータを用いた深層生成モデルの学習に取り組んだ。さらに、得られた動作の生成モデルを利用した CA の制御システムを実装し、その振る舞いの自然さ、人間らしさについての性能評価を行った。
本年度は任意の条件の下での生成が可能な Variational AutoEncoder with Arbitrary Conditioning (VAEAC)を利用したインタラクション動作に対する生成モデルの構築を行った。2 名で対話中の人間の振る舞い (画像・音声) を計測し、モーションキャプチャシステム及び音声を計測し、タイムフレームごとに姿勢推定システムや発話区間検出システムを用いて特徴量に変換する。その特徴量を 4 秒分の多次元時系列として抽出・モデル化を行った。
課題推進者︓中村泰（理化学研究所）

7 / 7