情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2P-93
2024/2/28

非認知能力向上を目指したロボットとの共同活動を実現する
ための対話インタラクションに関する検討
稲岡 秀和1大井 翔1

概要：昨今の小学校教育では，「学びに向かう力」と「人間性」などの「非認知能力」が注目されている．本
研究では，複数台の家庭用ロボットとの対話を利用し，コミュニケーション能力や協調性などの能力を含む非認知能力を促進するシステムを提案する．具体的には本システムは SIGVerse の仮想空間上でロボットが動作し，ユーザは仮想空間上でとロボットとの対話インタラクションを通じて，非認知能力の向上を行う．

1. はじめに

表 1
知識・技能育成すべき資質・能力を 3 つの柱
学びに向かう力・人思考力・判断力・表間性等

現力等

何を理解している

どのように社会理解していること活躍している．そのため，ロボットが定型業務を行うことか世界に関わりよりできることで求められる人材が一変するといわれている．内閣府が掲

何ができるか

よい人生を送るかをどう使うか

昨今の社会では技術発達により様々な場面でロボットがげる Society5.0 において実現する社会で求められる人材とは定型業務の多くが AI やロボットに代替可能になる．そのため，求められる人材像が大きく変わり自ら課題を見つり，知識の習得がおろそかになることもないとされている

け，AI などを活用してそれを解決でき多様性を持った集が授業時間で行うアクティブ・ラーニングの欠点として子団においてリーダーシップを発揮できる人材と述べられてども自身がアクティブ・ラーニングを行いたいときにできおりこれらの能力が非認知能力であるとされている [1]．

ないという問題点がある [7]．

同時に教育・人材育成において失敗を恐れずに挑戦する

田端らの研究では，日本の学力評価データを用いて，対ことを推奨，知識を活用し自分で考える力，自らの意志や話と問いかけベースの学習が学生の能力に及ぼす影響を分考えを正しく的確に表現し伝える力を伸ばすべきであると析した．その結果，対話・探究学習は，学力に対して SES述べられている [1]．特に，平成 29 年度に告示された小学と同等かやや大きめの効果があり，非認知能力に対しては，校学習指導要領では，子どもたちに「生きる力」を育んでSES とは比較にならない大きな効果があることがわかっもらうため目指す資質・能力を 3 つの柱として，表 1 に示た．このため，コミュニケーション能力などを含む非認知すような「知能・技能」，「学びに向かう力・人間性等」，「思能力の向上が重要であると考える．

考力・判断力・表現力」が存在し，これらをバランスよく育非認知能力は知的なスキルではなく，コミュニケーショ成することが重要視されている．この 3 つの柱のうち「学ンや協調性などの特性による能力を指す．問題解決型学習びに向かう力・人間性等」が非認知能力に該当する柱であや対話，道徳教育を通じて育成可能であり．これは柔軟でる [2]．

適応力のある人材を育成し，人工知能 (AI) が一般化する

新しい学習指導要領の考え方において，小・中学校では，各学校において既に言語活動や観察・実験などが行われて時代において社会的・職業的成功に大きく寄与する能力である．

おり，これらの活動の質を高めながら習得・活用・探究といLigthart らの研究では，子どもたちは活発な行動をする

う学習サイクルの確立を一層図ることがアクティブ・ラー

ロボットよりも、静かなロボットの方が多くの情報を共有

ニングの視点からの授業改善のポイントである．また，目する傾向があることを示している [5]．の前の子供達が語彙や知識が十分でないなら単元においてまた，神田らの研究では，将来的に，公共の場でわかり知識の習得にしっかりと時間をかけることが求められておやすいインタフェースになりつつも，ロボットを学ぶ人の興味を引くという可能性を模索していくことが重要である

1

大阪工業大学© 2024 Information Processing Society of Japanと結論付けた [6]．

1035情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2P-93
2024/2/28

表 2各ロボットの性格と個性

登場人物

能力性格

ロボット 1

鍵を使ってドアを使う

多く意見を述べるが少ことができる

し見当違いな意見を述べる

ロボット 2ロボット 3
図 1

体力があり壁などのも猪突猛進タイプ (力技でのを壊すことができる何とかしようとする)物を運ぶことができる

シャイだが仲が良くなれ

ロボットとの対話による非認知協同活動システムの概要ば的確な意見を述べる

仮想空間上でロボットと言語的・身体的・認知的インタラクションをリアルタイムで行うことができる社会的知能

鈴木ら [11] では，様々な対話場面において人とロボット発想学シミュレータ SIGVerse[3] を活用する．そのため，のどちらが対話相手として選好されるのかという問いに対本研究では社会的知能発想学シミュレータにおいて，複数し，対人不安の影響を考慮した調査を行った．調査結果で台ロボットの実装と実践的なコミュニケーションを可能とは，機械の見た目の人型ロボットをコミュニケーション相する会話システムの作成を行うことによって，仮想空間上手として選択した参加者群は人をコミュニケーション相手でロボットと言語的・身体的・認知的インタラクションをとして選択した参加者群よりも対人不安傾向が高いことがリアルタイムで行うことができる社会的知能発想学シミュ認められた．以上のことから対人不安者は人よりもロボッ

レータ SIGVerse [3] を使い，複数台のロボットと人が協同トをコミュニケーション相手に選ぶ傾向がある．

活動を行い課題を解決することで非認知能力を向上させる

従来の研究より，非認知能力が重要であり向上させるこ

教育システムを提案する．具体的には，図 1 に示すようにとで学力も一定程度向上するが，ロボットを使用しても非仮想空間上において用意した課題を人と複数台のロボット

認知能力が向上するのかについては調査がまだされていなが協力して課題を解くことでロボットとのインタラクショ

い．そこで，本研究では，仮想空間上でロボットを使用しンを発生させ，認知協同活動を通して能力の育成を試みる

アクティブ・ラーニングを行うことで非認知能力を向上さシステムである．実装するシステムは，利用者が複数体のせることを目的とする．具体的には，提案する本研究シス

ロボットとコミュニケーションや身体的なインタラクショ

テムでは，コミュニケーション可能なロボットエージェンンを行いながら問題解決型学習を行い非認知能力の育成を

トを複数台用意し，訓練対象者がロボットたちとアクティ目的とする．

ブ・ラーニングを行うことで非認知能力を育成することを

2. 関連研究目標とし対人不安を抱えている子供でもコミュニケーションを行ってもらうため HSR ロボットを使用する．また，

加藤ら [4] は非認知能力の議論は複雑であり非認知能力非認知能力を測定するために加藤ら [4] が作成した質問項の定義について合意はされていないと主張している．一方

目を参考に質問紙調査用紙を作成しシステム体験の前と後で，小学生を対象とした非認知的スキルを測定するためのに質問紙調査に答えてもらうことで非認知能力を育成する

質問項目の検討し「自己効力感」「動機付け」「メタ認知方ことができたのか評価する．

略」「社会スキル」の 4 つのスキルを対象とした質問項目を作成し信頼性分析を行い，質問用紙は内的整合性の高い信頼性を十分に持つものと判断できる結果となった．

3. ロボットとの対話インタラクションによる共同作業システム

浜野ら [9] は非認知能力と学力の関係についての調査研提案するシステムは，ユーザと複数のロボットエージェ究を行い．家庭の社会経済的背景（SES）が高いほど学力ントがアクティブ・ラーニングを行い，実践的な対話や体が高い傾向にある．子供の非認知スキルと学力に緩やかなを使ったインタラクションを通じて与えられた課題の達成相関があった．一方で，非認知スキルと SES との間には相を目指し，その過程で利用者はコミュニケーション能力や関がみられなかったことから社会経済的背景の高低にかかリーダーシップなどの非認知能力を育成するものであり，わらず非認知スキルを高めれば，学力を一定程度押し上げより良いコミュニケーションを行うためにロボットに性格る可能性があると述べられている．

や能力，感情状態を持っている．表 2 に各ロボットの性格

伊藤 [10] は人間とロボットの物理的距離・心理的距離とや能力，図 2 に使用するロボットを示す.の関連について研究を行い．人間と対話しながら様々なタスクを行う人間共生型ロボットにおいては，これらの要因を考慮しながらロボットの行動を設計する必要があると述べられた．

© 2024 Information Processing Society of Japan

3.1 システム設計
本システムのロボットの会話アルゴリズムについて，図3 に示す．本システムのロボットはユーザと話し合う際に1036

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2P-93
2024/2/28話し，音声情報を入力する．②についてユーザの音声を常に把握しており，一定以上の音量の音声が入ると録音し，音声ファイルを出力する．また，出力するファイル形式はWhisper API が対応している wav 形式で出力している．
そして，③，④では音声ファイルを Whisper API に投げ

Whisper API から音声認識結果が返ってくる．⑤，⑥ではChatGPT API に音声認識の結果を投げ返答結果を得る．
最後に⑦，⑧で VoiceVox API に投げることで音声による返答を行うことができる．
図 2

HSR ロボット

また，3 つの異なるロボットがいるためそれぞれのロボッ
トにロボットの名前，感情状態，性格や特性，現在地，シナ性格に応じた返答をすることで人間同士のような会話を実

リオ上の役割・感情状態の 6 つの情報を与えることによっ現する．それらを繰り返すことで課題の解決を目指す．まてそれぞれのロボットを差別化しており ChatGPT API のた，ロボット側から解決策を提示し，ユーザや他のロボッモデルは GPT4.0 を使用しているため実践的なコミュニ

トの承認を得ることで少なくとも 1 度ユーザとロボットがケーションを行うことができる．

協同作業を行わせることができる．なおロボットがユーザに対して行う提案は必ずしも問題を解決できるわけではな
いものである．

図 4

自動返答システムの概要図

3.3 SIGVerse
SIGVerse[3] では，仮想空間上でリビングルームを再現し中にロボットを配置することで様々な実験が行えるものである．図 5 に示す画像では実際にロボットが配置されており，アバターやロボットや人間がつかむことができるオブジェクト，家具などが配置されている．また，赤枠①はロボットが発話した内容や人が行った行動を文字で表示する空間である．赤枠②はアバターの視点となっており，手前の机の上に乗ったペットボトルオブジェクトや奥に 2 つのロボットが描画されている．赤枠③は開始地点直上の様子であり 2 台のロボットが映されている．

図 3

会話アルゴリズム

3.2 ロボット対話
本システムでは実践的なコミュニケーションを成立させるために ChatGPT や Whisper の API を使用した自動返答システムを作成した．自動返答システムの概要図を図 4

図 5

SIGVerse の実行画面に示す. 図 4 より，①についてユーザはマイクに音声を発© 2024 Information Processing Society of Japan1037

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 62P-93
2024/2/28

SIGVerse と Ubuntu 間のデータ

複数台のロボットを動かすシステムのネットワーク構

図 8部屋のレイアウト

図 9システムの流れ成については，図 6 に示すように Windows と Ubuntu 間でネットワーク通信を行うことでこれら 2 つの異なるプラットフォーム間でデータをやり取りし rosbridge と sig-verse rosbrige server を使用して接続する．それぞれのロボットの位置情報や関節情報を Ubuntu 側に送信，Ubuntu側からロボットの操作情報を Windows 側に送信することで複数のロボットを制御している．また，本システムでは，ユーザが VR 装置を装着し，ロボットとオブジェクトが配置された環境内に，自分がアバターとして配置する．それらの様子を図 7 に示す．

図 7本システムの環境イメージ

図 10

アイスブレイクの様子

3.5.1 アイスブレイク
3.4 インタラクションを促す設計

次に配置されている複数台のロボットとアイスブレイク

本研究の SIGVerse では，ロボットとユーザが必ずインをすることでユーザの緊張緩和をもたらしリラックスしたタラクションができるように図 8 のようにユーザが入れ空間を作り出す必要がある．それらの様子を図 10 に示す．

ずロボットのみが入れることができる部屋を作成した．ま3.5.2 課題の提供

た，この部屋にロボットが入ると盲目状態になることでロアイスブレイクが終了した後，本システムから課題が与ボットが周囲に何があるのかわからない状態となる．このえられ， ユーザだけでは解決できないものであるためユー

ため，ユーザーはロボットに物を取ってもらう場合周囲のザは提示された課題を複数台のロボットと協同しながら解情報をロボットに伝える必要がある．

決を目指す．

3.5.3 コミュニケーションの発生
3.5 システムの流れ

図 11 に示す様にユーザまたはロボットが課題をどのよ

本システムの大まかな流れを説明する．与えられた時間

うに解決するのかコミュニケーションを行う．この時，ロの中でユーザが課題を複数台のロボットと話し合いで解決ボットとの言語的インタラクションを発生させることがで策を決めユーザはロボットと協同して課題を解決する．シきる．

ステムの評価方法は実験の前後に被験者に質問紙調査を行

3.5.4 解決法を探す

い．非認知能力を育成することができたのか評価を行う．
図 9 にシステム全体の流れを示す．

© 2024 Information Processing Society of Japanそして，図 12 に示すようにユーザと複数台のロボットが解決法を決め実行に移す．この時，ロボットとの身体的・

1038

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2P-93
2024/2/28

言語的インタラクションを発生させることができる．

3.5.5 課題解決
最終的に，制限時間まで④，⑤を繰り返し行い課題，解決を目指す．

図 13
図 11

実験の様子

コミュニケーションの様子の発見や考えに基づき，新たな理解や視点を引き出す対話である．探索的対話とは，ユーザーとロボットが部屋の中のアイテムや状況について話し合い，新しい情報や視点を探求する対話である．反省的対話とはユーザーの混乱やを認識し，深呼吸をするように勧めることで，ユーザーに落ち着いて考える時間を提供する対話である．指導的対話とは，ユーザからの具体的な指示に対し，ロボットがその指示に従うことを明確に伝える．または，問題が発生した場合や追加情報が必要な場合にユーザーに知らせるよう促
図 12

解決法決定の様子

し，必要に応じて協力を申し出ることを行っている対話．
解決志向の対話とは，問題を解決するための具体的な手が4. 対話インタラクションに関する実験
4.1 実験の概要

かりやアクションプランを話し合う対話であるとした．

4.3 質問紙調査について

本研究では複数体のロボットとアクティブ・ラーニング

非認知スキルを測定する質問紙では，質問項目数は 48を行いインタラクションを発生させ非認知能力を向上させ問であり，4 件法で集計・調査を行った．本質問用紙では，る教育システムを作成した．今回作成した教育システムを非認知能力の一部である「自己概念」「動機付け」「期待−

使用しロボットと会話を行い．ロボットとどのようなイン価値理論」「メタ認知方略」「社会的コンピテンス」の 6 つ

タラクションを発生させることでコミュニケーション能力の尺度を測定することで非認知能力が向上したかどうか調を含む非認知能力を向上することができたのか以下の図 13

査するものである．また，自己概念には「一般的自己」「総のように調査を行った．

合的な学習の時間に関する自己概念」「教育全般に関する今回は大学生 3 名に教育システムを体験してもらい．実自己概念」「自己効力感」．動機付けには「内的調整」「同一

験の前後に加藤らが作成した非認知スキルを測定する信化的調整」「取り入れ的調整」「外的調整」．期待−価値理論

頼性のある質問紙を使用し前後の値を比較することで非には「成功期待」「内発的価値」「獲得・利用価値」と呼ば認知能力が向上したかどうか精査した．本研究の実施に辺れる下位尺度が設けられている．

り大阪工業大学ライフサイエンス実験倫理委員会の審査（2023-15）に基づき実験を行った．

5. 結果と考察本システムの非認知スキルを測定する質問紙調査結果を4.2 対話スタイルの定義について

表 3 に示す．表 3 より，合計値をそれぞれ見たところ 3 名

ユーザとロボットとの会話が行われるにあたってどのよ

中 2 名が非認知能力が向上したと考えられる．ユーザ A

うな会話が行われたのかを明確にするため，対話スタイルはロボットに対し丸いオブジェクトを触ってほしいと頼について以下のように定義を行う．論理的な対話とは，事み，ロボットが丸いオブジェクトを触り色が変化した時に．

実や論理に基づいた議論で，合理的な結論に至ることを目

ユーザがロボットに対し目的を達成したから戻ってきてほ的としている対話であるとする．気づきの対話とは，相手しいという会話を行った．これは指導的対話であると断言© 2024 Information Processing Society of Japan1039

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

表 3
自己概念2P-93
2024/2/28

質問紙調査結果てもらっていたからであると考えられる．

ユーザ A（前）

ユーザ A
（後）

ユーザ B
（前）

ユーザ B
（後）

ユーザ C
（前）

ユーザ C
（後）

253027362321272430362635

期待
価値理論

212117192019

メタ認知
方略

202015141919

社会的コンピテンス

2828

24252423

合計値

124132100

109129122

動機付け

6. 今後の予定
現時点で，リビングルームを再現した仮想空間上に複数台のロボットを配置し各ロボットの移動機能や自動返答システムを実装した教育システムを作成した．実験結果より，非認知能力を向上することができるインタラクションできる．また，ユーザ A は素早く課題の解決法を策定した

は主にユーザとロボットが協同活動を行うことであると考ことからユーザとロボットとのグループにおいてユーザはえられる．しかし，ユーザは少なくとも一回ほど指導的対指導的立場となった．

話を行っていたことから，人によってロボットは命令する

リーダシップがある人は自己認識，他者への理解，そしことによって動くものであるという先入観があるのではなて目標達成への情熱を持っているからであると考えらる．

いかと考えられる．このため，アイスブレイクの際にこのこのため，質問紙調査よりユーザ A の自己概念と動機づけような先入観を和らげることが重要であると考える．

が向上しているのではないかと考える．
ユーザ B の会話を抜粋し以下に示す．ユーザ B がダンボールの中からアイテムを見つけた際にロボットに話しかけた際のものである．ユーザが「ロボット 1、ダンボール謝辞
本 研 究 の 一 部 は ，JSPS KAKENHI Grant Number

JP19K20750 の支援を受けた．の中にベンギンと犬がいたんですけど、これは何かに使えますか?」との発話を行ったのち，ロボットが「ロボット 1、参考文献

ベンギンと犬がいたとのこと、それは驚きですね。確かに[1]

その存在は何かのヒントかもしれません。それぞれが何か特定の動作をするなら、それが申し合わせられた合図にな[2]

るかもしれませんね。実際にそれらを動かしてみるといかがでしょうか？それか、ダンボールの中に入ってあるアイ[3]テムが書かれていると思います」との回答が得られた．この会話はユーザの発見に基づいて，新たな視点を提案しているため，気づきの対話であると考えられる．

[4]

また，以下の会話はユーザがどのようにしたらいいのかわからなくなり行き詰った際にロボットが反応したもので[5]ある．ユーザが「え?やべぇ、ほらほらほら あーそういう感じ? えーちょっと待って、わかんな」との発話したのち，ロボット 1 が「ロボット１、ちょっと混乱しているようですね。一度、深呼吸してリラックスしましょう。その上で、[6]少し一歩引いて物事を見てみることをお勧めします。何か新たな視点が見えてくるかもしれませんよ。」との返答が行われた．これはユーザが混乱しているのをロボットがリラックスしてほしいと提案していることから反省的対話で[7][8]あると考えられる．このユーザ B はロボットと協同活動を行い課題解決に取り組んでいた．

[9]以上のことから，気づきの対話や反省的対話，ロボットと共同活動を行うことによって，「自己概念」「動機付け」[10]「期待−価値理論」「社会的コンピテンス」の能力が向上するのではないかと考える．
しかし，ユーザ C は事実や論理に基づいた議論を行っておりユーザとロボットが課題の解決法を探していること[11]

日本経済団体連合会, “Society 5.0 -ともに創造する未来-,”
2018, pp. 41-44.
文 部 科 学 省, “小 学 校 学 習 指 導 要 領 (平 成 29 年 告示),” 2017.[Online].Available: https://www.mext.go.
jp/content/1413522_001.pdf.
T. Inamura and Y. Mizuchi, “SIGVerse: A Cloud-BasedVR Platform for Research on Multimodal Human-RobotInteraction,” in Frontiers in Robotics and AI, vol. 8,2021.
加藤 智, “小学生の非認知的スキルの測定に関する基礎的研究,” 愛知淑徳大学教育学会『学び舎-教職課程研究-』編
集委員会 編, no. 15, pp. 17-28, 2019.
M. Ligthart et al., “A Child and a Robot Getting Acquainted - Interaction Design for Eliciting SelfDisclosure,” in Proceedings of the 18th International
Conference on Autonomous Agents and MultiAgent
Systems, 2019, pp. 61-70.
神田 崇行, “コミュニケーションロボットによる学習支援,” in 体験の増幅を目指した学習支援, 国際電気通信基礎技術研究所知能ロボティクス研究所 ATR Intelligent
Robotics and Communication Laboratories, 2008.
新しい学習指導要領の考え方, “−中央教育審議会における議論から改訂そして実施へ−,” 2014.
加納 寛子, “AI やロボットに対する小学生の意識調査,” in
Research Report of Informatics Education, vol. 2, pp.
9-16, 2020.
浜野 隆 et al., “文部科学省委託研究「平成 29 年度全国学力・学習状況調査を活用した専門的な課題分析に関する調査研究」,” 2018.
伊藤 彰則, “ロボットとの対話と心理的・物理的距離,” in
計測と制御, vol. 61, no. 3, pp. 193-197, 2022.
鈴木 公啓 et al., “コミュニケーション相手としてロボッ
トは選好されるのか―ロボットの外見を考慮した対人不安傾向との関連による検討―,” in 日本知能情報ファジィ
学会誌, vol. 31, no. 5, pp. 789-796, 2019.

から論理的な対話であると考えられる．しかし，表 3 より
ユーザ C は非認知能力が向上していない．これは論理的な対話を行っているがユーザがロボットに対し一方的に考え© 2024 Information Processing Society of Japan1040