1. 前書き
人間のコミュニケーションには、言葉と非言語の 2 つの要素があります。人間とロボットの対話システムのほとんどは、今では安く簡単に入手できるマイクと音声対話技術だけを必要とする非常に役立つ情報を提供しているので、今までのところ、言語の要素に焦点を当ててきた。しかし、非言語的な要素、主に身体や顔の表情を無視することは、安く、現代的な機器にも多く存在するデジタルカメラで得られる重要な情報を失うことである。
ロボットは日々の社会環境でますます存在感を増していくので、人間との快適で効率的な交流を実現するには、良いコミュニケーション能力が欠かせません。例えば、モノトニックなステレオタイプのロボット音声システムを用いる店よりも、コミュニケーションが面白くダイナミックなソーシャルロボットを用いる店の方が多くの客を集めることが期待される。この研究は、ロボットシステムの言っていることに対するユーザーの反応を見積もり、音声パターンをより楽しいものに変えるために、表情を使うことに関心を持っている。
この実験はこの研究の第一歩です。ランダムに生成された意味のない発話パターンによって誘導される人間の表情を集めることで、私たちはいくつかの異なる単語や言い方に対する人間の反応を予測するシステムを作るつもりです。

2. 実験構造実験は 3 つの段階から成る。最初のステップは、プロファイルの作成です。テストの対象は同意書（第 3 条で提示）を読む必要があり、実験の構成内容、ユーザー（第 4 条で提示）がプロファイルに提供する必要のあるデータ、ビデオや音声の録音が保存され、科学的研究に使用されることが分かる。また、Web カメラを持ち、電光源の入った部屋を持つという要件も、非常に明確になります。すべての情報は、複数の言語（少なくとも日本語、英語、ポルトガル語、スペイン語）で入手できます。 同意して同意する場合、ユーザーは自分に関する質問に答え、両方と ID を選択してパスワードを入力する必要があります。この情報を保存すれば、ログインして実験を始めることができます。図 1 では、
手順 1 に必要なすべての操作がオレンジ色で強調表示されています。
図 1 の青で強調表示された 2 番目のステップは、実験そのものです。ユーザーは希望する限りロボットのアバターとチャットします。ボランティアは、音声の録音を開始するにはボタンをクリックする必要があります。ユーザが話し終わったら、同じボタンを再度クリックする必要があります。次に、ロボットのようなアバターが、ランダムに生成された音声パターンを反応として話し、被験者が顔の表情で反応します。これらの表情は水内研のサーバーが記録・分析し、提示された表情の裏にある感情を推定します。この手順は、ユーザーがアバターと話し続けたい限り繰り返されます。そして実験そのものは、被験者の望む限りの回数で受け取ることができます。
3 番目のステップは緑で強調表示され、多くのサブジェクトがログアウトボタンをクリックせずに Web サイトを閉じる場合があるため、オプションです。しかし、10 個のプロンプト（第 5 条で提示）で構成されたリカート版で構成され、ユーザはどれだけ同意するか、またはどれだけ同意しないかを答えなければならない。この手順が終了すると、回答が記録され、ユーザーはログイン・ページに戻ります

3.同意書
この実験はオンラインで行われるので、できるだけ多くの場所から様々な背景を持つ人を集めるために、物理的な同意書を送ることは不可能です。この場合、最も近い方法
は、実験の構成や収集したデータの使用方法を詳細に説明する画面をユーザに提供することです。ユーザーが参加に同意する場合は、ユーザーが同意することをクリックし、フォームに個人情報を入力する必要があります。目的のテキストを英語で次に示します。

「実験についてこの実験は、話せる親しみやすいロボットのアバターです。アバターとは、好きなだけ会話ができます。実験の最短期間も最大期間もないが、.ビデオは、お使いのデバイスの We
b カメラからキャプチャされます。Web カメラからは、お客様の感情状態が推定されます。

これは、どの感情が異なる意味的な言語パターンによって引き出されるかを予測するシステムを作るのに必要である。このビデオは、推定された感情反応と共に、研究室のサーバに保存され、さらに研究が進められます。アバターに対する言葉は、後で分析するために保存されるので、言葉に注意してください。
説明
1.参加するには Web カメラが必要です。
2.良い照明のある場所で実験を行いなさい。
3.話す準備が整ったら、「話す」ボタンをクリックします。
4.話し終わったら、ボタンをもう一度クリックします。
5.そしてアバターは話し、聞いて、自然に反応します。
6.この手順は、好きなだけ繰り返しても構いませんが、アバターが話し始める前にページを閉じないでください。
7.実験を停止する場合は、簡単な調査に答える時間がある場合は、ログアウトボタンをクリックし、10 のプロンプトに答えます。
実験に参加したい場合は、[同意する]ボタンをクリックしてください」

4. 被験者データ
この実験は、ユーザの声と顔の表情を記録することを意図している。そして、このデータは、多くの情報を提供するものと結び付けられている。しかし、ビデオやオーディオから得るのは難しいか、あるいは不可能な情報もあります。例えば、原産国、言語の使用者の話し方、使用者の住所、外国での生活年数などです。その他の情報（性別、年齢など）は、ユーザがアバターと話す際に使用する言語をデータから取得できますが、追加処理が必要です。したがって、安価で簡単な解決策は、プロファイルの作成中にユーザにいくつかの質問に答えてもらうことです。次の情報が必要です。
1.ログイン：
2.パスワード；
3.年齢；
4.性別：
5.原産国/地域；
6.母語；
7.他の言語
8.もし君が外国に住んでいるか、住んでいることがあるなら、どこに書けばよいのか。
9.海外に住む年月。

ログインとパスワードは、セキュリティーに役立ち、実名を保存せずに、ビデオ、オーディオ、推定された感情を特定のユーザーとそのプロファイルデータに関連付けることができます。その他の情報は、改良された人間ロボットコミュニケーションアーキテクチャの最終的な入力として使用する必要があるかどうかを判断するために、個々の人々の反応に違いがあるかどうかの検証に使われる。
この実験の間、オーディオは<.wav>ファイルに録音され、ロボットアバターの答えに対するテスト対象の言葉と、その後のユーザの表情と感情分析とを関連付けることができます。ファイルの命名規則：<username>_<ビデオまたはオーディオ>_<オーディオ録音の時間>.<wav または avi>.
このデータは、水内ラボのサーバに 1 年以内に保管し、安全に保管します。BleachBit を使って全て削除されます。BleachBit は、リカバリの可能な限り、関連するファイルを確実に削除できる Linux ツールです。

5. リッカート尺度
もう少し時間をかけて実験に取り掛かろうと思うユーザは、プラットフォームをログアウトする際、実験に対する感情や意見を測るために、以下の 10 個のプロンプトから成る Likert のスケールを早める。

1.ロボットのアバターと話すのは面白かった。
2.言葉の特徴の変化は会話をより自然なものにした。
3.ランダムに生成された単語の中には、他の単語より気持ちが悪いものもあります。
4.スピード、ラウドネス、ピッチなど、一部の音声特性は他のものよりも影響を与えます。
5.いろいろな言葉が喜びに影響を与えなかった
6.あなたは、ロボットがそれに応じてスピーチに答えているのを感じました。
7.長い言い回しのほうがもっとおもしろい。
8.ターンベースの会話は不自然だった。
9.外国の音素はもっとおもしろいように思えた。
10.そのロボットは知的に見えた。

6.Web プラットフォーム構造
以下の図は、実験が始まるまでに、ウェブサイトの見た目を示しています。

Talk with Kotaro!
and help making robots speak better

Login ID

ログイン画面

Password
Login
Create Profile

Talk with Kotaro!

and help making robots speak better

日本語EnglishPortuguês

Español

ABOUT THE EXPERIMENT

承諾フォーム画面

This experiment presents a friendly robot-like avatar
capable of semantic-free speech, with whom you can have aconversation for as long as you wish. There is no minimal nor
maximum time. Video will be captured from the webcam ofyour device, from which your emotional state will beestimated. This is necessary to create a system capable ofpredicting which emotions are elicited by different semanticfree speech patterns. Said video will be stored in our lab’s
server for further studies, together with the estimatedemotional response. What you say to the avatar will be
stored for posterior analysis, so be careful with what you say.

INSTRUCTIONS
1. You need a webcam to participate;
2. Run the experiment on a place with good lighting

I AgreeTalk with Kotaro!

and help making robots speak better

日本語English

Português

Login ID

プロファイル創造画面

Password
GenderCountry of Origin
Mother Language
Other Languages you speak
If you have lived abroad, where?
Years living abroad
Create ProfileEspañol

Talk with Kotaro!

and help making robots speak better

LogoutCamera view

実験画面

ListenTalk with Kotaro!
and help making robots speak better

日本語

EnglishPortuguês

Español

Talking with the avatar was fun

リッカート尺度画面

strongly
agree

agree

neutraldisagreestrongly
disagreestrongly
agree

agree

neutraldisagreestrongly
disagreestrongly
agree

agree

neutraldisagreestrongly
disagreestrongly
agree

agree

neutraldisagreestrongly
disagreestrongly
agree

agree

neutraldisagreestrongly
disagree

Variation of the speech patterns made theexperience more enjoyable

Some randomly generated words are lesspleasant than others
Some speech patterns, such as speed,
loudness and pitch influence more thanothers

Changing the phonemes didn’t had much
impact on my enjoyment

Submit and Logout