情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-41
2020/3/9

VR 空間におけるスペイン語対話学習システムの提案齊藤真生†1

コルドバユキコ†1

櫻井淳†1

概要：我が国では，外国人労働者の増加などに伴い，英語をはじめとした中国語，韓国語やスペイン語などの外国語習得の必要性が高まっている．その学習においては，実際の教師を相手とした会話が理想的であるが，時間的かつ経済的な制約を受けるため，スマートフォン端末にて手軽に音声対話が可能なアプリが注目されている．しかし，その対話相手は機械であるため，学習者が会話の臨場感を得られないことや，質問に対して長時間考えることを許容する原因となり，人間同士の円滑なコミュニケーション技能を身に付けることは困難である．そこで，本研究では，ヘッドマウントディスプレイを用いた VR 空間におけるスペイン語の対話学習システムを提案し，その有効性を検証する．

1. はじめにおいて，学習者が人間同士の円滑なコミュニケーションをとるための技能を身に付けることは困難である．この解決

我が国では，外国人労働者の増加などに伴い，英語をは策として，CG キャラクタを対話相手として設定し，その表じめとした外国語習得の必要性が高まっている．そうした情を時間的に変化させることによって学習者にプレッシャ

状況に対し，文部科学省では，2020 年度より小学校からのを与える方法が提案[13]され，一定の有効性が示されてい英語科目の教育を義務付ける[1]など，英語教育の一層の充る．ただし，この研究では，ロボットで表現された簡易の実を図っている．一方，中国語，韓国語やスペイン語など

CG キャラクタが使用されるため，人に近いデザインや表のその他の外国語は，主として大学と一部の高等学校で教現に変えることで得られる効果は明らかにされていない．

育されている現状である．文部科学省の調査[2]によると，そこで，本研究では，実際の人物との円滑なコミュニケ

外国語科目を開設している高等学校は，2001 年と 2018 年

ーション能力を身に付けるための外国語の学習環境を構築を比較すると，中国語が 424 校から 497 校，韓国・朝鮮語することを目的とし，ヘッドマウントディスプレイ（以下，が 163 校から 342 校，スペイン語が 84 校から 96 校といずHMD）を用いた VR 空間におけるスペイン語の対話学習シれも増加傾向にある．今後の国際化に伴って，多言語の学ステムを提案する．なお，対象言語はスペイン語とするが，習者はますます増えていくと考えられる．

他の言語にも応用可能なシステムを構成する．まず，第 2

外国語の学習においては，実際の教師を相手とした会話

章では，本研究で提案するシステムの開発環境，画面構成，が理想的であるが，時間的かつ経済的な制約を受けること使用機器，処理フローと会話パターンについて述べる．次から，安価かつ手軽に外国語を学習する手段としてコンピに，第 3 章では，実証実験として本システムの音声の認識

ュータ支援型語学教育（CALL : Computer Assisted Language

精度，処理時間と活用効果を評価する．そして，第 4 章にLearning）システムが活用されている．これが登場し始めた

おいて，システムの改善に向けた試行内容を記述する．最1990 年代の頃は，HTML ファイルを用いた Web 教材[3-5]

後に，第 5 章にて本研究を総括する．

や CD-ROM 教材[6]を活用し，ドリル型の練習問題やリスニングによる学習が主体であった．2000 年以降になると，

2. システムの開発

語学の 4 技能のうち，話す・聞くの技能を重視した教育が2.1 開発環境重要視され，それらを支援するための音声情報処理技術を本研究では，スペイン語の学習者に対して，自学自習に用いた CALL[7-9]が広く研究されるようになった．これら

よる対話の練習を支援するために，VR 空間におけるスペでは，学習者の音声と教師音声の発音や韻律を比較して評イン語の対話学習システムを開発する．本システムの開発

価する手法が提案されている．さらに，最近では，クラウ環境を表 1 に示す．ゲームエンジンには，3 次元モデルをドサービスや人工知能の技術発展により，音声認識や対話実写の人物に似せるため，グラフィック性能が高い Unreal制御などの対話に必要な機能が向上し，ロボットを活用しEngine を採用する．このエンジンは，Blueprint とよばれるた対話システムの研究[10]や，スマートフォン端末を用い専用のプログラミング言語を使用し，CG キャラクタの動て手軽に音声対話で外国語を学習するアプリ[11,12]が登場作や画面遷移などの制御が行える．また，CG キャラクタをしている．しかし，これらの対話相手は機械であるため，構築するため，まず，オープンソースの Make Human を用

学習者が会話の臨場感を得られないことや，質問に対していて人体の基礎となるモデルを生成する．次に，そのモデ長時間考えることを許容する原因となる．こうした状況にルに対して色付けを行うために，Substance Painter を使用し，†1 文教大学情報学部© 2020 Information Processing Society of Japan940

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-41
2020/3/9

顔や服などのリアルな質感のテクスチャを作成する．そし表 1て，CG ソフトの Blender を用いて目のまばたきや口の動開発環境

名称

用途きなどのアニメーションを追加する．一方，音声認識系のUnreal Engine

3 次元向けのゲームエンジン

処理は，各種クラウドサービスのライブラリが充実していMake Human

人体製作用の 3 次元 CG ソフト

るプログラム言語の Python を使用する．また，ユーザの発

Substance Painter3 次元モデルのテクスチャ作成ソフト

話データとゲームエンジンとを連携するため，XAMPP をBlender3 次元モデルの編集ソフト

XAMPP

HTTP 通信用のソフト

Python

音声認識系処理のプログラミング言語

用いて JSON データを HTTP 通信する方式を取り入れる．
2.2 画面構成
本システムのシステム画面を図 1 に示す．本システムは，
VR 上の CG キャラクタが質問する内容に対して，学習者がマイクを通じて返答内容を発話することで会話シナリオが進む構成とする．CG キャラクタが質問を行った後，タイムバーを表示させることにより，学習者にプレッシャを与える仕組みを取り入れる．これは，実際の対話場面において違和感のない時間を考慮し，質問から返答までにかかる【タイムバー】
5秒間以内に返答【CGキャラクタ】
音声に合わせて口の動作を設定

時間を 5 秒間に設定した．また，CG キャラクタは，会話文に合わせた口の動きのアニメーションをそれぞれ作成することで，違和感のない動きとなるように工夫した．
2.3 使用機器
本システムの動作環境として，図 2 に示すように，HMD

図 1の Oculus Rift S とその付属コントローラ，マイク，HMD の動作要件を満たした GeForce GTX 1070 の GPU を搭載したゲーミング PC を使用する．これにより，VR 空間上で CG画面構成ヘッドマウントディスプレイキャラクタと対話が可能となる．また，HMD の付属コント
ローラは，対話を開始する最初のタイミングのみで使用し，その後は自動で対話が進む構成とした．マイクは，HMD に付属されているが，周りが雑音の環境であっても会話音声を拾うことができるように，単一指向性のサンワサプライ製 USB ヘッドセット（型番：MM-HSU07BK）を用いた．

ゲーミングPCマイク

2.4 処理フロー

コントローラ本システムの処理フローを図 3 に示す．まず，CG キャ
ラクタの質問に対する学習者の発話データを入力データと

図 2

して，Google Speech Recognition を使用してその音声をテ使用機器キストデータに変換する．次に，そのデータを Watson
assistant に送信し，予め用意した学習モデルをもとに返答入力

学習者の発話データ（マイク入力）

内容の会話文を取得する．このとき，学習者の発話データが適切な場合は正解と判断し，その内容に見合った会話文音声処理（Python）クラウドサービスを生成する．一方，不適切な場合は不正解と判断し，理解音声のテキスト変換

Google Speech Recognition

会話文の取得Watson assistant

会話文の音声変換

Watson Text to Speechできなかったことを表す会話文とする．そして，その会話文を Watson Text to Speech で音声に変換する．最後に，Unreal
Engine 上の CG キャラクタに対して，会話文の音声と，それに対応したアニメーションを動作させる．これを繰り返すことで会話シナリオの一連の流れを実現する．

出力/
入力

会話文の音声データ

入力

CGキャラクタ・背景（CGソフトで作成）

2.5 会話パターン
本研究では，大学の語学科目としてスペイン語を履修している学生が学習する範囲を想定し，財団法人日本スペイン協会が主催するスペイン語技能検定 6 級の内容を基準に会話パターンを作成する．これは，挨拶，自己紹介や現在© 2020 Information Processing Society of Japan

表示処理（Unreal Engine）

CGキャラクタの会話と動作

図 3

処理フロー

941

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-41
2020/3/9

表 2No.

CG キャラクタの質問

会話パターン

学習者の返答（正解例）

CG キャラクタの返答

1¿Qué estás haciendo ahora?
あなたは何をしていますか？

Estoy estudiando español.
私はスペイン語の勉強をしています．

Estoy hablando Español.
私はスペイン語を話しています．

2¿De dónde eres?
どこ出身ですか？

Soy de Tokyo.
私は東京出身です．

Soy de Barcelona.
私はバルセロナ出身です．

3¿Dónde está tu libro de español?
あなたのスペイン語の教科書はどこにありますか？

Mi libro de español está en mi casa.
私の教科書は家にあります．

No lo tienes ahora.
私はそれを持っていません．

4¿Dónde vives?
どこに住んでますか？

Vivo en yokohama.
私は横浜に住んでいます．

Vivo en Tokyo.
私は東京に住んでいます．

5¿Hay alguien en casa?
家の中に誰かいますか？

Está mi madre. / no hay nadie.
お母さんがいます．/ 誰もいません．

¡Mándale mis saludos!
お母さんによろしく伝えてください．

6¿Qué quieres comer?
あなたは今なにを食べたいですか？

Quiero comer carne.
私はお肉が食べたいです．

¡Yo también!
私も食べたいです．

7¿Cuántos años tienes?
何歳ですか？

Tengo veinte años.
私は 20 歳です．

Tengo veintiuno años.
私は 21 歳です．

8

¿Te interesa la computadora?
あなたはこのコンピュータに興味はありますか？

Si, me interesa.
はい，そのコンピュータに興味があります．

A mi me aburre.
私は退屈です．

9¿Dónde está tu madre?
あなたのお母さんはどこにいますか？

Mi madre está en casa.
私のお母さんは家にいます．

Vale, muy bien.
いいですね．

10¿A dónde vas a ir hoy?
今日はこれからどこへ行くつもりですか？

Voy a la Universidad.
私は文教大学に行くつもりです．

Yo voy de compras.
私は買い物に行きます．

11¿Cómo te llamas?
名前は何ですか？

Me llamo saitou. / soy saitou. / Mi nombrees saito.
私の名前は齊藤です．

Encantada de conocerla , me llamo yuri.
はじめまして，私はユリです．

12¿Qué día es hoy?
今日は何曜日ですか？

Hoy es miércoles.
今日は水曜日です．

Tengo clase de Español.
今日はスペイン語の授業があります．

13¿Quién es tu profesor de español?
あなたのスペイン語の先生は誰ですか？

Mi profesor es Terada. / es Terada. / seMi profesor es sakurai.
llama Terad.
私の先生は，櫻井です．
寺田という名前です． / 寺田さんです．

14¿A dónde vas en las vacaciones?
どこで休暇を過ごしますか？

Voy a mi pueblo.
自分の実家に行きます．

Yo voy a Hokkaido.
私は北海道に行きます．

15¿Te gustan las verduras?
あなたは野菜が好きですか？

No me gustan las verduras. / Me gustan lasverduras.
私は野菜が好きではありません．/ 私は野菜が好きです．

A mi también. / A mi tampoco.
私も好き．/ 私も嫌い．

16¿Dónde trabaja tu padre?
あなたのお父さんはどこで働いていますか？

Mi padre trabaja en una peluquería.
私のお父さんは床屋さんで働いています．

Mi padre trabaja de Ingeniero.
私のお父さんはエンジニアです．

17¿A qué hora sales de casa?
あなたは何時に家を出ますか？

Salgo a la una y media.
私は午前一時半に家を出ます．

Está bien,nos vamos
さあ，行きましょうか．

18¿Qué estudias?
あなたは何の勉強をしていますか？

Estudio español.
私はスペイン語の勉強をしています．

Yo estudio italiano
私はイタリア語の勉強をしています．

19¿Qué tiempo hace hoy?
今日はどんな天気ですか？

Está soleado.
今日は晴れています．

¡Gracias!
ありがとう．

20¿Puedes ir conmigo a ver una película?
私と一緒に映画を見に行ってくれませんか？

Puedo ir contigo.
私はあなたと映画を見に行けます．

¡Qué bien! / ¡Qué lástima!
それはよかった．/ それは残念．

形の文章など，基本的な会話ができる程度の難易度であり，に対する CG キャラクタの返答内容を 1 つのセットとする．

1 級から 6 級まである中の最も入門レベルの内容である．

学習者の返答内容については，下線部分の単語がすべて含

会話内容は，市販テキストの対象の級に該当する文法や単まれている場合に，正解と判定する．

語を使用して作成を行った．また，文教大学のスペイン語

本システムでは，全 20 種類の会話パターンに対して，の授業の担当講師にヒアリングし，1 セメスタ分で学習すNo.1～5, 6～10，11～15，16～20 の 5 パターンごとに分割る範囲の文法と単語を使用することとした．その理由としすることで 4 種類のシナリオを作成する．そして，これらて，この授業は 6 級レベルの能力習得に向けて構成されてのシナリオの中から 1 種類を選択し，5 個の会話パターンいるが，一部の単語は扱わないことを配慮したためである．

を体験する流れとした．なお，学習者の発話内容や，その作成した会話パターンの一覧を表 2 に示す．会話パター

正誤の結果は，CSV ファイルでテキストデータとして出力

ンは，CG キャラクタの質問内容，学習者の返答内容とそれし，体験後に確認して結果を振り返るために使用する．

© 2020 Information Processing Society of Japan942

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3. 実証実験

3B-41
2020/3/9

実験Ⅱ. システムの処理時間の評価

3.1 実験概要
本章では，本システムの有効性を検証するための実証実

入力

学習者の発話データ（マイク入力）

験を実施する．実験内容は，図 4 に示すように，実験Ⅰ．
音声の認識精度の評価，実験Ⅱ．システムの処理時間の評

音声処理（Python）

価，実験Ⅲ．システムの活用効果の評価の 3 種類とする．

実験Ⅰ.音声の認識精度の評価

実験Ⅰと実験Ⅱでは，学習者が違和感なく本システムを使音声のテキスト変換

Google Speech Recognition

会話文の取得Watson assistant

会話文の音声変換

Watson Text to Speech

クラウドサービス用できるかの観点で評価し，実験Ⅲでは，実際に本システ
ムを活用した際の学習効果を評価する．
3.2 実験Ⅰ．音声の認識精度の評価(1) 実験方法
本実験では，学習者の発話データを入力データとし，会話文の音声データ出力/入力

入力

CGキャラクタ・背景（CGソフトで作成）

Google Speech Recognition による音声の認識精度を評価す
る．被験者は，日常からスペイン語を使用しているネイティブスピーカの被験者 A（女性）と，大学で 2 年間スペイン語を勉強して日常会話が可能な被験者 B（男性）の 2 名とする．実験方法として，各被験者が表 2 に示す 20 種類の表示処理（Unreal Engine）

CGキャラクタの会話と動作実験Ⅲ. システムの活用効果の評価

図 4

会話パターンを発話し，その内容のとおりにテキストに変実験計画換されているかを確認する．
表 3(2) 実験結果
実験結果を表 3 に示す．被験者 A は 20 回中 19 回，被験音声の認識精度の評価結果

対象

会話数

被験者 A

認識失敗

20191

被験者 B

2018290%

平均

2018.5

1.5

92.5%

者 B は 20 回中 18 回で認識に成功し，平均の認識率は 92.5%であった．認識に失敗した原因として，動詞の es と固有名詞の名前が結合されたことや，名詞が異なる単語として認

音声認識の結果認識成功

認識率95%識されたことがある．そのため，一つずつの単語の区切りを明確にし，流暢に話すことができれば，ほぼ 100%の精度

表 4で認識可能といえることがわかった．

システムの処理時間の評価結果

No.

CG 質問
単語数

返答
単語数

CG 返答
単語数

合計
単語数

1433103.41 秒本実験では，CG キャラクタの質問に対して 5 秒間で学

233393.75 秒

習者が返答内容を発話した後，図 4 の緑枠部分に示す音声

3684183.09 秒423383.24 秒

3.3 実験Ⅱ．システムの処理時間の評価(1) 実験方法

処理を行い，CG キャラクタが会話文を返答するまでに要処理
時間5433103.31 秒

した時間を評価する．被験者は，実験Ⅰと同様に，被験者633283.08 秒

A と被験者 B の 2 名とする．実験方法として，各被験者が733393.41 秒

表 2 に示す 20 種類の会話パターンを発話し，それぞれに8434113.49 秒

対して 2 名の返答時間の平均値を算出する．また，CG キ

945312

3.66 秒10644

14

3.77 秒

11336123.27 秒クタの返答の単語数とその合計数をそれぞれ記述し，単語124

34

11

3.61 秒数に対して返答時間が変化するかを確認する．

13644142.86 秒(2) 実験結果

14644

14

2.78 秒

15443114.01 秒

1646515

3.42 秒

17664163.77 秒あった．また，個別の結果に着目すると，最小処理時間は1822373.47 秒

No.14 の単語数 14 個に対して 2.78 秒，最大処理時間は No.15

1942173.38 秒の単語数 11 個に対して 4.01 秒であった．これらのことか

20732123.12 秒

平均

4.25

3.75

3.40

11.40

3.39 秒ャラクタの質問，学習者の返答，それに対する CG キャラ

実験結果を表 4 に示す．20 個の会話パターンの平均値として，合計単語数が 11.40 個に対して処理時間は 3.39 秒でら，処理時間は単語数によって影響するのではなく，クラウドサービスとの通信時間が影響している可能性が高い．

© 2020 Information Processing Society of Japan943

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

また，3～4 秒程度で返答が返ってくることから，実際の人間との会話のように，違和感なく対話できると考えられる．
3.4 実験Ⅲ．システムの活用効果の評価(1) 実験方法
本実験では，本システムの活用による学習に与える効果を評価する．被験者は，大学の 1 セメスタ分のスペイン語

3B-41
2020/3/9

108
正 6解4数
207510
被験者C

授業の履修を終えて 2 セメスタ目を履修中の学生を対象に，1回目被験者 C（女性）と被験者 D（男性）の 2 名とした．実験
方法として，表 2 の会話パターンを用いて，被験者 C は

図 5

被験者D
2回目

システムの活用効果の評価結果

No.1～10，被験者 D は No.11～20 の 10 パターンずつをシステム上で体験し，その正否を判定する．実験回数は 2 回
会話のスムーズさ543
210とし，1 回目は事前対策を行っていない状況で実施する．
また，2 回目は，1 回目で体験した内容の質問と返答の文章を紙で配布し，1 日間の勉強期間を与えたうえで，1 回目の翌日に同様の質問内容で実施する．

学習効果

これに加えて，体験結果に対して学習効果に関するアン話しやすさケートを行う．内容は，会話のスムーズさ，話しやすさ，被験者C緊張感，リアルさと学習効果の 5 種類とし，良い 5・やや良い 4・普通 3・やや悪い 2・悪い 1 の 5 段階で評価する．

リアルさ

緊張感

被験者D

また，自由記述とヒアリングにより意見を聴取した．
(2) 実験結果

図 6

システムの活用効果のアンケート結果

まず，正否の実験結果を図 5 に示す．この結果より，被験者 C は 0 から 5，被験者 D は 1 から 7 に正解数が増加した．なお，被験者 C に関して，2 回目は 5 回正解であるが，実際には 8 回で正解の文章を話していた．この 3 回の差分については，クラウド側の音声認識に失敗したことが原因であるため，発音やイントネーションが正しくなかったといえる．以上より，本システムを活用することで技能向上に一定の効果が得られたと考えられる．ただし，この実験では，正解の文章を提示して勉強期間を設けたことや，質問の出題順を固定にしたことから，本システムの学習による効果ではなく，自学自習の効果として結果に反映された可能性が高い．これに対しては，質問の出題順をランダムにすることや，本システムで繰り返し学習させることによ認識であるため，それを使用せずに音声認識処理を実装する必要がある．その関連研究として，日本人の音声データを収集し，深層学習などを用いて日本人の発話内容を認識する手法の可能性が提案[14,15]されているため，こうした手法をもとに開発することが考えられる．
以上より，本システムを用いることで，実際の人物とのコミュニケーションに近い練習が可能であり，本システムによる学習効果の一定の有効性を示せたといえる．また，よりリアルな会話に近づけるためのいくつかの改善点の案を得られたため，これらは今後の課題である．

4. システムの改善に向けた試行って，さらにシステムの活用効果を検証できると考える．

本システムでは，リアルな対話を実現するために，CG キ

次に，アンケート結果を図 6 に示す．会話のスムーズさ，ャラクタに対して，身振りや口の動きのアニメ－ションをリアルさや緊張感において高評価であるため，人間とのリ設定している．特に，口の動きに関しては，各会話文に対アルなコミュニケーションが体験できていると考えられる．

して個々に設定しているため，会話パターンを増やすごと一方，話しやすさは，両者とも低い評価であった．この原にアニメーションを作成する必要があり，作成コストを要

因を被験者に確認したところ，実際の講師との対話の場合する．そこで，実際の人物の動きをカメラで撮影し，そのは，相手に合わせてゆっくりと話すなどの配慮があるが，動きをトレースできれば作成作業を大幅に効率化できるこ本システムの会話スピードは一定であるため，ペースを合とから，既存手法を用いて身体と口のそれぞれの動きの自わせるために気持ちが焦ってしまうとの意見であった．こ動化の試行を行った．各試行結果の詳細を記述する．

れに対しては，質問に返答できない場合は会話スピードを4.1 身体のトレース落として再度質問を行うなどの工夫が考えられる．また，身体のトレースには，3d-pose-baseline[16]の手法を使用す正しい単語を話しているにもかかわらず認識しない場合がる．これは，単眼カメラで撮影した人物に対して，あったため，音声認識の正確さの点で評価が低くなった．

OpenPose[17]で 2 次元骨格データを生成し，深度推定デー

これに対しては，現状はクラウドサービスを使用した音声© 2020 Information Processing Society of Japan944

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-41
2020/3/9

た．今後は，心拍センサやカメラなど IoT 機器と組み合わせるなどにより，学習者の反応によって CG キャラクタの動作を変えるなど，よりリアルな対話の実現を目指す．
謝辞

本研究の遂行にあたり，文教大学スペイン語講師の寺田裕子氏にご協力頂いた．ここに記し感謝の意を表す．

参考文献
文部科学省. 新学習指導要領について. https://www.mext.go.jp/b_menu/shingi/chousa/shisetu/044/shiryo/__icsFiles/afieldfile/201
8/07/09/1405957_003.pdf, (参照 2019-12-23).
[2] 文部科学省. 平成 29 年度高等学校等における国際交流等の状況について. https://www.mext.go.jp/a_menu/koutou/ryugaku/koukousei/__icsFiles/afieldfile/2019/09/19/1323946_001_1.pdf,(参照 2019-12-23).
[3] 堀田英夫. CALL 教室でのスペイン語教育: HTML で作成した教材を利用して. コンピュータ＆エデュケーション. 1999,
vol.7, p.70-74.
[4] Spelichal, M. and Inoue, S.. The Roundtrip Method via HTM
L File as a Language Learning Strategy. Japanese Journal ofEducational Media Research, 2000, vol.6, no.2, p.41-49.
[5] ビラールイリヤス. 語学用 Web 教材に汎用性をもたらす試み. コンピュータ＆エデュケーション. 2001, vol.11, p.37-40.
[6] 中條清美, 西垣知佳子, 内堀朝子. 英語初級者向け CALL システムの開発とその効果. 日本大学生産工学部研究報告 B
文系. 2005, vol.38, p.1-16.
[7] 中川聖一. CALL と音声情報処理技術. 音声研究. 2005, vol.
9, no.2, p.28-37.
[8] 峯松信明, 富山義弘, 吉本啓, 清水克正, 中川聖一, 壇辻正剛, 牧野正三. 英語 CALL 構築を目的とした日本人及び米国人による読み上げ英語音声データベースの構築. 日本教育工学雑誌. 2003, vol.27, no.3, p.259-272.
[9] 中川聖一, 牧野正三, 壇辻正剛. 音声言語処理技術を用いた語学学習システム. 日本音響学会誌. 2003, vol.59, no.6, p.33
7-344.
[10] 秋本桃子, 阿部秀尚, 生田祐子, 森田武史, 山口高平. 教師業
務ルール分析に基づく対話型ロボットを用いた発音練習の実装と評価. 情報教育シンポジウム論文集. 2018, vol.2018, no.
26, p.185-188.
[11] ジョイズ株式会社. TerraTalk. https://www.terratalk.rocks/, (参照 2019-12-23).
[12] appArray 株式会社. SpeakBuddy, https://www.speakbuddy.me/,(参照 2019-12-23).
[13] 鈴木直人, 廣井富, 千葉祐弥, 能勢隆, 伊藤彰則. 応答タイミ
ングを考慮した英会話練習のための音声対話型英語学習シス
テム. 情報処理学会論文誌. 2015, vol.56, no.11, p.2177-2189.
[14] 大崎功一, 峯松信明, 広瀬啓吉. 日本人英語発声に観測される発音上の癖を考慮した音声認識. 電子情報通信学会技術研究報告. SP, 音声. 2003, vol.102, no.749, p.7-12.
[15] 南條浩輝. 多言語音声の音声認識. 日本音響学会誌. 2018, vol.74, no.9, p.531-534.
[16] Julieta, M., Rayat, H., Javier, R. and James J. L.. A simple
yet effective baseline for 3d human pose estimation. The IEE
E International Conference on Computer Vision (ICCV). 2017,p.2640-2649.
[17] Zhe, C., Gines. H., Tomas. S., Shih-En. W. and Yaser. S.. O
penPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. CVPR. 2018.
[18] “FacialMotionCapture”. https://github.com/jkirsons/FacialMotion
Capture, (参照 2019-12-23).
[1]

図 7

身体と顔の撮影とトレース結果

タと組み合わせて 3 次元骨格データを生成する手法である．
試行結果を図 7 上部に示す．単眼カメラを使用しているため，奥行きの軸の挙動が再現できない場合も見受けられたが，大まかな動きは再現することができた．そのため，この手法で動きを作成した後に CG ソフト上で微修正する方法であれば，十分に活用でき，コスト削減につながる．
4.2 顔のトレース
顔のトレースには，FacialMotionCapture[18]を使用する．
これは，OpenCV にて単眼カメラ上の人物の顔の特徴点を抽出し，CG キャラクタ上に対応した特徴点を配置することで顔の動きを再現する手法である．
試行結果を図 7 下部に示す．カメラ上の顔の傾きや口の動きに合わせた CG キャラクタの動作を確認できたため，これを用いて人物が話す口の動きを再現可能と考えられる．
ただし，CG キャラクタを自作したため，口の開き方に制限がないことや歯茎の位置が正常に表現されない問題がある
ため，実際の人物に近づけるための調整が必要である．

5. おわりに本研究では，実際の人物との円滑なコミュニケーション能力を身に付けることを目的とし，VR 空間におけるスペイン語の対話学習システムを提案した．そして，3 種類の実証実験により本システムの有効性を確認した．実験Ⅰではほぼ 100%の精度でスペイン語の発話内容を認識できること，実験Ⅱでは実際の人間との会話のように違和感なく対話できること，実験Ⅲでは本システムを活用して一定の学習効果が得られることをそれぞれ示した．また，システムの改善に向けて CG キャラクタの動作の自動化を試行し© 2020 Information Processing Society of Japan945