情報処理学会 インタラクション 2015
IPSJ Interaction 2015

B632015/3/6

アパレルショップを事例とした
コミュニケーションスキル学習支援システムの構築
大櫃 梨衣 1

曽我 真人 1

瀧 寛和 1

人と対面して話すコミュニケーションスキルを向上させるには，相手の発話内容を理解するだけでなく，相手の表情や振る舞いを認識し，そこから相手の意図を推測し，それに適合する応答を選択し，発話するスキルを向上させる必要がある．これはあらかじめ相手役を用意して練習することで学習することが出来る．しかし相手役を伴わない練習においてはそのスキルを取得することが難しい．そこで本研究では一人でコミュニケーションの練習が出来るシステ
ムの環境を構築することを目的とした．PC の仮想空間上に相手を用意し，その相手とコミュニケーションを繰り返しとることで，コミュニケーションスキルを向上させることを目指している．

Development of a Learning Support System for Communication Skill
in Case of an Apparel Retailer
RIE OHBITSU1 MASATO SOGA1HIROKAZU TAKI1
Abstract: It is needed not only to understand utterance of a person, but also to improve a skill of recognizing expression andbehavior of the person, inferring his/her intent, choosing most suitable response, and uttering in order to improve acommunication skill for talking face to face. We are able to learn the communication skill by practicing with a person. However,
it is difficult to learn the skill in the case of practicing by oneself. In this background, the purpose of this study is to develop asystem with which we can practice communication by oneself. Goal of the system is to improve communication skill of a learneras a store clerk of an apparel retailer by preparing an avatar as a customer in virtual space on the PC and by communicating
between the learner and avatar in turn.

1. はじめに
1.1 研究背景

上するには，これら①②③のスキルをそれぞれ向上させる必要がある．そのためには，相手との対話を繰り返していき慣れていくことで向上させることが出来る．相手の表情学習は，学習内容で分類すると，数学，物理，英文法なを見る行為や相手の発言を聴く行為に慣れていくことでコ

ど，記号で表現可能な形式知の学習と，スポーツ，芸術（絵ミュニケーションスキルを自分のものにすることができ，画描画，楽器演奏，陶芸，書道，華道など），もの作りなど，相手の気持ちを考慮したコミュニケーションが可能になる．

実技，あるいは，身体動作（身体知）がかかわるスキルのまた，実際に声を出すことで視覚だけではなく聴覚も働く学習とに大別される．一般に，人間が持つスキルを実行すことで刺激が増幅される．このようにして声を出す慣れもるときには，対象の①知覚・認識，②認識結果に応じた最学習することが出来る．また相手のことを意識したコミュ

適な行動の選択，③行動，のサイクルを繰り返す．

ニケーションをとることで，コミュニケーションスキルを人と対面して話すコミュニケーションの学習もスキル向上させることが出来る．の学習に分類される．コミュニケーションスキルにおいて日常生活の中でコミュニケーションスキルを向上させは，前述の①は，相手の発話内容を理解することや，相手る練習として，例えばアパレルショップ等の接客練習が挙の表情や振る舞いを認識することが，それに相当する．②げられる．これは相手に客の役を演じてもらうことで，相は，そこから相手の意図を推測し，それに適合する応答を手を想定した接客練習をするというものである．しかし相選択することが，それに相当する．③は，選択した応答を手役が用意出来ない場合には一人で接客練習をしなければ発話したり，必要に応じて身振りで提示したりすることが，ならない．その場合の練習方法としてイメージトレーニンそれに相当する．コミュニケーションスキルを総合的に向グをする，接客マニュアルの文章を読むといった練習方法が挙げられる．しかしこの場合の練習方法は相手がいない

1 和歌山大学システム工学部
Faculty of system Engineering, Wakayama University

ため，相手を想定した実践的な練習方法ではないと考えられる．

© 2015 Information Processing Society of Japan672

1.2 関連研究
コミュニケーションスキルという用語の定義は，研究者によって，ややばらつきがある．類似した用語として，ソ発話した音声から抽出した特徴量に従って要約したフィードバックを提示する．それは，コメント，ユーザのビデオ，手本との対比，総合スコアという 4 つの項目を含む．

ーシャルスキルがある．相川[1]によれば，対人スキル，コこのシステムは，課題設定として，ナレティブという，ミュニケーションスキル，ヒューマンスキル，インターパ学習者からの一方的な発話課題を設定してソーシャルスキーソナルスキルを包括するのがソーシャルスキルであるとルの向上を図る学習支援システムである．システムのアバしている．ここでは，基本的には，その考えに基づくもの

タは，学習者の発話の音声認識機能を使って，頷きや相槌とする．そして，コミュニケーションスキルは，ソーシャの生成と提示を行うことができるが，1 分間におよぶ学習ルスキルの中でも，特に，実際の場面を想定した対話にお者の発話は，学習者からシステムへの一方向となっている．

ける，①知覚・認識，②認識結果に応じた最適な行動の選

このため，スキルのサイクルの 3 段階の過程のうち，主に，択，③行動，の各段階におけるスキルを指すものと定義す③の行動のスキルの向上をはかることが主たる目的となっる．ていると言える．

田中らは，主に自閉症スペクトラム障害（ASD）を有す

しかし，スキルのサイクルの①知覚・認識，②認識結果る学習者を対象として，非言語情報を含むソーシャルスキに応じた最適な行動の選択の各段階のスキルの向上をはか

ルの向上についての支援システムとして iPad 用アプリケる機能が乏しく，このシステムを使って，現実的な場面でーションである NOCOA[2]，および，その改良版であるのコミュニケーションスキルの向上をはかるのは難しいとNOCOA+[3][4]を開発した．このアプリケーションは動画内考えられる．の人物が何かを話しており，その映像から学習者はそれが「誰に言っているか」「どんな意図で言っているか」を推測

1.3 研究目的することにより非言語コミュニケーションスキルを向上さ

本研究では，自主学習でコミュニケーションの練習が可せるというものである．したがって，スキルのサイクルの能なシステムを構築し，相手との対話を通してコミュニケ

3 段階の各段階のうち，①知覚・認識のスキルとして，相ーションに慣れることによりコミュニケーションスキルの手の表情を認識するスキル，そして，②認識結果に応じた向上を図ることを目的としている．

最適な行動の選択スキルとして，表情から意図を選択するスキルを向上させることができるといえる．

今回のシステムのシチュエーションは，婦人服を売るアパレルショップを想定している．学習者とコミュニケーシしかし，このアプリケーションでは現実味のある相互的ョンをとってもらう相手役は仮想上でアバタで表現し，学なコミュニケーションの学習は難しいと考えられる．話し

習者には店員役，仮想上のアバタは客役としてコミュニケている相手の発話，動作から相手の感情を推測することはーションをとってもらうことにした．

可能であるが，対話の流れの中で，学習者自身から発話す

これらの設定により，①知覚・認識スキルとして，アバることがないので，相手の感情を推測してもそれを相手にタの客の表情を認識するスキル，②認識結果に応じた最適声に出して伝えるといったコミュニケーションスキルは向な行動の選択を行うスキルとして，アバタの客の表情に最上させることが出来ない．

適な返答を選択するスキル，③行動スキルとして，返答を一方，田中らは，仮想空間内のアバタでソーシャルス発話するスキル，以上の 3 つのスキルを現実的な対話モデ

キルトレーナを構築し，そのアバタとのインタラクションルの中で，総合的に向上させることが可能となっている．

を通して，ソーシャルスキルの向上を支援するシステム[5]を試作している．具体的には，ナラティブ（ストーリー手リング）を課題として設定し，収録されたナラティブスキ

2. システム概要
2.1 使用機器

ルの上達者のビデオを学習者が視聴して手本とする．次に，音声入力用のマイク，音声出力用のスピーカーを PC にシステムのアバタ―を相手として，学習者はロールプレイ接続して音声対話を行う．画面出力はディスプレイ PC 上を行う．このとき，システムは学習者の発話した音声を認で行う．

識する．ロールプレイが終わると，システムは，学習者が© 2015 Information Processing Society of Japan673

表 1

発言者と発言内容

番号

発言者

1

客

すみません．

発言内容の例2

店員

どうなさいましたか？

3

客

4

店員

青がお似合いですよ．

5

客分かりました．

6

客

この服いいですね．

7

客

別の服も見せてください．

8

店員

9

客

本当にこれでいいですかね？

10

店員

大丈夫です．似合っていますよ．

11

客

じゃあこれにします．

12

店員

大丈夫です．似合っていますよ．

13

客

うーん，他の服も見せてください．

14

店員

痩せている風に見える服が欲しいのですがありますか？

それではこちらの服はどうでしょうか？

それではこちらの服はどうでしょうか？
表 2

選択肢の内容記号
図 1

システムの流れ選択肢の例

A「青」「ピンク」

B「この服を勧める」「別の服を勧める」
表 3

2.2 使用ソフトウェア

場合分けの内容

音声認識用に Julius を使用した．Julius で使用する認識用

記号の辞書は接客の際に使う語句のみが入ったものを使う．全a

選んだ服が正解の場合

体のシステムの制御には Unity を使用した．Julius を音声認b

選んだ服が不正解の場合識のためのサーバとして動かし，またシステム全体の制御

c

客が店員にこの服でいいのか確認する場合に使用する．

d

客が笑顔の時

2.3 システム構成e

客が不安そうな顔の時

学習者の発言が音声入力されると Unity は Julius に音声データを送信する．音声データを受け取った Julius は認識f用の辞書と照らし合わせて認識結果を返す．あらかじめ設定しておいた言葉の文字列と認識結果の文字列が一致してgいるかどうかを調べ，一致している場合にはアバタの客がh

場合分けの内容「この服を勧める」を選びかつ選んだ服が正解の場合「この服を勧める」を選びかつ選んだ服が不正解の場合「他の服を勧める」を選んだ場合新たに発言を行う，あるいは動作や表情を変化させる，というように振る舞いを変更させる．一致していない場合には再度音声を入力するように促す．学習者から見ると，自分の応答に相手が返答するという流れになっておりコミュニケーションがとれている状態になっている．このようにして，仮想上の相手とのコミュニケーションを実現している．

2.4 システムの流れシステムの流れについて図 1 に示す．また図 1 の番号と記号に対応する内容を表 1，表 2，表 3 に示す．システムには二種類の流れが存在する．一つが通常時の流れ，もう一つが選択時の流れである．通常時の流れは図 1 にて番号で示している部分であり，選択時の流れは図 1 にて大文字の英語で示している部分である。

© 2015 Information Processing Society of Japan674

2.4.1 通常時の流れ
通常時の画面は図 2 に示す．この場合のシステムの流れとしては，アバタの客の最初の一言，あるいは応答に対して，店員としての学習者が返答する，というものである．
学習者が返答する内容については，画面下部にメッセージボックスがあり，表 1 で示している店員の発言内容が表示されるのでその内容を読み上げてもらう．うまく発話することができシステムに音声が適切に認識されたとき，客の次の応答に進む．
2.4.2 選択時の流れ
選択時の画面は図 3 に示す．この場合のシステムの流れ

図 2

通常時の画面図 3

選択時の画面

としては，客の応答に対して，画面上に表示された選択肢の中から学習者が店員の応答として正解だと思う方を選び発話する，というものである．選択肢の内容は表 2 に示している．選択するとその選択に応じた返答内容がメッセージボックスに表示されるので 2.4.1 節と同様に学習者に発話してもらう．学習者に答えを選ばせることにより，単調な応答の繰り返しではなく相手を意識してコミュニケーションをとることが出来る．選択による場面変更についての場面分けは表 3 に示している．選択肢の場面は次の二種類を想定している．一つが試着する前に服を勧める時，もう一つが試着した後に服を勧める時である．試着する前に服を勧める時の選択肢は表 2 の A，試着した後に服を勧める
時の選択肢は表 2 の B に示している．
2.4.2.1.

試着する前に服を勧める時

相手がどのような服を買いたいかという要望を発言する．学習者は相手の容姿や発言内容といった要素からどの服が相手にもっとも適しているかを画面上に表示されている二つの選択肢から選択し，返答する．選択肢の上にマウスカーソルを置くと，服の画像が表示されるようになっている．
2.4.2.2.

試着した後に服を勧める時

相手が服を着た後に本当にこの服が合っているのかど

図 4

うかを学習者に確認する，というものである．相手の表情

笑顔を見て，もし相手が笑顔(図 4)ならそのまま勧め，不安そうな顔(図 5)をしていたら別の服を提案する，という流れになっている．2.4.2.1 節と同様に二つの選択肢が画面上に表示されるので，そのまま勧めるか他の服を勧めるかを選択する．このイベントは必ずしも発生しない．ランダム要素を加えることで単調なコミュニケーションにはならないようにしている．

図 5© 2015 Information Processing Society of Japan

不安そうな顔675

3. 評価実験
従来のテキストを用いた学習法よりも本システムを用いた学習方法の方に有用性があることを検証する．学習者は接客業務経験の無い女子学生を予定している．
3.1 実験の流れ
学習者をあらかじめ実験群と統制群の 2 つのグループに分ける．最初にどちらのグループにも事前テストをしてもらう．事前テストの内容は実際に人と対面してのコミュニケーションを予定している．続いて実験群には本システムを用いての学習，統制群にはテキストを用いての学習を行ってもらう．学習を一定時間行ってもらった後に事後テストをしてもらう．事後テストの内容は事前テストと同じものとする．最後に学習者にアンケート調査を実施し，学習者のコミュニケーションにおける満足度を計る．

4. まとめ本研究ではアパレルショップを事例としたコミュニケーション学習支援システムを提案した．仮想上に相手を用意することで，相手がいることを想定したコミュニケーシ
ョンの学習ができ，現実味のある練習が出来ることが期待される．今後，本システムの有用性を実験によって明らかにする予定である．

参考文献
1 相川充，ソーシャルスキルの測定，東京大学公開シンポジウム，中等教育段階における多面的教育測定～PISA を超えて～ 講演 4，2005 年 8 月 20 日
http://www.p.u-tokyo.ac.jp/sokutei/pdf/200508/report4.pdf
2 Tanaka Hiroki, Sakti Sakriani, Neubig Graham, Toda Tomoki,Nakamura Satoshi, NOCOA: A Computer-Based Training Tool for
Social and Communication Skills That Exploits Non-verbal Behaviors,
The Journal of Information and Systems in Education, Vol. 12, No. 1, pp.
19–26, 2014.
3 田中 宏季，サクリアニ サクティ，グラム ニュービック，
戸田 智基，中村 哲: 非言語情報読み取りスキルを用いた自閉症スペクトラム指数の測定，電子情報通信学会技術研究報告. IMQ,
イメージ・メディア・クオリティ 112(472), 223-226, 2013-03-04
4 NOCOA+
https://itunes.apple.com/jp/app/nocoa+/id622502354?mt=8
5 田中 宏季，サクリアニ サクティ，グラム ニュービッグ，戸田智基，根來秀樹，岩坂英巳，中村 哲， ソーシャルスキルトレー
ニングの自動化，電子情報通信学会技術研究報告，ET2014-61，pp.
1-6, Nov. 2014

© 2015 Information Processing Society of Japan676