(57)【要約】【課題】本発明は、機械学習の手法を用いたコミュニケーション能力推定装置を提供することを目的とする。【解決手段】本発明によれば、グループディスカッションに参加する各被験者の発話音声情報から発話に関する特徴量を抽出する手段と、各前記被験者の前記発話に関する特徴量を入力とし、該被験者のコミュニケーション能力の評定値を出力とする教師データを生成する手段と、生成した前記教師データを学習器に学習させてコミュニケーション能力を推定する推定モデルを生成する手段と、評価対象となる被験者がグループディスカッションに参加した際に、前記特徴量を抽出する手段が該被験者の発話音声情報から抽出した発話に関する特徴量を前記推定モデルに対して入力する手段と、前記推定モデルの出力として該被験者のコミュニケーション能力の推定値を取得する手段とを含む、コミュニケーション能力推定装が提供される。【選択図】図１
2018004813.tif 000002
【特許請求の範囲】
【請求項１】
コミュニケーション能力の推定モデルを生成するための教師データを生成する方法であって、
グループディスカッションに参加する各被験者の発話音声情報から該被験者の発話に関する特徴量を抽出するステップと、
各前記被験者の前記発話に関する特徴量を入力とし、該被験者のコミュニケーション能力の評定値を出力とする教師データを生成するステップと、
を含み、
前記発話に関する特徴量を抽出するステップは、
前記発話音声情報を解析して言語情報を取得し、該言語情報から所定の品詞を抽出し、該所定の品詞の出現数に関する第１の特徴量を抽出するステップを含む、
方法。
【請求項２】
前記発話に関する特徴量を抽出するステップは、
前記発話音声情報を解析して被験者の発話を抽出し、該発話の量に関する第２の特徴量を抽出するステップを含む、
請求項１に記載の方法。
【請求項３】
前記発話に関する特徴量を抽出するステップは、
前記発話音声情報を解析して被験者の発話を抽出し、該発話の韻律に関する第３の特徴量を抽出するステップを含む、
請求項１または２に記載の方法。
【請求項４】
さらに、各前記被験者のモーション情報を取得するステップと、
各前記被験者の前記モーション情報から動作量に関する特徴量を抽出するステップを含み、
前記教師データを生成するステップは、
各前記被験者の前記発話に関する特徴量および前記動作量に関する特徴量を入力とし、該被験者のコミュニケーション能力の評定値を出力とする教師データを生成するステップを含む、
請求項１〜３のいずれか一項に記載の方法。
【請求項５】
コミュニケーション能力の推定モデルを生成する方法であって、
請求項１〜４のいずれか一項に記載の方法によって教師データを生成するステップと、
生成した前記教師データを学習器に学習させて前記推定モデルを生成するステップと、
を含む方法。
【請求項６】
前記推定モデルは、回帰モデルまたは分類モデルである、
請求項５に記載の方法。
【請求項７】
コンピュータに、請求項１〜６のいずれか一項に記載の方法の各ステップを実行させるためのプログラム。
【請求項８】
コミュニケーション能力の推定モデルを生成するための教師データを生成する装置であって、
グループディスカッションに参加する各被験者の発話音声情報から発話に関する特徴量を抽出する手段と、
各前記被験者の前記発話に関する特徴量を入力とし、該被験者のコミュニケーション能力の評定値を出力とする教師データを生成する手段と、
を含み、
前記発話に関する特徴量を抽出する手段は、
前記発話音声情報を解析して言語情報を取得し、該言語情報から所定の品詞を抽出し、該所定の品詞の出現数に関する第１の特徴量を抽出することを特徴とする、
装置。
【請求項９】
コミュニケーション能力の推定モデルを生成する装置であって、
グループディスカッションに参加する各被験者の発話音声情報から発話に関する特徴量を抽出する手段と、
各前記被験者の前記発話に関する特徴量を入力とし、該被験者のコミュニケーション能力の評定値を出力とする教師データを生成する手段と、
前記教師データを学習器に学習させて前記推定モデルを生成する手段と、
を含み、
前記発話に関する特徴量を抽出する手段は、
前記発話音声情報を解析して言語情報を取得し、該言語情報から所定の品詞を抽出し、該所定の品詞の出現数に関する第１の特徴量を抽出することを特徴とする、
装置。
【請求項１０】
コミュニケーション能力を推定する装置であって、
グループディスカッションに参加する各被験者の発話音声情報から発話に関する特徴量を抽出する手段と、
各前記被験者の前記発話に関する特徴量を入力とし、該被験者のコミュニケーション能力の評定値を出力とする教師データを生成する手段と、
生成した前記教師データを学習器に学習させてコミュニケーション能力を推定する推定モデルを生成する手段と、
評価対象となる被験者がグループディスカッションに参加した際に、前記特徴量を抽出する手段が該被験者の発話音声情報から抽出した発話に関する特徴量を前記推定モデルに対して入力する手段と、
前記推定モデルの出力として該被験者のコミュニケーション能力の推定値を取得する手段と、
を含み、
前記発話に関する特徴量を抽出する手段は、
前記発話音声情報を解析して言語情報を取得し、該言語情報から所定の品詞を抽出し、該所定の品詞の出現数に関する第１の特徴量を抽出することを特徴とする、
コミュニケーション能力推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コミュニケーション能力を推定する技術に関する。
【背景技術】
【０００２】
近年、人工知能分野において「インタラクションを通じて行動主体が他者との社会的な関係を構築し、利用することで問題解決を行う能力」と定義される社会知（非特許文献１）をモデル化する研究が活発に行われている（例えば、非特許文献２）。
【０００３】
一方、近年の人材育成の現場では、若年者のコミュニケーション能力の向上を図ることが重要な課題となっており、そのための教育・訓練基盤の整備が強く求められている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】西田豊明, 角康之, 松村真宏：社会知デザイン, 知の科学, オーム社(2009)
【０００５】
【非特許文献２】Nishida, T.: Conversational informatics: an engineeringapproach, Vol. 9, Wiley. com (2008)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記に鑑みてなされたものであり、機械学習の手法を用いたコミュニケーション能力推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明者は、機械学習の手法を用いたコミュニケーション能力推定装置の構成につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。
【０００８】
すなわち、本発明によれば、コミュニケーション能力を推定する装置であって、グループディスカッションに参加する各被験者の発話音声情報から発話に関する特徴量を抽出する手段と、各前記被験者の前記発話に関する特徴量を入力とし、該被験者のコミュニケーション能力の評定値を出力とする教師データを生成する手段と、生成した前記教師データを学習器に学習させてコミュニケーション能力を推定する推定モデルを生成する手段と、評価対象となる被験者がグループディスカッションに参加した際に、前記特徴量を抽出する手段が該被験者の発話音声情報から抽出した発話に関する特徴量を前記推定モデルに対して入力する手段と、前記推定モデルの出力として該被験者のコミュニケーション能力の推定値を取得する手段と、を含み、前記発話に関する特徴量を抽出する手段は、前記発話音声情報を解析して言語情報を取得し、該言語情報から所定の品詞を抽出し、該所定の品詞の出現数に関する第１の特徴量を抽出することを特徴とする、コミュニケーション能力推定装置が提供される。
【発明の効果】
【０００９】
上述したように、本発明によれば、機械学習の手法を用いたコミュニケーション能力推定装置が提供される。
【図面の簡単な説明】
【００１０】
【図１】本実施形態のコミュニケーション能力推定装置の機能ブロック図。
【図２】教師データ生成処理のフローチャート。
【図３】本実施形態のコミュニケーション能力推定装置の機能ブロック図。
【図４】コミュニケーション能力推定処理のフローチャート。
【図５】本実施例で生成した回帰モデルの決定係数Ｒ２を示す棒グラフ。
【図６】本実施例で生成した分類モデルの正答率を示す棒グラフ。
【図７】本実施例で生成した分類モデルのROC曲線を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１２】
図１は、本発明の実施形態であるコミュニケーション能力推定装置１００の機能ブロック図を示す。以下、図１に基づいて、本実施形態のコミュニケーション能力推定装置１００の機能構成を説明する。
【００１３】
図１に示すように、本実施形態のコミュニケーション能力推定装置１００は、コーパス収集部１０１と、評定値入力部１０２と、音声認識部１０３と、形態素解析部１０４と、発話音声解析部１０５と、動作量検出部１０６と、特徴量抽出部１０７と、教師データ生成部１０８と、学習実行部１０９と、学習器１１０と、推定実行部１１２と、推定値出力部１１３とを含んで構成される。
【００１４】
コーパス収集部１０１は、クループディスカッションに参加する被験者からコーパスを収集する手段である。
【００１５】
評定値入力部１０２は、コミュニケーション能力を評定する専門家から被験者の評定値の入力を受け付ける手段である。
【００１６】
音声認識部１０３は、被験者の発話音声情報を解析して言語情報（テキストデータ）を取得する手段である。
【００１７】
形態素解析部１０４は、音声認識部１０３が取得した言語情報に対して形態素解析を施して所定の品詞を抽出する手段である。
【００１８】
発話音声解析部１０５は、被験者の発話音声情報を解析して発話を抽出する手段である。
【００１９】
動作量検出部１０６は、被験者のモーション情報から動作量を検出する手段である。
【００２０】
特徴量抽出部１０７は、形態素解析部１０４が抽出する所定の品詞、発話音声解析部１０５が抽出する発話、および、動作量検出部１０６が検出する動作量に基づいて、被験者のコミュニケーションに係る特徴量を抽出する手段である。
【００２１】
教師データ生成部１０８は、コミュニケーション能力の推定モデルを生成するための教師データを生成する手段である。
【００２２】
学習実行部１０９は、教師データ生成部１０８が生成した教師データを学習器に学習させる手段である。
【００２３】
学習器１１０は、教師データを学習してコミュニケーション能力の推定モデルを生成する手段である。
【００２４】
推定実行部１１２は、評価対象となる被験者の特徴量を推定モデルに対して入力する手段である。
【００２５】
推定値出力部１１３は、推定モデルの出力として被験者のコミュニケーション能力の推定値を取得する手段である。
【００２６】
なお、本実施形態では、コミュニケーション能力推定装置１００を構成するコンピュータが所定のプログラムを実行することにより、コミュニケーション能力推定装置１００が上述した各手段として機能する。
【００２７】
以上、コミュニケーション能力推定装置１００の機能構成について説明してきたが、続いて、コミュニケーション能力推定装置１００が実行する処理について説明する。コミュニケーション能力推定装置１００は、コミュニケーション能力の推定モデルを生成するために機械学習を行う“学習モード”と、生成された推定モデル（学習器）を用いて被験者のコミュニケーション能力を推定する“推定モード”を備えている。ここでは、まず、図１を参照しながら“学習モード”について説明する。
【００２８】
コミュニケーション能力推定装置１００は、“学習モード”において、まず最初に、コーパスを収集する。以下、コーパスを収集する手順を説明する。
【００２９】
複数の被験者を集めてグループ分けし、各グループに対して共通の課題を与えてグループディスカッションを行わせる。このとき、グループのメンバーはお互いに初対面であることが好ましく、また、各グループに対して、傾向の異なる複数の課題を与えることが好ましい。
【００３０】
グループディスカッションが行われる間、各被験者に指向性の音声マイクを装着して、各被験者の発話音声情報を個別的に取得するとともに、任意のモーションセンサ（例えば、３軸加速度センサ）を各被験者の身体（好ましくは、頭部）に装着して、各被験者のモーション情報（例えば、加速度データ）を取得する。なお、本実施形態において、“モーション情報”とは、被験者の動作量を抽出することができるＲＡＷデータを意味し、その目的に適う限り、非接触センサ（例えば、赤外線センサ）のセンサ出力をモーション情報として取得してもよいし、デジタルビデオカメラが撮影する被験者の映像をモーション情報として取得してもよい。
【００３１】
各被験者から取得された発話音声情報とモーション情報は、コーパス収集部１０１によって、当該被験者の識別情報（以下、被験者ＩＤという）に紐付けられ、記憶領域１２０に格納される。
【００３２】
コーパスの収集が完了した後、グループディスカッションの様子を収めたビデオ映像を予め選任した複数の評定者に視聴させ、各評定者に各被験者のコミュニケーション能力を評定させる。なお、本実施形態では、企業等で採用面接の経験のある専門家を評定者として選任することが好ましい。
【００３３】
一方、評定値入力部１０２は、評定値を入力するための所定のＵＩを評定者に提供する。これを受けて、各評定者は、提供されたＵＩを介して各被験者の評定値をコミュニケーション能力推定装置１００に入力する。これを受けて、評定値入力部１０２は、入力された各被験者の評定値を被験者ＩＤに紐付けて、記憶領域１２０に格納する。
【００３４】
各被験者のコーパス（発話音声情報、モーション情報）と評価値が揃って記憶領域１２０に格納されたことを受けて、コミュニケーション能力推定装置１００は、「教師データ生成処理」を実行する。以下、コミュニケーション能力推定装置１００が実行する「教師データ生成処理」を図２に示すフローチャートに基づいて説明する。
【００３５】
まず、ステップ１０１では、音声認識部１０３、形態素解析部１０４、発話音声解析部１０５および特徴量抽出部１０７が協働して、各被験者の発話音声情報から“発話に関する特徴量”を抽出する。本実施形態では、“発話に関する特徴量”として、「発話ターン（Ｓ）」、「韻律（Ａ）」、「言語（Ｌ）」という３種類の特徴量グループを抽出する。下記表１は、それぞれの特徴量グループに属する特徴量をまとめて示す。
【００３６】
【表１】
2018004813.tif 000003
【００３７】
以下では、上記表１に示す各特徴量グループに属する特徴量とその算出方法について順を追って説明する。
【００３８】
＜発話ターン（Ｓ）＞
発話ターン（Ｓ）は、被験者の発話の量（時間長さ・回数）に関する特徴量のグループであり、「合計発話長」、「合計発話回数」、「合計発話長（１秒以上）」、「合計発話回数（１秒以上）」という４つの特徴量からなる。本実施形態では、発話音声解析部１０５と特徴量抽出部１０７が協働して、各特徴量を以下の手順で算出する。
【００３９】
（合計発話長）
発話音声解析部１０５は、１つの課題についてグループディスカッションが行われる期間（以下、１セッションという）に取得した各被験者の発話音声データを所定の微小時間単位（例えば、0.01秒単位）に分割して各区間の音圧を分析し、音圧が所定の閾値以上の区間を“発話区間“として検出する。これを受けて、特徴量抽出部１０７は、検出された発話区間の数Ｎに発話区間の長さ（例えば、0.01秒）を乗じた値（N×0.01）を「合計発話長」とする。
【００４０】
（合計発話回数）
特徴量抽出部１０７は、１以上の連続する発話区間を“発話断片”として抽出し、抽出した発話断片の合計数を「合計発話回数」とする。
【００４１】
（合計発話長（１秒以上））
特徴量抽出部１０７は、抽出した発話断片の中から、１秒以上の時間長さを有する発話断片を抽出し、抽出した１以上の発話断片の時間長さの総和を「合計発話長（１秒以上）」とする。
【００４２】
（合計発話回数（１秒以上））
特徴量抽出部１０７は、抽出した１秒以上の時間長さを有する発話断片の合計数を「合計発話回数（１秒以上）」とする。
【００４３】
＜韻律（Ａ）＞
韻律（Ａ）は、被験者の発話の韻律に関する特徴量のグループであり、「最大ピッチ」、「最小ピッチ」、「ピッチ平均」、「最大インテンシティ」、「最小インテンシティ」、「音圧の幅」、「抑揚」、「話速」という８つの特徴量からなる。本実施形態では、発話音声解析部１０５と特徴量抽出部１０７が協働して、各特徴量を以下の手順で算出する。
【００４４】
（最大ピッチ）
発話音声解析部１０５は、１セッションで記録された各被験者の発話音声データから検出された各発話断片から最も高いピッチを検出する。これを受けて、特徴量抽出部１０７は、各発話断片から検出された最も高いピッチの平均値を「最大ピッチ」とする。
【００４５】
（最小ピッチ）
発話音声解析部１０５は、検出された各発話断片から最も低いピッチを検出する。これを受けて、特徴量抽出部１０７は、各発話断片から検出された最も低いピッチの平均値を「最小ピッチ」とする。
【００４６】
（ピッチ平均）
発話音声解析部１０５は、検出した各発話断片を所定の微小時間単位（例えば、0.1秒単位）に分割して各区間のピッチを検出する。これを受けて、特徴量抽出部１０７は、各区間から検出されたピッチの平均値を算出する。その上で、各発話断片から算出されたピッチの平均値の平均値を「ピッチ平均」とする。
【００４７】
（最大シンテンシティ）
発話音声解析部１０５は、特徴量抽出部１０７が検出した各発話断片から最大音圧を検出する。これを受けて、特徴量抽出部１０７は、各発話断片から検出された最大音圧の平均値を「最大シンテンシティ」とする。
【００４８】
（最小インテンシティ）
発話音声解析部１０５は、特徴量抽出部１０７が検出した各発話断片から最小音圧を検出する。これを受けて、特徴量抽出部１０７は、各発話断片から検出された最小音圧の平均値を「最小シンテンシティ」とする。
【００４９】
（音圧の幅）
特徴量抽出部１０７は、最大インテンシティと最小インテンシティの差分を「音圧の幅」とする。
【００５０】
（抑揚）
特徴量抽出部１０７は、最大ピッチと最小ピッチの差分を「抑揚」とする。
【００５１】
（話速）
発話音声解析部１０５は、特徴量抽出部１０７が検出した全発話断片に含まれるシラブル（音節）を検出する。これを受けて、特徴量抽出部１０７は、検出されたシラブルの合計数を「合計発話長」で割った値を「話速」とする。
【００５２】
＜言語（Ｌ）＞
言語（Ｌ）は、被験者の発話において出現する所定の品詞（「名詞」、「動詞」、「感動詞」、「フィラー」）の出現数に関する特徴量のグループであり、「名詞数」、「動詞数」、「感動詞数」、「フィラー数」、「新規名詞数」、「既出名詞数」、「新規名詞頻度」という７つの特徴量からなる。本実施形態では、音声認識部１０３、形態素解析部１０４および特徴量抽出部１０７が協働して、各特徴量を以下の手順で算出する。
【００５３】
（名詞数、動詞数、感動詞数、フィラー数）
音声認識部１０３は、１セッションで記録された各被験者の発話音声データを解析して言語情報（発話の内容を表すテキストデータ）を取得する。これを受けて、形態素解析部１０４は、取得された言語情報に対して形態素解析を施して、４種類の品詞（「名詞」、「動詞」、「感動詞」、「フィラー」）を抽出する。ここで、「感動詞」とは、「ああ」、「なるほど」、「うん」といった、相手の発言に対する相槌や反応をするときによく観測される品詞であり、「フィラー」とは、「えーっと」、「なんか」といった、話者が発話の合間を埋めようとするときによく観測される品詞である。４種類の品詞（「名詞」、「動詞」、「感動詞」、「フィラー」）が抽出されたことを受けて、特徴量抽出部１０７は、「名詞」の合計数、「動詞」の合計数、「感動詞」の合計数および「フィラー」の合計数を、それぞれ、「名詞数」、「動詞数」、「感動詞数」および「フィラー数」とする。
【００５４】
（新規名詞数）
特徴量抽出部１０７は、１セッションにおいて、注目する被験者が他の被験者に先駆けて初めて発話した「名詞」を当該被験者の「新規名詞」として検出し、検出した「新規名詞」の合計数を「新規名詞数」とする。
【００５５】
（既出名詞数）
特徴量抽出部１０７は、「名詞数」と「新規名詞数」の差分を「既出名詞数」とする。
【００５６】
（新規名詞頻度）
特徴量抽出部１０７は、「新規名詞数」を「合計発話回数」で割った値を「新規名詞頻度」とする。
【００５７】
以上、上記表１に示す各特徴量グループに属する特徴量とその算出方法について説明した。なお、本実施形態では、特徴量抽出部１０７が、各被験者の「発話ターン（Ｓ）」、「韻律（Ａ）」、「言語（Ｌ）」を被験者ＩＤに紐付けて記憶領域１３０に格納する。
【００５８】
再び、図２に戻って説明を続ける。
【００５９】
続くステップ１０２では、動作量検出部１０６と特徴量抽出部１０７が協働して、各被験者のモーション情報から“動作に関する特徴量”を抽出する。本実施形態では、“動作に関する特徴量”として、「動作（Ｍ）」という特徴量グループを抽出する。下記表２は、「動作（Ｍ）」に属する特徴量をまとめて示す。
【００６０】
【表２】
2018004813.tif 000004
【００６１】
以下では、上記表２に示す「動作（Ｍ）」に属する特徴量とその算出方法について順を追って説明する。
【００６２】
＜動作（Ｍ）＞
動作（Ｍ）は、「動作量の平均」、「動作量の標準偏差」、「発話中の動作量の平均」、「発話中の動作量の標準偏差」という４つの特徴量からなる。本実験では、動作量検出部１０６と特徴量抽出部１０７が協働して、各特徴量を以下の手順で算出する。なお、以下では、モーション情報として、３軸加速度センサの加速度データを取得した場合を例にとって説明する。
【００６３】
（動作量の平均、動作量の標準偏差）
動作量検出部１０６は、１セッションで記録された各被験者の加速度データを分析して、時刻ｔにおける加速度の３次元ベクトル:at={xt,yt,zt}のノルム|at|を算出する。これを受けて、特徴量抽出部１０７は、算出された|at|の平均および標準偏差を、それぞれ、「動作量の平均」および「動作量の標準偏差」とする。
【００６４】
（発話中の動作量の平均、発話中の動作量の標準偏差）
動作量検出部１０６は、１セッションで記録された各被験者の発話音声データから検出される各発話断片に対応する期間に記録された当該被験者の加速度データを分析して、当該期間における動作量（ノルム|at|）を算出する。これを受けて、特徴量抽出部１０７は、各発話断片について算出された動作量（ノルム|at|）の平均および標準偏差を算出した上で、算出された動作量（ノルム|at|）の平均の平均値を「動作量の平均（発話単位）」とし、算出された動作量（ノルム|at|）の標準偏差の平均値を「動作量の標準偏差（発話単位）」とする。
【００６５】
以上、上記表２に示す「動作（Ｍ）」に属する特徴量とその算出方法について説明した。なお、本実施形態では、特徴量抽出部１０７が、抽出した各被験者の「動作（Ｍ）」を被験者ＩＤに紐付けて記憶領域１３０に格納する。
【００６６】
再び、図２に戻って説明を続ける。
【００６７】
続くステップ１０３では、教師データ生成部１０８が、各被験者の特徴量を入力（Ｘ）とし、当該参加者のコミュニケーション能力の評価値を出力（Ｙ）とする教師データを生成する。具体的には、まず、各被験者の被験者ＩＤに紐付いた４種類の特徴グループ（発話ターン（Ｓ）、韻律（Ａ）、言語（Ｌ）、動作（Ｍ））の中から、「言語（Ｌ）」を含む複数の特徴グループからなるセット（以下、特徴量セットという）を記憶領域１３０から読み出す。ここで、特徴量セットは、「言語（Ｌ）」を含む３以上の特徴グループからなることが好ましい。その後、被験者の特徴量セットを構成する各特徴量（実数）を要素とする素性ベクトルを入力（Ｘ）とし、当該被験者の被験者ＩＤに紐付いた評定値（実数）を記憶領域１２０から読み出して出力（Ｙ）とした上で、入力（Ｘ）と出力（Ｙ）の組を教師データとして生成する。
【００６８】
最後に、ステップ１０４では、学習実行部１０９が、ステップ１０３で生成された教師データを学習器１１０に学習させる。これにより、学習器１１０がコミュニケーション能力を推定する推定モデルを生成する。なお、学習器１１０としては、サポートベクトルマシン（Support Vector Machine：SVM）やサポートベクトル回帰（Support Vector Regression: SVR）を例示することができる。
【００６９】
以上、コミュニケーション能力推定装置１００が“学習モード”で実行する処理について説明したので、続いて、コミュニケーション能力推定装置１００が“推定モード”で実行する処理について説明する。なお、以下の説明においては、図３に示す機能ブロック図を適宜参照するものとする。
【００７０】
“推定モード”では、評価対象となる被験者をグループディスカッションに参加させて、その際の当該被験者のコーパス（発話音声情報、モーション情報）を取得する。具体的には、先述した“学習モード”と同じ手順で、コミュニケーション能力を評価しようとする被験者を含むグループに対して所定の課題を与えてグループディスカッションを行わせた上で、コミュニケーション能力推定装置１００が被験者に装着した音声マイクおよびモーションセンサから発話音声情報およびモーション情報を取得する。これを受けて、コーパス収集部１０１が、被験者から取得した発話音声情報とモーション情報を、当該被験者の被験者ＩＤに紐付けて記憶領域１２０に格納する。
【００７１】
記憶領域１２０に、被験者の発話音声情報とモーション情報が格納されたことを受けて、コミュニケーション能力推定装置１００は、「コミュニケーション能力推定処理」を実行する。以下、コミュニケーション能力推定装置１００が実行する「コミュニケーション能力推定処理」を図４に示すフローチャートに基づいて説明する。
【００７２】
まず、ステップ２０１では、音声認識部１０３、形態素解析部１０４、発話音声解析部１０５および特徴量抽出部１０７が協働して、先述した“学習モード”と同じ手順で、被験者の発話音声情報から「発話ターン（Ｓ）」、「韻律（Ａ）」、「言語（Ｌ）」を抽出し、当該被験者の被験者ＩＤに紐付けて記憶領域１３０に格納する。
【００７３】
続くステップ２０２では、動作量検出部１０６と特徴量抽出部１０７が協働して、先述した“学習モード”と同じ手順で、被験者のモーション情報から「動作（Ｍ）」を抽出し、当該被験者の被験者ＩＤに紐付けて記憶領域１３０に格納する。
【００７４】
最後に、ステップ２０３では、推定実行部１１２が、被験者の被験者ＩＤに紐付いた４種類の特徴グループ（発話ターン（Ｓ）、韻律（Ａ）、言語（Ｌ）、動作（Ｍ））の一部または全部からなる特徴量セットであって、推定モデル（学習器１１０）を生成する際に使用した特徴量セットと同じ組み合わせを有する特徴量セットを記憶領域１３０から読み出して、推定モデルに入力する。これを受けて、推定モデルが当該被験者のコミュニケーション能力の推定値を出力し、推定値出力部１１３がこれを取得する。その後、推定値出力部１１３は、取得した推定値を、当該被験者の被験者ＩＤに紐付けて記憶領域１４０に格納するとともに、ユーザまたはアプリケーションの要求に応じて、所定の出力先に出力する。
【００７５】
以上、説明したように、本実施形態によれば、機械学習の手法を用いた新規なコミュニケーション能力推定装置が提供される。なお、本実施形態のコミュニケーション能力推定装置は、その一部をもって、コミュニケーション能力の推定モデルを生成する装置として観念することができ、また、当該推定モデルを生成するための教師データを生成する装置として観念することができる。また、本実施形態によれば、コミュニケーション能力の推定モデルを生成する方法が提供される。なお、本実施形態のコミュニケーション能力の推定モデルを生成する方法は、その一部をもって、コミュニケーション能力の推定モデルを生成するための教師データを生成する方法として観念することができる。
【００７６】
なお、上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述された装置実行可能なプログラムにより実現することができ、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【００７７】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうるその他の実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【実施例】
【００７８】
以下、本発明のコミュニケーション能力の推定モデルを生成する方法について、実施例を用いてより具体的に説明を行なうが、本発明は、後述する実施例に限定されるものではない。
【００７９】
（１）コーパスの収集
４０名の被験者（大学生）をグループ内のメンバーがお互いに初対面となるように４人一組の計１０グループに分け、各グループに共通の課題を与えてグループディスカッションを行ってもらった。本実験では、課題による得手・不得手が原因で各被験者のコミュニケーション能力が過大・過小評価されることを回避するために、下記（ア）〜（ウ）に示す３つの課題を設定し、決められた時間内でディスカッションを行ってもらった。
（ア）学園祭に呼ぶべき有名人をランク付けする課題（１５分）
（イ）学園祭における出店計画を作る課題（２０分）
（ウ）外国人の友人を日本に呼んでもてなす計画を作る課題（２０分）
【００８０】
本実験では、各被験者にヘッドセットマイク（audio-technica：HYP-190H）を装着し、後頭部に加速度センサ（ATR-Promotions：WAA-010）を取り付けた状態でディスカッションを行ってもらい、その様子をビデオカメラで撮影した。その間、各被験者のヘッドセットマイクを介して発話音声データを記録するとともに、各被験者の加速度センサを介して３軸方向（x，y，z）の加速度データを30fpsで取得した。
【００８１】
（２）被験者のコミュニケーション能力の評定
異なる業種（小売業、人材派遣、ＩＴ関連等）や規模（中小企業から大企業まで）の企業で採用面接の経験を持つ２１名の元人事採用担当者に被験者のコミュニケーション能力を評価してもらった。実験に際し、各評定者には、各グループのディスカッションの様子を収めたビデオを視聴してもらい、各被験者について、以下に述べる６つの項目を評価してもらった。
【００８２】
中央職業能力開発協会（JAVADA）によると、若年者の習得すべきコミュニケーション能力は、双方向のコミュニケーションを円滑に行い情報伝達を適切かつ的確に行う「意思疎通」、組織に適応する「協調性」、プレゼンテーション能力に関する「自己表現」という３つの項目からなるとされており、そのうち、グループディスカッションにおいて個人差が最も顕著になる「意思疎通」の能力は、「傾聴する姿勢」、「双方向の円滑なコミュニケーション」、「意見集約力」、「情報伝達能力」、「論理的で明瞭な主張」という５つの要素項目からなるとされている。これを受け、本実験では、各評定者に、上述した５つの要素項目を５段階で評価してもらうとともに、５つの要素項目を考慮した総合評価である「総合的なコミュニケーション能力」という項目を１０段階で評価してもらった。下記表３に６つの評価項目とその内容をまとめて示す。
【００８３】
【表３】
2018004813.tif 000005
【００８４】
のべ１２０名（４０名×３課題）の被験者について２１名の評定者の評定値が出揃ったところで、各評価項目のクローンバックのα信頼性係数を算出したところ、評価項目（０）の値（α=0.66）だけが信頼性の目安である0.8を下回っていたが、その他の評価項目（１）〜（５）の値は全て0.8を上回っていた。これを受け、本実験では、評価項目（１）〜（５）の結果だけを採用し、各評価項目について２１人の評定者が回答した評定値の平均値を当該評価項目に係る評定値とした。
【００８５】
（３）特徴量の抽出
１セッションに記録された各被験者の発話音声データを、音声分析ソフトウェアPraatを用いて解析し、そこから先述した「発話ターン（Ｓ）」、「韻律（Ａ）」、「言語（Ｌ）」を抽出した。同じく、１セッションで記録された各被験者の加速度データから、先述した「動作（Ｍ）」を抽出した。
【００８６】
（４）コミュニケーション能力推定モデルの生成
各被験者のコーパスから抽出した４つの特徴量グループ（Ｓ、Ａ、Ｍ、Ｌ）を組み合わせてなる１５種類の特徴量セットを準備した。下記表４に、準備した特徴量セット（１）〜（１５）の内容をまとめて示す。
【００８７】
【表４】
2018004813.tif 000006
【００８８】
本実験では、下記表４に示す各特徴量セットを使用して、以下の手順で機械学習（回帰学習・分類学習）を行って、コミュニケーション能力を推定する推定モデルを生成した。
【００８９】
（回帰学習）
各被験者に係る、上記表４に示す各特徴量セットを構成する特徴量（実数）を要素とする素性ベクトルを入力（Ｘ）とし、当該被験者の評定値（評定項目毎）を出力（Ｙ）として、入出（Ｘ）と出力（Ｙ）の組からなる教師データを生成し、生成した教師データに基づいて、線形のサポートベクトル回帰（Support Vector Regression: SVR）を用いて回帰学習を行った。なお、SVRにおける誤差関数にはε許容誤差を用い、誤差の許容度を調整するεに関しては[0, 0.01, 0.1, 1]の探索域を、損失関数とマージンの大きさの間のトレードオフを調整するパラメータCに関しては[0.01, 0.1, 1, 5, 10]の探索域を設け、交差検定を通じて、グリッドサーチにより最適パラメータを決定した。
【００９０】
（分類学習）
上述した教師データについて、評定値（出力（Ｙ））の平均値mと標準偏差σを算出し、m+0.1σ以上の評価値を高群に分類し、m-0.1σ以下の評価値を低群に分類した上で、評価値（出力（Ｙ））を高低の二値ラベルに変換するとともに、高群・低群のいずれにも分類されない平均値近傍の評価値を出力（Ｙ）とする組を教師データから除外した。上述した修正を加えた教師データに基づいて、線形のサポートベクトルマシン（Support Vector Machine：SVM）を用いて分類学習を行った。なお、SVMにおける損失とマージンの大きさの間のトレードオフを調整するパラメータC を[0.01, 0.1, 1, 5, 10] の範囲で探索し、テストに用いた。
【００９１】
（４）回帰・分類モデルの評価
本実験では、交差検定により各モデルの推定性能を評価した。具体的には、実験に参加した１０のグループのうち、９のグループに属する各被験者の教師データを用いた機械学習によりモデルを生成したのち、残りの１のグループに属する各被験者の教師データをテストデータに用いて、生成したモデルの推定性能を評価した。
【００９２】
（回帰モデルの推定性能評価）
回帰モデルの推定性能の評価では、テストデータに対する決定係数Ｒ２を指標とした。図５は、上記表３に示す評価項目（１）〜（５）の各々に係る１５種類の特徴量セット毎の決定係数Ｒ２の棒グラフを示す。なお、図５に示す棒グラフおいて、各棒に付した付番は上記表４に示す特徴量セットの番号を意味する（以下、図６において同様）。
【００９３】
図５に示すように、評価項目（１）〜（４）では、いずれも、「発話ターン（Ｓ）＋動作（Ｍ）」の特徴量セットを使用して生成された回帰モデルが最大値（0.47, 0.54, 0.56, 0.52）を示した。一方、「評価項目（５）：総合的なコミュニケーション能力」では、「発話ターン（Ｓ）＋言語（Ｌ）＋動作（Ｍ）」の特徴量セットを使用して生成された回帰モデルが最大値（0.62）を示した。
【００９４】
（分類モデルの推定性能評価）
分類モデルの推定性能の評価では、正答率（Accuracy）を指標とした。図６は、上記表３に示す評価項目（１）〜（５）の各々に係る１５種類の特徴量セット毎の正答率の棒グラフを示す。
【００９５】
図６に示すように、「評価項目（１）：双方向の円滑なコミュニケーション」および「評価項目（２）：意見集約力」では、いずれも、「韻律（Ａ）＋言語（Ｌ）＋動作（Ｍ）」の特徴量セットを使用して生成された分類モデルが最大値（0.85,0.83）を示した。また、「評価項目（３）：情報伝達力」および「評価項目（４）：論理的で明瞭な主張」では、いずれも、「韻律（Ａ）＋発話ターン（Ｓ）＋言語（Ｌ）」の特徴量セットを使用して生成された分類モデルが最大値（0.87,0.85）を示した。一方、「評価項目（５）：総合的なコミュニケーション能力」では，「韻律（Ａ）＋言語（Ｌ）＋動作（Ｍ）」の特徴量セットを使用して生成された分類モデルが最大値（0.93）を示した。
【００９６】
（分類モデルの頑健性評価）
図７は、異なる特徴量セット（Ａ、Ｓ、Ｌ、Ｍ、Ａ＋Ｌ＋Ｍ）を使用して生成された分類モデルによる「評価項目（５）：総合的なコミュニケーション能力」の推定結果に関して、SVMからROC曲線をプロットした図を示す。図７において、縦軸は真陽性率（True Positive(TP)：低群のデータを正しく分類する割合）を示し、横軸は偽陽性率（FalsePositive（FP）：低群のデータを誤って高群に分類する割合）を示す。図７に示すように、「韻律（Ａ）＋言語（Ｌ）＋動作（Ｍ）」の特徴量セットを使用した分類モデルのAUC (Area Under the Curve)は0.97とＡ、Ｓ、Ｌ、Ｍをそれぞれ用いたモデルのAUCを改善しており、FP = 0.05 において、TP は0.91 以上となった。この結果は、「韻律（Ａ）＋言語（Ｌ）＋動作（Ｍ）」の特徴量セットを使用して生成された分類モデルが、高群のデータの誤分類精度を低く保ちつつ、低群のデータを91%以上の割合で正しく分類できることを示す。
【符号の説明】
【００９７】
１００…コミュニケーション能力推定装置
１０１…コーパス収集部
１０２…評定値入力部
１０３…音声認識部
１０４…形態素解析部
１０５…発話音声解析部
１０６…動作量検出部
１０７…特徴量抽出部
１０８…教師データ生成部
１０９…学習実行部
１１０…学習器
１１２…推定実行部
１１３…推定値出力部
１２０，１３０，１４０…記憶領域
【図１】
2018004813.tif 000007
【図２】
2018004813.tif 000008
【図３】
2018004813.tif 000009
【図４】
2018004813.tif 000010
【図５】
2018004813.tif 000011
【図６】
2018004813.tif 000012
【図７】
2018004813.tif 000013