(57)【特許請求の範囲】
【請求項１】
人同士の会話を検出するため利用者の頭部に装着するウェアラブル端末であって、
前記会話の中で発声する重要な言葉抽出のために複数の重要語を記憶する重要語データベースと、
前記会話の音声情報を収集するマイクロフォンと、
前記音声情報から重要語を認識する音声評価部と、
前記音声評価部の認識結果から所定の重み付けをして会話に対する相手の受容度を分析する会話分析部と、
前記受容度を前記利用者にフィードバックする告知部と、
を備えたことを特徴とする会話分析装置。
【請求項２】
会話相手の顔表情と頭部の動きを映像として収集するカメラと、
前記映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する映像評価部と、を備え、
前記会話分析部は、前記音声評価部及び映像評価部の認識結果から所定の重み付けをして、その会話に対する相手の受容度を分析する
請求項１に記載の会話分析装置。
【請求項３】
前記告知部は、前記受容度を聴覚で認識できる音声再生部で構成された請求項１又は請求項２に記載の会話分析装置。
【請求項４】
前記告知部は、前記受容度を視覚で認識できる表示装置で構成された請求項１又は請求項２に記載の会話分析装置。
【請求項５】
前記音声評価部は、会話のトーンおよび／またはテンポを分析する機能を備え、
前記会話分析部は、相手と利用者の会話のトーンおよび／またはテンポの差を集計し一定の重み付けをして会話の巧みさを分析する機能を備え、
前記告知部は、前記分析した会話の巧みさを利用者にフィードバックする機能を備える
請求項１又は請求項２に記載の会話分析装置。
【請求項６】
前記利用者の頭部の動きを認識する加速度センサと、
前記加速度センサから利用者の単位会話時間当たりの頷き回数を分析する頷き認識部と、を備え、
前記会話分析部は、前記頷き認識部による認識に所定の重み付けをして前記会話の巧みさを分析する請求項５に記載の会話分析装置。
【請求項７】
前記会話分析部は、会話中における利用者と相手の両者が発声する単語の繰り返しを集計して一定の重み付けをして分析する機能を備えて前記会話の巧みさを分析する請求項５又は請求項６に記載の会話分析装置。
【請求項８】
前記会話分析部による分析は、一つの会話の音声認識結果から会話中に出現した単語がどのくらい特徴的であるかを識別するための指標（TF-IDF）を利用して特徴語を分析して、前記受容度および/または前記会話の巧みさと共に、一会話毎に記録する記憶部を備える請求項１乃至請求項７のいずれか１項に記載の会話分析装置。
【請求項９】
請求項１乃至請求項８のいずれか１項に記載の会話分析装置と、前記会話分析装置の会話ログを集約して管理する会話評価サーバ装置とを備え、
前記会話評価サーバ装置は、
前記会話分析装置の全利用者の会話ログを分析して会話評価を行う制御部と、
前記会話ログを会話ログデータベースに記憶する記憶部と、
を備えることを特徴とする会話分析システム。
【請求項１０】
前記会話分析装置は、前記会話中で発声するある特定の話題に対するインフルエンサー抽出のために複数の話題語を記憶する話題語データベースを備え、
前記音声評価部は、更に前記音声情報から話題語を認識し、
前記記憶部は、一会話毎に前記認識した話題語を会話ログへ記録し、
前記会話評価サーバ装置の制御部は、複数利用者の会話ログを分析し前記話題語に対する会話評価を行うに際し、評価したい話題語が含まれる会話ログを抽出し、
抽出した会話ログの複数利用者の中から会話の受容度または会話の巧みさが平均値より高い場合に前記話題語に対して影響力のある利用者をインフルエンサーとして抽出する
ことを特徴とする請求項９に記載の会話分析システム。
【請求項１１】
前記会話分析装置は、会話開始において自身の利用者の識別子と、会話相手となる利用者の識別子とを交換する通信部を備え、
前記会話評価サーバの制御部は、前記会話ログを分析して、会話相手となる利用者の識別子と会話時間を更に記録し、前記利用者に付与された識別子間の会話ログについて、総会話時間を集計した利用者間の結び付き度と、受容度を集計し利用者間の大小関係を利用者の人間関係として管理する人間関係管理機能を備え、
前記会話評価サーバの記憶部は、前記利用者の人間関係を紐づけて記憶する人間関係データベースを備える請求項１０に記載の会話分析システム。
【請求項１２】
会話分析装置と会話評価サーバとを備えた会話分析システムに対して、コンピュータソフトウエアによる情報処理により会話を分析評価する方法であって、
利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記各認識結果から会話の話題に対する前記会話相手の受容度を分析する手順と、
前記受容度を前記利用者にフィードバックする手順と、
を含むことを特徴とする会話分析方法。
【請求項１３】
会話分析装置と会話評価サーバとを備えた会話分析システムに対して、コンピュータソフトウエアによる情報処理により会話を分析評価する方法であって、
利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記会話相手と利用者の会話のトーンおよび／またはテンポの差を集計する手順と、
前記各認識結果及び前記集計結果から所定の重み付けを行って会話の話題に対する会話の巧みさを分析する手順と、
前記会話の巧みさを前記利用者にフィードバックする手順と、
を含むことを特徴とする会話分析方法。
【請求項１４】
前記複数利用者と各会話相手との会話について、予め付与された利用者を識別するための識別子と、前記認識した話題語および重要語との前記分析した会話の話題に対する前記会話相手の受容度または会話の巧みさを会話ログとして記憶し、当該複数の会話ログを会話評価サーバ装置で集約して管理する手順と、
前記複数利用者の会話ログを分析し前記話題語に対する会話評価を行うに際し、評価したい話題語が含まれる会話ログを抽出する手順と、
抽出した会話ログの複数利用者の中から会話の受容度または会話の巧みさが平均値より高い場合に前記話題語に対して影響力のある利用者をインフルエンサーとして抽出する手順と、
を含むことを特徴とする請求項１２又は請求項１３に記載の会話分析方法。
【請求項１５】
会話開始において自身の利用者の識別子と、会話相手となる利用者の識別子とを交換する手順と、
前記会話評価サーバで集約して管理する複数利用者の会話ログには、会話相手となる利用者の識別子と会話時間を更に記録する手順と、
前記利用者に付与された識別子間の会話ログについて、総会話時間を集計した利用者間の結び付き度と、受容度を集計し利用者間の大小関係とを人間関係データベースとして記憶する手順と、
前記人間関係データベースの情報を、評価したい話題で抽出する手順と、
当該抽出した人間関係を人間関係マップとして表示する手順と、
を含むことを特徴とする請求項１４に記載の会話分析方法。
【請求項１６】
請求項１２乃至請求項１５のいずれか１項に記載の会話分析方法の各手順をコンピュータ上に構築することを特徴とする会話分析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間同士のリアルなコミュニケーションの状況を分析し、リアルな人間同士の情報伝達の好ましさを評価可能とし、更に、特定の話題に関する他人への影響が大きいユーザ（インフルエンサー）を抽出可能とする会話分析装置、会話分析システム、会話分析方法及び会話分析プログラムに関する。
【背景技術】
【０００２】
人間同士のリアルなコミュニケーションの状況を分析する手法としては、例えば特許文献１〜３に記載の技術が開示されている。
特許文献１では、ネットワーク上におけるバーチャルな人間関係が構築できるSNS(Social Networking Service)があり、このSNSに登録された人間関係とその投稿履歴から、どのSNSユーザがネットワーク上で影響力があるかを抽出することが行われる。
【０００３】
特許文献２では、複数の一般ユーザによる会話の開始と終了とを正確に認識し、必要な会話のみを記録する技術が開示されている。具体的には、会話の相手を識別しておき、会話の開始と終了をウェアラブル装置により記録し、サーバ装置で前記記録した会話をテキストに変換し、後から検索できる会話管理システムが提供されている。
【０００４】
特許文献３では、作業者に装着される複数のセンサと、前記複数のセンサから送信されたデータを受信する基地局と、ネットワークを介して前記基地局から前記データを受信する管理計算機とを備えるセンサネットワークシステムにおいて、センサに割り当てた識別子を赤外線通信により互いのセンサで検出し、その検出した時間を計測することで、作業者が対面していたとしてグループ化し、さらにそのグループを作業者のコミュニティとして対応付ける情報を保持するシステムが提供されている。
【０００５】
人間同士のコミュニケーションには発声による会話だけではなく、表情やしぐさ等のノンバーバル情報もコミュニケーションを活性化させる要素であり、話す側のスキルに関わらず、聞く側のスキルにも関係する。聞く側のスキルとして、発話以外のノンバーバル情報として「表情」や「しぐさ」が注目されており、具体的には話し相手を認めコミュニケーションが促進される要素として、表情としては「笑顔」、しぐさとしては「頷き」が知られている（非特許文献１及び非特許文献２参照）。
更に、人に幸福感を与える良いコミュニケーションとして「親切と感謝の行動」が知られている（非特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５４８９９２４号公報
【特許文献２】特開２０１１−１８０６４５号公報
【特許文献３】特許第５４１７６２７号公報
【非特許文献】
【０００７】
【非特許文献１】『対話の流れと頷きパターン変化』（HAIシンポジウム2010、井上雅史ら）
【非特許文献２】『コミュニケーションにおける表情および身体動作の役割』（高木幸子）https://dspace.wul.waseda.ac.jp/dspace/handle/2065/27539
【非特許文献３】『親切と感謝の行動が幸福感に及ぼす影響』（北村瑞穂）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の技術は、あくまでSNS上のユーザ関係からインフルエンサーを効率よく発見するのみに留まり、リアルな人間関係からのインフルエンサー抽出には言及していない。
【０００９】
特許文献２の技術によれば、リアルな会話の開始と終了をウェアラブル装置で推測し、会話を記録し管理することができる。しかしながら、会話を記録するのみでコミュニケーションの巧みさを分析することはできない。
【００１０】
特許文献３においては、リアルな対面の記録をウェアラブル装置で推測し、コミュニティとして人間関係の作図を行っていたが、その一方、その人がある話題でインフルエンサーの役割を示すかについての言及はない。
【００１１】
このように上述した従来技術では、SNS等のビッグデータを用いて人間関係を分析する技術は存在するものの、リアルな人間関係を分析し、ある話題に関してインフルエンサーを抽出することはできなかった。
また、会話やその時の感情を記録する技術はあったものの、会話の巧みさを分析する技術は存在しなかった。
【００１２】
本発明は、上記実情に鑑みて提案されたもので、ウェアラブル端末を用いてリアルな会話を記録分析し、その利用者の会話相手の受容度および利用者の会話の巧みさを分析し、ある話題について他人への影響が大きいユーザ（インフルエンサー）を抽出する会話分析装置、会話分析システム、会話分析方法及び会話分析プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記目的を達成するため請求項１の会話分析装置は、人同士の会話を検出するため利用者の頭部に装着するウェアラブル端末であって、
前記会話の中で発声する重要な言葉抽出のために複数の重要語を記憶する重要語データベースと、
前記会話の音声情報を収集するマイクロフォンと、
前記音声情報から重要語を認識する音声評価部と、
前記音声評価部の認識結果から所定の重み付けをして会話に対する相手の受容度を分析する会話分析部と、
前記受容度を前記利用者にフィードバックする告知部と、
を備えたことを特徴としている。
【００１５】
請求項２は、請求項１の会話分析装置において、
会話相手の顔表情と頭部の動きを映像として収集するカメラと、
前記映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する映像評価部と、を備え、
前記会話分析部は、前記音声評価部及び映像評価部の認識結果から一定の重み付けをして、その会話に対する相手の受容度を分析することを特徴としている。
【００１６】
請求項３は、請求項１又は請求項２に記載の会話分析装置において、
前記告知部は、前記受容度を聴覚で認識できる音声再生部で構成されたことを特徴としている。
【００１７】
請求項４は、請求項１又は請求項２に記載の会話分析装置において、
前記告知部は、前記受容度を視覚で認識できる表示装置で構成されたことを特徴としている。
請求項５は、請求項１又は請求項２に記載の会話分析装置において、
前記音声評価部は、会話のトーンおよび／またはテンポを分析する機能を備え、
前記会話分析部は、相手と利用者の会話のトーンおよび／またはテンポの差を集計し一定の重み付けをして会話の巧みさを分析する機能を備え、
前記告知部は、前記分析した会話の巧みさを利用者にフィードバックする機能を備えることを特徴としている。
【００１８】
請求項６は、請求項５の会話分析装置において、
前記利用者の頭部の動きを認識する加速度センサと、
前記加速度センサから利用者の単位会話時間当たりの頷き回数を分析する頷き認識部と、を備え、
前記会話分析部は、前記頷き認識部による認識結果に所定の重み付けをして前記会話の巧みさを分析することを特徴としている。
【００１９】
請求項７は、請求項５又は請求項６の会話分析装置において、
前記会話分析部は、会話中の単語の繰り返しを集計して一定の重み付けをして分析する機能を備えて前記会話の巧みさを分析することを特徴としている。
【００２０】
請求項８は、請求項１乃至請求項７のいずれか１項に記載の会話分析装置において、
前記会話分析部による分析は、一つの会話の音声認識結果から会話中に出現した単語がどのくらい特徴的であるかを識別するための指標（TF-IDF）を利用して特徴語を分析して、前記受容度および/または前記会話の巧みさと共に、一会話毎に記録する記憶部を備えることを特徴としている。
【００２１】
請求項９の会話分析システムは、請求項１乃至請求項８のいずれか１項に記載の会話分析装置と、前記会話分析装置の会話ログを集約して管理する会話評価サーバ装置とを備え、
前記会話評価サーバ装置は、
前記会話分析装置の全利用者の会話ログを分析して会話評価を行う制御部と、
前記会話ログを会話ログデータベースに記憶する記憶部と、
を備えることを特徴としている。
請求項１０は、請求項９の会話分析システムにおいて、
前記会話分析装置は、前記会話中で発声するある特定の話題に対するインフルエンサー抽出のために複数の話題語を記憶する話題語データベースを備え、
前記音声評価部は、更に前記音声情報から話題語を認識し、
前記記憶部は、一会話毎に前記認識した話題語を会話ログへ記録し、
前記会話評価サーバ装置の制御部は、複数利用者の会話ログを分析し前記話題語に対する会話評価を行うに際し、評価したい話題語が含まれる会話ログを抽出し、
抽出した会話ログの複数利用者の中から会話の受容度または会話の巧みさが平均値より高い場合に前記話題語に対して影響力のある利用者をインフルエンサーとして抽出することを特徴としている。
【００２２】
請求項１１は、請求項１０の会話分析システムにおいて、
前記会話分析装置は、会話開始において自身の利用者の識別子と、会話相手となる利用者の識別子とを交換する通信部を備え、
前記会話評価サーバの制御部は、前記会話ログを分析して、会話相手となる利用者の識別子と会話時間を更に記録し、前記利用者に付与された識別子間の会話ログについて、総会話時間を集計した利用者間の結び付き度と、受容度を集計し利用者間の大小関係を利用者の人間関係として管理する人間関係管理機能を備え、
前記会話評価サーバの記憶部は、前記利用者の人間関係を紐づけて記憶する人間関係データベースを備えることを特徴としている。
【００２３】
請求項１２は、会話分析装置と会話評価サーバとを備えた会話分析システムに対して、コンピュータソフトウエアによる情報処理により会話を分析評価する方法であって、
利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記各認識結果から会話の話題に対する前記会話相手の受容度を分析する手順と、
前記受容度を前記利用者にフィードバックする手順と、
を含むことを特徴としている。
【００２４】
請求項１３は、会話分析装置と会話評価サーバとを備えた会話分析システムに対して、コンピュータソフトウエアによる情報処理により会話を分析評価する方法であって、
利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記会話相手と利用者の会話のトーンおよび／またはテンポの差を集計する手順と、
前記各認識結果及び前記集計結果から所定の重み付けを行って会話の話題に対する会話の巧みさを分析する手順と、
前記会話の巧みさを前記利用者にフィードバックする手順と、
を含むことを特徴としている。
【００２５】
請求項１４は、請求項１２又は請求項１３の会話分析方法において、
前記複数利用者と各会話相手との会話について、予め付与された利用者を識別するための識別子と、前記認識した話題語および重要語との前記分析した会話の話題に対する前記会話相手の受容度または会話の巧みさを会話ログとして記憶し、当該複数の会話ログを会話評価サーバ装置で集約して管理する手順と、
前記複数利用者の会話ログを分析し前記話題語に対する会話評価を行うに際し、評価したい話題語が含まれる会話ログを抽出する手順と、
抽出した会話ログの複数利用者の中から会話の受容度または会話の巧みさが平均値より高い場合に前記話題語に対して影響力のある利用者をインフルエンサーとして抽出する手順と、
を含むことを特徴としている。
請求項１５は、請求項１４の会話分析方法において、
会話開始において自身の利用者の識別子と、会話相手となる利用者の識別子とを交換する手順と、
前記会話評価サーバで集約して管理する複数利用者の会話ログには、会話相手となる利用者の識別子と会話時間を更に記録する手順と、
前記利用者に付与された識別子間の会話ログについて、総会話時間を集計した利用者間の結び付き度と、受容度を集計し利用者間の大小関係とを人間関係データベースとして記憶する手順と、
前記人間関係データベースの情報を、評価したい話題で抽出する手順と、
当該抽出した人間関係を人間関係マップとして表示する手順と、
を含むことを特徴としている。
【００２６】
請求項１６の会話分析プログラムは、
請求項１２乃至請求項１５のいずれか１項に記載の会話分析方法の各手順をコンピュータ上に構築することを特徴としている。
【発明の効果】
【００２７】
請求項１の会話分析装置によれば、相手との会話の音声から重要語を検出し、音声分析結果から会話に対する相手の受容度を計算し、相手が会話に関する受容度（受け入れ度合い）をリアルタイムに利用者にフィードバックすることができる。
また、重要語データベースにより、相手が会話を受け入れていると判定でき、会話が意味あるものであったかを確認するための重要語を設定することができる。
【００２９】
請求項２の会話分析装置によれば、会話中の話題が相手に伝わったかを相手の頷く映像、笑顔の映像から検出し、音声分析結果と映像分析結果から会話に対する相手の受容度を計算し、相手の受容度（受け入れ度合い）をリアルタイムに利用者にフィードバックすることができる。
【００３０】
請求項３の会話分析装置によれば、告知部を音声再生部で構成することで、会話中における相手の受容度を聴覚で把握することができる。
【００３１】
請求項４の会話分析装置によれば、告知部を表示部で構成することで、会話中における相手の受容度を視覚で把握することができる。
【００３２】
請求項５の会話分析装置によれば、会話の調子（トーンおよび／またはテンポ）を分析することで、相手と同調していて気持ちよく会話を進めているかといった会話の巧みさについて、リアルタイムに利用者にフィードバックすることができる。
【００３３】
請求項６の会話分析装置によれば、利用者自身の単位会話時間あたりの頷きの回数を分析することで、相手の言葉を利用者が一旦受け止めていることを相手に示しながら会話を進めているかといった会話の巧みさについて、リアルタイムに利用者にフィードバックすることができる。
【００３４】
請求項７の会話分析装置によれば、利用者と会話の相手の言葉のやり取りの中で単語を繰り返して発言することで、相手の言葉を利用者が一旦受け止めしっかりと理解していることを相手に示しながら会話を進めているかの会話の巧みさについて、リアルタイムに利用者にフィードバックすることができる。
【００３５】
請求項８の会話分析装置によれば、利用者と会話の相手の言葉のやり取りの分析結果を１つの会話毎に記録し、更にその会話内容の特徴的な単語を記録するので、利用者が振り返りする際に会話の記憶を手繰り寄せ易くすることができる。
【００３６】
請求項９の会話分析システムによれば、会話分析装置の全利用者の会話ログを分析して管理可能なシステムとすることで、利用者が行った会話の受容度や会話の巧みさについて利用者全体に対して秀でているか利用者毎に評価できる他、特定の話題に関してどの利用者が他人に対し、受け入れられているか、会話が巧みであるかについて評価できる。
請求項１０の会話分析システムによれば、音声分析結果から相手の受容度を計算するに際して、話題語を認識するシステムとすることで、特定の話題に関する利用者による会話の受容度を評価することができる。また、話題語データベースにより、会話を評価したい特定の話題に関する話題語を設定することができる。
【００３７】
請求項１１の会話分析システムによれば、会話分析装置の全利用者の会話ログを分析し、人間関係を紐づけることにより、どの利用者がどの話題でどの人間関係の中で中心的か（ある話題に関してインフルエンサーの抽出する）、又は、受け入れられているかを管理可能なシステムとすることができる。
【００３８】
請求項１２の会話分析方法によれば、相手との会話の音声から話題語と重要語を検出し、会話中の話題が相手に伝わったかを相手の頷く映像、笑顔の映像から検出し、音声分析結果と映像分析結果から話題に対する相手の受容度を計算し、相手が話題に関する受容度（受け入れ度合い）をリアルタイムに利用者にフィードバックすることができる。
【００３９】
請求項１３の会話分析方法によれば、会話相手と利用者の会話のトーンおよび／またはテンポの差を集計し分析することで、話題に対する会話の巧みさをリアルタイムに利用者にフィードバックすることができる。
【００４０】
請求項１４の会話分析方法によれば、複数利用者と各会話相手との会話ログを会話評価サーバ装置で集約して管理し、複数利用者の会話ログを分析することで、リアルな人間関係におけるある話題に関するインフルエンサーを抽出することができる。
また、請求項１５の会話分析方法によれば、会話ログについての分析を行うことで、利用者間の人間関係としての利用者間の結び付き度と、利用者間の受容度の大小関係とを人間関係データベースとして記憶でき、この人間関係データベースの情報から人間関係マップとして表示することもできる他、評価したい話題で抽出した人間関係マップとして表示することができる。
【００４１】
請求項１６の会話分析プログラムによれば、前記会話分析方法の各手順をコンピュータ上で行わせることができる。
【図面の簡単な説明】
【００４２】
【図１】会話分析システムの構成説明図である。
【図２】会話分析装置（ウェアラブル端末）のユーザへの装着状態を示すモデル図である。
【図３】会話分析装置（ウェアラブル端末）の構成の一例を示すブロック図である。
【図４】会話評価サーバ装置の構成の一例を示すブロック図である。
【図５】会話分析方法の手順を示すフローチャートである。
【図６】（ａ）（ｂ）はカメラ映像から会話相手の頷きを検出する場合の正面顔表情説明図である。
【図７】（ａ）（ｂ）はカメラ映像から会話相手の笑顔を検出する場合の正面顔表情説明図である。
【図８】（ａ）（ｂ）はカメラ映像から利用者自身の頷きを検出する場合の側面顔表情説明図である。
【図９】図４の会話評価サーバ装置の記憶部が記憶する会話ログデータベースのレコード表である。
【図１０】会話分析装置（ウェアラブル端末）の構成の他の例を示すブロック図である。
【図１１】会話評価サーバ装置の構成の他の例を示すブロック図である。
【図１２】図１１の会話評価サーバ装置の記憶部が記憶する会話ログデータベースのレコード表である。
【図１３】（ａ）（ｂ）は会話分析システムの稼働中における利用者１，２の通信可能範囲と、利用者２が取得するカメラ映像を説明するためのモデル図である。
【図１４】ユーザ同士の人間関係を示す人間関係マップのモデル図である。
【発明を実施するための形態】
【００４３】
本発明の一実施形態に係る会話分析システムについて、図１〜図９を参照しながら説明する。
会話分析システムは、図１に示すように、ウェアラブル端末で構成される会話分析装置１と、このウェアラブル端末に対してインターネット等のネットワーク２を介して接続された会話評価サーバ装置３とから構成されている。
会話分析装置（ウェアラブル端末）１及び会話評価サーバ３は、基本デバイスが記憶されたＲＯＭ、各種のプログラムやデータが記憶されるハードディスクドライブ装置（ＨＤＤ）、プログラムを実行するＣＰＵ等を主要部分とするコンピュータを備え、ＨＤＤに会話分析プログラムが格納されることで、会話分析システムを構築している。
【００４４】
会話分析装置（ウェアラブル端末）１の外観は、図２に示すように、利用者の両耳にテンプル部５を架け渡すことで利用者の顔前面に装着可能に構成され、会話相手の音声を収集する相手用マイク１１ａ及びカメラ１２が利用者の眼の高さ近くに装着されるとともに、利用者の口近くの位置にユーザ用マイク１１ｂが装着されている。また、ウェアラブル端末１には、利用者の視覚前方に虚像が結像する表示部４０が設けられている。
【００４５】
会話分析装置（ウェアラブル端末）１は、図３に示すように、利用者が相手と会話する場合の音声情報や映像情報等の各種情報を取得するセンサ部１０と、各種情報の分析を行う制御部２０と、分析結果を記憶する記憶部３０と、分析結果を表示する表示部４０と、分析結果を情報として外部へ送信する第１の通信部５０とを備えた会話分析装置（ウェアラブル端末）１を備えている。
【００４６】
センサ部１０は、周囲の音声情報を取得するマイクロフォン１１、会話相手の顔の表情や頭の動きを映像情報として取得するカメラ１２、利用者（ユーザ）の頭の動きを取得するジャイロ・加速度センサ１３、装着センサ１４から構成されている。
マイクロフォン１１は、相手用マイク１１ａとユーザ用マイク１１ｂとの２つを備え、それぞれ指向性マイクを利用している。
【００４７】
相手用マイク１１ａは、カメラ１２の撮像方向に指向性をもつ受話マイクから構成されている。
ユーザ用マイク１１ｂは、利用者の口側に向けた送話マイクとその反対面に環境マイクの２つを備えたダブルマイク（送話用／環境音の２マイク）で構成され、利用者が発話した音声信号を１つのマイクで取得したときよりもSN比の高い信号を得るようになっている。
【００４８】
ユーザ用マイク１１ｂのダブルマイクに代わるマイクの構成としては、直接利用者の肌に当接させる方式のマイクロフォンとして、喉の声帯（咽喉）マイクや、頬や顎骨や耳の後ろの乳様突起などの皮膚に当接させる骨伝導マイクなどを利用して利用者が発話していることを認識させても良い。
【００４９】
カメラ１２は、テンプル部５の前端等、ウェアラブル端末１の適宜位置に装着されることで、利用者の顔が向く前方を撮像できるようになっている。
【００５０】
ジャイロ・加速度センサ１３は、ユーザ自身の頷きを検出するため、利用者の頭部の傾きを検出するためのものである。
このジャイロ・加速度センサ１３は、３軸（Ｘ，Ｙ，Ｚ方向）の加速度センサを使用しても良いが、利用者の「頷き」を正確に検出するために、３軸ジャイロを検出するとともに３軸（Ｘ，Ｙ，Ｚ方向）の加速度を検出する６軸センサを使用するのが好ましい。
【００５１】
装着センサ１４は、利用者がウェアラブル端末１を頭部に到着したことを検出するセンサであり、例えばテンプル部５を押し広げることによってセンサのスイッチが入る仕組みで構成されている。
【００５２】
制御部２０は、マイクロフォン１１からの発話を検出する音声評価部２１と、カメラ１２の映像情報から会話相手の顔表情（笑顔や頷き）を認識する映像評価部２２と、ジャイロ・加速度センサ１３から利用者の頷きを認識する頷き認識部２３と、利用者への装着を検知する装着認識部２４と、各部からの検出結果を総合的に評価して会話分析を行う会話分析部２５とを備えている。
【００５３】
音声評価部２１は、発話検出機能と、発話者認識機能と、音声認識機能と、形態素解析機能と、トーン／テンポ計測機能と、を有している。
発話検出機能は、マイクロフォン１１（相手用マイク１１ａ及びユーザ用マイク１１ｂ）から検出した音声情報から会話の開始と終了を検出する。
音声認識機能は、検出された会話をテキスト化する。
形態素解析機能は、テキストを形態素化して単語に分ける。
トーン／テンポ計測機能は、会話における会話トーン（大きさ、高さ）の一致性、会話テンポの一致性を測定する。
【００５４】
発話者認識機能は、ウェアラブル端末１の利用者の発話であることを認識するものである。すなわち、発話された音声を基に、話者認識により利用者が発話したか判定（発話者判定）する。発話者認識には、発話者を照合するための発話者モデルが必要となる。この発話者モデルは、ウェアラブル端末利用前に利用者に発声させ事前に作成し、後述する利用者登録データ部３１に話者認識用のデータとして登録させておく。また、ウェアラブル端末１の利用中に、発声された音声から発話者モデルを随時更新しておくようにしても良い。
【００５５】
映像評価部２２は、カメラ１２からの映像情報から相手の顔情報を検出し、相手の笑顔を検出する笑顔認識機能と、相手の頷きを検出する頷き認識機能を備えている。
【００５６】
頷き認識部２３は、ジャイロ・加速度センサ１３からの情報により利用者の頷きを検出する。
【００５７】
装着認識部２４は、装着センサ１４からの信号により、利用者へのウェアラブル端末１の装着を検知する。
【００５８】
会話分析部２５は、音声評価部２１からのマイクロフォン１１の音声情報による分析データ、映像評価部２２からのカメラ１２の映像情報による分析データ、頷き認識部２３からのジャイロ・加速度センサ１３による分析データを総合的に評価して会話分析を行い、その分析結果は記憶部３０の会話ログ３４に記憶される。
【００５９】
記憶部３０には、話者認識用のデータが登録される利用者登録データ部３１、重要語データベース３２、話題語データベース３３を備えるとともに、制御部２０からの会話分析の分析結果が会話ログ３４に記録されている。
利用者登録データ部３１に登録される話者認識用のデータにより、会話の発話者の認識が可能となる。
【００６０】
重要語データベース３２には、会話の巧みさを評価するために円滑な会話を進める上で重要な言葉（会話が意味あるものであったかを確認するための重要語）が予め登録されている。重要語データベースに登録されている重要語は、例えば、「ありがとう」「サンキュー」「感謝」等の感謝の言葉、「凄い」「良い」「カッコいい」「欲しい」「かわいい」「素晴らしい」「クール」等のポジティブ表現、「わかった」「了解」「OK」「はい」「そうします」「そうです」「その通り」等の肯定応答である言葉が登録されている。
【００６１】
話題語データベース３３には、ある話題の会話を分析し、その話題に対して影響力の強い利用者（インフルエンサー）を見つけるための単語（話題語）がデータリストとして登録されている。例えば、通信キャリアの場合、「携帯電話」「スマートホン」「ネットワーク」「電波」「通信会社名」「サービス名」等を話題語として登録しておく。様々な分野での話題語を予め登録しておくことが好ましい。
【００６２】
表示部４０は、制御部２０による分析結果に応じた文字やアイコン等によるアドバイスが利用者の視界前方に虚像として表示されるように、ウェアラブル端末１に装着されている。具体的には、表示部４０に「もっとゆっくり」「もっと大きく」「笑ってみて」等の文字やアイコン等がアドバイスとして表示される。
なお本例では、表示により視覚的に告知するようにしたが、スピーカ等の音声再生部で発する音声により聴覚を通じてアドバイスを告知するようにしても良い。
【００６３】
第１の通信部５０は、後述する会話評価サーバ装置３へ記録するためにデータ送受信を行う。
【００６４】
続いて、会話評価サーバ装置３の構成について説明する。
会話評価サーバ装置３は、ウェアラブル端末１から会話分析結果をデータ受信する第１の通信部６０と、会話評価を行う制御部７０と、受信したデータを記録する記録部８０とから構成されている。
制御部７０は、第１の通信部６０を介してウェアラブル端末１における会話分析結果の情報を評価する会話評価部７１を備えている。
記録部８０は、前記分析評価結果の情報を会話ログデータベース８１に記録し管理する。また、会話ログデータベース８１を使用することで、様々な問合せに対応することができる。様々な問合せの詳細については後述する。
【００６５】
次に、上述した会話分析システムを使用して会話分析装置（ウェアラブル端末）１で会話分析及び会話評価を行う場合の手順について、図５のフローチャートを参照して説明する。
先ず、ウェアラブル端末１が利用者の頭部に装着されているかどうかを装着認識部２４で判断する（ステップ１０１）。
ウェアラブル端末１が装着されている場合は次の処理を行い、装着されていないと判断すると処理を終了する（ステップ１０２）。
【００６６】
ウェアラブル端末１が装着されている場合、会話開始の検出の有無を判定する（ステップ１０３）。具体的には、ユーザ用マイク（送話用マイク／環境音用マイクの２マイク）１１ｂから音声を収集し、利用者の周囲の環境について、騒音レベルを10秒毎に評価する（環境騒音キャリブレーション）。環境音（環境ノイズ）は、様々な方向から発生することを考えると拡散性があると考えられるので、２つのマイクで検出する騒音レベルの差は少ないものと判断する。
利用者が発話すると、ユーザ用マイク１１ｂの送話用マイクへ環境音用マイクよりも大きな音声信号が入る。送話用マイクと環境音用マイクの音声の差を測定し、6dB以上の差がある場合、信号が入った（利用者が発話した）として会話分析を開始する。
【００６７】
「会話分析を開始」の場合、以下の処理が行われる。
・会話開始時刻を記憶し、会話時間計測を開始する。
・会話終了時を検出するための会話終了検出タイマを起動する。
・相手用マイク１１ａをONにし、相手の声の音声取得を開始する。
・カメラ１２をONにして映像取得を開始する。
・ジャイロ・加速度センサ１３をONにし、センサからのデータ収集を開始する。
【００６８】
続いて、ウェアラブル端末１の制御部２０が上述した各情報を取得することで会話分析を行う（ステップ１０４）。
会話分析については、後述する。
【００６９】
会話終了を判定する（ステップ１０５）。
会話終了は、例えば会話終了タイマを30秒とし、ユーザ発話が30秒間検出しなかった場合、会話終了と判定する。
・会話時間を確定する。
・相手用マイク１１ａをOFFにする。
・カメラ１２をOFFにする。
・ジャイロ・加速度センサ１３をOFFにする。
【００７０】
会話終了と判定した場合、会話の評価・記録を行う（ステップ１０６）。
会話の評価・記録については、後述する。
【００７１】
前記会話分析（ステップ１０４）は、次の手順で行われる。
「音声のテキスト化、会話のテンポ（発話速度）の分析」
先ず、ユーザ用マイク１１ｂで集音した音声と相手用マイク１１ａで集音した音声をそれぞれ音声認識によるテキスト化（ディクテーション）する。
また、音声認識したテキストのスピード（話す速度）をユーザと相手の発声毎に分析する。
ここで、「会話のテンポが一致する」とは、音声認識機能により音声が一度音素化されるが、この音素化された数とその時間の比をテンポとする。１回発声される毎にこのテンポを計算し、１つ前の発声のテンポと差を取り、１会話が終わるまで差を加算し続ける。また加算回数も計測する。
【００７２】
「会話テキストの分析、同一語の繰り返し回数分析」
前記テキストを形態素解析して単語に分割し、会話が終わるまで記憶する。
ここで、「同一語の繰り返し回数」は、音声認識機能により音声がテキスト化されて、１発声毎に音声認識されたテキスト中の名詞と、その前の発声で音声認識したテキスト中の名詞とを比較し、同一語があれば同一語の繰り返しとして「＋１」加算する。
【００７３】
「会話のトーンの分析」
ここで、「会話のトーンが一致する」とは、相手の声量と自身の声量がほぼ一致していることである。
マイクロフォン１１で収録された音声の１発声毎のA特性音圧レベルの平均値を計測し、１つ前の相手の発声の音圧レベルとの差を取り、１会話が終わるまで差を加算する。加算回数もカウントしておく。
【００７４】
「カメラ映像からの相手の顔検出時間の計算」
カメラ１２から映像を取得し、映像の中に顔のある位置をパターン認識で検出する。
パターン認識する特徴点は、頭部輪郭に対する両目の位置とその間の鼻、口である。
顔を検出していた時間を積算する。
【００７５】
「カメラ映像からの相手の頷き回数の計算」
カメラ１２の映像から検出した顔の位置を更に分析し、頷いたかどうかを判定する。
映像スライス毎に目と口を囲む四角形の縦横の比を算出し、その比の時系列変化から推定する。
すなわち、図６（ａ）に示すような、目と口を囲む四角（点線で囲まれた領域）が正方形に近い（縦：横の比が大きい）状態から、図６（ｂ）に示すような、目と口を囲む四角（点線で囲まれた領域）が潰れた長方形（縦：横の比が小さい）状態に徐々に変化し、その後、また元の大きさ（図６（ａ））に戻る変化を１つの「頷き」と判断する。カメラ１２の映像から、「頷き」と判定した時刻と回数を記録する。
【００７６】
「カメラ映像からの相手の笑顔判定時間の計算」
カメラ１２の映像から検出した顔の位置を更に分析し、笑顔かどうかを判定する。
笑顔は、図７に示すように、普通の表情の状態（図７（ａ））と、笑顔の状態（図７（ｂ））との目尻の下がりと口角の上がりやしわ（ホウレイ線の深さ）の関係を取得し、予め決めておいた閾値と比較することで笑顔を推定する。笑顔と判定していた時間を積算する。
【００７７】
「ジャイロ・加速度センサからの頷きの計算」
利用者自身の「頷き」は、ジャイロ・加速度センサ１３からのデータにより判定する。
すなわち、１回の頷きとは、図８に示すように、利用者が正面を向いた状態（図８（ａ））から首を前に傾けた状態（図８（ｂ））へ、そして再び正面を向いた状態（図８（ａ））に戻る動作とする。
例えば、６軸のジャイロ・加速度センサ１３が眼鏡のテンプル部（つる）５の部分に配置されているとした場合、各軸を以下のように定義する。
X軸：利用者の左右方向に貫く軸。X軸を中心にした回転を「ピッチ」とする。
Y軸：利用者の前後方向に貫く軸。Y軸を中心にした回転を「ロール」とする。
Z軸：利用者の上下方向に貫く軸。Z軸を中心にした回転を「ヨー」とする。
まず重力により下方向へ重力ベクトルを３軸加速度センサから認識できる。つまりZ軸下方向への加速度が恒常的にある状態である。
利用者が、頷き首を前に倒すと、図８（ｂ）の状態になる。ジャイロセンサのピッチ角が推定位置より下がる。また、Z軸下方への加速度が一時的に減少し、Y軸前方向に重力成分が表れる。
利用者が、首を元倒すと、図８（ａ）の状態に戻る。
ジャイロセンサのピッチ角が水平位置にもとに戻り。また、Z軸下方への加速度が一時的に増大し、Y軸前方向に重力成分が減少する。
この一連の変化をパターン認識し、１回の頷き回数とする。
【００７８】
ウェアラブル端末（会話分析装置）１の制御部２０の分析結果のデータ（センサ部１０の各データ）に基づいて、会話分析部２５は会話の受容度および会話の巧みさを評価する指標を計算し、会話ログ３４に記録し会話が継続する間は更新をする。指標の計算の詳細については後述する。
【００７９】
続いて、会話の受容度および会話の巧みさを評価する各指標の計算方法について説明する。
これらの指標を求めるために、以下の単位時間あたりの各行動を計測する。
会話が終わるまで待たずに例えば15秒周期で指標を再計算し更新する。
・頷かれ回数（相手の頷き回数）
・頷き回数（自身の頷き回数）
・重要語の回数（自身及び相手による発話）
・笑い時間
・対向時間
・会話トーンの一致性
・会話テンポの一致性
・繰り返し回数
【００８０】
頷き回数：NnrおよびNnd
頷きは相手を認め、肯定している行動である。会話単位時間あたりで頷かれの多い人は、相手にわかりやすい話し方をしており、相手に受け入れられていると考えられる。
Nnr = (相手の頷き回数)／（会話時間）
Nnd = (自身の頷き回数)／（会話時間）
【００８１】
ここで、頷かれ回数（相手の頷き回数）は、カメラ１２に相手の顔が映り、頷き検出機能により「頷き」と推定していた回数とする。
ここで、頷き回数（自身の頷き回数）は、ジャイロ加速度センサ１３からの頷き検出機能により「頷き」と推定していた回数とする。
会話を進める中で、予め決めていた閾値よりNnrが低い場合は、表示部４０に相手の頷きが足りない旨を表示する。
会話を進める中で、予め決めていた閾値よりNndが低い場合は、表示部４０に自身の頷きが足りない旨を表示する。
【００８２】
笑われた時間:Tsr
笑いは会話を円滑に進めるための行動である。
会話単位時間あたりで笑われの多い人は、楽しく円滑に会話を進めていることを示す。
Tsr = (相手が笑った時間)／（相手の顔を検出していた時間）
【００８３】
ここで、「相手が笑った時間」は、カメラに相手の顔が映り、笑顔検出機能により笑顔と推定していた時間とする。
会話を進める中で、予め決めていた閾値よりTsrが低い場合は、表示部に相手の笑顔が足りない旨を表示する。
【００８４】
重要語の回数：NtrおよびNtd
重要語とは、重要語データベースの単語と一致した回数を記録する。会話単位時間あたりで重要後を発言する場合、重要語を発言する側にとって会話の内容が有益で肯定的な内容であることを示す。
Ntr = (相手の重要語の発声回数)／（会話時間）
Ntd = (自身の重要語の発声回数)／（会話時間）
【００８５】
ここで、「重要語の発声回数」は、音声認識機能により音声がテキスト化されて、そのテキスト中重要語が含まれた数とする。
会話を進める中で、予め決めていた閾値よりNtrが低い場合は、表示部４０に会話内容を変更する旨を表示する。
【００８６】
対向時間:Ted
会話をする時は、相手の目を見ることで信頼感が得られる。
会話単位時間あたりで相手を見ている人は、集中して、あるいは興味を持って会話していることを示す。
Ted = (相手の顔を見ていた時間)／（会話時間）
【００８７】
ここで、「相手の顔を見ていた時間」は、カメラに相手の顔が映り、顔検出機能により目と口の顔検出ができていた時間とする。
会話を進める中で、予め決めていた閾値よりTedが低い場合は、表示部４０に相手をもっと見る旨を表示する。
【００８８】
会話のトーンが一致している時間:Rst
会話のトーンとは、声の張り具合である。声の張り具合が異なる会話は心理的にお互いの同調感が感じられない。
Rst= (会話のトーンの差の総和)／（加算した回数）
【００８９】
加算したものを加算回数で割ると、差の平均値が出る。
Rstが大きいほど声量の差があり、会話が巧みでないことを示す。
会話を進める中で、予め決めていた閾値よりRstが大きい場合は、表示部４０に相手の声の調子をまねる旨を表示する。
【００９０】
会話のテンポが一致している時間:Rss
会話のテンポとは、発声のスピードである。発声のスピード感が異なる会話は心理的に同調感が感じられない。
【００９１】
Rss = (会話のテンポの差の総和)／（加算した回数）
Rssが大きいほどテンポがズレていて、会話が巧みでないことを示す。
会話を進める中で、予め決めていた閾値よりRssが大きい場合は、表示部４０に相手の声の調子をまねる旨を表示する。
【００９２】
同一語の繰り返し発生回数:Nrd
会話である言葉が繰り返される際、両者から同一な言葉が発声されるとその言葉について理解されたと感じる。
Nrd = (同一語の発声回数)／（会話時間） 
同一語の発声回数が多い程、相手の話を傾聴し、一度受け止めていると感じさせる。
つまりNrdが大きい程会話が巧みであるとする。
会話を進める中で、予め決めていた閾値よりNrdが小さい場合は、表示部４０に繰り返しをする旨を表示する。
【００９３】
これらの値を以下の式で計算して、その１会話の相手受容度（Rc）と会話の巧みさ（Cｃ）を数値化する。
Rcが高い程、会話が受け入れられていることを示し、Ccが高い程会話が巧みだったことを示す。
会話の相手受容度
Rc= a1×Nnr + a2×Ntr + a3×Tsr
会話の巧みさ
Cc= a1×Nnr + a2×Ntr + a3×Tsr + a4×Nnd + a5×Ntd + a6×Ted - a7×Rst - a8×Rss + a9×Nrd
それぞれの項のa1〜a9は、各項の所定の重み付け定数（0以上の値）である。
【００９４】
また、音声評価部２１においては、音声認識結果のテキストを形態素解析し，名詞に分類された単語を全て文書として会話ログ３４に記憶する。
以上の処理を会話が終了したと判定されまで継続する。
【００９５】
前記の会話の評価・記録（ステップ１０６）については、以下の手順で行う。
会話が終了したと判定されると、ウェアラブル端末（会話分析装置）１の制御部２０の会話分析部２５は、前記会話の受容度と会話の巧みさの指標を確定した会話時間で更新し、会話ログ３４の全会話文書を用いて以下の方法で、その会話の特徴語を求める。
【００９６】
文書中の全単語のTF(term frequency)値を計算し、TF値の最も大きい単語をその会話の特徴語としてもよい。TF値は、その文章の中でその単語が出現した頻度を表す。
【００９７】
また、最頻出している単語の代わりに、そのユーザの会話の文書の全単語と調査したい期間の全会話文書を対象として、TF-IDF値を計算し、TF-IDF値の最も高い単語を特徴語として会話記録する。
出現頻度は、TF-IDF（Term Frequency - Inverse Document Frequency：単語の出現頻度−逆出現頻度）値であってもよい。TF-IDFとは、文書中に出現した単語がどのくらい特徴的であるかを識別するための指標をいう。TF(term frequency)は、その文書の中でその単語が出現した頻度を表す。
IDF(inverse document frequency)は、全文書の中でその単語を含む文書数の自然対数で表し、この値が高い程その単語が全文書内で普く頻出していない単語であることを現す。
そして、TF値×IDF値が高い値を持つ単語ほど、重要であるとする。
【００９８】
また、話題語データベース３３に予め登録しておいた話題語が含まれる場合、その話題語を会話ログ３４に記録する。
以上が１会話のみに着目し、その会話の受容度および会話の巧みさを評価する場合の手順となる。
１つの会話についての会話ログの生成が完了したので、ウェアラブル端末１の会話分析部２５は第１の通信部５０を介して音声評価サーバ３に会話ログを転送する。
会話評価サーバ３の制御部７０は第1の通信部６０から会話ログを受信すると、会話ログを記憶部８０の会話ログデータベース８１に記録する。
【００９９】
１会話の分析結果を記録する会話ログデータベース８１のレコード値を図９に示す。
会話ログは、ユーザID毎の１会話で管理され、会話開始時刻及び会話時間とともに、上述した各指標が記憶されている。
また、TF値等を計算するため、会話中の全名詞のリストが記憶されるとともに、会話中に存在した特徴語のリスト及び話題語のリストが記憶されている。
【０１００】
会話評価サーバ装置３の会話評価部７１では、この会話のログを更に分析し、利用者の全会話を分析し、全利用者のRcとCcと比較（平均や標準偏差）することで、普く会話の受容度の指標Rcと会話の巧みさの指標Ccが高い利用者は、会話が受け入れられており会話が巧みと評価できる。
【０１０１】
また、この会話のログの話題語毎に更に分析することで、どのような会話の話題が相手に受け入れられたかを評価できる。
例えば、話題語が含まれる会話記録を参照し、会話の巧みさ度Ccを評価する。
話題語が会話に含まれた全ユーザを検索し、そのユーザ毎に話題語が出現した全会話数でCcの統計値（平均値や標準偏差）を計算する。会話の巧みさ度Ccが比較的高ければ、その話題に対して影響力のあるユーザであるといえる。
【０１０２】
上述した会話分析システムによれば、ユーザが行った会話の巧みさの評価が可能になるので、例えば以下のようなケースに使用することができる。
使用例１：接客時の店員の会話の巧みさの評価に利用する。店員と顧客の会話が顧客に受け入れられており店員の会話が巧みで巧く進んでいるか店員はウェアラブル端末を使用することでリアルタイムに確認することもでき、店員の管理者はどの店員の会話が巧みだったか、会話評価サーバに問合せすることにより確認することができる。
使用例２：まだウェアラブル端末が一般ユーザに普及していない時にでも、そのウェアラブル端末を使用しているユーザについて、ある話題語に対する他人への影響力を推測することができる。
【０１０３】
次に、本発明に係る会話分析システムの実施形態の他の例について、図１０〜１４を参照しながら説明する。
この会話分析システムでは、図１０の会話分析装置（ウェアラブル端末）と、図１１の会話評価サーバ装置３を使用することで、インフルエンサー（他人への影響が大きいユーザ）の抽出を行う。
すなわち、この会話分析システムでは、会話の相手を特定し、リアルな人間関係を自動的に推測可能としている。会話相手との人間関係を知るため、利用者自身の他、会話相手も識別するようになっている。
【０１０４】
この会話分析システムでは、会話分析装置（ウェアラブル端末）１を利用者自身の他、会話の相手も使用していることが前提となる。会話の両者がウェアラブル端末１を使用することで、システムで一意なユーザ識別子（ユーザID）を各利用者に付与する。ウェアラブル端末１は会話中の相手のユーザIDを知ることで、図１〜４の会話分析システムにおける相手側の「頷き」や「笑顔」の度合いがどのユーザから得られたのか具体的に知ることができる。
【０１０５】
図１０の会話分析装置（ウェアラブル端末）１と、図１１の会話評価サーバ装置３を利用した会話分析システムにおいて、図３及び図４と同一構成を採る部分については同一符号を付している。以下、図３及び図４の会話分析システムと異なる構成を中心に説明する。
この会話分析システムのウェアラブル端末１では、ユーザIDをウェアラブル端末間で交換するための第２の通信部５１を備える。
具体的には、IR(赤外線)通信のIrDA規格であるIrSS（登録商標）を用いても良く、赤外線の指向性を制御して、例えば正面中心から左右30°（合計60°）指向性で送受信する。また、赤外線通信の代わり超音波通信でも良いし、GHz帯以上の指向性を持つ電波無線通信でも良い。
【０１０６】
また、図９に対応する会話ログデータベースのレコード値（図１２）では、相手ユーザを特定するための相手ユーザIDが追加されている。
ユーザIDは、ウェアラブル端末１に予め製造シリアル番号を記録して使用しても良いし、ユーザ登録の際にシステムで一意になるような任意なコードを登録しても良い。
第２の通信部５１を用いることで、図１３に示すように、互いに対面した時に相手側のウェアラブル端末１との通信可能範囲における直接的な通信が可能となり、ID交換し会話の相手を自動的に特定することができる。
【０１０７】
この会話分析システムの会話評価サーバ装置３では、制御部１０がユーザIDから会話ログを分析して利用者の人間関係を管理するための人間関係管理機能７２を備えている。また、記憶部３０は、利用者の人間関係を紐づけて記憶する人間関係データベース８２を備えている。
人間関係管理機能では、会話の相手を特定することで互いのウェアラブル端末で計測した会話の巧みさ指標Ccを算出するための指標を、会話ログを記録する毎に自身のIDと相手のユーザIDと会話開始時刻から照合し会話ログが一致するものであれば、それぞれの自身の笑顔の時間（Tsd:図１２）も相手のウェアラブル端末の計測結果の会話ログから知ることができ、指針のデータとして補完することができる。
【０１０８】
さらに、図１４に示すような、ユーザ同士のリアルな人間関係マップを自動的に構築する。
図１４の人間関係マップでは、会話ログの自身のIDと相手のIDとの結び付き度を、分析したい任意の期間の会話ログにおけるユーザ間の総会話時間でリンクの太さで示し、リンクの方向を全Rcの差で示している。また、受け入れ度である相手受容度（Rc）が大きい方へ情報が流れていることを意味する。
例えば、図１４のID:W1とID:W2のユーザを例に説明すると、他と比較してユーザ同士のリンクが太いので強い結び付きがあり、矢印の向きがユーザW2の方向がより大きいので、ユーザW2がユーザW1をより受け入れている（受容度が高い）ことを示している。また、情報の流れがユーザW2の方向にあるものと推測できる。
【０１０９】
また、人間関係マップにおいては、ある話題毎にフィルタリングして俯瞰することもできる。
このように、全ユーザの人間関係を図１４のようにマッピングして、ある話題でフィルタリングすることで、その話題で中心的なユーザを見つけることができる。即ち、リアルな人間関係における特定の話題に関するインフルエンサーを見つけることができる。
【０１１０】
上述した会話分析装置によれば、人同士のリアルな会話を分析し、ある分野のインフルエンサーを抽出することができるので、インフルエンサーとされた利用者に対してダイレクトメール等で話題語に関連する最新情報や広告を送りこむこと等で、そのユーザの周りのリアルな人間関係を通じて情報伝達が期待できる。
【０１１１】
また、店舗接客において会話分析装置を使用することで、店員と客とのリアルなミュニケーションについて、店員がどれだけ客に認められて納得される会話を実施したかを計測できるので、定員の客観的な接客力を判定することができる。
【符号の説明】
【０１１２】
１…会話分析装置（ウェアラブル端末）、  ２…インターネット、  ３…会話評価サーバ装置、  ５…テンプル部、  １０…センサ部、  １１…マイクロフォン、  １１ａ…相手用マイク、  １１ｂ…ユーザ用マイク、  １２…カメラ、  １３…ジャイロ・加速度センサ、  １４…装着センサ、  ２０…制御部、  ２１…音声評価部、  ２２…映像評価部、  ２３…頷き認識部、  ２４…装着認識部、  ２５…会話分析部、  ３０…記憶部、  ３１…利用者登録データ部、  ３２…重要語データベース、  ３３…話題語データベース、    ３４…会話ログ、  ４０…表示部、  ５０…第１の通信部、  ５１…第２の通信部、  ６０…第１の通信部、  ７０…制御部、  ７１…会話評価部、  ７２…人間関係管理部、  ８０…記憶部、  ８１…会話ログデータベース、  ８２…人間関係データベース。
【図１】
0006400445.tif 000002
【図２】
0006400445.tif 000003
【図３】
0006400445.tif 000004
【図４】
0006400445.tif 000005
【図５】
0006400445.tif 000006
【図６】
0006400445.tif 000007
【図７】
0006400445.tif 000008
【図８】
0006400445.tif 000009
【図９】
0006400445.tif 000010
【図１０】
0006400445.tif 000011
【図１１】
0006400445.tif 000012
【図１２】
0006400445.tif 000013
【図１３】
0006400445.tif 000014
【図１４】
0006400445.tif 000015