(57)【要約】【課題】対面のコミュニケーションの対象者の第三者へ与える印象を客観的に評価できる印象導出システム、印象導出方法および印象導出プログラムを提供する。【解決手段】印象導出システムは、センサーが取得した情報に基づいて導出された対象者の感情を示すパラメータを数値化した値である感情値と行動を示すパラメータを数値化した値である行動値とのいずれか一方又は両方を取得する取得部と、印象を示す情報と、感情を示すパラメータと行動を示すパラメータとのいずれか一方又は両方を複数使用して作成された印象の評価値を導出するための情報とを関連付けた情報である印象導出情報を記憶する記憶部と、取得部が取得した感情値と行動値とのいずれか一方又は両方と、記憶部に記憶された印象導出情報とに基づいて、対象者の第三者へ与える印象の評価値を導出する導出部とを備える。【選択図】図２
2019159586.tif 000002
【特許請求の範囲】
【請求項１】
センサーが取得した情報に基づいて導出された対象者の感情を示すパラメータを数値化した値である感情値と行動を示すパラメータを数値化した値である行動値とのいずれか一方又は両方を取得する取得部と、
印象を示す情報と、感情を示すパラメータと行動を示すパラメータとのいずれか一方又は両方を複数使用して作成された印象の評価値を導出するための情報とを関連付けた情報である印象導出情報を記憶する記憶部と、
前記取得部が取得した前記感情値と前記行動値とのいずれか一方又は両方と、前記記憶部に記憶された前記印象導出情報とに基づいて、前記対象者の第三者へ与える印象の評価値を導出する導出部と
を備える、印象導出システム。
【請求項２】
前記記憶部は、対象者の第三者へ与える印象の評価値を導出するシーンの各々に対して、印象導出情報を記憶し、
前記導出部は、複数の前記シーンのうち、印象の評価値を導出するシーンに対応する印象導出情報に基づいて、前記対象者の前記第三者へ与える印象の評価値を導出する、請求項１に記載の印象導出システム。
【請求項３】
前記印象導出情報に含まれる印象の前記評価値を導出するための情報に含まれる感情を示すパラメータと行動を示すパラメータのいずれか一方又は両方は、前記第三者の属性によって異なる、請求項１又は請求項２に記載の印象導出システム。
【請求項４】
前記導出部が導出した前記印象の評価値の時系列データ又は、前記印象の評価値と他人の印象の評価値との比較結果を作成する分析部
を備える、請求項１から請求項３のいずれか一項に記載の印象導出システム。
【請求項５】
前記分析部は、前記比較結果に基づいて、印象の評価値に影響する前記感情を示すパラメータと前記行動を示すパラメータとのいずれか一方又は両方を抽出する、請求項４に記載の印象導出システム。
【請求項６】
前記記憶部は、説明手順と説明基準時間とを記憶し、
前記取得部は、前記対象者が使用する端末装置が取得した情報と前記記憶部に記憶されている前記説明手順と前記説明基準時間とに基づいて導出された前記対象者の行動値を取得する、請求項１から請求項５のいずれか一項に記載の印象導出システム。
【請求項７】
前記センサーが取得した情報には、前記対象者に関する情報と前記第三者に関する情報とのいずれか一方又は両方が含まれる、請求項１から請求項６のいずれか一項に記載の印象導出システム。
【請求項８】
センサーが取得した情報に基づいて導出された対象者の感情を示すパラメータを数値化した値である感情値と行動を示すパラメータを数値化した値である行動値とのいずれか一方又は両方を取得するステップと、
印象を示す情報と、感情を示すパラメータと行動を示すパラメータとのいずれか一方又は両方を複数使用して作成された印象の評価値を導出するための情報とを関連付けた情報と、前記取得するステップで取得した前記感情値と前記行動値とのいずれか一方又は両方とに基づいて、前記対象者の第三者へ与える印象の評価値を導出するステップと
を有する、印象導出システムが実行する印象導出方法。
【請求項９】
コンピュータに、
センサーが取得した情報に基づいて導出された対象者の感情を示すパラメータを数値化した値である感情値と行動を示すパラメータを数値化した値である行動値とのいずれか一方又は両方を取得するステップと、
印象を示す情報と、感情を示すパラメータと行動を示すパラメータとのいずれか一方又は両方を複数使用して作成された印象の評価値を導出するための情報とを関連付けた情報と、前記取得するステップで取得した前記感情値と前記行動値とのいずれか一方又は両方とに基づいて、前記対象者の第三者へ与える印象の評価値を導出するステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、印象導出システム、印象導出方法および印象導出プログラムに関する。
【背景技術】
【０００２】
面接、研修などの対面のコミュニケーションを評価する場面は、多々存在する。対面のコミュニケーションを評価する場面のほとんどにおいて、人が自らの主観に基づいて、定性的に評価している。例えば、対面のコミュニケーションを評価する場面の例として、以下の（１）−（４）が挙げられる。
（１）企業の採用面接にて、面接官が志望者の適正を評価する。
（２）営業力を強化する研修にて、講師が受講者を評価したり、模範的な振る舞いを教えたりする。
（３）顧客との折衝にて、営業担当者が、顧客の理解の度合いを把握しながら話を進める。
（４）企業のセミナーや学校の授業にて、講師が聴衆の反応を見ながら話しを進める。
【０００３】
店舗の店員による接客時の対応を効率的かつ精度良く評価する技術が知られている（例えば、特許文献１参照）。この技術では、管理装置は、個別売上データをＰＯＳレジスタから取得し、接客対応する店員の顔画像データをカメラから取得し、個別売上データに含まれる接客時間帯に対応する顔画像データから接客中の店員の表情を特定し、表情に応じて接客時の対応の評価値を示す接客対応ポイントを算出する。また、管理装置は、個別売上データと接客対応ポイントとを関連付けて管理し、これらのデータを集計することによって店員毎の接客時の対応を数値化して出力するとともに、売上金額と接客時の対応の評価値とを関係付けて出力する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１０２８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特定の人の主観に基づく対面のコミュニケーションの評価は、客観性が乏しく、被評価者の納得感に欠けるため、的確なコミュニケーションの改善に結びつかないことがある。具体的には、面接官によって志望者の評価が異なるため、適切なマッチングができないことがある。受講者が、自分と優れた営業担当者との間で、振る舞いの差異を正しく認識できないことがある。顧客の理解に応じた的確な説明ができないことがある。聴衆が期待する講義構成、伝え方を実践できないことがある。
上記事情に鑑み、本発明は、対面のコミュニケーションの対象者の第三者へ与える印象を客観的に評価できる印象導出システム、印象導出方法および印象導出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様は、センサーが取得した情報に基づいて導出された対象者の感情を示すパラメータを数値化した値である感情値と行動を示すパラメータを数値化した値である行動値とのいずれか一方又は両方を取得する取得部と、印象を示す情報と、感情を示すパラメータと行動を示すパラメータとのいずれか一方又は両方を複数使用して作成された印象の評価値を導出するための情報とを関連付けた情報である印象導出情報を記憶する記憶部と、前記取得部が取得した前記感情値と前記行動値とのいずれか一方又は両方と、前記記憶部に記憶された前記印象導出情報とに基づいて、前記対象者の第三者へ与える印象の評価値を導出する導出部とを備える、印象導出システムである。
【０００７】
本発明の一態様は、上記の印象導出システムであって、前記記憶部は、対象者の第三者へ与える印象の評価値を導出するシーンの各々に対して、印象導出情報を記憶し、前記導出部は、複数の前記シーンのうち、印象の評価値を導出するシーンに対応する印象導出情報に基づいて、前記対象者の前記第三者へ与える印象の評価値を導出する。
【０００８】
本発明の一態様は、上記の印象導出システムであって、前記印象導出情報に含まれる印象の前記評価値を導出するための情報に含まれる感情を示すパラメータと行動を示すパラメータのいずれか一方又は両方は、前記第三者の属性によって異なる。
【０００９】
本発明の一態様は、上記の印象導出システムであって、前記導出部が導出した前記印象の評価値の時系列データ又は、前記印象の評価値と他人の印象の評価値との比較結果を作成する分析部を備える。
【００１０】
本発明の一態様は、上記の印象導出システムであって、前記分析部は、前記比較結果に基づいて、印象の評価値に影響する前記感情を示すパラメータと前記行動を示すパラメータとのいずれか一方又は両方を抽出する。
【００１１】
本発明の一態様は、上記の印象導出システムであって、前記記憶部は、説明手順と説明基準時間とを記憶し、前記取得部は、前記対象者が使用する端末装置が取得した情報と前記記憶部に記憶されている前記説明手順と前記説明基準時間とに基づいて導出された前記対象者の行動値を取得する。
【００１２】
本発明の一態様は、上記の印象導出システムであって、前記センサーが取得した情報には、前記対象者に関する情報と前記第三者に関する情報とのいずれか一方又は両方が含まれる。
【００１３】
本発明の一態様は、センサーが取得した情報に基づいて導出された対象者の感情を示すパラメータを数値化した値である感情値と行動を示すパラメータを数値化した値である行動値とのいずれか一方又は両方を取得するステップと、印象を示す情報と、感情を示すパラメータと行動を示すパラメータとのいずれか一方又は両方を複数使用して作成された印象の評価値を導出するための情報とを関連付けた情報と、前記取得するステップで取得した前記感情値と前記行動値とのいずれか一方又は両方とに基づいて、前記対象者の第三者へ与える印象の評価値を導出するステップとを有する、印象導出システムが実行する印象導出方法である。
【００１４】
本発明の一態様は、コンピュータに、センサーが取得した情報に基づいて導出された対象者の感情を示すパラメータを数値化した値である感情値と行動を示すパラメータを数値化した値である行動値とのいずれか一方又は両方を取得するステップと、印象を示す情報と、感情を示すパラメータと行動を示すパラメータとのいずれか一方又は両方を複数使用して作成された印象の評価値を導出するための情報とを関連付けた情報と、前記取得するステップで取得した前記感情値と前記行動値とのいずれか一方又は両方とに基づいて、前記対象者の第三者へ与える印象の評価値を導出するステップとを実行させるプログラムである。
【発明の効果】
【００１５】
本発明の実施形態によれば、対面のコミュニケーションの対象者の第三者へ与える印象を客観的に評価できる印象導出システム、印象導出方法および印象導出プログラムを提供できる。
【図面の簡単な説明】
【００１６】
【図１】実施形態の印象導出システムの一例を示す図である。
【図２】実施形態の印象導出システムに含まれる印象導出装置とクラウドサーバとクライアント端末との一例を示すブロック図である。
【図３】感情値行動値情報の一例を示す図である。
【図４】印象導出情報の一例を示す図である。
【図５】印象情報ＤＢの一例を示す図である。
【図６】印象の評価を行う画面の一例を示す図である。
【図７】印象評価結果の表示画面の一例を示す図である。
【図８】実施形態の印象導出システムの動作の一例を示すシーケンスチャートである。
【発明を実施するための形態】
【００１７】
次に、本実施形態の印象導出システム、印象導出方法および印象導出プログラムを、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
【００１８】
（実施形態）
（印象導出システム）
図１は、実施形態の印象導出システムの一例を示す図である。
実施形態の印象導出システム１０は、撮像装置２０と、マイクロフォン３０と、端末装置４０と、クライアント端末４００と、印象導出装置１００と、クラウドサーバ２００とを備える。
撮像装置２０と、マイクロフォン３０と、端末装置４０と、クライアント端末４００と、印象導出装置１００と、クラウドサーバ２００との間は、インターネットなどのネットワーク５０を介して、有線又は無線で接続される。
撮像装置２０と、マイクロフォン３０と、端末装置４０との設置場所の一例は、研修所などの施設６０である。本実施形態の施設６０では、対面のコミュニケーションの研修が行われる。
【００１９】
印象の評価の対象者（以下「対象者」という）に、第三者を相手に、対面でコミュニケーションを行ってもらう。コミュニケーションの最中に、対象者と第三者のいずれか一方又は両方の情報を取得する。具体的には、撮像装置２０は対象者を撮像し、マイクロフォン３０はコミュニケーションの内容を録音し、端末装置４０はコミュニケーションに使用した資料などの文書データや、コミュニケーションの最中の操作ログを取得する。
撮像装置２０は、対象者ＩＤと対象者を撮像することによって得られた動画データとを含む動画データを作成し、作成した動画データを、クラウドサーバ２００へ送信する。マイクロフォン３０は、対象者ＩＤとコミュニケーションの内容を録音することによって得られた音声データとを含む音声データを作成し、作成した音声データを、クラウドサーバ２００へ送信する。端末装置４０は、対象者ＩＤと、コミュニケーションに使用した資料などの文書データや、端末装置４０の操作ログを示す情報とを、クラウドサーバ２００へ送信する。
クラウドサーバ２００は、撮像装置２０が送信した動画データを取得し、取得した動画データと、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶する。クラウドサーバ２００は、マイクロフォン３０が送信した音声データを取得し、取得した音声データと、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶する。クラウドサーバ２００は、端末装置４０が送信した文書データを取得し、取得した文書ファイルと、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶する。クラウドサーバ２００は、端末装置４０が送信した操作ログを示す情報を取得し、取得した操作ログを示す情報と、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶する。
【００２０】
対象者の印象を評価するユーザ（以下「ユーザ」という）は、対象者の印象を評価する場合に、クライアント端末４００に対して、印象の評価を要求する操作を行う。クライアント端末４００は、ユーザの操作に応じて、印象の評価を要求する情報である印象評価要求を作成し、作成した印象評価要求を、印象導出装置１００へ送信する。印象評価要求には、評価を行う対象者の対象者ＩＤと、印象の評価を行うシーンを示す情報と、評価を行う印象を示す情報とが含まれる。また、他の対象者のデータと比較する場合には、印象評価要求には、他の対象者のデータを示す情報（例えば、ファイル名）が含まれる。また、対象者の過去のデータと比較する場合には、印象評価要求には、対象者の過去のデータを示す情報（例えば、ファイル名）が含まれる。シーンについては、後述する。
印象導出装置１００は、クライアント端末４００が送信した印象評価要求を受信した場合に、クラウドサーバ２００へアクセスし、対象者の映像データ、音声データ、文書データ、操作ログなどのセンサー取得情報を要求する情報であるセンサー取得情報要求を、クラウドサーバ２００へ送信する。センサー取得情報要求には、対象者ＩＤが含まれる。
クラウドサーバ２００は、印象導出装置１００が送信したセンサー取得情報要求にしたがって、対象者ＩＤに関連付けて記憶されている対象者の映像データ、音声データ、文書データ、操作ログなどのセンサー取得情報を取得する。クラウドサーバ２００は、取得したセンサー取得情報を含むセンサー取得情報応答を作成し、作成したセンサー取得情報応答を、印象導出装置１００へ送信する。
【００２１】
印象導出装置１００は、クラウドサーバ２００が送信したセンサー取得情報応答を受信し、受信したセンサー取得情報応答に含まれる対象者の動画データと音声データと文書を示すデータと操作ログを示す情報とを取得する。印象導出装置１００は、取得した対象者の動画データと音声データと文書を示すデータと操作ログを示す情報とに基づいて、対象者の表情、身振りなどを認識する。印象導出装置１００は、対象者の表情、身振りなどを認識した結果に基づいて、感情を示す一又は複数のパラメータと、行動を示す一又は複数のパラメータとのうちいずれか一方又は両方を導出する。
印象導出装置１００は、導出した感情を示す一又は複数のパラメータの各々について感情値を導出する。また、印象導出装置１００は、導出した行動を示す一又は複数のパラメータの各々について行動値を導出する。ここで、感情値は、対象者の表情、身振りなどを認識した結果に基づいて導出された感情を示す一又は複数のパラメータの各々について、その度合いを数値化したものである。行動値は、対象者の表情、身振りなどを認識した結果に基づいて導出された行動を表す一又は複数のパラメータの各々について、その度合いを数値化したものである。印象導出装置１００は、感情を示す一又は複数のパラメータの各々について、感情値を関連付けて記憶する。印象導出装置１００は、行動を示す一又は複数のパラメータの各々について、行動値を関連付けて記憶する。
印象導出装置１００は、シーン毎に、印象を示す情報と、印象の評価値を導出するための導出式とを関連付けた印象導出情報を記憶している。導出式は、感情を示すパラメータと行動を示すパラメータとのいずれか一方又は両方を複数使用して作成されている。導出式は、感情を示すパラメータと行動を示すパラメータとを、それぞれ一つ使用して作成されている場合もある。
【００２２】
クライアント端末４００は、対象者ＩＤと印象を評価するシーンを示す情報と評価する印象を示す情報とを含む印象評価要求を、印象導出装置１００へ送信する。
印象導出装置１００は、クライアント端末４００が送信した印象評価要求を受信し、受信した印象評価要求に含まれる印象を評価するシーンと導出する印象を示す情報とに基づいて、その印象の評価値を導出するための導出式を取得する。印象導出装置１００は、記憶している感情を示す一又は複数のパラメータと、行動を示す一又は複数のパラメータとのいずれか一方又は両方から、取得した導出式に使用されているパラメータを取得し、取得したパラメータの感情値又は行動値をその導出式へ代入することによって、印象の評価値を導出する。印象導出装置１００は、導出した印象の評価値に基づいて、印象を分析する。印象導出装置１００は、印象の評価値と印象の分析結果とを含む印象評価応答を作成し、作成した印象評価応答を、クライアント端末４００へ送信する。
クライアント端末４００は、印象導出装置１００が送信した印象評価結果を受信し、受信した印象評価結果に含まれる印象の評価値と印象の分析結果とを表示する。
【００２３】
以下、印象導出システム１０を構成する印象導出装置１００と、クラウドサーバ２００と、クライアント端末４００とについて、詳細に説明する。
（印象導出装置１００）
図２は、実施形態の印象導出システムに含まれる印象導出装置とクラウドサーバとクライアント端末との一例を示すブロック図である。図２を参照して、印象導出装置１００について説明する。
印象導出装置１００は、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。
印象導出装置１００は、例えば、通信部１１０と、情報処理部１３０と、記憶部１４０とを備える。
通信部１１０は、通信モジュールによって実現される。通信部１１０はネットワーク５０を介して、外部の通信装置と通信する。通信部１１０は、例えば無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ブルートゥース(Bluetooth)（登録商標）又はＬＴＥ（Long Term Evolution）（登録商標）などの通信方式で通信してもよい。
通信部１１０は、クライアント端末４００が送信した印象評価要求を受信し、受信した印象評価要求を情報処理部１３０へ出力する。通信部１１０は、情報処理部１３０が出力したセンサー取得情報要求を取得し、取得したセンサー取得情報要求を、クラウドサーバ２００へ送信する。通信部１１０は、クラウドサーバ２００が送信したセンサー取得情報応答を受信し、受信したセンサー取得情報応答を情報処理部１３０へ出力する。通信部１１０は、情報処理部１３０が出力した印象評価応答を取得し、取得した印象評価応答を、クライアント端末４００へ送信する。
【００２４】
記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部１４０の一部または全部は、印象導出装置１００の一部として設けられる場合に代えて、ＮＡＳ（Network Attached Storage）や外部のストレージサーバなど、印象導出装置１００のプロセッサがネットワーク５０を介してアクセス可能な外部装置により実現されてもよい。記憶部１４０には、情報処理部１３０により実行されるプログラム１４１と、アプリ１４２とが記憶される。さらに、記憶部１４０には、感情値行動値情報１４３と、印象導出情報１４４と、印象情報ＤＢ１４５とが記憶される。
【００２５】
アプリ１４２は、印象導出装置１００に、印象評価要求を取得させ、取得させた印象評価要求に基づいて、センサー取得情報要求を作成させ、作成させたセンサー取得情報要求を、クラウドサーバ２００へ送信させる。また、アプリ１４２は、印象導出装置１００に、送信させたセンサー取得情報要求に対する応答であるセンサー取得情報応答を取得させ、取得させたセンサー取得情報応答に含まれる映像データと音声データと文書データと操作ログを示す情報を取得させる。また、アプリ１４２は、印象導出装置１００に、取得させた映像データと音声データと文書データと操作ログを示す情報とに基づいて、感情値と行動値とのうちいずれか一方又は両方を導出させる。
また、アプリ１４２は、印象導出装置１００に、記憶部１４０の印象導出情報１４４から、印象評価要求に含まれるシーンを示す情報と印象を示す情報とに基づいて、印象を示す情報に関連付けて記憶されている導出式を取得させる。また、アプリ１４２は、印象導出装置１００に、取得させた導出式に基づいて、その導出式に含まれる感情を示す一又は複数のパラメータの感情値と、行動を示す一又は複数のパラメータの行動値のいずれか一方又は両方を、記憶部１４０の感情値行動値情報１４３から取得させ、取得させた感情値と行動値とのいずれか一方又は両方を、導出式に代入することによって、印象の評価値を導出させる。また、アプリ１４２は、印象導出装置１００に、対象者ＩＤと印象の評価値を示す情報とを取得させ、取得させた印象の評価値を示す情報を分析させる。
【００２６】
（感情値行動値情報１４３）
感情値行動値情報１４３は、時間と情報処理部１３０がセンサー取得情報から導出した感情を示す一又は複数のパラメータと、行動を示す一又は複数のパラメータとのいずれか一方又は両方について、感情値と行動値とのいずれか一方又は両方とを、対象者ＩＤ毎に関連付けた情報である。例えば、感情値は、主に表情から導出される。例えば、行動値は、主に身振りから導出される。
図３は、感情値行動値情報の一例を示す図である。図３に示される例では、対象者ＩＤ「ａａａ」について、時間「００：００：００」と、表情から導出された感情を示すパラメータである喜びの感情値「７」と怒りの感情値「２」と、身振りから導出された行動を示すパラメータである頷きの行動値「０」と手振りの行動値「１２」とが関連付けられている。図２に戻り、説明を続ける。
【００２７】
（印象導出情報１４４）
印象導出情報１４４は、印象を示す情報（印象情報）と、印象の評価値と、印象の評価値を導出するための導出式とを、シーン毎に関連付けた情報である。印象導出情報１４４は、採用面談／社員面談、営業力を強化する研修、対面営業をリアルタイムに支援する場合、聴衆の反応・理解度を把握するなどのシーン毎に用意される。
ここで、採用面談／社員面談では、面談の相手を対象者とし、その対象者を撮影するとともに、音声を録音する。撮影することによって得られた動画データと録音することによって得られた音声データとに基づいて、感情を示すパラメータの感情値と行動を示すパラメータの行動値とのいずれか一方又は両方が取得される。取得された感情を示すパラメータの感情値と行動を示すパラメータの行動値とのいずれか一方又は両方に基づいて、本音で話している、適正があるなどの印象がデジタル化されることによって評価値が導出される。デジタル化された本音で話している、適正があるなどの印象に基づいて、最適なマッチングを図るとともに、優績者となる割合、離職率などとの相関を探ることができる。
営業力を強化する研修では、営業担当者を対象者とし、その対象者を撮影する。撮影することによって得られた動画データに基づいて、感情を示すパラメータの感情値と行動を示すパラメータの行動値とのいずれか一方又は両方が取得される。取得された感情を示すパラメータの感情値と行動を示すパラメータの行動値とのいずれか一方又は両方に基づいて、振る舞いの良否などの印象がデジタル化されることによって評価値が導出される。デジタル化された振る舞いの良否などの印象を、営業担当者向け研修で活用できる。
【００２８】
対面営業をリアルタイムに支援する場合には、折衝中の顧客を対象者とし、その対象者を撮影するとともに、音声を録音する。撮影することによって得られた動画データと録音することによって得られた音声データとに基づいて、感情を示すパラメータの感情値と行動を示すパラメータの行動値とのいずれか一方又は両方が取得される。取得された感情を示すパラメータの感情値と行動を示すパラメータの行動値とのいずれか一方又は両方に基づいて、顧客の反応などの印象がデジタル化されることによって評価値が導出される。デジタル化された顧客の反応などの印象を、営業担当者に通知（アノテー ション）し、適切な対応を促す。
聴衆の反応・理解度の把握する場合には、セミナー、授業等の受け手を対象者とし、その対象者を撮影するとともに、音声を録音する。撮影することによって得られた動画データと録音することによって得られた音声データとに基づいて、感情を示すパラメータの感情値と行動を示すパラメータの行動値とのいずれか一方又は両方が取得される。取得された感情を示すパラメータの感情値と行動を示すパラメータの行動値とのいずれか一方又は両方に基づいて、感情、理解度などの印象がデジタル化されることによって評価値が導出される。デジタル化された感情、理解度などの印象に基づいて、話者に適切な対応を促す。この場合、対象者は、複数人である。
【００２９】
図４は、印象導出情報の一例を示す図である。図４には、シーン１−シーンｎ（ｎは、ｎ＞０の整数）の各々について、印象を示す情報と、印象の評価値と、その印象の評価値を導出するための導出式とが関連付けられている。図４に示される例では、シーン１について、印象を示す情報「好感度」と、印象の評価値「Ａ」と、導出式「喜び−怒り＋１０×頷き＋手振り」とが関連づけられている。この式は、好感度の評価値「Ａ」が、感情を示すパラメータである「喜び」の感情値から感情を示すパラメータである「怒り」の感情値を減算し、減算することによって得られた値から１０と行動を示すパラメータである「頷き」の行動値との積を減算し、減算した結果得られた値から行動を示すパラメータである「手振り」の行動値を加算することによって得られることを示している。ここで、「１０」は重みづけであり、「頷き」に重みづけがされている。これによって、好感度には、「頷き」の影響が大きいことを示される。
また、シーン１について、印象を示す情報「好感度」と、印象の評価値「Ｂ」と、導出式「嬉しい＞８０＆怒り×２＋悲しい＜１０」とが関連づけられている。この式は、印象の評価値「Ｂ」が、感情を示すパラメータである「嬉しい」の感情値が８０より大きく、且つ感情を示すパラメータである「怒り」の感情値を２倍した値に感情を示すパラメータである「悲しい」の感情値を加えた値が１０未満である導出式で与えられることが示されている。ここで、「２」は重みづけであり、「怒り」に重みづけがされている。これによって、好感度には、「怒り」の影響が大きいことを示される。
また、シーン１について、印象を示す情報「好感度」と、印象の評価値「Ｃ」と、導出式「嬉しい＞５０＆怒り×２＋悲しい＜が３０」とが関連づけられている。この式は、印象の評価値「Ｃ」が、感情を示すパラメータである「嬉しい」の感情値が５０より大きく、且つ感情を示すパラメータである「怒り」の感情値を２倍した値に感情を示すパラメータである「悲しい」の感情値を加えた値が３０未満である導出式で与えられることが示されている。ここで、「２」は重みづけであり、「怒り」に重みづけがされている。これによって、好感度には、「怒り」の影響が大きいことを示される。
また、シーン１について、印象を示す情報「説得力」と、印象の評価値「Ｄ」と、導出式「１００−恐れ−嫌悪＋１０×手振り」とが関連づけられている。この式は、説得力の評価値「Ｄ」が、１００から感情を示すパラメータである「恐れ」の感情値を減算し、減算することによって得られた値から感情を示すパラメータである「嫌悪」の感情値を減算し、減算した値から１０と行動を示すパラメータである「手振り」の行動値との積を減算することによって得られることを示している。ここで、「１０」は重みづけであり、「手振り」に重みづけがされている。これによって、説得力には、「手振り」の影響が大きいことを示される。
【００３０】
また、図４に示したもの以外の例として、印象を示す情報「親しみ」が、感情を示すパラメータ「喜び」の感情値と「怒り」の感情値と、行動を示すパラメータ「頷き」の行動値と「手振り」の行動値とで導出される。また、印象を示す情報「自信」が、感情を示すパラメータ「悲しみ」の感情値と「恐怖」の感情値と「嫌悪」の感情値と、行動を示すパラメータ「揺れ」の行動値とで導出される。また、印象を示す情報「熱意」と「共感」とが、感情を示すパラメータ「注意」の感情値と、行動を示すパラメータ「頷き」の行動値と「揺れ」の行動値とで導出される。また、印象を示す情報「支配」と「対応力」が、感情を示すパラメータ「驚き」の感情値と、行動を示すパラメータ「支配率」の行動値と「速さ」の行動値とで導出される。図２に戻り、説明を続ける。
【００３１】
（印象情報ＤＢ１４５）
印象情報ＤＢ１４５は、対象者ＩＤと印象情報とその印象の評価値を導出するのに使用した感情を示す一又は複数のパラメータの各々の感情値と、行動を示す一又は複数のパラメータの各々の行動値とのいずれか一方又は両方とを関連付けた情報である。
印象情報ＤＢ１４５は、後述する印象情報導出部１２４が出力したファイルを記憶する。ファイルには、対象者ＩＤと、印象の評価値を導出した印象を示す情報と、その印象の評価値を導出するのに使用した感情を示す一又は複数のパラメータとそれらの感情値と、行動を示す一又は複数のパラメータの行動値とそれらの行動値とを関連付けた情報が含まれる。
図５は、印象情報ＤＢの一例を示す図である。図５に示される例では、対象者ＩＤ「ａａａ」と、印象情報「好感度」と、印象の評価値を導出するのに使用した感情を示すパラメータである喜びの感情値「Ｘ」と、感情を示すパラメータである怒りの感情値「Ｙ」と、行動を示すパラメータである頷きの行動値「Ｚ」と、行動を示すパラメータである手振りの行動値「Ｗ」とが関連づけられている。印象情報ＤＢ１４５に記憶される情報は、後述する分析部１３８で使用される。図２に戻り説明を続ける。
【００３２】
情報処理部１３０は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部１４０に格納されたプログラム１４１やアプリ１４２を実行することにより実現される機能部（以下、ソフトウェア機能部と称する）である。なお、情報処理部１３０の全部または一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部１３０は、例えば、取得部１３２と、感情値行動値導出部１３３と、印象情報導出部１３４と、作成部１３６と、分析部１３８とを備える。
【００３３】
取得部１３２は、通信部１１０が出力したセンサー取得情報応答を取得し、取得したセンサー取得情報応答を、感情値行動値導出部１３３へ出力する。取得部１３２は、通信部１１０が出力した印象評価要求を取得し、取得した印象評価要求を、印象情報導出部１３４と作成部１３６とへ出力する。
【００３４】
感情値行動値導出部１３３は、取得部１３２が出力したセンサー取得情報応答を取得し、取得したセンサー取得情報応答に含まれる映像データと音声データと文書データと操作ログとを取得する。感情値行動値導出部１３３は、取得した映像データと音声データと文書データと操作ログとに基づいて、感情を示す一又は複数のパラメータと、行動を示す一又は複数のパラメータとのいずれか一方又は両方を導出する。感情値行動値導出部１３３は、導出した一又は複数の感情を示すパラメータの各々について感情値を導出する。また、感情値行動値導出部１３３は、導出した一又は複数の行動を示すパラメータの各々について行動値を導出する。
具体的には、感情値行動値導出部１３３は、映像データを再生することによって得られる映像から、対象者の顔のパーツを特定し、特定したパーツをトラッキングしたり、筋肉のわずかな動きをデータ化したりすることによって、表情を識別する。感情値行動値導出部１３３は、識別した表情を分析することによって、喜び、怒り、悲しみ、驚き、恐怖、嫌悪、軽蔑などの感情を示す一又は複数のパラメータを導出する。感情値行動値導出部１３３は、導出した感情を示す一又は複数のパラメータの各々について、その度合いを数値化することによって感情値を導出する。
【００３５】
また、感情値行動値導出部１３３は、映像データを再生することによって得られる映像から、対象者の関節ポイントを認識し、認識した関節ポイントに基づいて、身振り、立つ、寝る、歩く、転倒などの行動を示す一又は複数のパラメータを導出する。感情値行動値導出部１３３は、導出した行動を示す一又は複数のパラメータの各々について、その度合いを数値化することによって行動値を導出する。また、感情値行動値導出部１３３は、大きな動作だけでなく、上半身に特化して、微細な動作を識別し、識別した動作を示す一又は複数のパラメータを導出してもよい。そして、感情値行動値導出部１３３は、導出した動作を示す一又は複数のパラメータの各々について、その度合いを数値化することによって、行動値を導出してもよい。
ここでは、一例として、感情値行動値導出部１３３が、映像データを再生することによって得られる映像から、感情を示す一又は複数のパラメータと、行動を示す一又は複数のパラメータとのいずれか一方又は両方を導出する場合について説明した。感情値行動値導出部１３３は、音声データ、文書データ、操作ログから、感情を示す一又は複数のパラメータと、行動を示す一又は複数のパラメータとのいずれか一方又は両方を導出する。そして、感情値行動値導出部１３３は、導出した動作を示す一又は複数のパラメータの各々について、その度合いを数値化することによって、行動値を導出する。
例えば、感情値行動値導出部１３３は、音声データを再生することによって得られる音声から、喜び、怒り、哀しみ、興奮、平常などの感情を示す一又は複数のパラメータを導出する。また、例えば、記憶部１４０に、説明手順と説明基準時間とを記憶しておく。感情値行動値導出部１３３は、文書データと操作ログを示す情報と、記憶部１４０に記憶されている説明順序と説明基準時間とを比較することによって、説明順序と説明基準時間とにしたがっているか否かを判定する。感情値行動値導出部１３３は、説明順序と説明基準時間とにしたがっているか否かの判定結果に基づいて、説明順序、説明時間などの行動を示す一又は複数のパラメータを導出する。
感情値行動値導出部１３３は、感情を示す一又は複数のパラメータの各々と感情値との組み合わせと、行動を示す一又は複数のパラメータの各々と行動値との組み合わせのうちいずれか一方又は両方を、対象者ＩＤと関連付けて、記憶部１４０の感情値行動値情報１４３に記憶する。
【００３６】
印象情報導出部１３４は、取得部１３２が出力した印象評価要求を取得し、記憶部１４０の印象導出情報１４４から、取得した印象評価要求に含まれるシーンを示す情報に対応する印象導出情報を取得する。さらに、印象情報導出部１３４は、印象評価要求に含まれる印象を示す情報に基づいて、取得した印象導出情報から、印象情報を示す情報に関連付けられている導出式を取得する。
印象情報導出部１３４は、取得した導出式に基づいて、その導出式に含まれる感情を示す一又は複数のパラメータの各々の感情値と、行動を示す一又は複数のパラメータの各々の行動値とのいずれか一方又は両方を、記憶部１４０の感情値行動値情報１４３の対象者ＩＤに関連付けられている感情を示す一又は複数のパラメータの各々の感情値と、行動を示す一又は複数のパラメータの各々の行動値とから取得する。
印象情報導出部１３４は、取得した一又は複数のパラメータの各々の感情値と取得した一又は複数のパラメータの各々の行動値とのいずれか一方又は両方を、導出式の該当するパラメータに代入することによって、印象の評価値を導出する。このように構成することによって、リアルタイムに、印象の評価値を導出できる。
【００３７】
また、ここで、印象情報導出部１３４は、記憶部１４０の感情値行動値情報１４３の対象者ＩＤに関連付けられている感情を示す一又は複数のパラメータの各々について、時間に対して、感情値を平均化する、合計するなどの統計処理を行うことによって、各感情を示すパラメータの感情値を導出してもよい。また、印象情報導出部１３４は、記憶部１４０の感情値行動値情報１４３の対象者ＩＤに関連付けられている行動を示す一又は複数のパラメータの各々について、時間に対して、行動値を平均化する、合計するなどの統計処理を行うことによって、各行動を示すパラメータの行動値を導出してもよい。
印象情報導出部１３４は、導出した感情値と導出した行動値とのいずれか一方又は両方を、導出式の該当するパラメータに代入することによって、印象の評価値を導出してもよい。
印象情報導出部１３４は、対象者ＩＤと導出した印象の評価値を示す情報とを、分析部１３８へ出力する。さらに、印象情報導出部１３４は、対象者ＩＤと、印象の評価値を導出した印象を示す情報と、その印象の評価値を導出するのに使用した感情を示す一又は複数のパラメータとそれらの感情値と、行動を示す一又は複数のパラメータの行動値とそれらの行動値とを関連付けたファイルを作成し、作成したファイルを、印象情報ＤＢ１４５へ記憶する。
【００３８】
分析部１３８は、印象情報導出部１３４が出力した対象者ＩＤと、印象の評価値を示す情報とを取得し、取得した印象の評価値を示す情報を分析する。具体的には、分析部１３８は、印象の評価値の時系列データを作成する。また、分析部１３８は、印象情報ＤＢ１４５から、対象者の過去の印象の評価値を取得し、取得した過去の印象の評価値に基づいて、同じ対象者について、印象の評価値と過去の印象の評価値との比較結果を作成する。
また、分析部１３８は、印象情報ＤＢ１４５から、他人の印象の評価値を取得し、取得した他人の印象の評価値に基づいて、対象者の印象の評価値と他人の印象の評価値との比較結果を作成する。また、分析部１３８は、印象の評価値と他人の印象の評価値との比較結果に基づいて、印象の評価値に影響する感情を示すパラメータと行動を示すパラメータとのいずれか一方又は両方を抽出する。
例えば、模範的な保険募集人と一般的な募集人をそれぞれ撮影し、撮影することによって得られた映像データに基づいて、印象の評価値を導出する。分析部１３８は、模範的な保険募集人の印象の評価結果と一般的な募集人の印象の評価結果とを比較し、有意な差が認められるパラメータを抽出できるかを検証する。検証の結果、有意な差が認められるパラメータを抽出できた場合には、抽出できたパラメータが、模範的な保険募集人と一般的な募集人との印象に影響するものであると判断できる。さらに、分析部１３８は、抽出したパラメータを含む導出式を作成するようにしてもよい。このように構成することによって、模範的な保険募集人と一般的な募集人との印象に影響するパラメータに着目した印象の評価値を導出する導出式を作成できる。
分析部１３８は、対象者ＩＤと印象の評価値を示す情報と印象の評価値の分析結果を示す情報とを、作成部１３６へ出力する。
作成部１３６は、取得部１３２が出力した印象評価要求を取得し、取得した印象評価要求に基づいて、対象者ＩＤを含むセンサー取得情報要求を作成し、作成したセンサー取得情報要求を通信部１１０へ出力する。また、作成部１３６は、分析部１３８が出力した対象者ＩＤと印象の評価値を示す情報と印象の評価値の分析結果を示す情報と含む印象評価応答を作成し、作成した印象評価応答を、通信部１１０へ出力する。
【００３９】
（クラウドサーバ２００）
図２を参照して、クラウドサーバ２００について説明する。
クラウドサーバ２００は、パーソナルコンピュータ、サーバ、又は産業用コンピュータ等の装置によって実現される。
クラウドサーバ２００は、例えば、通信部２１０と、情報処理部２３０と、記憶部２４０とを備える。
【００４０】
通信部２１０は、通信モジュールによって実現される。通信部２１０はネットワーク５０を介して、外部の通信装置と通信する。通信部２１０は、例えば無線ＬＡＮ、有線ＬＡＮ、ブルートゥース（登録商標）又はＬＴＥ（登録商標）などの通信方式で通信してもよい。
通信部２１０は、撮像装置２０が送信した映像データを受信し、受信した映像データを情報処理部２３０へ出力する。通信部２１０は、マイクロフォン３０が送信した音声データを受信し、受信した音声データを情報処理部２３０へ出力する。通信部２１０は、端末装置４０が送信した文書データと操作ログを示す情報とを受信し、受信した文書データと、操作ログを示す情報とを情報処理部２３０へ出力する。通信部２１０は、印象導出装置１００が送信したセンサー取得情報要求を受信し、受信したセンサー取得情報要求を情報処理部２３０へ出力する。通信部２１０は、情報処理部２３０が出力したセンサー取得情報応答を、印象導出装置１００へ送信する。
【００４１】
記憶部２４０は、例えば、ＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部２４０には、情報処理部２３０により実行されるプログラム２４２と、アプリ２４４とが記憶される。さらに、記憶部２４０には、検出情報２４６が記憶される。
アプリ２４４は、クラウドサーバ２００に、映像データと、音声データと、文書データと、操作ログを示す情報とを取得させ、取得させた映像データと、音声データと、文書データと、操作ログを示す情報とを、対象者ＩＤと関連付けて、記憶部２４０に記憶させる。また、アプリ２４４は、クラウドサーバ２００に、センサー取得情報要求を取得させ、取得させたセンサー取得情報要求に基づいて、記憶部２４０に記憶されているセンサー取得情報を取得させ、取得させたセンサー取得情報を、印象導出装置１００へ送信させる。
検出情報２４６は、対象者ＩＤ毎に、映像データと音声データと文書データと操作ログとのうち、情報処理部２３０が出力した情報を関連付けて記憶する。
【００４２】
情報処理部２３０は、例えば、ＣＰＵなどのプロセッサが記憶部２４０に格納されたプログラム２４２を実行することにより実現されるソフトウェア機能部である。なお、情報処理部２３０の全部または一部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部２３０は、例えば、取得部２３２と、作成部２３６とを備える。
【００４３】
取得部２３２は、通信部２１０が出力した映像データを取得し、取得した映像データと、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶部２４０の検出情報２４６へ記憶する。取得部２３２は、通信部２１０が出力した音声データを取得し、取得した音声データと、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶部２４０の検出情報２４６へ記憶する。取得部２３２は、通信部２１０が出力した文書データを取得し、取得した文書データと、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶部２４０の検出情報２４６へ記憶する。取得部２３２は、通信部２１０が出力した操作ログを示す情報を取得し、取得した操作ログを示す情報と、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶部２４０の検出情報２４６へ記憶する。
また、取得部２３２は、通信部２１０が出力したセンサー取得情報要求を取得し、取得したセンサー取得情報要求に含まれる対象者ＩＤに関連付けられている映像データのファイルと音声データのファイルと文書データのファイルと操作ログのファイルとを、記憶部２４０の検出情報２４６から取得する。取得部２３２は、対象者ＩＤと、取得した映像データのファイルと音声データのファイルと文書データのファイルと操作ログのファイルとを、作成部２３６へ出力する。
作成部２３６は、取得部２３２が出力した対象者ＩＤと映像データのファイルと音声データのファイルと文書データのファイルと操作ログのファイルとを取得し、取得した対象者ＩＤと映像データのファイルと音声データのファイルと文書データのファイルと操作ログのファイルとを含み、印象導出装置１００を宛先とするセンサー取得情報応答を作成する。作成部２３６は、作成したセンサー取得情報応答を、通信部２１０へ出力する。
【００４４】
（クライアント端末４００）
図２を参照して、クライアント端末４００について説明する。
クライアント端末４００は、パーソナルコンピュータ、スマートフォン又はタブレットコンピュータ等の装置によって実現される。
クライアント端末４００は、例えば、通信部４１０と、情報処理部４３０と、記憶部４４０と、操作部４５０と、表示部４６０とを備える。
【００４５】
通信部４１０は、通信モジュールによって実現される。通信部４１０はネットワーク５０を介して、外部の通信装置と通信する。通信部４１０は、例えば無線ＬＡＮ、有線ＬＡＮ、ブルートゥース（登録商標）又はＬＴＥ（登録商標）などの通信方式で通信してもよい。
通信部４１０は、情報処理部４３０が出力した印象評価要求を、印象導出装置１００へ送信する。通信部４１０は、印象導出装置１００が送信した印象評価応答を受信し、受信した印象評価応答を、情報処理部４３０へ出力する。
【００４６】
記憶部４４０は、例えば、ＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部４４０には、情報処理部４３０により実行されるプログラム４４２と、アプリ４４４とが記憶される。
アプリ４４４は、クライアント端末４００に印象評価要求を作成させ、作成させた印象評価要求を、印象導出装置１００へ送信させる。アプリ４４４は、印象導出装置１００が送信した印象評価応答を受信させ、受信させた印象評価応答を処理させる。
操作部４５０は、入力デバイスを備え、ユーザの操作を受け付ける。この入力デバイスには、キーボード等の文字情報を入力するデバイス、マウス、タッチパネル等のポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッド等が含まれる。
表示部４６０は、ＣＰＵなどのプロセッサによって制御され、画像、ＧＵＩ(Graphical User Interface)などを表示する。この一例では、操作部４５０は、タッチパネルである。
【００４７】
情報処理部４３０は、例えば、ＣＰＵなどのプロセッサが記憶部４４０に格納されたプログラム４４２とアプリ４４４とを実行することにより実現されるソフトウェア機能部である。なお、情報処理部４３０の全部または一部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部４３０は、例えば、取得部４３２と、処理部４３４と、作成部４３６とを備える。
【００４８】
取得部４３２は、通信部４１０が出力した印象評価応答を取得し、取得した印象評価応答を、処理部４３４へ出力する。
処理部４３４は、ユーザが、操作部４５０に印象の評価を要求する操作を行った場合に、表示部４６０に、印象の評価を行う画面を表示する。
図６は、印象の評価を行う画面の一例を示す図である。図６に示される例では、印象の評価を行う画面には、「１．分析対象データ指定」欄と、「２．評価パターン指定」欄と、「３．コミュニケーション分析対象指定」欄と、「４．総合評価確認」欄とが表示される。
「１．分析対象データ指定」欄には、印象の評価を行う対象者の動画データを示す情報（例えば、ファイル名）と音声データを示す情報（例えば、ファイル名）と文書データを示す情報（例えば、ファイル名）と操作ログを示す情報（例えば、ファイル名）とのうち、少なくとも一つの情報が入力される。
「２．評価パターン指定」欄には、評価パターンとして、印象を評価するシーンを示す情報が入力され、評価項目として、印象を示す情報が入力される。
「３．コミュニケーション分析対象指定」欄には、対象者の過去の印象と比較する場合には、その対象者の過去のデータを示す情報（例えば、ファイル名）が入力される。また、「３．コミュニケーション分析対象指定」欄には、他の対象者の印象と比較する場合には、その他の対象者のデータを示す情報（例えば、ファイル名）が入力される。
「４．総合評価確認」欄には、感情を示すパラメータ、行動を示すパラメータの詳細や、印象の評価値を含めた総合的な評価結果が表示される。
【００４９】
印象の評価を行う画面で、必要な項目を入力した後、「分析開始」が押されることによって、処理部４３４は、作成部４３６へ、対象者ＩＤとシーンを示す情報と印象を示す情報とを出力する。さらに、「３．コミュニケーション分析対象指定」欄に、対象者の過去のデータを示す情報や、他の対象者のデータを示す情報が入力された場合には、処理部４３４は、対象者ＩＤと印象を示す情報とに加え、対象者の過去のデータを示す情報や、他の対象者のデータを示す情報を出力する。ここでは、処理部４３４が、作成部４３６へ、対象者ＩＤとシーンを示す情報と印象を示す情報と他の対象者のデータを示す情報とを出力した場合について説明を続ける。
処理部４３４は、取得部４３２が出力した印象評価応答を取得し、取得した印象評価応答を処理することによって、表示部４６０に印象評価結果を表示する。
【００５０】
図７は、印象評価結果の表示画面の一例を示す図である。図７に示される例では、印象評価結果の表示画面は、「Ａ」欄と「Ｂ」欄と「Ｃ」欄とに分けられる。「Ａ」欄には、印象を示す情報と印象の評価値と印象の評価値のランクとが関連付けて表示される。ここで、評価値のランクは、印象の評価値を、評価値が高い方から、Ａ、Ｂ、Ｃ、・・・と分類したものである。例えば、印象の評価値が、８０以上をＡランクとし、７０以上８０未満をＢランクとし、６０以上７０未満をＣランクとし、４０以上６０未満をＤランクとする。
「Ｂ」欄には、対象者と他の対象者との印象の評価値の比較結果が表示される。図８に示される例では、対象者と他の対象者との印象の評価値の比較結果が、表とレーダーチャートで表されている。
「Ｃ」欄には、感情を示す一又は複数のパラメータの各々の感情値と、行動を示す一又は複数のパラメータの各々の行動値のいずれか一方又は両方について、時系列データと、他の対象者との比較と、印象の評価値とが示される。図８に示される例では、時系列データは、積み上げグラフで表される。他の対象者との比較はレーダーチャートで表される。印象の評価値は、表で表される。
作成部４３６は、処理部４３４が出力した対象者ＩＤとシーンを示す情報と印象を示す情報と他の対象者のデータを示す情報とを取得し、取得した対象者ＩＤとシーンを示す情報と印象を示す情報と他の対象者のデータを示す情報とを含み、印象導出装置１００を宛先とする印象評価要求を作成する。作成部４３６は、作成した印象評価要求を、通信部４１０へ出力する。
【００５１】
（印象導出システム１０の動作）
図８は、実施形態の印象導出システムの動作の一例を示すシーケンスチャートである。図８に示される例では、研修の対象者が、第三者を相手に、対面でコミュニケーションを行っている最中に取得される映像データと音声データと文書データと操作ログとに基づいて、対象者の印象の評価値を導出し、導出した印象の評価値と他人の印象の評価値とを比較する場合について説明する。
（ステップＳ１１）
撮像装置２０は、第三者を相手に、対面でコミュニケーションを行っている対象者を撮像する。
（ステップＳ１２）
撮像装置２０は、対象者ＩＤと対象者を撮像することによって得られた映像データとを含む映像データを作成する。
（ステップＳ１３）
撮像装置２０は、作成した映像データを、クラウドサーバ２００へ送信する。
（ステップＳ１４）
マイクロフォン３０は、対象者が、第三者を相手に、対面でコミュニケーションを行っている内容を録音する。
（ステップＳ１５）
マイクロフォン３０は、対象者ＩＤとコミュニケーションの内容を録音することによって得られた音声データとを含む音声データを作成する。
【００５２】
（ステップＳ１６）
マイクロフォン３０は、作成した音声データを、クラウドサーバ２００へ送信する。
（ステップＳ１７）
端末装置４０は、対象者が、第三者を相手に、対面でコミュニケーションを行っているときに使用した文書データと端末装置４０の操作ログとを取得する。
（ステップＳ１８）
端末装置４０は、対象者ＩＤと文書データと操作ログを示す情報と文書データと操作ログとを作成する。
（ステップＳ１９）
端末装置４０は、作成した文書データと操作ログとを、クラウドサーバ２００へ送信する。
（ステップＳ２０）
クラウドサーバ２００の通信部２１０は、撮像装置２０が送信した映像データを受信し、受信した映像データを情報処理部２３０へ出力する。通信部２１０は、マイクロフォン３０が送信した音声データを受信し、受信した音声データを情報処理部２３０へ出力する。通信部２１０は、端末装置４０が送信した文書データと操作ログを示す情報とを受信し、受信した文書データと、操作ログを示す情報とを情報処理部２３０へ出力する。
情報処理部２３０の取得部２３２は、通信部２１０が出力した映像データを取得し、取得した映像データと、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶部２４０の検出情報２４６へ記憶する。取得部２３２は、通信部２１０が出力した音声データを取得し、取得した音声データと、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶部２４０の検出情報２４６へ記憶する。取得部２３２は、通信部２１０が出力した文書データを取得し、取得した文書データと、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶部２４０の検出情報２４６へ記憶する。取得部２３２は、通信部２１０が出力した操作ログを示す情報を取得し、取得した操作ログを示す情報と、対象者ＩＤとを関連付けたファイルを作成し、作成したファイルを記憶部２４０の検出情報２４６へ記憶する。
【００５３】
（ステップＳ２１）
ユーザが、クライアント端末４００に対して、印象の評価を要求する操作を行う。クライアント端末４００の処理部４３４は、作成部４３６へ、対象者ＩＤとシーンを示す情報と印象を示す情報と他の対象者のデータを示す情報とを出力する。作成部４３６は、処理部４３４が出力した対象者ＩＤとシーンを示す情報と印象を示す情報と他の対象者のデータを示す情報とを取得し、取得した対象者ＩＤとシーンを示す情報と印象を示す情報と他の対象者のデータを示す情報とを含み、印象導出装置１００を宛先とする印象評価要求を作成する。作成部４３６は、作成した印象評価要求を、通信部４１０へ出力する。通信部４１０は、作成部４３６が出力した印象評価要求を取得し、取得した印象評価要求を、印象導出装置１００へ送信する。
（ステップＳ２２）
印象導出装置１００の通信部１１０は、クライアント端末４００が送信した印象評価要求を受信し、受信した印象評価要求を情報処理部１３０へ出力する。取得部１３２は、通信部１１０が出力した印象評価要求を取得し、取得した印象評価要求を、作成部１３６へ出力する。作成部１３６は、取得部１３２が出力した印象評価要求を取得し、取得した印象評価要求に基づいて、対象者ＩＤを含むセンサー取得情報要求を作成し、作成したセンサー取得情報要求を通信部１１０へ出力する。通信部１１０は、作成部１３６が出力したセンサー取得要求を取得し、取得したセンサー取得情報要求を、クラウドサーバ２００へ送信する。
【００５４】
（ステップＳ２３）
クラウドサーバ２００の通信部２１０は、印象導出装置１００が送信したセンサー取得情報要求を受信し、受信したセンサー取得情報要求を情報処理部２３０へ出力する。取得部２３２は、通信部２１０が出力したセンサー取得情報要求を取得し、取得したセンサー取得情報要求に含まれる対象者ＩＤに関連付けられている映像データのファイルと音声データのファイルと文書データのファイルと操作ログのファイルとを、記憶部２４０の検出情報２４６から取得する。取得部２３２は、対象者ＩＤと、取得した映像データのファイルと音声データのファイルと文書データのファイルと操作ログのファイルとを、作成部２３６へ出力する。
作成部２３６は、取得部２３２が出力した対象者ＩＤと、取得した映像データのファイルと音声データのファイルと文書データのファイルと操作ログのファイルとを取得し、取得した対象者ＩＤと、取得した映像データのファイルと音声データのファイルと文書データのファイルと操作ログのファイルとを含み、印象導出装置１００を宛先とするセンサー取得情報応答を作成する。作成部２３６は、作成したセンサー取得情報応答を、通信部２１０へ出力する。通信部２１０は、作成部２３６が出力したセンサー取得情報応答を取得し、取得したセンサー取得情報応答を、印象導出装置１００へ送信する。
（ステップＳ２４）
印象導出装置１００の通信部１１０は、クラウドサーバ２００が送信したセンサー取得情報応答を受信し、受信したセンサー取得情報応答を、情報処理部１３０へ出力する。取得部１３２は、通信部１１０が出力したセンサー取得情報応答を取得し、取得したセンサー取得情報応答を、感情値行動値導出部１３３へ出力する。
【００５５】
（ステップＳ２５）
印象導出装置１００の感情値行動値導出部１３３は、取得部１３２が出力したセンサー取得情報応答を取得し、取得したセンサー取得情報応答に含まれる映像データと音声データと文書データと操作ログとを取得する。感情値行動値導出部１３３は、取得した映像データと音声データと文書データと操作ログとに基づいて、感情を示す一又は複数のパラメータと、行動を示す一又は複数のパラメータとのいずれか一方又は両方を導出すする。感情値行動値導出部１３３は、導出した一又は複数の感情を示すパラメータの各々について感情値を導出する。また、感情値行動値導出部１３３は、導出した一又は複数の行動を示すパラメータの各々について行動値を導出する。感情値行動値導出部１３３は、導出した感情を示す一又は複数のパラメータの各々と感情値との組み合わせと、行動を示す一又は複数のパラメータの各々と行動値との組み合わせのとうちいずれか一方又は両方を、対象者ＩＤと関連付けて、記憶部１４０の感情値行動値情報１４３に記憶する。
（ステップＳ２６）
印象情報導出部１３４は、取得部１３２が出力した印象評価要求を取得し、記憶部１４０の印象導出情報１４４から、取得した印象評価要求に含まれるシーンを示す情報に対応する印象導出情報を取得する。さらに、印象情報導出部１３４は、印象評価要求に含まれる印象を示す情報に基づいて、取得した印象導出情報から、印象情報を示す情報に関連付けて記憶されている導出式を取得する。
印象情報導出部１３４は、取得した導出式に基づいて、その導出式に含まれる感情を示す一又は複数のパラメータの各々の感情値と、行動を示す一又は複数のパラメータの各々の行動値とのいずれか一方又は両方を、記憶部１４０の感情値行動値情報１４３の対象者ＩＤに関連付けられている感情を示す一又は複数のパラメータの各々の感情値と、行動を示す一又は複数のパラメータの各々の行動値とから取得する。印象情報導出部１３４は、感情値と行動値とのいずれか一方又は両方を、導出式の該当するパラメータに代入することによって、印象の評価値を導出する。印象情報導出部１３４は、対象者ＩＤと導出した印象の評価値を示す情報とを、分析部１３８へ出力する。
【００５６】
分析部１３８は、印象情報導出部１３４が出力した対象者ＩＤと印象の評価値を示す情報とを取得し、取得した印象の評価値を示す情報とを分析する。分析部１３８は、対象者ＩＤと印象の評価値を示す情報と印象の評価値の分析結果を示す情報とを、作成部１３６へ出力する。作成部１３６は、分析部１３８が出力した対象者ＩＤと印象の評価値を示す情報と印象の評価値の分析結果を示す情報と含む印象評価応答を作成し、作成した印象評価応答を、通信部１１０へ出力する。
（ステップＳ２７）
通信部１１０は、情報処理部１３０が出力した印象評価応答を、クライアント端末４００へ送信する。
その後、クライアント端末４００の通信部４１０は、印象導出装置１００が送信した印象評価応答を受信し、受信した印象評価応答を情報処理部４３０に出力する。情報処理部４３０の処理部４３４は、通信部４１０が出力した印象評価応答を取得し、取得した印象評価応答を処理することによって、表示部４６０に印象評価結果を表示する。
図９に示すシーケンスチャートにおいて、ステップＳ１１−ステップＳ１３と、ステップＳ１４−ステップＳ１６と、ステップＳ１７−ステップＳ１９とは、その順序を入れ替えてもよいし、並行して行われてもよい。
【００５７】
前述した実施形態では、撮像装置２０と、マイクロフォン３０と、端末装置４０との設置場所の一例として、研修所などの施設６０である場合について説明したが、この例に限られない。例えば、撮像装置２０と、マイクロフォン３０と、端末装置４０とが、店頭の窓口に設置され、窓口の担当者の映像データと音声データと文書データと操作ログを示す情報とが印象導出装置１００へ送信されてもよい。そして、印象導出装置１００が導出した印象の評価結果に基づいて、窓口の担当者に適切な対応を促すようにしてもよい。
前述した実施形態では、コミュニケーションの最中に、撮像装置２０は対象者を撮像し、マイクロフォン３０はコミュニケーションの内容を録音し、端末装置４０はコミュニケーションに使用した資料などの文書データや、コミュニケーションの最中の操作ログを取得する場合について説明したが、この例に限られない。例えば、コミュニケーションの最中に、対象者の視線の先の画像を取得してもよいし、第三者の視線の先の画像を取得してもよい。この場合、対象者の視線の先の画像と第三者の視線の先の画像のいずれか一方又は両方に基づいて、対象者の第三者への印象の評価値を導出してもよい。
前述した実施形態では、印象導出装置１００が、印象を示す情報と、印象の評価値を導出するための導出式とを、シーン毎に関連付けた印象導出情報１４４を記憶する場合について説明したが、この限りでない。例えば、印象導出装置１００は、印象を示す情報と、印象の評価値を導出するための導出式とを、シーン毎に関連付けたものを、第三者の年齢、性別などの属性毎に用意した印象導出情報１４４を記憶してもよい。ここで、印象を示す情報と、印象の評価値を導出するための導出式とを、シーン毎に関連付けたものは、第三者の属性によって異なる場合がある。このように構成することによって、第三者の属性に応じた印象の評価値を導出できる。
【００５８】
前述した実施形態では、クラウドサーバ２００が、対象者ＩＤに関連付けて記憶されている対象者の映像データと音声データと文書データと操作ログを示す情報とを含むセンサー取得情報応答を作成し、作成したセンサー取得情報応答を、印象導出装置１００へ送信する。そして、印象導出装置１００は、受信したセンサー取得情報応答に含まれる対象者の動画データと音声データと文書を示すデータと操作ログを示す情報とを取得する場合について説明したが、この例に限られない。例えば、クラウドサーバ２００が、対象者ＩＤに関連付けて記憶されている対象者の映像データと音声データと文書データと操作ログを示す情報との少なくとも一つを含むセンサー取得情報応答を作成し、作成したセンサー取得情報応答を、印象導出装置１００へ送信するようにしてもよい。この場合、印象導出装置１００は、受信したセンサー取得情報応答に含まれる対象者の動画データと音声データと文書を示すデータと操作ログを示す情報との少なくとも一つを取得する。
前述した実施形態では、クライアント端末４００が、印象導出装置１００へ印象評価要求を送信し、送信した印象評価要求に対して、印象導出装置１００が送信した印象評価応答を受信する場合について説明したが、この例に限られない。例えば、印象導出装置１００に、操作部と表示部とを備え、操作部を操作することによって、表示部に、印象の評価結果を表示させるようにしてもよい。
前述した実施形態では、撮像装置２０が撮像することによって得られた映像データと、マイクロフォン３０が録音することによって得られた音声データと、端末装置４０が取得した文書データや、操作ログを示す情報とを、クラウドサーバ２００に記憶する場合について説明したがこの限りでない。例えば、撮像装置２０が撮像することによって得られた映像データと、マイクロフォン３０が録音することによって得られた音声データと、端末装置４０が取得した文書データや、操作ログを示す情報とを、印象導出装置１００に記憶するようにしてもよい。
【００５９】
実施形態の印象導出システムによれば、印象導出装置は、センサー（実施形態では、撮像装置２０と、マイクロフォン３０と、端末装置４０）が取得した情報に基づいて導出された対象者の感情を示すパラメータを数値化した値である感情値と行動を示すパラメータを数値化した値である行動値とのいずれか一方又は両方を取得する取得部（実施形態では、取得部１３２と、感情値行動値導出部１３３）と、印象を示す情報と、感情を示すパラメータと行動を示すパラメータとのいずれか一方又は両方を複数使用して作成された印象の評価値を導出するための情報とを関連付けた情報である印象導出情報を記憶する記憶部（実施形態では、記憶部１４０の印象導出情報１４４）と、取得部が取得した感情値と行動値とのいずれか一方又は両方と、記憶部に記憶された印象導出情報とに基づいて、対象者の第三者へ与える印象の評価値を導出する導出部（実施形態では、印象情報導出部１３４）とを備える。
このように構成することによって、印象導出装置１００は、表情、身振り、音声などのコミュニケーション要素に基づいて、感情を示す一又は複数のパラメータと、行動を示す一又は複数のパラメータとのうちいずれか一方又は両方を導出できる。また、印象導出装置１００は、導出した感情を示す一又は複数のパラメータの各々について感情値を導出し、導出した行動を示す一又は複数のパラメータの各々について行動値を導出できる。印象導出装置１００は、印象導出情報と、感情値と行動値とのいずれか一方又は両方とに基づいて、対象者の第三者へ与える印象の評価値を導出できるため、人の主観では定まらない定量的かつ客観的な指標値（印象の評価値）を導出できる。
【００６０】
また、印象導出装置１００は、記憶部１４０に、対象者の第三者へ与える印象の評価値を導出するシーンの各々に対して、印象導出情報を記憶し、導出部（実施形態では、印象情報導出部１３４）は、複数の前記シーンのうち、印象の評価値を導出するシーンに対応する印象導出情報に基づいて、前記対象者の前記第三者へ与える印象の評価値を導出する
このように構成することによって、印象を評価するシーン毎に、対象者の第三者へ与える印象の評価値を導出できる。
また、印象導出情報に含まれる印象の前記評価値を導出するための情報に含まれる感情を示すパラメータと行動を示すパラメータのいずれか一方又は両方は、前記第三者の属性によって異なる。このように構成することによって、第三者の属性に応じて、対象者の第三者へ与える印象の評価値を導出できる。
また、導出部（実施形態では、印象情報導出部１３４）が導出した前記印象の評価値の時系列データ又は、前記印象の評価値と他人の印象の評価値との比較結果を作成する分析部（実施形態では、分析部１３８）を備える。このように構成することによって、印象導出装置１００は、対象者の印象の評価値の時系列データ又は、対象者の印象の評価値と他人の印象の評価値との比較結果を作成することができる。
また、分析部（実施形態では、分析部１３８）は、前記比較結果に基づいて、印象の評価値に影響する前記感情を示すパラメータと前記行動を示すパラメータとのいずれか一方又は両方を抽出する。このように構成することによって、印象導出装置１００は、印象の評価値に影響する感情値と行動値とのいずれか一方又は両方を抽出できる。このため、印象導出装置１００は、抽出した印象の評価値に影響する感情値と行動値とのいずれか一方又は両方を使用して、印象の評価値を導出するための導出式を、新たに定義できる。
【００６１】
以上、実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
なお、上述した印象導出装置１００、クラウドサーバ２００、クライアント端末４００は、コンピュータで実現するようにしてもよい。その場合、各機能ブロックの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録する。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、ＣＰＵが実行することで実現してもよい。ここでいう「コンピュータシステム」とは、ＯＳ(Operating System)や周辺機器などのハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭなどの可搬媒体のことをいう。また、「コンピュータ読み取り可能な記録媒体」は、コンピュータシステムに内蔵されるハードディスクなどの記憶装置を含む。
【００６２】
さらに「コンピュータ読み取り可能な記録媒体」とは、短時間の間、動的にプログラムを保持するものを含んでいてもよい。短時間の間、動的にプログラムを保持するものは、例えば、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線である。
また、「コンピュータ読み取り可能な記録媒体」には、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよい。また、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記プログラムは、プログラマブルロジックデバイスを用いて実現されるものであってもよい。プログラマブルロジックデバイスは、例えば、ＦＰＧＡ(Field Programmable Gate Array)である。
【００６３】
なお、上述の印象導出装置１００、クラウドサーバ２００、クライアント端末４００は内部にコンピュータを有している。そして、上述した印象導出装置１００、クラウドサーバ２００、クライアント端末４００の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００６４】
１０…印象導出システム、２０…撮像装置、３０…マイクロフォン、４０…端末装置、５０…ネットワーク、６０…施設、１００…印象導出装置、１１０…通信部、１３０…情報処理部、１３２…取得部、１３３…感情値行動値導出部、１３４…印象情報導出部、１３６…作成部、１３８…分析部、１４０…記憶部、１４１…プログラム、１４２…アプリ、１４３…感情値行動値情報、１４４…印象導出情報、１４５…印象情報ＤＢ、２００…クラウドサーバ、２１０…通信部、２３０…情報処理部、２３２…取得部、２３６…作成部、２４０…記憶部、２４２…プログラム、２４４…アプリ、２４６…検出情報、４００…クライアント端末、４１０…通信部、４３０…情報処理部、４３２…取得部、４３４…処理部、４３６…作成部、２４０…記憶部、４４２…プログラム、４４４…アプリ、４５０…操作部、４６０…表示部
【図１】
2019159586.tif 000003
【図２】
2019159586.tif 000004
【図３】
2019159586.tif 000005
【図４】
2019159586.tif 000006
【図５】
2019159586.tif 000007
【図６】
2019159586.tif 000008
【図７】
2019159586.tif 000009
【図８】
2019159586.tif 000010