(57)【要約】【課題】ユーザの心理状態を反映したキーワードの抽出精度を向上させる。【解決手段】サービスの提供側となる第１のユーザとサービスの享受側となる第２のユーザとの間の会話において第１のユーザおよび第２のユーザの少なくとも一方が行った発話を示す音声データから、キーワードを検出する。会話において第１のユーザが行った動作および第２のユーザが行った動作を示す動作データから、第１のユーザによる第１の動作のタイミングおよび第２のユーザによる第２の動作のタイミングを検出する。第１の動作のタイミングと第２の動作のタイミングとの間の関係に基づいて、キーワードの重要度を示す評価値を算出する。【選択図】図４
2020067790.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
サービスの提供側となる第１のユーザと前記サービスの享受側となる第２のユーザとの間の会話において前記第１のユーザおよび前記第２のユーザの少なくとも一方が行った発話を示す音声データから、キーワードを検出し、
前記会話において前記第１のユーザが行った動作および前記第２のユーザが行った動作を示す動作データから、前記第１のユーザによる第１の動作のタイミングおよび前記第２のユーザによる第２の動作のタイミングを検出し、
前記第１の動作のタイミングと前記第２の動作のタイミングとの間の関係に基づいて、前記キーワードの重要度を示す評価値を算出する、
処理を実行させるキーワード抽出プログラム。
【請求項２】
前記動作データは、前記会話が行われているときに前記第１のユーザおよび前記第２のユーザを撮像した画像データである、
請求項１記載のキーワード抽出プログラム。
【請求項３】
前記第２の動作は、前記第１の動作の後に行われた同じ種類の動作であり、
前記評価値の算出では、前記第１の動作のタイミングから所定時間以内に前記第２の動作のタイミングが存在する場合、前記所定時間以内に前記第２の動作のタイミングが存在しない場合よりも前記重要度を高く評価する、
請求項１記載のキーワード抽出プログラム。
【請求項４】
前記第２の動作は、前記第１の動作の後に行われた同じ種類の動作であり、
前記評価値の算出では、前記第１の動作のタイミングから前記第２の動作のタイミングまでの経過時間が短いほど前記重要度を高く評価する、
請求項１記載のキーワード抽出プログラム。
【請求項５】
前記評価値の算出では、前記第２の動作のタイミングが前記第１の動作のタイミングよりも後である所定の条件として、前記第１の動作の直前の所定時間以内に前記第２のユーザが動作を行っておらず、前記第１の動作の直後の前記所定時間以内に前記第２の動作のタイミングが存在することを満たすか否かに応じて、前記第２のユーザの心理状態を判定し、前記心理状態の判定結果に基づいて前記評価値を算出する、
請求項１記載のキーワード抽出プログラム。
【請求項６】
前記キーワードの検出では、所定の検索対象キーワードを前記音声データから検索し、
前記コンピュータに更に、
前記音声データから前記検索対象キーワード以外の単語を抽出し、
前記関係に基づいて、前記抽出した単語の重要度を示す他の評価値を算出し、
前記他の評価値が所定の条件を満たす場合、前記抽出した単語を前記検索対象キーワードに追加する処理を実行させる、
請求項１記載のキーワード抽出プログラム。
【請求項７】
コンピュータが、
サービスの提供側となる第１のユーザと前記サービスの享受側となる第２のユーザとの間の会話において前記第１のユーザおよび前記第２のユーザの少なくとも一方が行った発話を示す音声データから、キーワードを検出し、
前記会話において前記第１のユーザが行った動作および前記第２のユーザが行った動作を示す動作データから、前記第１のユーザによる第１の動作のタイミングおよび前記第２のユーザによる第２の動作のタイミングを検出し、
前記第１の動作のタイミングと前記第２の動作のタイミングとの間の関係に基づいて、前記キーワードの重要度を示す評価値を算出する、
キーワード抽出方法。
【請求項８】
サービスの提供側となる第１のユーザと前記サービスの享受側となる第２のユーザとの間の会話において前記第１のユーザおよび前記第２のユーザの少なくとも一方が行った発話を示す音声データと、前記会話において前記第１のユーザが行った動作および前記第２のユーザが行った動作を示す動作データとを記憶する記憶部と、
前記音声データからキーワードを検出し、前記動作データから前記第１のユーザによる第１の動作のタイミングおよび前記第２のユーザによる第２の動作のタイミングを検出し、前記第１の動作のタイミングと前記第２の動作のタイミングとの間の関係に基づいて、前記キーワードの重要度を示す評価値を算出する処理部と、
を有するキーワード抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はキーワード抽出プログラム、キーワード抽出方法およびキーワード抽出装置に関する。
【背景技術】
【０００２】
ユーザ間の会話の中から当該会話にとって重要であったキーワードを抽出したいことがある。例えば、顧客と接客担当者との間の会話から、顧客の共感に大きく貢献したポジティブなキーワードを抽出して、後の接客に役立てることが考えられる。また、例えば、顧客と接客担当者との間の会話から、好ましくない接客において使用された要注意のキーワードを抽出して、後の接客に役立てることが考えられる。
【０００３】
なお、画像の表示中にユーザの発話の音声認識を行ってキーワードを抽出し、抽出したキーワードを画像にタグとして付与するデジタルフォトフレームが提案されている。また、あるユーザに他のユーザの映像を提示し、映像視聴中の当該ユーザの頭部を撮影し、二人のユーザの動作を分析して共感解釈を推定する共感解釈推定装置が提案されている。また、会議参加者それぞれの活動状態を示す信号を収集し、会議参加者それぞれの発話からコミュニケーション難易度を判定し、活動状態とコミュニケーション難易度に基づいて各会議参加者の理解度を推定する理解状態推定装置が提案されている。
【０００４】
また、ユーザの音声から発話速度を算出し、発話中のユーザを撮影した動画像からユーザ領域の時間変化を検出し、発話速度とユーザ領域の時間変換とに基づいてユーザの応対評価値を算出する応対品質評価装置が提案されている。また、センサ装置を用いて複数のユーザそれぞれの状態を検出し、検出した状態に基づいてユーザ同士の同調度を算出し、ユーザに提示する情報を同調度に応じて変化させる情報処理装置が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２２４７１５号公報
【特許文献２】特開２０１５−６４８２７号公報
【特許文献３】特開２０１６−２１３６３１号公報
【特許文献４】特開２０１７−１６２１００号公報
【特許文献５】特開２０１８−４５６７６号公報
【非特許文献】
【０００６】
【非特許文献１】堀智織、古井貞熙、「単語抽出による音声要約文生成法とその評価」、電子情報通信学会論文誌、Ｊ８５−Ｄ−II、２００−２０９頁、２００２年２月
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、会話からキーワードを抽出する従来技術では、ユーザの心理状態の観点から重要度の高いキーワードを抽出することの精度に改善の余地がある。例えば、単純にキーワードの出現頻度から重要度を判定してしまうと、顧客の共感度や接客担当者の接客度などの心理状態と関連性が高いキーワードが抽出されないおそれがある。
【０００８】
１つの側面では、本発明は、ユーザの心理状態を反映したキーワードの抽出精度を向上させるキーワード抽出プログラム、キーワード抽出方法およびキーワード抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
１つの態様では、コンピュータに実行させるキーワード抽出プログラムが提供される。サービスの提供側となる第１のユーザとサービスの享受側となる第２のユーザとの間の会話において第１のユーザおよび第２のユーザの少なくとも一方が行った発話を示す音声データから、キーワードを検出する。会話において第１のユーザが行った動作および第２のユーザが行った動作を示す動作データから、第１のユーザによる第１の動作のタイミングおよび第２のユーザによる第２の動作のタイミングを検出する。第１の動作のタイミングと第２の動作のタイミングとの間の関係に基づいて、キーワードの重要度を示す評価値を算出する。
【００１０】
また、１つの態様では、コンピュータが実行するキーワード抽出方法が提供される。また、１つの態様では、記憶部と処理部とを有するキーワード抽出装置が提供される。
【発明の効果】
【００１１】
１つの側面では、ユーザの心理状態を反映したキーワードの抽出精度が向上する。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態のキーワード抽出装置の例を説明する図である。
【図２】第２の実施の形態の情報処理システムの例を示す図である。
【図３】会話分析装置のハードウェア例を示すブロック図である。
【図４】第２の実施の形態のキーワード抽出例を示す図である。
【図５】キーワード評価値の算出例を示す図である。
【図６】第２の実施の形態の会話分析装置の機能例を示すブロック図である。
【図７】会話分析装置が保持するテーブルの例を示す第１の図である。
【図８】会話分析装置が保持するテーブルの例を示す第２の図である。
【図９】第２の実施の形態の会話分析の手順例を示すフローチャートである。
【図１０】第３の実施の形態の情報処理システムの例を示す図である。
【図１１】第４の実施の形態の情報処理システムの例を示す図である。
【図１２】第５の実施の形態のキーワード抽出例を示す図である。
【図１３】第５の実施の形態の会話分析の手順例を示すフローチャートである。
【図１４】第６の実施の形態の会話分析装置の機能例を示すブロック図である。
【図１５】第６の実施の形態の会話分析の手順例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。
【００１４】
図１は、第１の実施の形態のキーワード抽出装置の例を説明する図である。
第１の実施の形態のキーワード抽出装置１０は、ユーザ間の会話の中から少なくとも一方のユーザの心理状態を反映した重要キーワードを抽出する。例えば、キーワード抽出装置１０は、顧客と接客担当者の間の会話から顧客の共感度に関連する重要キーワードを抽出する。また、例えば、キーワード抽出装置１０は、顧客と接客担当者の間の会話から接客担当者の接客度に関連する重要キーワードを抽出する。
【００１５】
キーワード抽出装置１０を、コンピュータや情報処理装置と言うこともできる。キーワード抽出装置１０は、クライアント装置でもよいしサーバ装置でもよい。また、キーワード抽出装置１０は、ユーザ間の会話の間にリアルタイムに重要キーワードを抽出してもよいし、会話終了後にバッチ処理として重要キーワードを抽出してもよい。
【００１６】
キーワード抽出装置１０は、記憶部１１および処理部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性の半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。処理部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。ただし、処理部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの特定用途の電子回路を含んでもよい。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。
【００１７】
記憶部１１は、音声データ１３および動作データ１４を記憶する。音声データ１３および動作データ１４は、第１のユーザと第２のユーザとの間の会話についての記録である。第１のユーザはサービスの提供側となる者であり、第２のユーザはサービスの享受側となる者である。サービス分野としては、例えば、小売りや教育や医療などコミュニケーションを通じて行われる業務が挙げられる。第１のユーザは、例えば、店舗の商品説明者、教育機関に従事する講師、医療機関に従事する医師やカウンセラーなど、接客を行う接客担当者である。第２のユーザは、例えば、店舗を訪れた消費者、教育機関の受講者、医療機関を訪れた患者など、接客を受ける顧客である。
【００１８】
音声データ１３は、第１のユーザおよび第２のユーザの少なくとも一方が行った発話を示す。例えば、音声データ１３は、マイクロフォンを用いて、第１のユーザおよび第２のユーザの少なくとも一方の発話を録音した音声信号である。その場合に、音声データ１３は、第１のユーザの発話のみ録音したものでもよいし、第２のユーザの発話のみ録音したものでもよいし、第１のユーザと第２のユーザの両方の発話を録音したものでもよい。また、第１のユーザの発話と第２のユーザの発話は、同じマイクロフォンを用いて録音されてもよいし、異なるマイクロフォンを用いて録音されてもよい。
【００１９】
動作データ１４は、会話において第１のユーザが行った動作および第２のユーザが行った動作を示す。動作は、表情の変化、頭部や腕や足のジェスチャ、視線の変更、姿勢の変更など、相手ユーザから視認可能な身体的動作である。表情の変化には笑うことが含まれる。頭部のジェスチャにはうなずくことが含まれる。視線の変更には相手ユーザの頭部を見ることが含まれる。姿勢の変更には前のめりになることが含まれる。
【００２０】
例えば、動作データ１４は、イメージセンサを用いて、第１のユーザおよび第２のユーザを撮影した動画像などの画像データである。ただし、動作データ１４は、イメージセンサ以外のセンサデバイスを用いて生成されたセンサデータであってもよい。例えば、動作データ１４は、ヘッドセットに組み込まれた加速度センサを用いて頭部のジェスチャを検出したものでもよい。また、動作データ１４は、腕時計に組み込まれた加速度センサを用いて腕のジェスチャを検出したものでもよい。また、動作データ１４は、椅子に組み込まれた感圧センサを用いて姿勢の変化を検出したものでもよい。
【００２１】
動作データ１４のうち第１のユーザに関するデータと第２のユーザに関するデータとは、同じデバイスを用いて生成されてもよいし異なるデバイスを用いて生成されてもよい。例えば、動作データ１４が画像データである場合、１つのイメージセンサを用いて撮影された画像に第１のユーザと第２のユーザの両方が写っていてもよいし、異なるイメージセンサを用いて撮影された異なる画像に異なるユーザが写っていてもよい。
【００２２】
処理部１２は、音声データ１３からキーワード１５を検出する。例えば、処理部１２は、音声認識によって音声データ１３を発話の文字列（テキスト）に変換し、文字列の中から所定の検索対象キーワードを検索する。検索対象キーワードは、例えば、予めキーワードリストとして定義されている。また、例えば、処理部１２は、発話全体を文字列に変換せずに、ワードスポッティングにより発話の音声信号の特徴量と検索対象キーワードの音声信号の特徴量とを連続的に比較し、検索対象キーワードのみを直接認識する。
【００２３】
キーワード１５は、第１のユーザの発話でもよいし第２のユーザの発話でもよい。処理部１２は、第１のユーザの発話と第２のユーザの発話とを区別して検索対象キーワードを検索してもよいし、第１のユーザの発話と第２のユーザの発話とを区別せずに検索対象キーワードを検索してもよい。また、処理部１２は、第１のユーザの発話と第２のユーザの発話の何れか一方に限定して検索対象キーワードを検索してもよい。
【００２４】
また、処理部１２は、動作データ１４から、第１のユーザによる動作１６（第１の動作）のタイミングと、第２のユーザによる動作１７（第２の動作）のタイミングとを検出する。上記の音声データ１３の処理と動作データ１４の処理は、何れを先に実行してもよいし並列に実行してもよい。第１のユーザの動作１６と第２のユーザの動作１７とは区別して検出される。例えば、処理部１２は、画像認識によって第１のユーザと第２のユーザそれぞれの表情の変化、頭部や腕や足のジェスチャ、視線の変更、姿勢の変更などの身体的動作を、画像データである動作データ１４から検出する。イメージセンサ以外のセンサデバイスが動作データ１４を生成した場合、特段の認識処理を行わなくてよいこともある。
【００２５】
そして、処理部１２は、第１のユーザによる動作１６のタイミングと第２のユーザによる動作１７のタイミングとの間の関係に基づいて、検出したキーワード１５の重要度を示す評価値１８を算出する。処理部１２は、例えば、評価値１８に基づいて、キーワード１５を重要キーワードとして抽出するか否か判定する。処理部１２は、評価値１８が所定の第１の閾値を超える場合、キーワード１５を好ましいキーワードとして抽出してもよい。また、処理部１２は、評価値１８が第１の閾値より小さい所定の第２の閾値未満である場合、キーワード１５を要注意のキーワードとして抽出してもよい。キーワード１５は、例えば、時間軸上で動作１６，１７から所定範囲内に発せられたキーワードである。
【００２６】
動作１６，１７のタイミングの関係として、処理部１２は、動作１６，１７が同じ種類の動作であり、動作１６が先に行われ動作１６から所定時間以内に動作１７が行われたことを検出してもよい。このとき、動作１６の直前の所定時間以内に第２のユーザが動作を行っていないこと、すなわち、第１のユーザから動作を開始したことを条件に加えてもよい。この関係は、第２のユーザの心理状態を反映していると言える。
【００２７】
例えば、第１のユーザが接客担当者であり第２のユーザが顧客である場合、この関係は、接客担当者の笑いやうなずきなどの動作と連動して、顧客の笑いやうなずきなどの同じ種類の動作が発生したという同期を示している。よって、これは顧客が接客担当者の動作をよく観察しており、接客担当者の話に共感をもっているという会話の盛り上がりを示していると推定できる。また、例えば、動作１７が先に行われ動作１７から所定時間以内に動作１６が行われた場合、顧客の笑いやうなずきなどの動作と連動して、接客担当者の笑いやうなずきなどの同じ種類の動作が発生したという同期を示している。よって、これは接客担当者が顧客の動作をよく観察しており、良い接客を示していると推定できる。
【００２８】
動作１６，１７が同じ種類の動作であり、動作１６が先に行われ動作１６から所定時間以内に動作１７が行われた場合、処理部１２は、動作１６，１７の近辺にあるキーワード１５を高く評価することが考えられる。キーワード１５を高く評価することは、第２のユーザの心理状態が良好であることに対応する。第２のユーザが顧客である場合、キーワード１５は、顧客の共感が得られた好ましいキーワードである可能性がある。
【００２９】
一方、動作１６から所定時間以内に動作１７が行われていない場合、処理部１２は、動作１６，１７の近辺にあるキーワード１５を低く評価することが考えられる。キーワード１５を低く評価することは、第２のユーザの心理状態が良好でないことに対応する。第２のユーザが顧客である場合、キーワード１５は、顧客の共感が得られなかった要注意のキーワードである可能性がある。
【００３０】
処理部１２は、抽出した重要キーワードを出力してもよい。例えば、処理部１２は、キーワード抽出装置１０が備えるストレージ装置に重要キーワードを保存してもよい。また、例えば、処理部１２は、ディスプレイに表示するなどキーワード抽出装置１０が備える出力デバイスに重要キーワードを出力してもよい。また、例えば、処理部１２は、ネットワーク経由で他の情報処理装置に重要キーワードを送信してもよい。
【００３１】
第１の実施の形態のキーワード抽出装置１０によれば、音声データ１３からキーワード１５が検出され、動作データ１４から第１のユーザの動作１６のタイミングおよび第２のユーザの動作１７のタイミングが検出される。そして、動作１６のタイミングと動作１７のタイミングの間の関係に基づいて、キーワード１５の評価値１８が算出される。これにより、第１のユーザと第２のユーザの少なくとも一方の心理状態の観点から重要キーワードを精度よく抽出することが可能となる。よって、接客の改善などの所定の目的のために、キーワード抽出装置１０が抽出した重要キーワードを活用することが可能となる。
【００３２】
［第２の実施の形態］
次に、第２の実施の形態を説明する。
図２は、第２の実施の形態の情報処理システムの例を示す図である。
【００３３】
第２の実施の形態の情報処理システムは、顧客と接客担当者とが会話する業種において、会話を分析して接客の改善を支援するものである。この情報処理システムは、商品説明や保健指導など様々な業種に適用することが可能である。
【００３４】
第２の実施の形態の情報処理システムは、ネットワーク４０に接続された管理装置４１および会話分析装置１００を含む。会話分析装置１００にはカメラ装置５０が接続されている。管理装置４１は、接客担当者の上司など接客担当者を指導する管理者が使用する端末装置である。会話分析装置１００は、顧客と接客担当者とが会話する場所に設置された端末装置である。例えば、会話分析装置１００は、顧客と接客担当者とが対面するカウンターの上またはその周辺に設置されている。カメラ装置５０は、動画撮影機能および音声録音機能をもつデバイス装置である。カメラ装置５０は、顧客と接客担当者との間の会話を撮影および録音できるように設置されている。
【００３５】
カメラ装置５０は、顧客と接客担当者とが会話を行っている間、画像内に顧客と接客担当者の両方が収まるように撮影を行う。また、カメラ装置５０は、顧客と接客担当者とが会話を行っている間、顧客の音声と接客担当者の音声の両方が含まれるように録音を行う。会話分析装置１００は、撮影された動画を示す画像データと録音された音声を示す音声データとを収集して、顧客と接客担当者との間の会話を分析する。具体的には、会話分析装置１００は、音声データから顧客または接客担当者が発したキーワードを検出し、画像データから会話中の顧客の動作および接客担当者の動作を検出する。会話分析装置１００は、顧客と接客担当者の動作からキーワードを評価して重要キーワードを抽出する。会話分析装置１００は、抽出した重要キーワードを管理装置４１に報告する。
【００３６】
会話分析装置１００による会話分析および会話分析装置１００から管理装置４１への重要キーワードの報告は、接客担当者の業務中にリアルタイムに行ってもよいし、接客担当者の業務終了後にバッチ処理として行ってもよい。例えば、会話分析装置１００は、カメラ装置５０が出力する音声データおよび画像データをリアルタイムに分析し、会話の区切り毎に重要キーワードを判定して管理装置４１に送信する。会話の区切りとしては、一人の顧客に対する接客が終了したとき、無発話時間が所定時間以上継続したとき、会話開始から一定時間経過したときなどが考えられる。また、例えば、会話分析装置１００は、カメラ装置５０が出力する音声データおよび画像データを保存し、業務終了後にまとめて音声データおよび画像データを分析し、重要キーワードを管理装置４１に送信する。
【００３７】
会話分析装置１００から管理装置４１に送信された重要キーワードの少なくとも一部は、管理装置４１のディスプレイに表示される。管理者は、接客担当者の業務中に重要キーワードを確認してもよいし、業務終了後に重要キーワードを確認してもよい。
【００３８】
なお、会話分析装置１００は、第１の実施の形態のキーワード抽出装置１０に対応する。カメラ装置５０を用いて撮影された動画を示す画像データは、第１の実施の形態の動作データ１４に対応する。カメラ装置５０を用いて録音された音声を示す音声データは、第１の実施の形態の音声データ１３に対応する。
【００３９】
図３は、会話分析装置のハードウェア例を示すブロック図である。
会話分析装置１００は、バスに接続されたＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、画像信号処理部１０４、入力信号処理部１０５，１０６、媒体リーダ１０７および通信インタフェース１０８を有する。ＣＰＵ１０１は、第１の実施の形態の処理部１２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１に対応する。管理装置４１も同様のハードウェアを用いて実現できる。
【００４０】
ＣＰＵ１０１は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。なお、ＣＰＵ１０１は複数のプロセッサコアを備えてもよく、会話分析装置１００は複数のプロセッサを備えてもよい。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。
【００４１】
ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラムやＣＰＵ１０１が演算に使用するデータを一時的に記憶する揮発性の半導体メモリである。なお、会話分析装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数のメモリを備えてもよい。
【００４２】
ＨＤＤ１０３は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性ストレージである。なお、会話分析装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）など他の種類のストレージを備えてもよく、複数のストレージを備えてもよい。
【００４３】
画像信号処理部１０４は、ＣＰＵ１０１からの命令に従って、会話分析装置１００に接続されたディスプレイ１１１に画像を出力する。ディスプレイ１１１としては、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（ＯＥＬ：Organic Electro-Luminescence）ディスプレイなど、任意の種類のディスプレイを使用することができる。
【００４４】
入力信号処理部１０５は、会話分析装置１００に接続された入力デバイス１１２から入力信号を受信する。入力デバイス１１２として、マウス、タッチパネル、タッチパッド、キーボードなど、任意の種類の入力デバイスを使用できる。また、会話分析装置１００に複数の種類の入力デバイスが接続されてもよい。
【００４５】
入力信号処理部１０６は、会話分析装置１００に接続されたカメラ装置５０から画像信号および音声信号を受信する。カメラ装置５０は、イメージセンサ５１およびマイクロフォン５２を有する。イメージセンサ５１は、光を電気信号（画像信号）に変換する撮像素子である。イメージセンサ５１として、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなど、任意の種類のイメージセンサを使用できる。マイクロフォン５２は、音を電気信号（音声信号）に変換する。マイクロフォン５２として、ダイナミックマイクやコンデンサマイクなど、任意の種類のマイクロフォンを使用できる。
【００４６】
媒体リーダ１０７は、記録媒体１１３に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体１１３として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）、半導体メモリなどを使用できる。媒体リーダ１０７は、例えば、記録媒体１１３から読み取ったプログラムやデータをＲＡＭ１０２またはＨＤＤ１０３に格納する。
【００４７】
通信インタフェース１０８は、ネットワーク４０に接続され、ネットワーク４０を介して管理装置４１と通信を行う。通信インタフェース１０８は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよいし、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。
【００４８】
次に、第２の実施の形態のキーワード抽出方法について説明する。第２の実施の形態の会話分析装置１００は、顧客と接客担当者との間の会話で出現したキーワードの中から、顧客の共感を得られた好ましいキーワードを推定して重要キーワードとして抽出する。また、第２の実施の形態の会話分析装置１００は、顧客と接客担当者との間の会話で出現したキーワードの中から、顧客の共感を得られなかった要注意のキーワードを推定して重要キーワードとして抽出する。これにより、次回以降の接客において顧客の共感がより得られるように、接客担当者の接客スキルを向上させることが可能となる。
【００４９】
図４は、第２の実施の形態のキーワード抽出例を示す図である。
顧客と接客担当者との間で会話が盛り上がっており接客担当者の話に顧客が共感しているか否かを評価するため、第２の実施の形態では、顧客の動作と接客担当者の動作との間の同期を検出する。第２の実施の形態の同期は、接客担当者から動作を開始し、その直後に顧客が同じ種類の動作を行ったという動作の連鎖である。この場合、顧客は接客担当者を注意深く見ており、接客担当者の話をポジティブに聞いていると推定される。よって、このような同期が発生しているときに顧客または接客担当者が発したキーワードは、好ましいキーワードである可能性がある。一方、このような同期が発生していないときに顧客または接客担当者が発したキーワードは、要注意のキーワードである可能性がある。
【００５０】
例えば、以下に説明するシーン７１〜７３を考える。
シーン７１では、接客担当者が笑うという動作を行い、その直後に顧客が笑うという動作を行っている。接客担当者の動作の直前の時間Ｓ１以内に顧客は動作を行っておらず、接客担当者の動作の直後の時間Ｓ２以内に顧客は動作を行っている。シーン７１では、接客担当者から開始して顧客の動作と接客担当者の動作とが同期しているため、顧客の共感度が大きいと判定される。すると、シーン７１の周辺で顧客または接客担当者が発した「レスポンス」というキーワードの評価値は高くなる。
【００５１】
シーン７２では、接客担当者が笑うという動作を行ったものの、接客担当者の動作の直前の時間Ｓ１以内に顧客は動作を行っておらず、接客担当者の動作の直後の時間Ｓ２以内にも顧客は動作を行っていない。シーン７２では、顧客の動作と接客担当者の動作とが同期していないため、顧客の共感度が小さいと判定される。すると、シーン７２の周辺で顧客または接客担当者が発した「新機能」というキーワードの評価値は低くなる。
【００５２】
シーン７３では、顧客がうなずくという動作を行い、その直後に接客担当者がうなずくという動作を行っている。接客担当者の動作の直前の時間Ｓ１以内に顧客は動作を行っており、接客担当者の動作の直後の時間Ｓ２以内に顧客は動作を行っていない。シーン７３では、接客担当者から開始して顧客の動作と接客担当者の動作とが同期しているわけではなく、顧客の共感度が小さいと判定される。すると、シーン７３の周辺で顧客または接客担当者が発した「画質」というキーワードの評価値は低くなる。
【００５３】
会話分析装置１００は、評価値が閾値Ｔ１より大きいキーワードを好ましいキーワードと推定し、重要キーワードとして抽出する。また、会話分析装置１００は、評価値が閾値Ｔ２より小さいキーワードを要注意のキーワードと推定し、同様に重要キーワードとして抽出する。閾値Ｔ１，Ｔ２は予め決められており、Ｔ１＞Ｔ２である。上記の例では、「レスポンス」が重要キーワードとして抽出される可能性がある。
【００５４】
ここで、会話分析装置１００は、画像データから顧客と接客担当者それぞれの動作を検出することになる。検出すべき動作は、表情の変化、頭部や腕や足のジェスチャ、視線の変更、姿勢の変更など、視認可能な身体的動作である。表情の変化には笑うことが含まれる。頭部のジェスチャにはうなずくことが含まれる。視線の変更には相手の頭部を見ることが含まれる。姿勢の変更には前のめりになることが含まれる。
【００５５】
会話分析装置１００は、画像認識により画像データから顧客と接客担当者を認識する。例えば、会話分析装置１００には接客担当者の容姿の特徴情報が予め登録されており、その特徴情報に基づいて接客担当者が認識される。その場合、接客担当者以外の人物が顧客として認識される。また、会話分析装置１００は、画像認識により画像データから顧客と接客担当者それぞれの動作の種類を認識する。このとき、うなずきの大きさや腕のジェスチャの大きさなど、動作の大きさを併せて認識してもよい。
【００５６】
動作の検出には、特許文献２（特開２０１５−６４８２７号公報）に記載された技術を用いてもよい。例えば、表情について、会話分析装置１００は、画像データの各フレームから目と口の輪郭を抽出し、フレーム間における輪郭の変化から表情の変化を判定する。また、例えば、うなずきについて、会話分析装置１００は、画像データの各フレームから目と鼻と口の位置を抽出し、フレーム間における目と鼻と口の位置の変化からうなずきを判定する。動作の大きさは、その変化量から判定することができる。
【００５７】
また、会話分析装置１００は、音声認識により音声データからキーワードを認識する。このとき、会話分析装置１００は、顧客の発話と接客担当者の発話とを区別して認識してもよいし、両者を区別せずに認識してもよい。顧客の発話と接客担当者の発話とを区別する方法として、例えば、接客担当者の声質の特徴情報を予め会話分析装置１００に登録しておき、異なる２つの声質の発話のうち接客担当者の発話を先に判定して他方の発話を顧客の発話とみなす方法が考えられる。また、顧客の発話と接客担当者の発話とを区別する方法として、例えば、録音時の音声の到来方向から判定する方法も考えられる。
【００５８】
キーワードの検出には、特許文献１（特開２０１０−２２４７１５号公報）に記載された技術を用いてもよい。例えば、会話分析装置１００には、顧客の共感度に影響を与える可能性がある検索対象キーワードが予め登録されている。会話分析装置１００は、音声データが示す音声波形をフーリエ変換などにより音声特徴情報に変換し、予め用意した音声認識モデルに音声特徴情報を入力して単語列に変換し、単語列の中から検索対象キーワードを検索する。ただし、会話分析装置１００は、発話全体を単語列に変換せずに、ワードスポッティングにより検索対象キーワードのみを直接検出してもよい。
【００５９】
次に、キーワード評価値の算出方法について説明する。
図５は、キーワード評価値の算出例を示す図である。
まず、会話分析装置１００は、顧客と接客担当者を録画した画像データを用いて、所定の時間間隔でシーン評価値を算出する。第２の実施の形態では、シーン評価値は顧客と接客担当者との間のその時点の会話の盛り上がりを示しており、顧客の共感度に相当する。シーン評価値が大きいほど会話の盛り上がりが大きく、共感度が大きいと推定される。シーン評価値が小さいほど会話の盛り上がりが小さく、共感度が小さいと推定される。
【００６０】
そして、会話分析装置１００は、音声データから抽出されたキーワードについて、当該キーワードが発せられた時刻の周辺のシーン評価値を用いてキーワード評価値を算出する。キーワード評価値が大きいキーワードほど、顧客の共感を得られたキーワードである可能性が高い。キーワード評価値が小さいキーワードほど、顧客の共感を得られなかったキーワードである可能性が高い。会話分析装置１００は、キーワード評価値が閾値Ｔ１を超えるキーワードを重要キーワードとして抽出する。また、会話分析装置１００は、キーワード評価値が閾値Ｔ２未満のキーワードも重要キーワードとして抽出する。
【００６１】
シーン評価値の算出では、会話分析装置１００は、ある時刻を中心にして時間Ｓ０前から時間Ｓ０後までの区間（前後の時間Ｓ０の区間）をスライディングウィンドウ８１として設定する。スライディングウィンドウ８１の位置は、時間Δｔずつずらしていくことになる。時間Δｔは、例えば、１フレーム時間から１秒程度とする。時間Ｓ０は、例えば、１分から２分程度とする。スライディングウィンドウ８１の中心時刻に対して１つのシーン評価値が算出されるため、時間Δｔ間隔でシーン評価値が算出されることになる。
【００６２】
スライディングウィンドウ８１の中で、接客担当者が動作を行った時刻をＦ（ｘ）とし、時刻Ｆ（ｘ）における動作の重みをｗ（ｘ）とする。重みｗ（ｘ）は、時刻Ｆ（ｘ）の直前の時間Ｓ１の間における顧客の動作に基づいて決定される。時間Ｓ１は、例えば、１秒から２秒程度である。直前の時間Ｓ１の間に顧客が動作を行っていない場合は重みｗ（ｘ）＝ｗ１とし、直前の時間Ｓ１の間に顧客が動作を行っている場合は重みｗ（ｘ）＝ｗ２とする。ただし、重みｗ１と重みｗ２の大小関係は、ｗ１＞ｗ２である。
【００６３】
また、スライディングウィンドウ８１に属する各動作を、顧客の同期の有無に応じて集合ｒ１，ｒ２に分類する。時刻Ｆ（ｘ）の直後の時間Ｓ２の間に顧客が同じ種類の動作を行っている場合、すなわち、同期ありの場合、接客担当者の動作は集合ｒ１に分類される。直後の時間Ｓ２の間に顧客が同じ種類の動作を行っていない場合、すなわち、同期なしの場合、接客担当者の動作は集合ｒ２に分類される。時間Ｓ２は、例えば、１秒から２秒程度であり時間Ｓ１と同じでもよい。また、下記で使用する係数ａの値を予め決めておく。係数ａの値は１未満の実数（ａ＜１）であり、負の値であってもよい。
【００６４】
このようなスライディングウィンドウ８１から、例えば、中心時刻のシーン評価値Ｖｔは数式（１）のように算出される。すなわち、集合ｒ１に属する動作の重みと、集合ｒ２に属する動作の重みに係数ａを乗じたものについての平均値が、シーン評価値となる。係数ａの値は１未満であるため、スライディングウィンドウ８１に属する接客担当者の動作のうち、顧客の動作と同期しているものの割合が高いほど、シーン評価値は大きくなる。
【００６５】
【数１】
2020067790.tif 000003
【００６６】
ただし、接客担当者の動作と顧客の動作とが同期している場合に、接客担当者の動作から顧客の動作までの遅延時間を更に考慮してシーン評価値を算出することも可能である。時刻Ｆ（ｘ）からの遅延時間をＥ（ｘ）とし、係数ｂの値を予め決めておく。係数ｂの値は正の実数である。この場合、例えば、中心時刻のシーン評価値Ｖｔは数式（２）のように算出される。数式（２）では、集合ｒ１に属する動作の重みが遅延時間Ｅ（ｘ）と係数ｂによって補正される。スライディングウィンドウ８１において、接客担当者の動作から顧客の動作までの遅延時間が短いほど、シーン評価値は大きくなる。
【００６７】
【数２】
2020067790.tif 000004
【００６８】
また、接客担当者の動作と顧客の動作とが同期している場合に、顧客の動作の大きさを更に考慮してシーン評価値を算出することも可能である。接客担当者の動作と同期する顧客の動作の大きさをＤ（ｘ）とし、係数ｃの値を予め決めておく。大きさＤ（ｘ）は、頭部の位置の変化量や腕の移動量など、画像データから認識される単位時間当たりの位置の変化量を示し、変化量が大きいほどＤ（ｘ）も大きい値をとる。係数ｃの値は正の実数である。この場合、例えば、中心時刻のシーン評価値Ｖｔは数式（３）のように算出される。数式（３）では、集合ｒ１に属する動作の重みが大きさＤ（ｘ）と係数ｃによって補正される。スライディングウィンドウ８１において、接客担当者の動作と同期する顧客の動作が大きいほど、シーン評価値は大きくなる。なお、数式（３）では遅延時間Ｅ（ｘ）も考慮しているが、遅延時間Ｅ（ｘ）を考慮しないようにしてもよい。
【００６９】
【数３】
2020067790.tif 000005
【００７０】
キーワード評価値の算出では、会話分析装置１００は、キーワードが発せられた時刻Ｇ（ｙ）を中心にして時間Ｓ３前から時間Ｓ３後までの区間（前後の時間Ｓ３の区間）をウィンドウ８２として設定する。時間Ｓ３は、例えば、２分から数分程度とする。一区切りの会話（例えば、一人の顧客に対する接客が始まってから終了するまでの一連の会話）の中で、同じキーワードが複数回発せられることがある。ここでは、１つのキーワードに着目し、一区切りの会話の中で当該キーワードがＹ＋１回発せられたとする。ウィンドウ８２は、ｙ＝０，１，…，Ｙそれぞれに対して設定される。
【００７１】
着目するキーワードの１回の出現に対して、ウィンドウ８２の範囲内にあるシーン評価値の平均値をＨ（ｙ）とする。すると、例えば、一区切りの会話における当該キーワードのキーワード評価値Ｖｋは数式（４）のように算出される。すなわち、キーワードが発せられた各時刻の周辺のキーワード評価値の平均値を、当該キーワードの複数回の出現の間で平均化したものが、当該キーワードのキーワード評価値となる。
【００７２】
【数４】
2020067790.tif 000006
【００７３】
キーワード評価値が閾値Ｔ１を超える場合、当該キーワードは重要キーワードである。また、キーワード評価値が閾値Ｔ２未満である場合、当該キーワードは重要キーワードである。会話分析装置１００は、抽出した重要キーワードを管理装置４１に送信する。管理装置４１は、会話分析装置１００から受信した重要キーワードの全部または一部をディスプレイに表示する。例えば、管理装置４１は、受信した重要キーワードのうちキーワード評価値が大きい方からＮ個（上位Ｎ件）の重要キーワードを表示する。また、管理装置４１は、受信した重要キーワードのうちキーワード評価値が小さい方からＮ個（下位Ｎ件）の重要キーワードを表示する。Ｎは予め決めておく１以上の整数である。ただし、会話分析装置１００が、重要キーワードを上位Ｎ件と下位Ｎ件に絞り込んでもよい。
【００７４】
次に、会話分析装置１００の機能および処理手順について説明する。
図６は、第２の実施の形態の会話分析装置の機能例を示すブロック図である。
会話分析装置１００は、音声記憶部１２１、画像記憶部１２２、キーワード記憶部１２３および評価結果記憶部１２４を有する。これらの記憶部は、例えば、ＲＡＭ１０２またはＨＤＤ１０３の記憶領域を用いて実現される。また、会話分析装置１００は、キーワード検出部１２５、動作検出部１２６、シーン評価部１２７およびキーワード評価部１２８を有する。これらの処理部は、例えば、プログラムを用いて実現される。
【００７５】
音声記憶部１２１は、カメラ装置５０から受信した音声信号を含む音声データを記憶する。画像記憶部１２２は、カメラ装置５０から受信した画像信号を含む画像データを記憶する。キーワード記憶部１２３は、検索対象キーワードを記憶する。検索対象キーワードは予め指定されている。管理者が検索対象キーワードを追加または削除できるようにしてもよい。評価結果記憶部１２４は、キーワードの評価結果を記憶する。評価結果は、音声データから抽出された重要キーワードとその順位とを含む。
【００７６】
キーワード検出部１２５は、音声記憶部１２１に記憶された音声データを、音声認識により単語列に変換する。キーワード検出部１２５は、キーワード記憶部１２３に記憶された検索対象キーワードを単語列の中から検出する。キーワードの検出結果は、検出したキーワードと当該キーワードが出現する時刻とを含む。
【００７７】
動作検出部１２６は、画像記憶部１２２に記憶された画像データに含まれる各フレームから、画像認識により顧客と接客担当者を認識する。動作検出部１２６は、各フレームから接客担当者が写った領域の特徴情報を抽出し、フレーム間の特徴情報の変化に基づいて接客担当者の動作を検出する。また、動作検出部１２６は、各フレームから顧客が写った領域の特徴情報を抽出し、フレーム間の特徴情報の変化に基づいて顧客の動作を検出する。動作の検出結果は、時刻と動作主体と動作の種類と動作の大きさを含む。
【００７８】
シーン評価部１２７は、動作検出部１２６による動作の検出結果を用いて、時間Δｔ間隔でシーン評価値を算出する。前述のように、シーン評価部１２７は、接客担当者の動作時刻を基準にして、その直前の時間Ｓ１の間に顧客の動作が生じているか否か、および、その直後の時間Ｓ２の間に同じ種類の顧客の動作が生じているか否かを判定する。シーン評価部１２７は、このような接客担当者の動作と顧客の動作の間の同期状況に基づいてシーン評価値を算出する。同期状況の評価では、接客担当者の動作から顧客の動作までの遅延時間や、顧客の動作の大きさを更に考慮してもよい。シーン評価結果は、複数の時刻と当該複数の時刻に対応する複数のシーン評価値とを含む。
【００７９】
キーワード評価部１２８は、キーワード検出部１２５によるキーワードの検出結果とシーン評価部１２７によるシーン評価結果を用いて、検出されたキーワードそれぞれのキーワード評価値を算出する。前述のように、キーワード評価部１２８は、キーワード毎に当該キーワードの１回以上の出現時刻を抽出し、出現時刻毎に周辺時刻のシーン評価値を平均化し、１回以上の出現時刻の間で更に平均化してキーワード評価値とする。
【００８０】
キーワード評価部１２８は、キーワード評価値が閾値Ｔ１を超えるキーワードと閾値Ｔ２未満のキーワードを重要キーワードとして抽出する。そして、キーワード評価部１２８は、抽出した重要キーワードとキーワード評価値によって決まる順位（ベスト１、ベスト２、ワースト１、ワースト２など）を評価結果として評価結果記憶部１２４に格納する。キーワード評価部１２８は、評価結果を管理装置４１に送信する。
【００８１】
図７は、会話分析装置が保持するテーブルの例を示す第１の図である。
キーワードテーブル１３１は、キーワード記憶部１２３に記憶される。キーワードテーブル１３１には、検索対象キーワードとして指定されたキーワードの文字列が登録される。音声データが示す発話の中から、キーワードテーブル１３１に登録されたキーワードのみが抽出され、それ以外の単語は抽出されない。
【００８２】
キーワード検出テーブル１３２は、キーワード検出部１２５によって生成される。キーワード検出テーブル１３２は、ＲＡＭ１０２またはＨＤＤ１０３に保存されてもよい。キーワード検出テーブル１３２は、時刻およびキーワードの項目を含む。時刻の項目には、キーワードテーブル１３１に登録された何れかのキーワードが発せられた時刻が登録される。キーワードの項目には、当該発せられたキーワードが登録される。なお、顧客による発話と接客担当者による発話とを区別して認識する場合、キーワード検出テーブル１３２は、話者を示す項目を更に含んでもよい。話者は顧客または接客担当者である。
【００８３】
動作検出テーブル１３３は、動作検出部１２６によって生成される。動作検出テーブル１３３は、ＲＡＭ１０２またはＨＤＤ１０３に保存されてもよい。動作検出テーブル１３３は、時刻、動作主体、種類および大きさの項目を含む。時刻の項目には、動作が行われた時刻が登録される。動作主体の項目には、動作を行った主体として「顧客」または「接客担当者」が登録される。種類の項目には、「笑う」や「うなずく」などの動作の種類が登録される。大きさの項目には、動作の大きさを示す数値が登録される。
【００８４】
図８は、会話分析装置が保持するテーブルの例を示す第２の図である。
シーン評価テーブル１３４は、シーン評価部１２７によって生成される。シーン評価テーブル１３４は、ＲＡＭ１０２またはＨＤＤ１０３に保存されてもよい。シーン評価テーブル１３４は、時刻および評価値の項目を含む。時刻の項目には、会話の盛り上がりの程度が評価された時刻、すなわち、顧客の共感度が評価された時刻が登録される。評価値の項目には、算出されたシーン評価値が登録される。
【００８５】
キーワード評価テーブル１３５は、キーワード評価部１２８によって生成される。キーワード評価テーブル１３５は、ＲＡＭ１０２またはＨＤＤ１０３に保存されてもよい。キーワード評価テーブル１３５は、キーワードおよび評価値の項目を含む。キーワードの項目には、キーワード検出テーブル１３２に出現するキーワードが登録される。評価値の項目には、算出されたキーワード評価値が登録される。
【００８６】
重要キーワードテーブル１３６は、評価結果記憶部１２４に記憶される。重要キーワードテーブル１３６は、順位およびキーワードの項目を含む。順位の項目には、ベスト１、ベスト２、ワースト１、ワースト２など、キーワード評価値によって決まる重要キーワードの順位が登録される。キーワードの項目には、キーワード評価テーブル１３５に登録されたキーワードのうちキーワード評価値に基づいて選択された重要キーワードが登録される。重要キーワードテーブル１３６の内容が管理装置４１に送信される。
【００８７】
図９は、第２の実施の形態の会話分析の手順例を示すフローチャートである。
（Ｓ１０）動作検出部１２６は、画像記憶部１２２から画像データを読み出す。読み出す画像データは、処理済みの画像データの次の一定時間分の画像データである。また、キーワード検出部１２５は、音声記憶部１２１から音声データを読み出す。読み出す音声データは、処理済みの音声データの次の一定時間分の音声データである。
【００８８】
（Ｓ１１）キーワード検出部１２５は、ステップＳ１０で読み出した音声データを音声認識により単語列に変換する。キーワード検出部１２５は、変換した単語列から、キーワードテーブル１３１に登録された検索対象キーワードを検索し、検索されたキーワードおよび当該キーワードの出現時刻を示すキーワード検出テーブル１３２を生成する。
【００８９】
（Ｓ１２）動作検出部１２６は、ステップＳ１０で読み出した画像データに含まれる各フレームから、画像認識により顧客が写った領域および接客担当者が写った領域を認識する。動作検出部１２６は、フレーム間の位置変化から顧客の動作の種類、動作時刻および動作の大きさを検出する。また、動作検出部１２６は、フレーム間の位置変化から接客担当者の動作の種類、動作時刻および動作の大きさを検出する。動作検出部１２６は、これらの検出した情報を含む動作検出テーブル１３３を生成する。
【００９０】
（Ｓ１３）シーン評価部１２７は、ステップＳ１２で生成された動作検出テーブル１３３から接客担当者の動作時刻を抽出する。
（Ｓ１４）シーン評価部１２７は、ステップＳ１３で抽出した接客担当者の動作時刻それぞれについて、直前の顧客動作を動作検出テーブル１３３から検索して顧客動作の有無を判定し、顧客動作の有無に応じた重みを決定する。具体的には、シーン評価部１２７は、直前の時間Ｓ１の間に顧客の動作がない場合は重みｗ１を選択し、直前の時間Ｓ１の間に顧客の動作がある場合は重みｗ１より小さい重みｗ２を選択する。
【００９１】
（Ｓ１５）シーン評価部１２７は、ステップＳ１３で抽出した接客担当者の動作時刻それぞれについて、直後の顧客動作を動作検出テーブル１３３から検索して同じ種類の顧客動作による同期の有無を判定し、同期の有無に応じた係数を決定する。具体的には、同期がある場合、すなわち、直後の時間Ｓ２の間に同じ種類の顧客動作がある場合、シーン評価部１２７は係数＝１を選択する。一方、同期がない場合、すなわち、直後の時間Ｓ２の間に同じ種類の顧客動作がない場合、シーン評価部１２７は係数＝ａを選択する。これらの係数は重みに乗じる値であり、ａ＜１である。
【００９２】
（Ｓ１６）シーン評価部１２７は、時間Ｓ０×２の時間幅をもつスライディングウィンドウを設定する。シーン評価部１２７は、スライディングウィンドウに属する接客担当者の動作に対して算出したステップＳ１４，Ｓ１５の重みおよび係数を用いて、スライディングウィンドウの中心時刻におけるシーン評価値を算出する。このシーン評価値は顧客の共感度を表している。シーン評価部１２７は、スライディングウィンドウを時間Δｔずつスライドさせることで、時間Δｔ間隔でシーン評価値を算出する。シーン評価部１２７は、複数の時刻それぞれのシーン評価値を示すシーン評価テーブル１３４を生成する。
【００９３】
（Ｓ１７）動作検出部１２６は、画像データが終了したか判断する。キーワード検出部１２５は、音声データが終了したか判断する。例えば、一人の顧客に対する接客が終了したときに画像データと音声データが終了する。画像データと音声データが終了した場合はステップＳ１８に進み、終了していない場合はステップＳ１０に進む。
【００９４】
（Ｓ１８）キーワード評価部１２８は、ステップＳ１１で生成されたキーワード検出テーブル１３２からキーワードの出現時刻を抽出する。キーワード評価部１２８は、キーワードの出現時刻それぞれについて、ステップＳ１６で生成されたシーン評価テーブル１３４から、当該出現時刻の直前の時間Ｓ３および直後の時間Ｓ３に属する周辺のシーン評価値を検索する。キーワード評価部１２８は、周辺のシーン評価値の平均値を算出する。
【００９５】
（Ｓ１９）キーワード評価部１２８は、ステップＳ１８で算出されたシーン評価値の平均値をキーワードの同一性に応じて分類する。キーワード評価部１２８は、キーワード毎にシーン評価値の平均値を更に平均化してキーワード評価値を算出する。キーワード評価部１２８は、キーワード評価値を示すキーワード評価テーブル１３５を生成する。
【００９６】
（Ｓ２０）キーワード評価部１２８は、ステップＳ１９で生成されたキーワード評価テーブル１３５から、キーワード評価値が閾値Ｔ１を超えるキーワードおよびキーワード評価値が閾値Ｔ２未満のキーワードを重要キーワードとして抽出する。キーワード評価部１２８は、抽出した重要キーワードとその順位を示す重要キーワードテーブル１３６を生成して評価結果記憶部１２４に格納する。キーワード評価部１２８は、重要キーワードテーブル１３６の内容を管理装置４１に送信する。管理装置４１は、重要キーワードテーブル１３６の内容に基づいて、上位Ｎ件および下位Ｎ件の重要キーワードを表示する。
【００９７】
第２の実施の形態の情報処理システムによれば、音声データからキーワードが検出され、画像データから顧客の動作と接客担当者の動作が検出される。接客担当者が先に動作を行い、その直後に顧客が同じ種類の動作を行ったという同期が検出され、動作の同期に基づいて顧客の共感度を示すシーン評価値が算出され、キーワードの周辺時刻のシーン評価値からキーワード評価値が算出される。そして、キーワード評価値が高い好ましいキーワードとキーワード評価値が低い要注意のキーワードが抽出されて管理者に報告される。
【００９８】
これにより、顧客の心理状態に対してポジティブな影響を与えた可能性の高い重要キーワードと、顧客の心理状態に対してネガティブな影響を与えた可能性の高い重要キーワードとを推定でき、接客担当者の接客スキルの改善を支援することができる。また、接客担当者の動作と顧客の動作の同期状況からキーワードを評価するため、キーワードの出現回数から評価する方法などと比べて、顧客の心理状態を反映した重要キーワードを精度よく抽出することができる。また、接客担当者の動作の直前に顧客が動作を行っておらず、接客担当者の動作の直後に顧客が同じ種類の動作を行ったという条件を判定するため、接客を受ける顧客の心理状態を精度よく推定することができる。
【００９９】
［第３の実施の形態］
次に、第３の実施の形態を説明する。第２の実施の形態との違いを中心に説明し、第２の実施の形態と同様の内容については説明を省略することがある。第３の実施の形態の情報処理システムは、会話分析装置１００の配置が第２の実施の形態と異なる。
【０１００】
図１０は、第３の実施の形態の情報処理システムの例を示す図である。
第３の実施の形態の情報処理システムは、第２の実施の形態と同様に、管理装置４１、カメラ装置５０および会話分析装置１００を含む。ただし、第３の実施の形態では、カメラ装置５０はネットワーク４０に接続されており、会話分析装置１００はネットワーク４０経由でカメラ装置５０と通信するサーバ装置として動作する。カメラ装置５０は、音声信号と画像信号をネットワーク４０経由で会話分析装置１００に送信する。第３の実施の形態の情報処理システムによれば、第２の実施の形態と同様の効果が得られる。
【０１０１】
［第４の実施の形態］
次に、第４の実施の形態を説明する。第２の実施の形態との違いを中心に説明し、第２の実施の形態と同様の内容については説明を省略することがある。第４の実施の形態の情報処理システムは、接客担当者が遠隔で顧客を接客する業務に適用される。
【０１０２】
図１１は、第４の実施の形態の情報処理システムの例を示す図である。
第４の実施の形態の情報処理システムは、ユーザ装置４２、カメラ装置５０，６０および会話分析装置１００を含む。ユーザ装置４２にはカメラ装置６０が接続されている。会話分析装置１００にはカメラ装置５０が接続されている。ユーザ装置４２および会話分析装置１００はネットワーク４０に接続されている。
【０１０３】
ユーザ装置４２は、顧客の自宅など会話分析装置１００とは異なる場所に設置され、顧客が使用する端末装置である。会話分析装置１００は、オフィスなどに設置され、接客担当者が使用する端末装置である。カメラ装置５０，６０は、イメージセンサを用いた動画撮影機能およびマイクロフォンを用いた音声録音機能をもつデバイス装置である。カメラ装置５０は、接客担当者を撮影し接客担当者の発話を録音するよう設定されている。カメラ装置６０は、顧客を撮影し顧客の発話を録音するよう設置されている。
【０１０４】
ユーザ装置４２は、顧客を撮影した画像データおよび顧客の音声を録音した音声データを収集し、ネットワーク４０を介して会話分析装置１００に送信する。また、ユーザ装置４２は、接客担当者を撮影した画像データおよび接客担当者の音声を録音した音声データを、ネットワーク４０を介して会話分析装置１００から受信する。ユーザ装置４２は、受信した画像データに基づいて接客担当者の映像をディスプレイに表示し、受信した音声データに基づいて接客担当者の発話をスピーカから再生する。
【０１０５】
会話分析装置１００は、接客担当者の画像データおよび接客担当者の音声データを収集し、ネットワーク４０を介してユーザ装置４２に送信する。また、会話分析装置１００は、顧客の画像データおよび顧客の音声データを、ネットワーク４０を介してユーザ装置４２から受信する。会話分析装置１００は、受信した画像データに基づいて顧客の映像をディスプレイに表示し、受信した音声データに基づいて顧客の発話をスピーカから再生する。これにより、顧客と接客担当者がテレビ会議方式で会話することができる。
【０１０６】
また、会話分析装置１００は、顧客の画像データ、接客担当者の画像データ、顧客の音声データおよび接客担当者の音声データに基づいて、第２の実施の形態と同様に顧客と接客担当者との間の会話を分析する。すなわち、会話分析装置１００は、音声データから顧客または接客担当者が発したキーワードを検出し、画像データから会話中の顧客の動作および接客担当者の動作を検出する。会話分析装置１００は、顧客と接客担当者の動作からキーワードを評価して重要キーワードを抽出する。会話分析装置１００は、抽出した重要キーワードのうち上位Ｎ件および下位Ｎ件の重要キーワードをディスプレイに表示する。
【０１０７】
ただし、会話分析装置１００は、ネットワーク４０を介して管理装置４１に重要キーワードを送信するようにしてもよい。また、接客担当者が接客に使用する端末装置と会話分析装置１００とを分離するようにしてもよい。第４の実施の形態の情報処理システムによれば、遠隔での接客についても第２の実施の形態と同様の効果が得られる。
【０１０８】
［第５の実施の形態］
次に、第５の実施の形態を説明する。第２の実施の形態との違いを中心に説明し、第２の実施の形態と同様の内容については説明を省略することがある。第２の実施の形態では、顧客の動作と接客担当者の動作の同期状況から顧客の共感度を推定し、顧客の共感度に応じてキーワードの重要度を評価した。これに対して第５の実施の形態では、顧客の動作と接客担当者の動作の同期状況から接客担当者の接客度を推定し、接客担当者の接客度に応じてキーワードの重要度を評価する。接客度は、接客の積極性や熱心さや丁寧さなどを含む接客姿勢を表している。第５の実施の形態で算出されるシーン評価値は接客担当者の接客度に対応し、第５の実施の形態で算出されるキーワード評価値は顧客または接客担当者がキーワードを発したときの接客度を反映している。よって、第５の実施の形態で抽出される重要キーワードは、良い接客との関連が大きいと推定されるキーワードや悪い接客との関連が大きいと推定されるキーワードである。第５の実施の形態で抽出される重要キーワードは、接客担当者の心理状態を反映していると言うこともできる。
【０１０９】
第５の実施の形態の情報処理システムは、図２，３，６〜８に示した第２の実施の形態の情報処理システムと同様の構成によって実現できる。そこで、以下では第５の実施の形態を、図２，３，６〜８と同様の符号を用いて説明することがある。なお、第５の実施の形態の情報処理システムを、図１０に示した第３の実施の形態の情報処理システムと同様のシステム構成とすることも可能であり、図１１に示した第４の実施の形態の情報処理システムと同様のシステム構成とすることも可能である。
【０１１０】
図１２は、第５の実施の形態のキーワード抽出例を示す図である。
第５の実施の形態では、顧客の動作と接客担当者の動作との間の同期を検出する。第５の実施の形態の同期は、顧客から動作を開始し、その直後に接客担当者が同じ種類の動作を行ったという動作の連鎖である。第５の実施の形態で検出する同期は、動作の順序が異なる点で第２の実施の形態の同期と異なる。この場合、接客担当者は顧客を注意深く見ており、顧客の話を注意深く聞いていると推定される。よって、このような同期が発生しているときに顧客または接客担当者が発したキーワードは、良い接客と関連のあるキーワードである可能性がある。一方、このような同期が発生していないときに顧客または接客担当者が発したキーワードは、悪い接客と関連のあるキーワードである可能性がある。
【０１１１】
例えば、以下に説明するシーン７４〜７６を考える。
シーン７４では、接客担当者が笑うという動作を行い、その直後に顧客が笑うという動作を行っている。シーン７４は、図４のシーン７１に対応する。顧客の動作の直前の時間Ｓ１以内に接客担当者は動作を行っており、顧客の動作の直後の時間Ｓ２以内に接客担当者は動作を行っていない。シーン７４では、顧客から開始して顧客の動作と接客担当者の動作とが同期しているわけではなく、接客度が小さいと判定される。すると、シーン７４の周辺で顧客または接客担当者が発した「速い」というキーワードの評価値は低くなる。
【０１１２】
シーン７５では、顧客が笑うという動作を行ったものの、顧客の動作の直前の時間Ｓ１以内に接客担当者は動作を行っておらず、顧客の動作の直後の時間Ｓ２以内にも接客担当者は動作を行っていない。シーン７５では、顧客の動作と接客担当者の動作とが同期していないため、接客度が小さいと判定される。すると、シーン７５の周辺で顧客または接客担当者が発した「面白い」というキーワードの評価値は低くなる。
【０１１３】
シーン７６では、顧客がうなずくという動作を行い、その直後に接客担当者がうなずくという動作を行っている。シーン７６は、図４のシーン７３に対応する。顧客の動作の直前の時間Ｓ１以内に接客担当者は動作を行っておらず、顧客の動作の直後の時間Ｓ２以内に接客担当者は同じ種類の動作を行っている。顧客から開始して顧客の動作と接客担当者の動作とが同期しているため、接客度が大きいと判定される。すると、シーン７６の周辺で顧客または接客担当者が発した「きれい」というキーワードの評価値は高くなる。
【０１１４】
キーワード評価値が算出されると第２の実施の形態と同様に、会話分析装置１００は、キーワード評価値が閾値Ｔ１より大きいキーワードを好ましいキーワードと推定し、重要キーワードとして抽出する。また、会話分析装置１００は、キーワード評価値が閾値Ｔ２より小さいキーワードを要注意のキーワードと推定し、重要キーワードとして抽出する。上記の例では、「きれい」が重要キーワードとして抽出される可能性がある。
【０１１５】
図１３は、第５の実施の形態の会話分析の手順例を示すフローチャートである。
（Ｓ３０）動作検出部１２６は、画像記憶部１２２から画像データを読み出す。また、キーワード検出部１２５は、音声記憶部１２１から音声データを読み出す。
【０１１６】
（Ｓ３１）キーワード検出部１２５は、ステップＳ３０で読み出した音声データを音声認識により単語列に変換する。キーワード検出部１２５は、変換した単語列から、キーワードテーブル１３１に登録された検索対象キーワードを検索し、検索されたキーワードおよび当該キーワードの出現時刻を示すキーワード検出テーブル１３２を生成する。
【０１１７】
（Ｓ３２）動作検出部１２６は、ステップＳ３０で読み出した画像データに含まれる各フレームから、画像認識により顧客が写った領域および接客担当者が写った領域を認識する。動作検出部１２６は、フレーム間の位置変化から顧客の動作の種類、動作時刻および動作の大きさを検出する。また、動作検出部１２６は、フレーム間の位置変化から接客担当者の動作の種類、動作時刻および動作の大きさを検出する。動作検出部１２６は、これらの検出した情報を含む動作検出テーブル１３３を生成する。
【０１１８】
（Ｓ３３）シーン評価部１２７は、ステップＳ３２で生成された動作検出テーブル１３３から顧客の動作時刻を抽出する。
（Ｓ３４）シーン評価部１２７は、ステップＳ３３で抽出した顧客の動作時刻それぞれについて、直前の接客担当者動作を動作検出テーブル１３３から検索して接客担当者動作の有無を判定し、接客担当者動作の有無に応じた重みを決定する。具体的には、シーン評価部１２７は、直前の時間Ｓ１の間に接客担当者の動作がない場合は重みｗ１を選択し、直前の時間Ｓ１の間に接客担当者の動作がある場合は重みｗ２を選択する。
【０１１９】
（Ｓ３５）シーン評価部１２７は、ステップＳ３３で抽出した顧客の動作時刻それぞれについて、直後の接客担当者動作を動作検出テーブル１３３から検索して同じ種類の接客担当者動作による同期の有無を判定し、同期の有無に応じた係数を決定する。具体的には、同期がある場合、すなわち、直後の時間Ｓ２の間に同じ種類の接客担当者動作がある場合、シーン評価部１２７は係数＝１を選択する。一方、同期がない場合、すなわち、直後の時間Ｓ２の間に同じ種類の接客担当者動作がない場合、シーン評価部１２７は係数＝ａを選択する。これらの係数は重みに乗じる値であり、ａ＜１である。
【０１２０】
（Ｓ３６）シーン評価部１２７は、時間Ｓ０×２の時間幅をもつスライディングウィンドウを設定する。シーン評価部１２７は、スライディングウィンドウに属する顧客の動作に対して算出したステップＳ３４，Ｓ３５の重みおよび係数を用いて、スライディングウィンドウの中心時刻におけるシーン評価値を算出する。このシーン評価値は接客担当者の接客度を表している。シーン評価部１２７は、スライディングウィンドウを時間Δｔずつスライドさせることで、時間Δｔ間隔でシーン評価値を算出する。シーン評価部１２７は、複数の時刻それぞれのシーン評価値を示すシーン評価テーブル１３４を生成する。
【０１２１】
（Ｓ３７）動作検出部１２６は、画像データが終了したか判断する。キーワード検出部１２５は、音声データが終了したか判断する。画像データと音声データが終了した場合はステップＳ３８に進み、終了していない場合はステップＳ３０に進む。
【０１２２】
（Ｓ３８）キーワード評価部１２８は、ステップＳ３１で生成されたキーワード検出テーブル１３２からキーワードの出現時刻を抽出する。キーワード評価部１２８は、キーワードの出現時刻それぞれについて、ステップＳ３６で生成されたシーン評価テーブル１３４から、当該出現時刻の直前の時間Ｓ３および直後の時間Ｓ３に属する周辺のシーン評価値を検索する。キーワード評価部１２８は、周辺のシーン評価値の平均値を算出する。
【０１２３】
（Ｓ３９）キーワード評価部１２８は、ステップＳ３８で算出されたシーン評価値の平均値をキーワードの同一性に応じて分類する。キーワード評価部１２８は、キーワード毎にシーン評価値の平均値を更に平均化してキーワード評価値を算出する。キーワード評価部１２８は、キーワード評価値を示すキーワード評価テーブル１３５を生成する。
【０１２４】
（Ｓ４０）キーワード評価部１２８は、ステップＳ３９で生成されたキーワード評価テーブル１３５から、キーワード評価値が閾値Ｔ１を超えるキーワードおよびキーワード評価値が閾値Ｔ２未満のキーワードを重要キーワードとして抽出する。キーワード評価部１２８は、抽出した重要キーワードとその順位を示す重要キーワードテーブル１３６を生成して評価結果記憶部１２４に格納する。キーワード評価部１２８は、重要キーワードテーブル１３６の内容を管理装置４１に送信する。管理装置４１は、重要キーワードテーブル１３６の内容に基づいて、上位Ｎ件および下位Ｎ件の重要キーワードを表示する。
【０１２５】
第５の実施の形態の情報処理システムによれば、音声データからキーワードが検出され、画像データから顧客の動作と接客担当者の動作が検出される。顧客が先に動作を行い、その直後に接客担当者が同じ種類の動作を行ったという同期が検出され、動作の同期に基づいて接客度を示すシーン評価値が算出され、キーワードの周辺時刻のシーン評価値からキーワード評価値が算出される。そして、キーワード評価値が高い好ましいキーワードとキーワード評価値が低い要注意のキーワードが抽出されて管理者に報告される。
【０１２６】
これにより、接客担当者の良い接客姿勢と関連がある可能性の高い重要キーワードと、接客担当者の悪い接客姿勢と関連がある可能性の高い重要キーワードとを推定でき、接客担当者の接客スキルの改善を支援することができる。また、顧客の動作と接客担当者の動作の同期状況からキーワードを評価するため、キーワードの出現回数から評価する方法などと比べて、接客担当者の心理状態を反映した重要キーワードを精度よく抽出することができる。また、顧客の動作の直前に接客担当者が動作を行っておらず、顧客の動作の直後に接客担当者が同じ種類の動作を行ったという条件を判定するため、接客姿勢としての接客担当者の心理状態を精度よく推定することができる。
【０１２７】
［第６の実施の形態］
次に、第６の実施の形態を説明する。第２の実施の形態との違いを中心に説明し、第２の実施の形態と同様の内容については説明を省略することがある。第２の実施の形態では、音声データから検出すべき検索対象キーワードは予め指定されていた。これに対して第６の実施の形態では、会話分析を通じて自動的に検索対象キーワードが追加されるようにし、手動で検索対象キーワードを指定する負担を軽減する。
【０１２８】
第６の実施の形態の情報処理システムは、図２に示した第２の実施の形態の情報処理システムと同様のシステム構成によって実現できる。第６の実施の形態の情報処理システムを、図１０に示した第３の実施の形態の情報処理システムと同様のシステム構成とすることも可能であり、図１１に示した第４の実施の形態の情報処理システムと同様のシステム構成とすることも可能である。ただし、会話分析装置１００に代えて後述する会話分析装置２００を使用する。第６の実施の形態の会話分析装置２００は、図３に示した第２の実施の形態の情報処理システムと同様のハードウェア構成によって実現できる。なお、第５の実施の形態のように、接客度を反映した重要キーワードを抽出することも可能である。
【０１２９】
図１４は、第６の実施の形態の会話分析装置の機能例を示すブロック図である。
会話分析装置２００は、音声記憶部２２１、画像記憶部２２２、キーワード記憶部２２３および評価結果記憶部２２４を有する。これらの記憶部は、例えば、ＲＡＭまたはＨＤＤの記憶領域を用いて実現される。また、会話分析装置２００は、キーワード検出部２２５、動作検出部２２６、シーン評価部２２７、単語抽出部２２８およびキーワード評価部２２９を有する。これらの処理部は、例えば、プログラムを用いて実現される。
【０１３０】
音声記憶部２２１は、カメラ装置５０から受信した音声信号を含む音声データを記憶する。画像記憶部２２２は、カメラ装置５０から受信した画像信号を含む画像データを記憶する。キーワード記憶部２２３は、図７に示したキーワードテーブル１３１を記憶する。キーワードテーブル１３１には、管理者などによって予め指定された検索対象キーワードが登録される。また、キーワードテーブル１３１には、キーワード評価部２２９によって自動的に追加された検索対象キーワードが登録される。評価結果記憶部２２４は、図８に示した重要キーワードテーブル１３６を記憶する。
【０１３１】
キーワード検出部２２５は、音声記憶部２２１に記憶された音声データを、音声認識により単語列に変換する。キーワード検出部２２５は、キーワード記憶部２２３に記憶されたキーワードテーブル１３１が示す検索対象キーワードを単語列の中から検出し、図７に示したキーワード検出テーブル１３２を生成する。
【０１３２】
動作検出部２２６は、画像記憶部２２２に記憶された画像データに含まれる各フレームから、画像認識により顧客と接客担当者を認識する。動作検出部２２６は、各フレームから接客担当者が写った領域の特徴情報を抽出し、フレーム間の特徴情報の変化に基づいて接客担当者の動作を検出する。また、動作検出部２２６は、各フレームから顧客が写った領域の特徴情報を抽出し、フレーム間の特徴情報の変化に基づいて顧客の動作を検出する。動作検出部２２６は、図７に示した動作検出テーブル１３３を生成する。
【０１３３】
シーン評価部２２７は、動作検出テーブル１３３に基づいて、時間Δｔ間隔でシーン評価値を算出する。前述のように、シーン評価部２２７は、接客担当者の動作時刻を基準にして、その直前の時間Ｓ１の間に顧客の動作が生じているか否か、および、その直後の時間Ｓ２の間に同じ種類の顧客の動作が生じているか否かを判定する。シーン評価部２２７は、このような接客担当者の動作と顧客の動作の間の同期状況に基づいてシーン評価値を算出し、図８に示したシーン評価テーブル１３４を生成する。
【０１３４】
単語抽出部２２８は、音声記憶部２２１に記憶された音声データを、音声認識により単語列に変換する。単語抽出部２２８は、キーワードテーブル１３１に登録されていない未登録単語を単語列の中から抽出する。ただし、日本語の助詞や助動詞など発話中に多数出現し得る汎用的単語（ストップワード）は除外する。未登録単語の抽出には、非特許文献１（「単語抽出による音声要約文生成法とその評価」）に記載された技術を用いてもよい。単語抽出部２２８は、未登録単語の抽出結果をキーワード評価部２２９に通知する。抽出結果は、抽出した未登録単語と当該未登録単語が出現する時刻とを含む。
【０１３５】
キーワード評価部２２９は、キーワード検出テーブル１３２、シーン評価テーブル１３４および未登録単語の抽出結果に基づいて、キーワードおよび未登録単語それぞれの単語評価値を算出する。単語評価値の算出方法は、第２の実施の形態のキーワード評価値と同様である。すなわち、キーワードに対する単語評価値はキーワード評価値と同じであり、未登録単語に対する単語評価値はキーワード評価値と同様の方法で算出される。
【０１３６】
よって、キーワード評価部２２９は、キーワード毎に当該キーワードの１回以上の出現時刻を抽出し、出現時刻毎に周辺時刻のシーン評価値を平均化し、１回以上の出現時刻の間で更に平均化して単語評価値とする。また、キーワード評価部２２９は、未登録単語毎に当該未登録単語の１回以上の出現時刻を抽出し、出現時刻毎に周辺時刻のシーン評価値を平均化し、１回以上の出現時刻の間で更に平均化して単語評価値とする。そして、キーワード評価部２２９は、図８に示したキーワード評価テーブル１３５と同様のデータ構造をもつ単語評価テーブルを生成する。単語評価テーブルには、キーワードに対する単語評価値と未登録単語に対する単語評価値の両方が記載される。
【０１３７】
キーワード評価部２２９は、キーワードのうち単語評価値が閾値Ｔ１を超えるキーワードと閾値Ｔ２未満のキーワードを重要キーワードとして抽出する。そして、キーワード評価部２２９は、図８に示した重要キーワードテーブル１３６を生成して評価結果記憶部２２４に格納し、重要キーワードテーブル１３６の内容を管理装置４１に送信する。また、キーワード評価部２２９は、未登録単語のうち単語評価値が閾値Ｔ１を超える未登録単語と閾値Ｔ２未満の未登録単語を抽出する。キーワード評価部２２９は、抽出した未登録単語を検索対象キーワードとしてキーワードテーブル１３１に追加する。
【０１３８】
図１５は、第６の実施の形態の会話分析の手順例を示すフローチャートである。
（Ｓ５０）動作検出部２２６は、画像記憶部２２２から画像データを読み出す。また、キーワード検出部２２５は、音声記憶部２２１から音声データを読み出す。また、単語抽出部２２８は、音声記憶部２２１から同じ音声データを読み出す。
【０１３９】
（Ｓ５１）キーワード検出部２２５は、ステップＳ５０で読み出した音声データを音声認識により単語列に変換し、キーワードテーブル１３１に登録された検索対象キーワードを単語列から検索し、キーワード検出テーブル１３２を生成する。また、単語抽出部２２８は、ステップＳ５０で読み出した音声データを音声認識により単語列に変換し、キーワードテーブル１３１に登録されていない未登録単語を単語列から抽出する。
【０１４０】
（Ｓ５２）動作検出部２２６は、ステップＳ５０で読み出した画像データに含まれる各フレームから、画像認識により顧客が写った領域および接客担当者が写った領域を認識する。動作検出部２２６は、フレーム間の位置変化から顧客の動作の種類、動作時刻および動作の大きさを検出する。また、動作検出部２２６は、フレーム間の位置変化から接客担当者の動作の種類、動作時刻および動作の大きさを検出する。動作検出部２２６は、これらの検出した情報を含む動作検出テーブル１３３を生成する。
【０１４１】
（Ｓ５３）シーン評価部２２７は、ステップＳ５２で生成された動作検出テーブル１３３から接客担当者の動作時刻を抽出する。
（Ｓ５４）シーン評価部２２７は、ステップＳ５３で抽出した接客担当者の動作時刻それぞれについて、直前の顧客動作を動作検出テーブル１３３から検索して顧客動作の有無を判定し、顧客動作の有無に応じた重みを決定する。
【０１４２】
（Ｓ５５）シーン評価部２２７は、ステップＳ５３で抽出した接客担当者の動作時刻それぞれについて、直後の顧客動作を動作検出テーブル１３３から検索して同じ種類の顧客動作による同期の有無を判定し、同期の有無に応じた係数を決定する。
【０１４３】
（Ｓ５６）シーン評価部２２７は、所定の時間幅をもつスライディングウィンドウを設定する。シーン評価部２２７は、スライディングウィンドウに属する接客担当者の動作に対して算出したステップＳ５４，Ｓ５５の重みおよび係数を用いて、スライディングウィンドウの中心時刻におけるシーン評価値を算出する。シーン評価部２２７は、スライディングウィンドウを時間Δｔずつスライドさせてシーン評価テーブル１３４を生成する。
【０１４４】
（Ｓ５７）動作検出部２２６は、画像データが終了したか判断する。キーワード検出部２２５は、音声データが終了したか判断する。単語抽出部２２８は、音声データが終了したか判断する。画像データと音声データが終了した場合はステップＳ５８に進み、終了していない場合はステップＳ５０に進む。
【０１４５】
（Ｓ５８）キーワード評価部２２９は、ステップＳ５１で生成されたキーワード検出テーブル１３２からキーワードの出現時刻を抽出する。キーワード評価部２２９は、キーワードの出現時刻それぞれについて、ステップＳ５６で生成されたシーン評価テーブル１３４から、当該出現時刻の周辺のシーン評価値を検索し、周辺のシーン評価値の平均値を算出する。同様に、キーワード評価部２２９は、ステップＳ５１の未登録単語の抽出結果から未登録単語の出現時刻を抽出する。キーワード評価部２２９は、未登録単語の出現時刻それぞれについて、シーン評価テーブル１３４から当該出現時刻の周辺のシーン評価値を検索し、周辺のシーン評価値の平均値を算出する。
【０１４６】
（Ｓ５９）キーワード評価部２２９は、キーワードについて、ステップＳ５８で算出されたシーン評価値の平均値をキーワードの同一性に応じて分類し、キーワード毎にシーン評価値の平均値を更に平均化して単語評価値を算出する。同様に、キーワード評価部２２９は、未登録単語について、ステップＳ５８で算出されたシーン評価値の平均値を未登録単語の同一性に応じて分類し、未登録単語毎にシーン評価値の平均値を更に平均化して単語評価値を算出する。キーワード評価部２２９は、キーワードおよび未登録単語の単語評価値を示す単語評価テーブルを生成する。
【０１４７】
（Ｓ６０）キーワード評価部２２９は、ステップＳ５９で生成された単語評価テーブルから、単語評価値が閾値Ｔ１を超えるキーワードおよび単語評価値が閾値Ｔ２未満のキーワードを重要キーワードとして抽出する。キーワード評価部２２９は、抽出した重要キーワードとその順位を示す重要キーワードテーブル１３６を生成して評価結果記憶部２２４に格納する。キーワード評価部２２９は、重要キーワードテーブル１３６の内容を管理装置４１に送信する。管理装置４１は、重要キーワードテーブル１３６の内容に基づいて、上位Ｎ件および下位Ｎ件の重要キーワードを表示する。
【０１４８】
（Ｓ６１）キーワード評価部２２９は、ステップＳ５９で生成された単語評価テーブルから、単語評価値が閾値Ｔ１を超える未登録単語および単語評価値が閾値Ｔ２未満の未登録単語を抽出する。キーワード評価部２２９は、抽出した未登録単語を新たな検索対象キーワードとしてキーワードテーブル１３１に追加する。
【０１４９】
第６の実施の形態の情報処理システムによれば、第２の実施の形態と同様の効果が得られる。第６の実施の形態では更に、接客との関連が大きい可能性がある検索対象キーワードが、会話分析を通じて自動的に追加される。よって、検索対象キーワードを事前に網羅的に指定しておかなくてもよく、検索対象キーワードを指定する作業の負担を軽減できる。また、検索対象キーワードが自動的に学習されるため、会話から抽出される重要キーワードの精度が向上し、会話分析結果の有用性が向上する。
【符号の説明】
【０１５０】
１０  キーワード抽出装置
１１  記憶部
１２  処理部
１３  音声データ
１４  動作データ
１５  キーワード
１６，１７  動作
１８  評価値
【図１】
2020067790.tif 000007
【図２】
2020067790.tif 000008
【図３】
2020067790.tif 000009
【図４】
2020067790.tif 000010
【図５】
2020067790.tif 000011
【図６】
2020067790.tif 000012
【図７】
2020067790.tif 000013
【図８】
2020067790.tif 000014
【図９】
2020067790.tif 000015
【図１０】
2020067790.tif 000016
【図１１】
2020067790.tif 000017
【図１２】
2020067790.tif 000018
【図１３】
2020067790.tif 000019
【図１４】
2020067790.tif 000020
【図１５】
2020067790.tif 000021