(57)【特許請求の範囲】
【請求項１】
接客者の接客態度を接客時の音声に基づきモニタリングするための接客モニタリング装置であって、
前記接客者とその接客相手との会話における音声が音声信号として入力される音声入力部と、
前記音声信号に基づく音声データを、前記音声を取得した位置に関する取得位置データおよび前記音声を取得した時刻に関する時刻データと紐付けて記憶する音声データ記憶部と、
前記接客者と前記接客相手とを撮影した撮影画像が映像信号として入力される画像入力部と、
前記接客者を前記撮影画像から抽出し接客者位置データを取得するとともに当該接客者に識別情報を付与する接客者抽出部と、
前記接客相手を前記撮影画像から抽出し接客相手位置データを取得するとともに当該接客相手に識別情報を付与する接客相手抽出部と、
前記接客相手の識別情報に対して、当該接客相手に接客を行ったすべての前記接客者の識別情報および各々の会話時刻を対応付けた接客リストを生成する接客リスト生成部と、
前記接客リストに基づいてユーザから指定された前記接客相手の識別情報に対応するすべての前記接客者の識別情報を抽出し、抽出したすべての前記接客者の識別情報に対応する前記接客者位置データを取得し、取得した前記接客者位置データの各々に対応する前記取得位置データを有する音声データを、前記会話時刻の順に、前記音声データ記憶部に記憶された前記音声データから抽出する音声データ抽出部と、
を備えたことを特徴とする接客モニタリング装置。
【請求項２】
前記音声データ抽出部は、前記接客リストに基づいてユーザから指定された前記接客者の識別情報に対応するすべての前記接客相手の識別情報を抽出し、抽出したすべての前記接客相手の識別情報に対応する前記接客相手位置データを取得し、取得した前記接客相手位置データの各々に対応する前記取得位置データを有する音声データを、前記会話時刻の順に、前記音声データ記憶部に記憶された前記音声データから抽出することを特徴とする請求項１に記載の接客モニタリング装置。
【請求項３】
前記撮影画像を出力する画像出力部を更に備え、
前記ユーザから指定された前記接客者または前記接客相手は、前記画像出力部によって出力された前記撮影画像において前記ユーザから指定されたものであることを特徴とする請求項１または請求項２に記載の接客モニタリング装置。
【請求項４】
前記接客相手抽出部は、前記撮影画像から抽出した前記接客相手について、前記接客者抽出部により抽出された前記各接客者に対する距離をそれぞれ取得し、前記距離の大きさに基づき前記接客相手を前記接客者のいずれかに対応づけることを特徴とする請求項１に記載の接客モニタリング装置。
【請求項５】
請求項１から請求項４のいずれかに記載の接客モニタリング装置と、前記接客者の各々とその接客相手との会話における音声をそれぞれ音声信号として前記接客モニタリング装置に入力する音声入力装置と、前記接客者と前記接客相手とを撮影した撮影画像を映像信号として前記接客モニタリング装置に入力する画像入力装置とを備えたことを特徴とする接客モニタリングシステム。
【請求項６】
接客者の接客態度を接客時の音声に基づきモニタリングする情報処理装置の接客モニタリング方法であって、
前記接客者とその接客相手との会話における音声を音声信号として入力する音声入力ステップと、
前記音声信号に基づく音声データを、前記音声を取得した位置に関する取得位置データおよび前記音声を取得した時刻に関する時刻データと紐付けて記憶する音声データ記憶ステップと、
前記接客者と前記接客相手とを撮影した撮影画像を映像信号として入力する画像入力ステップと、
前記接客者を前記撮影画像から抽出し接客者位置データを取得するとともに当該接客者に識別情報を付与する接客者抽出ステップと、
前記接客相手を前記撮影画像から抽出し接客相手位置データを取得するとともに当該接客相手に識別情報を付与する接客相手抽出ステップと、
前記接客相手の識別情報に対して、当該接客相手に接客を行ったすべての前記接客者の識別情報および各々の会話時刻を対応付けた接客リストを生成する接客リスト生成ステップと、
前記接客リストに基づいてユーザから指定された前記接客相手の識別情報に対応するすべての前記接客者の識別情報を抽出し、抽出したすべての前記接客者の識別情報に対応する前記接客者位置データを取得し、取得した前記接客者位置データの各々に対応する前記取得位置データを有する音声データを、前記会話時刻の順に、前記記憶された前記音声データから抽出する音声データ抽出ステップと
を有することを特徴とする接客モニタリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、接客者の接客態度を接客時の音声に基づきモニタリングするための接客モニタリング装置、接客モニタリングシステムおよび接客モニタリング方法に関する。
【背景技術】
【０００２】
小売りやホテル等のサービス業においては、従業員等の良好な接客態度が顧客満足度につながり、その結果、集客率や売上が向上することが知られている。従業員等の接客態度を評価する方法としては、顧客に対する意見調査などが実施されるのが一般的であるが、そのような接客評価の方法は多数の人員を投入して行なわれるため、非効率的であり、また客観性にも乏しいという問題がある。
【０００３】
そこで、例えば、実際に接客している店員と顧客との会話を取得し、その音声に基づいて、店員の感情および顧客の感情を認識することにより、顧客満足度を算出する接客データ記録装置が知られている（特許文献１参照）。
【０００４】
また、そのような音声に基づく接客評価は、接客対象となる顧客ごとに行うことが望ましい。そこで、例えば、店員と顧客との会話に含まれる少なくとも一方の音声に基づいて、店員の接客対象となっている対象顧客の切り替わりを検出するようにした接客支援装置が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許５５３３２１９号公報
【特許文献２】特開２０１１−２３７９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、１人の顧客に対して、接客する店員が頻繁に切り替わるような場合（例えば、セルフサービス形式で飲食物を提供する店舗において、各料理品やその食材毎に異なる店員に対して顧客が適宜注文等を行う場合）には、店員と顧客との対応関係（すなわち、会話をした関係）や店舗内において会話がなされた位置も頻繁に変化するが、そのような場合でも評価対象の会話（音声データ）を容易に取得できることが望ましい。これにより、１人の顧客に応対した複数の店員の接客態度、（或いは、１人の店員が応対した複数の顧客に対する接客態度）のモニタリングが容易となる。
【０００７】
しかしながら、上記特許文献１及び２に記載された従来技術では、１人の顧客に対して接客する店員が頻繁に切り替わるような場合は想定されておらず、そのような場合に所望の店員と顧客との会話を抽出することは容易ではないという問題がある。
【０００８】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、接客者と接客相手との対応関係や会話がなされた位置が変化する場合でも、所望の接客者と接客相手との会話を容易にモニタリング可能とする接客モニタリング装置、接客モニタリングシステムおよび接客モニタリング方法を提供することを主目的とする。
【課題を解決するための手段】
【０００９】
本発明の接客モニタリング装置は、接客者の接客態度を接客時の音声に基づきモニタリングするための接客モニタリング装置であって、前記接客者とその接客相手との会話における音声が音声信号として入力される音声入力部と、前記音声信号に基づく音声データを、前記音声を取得した位置に関する位置データおよび前記音声を取得した時刻に関する時刻データと紐付けて記憶する音声データ記憶部と、ユーザから指定された位置および時刻に対応する音声データを前記音声データ記憶部に記憶された前記音声データから抽出する音声データ抽出部とを備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、接客時の人物の音声に基づき当該人物の接客態度を適正に評価することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る接客モニタリングシステムの全体構成図
【図２】実施形態に係る接客モニタリングシステムの第１適用例を示す説明図
【図３】実施形態に係る接客モニタリングシステムの機能ブロック図
【図４】図３に示した接客者抽出部による接客者抽出処理の流れを示すフロー図
【図５】図３に示した接客相手抽出部による接客相手抽出処理の流れを示すフロー図
【図６】図３に示した接客相手抽出部による会話相手決定処理の流れを示すフロー図
【図７】接客者抽出部および接客相手抽出部による人物検出処理の説明図
【図８】接客者抽出部および接客相手抽出部による人物検出処理の説明図
【図９】接客リスト生成部により生成された接客リストの一例を示す図
【図１０】図３に示したモニタリング処理部による音声モニタリング処理の流れを示すフロー図
【図１１】図１０中のステップＳＴ４０１におけるモニタリング対象の指定方法の説明図
【図１２】図１１のモニタリング対象の指定方法の第１変形例を示す説明図
【図１３】図１１のモニタリング対象の指定方法の第２変形例を示す説明図
【図１４】図１１のモニタリング対象の指定方法の第３変形例を示す説明図
【図１５】図１１のモニタリング対象の指定方法の第４変形例を示す説明図
【図１６】図１１のモニタリング対象の指定方法の第５変形例を示す説明図
【図１７】図１１のモニタリング対象の指定方法の第６変形例を示す説明図
【図１８】図１１のモニタリング対象の指定方法の第７変形例を示す説明図
【図１９】実施形態に係る接客モニタリングシステムの第２適用例を示す説明図
【図２０】実施形態に係る接客モニタリングシステムの第３適用例を示す説明図
【発明を実施するための形態】
【００１２】
上記課題を解決するためになされた第１の発明は、接客者の接客態度を接客時の音声に基づきモニタリングするための接客モニタリング装置であって、前記接客者とその接客相手との会話における音声が音声信号として入力される音声入力部と、前記音声信号に基づく音声データを、前記音声を取得した位置に関する取得位置データおよび前記音声を取得した時刻に関する時刻データと紐付けて記憶する音声データ記憶部と、前記接客者と前記接客相手とを撮影した撮影画像が映像信号として入力される画像入力部と、前記接客者を前記撮影画像から抽出し接客者位置データを取得するとともに当該接客者に識別情報を付与する接客者抽出部と、前記接客相手を前記撮影画像から抽出し接客相手位置データを取得するとともに当該接客相手に識別情報を付与する接客相手抽出部と、前記接客相手の識別情報に対して、当該接客相手に接客を行ったすべての前記接客者の識別情報および各々の会話時刻を対応付けた接客リストを生成する接客リスト生成部と、前記接客リストに基づいてユーザから指定された前記接客相手の識別情報に対応するすべての前記接客者の識別情報を抽出し、抽出したすべての前記接客者の識別情報に対応する前記接客者位置データを取得し、取得した前記接客者位置データの各々に対応する前記取得位置データを有する音声データを、前記会話時刻の順に、前記音声データ記憶部に記憶された前記音声データから抽出する音声データ抽出部とを備えたことを特徴とする。
【００１３】
この第１の発明に係る接客モニタリング装置によれば、１人の客を指定することで、その客に対する複数の店員の接客時の音声を連続的に抽出することが可能となり、その結果、複数の店員による１人の客に対する接客態度を容易に評価することができる。
【００１４】
また、第２の発明では、上記第１の発明において、前記音声データ抽出部は、前記接客リストに基づいてユーザから指定された前記接客者の識別情報に対応するすべての前記接客相手の識別情報を抽出し、抽出したすべての前記接客相手の識別情報に対応する前記接客相手位置データを取得し、取得した前記接客相手位置データの各々に対応する前記取得位置データを有する音声データを、前記会話時刻の順に、前記音声データ記憶部に記憶された前記音声データから抽出することを特徴とする。
【００１５】
この第２の発明に係る接客モニタリング装置によれば、１人の店員を指定することで、その店員の複数の客に対する接客時の音声をまとめて抽出することが可能となり、その結果、複数の客に対する１人の店員の接客態度を容易に評価することができる。
【００１６】
また、第３の発明では、上記第１または第２の発明において、前記撮影画像データに基づき前記撮影画像を出力する画像出力部を更に備え、前記ユーザから指定された前記接客者または前記接客相手は、前記画像出力部によって出力された前記撮影画像において前記ユーザから指定されたものであることを特徴とする。
【００１７】
この第３の発明に係る接客モニタリング装置によれば、所望の接客時の会話に関する音声データを撮影画像中の接客者または接客相手の位置に基づき抽出するため、所望の接客者と接客相手との会話を容易かつ確実にモニタリングすることが可能となる。
【００１８】
また、第４の発明では、上記第１の発明において、前記接客相手抽出部は、前記撮影画像から抽出した前記接客相手について、前記接客者抽出部により抽出された前記各接客者に対する距離をそれぞれ取得し、前記距離の大きさに基づき前記接客相手を前記接客者のいずれかに対応づけることを特徴とする。
【００１９】
この第４の発明に係る接客モニタリング装置によれば、１人の客に対して接客する店員が頻繁に切り替わるような場合でも、接客相手と接客者との距離に基づき接客者と接客相手とを対応づけるため、所望の接客者と接客相手との会話を容易にモニタリングすることが可能となる。
【００２０】
また、第５の発明は、上記第１から第４の発明のいずれかに係る接客モニタリング装置と、前記接客者の各々とその接客相手との会話における音声をそれぞれ音声信号として前記接客モニタリング装置に入力する音声入力装置と、前記接客者と前記接客相手とを撮影した撮影画像を映像信号として前記接客モニタリング装置に入力する画像入力装置とを備えたことを特徴とする接客モニタリングシステムである。
【００２１】
また、第６の発明は、接客者の接客態度を接客時の音声に基づきモニタリングする情報処理装置の接客モニタリング方法であって、前記接客者とその接客相手との会話における音声を音声信号として入力する音声入力ステップと、前記音声信号に基づく音声データを、前記音声を取得した位置に関する取得位置データおよび前記音声を取得した時刻に関する時刻データと紐付けて記憶する音声データ記憶ステップと、前記接客者と前記接客相手とを撮影した撮影画像を映像信号として入力する画像入力ステップと、前記接客者を前記撮影画像から抽出し接客者位置データを取得するとともに当該接客者に識別情報を付与する接客者抽出ステップと、前記接客相手を前記撮影画像から抽出し接客相手位置データを取得するとともに当該接客相手に識別情報を付与する接客相手抽出ステップと、前記接客相手の識別情報に対して、当該接客相手に接客を行ったすべての前記接客者の識別情報および各々の会話時刻を対応付けた接客リストを生成する接客リスト生成ステップと、前記接客リストに基づいてユーザから指定された前記接客相手の識別情報に対応するすべての前記接客者の識別情報を抽出し、抽出したすべての前記接客者の識別情報に対応する前記接客者位置データを取得し、取得した前記接客者位置データの各々に対応する前記取得位置データを有する音声データを、前記会話時刻の順に、前記記憶された前記音声データから抽出する音声データ抽出ステップとを有することを特徴とする。
【００２２】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２３】
図１は、本発明の実施形態に係る接客モニタリングシステム１の全体構成図であり、図２は、接客モニタリングシステム１の第１適用例を示す説明図である。
【００２４】
図１に示すように、接客モニタリングシステム１は、店舗２などに構築され、接客者（ここでは、店員）の接客相手（ここでは、来店した客）に対する接客態度を管理者等（ここでは、店舗２のマネージャー）によってモニタリング可能とするものである。店舗２内には、接客モニタリングシステム１の構成要素として、店内を撮影するカメラ（画像入力装置）３と、店内の音声を収集するマイク（音声入力装置）４と、店員の接客態度を接客時の音声に基づきモニタリングするための接客モニタリング装置５が備えられている。接客モニタリング装置５は、店員の接客態度を接客時の音声に加えて映像に基づきモニタリングすることもできる。
【００２５】
カメラ３およびマイク４は、ＬＡＮ（Local Area Network）等の通信回線６を介して接客モニタリング装置５と直接または間接的に通信可能である。また、接客モニタリングシステム１において、カメラ３、マイク４、及び接客モニタリング装置５は、通信回線６に設けられた中継装置７により、公衆回線や専用回線に基づくインターネット等の広域ネットワーク８を介して本部管理装置９と通信可能である。
【００２６】
本実施形態において、接客モニタリングシステム１が適用される店舗２では、客に対してセルフサービス形式で飲食物が提供される。図２（店内の平面視）に示すように、店舗２では、出入口１１から入店した客（図２中の客Ｃ０−Ｃ３参照）は、販売カウンタ１２およびレジカウンタ１３の手前側を矢印Ａで示す商品購入経路を進みながら、各商品（ここでは、料理品）を注文してその受け取りおよび精算を行う。販売カウンタ１２の奥側には、各商品の注文を受けてその受渡し算を行う店員（図２中の店員Ｓ１−Ｓ３参照）が配置され、また、レジカウンタ１３の奥側には、客が購入した各商品の精算を行う店員（図２中の店員Ｓ０参照）が配置されている。
【００２７】
通常、客（図２中の客Ｃ１−Ｃ３参照）は、販売カウンタ１２の手前側を移動しながら、商品ごとに異なる店員（図２中の店員Ｓ１−Ｓ３参照）に対して、所望の商品を注文し、その受け取りを行う。また、商品の受け取りが終了した客（図２中の客Ｃ０参照）は、レジカウンタ１３に移動し、店員（図２中の店員Ｓ０参照）に対して購入した全商品の精算を行う。なお、客が少ない時間帯など、店員１名がカウンタの奥側を移動しながら接客する場合もある。
【００２８】
図２に示す例において、接客モニタリングシステム１は、各商品に関する注文時および受渡し時における店員Ｓ１−Ｓ３と客Ｃ１−Ｃ３の会話における音声を取得することにより、販売時の店員Ｓ１−Ｓ３の接客態度のモニタリングを行う。ただし、接客モニタリングシステム１は、精算時の店員Ｓ０と客Ｃ０と会話における音声を取得し、精算時の接客者の接客態度のモニタリングを行うことも可能である。
【００２９】
カメラ３は、店内の天井に設置された公知の全方位ネットワークカメラであり、店員Ｓ０−Ｓ３および客Ｃ０−Ｃ３を含む店内の様子を連続的に撮影する。カメラ３により撮影された映像は映像信号として通信回線６を介して接客モニタリング装置５や本部管理装置９に送信される。なお、カメラ３は、少なくとも店員の動作や接客される客の動作（必要に応じて、店員や客の顔の表情等を含む）を撮影可能な限りにおいて、その機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。例えば、店内の各店員の配置に応じて複数の場所にそれぞれカメラを配置する構成も可能である。
【００３０】
マイク４は、店内の天井に設置された公知の全方位ネットワークマイクであり、店員Ｓ０−Ｓ３および客Ｃ０−Ｃ３の会話における音声を含む店内の音を連続的に取得（集音）する。マイク４は、複数（例えば、１６個）のマイク素子を有するマイクアレイ（図示せず）から構成される。各マイク素子は、周方向に所定の角度ごとにそれぞれ配置されており、信号処理により異なる集音（ここでは、２０°の角度で広がる集音）が可能である。マイク４により収集された音声は音声信号として通信回線６を介して接客モニタリング装置５や本部管理装置９に送信される。
【００３１】
なお、マイク４は、少なくとも店員と客との会話における音声を収集可能な限りにおいて、その機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。例えば、接客モニタリングシステム１では、店内の各店員の配置に応じて複数の場所（販売カウンタ１２や、レジカウンタ１３など）にそれぞれマイクを配置する構成や、各店員Ｓ１−Ｓ３の被服等にそれぞれマイクを取り付けた構成も可能である。また、本実施形態では、マイク４は、店員Ｓ０−Ｓ３および客Ｃ０−Ｃ３の双方の音声を取得するが、これに限らず、店員Ｓ０−Ｓ３および客Ｃ０−Ｃ３の一方（或いは、それら店員または客の中の一部）の音声のみを取得する構成としてもよい。
【００３２】
接客モニタリング装置５は、店舗２のバックヤードに設置され、ユーザ（店舗２の管理者等）が使用するＰＣ（Personal Computer）である。後述するように、接客モニタリング装置５は、カメラ３からの映像およびマイク４からの音声を取得し、取得した音声データから所望の店員と客との会話を抽出するための音声モニタリング処理を実行する。
【００３３】
詳細は図示しないが、接客モニタリング装置５は、所定の制御プログラムに基づき各種情報処理や周辺機器の制御などを統括的に実行するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリア等として機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、ネットワークを介した通信処理を実行するネットワークインタフェース、モニタ（画像出力装置）、スピーカ、入力デバイス、及びＨＤＤ（Hard Disk Drive）などを含むハードウェア構成を有しており、後に詳述する接客モニタリング装置５の各種機能（音声モニタリング処理等）の少なくとも一部については、ＣＰＵが所定の制御プログラム（音声モニタリング用プログラム）を実行することによって実現可能である。なお、接客モニタリング装置５としては、ＰＣに限らず、同様の機能を果たすことが可能な他の情報処理装置（サーバ等）を用いることもできる。また、接客モニタリング装置５の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
【００３４】
本部管理装置９は、接客モニタリング装置５と同様の構成を有するＰＣであり、接客モニタリング装置５と同様の処理を実行することが可能である。本部管理装置９は、店舗２と同様の複数の店舗を統括管理する本部管理者によって利用される。なお、本部管理装置９が接客モニタリング装置５による音声モニタリング処理の一部を分担する構成も可能である。
【００３５】
図３は、実施形態に係る接客モニタリングシステム１の機能ブロック図である。接客モニタリングシステム１において、接客モニタリング装置５は、装置各部に対してユーザによる各種設定や動作指令の入力を行うユーザ入力部２０と、カメラ３からの映像が映像信号として入力される画像入力部２１と、その入力された映像信号に基づく時間的に連続する複数の画像フレーム（撮影画像）について画像処理を行うことにより、店員および客をそれぞれ抽出する接客者抽出部２２および接客相手抽出部２３と、店員の客に対する接客状況（対応関係等）を示す接客リストを生成する接客リスト生成部２４と、その接客リストを記憶する接客リスト記憶部２５とを備える。なお、ユーザ入力部２０は、公知の入力デバイス（キーボード、マウス、タッチパネル等の入力装置）によって実現される。
【００３６】
接客者抽出部２２は、公知の人物認識技術を利用して各画像フレームから人物を検出する人物検出処理を実行する。また、接客者抽出部２２は、検出した人物について、公知の人物追跡技術を利用して複数の画像フレームにおける人物を追跡する追跡処理を実行する。ユーザは、後述する図７に示すように、ユーザ入力部２０を介して画像フレームＰ１、Ｐ２における店員エリア２６（図２中の店員の移動範囲１５に対応）を予め設定することができ、これにより、接客者抽出部２２は、画像フレームにおける店員エリア２６において検出した各人物を店員として抽出し、それらの店員を追跡する。
【００３７】
接客相手抽出部２３は、接客者抽出部２２と同様に、人物検出処理および追跡処理を実行する。ユーザは、後述する図７に示すように、ユーザ入力部２０を介して画像フレームＰ１、Ｐ２における客エリア２７（図２中の客の移動範囲１６に対応）を予め設定することができ、これにより、接客相手抽出部２３は、画像フレームにおける客エリア２７において検出した各人物を客として抽出し、それらの客を追跡する。
【００３８】
また、接客相手抽出部２３は、各画像フレームにおいて抽出した客について、各店員との間で会話がなされた可能性が高いか否かを判定し、会話がなされた可能性が高いと判定した１または複数の店員を会話相手として対応づける。より詳細には、接客相手抽出部２３は、抽出した客について、店員Ｓ１−Ｓ３との距離をそれぞれ算出し、最小の距離となる店員を会話相手として対応づける。
【００３９】
接客リスト生成部２４は、各画像フレームに関し、接客者抽出部２２および接客相手抽出部２３による人物検出処理の結果（後述する図８に示した人物検出データＤ１、Ｄ２を参照）に基づき、店員および客の各対応関係（会話相手の関係）について、会話がなされた可能性の高い接客の時刻（すなわち、撮影画像の撮影時刻）を示した接客リスト（後述する図９を参照）を生成する。生成された接客リストは、接客リスト記憶部２５に格納される。なお、接客リストにおける接客時刻（ここでは、接客開始時刻および接客終了時刻）には、対応する撮影時刻の撮影画像が紐付けられており、それら撮影画像のデータは、接客リストのデータと共に接客リスト記憶部（画像データ記憶部）２５に格納される。
【００４０】
また、接客モニタリング装置５は、マイク４からの音声が音声信号として入力される音声入力部３１と、その入力された音声信号に基づき音声データを生成する音声データ生成部３２と、その音声データを記憶する音声データ記憶部３３とを備える。音声データ生成部３２は、予め設定した音の強さ（音圧レベル）の閾値に基づき、一定（閾値）以上の音の強さを有する店員または客の音声に基づく音声データのみを音声データ記憶部３３に記憶することができる。また、音声データ記憶部３３に記憶される音声データは、音声を取得した位置（例えば、マイクの集音領域や、マイクの設置位置）に関する位置データおよび音声を取得した時刻に関する時刻データと紐付けて記憶される。
【００４１】
さらに、接客モニタリング装置５は、音声データ記憶部３３に記憶された音声データから所望の店員と客との音声および撮影画像を抽出するモニタリング処理部（音声データ抽出部）４１と、モニタリング処理部４１によって抽出された音声を出力する音声出力部４２と、モニタリング処理部４１によって抽出された撮影画像を出力する画像出力部４３とを備える。
【００４２】
モニタリング処理部４１には、ユーザ入力部２０を介してユーザから指定された位置および時刻が入力され、モニタリング処理部４１は、それらの指定された位置および時刻に対応する音声データを音声データ記憶部３３に記憶された音声データ中から抽出する。音声出力部４２は、スピーカ等の公知の音声出力装置によって実現される。また、画像出力部４３は、液晶モニタ等の公知の画像出力装置によって実現される。
【００４３】
図４は、接客者抽出部２２による接客者抽出処理の流れを示すフロー図であり、図５は、接客相手抽出部２３による接客相手抽出処理の流れを示すフロー図であり、図６は、接客相手抽出部による会話相手決定処理の流れを示すフロー図であり、図７は、接客者抽出部２２および接客相手抽出部２３による人物検出処理の説明図であり、図８は、人物検出処理の結果を示す説明図であり、図９は、接客リスト生成部により生成された接客リストの一例を示す図である。
【００４４】
図４に示すように、接客者抽出部２２による接客者抽出処理では、まず、画像フレーム内に人物が検出されると（ＳＴ１０１：Ｙｅｓ）、その人物の検出位置（例えば、人物画像における重心位置）が店員エリア２６（図７参照）内に位置するか否かを判定する（ＳＴ１０２）。ステップＳＴ１０２において、人物の検出位置が店員エリア２６内であると判定されると（Ｙｅｓ）、その検出した人物に対して店員ＩＤ（識別記号）を付与し（ＳＴ１０３）、その店員に対し、店員エリア２６内における追尾処理を開始する（ＳＴ１０４）。
【００４５】
図５に示すように、接客相手抽出部２３による接客相手抽出処理では、まず、画像フレーム内に人物が検出されると（ＳＴ２０１：Ｙｅｓ）、その人物の検出位置（例えば、人物画像における重心位置）が客エリア２７（図７参照）内に位置するか否かを判定する（ＳＴ２０２）。ステップＳＴ２０２において、人物の検出位置が店員エリア２６内であると判定されると（Ｙｅｓ）、その検出した人物に対して客ＩＤ（識別番号）を付与し（ＳＴ２０３）、その客に対し、客エリア２７内における追尾処理を開始する（ＳＴ２０４）。
【００４６】
図６に示すように、接客相手抽出部２３による会話相手決定処理では、処理対象の客の会話相手の判定を開始する（ＳＴ３０１）。この会話相手の判定では、処理対象の客と全店員との距離計算（ＳＴ３０２）が実行される。この距離計算においては、まず、客エリア２７内の客の追尾処理および店員エリア２６内の店員の追尾処理の結果に基づき、処理対象の客および全店員の位置（座標）がそれぞれ取得され（ＳＴ３０３）、続いて、処理対象の客と各店員との距離がそれらの座標に基づき順次算出される（ＳＴ３０４）。この距離計算は、最終的に処理対象の客と全店員との距離の計算が完了（ＳＴ３０５）するまで実行される。
【００４７】
そこで、処理対象の客と全店員との距離の計算が完了すると、それら算出した距離が最小となる店員を処理対象の客の会話相手として決定する（ＳＴ３０６）。このような会話相手の判定は、最終的に処理対象の客の追尾が完了（例えば、処理対象の客が客エリア２７外に移動）するまで各画像フレームに対して順次実行される。
【００４８】
なお、上述の会話相手決定処理では、客との距離が最小の店員を必ず会話相手として対応づける必要はなく、例えば、ステップＳＴ３０６の後に、その距離が所定の閾値以上（客と店員とが一定以上離れている）か否かを判定するステップを更に設け、距離が所定の閾値以上の場合には、その店員を会話相手として対応づけない（ステップＳＴ３０６における決定を取り消す）構成も可能である。
【００４９】
ここで、図７には、図２に示した店舗２をカメラ３によって撮影した画像フレームＰ１、Ｐ２が模式的に示されている。画像フレームＰ１は、所定の撮影日の１０時３２分１５秒に撮影されたものであり、３人の店員Ｓ１−Ｓ３および２人の客Ｃ１、Ｃ２を含む。上述の接客者抽出部２２の接客者抽出処理（図４参照）により、店員Ｓ１−Ｓ３の位置は、それぞれ座標（ｘ１１，ｙ１１）、（ｘ２１，ｙ２１）、（ｘ３１、ｙ３１）に決定される。また、上述の接客相手抽出部２３の接客相手抽出処理（図５参照）により、客Ｃ１、Ｃ２の位置は、それぞれ座標（ｃｘ１１，ｃｙ１１）、（ｃｘ２１，ｃｙ２１）に決定される。さらに、上述の接客相手抽出部２３の会話相手決定処理（図６参照）により、それら各座標に基づき、画像フレームＰ１における客と店員との距離が算出され、その結果、客Ｃ１に対して店員Ｓ３が会話相手として対応づけられると共に、客Ｃ２に対して店員Ｓ１が会話相手として対応づけられる（図７中の矢印参照）。
【００５０】
画像フレームＰ２は、画像フレームＰ１と同日の１０時３２分３３秒に撮影されたものであり、３人の店員Ｓ１−Ｓ３および２人の客Ｃ１、Ｃ２を含む。上述の接客者抽出部２２の接客者抽出処理（図４参照）により、店員Ｓ１−Ｓ３の位置は、それぞれ座標（ｘ１２，ｙ１２）、（ｘ２２，ｙ２２）、（ｘ３２、ｙ３２）に設定される。また、上述の接客相手抽出部２３の接客相手抽出処理（図５参照）により、客Ｃ１、Ｃ２の位置は、それぞれ座標（ｃｘ１２，ｃｙ１２）、（ｃｘ２２，ｃｙ２２）に設定される。さらに、画像フレームＰ１と同様に、上述の接客相手抽出部２３の会話相手決定処理（図６参照）により、客Ｃ１に対して店員Ｓ３が会話相手として対応づけられると共に、客Ｃ２に対して店員Ｓ２が会話相手として対応づけられる。
【００５１】
また、図８には、それぞれ図７に示した画像フレームＰ１、Ｐ２に対する接客者抽出部２２および接客相手抽出部２３の人物検出処理によって生成された人物検出データＤ１、Ｄ２が示されている。人物検出データＤ１には、店員Ｓ１〜Ｓ３に関し、それぞれの店員ＩＤを示す識別記号ＳＩＤ１、ＳＩＤ２、ＳＩＤ３、及びそれぞれの位置を示す座標（ｘ１１，ｙ１１）、（ｘ２１，ｙ２１）、（ｘ３１，ｙ３１）が含まれる。また、人物検出データＤ１には、店員Ｓ２に関し、その会話相手となる客Ｃ２の識別記号ＣＩＤ２およびその位置を示す座標（ｃｘ２１，ｃｙ２１）が含まれ、さらに、店員Ｓ３に関し、その会話相手となる客Ｃ１の識別記号ＣＩＤ１およびその位置を示す座標（ｃｘ１１，ｃｙ１１）が含まれる。
【００５２】
人物検出データＤ２には、店員Ｓ１〜Ｓ３の位置をそれぞれ示す座標（ｘ１２，ｙ１２）、（ｘ２２，ｙ２２）、（ｘ３２、ｙ３２）が含まれる。また、人物検出データＤ２には、店員Ｓ２に関し、会話相手となる客Ｃ２の識別記号ＣＩＤ２およびその位置を示す座標（ｃｘ２２，ｃｙ２２）が含まれ、さらに、店員Ｓ３に関し、会話相手となる客Ｃ１の識別記号ＣＩＤ１およびその位置を示す座標（ｃｘ１２，ｃｙ１２）が含まれる。なお、図８では、２つの人物検出データＤ１、Ｄ２のみが示されているが、実際には、画像フレーム毎に人物検出データを生成することができる。
【００５３】
また、図９には、図８に示したような人物検出データに基づき生成された接客リストが示されている。接客リストには、各店員Ｓ１−Ｓ３の各客Ｃ１、Ｃ２に対する接客開始時刻（時刻を示す欄の上段）および接客終了時刻（時刻を示す欄の下段）の情報が含まれる。ここで、接客開始時刻は、例えば、画像フレーム中の１人の客に対して１人の店員が会話相手として対応づけられた時刻とすることができる。また、接客終了時刻は、例えば、会話相手として対応づけられた客または店員の一方が、他の店員または客と新たに対応づけられた時刻、または、会話相手として対応づけられた客または店員の追尾が完了した時刻とすることができる。或いは、接客終了時刻は、客と店員との距離が所定の閾値以上となった時刻としてもよい。
【００５４】
図９では、例えば、店員Ｓ１は、１０時３１分１０秒に客Ｃ１に対する接客を開始し（すなわち、店員Ｓ１と客Ｃ１とが会話相手として対応づけられ）、１０時３１分４２秒に客Ｃ１に対する接客を終了した（すなわち、店員Ｓ１と客Ｃ１との会話相手としての関係が解消された）ことが示されている。また、客Ｃ１については、店員Ｓ１による接客が１０時３１分４２秒に終了した後、店員Ｓ２による接客が１０時３１分４５秒に開始される。また、客Ｃ１については、店員Ｓ２による接客が１０時３１分５０秒に終了した後、さらに、店員Ｓ３による接客が１０時３２分１０秒に開始され、１０時３２分３０秒まで店員Ｓ３の接客を受けたことが示されている。
【００５５】
図１０は、モニタリング処理部４１による音声モニタリング処理の流れを示すフロー図であり、図１１は、図１０中のステップＳＴ４０１におけるモニタリング対象の指定方法の説明図であり、図１２〜図１８は、それぞれ図１１のモニタリング対象の指定方法の第１〜第７変形例を示す説明図である。
【００５６】
図１０に示すように、音声モニタリング処理では、まず、ユーザによってモニタリングの対象が指定される（ＳＴ４０１）。より詳細には、ユーザは、モニタリングの対象の位置（ここでは、取得される音声を発した店員または客の位置）および会話の時刻（音声が発生した時刻）を指定する。モニタリング処理部４１は、ユーザによって指定された位置に対応する座標の情報を取得し（ＳＴ４０２）、その座標に基づき、ユーザによって指定された位置に最も近いマイク（またはその集音領域）を選択する（ＳＴ４０３）。続いて、モニタリング処理部４１は、ステップＳＴ４０３で選択したマイクが取得した音声に基づく音声データであって且つユーザの指定した時刻に対応する音声データを、音声データ記憶部３３に記憶された音声データから抽出する（ＳＴ４０４）。そこで、モニタリング処理部４１は、抽出した音声データを再生し、音声出力部４２から出力する（ＳＴ４０５）。
【００５７】
上記ステップＳＴ４０１では、例えば、図１１（Ａ）に示すように、ユーザは、画像出力部４３によってモニタやタッチパネル等に表示された画像フレームＰ３中の客Ｃ１を選択することにより、モニタリングの対象（ここでは、音声を発する客Ｃ１）の位置および会話の時刻（ここでは、画像フレームの右上に表示された撮影時刻に相当）を指定することが可能である。この場合、モニタリング処理部４１は、指定されたモニタリングの対象をユーザが容易に確認可能なように、例えば、図１１（Ｂ）に示すように、指定された客Ｃ１およびその会話相手である店員Ｓ３をそれぞれ図形（ここでは、円Ｆ１、Ｆ２）で囲むことにより強調表示することができる。
【００５８】
また、ユーザは、モニタリングの対象の位置および会話の時刻を指定する際に、例えば、図１２（Ａ）に示すように、会話相手として対応づけられた客Ｃ１および店員Ｓ３、並びに客Ｃ２および店員Ｓ１をそれぞれ同種の図形（ここでは、破線の円Ｆ３、Ｆ４および一点鎖線の円Ｆ５、Ｆ６）でそれぞれ囲むことにより強調表示することができる。これにより、ユーザは、注目する客や店員の会話相手を容易に把握しつつ、モニタリングの対象の位置および会話の時刻を指定することができる。この場合、モニタリング処理部４１は、指定されたモニタリングの対象をユーザが容易に確認可能なように、例えば、図１２（Ｂ）に示すように、指定された客Ｃ１およびその会話相手である店員Ｓ３をそれぞれ図形（ここでは、破線の円Ｆ３、Ｆ４）の種類を変更（ここでは、円Ｆ３、Ｆ４の線種を破線から実線に変更）して表示することができる。
【００５９】
なお、図１１および図１２において示した会話相手の対応づけのための強調表示は、例えば、図１３に示すように、楕円Ｆ７、Ｆ８でそれぞれ客Ｃ１および店員Ｓ３ならびに客Ｃ２および店員Ｓ１をまとめて囲むことにより実行してもよい。或いは、強調表示は、図１４に示すように、客Ｃ１および店員Ｓ３ならびに客Ｃ２および店員Ｓ１をそれぞれ線Ｌ１、Ｌ２で結ぶことにより実行してもよい。
【００６０】
上記ステップＳＴ４０１では、例えば、図１５に示すように、ユーザは、モニタやタッチパネル等に表示された接客リストの所定の欄（ここでは、店員Ｓ１欄）を選択することにより、モニタリングの対象を指定することも可能である。この場合、ユーザの店員Ｓ１欄の選択により、店員Ｓ１に関する客Ｃ１および客Ｃ２との会話が時刻の順に選択され、音声出力部４２から順次出力される。接客リストにおいて、例えば、客Ｃ１に対する接客開始時刻および接客終了時刻は、対応する画像フレームに紐付けられており、接客モニタリング装置５は、それら画像フレームからの情報に基づき、ユーザに指定されたモニタリングの対象の位置および会話の時刻に対応する音声データを音声データ記憶部３３から抽出することができる。このような構成により、１人の店員を指定することで、その店員の複数の客に対する接客時の音声をまとめて抽出することが可能となり、その結果、複数の客に対する１人の店員の接客態度を容易に評価することができる。
【００６１】
また、図１６に示すように、ユーザは、接客リストの客Ｃ１欄を選択することにより、モニタリングの対象を指定することも可能である。この場合、ユーザの客Ｃ１欄の選択により、客Ｃ１に関する店員Ｓ１、店員Ｓ２、及び店員Ｓ３との会話が時刻の順に選択され、音声出力部４２から順次出力される。このような構成により、１人の客を指定することで、その客に対する複数の店員の接客時の音声を連続的に抽出することが可能となり、その結果、複数の店員による１人の客に対する接客態度を容易に評価することができる。
【００６２】
また、上記ステップＳＴ４０１では、例えば、図１７（Ａ）に示すように、モニタやタッチパネル等に表示された店員選択用ボタンをユーザが選択（ここでは、店員Ｓ１ボタンを選択）することにより、モニタリングの対象を指定することが可能である。この場合、店員Ｓ１ボタンの選択により、図１７（Ｂ）に示すように、店員Ｓ１が会話した時刻（ここでは、会話の開始時刻）が選択可能に表示され、ユーザは、所望の時刻を選択することにより、店員Ｓ１の音声データを音声データ記憶部３３から抽出することができる。
【００６３】
また、上記ステップＳＴ４０１では、例えば、図１８（Ａ）に示すように、図１７（Ａ）と同様に店員選択用ボタンをユーザが選択することにより、図１８（Ｂ）に示すように、会話がなされた時間帯を選択可能に表示（ここでは、所定幅の縦線で表示）した時刻の表が表示される構成としてもよい。この場合、図１８（Ｂ）に示すように、ユーザが所望の時間帯を選択すると、図１８（Ｃ）に示すように、対応する時刻の画像フレームＰ３が表示され、選択した店員と会話相手の客の音声データを音声データ記憶部３から抽出することができる。
【００６４】
図１９および図２０は、それぞれ接客モニタリングシステム１の第２および第３適用例を示す説明図である。上述の図２では、接客モニタリングシステム１がセルフサービス形式で飲食物を提供する店舗２に適用された場合を示したが、これに限らず、接客モニタリングシステム１は、例えば、図１９に示すようなコンビニエンスストアの店舗２に適用してもよい。この場合、レジカウンタ１３の奥側に店員Ｓ１、Ｓ２が位置し、各列の先頭の客Ｃ１、２が購入商品の精算を行う。
【００６５】
また、接客モニタリングシステム１では、例えば、図２０に示すように、店員Ｓ１−Ｓ３（被服等）に対してそれぞれ識別標識としてのタグＴ１、Ｔ２、Ｔ３を取り付けた構成も可能である。これにより、接客者抽出部２２は、店員の移動範囲１５（すなわち、店員エリア２６）に拘わらず、画像フレーム中のタグＴ１、Ｔ２、Ｔ３を画像処理によって検出することにより、各人物を店員Ｓ１−Ｓ３として抽出することができる。また、図２０に示す例では、店舗２内の全域を、客の移動範囲（すなわち、客エリア２７）として設定することが可能である。なお、タグＴ１、Ｔ２、Ｔ３については、画像認識可能なものに限らず、公知のセンサ等によって認識可能なものであってもよい。
【００６６】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記実施形態に係る接客モニタリングシステムでは、抽出した音声データをスピーカ等から出力する（すなわち、人が音声を確認する）構成としたが、これに限らず、抽出した音声データに対して公知の評価処理（例えば、アップセールトークに関するキーワード検出や、会話比率検出など）を実行することにより、接客態度を評価してもよい。なお、上記実施形態に示した本発明に係る接客モニタリング装置、接客モニタリングシステムおよび接客モニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００６７】
本発明に係る接客モニタリング装置、接客モニタリングシステムおよび接客モニタリング方法は、接客者と接客相手との対応関係や会話がなされた位置が変化する場合でも、所望の接客者と接客相手との会話を容易にモニタリング可能とし、接客者の接客態度を接客時の音声に基づきモニタリングするための接客モニタリング装置、接客モニタリングシステムおよび接客モニタリング方法などとして有用である。
【符号の説明】
【００６８】
１  接客モニタリングシステム
２  店舗
３  カメラ（画像入力装置）
４  マイク（音声入力装置）
５  接客モニタリング装置
２０  ユーザ入力部
２１  画像入力部
２２  接客者抽出部
２３  接客相手抽出部
２４  接客リスト生成部
２５  接客リスト記憶部（画像データ記憶部）
２６  店員エリア
２７  客エリア
３１  音声入力部
３２  音声データ生成部
３３  音声データ記憶部
４１  モニタリング処理部（音声データ抽出部）
４２  音声出力部
４３  画像出力部
【要約】
【課題】接客者と接客相手との対応関係や会話がなされた位置が変化する場合でも、所望の接客者と接客相手との会話を容易にモニタリング可能とする。
【解決手段】接客モニタリング装置１が、接客者とその接客相手との会話における音声が音声信号として入力される音声入力部２１と、その音声信号に基づく音声データを、音声を取得した位置に関する位置データおよび音声を取得した時刻に関する時刻データと紐付けて記憶する音声データ記憶部３３と、ユーザから指定された位置および時刻に対応する音声データを音声データ記憶部３３に記憶された音声データから抽出するモニタリング処理部４１とを備えた構成とする。
【選択図】図３【図１】
0005874886.tif 000002
【図２】
0005874886.tif 000003
【図３】
0005874886.tif 000004
【図４】
0005874886.tif 000005
【図５】
0005874886.tif 000006
【図６】
0005874886.tif 000007
【図７】
0005874886.tif 000008
【図８】
0005874886.tif 000009
【図９】
0005874886.tif 000010
【図１０】
0005874886.tif 000011
【図１１】
0005874886.tif 000012
【図１２】
0005874886.tif 000013
【図１３】
0005874886.tif 000014
【図１４】
0005874886.tif 000015
【図１５】
0005874886.tif 000016
【図１６】
0005874886.tif 000017
【図１７】
0005874886.tif 000018
【図１８】
0005874886.tif 000019
【図１９】
0005874886.tif 000020
【図２０】
0005874886.tif 000021