(57)【要約】【課題】システムのコストの増大を抑制しつつ、各オペレータのストレス状態を把握する。【解決手段】双方向映像通信システムにおいて、キオスク端末１は、ユーザを撮影するカメラ１４と、カメラ１４により撮影されたユーザの映像をオペレータ端末２に送信し、オペレータ端末２から送信されるオペレータの映像を受信する通信部３２と、オペレータの映像を表示するモニタ１２と、を有し、オペレータ端末２は、オペレータを撮影するカメラ２４と、カメラ２４により撮影されたオペレータの映像をキオスク端末１に送信し、キオスク端末１から送信されたユーザの映像を受信する通信部４２と、ユーザの映像を表示するモニタ２２と、を有し、管理サーバ３は、オペレータ端末２を操作する各オペレータについて、少なくともカメラ２４により撮影されたオペレータの映像に基づくバイタル情報を取得する構成とする。【選択図】図４
2020009177.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、
前記キオスク端末は、
ユーザを撮影する第１カメラと、この第１カメラにより撮影された前記ユーザの映像を前記オペレータ端末に送信し、前記オペレータ端末から送信される前記オペレータの映像を受信する第１通信部と、前記オペレータの映像を表示する第１表示部と、を有し、
前記オペレータ端末は、
オペレータを撮影する第２カメラと、この第２カメラにより撮影された前記オペレータの映像を前記キオスク端末に送信し、前記キオスク端末から送信された前記ユーザの映像を受信する第２通信部と、前記ユーザの映像を表示する第２表示部と、を有し、
前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、少なくとも前記第２カメラにより撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とする双方向映像通信システム。
【請求項２】
前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、前記ユーザへの対応時間に関する情報を更に取得することを特徴とする請求項１に記載の双方向映像通信システム。
【請求項３】
前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、前記バイタル情報に基づき推定された前記オペレータのストレス状態に関する情報を更に取得することを特徴とする請求項１または請求項２に記載の双方向映像通信システム。
【請求項４】
前記ストレス状態に関する情報には、前記オペレータのストレス状態の評価値と、前記ストレス状態の評価値に関して予め設定された閾値と、が含まれることを特徴とする請求項３に記載の双方向映像通信システム。
【請求項５】
前記管理サーバは、前記ユーザの映像に基づく前記ユーザの感情に関する情報を更に取得することを特徴とする請求項１から請求項４のいずれかに記載の双方向映像通信システム。
【請求項６】
前記管理サーバは、前記キオスク端末の前記第１カメラにより撮影された前記ユーザの映像に基づくバイタル情報を更に取得することを特徴とする請求項１から請求項５のいずれかに記載の双方向映像通信システム。
【請求項７】
前記管理サーバは、前記オペレータ端末を操作した複数のオペレータについて、前記ストレス状態に関する情報を同時に表示することを特徴とする請求項３または請求項４に記載の双方向映像通信システム。
【請求項８】
前記管理サーバは、前記バイタル情報に基づき推定された前記オペレータのストレス状態に関する情報および前記ユーザの映像に基づく前記ユーザの感情に関する情報を同時に表示することを特徴とする請求項５に記載の双方向映像通信システム。
【請求項９】
前記第２カメラは、前記オペレータの顔を撮影する正面カメラと、前記オペレータの手元を撮影する手元カメラと、を含み、
前記管理サーバは、前記正面カメラにより撮影された前記オペレータの映像に基づく前記バイタル情報を取得することを特徴とする請求項１から請求項８のいずれかに記載の双方向映像通信システム。
【請求項１０】
前記バイタル情報には、脈波および心拍の少なくとも一方が含まれることを特徴とする請求項１から請求項９のいずれかに記載の双方向映像通信システム。
【請求項１１】
ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムにおけるオペレータの管理方法であって、
前記オペレータ端末が、前記キオスク端末との双方向映像通信を行うための前記オペレータの映像を撮影し、
前記管理サーバが、前記オペレータ端末により撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とするオペレータの管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、キオスク端末とオペレータ端末との間で、キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システム及びそのオペレータの管理方法に関するものである。
【背景技術】
【０００２】
従来、コールセンターにおいて電話対応業務を行うオペレータは、ユーザ（顧客等）からの苦情や問合せに対応することにより、高いストレスを受ける場合がある。そのため、そのようなオペレータの身体的状態を監視し、その監視結果に基づき、オペレータに休憩を指示したり、ユーザへの対応を他のオペレータに切り替えたりすることにより、オペレータのストレスの低減を図る技術が開発されている。
【０００３】
例えば、オペレータ管理システムにおいて、センサセットが検知したオペレータの身体的状態が閾値の範囲を超えている場合に、コールをバック受付部に転送し、そこで、オペレータがユーザに対応していた時間が予め決められた許容時間以下であると判断された場合に、オペレータに休憩を指示する技術が知られている（特許文献１参照）。
【０００４】
また例えば、ユーザ端末とオペレータ端末とを接続させるコールセンタサーバを有するコールセンタシステムにおいて、ユーザの対応中に測定されたオペレータの身体的状態からストレス判定情報を形成し、そのストレス判定情報に基づいて、対象となっている新たな着信呼を振り分けるオペレータ端末を決定する技術が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−６０６３９号公報
【特許文献２】特開２０１２−１９５８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年、遠隔地にいる複数の人物をそれぞれ撮影した映像を双方向に通信する双方向映像通信システムが普及している。一方、各種の情報を提供する案内業務や金融機関などの窓口業務などのサービスを、人に代わって提供するキオスク端末が普及しており、このようなキオスク端末と、ユーザに応対するオペレータが操作するオペレータ端末とで、双方向映像通信システムを構築すると、ユーザにオペレータが対面して応対することができるため、キオスク端末によるサービスの品質を向上させることができる。
【０００７】
そのような双方向映像通信システムでは、上述の電話対応業務に関するコールセンターの場合と同様に、オペレータはユーザへの対応によりストレスを受ける可能性があるため、オペレータのストレス状態を管理するための手段を備えることが望ましい。
【０００８】
しかしながら、上記特許文献１、２に記載されたような従来技術では、オペレータ毎にその身体的状態（例えば、血圧、脈拍、発汗等）を測定するための測定機器を設ける必要があるため、システム構成が複雑となることに加え、システムのコストが増大するという問題があった。
【０００９】
そこで、本開示は、システムのコストの増大を抑制しつつ、各オペレータのストレス状態を把握することを可能にする双方向映像通信システム及びそのオペレータの管理方法を提供することを主な目的とする。
【課題を解決するための手段】
【００１０】
本開示に係る双方向映像通信システムは、ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、前記キオスク端末は、ユーザを撮影する第１カメラと、この第１カメラにより撮影された前記ユーザの映像を前記オペレータ端末に送信し、前記オペレータ端末から送信される前記オペレータの映像を受信する第１通信部と、前記オペレータの映像を表示する第１表示部と、を有し、前記オペレータ端末は、オペレータを撮影する第２カメラと、この第２カメラにより撮影された前記オペレータの映像を前記キオスク端末に送信し、前記キオスク端末から送信された前記ユーザの映像を受信する第２通信部と、前記ユーザの映像を表示する第２表示部と、を有し、前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、少なくとも前記第２カメラにより撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とする。
【００１１】
本開示に係るオペレータの管理方法は、ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムにおけるオペレータの管理方法であって、前記オペレータ端末が、前記キオスク端末との双方向映像通信を行うための前記オペレータの映像を撮影し、前記管理サーバが、前記オペレータ端末により撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とする。
【発明の効果】
【００１２】
本開示によれば、双方向映像通信システム及びそのオペレータの管理方法において、システムのコストの増大を抑制しつつ、各オペレータのストレス状態を把握することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る双方向映像通信システムの全体構成図
【図２】キオスク端末１の外観を示す斜視図
【図３】オペレータ端末２の外観を示す斜視図
【図４】キオスク端末１およびオペレータ端末２の概略構成を示すブロック図
【図５】管理サーバ３の概略構成を示すブロック図
【図６】キオスク端末１に表示される画面を示す説明図
【図７】キオスク端末１に表示される画面を示す説明図
【図８】オペレータ端末２に表示される画面を示す説明図
【図９】オペレータ端末２によるバイタル情報生成処理に関する説明図
【図１０】オペレータ端末２によるバイタル情報生成処理に関する説明図
【図１１】オペレータ端末２によって生成されたバイタル情報の一例を示す説明図
【図１２】オペレータ端末２によるバイタル情報生成処理の流れを示すフロー図
【図１３】オペレータ管理情報を表示する管理画面の第１の表示例を示す説明図
【図１４】オペレータ管理情報を表示する管理画面の第２の表示例を示す説明図
【図１５】オペレータ管理情報を表示する管理画面の第３の表示例を示す説明図
【図１６】オペレータ管理情報を表示する管理画面の第４の表示例を示す説明図
【図１７】オペレータ管理情報を表示する管理画面の第５の表示例を示す説明図
【発明を実施するための形態】
【００１４】
前記課題を解決するためになされた第１の発明は、ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、前記キオスク端末は、ユーザを撮影する第１カメラと、この第１カメラにより撮影された前記ユーザの映像を前記オペレータ端末に送信し、前記オペレータ端末から送信される前記オペレータの映像を受信する第１通信部と、前記オペレータの映像を表示する第１表示部と、を有し、前記オペレータ端末は、オペレータを撮影する第２カメラと、この第２カメラにより撮影された前記オペレータの映像を前記キオスク端末に送信し、前記キオスク端末から送信された前記ユーザの映像を受信する第２通信部と、前記ユーザの映像を表示する第２表示部と、を有し、前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、少なくとも前記第２カメラにより撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とする。
【００１５】
これによると、キオスク端末との双方向映像通信に用いられるカメラ（第２カメラ）によって撮影されたオペレータの映像に基づくバイタル情報を取得するため、システムのコストの増大を抑制しつつ、そのバイタル情報から各オペレータのストレス状態を把握することが可能となる。
【００１６】
また、第２の発明は、前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、前記ユーザへの対応時間に関する情報を更に取得することを特徴とする。
【００１７】
これによると、システムの管理者は、ユーザへの対応時間に関する情報に基づき、各オペレータのストレス状態に影響する要因を把握することが可能となる。
【００１８】
また、第３の発明は、前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、前記バイタル情報に基づき推定された前記オペレータのストレス状態に関する情報を更に取得することを特徴とする。
【００１９】
これによると、システムの管理者は、バイタル情報に基づき推定されたオペレータのストレス状態に関する情報に基づき、各オペレータのストレス状態を容易に把握することが可能となる。
【００２０】
また、第４の発明は、前記ストレス状態に関する情報には、前記オペレータのストレス状態の評価値と、前記ストレス状態の評価値に関して予め設定された閾値と、が含まれることを特徴とする。
【００２１】
これによると、システムの管理者は、オペレータのストレス状態の評価値および予め設定された閾値に基づき、各オペレータのストレス状態をより適切に把握することが可能となる。
【００２２】
また、第５の発明は、前記管理サーバは、前記ユーザの映像に基づく前記ユーザの感情に関する情報を更に取得することを特徴とする。
【００２３】
これによると、システムの管理者は、オペレータが対応したユーザの感情に関する情報に基づき、各オペレータのストレス状態に影響する要因を把握することが可能となる。
【００２４】
また、第６の発明は、前記管理サーバは、前記キオスク端末の前記第１カメラにより撮影された前記ユーザの映像に基づくバイタル情報を更に取得することを特徴とする。
【００２５】
これによると、システムの管理者は、オペレータが対応したユーザの映像に基づくバイタル情報により、システムのコストの増大を抑制しつつ、各オペレータのストレス状態に影響する要因を把握することが可能となる。
【００２６】
また、第７の発明は、前記管理サーバは、前記オペレータ端末を操作した複数のオペレータについて、前記ストレス状態に関する情報を同時に表示することを特徴とする。
【００２７】
これによると、システムの管理者は、複数のオペレータのストレス状態を速やかに把握することが可能となる。
【００２８】
また、第８の発明は、前記管理サーバは、前記バイタル情報に基づき推定された前記オペレータのストレス状態に関する情報および前記ユーザの映像に基づく前記ユーザの感情に関する情報を同時に表示することを特徴とする。
【００２９】
これによると、システムの管理者は、オペレータのストレス状態に関する情報およびユーザの感情に関する情報に基づき、各オペレータのストレス状態に影響する要因をより適切に把握することが可能となる。
【００３０】
また、第９の発明は、前記第２カメラは、前記オペレータの顔を撮影する正面カメラと、前記オペレータの手元を撮影する手元カメラと、を含み、前記管理サーバは、前記正面カメラにより撮影された前記オペレータの映像に基づく前記バイタル情報を取得することを特徴とする。
【００３１】
これによると、正面カメラにより撮影されたオペレータの適切な映像からそのバイタル情報を適切に取得することが可能となる。
【００３２】
また、第１０の発明は、前記バイタル情報には、脈波および心拍の少なくとも一方が含まれることを特徴とする。
【００３３】
これによると、システムの管理者は、脈波および心拍の少なくとも一方に基づき、各オペレータのストレス状態を容易に把握することが可能となる。
【００３４】
また、第１１の発明は、ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムにおけるオペレータの管理方法であって、前記オペレータ端末が、前記キオスク端末との双方向映像通信を行うための前記オペレータの映像を撮影し、前記管理サーバが、前記オペレータ端末により撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とする。
【００３５】
これによると、キオスク端末との双方向映像通信に用いられるオペレータの映像に基づくバイタル情報を取得するため、システムのコストの増大を抑制しつつ、そのバイタル情報から各オペレータのストレス状態を把握することが可能となる。
【００３６】
以下、本開示の実施の形態を、図面を参照しながら説明する。
【００３７】
図１は、本実施形態に係る双方向映像通信システムの全体構成図である。
【００３８】
この双方向映像通信システムは、キオスク端末１と、オペレータ端末２と、管理サーバ３と、を備えている。キオスク端末１、オペレータ端末２、及び管理サーバ３は、インターネットやＶＰＮ（Virtual Private Network）やイントラネットなどのネットワークを介して相互に接続される。
【００３９】
キオスク端末１は、各種の施設に設置され、任意のユーザが操作するものであり、ユーザを撮影した映像（以下、単に「ユーザの映像」という。）をオペレータ端末２に送信し、オペレータ端末２から受信したオペレータの映像を表示する。
【００４０】
オペレータ端末２は、コールセンターなど、ユーザに応対するオペレータが常駐する施設に設置され、オペレータが操作するものであり、オペレータを撮影した映像（以下、単に「オペレータの映像」という。）をキオスク端末１に送信し、キオスク端末１から受信したユーザの映像を表示する。
【００４１】
管理サーバ３は、双方向映像通信システムの管理本部など、システムの管理者が利用する施設に設置され、管理者が操作する管理用のコンピュータから構成される。管理サーバ３は、オペレータのストレス状態を管理するためのオペレータ管理情報を、キオスク端末１及びオペレータ端末２からそれぞれ受信することができ、また、そのオペレータ管理情報の一部を必要に応じて自装置で生成することもできる。
【００４２】
後に詳述するように、管理サーバ３は、例えば、各オペレータ端末２で撮影されたオペレータの映像に基づき生成された当該オペレータのバイタル情報を、オペレータ管理情報として取得することができる。また、管理サーバ３は、各キオスク端末１で撮影されたユーザの映像（管理対象のオペレータが対応中のユーザの映像）に基づき生成された当該ユーザの感情に関する情報を、オペレータ管理情報として取得することができる。
【００４３】
なお、キオスク端末１では、様々なサービスを提供することができる。例えば、キオスク端末１を空港などの交通施設のロビーなどに設置することで、周辺の観光地の案内や、施設内のフロアの案内や、周辺の宿泊施設の案内などのサービスを提供することができる。また、キオスク端末１を銀行などの金融機関の店舗に設置することで、窓口などで行われる各種のサービス、例えば、口座開設や金融取引やローン契約の相談などのサービスを提供することができる。また、キオスク端末１をホテルなどの宿泊施設のフロントなどに設置することで、係員（コンシェルジュ）が行う各種の案内サービスを提供することができる。また、マンションなどの共同住宅の玄関ロビーなどに設置することで、管理人が行う各種のサービスを提供することができる。
【００４４】
このようにキオスク端末１では、各種のサービスを担当者に代わって常時提供することができるため、サービスの品質を向上させることができ、また、オペレータが複数の施設を掛け持ちで担当することができるため、人員削減を図ることができる。
【００４５】
また、キオスク端末１とオペレータ端末２との間では、ユーザの映像とオペレータの映像とを双方向に通信するが、この他に、キオスク端末１やオペレータ端末２において、ユーザやオペレータが操作した内容に関する操作情報、ユーザやオペレータが入力したテキスト情報などが双方向に通信される。また、管理サーバ３は、キオスク端末１とオペレータ端末２との間で通信される各種情報を、必要に応じて取得することが可能である。
【００４６】
特に、機密情報、例えば、ユーザの氏名や住所などの個人情報や、金融機関の口座番号などの情報がやり取りされる場合がある。このような機密情報の通信については、サービス提供者が、セキュリティを高度に確保した専用のネットワークを既に運用しているため、機密情報を含む映像以外の情報は既存のネットワークで通信し、これとは別のネットワークで映像を通信するようにしてもよい。これにより、セキュリティを確保するとともに、通信量が大きい映像を別のネットワークで通信することで、既存のネットワークの負荷の増大を抑制することができる。
【００４７】
次に、キオスク端末１について説明する。図２は、キオスク端末１の外観を示す斜視図である。
【００４８】
キオスク端末１は、筐体１１と、正面モニタ１２と、手元モニタ１３と、正面カメラ１４と、手元カメラ１５と、ＩＣカードリーダ１６と、スピーカー１７と、マイク１８と、を備えている。
【００４９】
正面モニタ１２は、画面を前向きにした状態で配置され、手元モニタ１３は、画面を上向きにした状態で配置されている。また、手元モニタ１３はタッチパネルを備えており、ユーザが画面操作を行うことができる。
【００５０】
正面カメラ１４は、ユーザの顔を含む上半身を正面から撮影する。手元カメラ１５は、ユーザの手元、すなわち、手元モニタ１３上に置いたユーザの手と手元モニタ１３の画面とを上方から撮影する。ユーザは、手元モニタ１３の画面を手先で指し示す動作を行い、この状況が手元カメラ１５で撮影される。
【００５１】
ＩＣカードリーダ１６は、ユーザが所持するＩＣカードを読み取る。
【００５２】
スピーカー１７は、オペレータが発した音声を出力する。マイク１８は、ユーザが発した音声（ユーザ音声）を収音する。
【００５３】
このように構成されたキオスク端末１は、カウンタなどの台に載置され、ユーザが椅子に座った状態で、あるいは、立ったままの状態でキオスク端末１を操作する。
【００５４】
次に、オペレータ端末２について説明する。図３は、オペレータ端末２の外観を示す斜視図である。
【００５５】
オペレータ端末２は、架台２１と、第１モニタ２２と、第２モニタ２３と、正面カメラ２４と、手元カメラ２５と、ヘッドセット２６と、テーブル２７と、を備えている。
【００５６】
第１モニタ２２は、所定の高さとなるように架台２１に支持されている。第２モニタ２３は、タッチパネルを備えており、オペレータが画面操作を行うことができる。
【００５７】
正面カメラ２４は、オペレータの顔を含む上半身を正面から撮影する。手元カメラ２５は、オペレータの手元、すなわち、テーブル２７上に置いたオペレータの手とテーブル２７とを上方から撮影する。オペレータは、テーブルにパンフレットなどの書類を置いて、書類を手先で指し示しながら書類を説明し、この状況が手元カメラ２５で撮影される。
【００５８】
ヘッドセット２６は、スピーカー２８と、マイク２９と、を備えている。スピーカー２８は、ユーザが発した音声を出力する。マイク２９は、オペレータが発した音声を収音する。
【００５９】
また、オペレータ端末２には、モニタ５が併設される。このモニタ５には、オペレータ端末２、または、図示しないＰＣで起動させたアプリケーションの画面が表示される。このアプリケーションの画面はキオスク端末１と共有され、同一の画面がキオスク端末１の手元モニタ１３に表示される（画面共有機能）。また、モニタ５はタッチパネルを備えており、オペレータが手書きで画面上に描画することができる（ホワイトボード機能）。
【００６０】
なお、コールセンターでは、オペレータが、オペレータ端末２を使用して映像と音声でユーザに応対する対面応対業務とは別に、電話による音声のみでユーザに応対する電話応対業務を行うことも可能であるため、電話応対業務用のモニタ（図示せず）がオペレータ端末２に併設される。
【００６１】
次に、キオスク端末１およびオペレータ端末２の概略構成について説明する。図４は、キオスク端末１およびオペレータ端末２の概略構成を示すブロック図である。
【００６２】
キオスク端末１は、前記のように、正面モニタ１２と、手元モニタ１３と、正面カメラ１４と、手元カメラ１５と、ＩＣカードリーダ１６と、スピーカー１７と、マイク１８と、を備えている。また、キオスク端末１は、制御部３１と、通信部３２と、記憶部３３と、を備えている。
【００６３】
通信部３２は、ネットワークを介してオペレータ端末２や管理サーバ３と通信を行う。
【００６４】
記憶部３３は、制御部３１を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部３３は、ユーザの映像に基づき感情情報生成部３６で生成されたユーザの感情に関する情報などの必要な情報を記憶する。
【００６５】
制御部３１は、画面制御部３５と、感情情報生成部３６と、音声制御部３７と、音声変換部３８と、を備えている。この制御部３１は、プロセッサで構成され、制御部３１の各部は、記憶部３３に記憶されたプログラムをプロセッサで実行することで実現される。
【００６６】
画面制御部３５は、正面モニタ１２および手元モニタ１３の表示画面を制御する。本実施形態では、オペレータ端末２からオペレータの正面映像を受信すると、そのオペレータの正面映像を正面モニタ１２に表示する。また、オペレータ端末２からオペレータの手元映像を受信すると、そのオペレータの手元映像を手元モニタ１３に表示する。
【００６７】
また、画面制御部３５は、オペレータ端末２から字幕の文字情報を受信すると、字幕の画像を生成して、その字幕の画像をオペレータの正面動画上に重畳して表示することができる。また、オペレータ端末２から案内情報を受信すると、案内情報を可視化した帯情報の画像を生成して、その帯情報の画像をオペレータの正面動画上に重畳して表示することができる。
【００６８】
感情情報生成部３６は、ユーザの感情に関する情報を生成する。本実施形態では、感情情報生成部３６は、公知の手法に基づき、ユーザの映像におけるユーザの顔認識処理を行うことにより、ユーザの感情に関する情報として当該ユーザの感情の評価値を算出する。例えば、感情情報生成部３６は、ユーザの感情の評価値を算出するにあたり、正面カメラ１４で撮影したユーザの正面映像から、ユーザの顔の特徴情報、すなわち、顔に設定された複数の特徴点の位置情報（座標）を抽出し、その抽出された特徴点に基づき、ユーザの感情（本実施形態では、怒り、悲しみ、驚き、喜びの４つ感情の総合したもの）を数値化することができる。また、感情情報生成部３６は、公知の手法に基づき、マイク１８で収音したユーザの音声（音の高さ、周波数等）に基づいてユーザの感情に関する情報を生成することもできる。
【００６９】
感情情報生成部３６によって生成されたユーザの感情に関する情報は、管理サーバ３に送信され、管理サーバ３において、オペレータ端末２からのバイタル情報などと共にオペレータ管理情報として記憶される。
【００７０】
音声制御部３７は、スピーカー１７から出力する音声を制御する。本実施形態では、音声変換が有効であるか否かに応じて、オペレータ端末２から受信したオペレータの原音声と、音声変換部３８で音声変換された音声とのいずれかをスピーカー１７から出力する。
【００７１】
音声変換部３８は、オペレータ端末２から受信したオペレータの原音声を、所望の声質の音声に変換することができる。この音声変換には、ディープラーニングを用いた声質変換など、公知の音声変換技術を用いればよい。
【００７２】
また、制御部３１は、この他に、オペレータ端末２に接続する接続制御を行い、また、キオスク端末１で撮影したユーザの映像と、オペレータ端末２で撮影したオペレータの映像と、をリアルタイムで送受信する映像伝送制御などを行う。
【００７３】
オペレータ端末２は、前記のように、第１モニタ２２と、第２モニタ２３と、正面カメラ２４と、手元カメラ２５と、ヘッドセット２６と、を備えている。また、オペレータ端末２は、制御部４１と、通信部４２と、記憶部４３と、を備えている。
【００７４】
通信部４２は、ネットワークを介してキオスク端末１や管理サーバ３と通信を行う。
【００７５】
記憶部４３は、制御部４１を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部４３は、オペレータの映像に基づき生成された当該オペレータのバイタル情報などの必要な情報を記憶する。
【００７６】
制御部４１は、画面制御部４５と、バイタル情報生成部４６と、音声認識部４７と、対応時間算出部４８と、を備えている。この制御部４１は、プロセッサで構成され、制御部４１の各部は、記憶部４３に記憶されたプログラムをプロセッサで実行することで実現される。
【００７７】
画面制御部４５は、キオスク端末１の正面モニタ１２および手元モニタ１３の表示画面を制御する。本実施形態では、画面制御部４５は、キオスク端末１の手元モニタ１３に関する画面制御として、オペレータの手元映像を表示させるオペレータ表示モードと、操作画面（メニュー画面など）を表示させる操作画面モードと、アプリケーション画面を表示させる画面共有モードとを切り替える。
【００７８】
なお、本実施形態では、キオスク端末１の正面モニタ１２および手元モニタ１３の表示モードが、キオスク端末１でのユーザの操作内容に応じて切り替えられるが、オペレータが表示モードを選択できるようにしてもよい。
【００７９】
バイタル情報生成部４６は、各オペレータのバイタル情報を生成する。後に詳述するように、バイタル情報生成部４６は、正面カメラ２４で撮影したオペレータの正面映像から、各オペレータのバイタル情報として脈波や心拍を抽出する処理（バイタル情報生成処理）を実行する。これにより、バイタル情報生成部４６では、正面カメラ２４により撮影されたオペレータの比較的安定した（動きの少ない）映像からそのバイタル情報を適切に取得することが可能となる。
【００８０】
なお、バイタル情報生成部４６は、必要に応じて、オペレータの正面映像の代わりに、手元カメラ２５で撮影したオペレータの手元の映像を用いてバイタル情報生成処理を実行することもできる。また、場合によっては、オペレータの正面映像およびオペレータの手元の映像の双方を用いてバイタル情報生成処理を実行してもよい。
【００８１】
音声認識部４７は、マイク２９で収音したオペレータの音声に対して音声認識を行い、文字情報を出力する。
【００８２】
対応時間算出部４８は、オペレータのユーザへの対応時間（各ユーザに対して対応した時間）を算出する。この対応時間の算出は、例えば、各オペレータによる各ユーザに関する対応時間の入力値に基づき行うことができる。あるいは、各ユーザの映像の撮影時間から各ユーザへの対応時間として算出（推定）してもよい。対応時間算出部４８によって算出されたユーザへの対応時間に関する情報は、管理サーバ３に対して送信される。なお、対応時間算出部４８を省略し、管理サーバ３が、対応時間算出部４８と同様の機能を備えることも可能である。
【００８３】
また、制御部４１は、この他に、キオスク端末１に接続する接続制御を行い、また、キオスク端末１で撮影したユーザの映像と、オペレータ端末２で撮影したオペレータの映像と、をリアルタイムで送受信する映像伝送制御などを行う。
【００８４】
なお、オペレータ端末２に、手持ちの書類を読み取るスキャナを設けるようにしてもよい。また、オペレータ端末２に、操作する人物が正規のオペレータであることの認証を行うために、ＩＣカードリーダを設けるようにしてもよい。また、キオスク端末１に、オペレータ端末２から送信された書類や画面表示された情報などを印刷出力するプリンタを設けるようにしてもよい。
【００８５】
また、第２モニタ２３をタブレットＰＣで構成する、すなわち、第２モニタ２３の筐体内に、制御部４１、通信部４２および記憶部４３を収容した構成としてもよい。
【００８６】
次に、管理サーバ３の概略構成について説明する。図５は、管理サーバ３の概略構成を示すブロック図である。
【００８７】
管理サーバ３は、制御部８１と、通信部８２と、記憶部８３と、モニタ８４と、を備えている。
【００８８】
制御部８１は、プロセッサで構成され、管理サーバ３における管理画面の表示制御を含む各種の処理は、記憶部８３に記憶されたプログラムをプロセッサで実行することで実現される。
【００８９】
通信部８２は、ネットワークを介してキオスク端末１やオペレータ端末２と通信を行う。
【００９０】
記憶部８３は、制御部８１を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部８３は、オペレータ管理情報として、オペレータ端末２から受信したユーザのバイタル情報や、キオスク端末１から受信したユーザの感情に関する情報などを記憶する。なお、キオスク端末１およびオペレータ端末２からそれぞれ取得された情報は、それらに付加された時刻情報や、ユーザＩＤ及びオペレータＩＤなどの情報に基づき相互に関連づけられる。
【００９１】
モニタ８４は、後に詳述するように、システムの管理者等がオペレータのストレス状態を管理するためのオペレータ管理情報などの必要な情報を表示する。
【００９２】
次に、キオスク端末１に表示される画面について説明する。図６および図７は、キオスク端末１に表示される画面を示す説明図である。
【００９３】
キオスク端末１では、スタンバイ時（オペレータ端末２に接続する前）には、正面モニタ１２がデジタルサイネージとして動作し、図６（Ａ−１）に示すように、正面モニタ１２に、お薦めプランなどの広告や施設などの案内に関するコンテンツの映像が表示される。
【００９４】
また、スタンバイ時には、図６（Ａ−２）に示すように、手元モニタ１３に、メインメニュー画面（操作画面）が表示される。このメインメニュー画面には、サービスメニューを選択する操作ボタン５１が表示されている。本実施形態では、サービスメニューとして、「手続き」および「相談」を選択することができる。「相談」を選択すると、オペレータ表示モードとなり、オペレータ画面（図７（Ａ−１），（Ａ−２）参照）に遷移する。「相談」は、ローンや信託に関する契約などに関する相談を行う場合であり、詳細な案内が必要で時間がかかるため、オペレータ本人と対面して案内する必要があるため、オペレータ表示モードとなり、オペレータ画面でオペレータ本人がユーザに応対する。
【００９５】
一方、「手続き」は、口座開設などの手続きを行う場合であり、簡単な画面操作で済み、通常、オペレータ本人が対面して案内する必要がない。
【００９６】
また、手元モニタ１３のメインメニュー画面には、通話ボタン５２が表示されている。この通話ボタン５２を操作すると、キオスク端末１がオペレータ端末２に接続された上で、オペレータ表示モードとなり、オペレータ画面（図７（Ａ−１），（Ａ−２）参照）に遷移する。これにより、簡単な操作で済む「手続き」の場合でも、オペレータに案内してもらうことができる。
【００９７】
なお、オペレータ表示モードでは、オペレータ画面に遷移する前に、オペレータと対話するか否かをユーザに問い合わせる画面を表示して、ユーザが承諾する操作を行った場合に、オペレータ画面に遷移するようにしてもよい。
【００９８】
また、メインメニュー画面でサービスメニューを選択した場合に、必要に応じて、図６（Ｂ−２）に示すように、サブメニュー画面に遷移するようにしてもよい。このサブメニュー画面には、各種のサブメニュー項目に対応した操作ボタン５３が表示されている。また、このサブメニュー画面には、メインメニュー画面（図６（Ａ−２）参照）と同様に、通話ボタン５２が表示されている。
【００９９】
キオスク端末１がオペレータ端末２に接続されると、オペレータ表示モードでは、図７（Ａ−１）に示すように、正面モニタ１２に、オペレータ端末２の正面カメラ２４で撮影したオペレータの正面映像６１が表示され、同時に、図７（Ａ−２）に示すように、手元モニタ１３に、オペレータ端末２の手元カメラ２５で撮影したオペレータの手元映像６２が表示される。
【０１００】
また、画面共有モードでは、手元モニタ１３に、オペレータ端末２、または、オペレータ側の図示しないＰＣで起動させたアプリケーションの画面が表示される。このアプリケーションの画面はオペレータ端末２と共有され、同一の画面がオペレータ端末２のモニタ５に表示される（画面共有機能）。また、画面共有モードでは、ユーザが手書きで画面上に描画することができる（ホワイトボード機能）。
【０１０１】
次に、オペレータ端末２に表示される画面について説明する。図８は、オペレータ端末２に表示される画面を示す説明図である。
【０１０２】
オペレータ端末２では、スタンバイ時には、第１モニタ２２に、待ち受け画面が表示され、キオスク端末１で通話ボタン５２（図６（Ａ−２），（Ｂ−２）参照）を操作すると、図８（Ａ−１）に示すように、着信画面が表示される。この着信画面には、接続相手となるキオスク端末１に関する情報（設置場所や端末名称など）が表示される。
【０１０３】
また、スタンバイ時には、図８（Ａ−２）に示すように、第２モニタ２３に、操作画面が表示される。この操作画面には、オペレータ端末２の制御やキオスク端末１に対する指示などを行うための各種の操作ボタン７１が表示される。
【０１０４】
また、第２モニタ２３には、オペレータ端末２の正面カメラ２４で撮影したオペレータの正面映像６１と、オペレータ端末２の手元カメラ２５で撮影したオペレータの手元映像６２とが表示される。このオペレータの正面映像６１および手元映像６２は、キオスク端末１に表示されるものと同じものである。なお、オペレータの手元映像６２は、元の状態と上下反転した状態とを切り替えることができる。
【０１０５】
一方、オペレータ端末２がキオスク端末１に接続されると、図８（Ｂ−１）に示すように、第１モニタ２２に、キオスク端末１の正面カメラ１４で撮影したユーザの正面映像７２が表示される。なお、第１モニタ２２は、所定の高さとなるように架台２１に支持されており（図３参照）、これにより、オペレータとユーザとで視線を一致させることができる。
【０１０６】
また、図８（Ｂ−２）に示すように、第２モニタ２３に、スタンバイ時と同様に、操作ボタン７１が表示される。また、第２モニタ２３には、スタンバイ時と同様に、オペレータの正面映像６１が表示される。このオペレータの正面映像６１は、オペレータの手元映像と切り替えることができる。また、第２モニタ２３には、オペレータの手元映像が表示された状態でキオスク端末１の手元カメラ１５で撮影したユーザの手元映像７３が表示される。なお、ユーザの手元映像７３は、元の状態と上下反転した状態とを切り替えることができる。
【０１０７】
第２モニタ２３に表示されるユーザの手元映像７３には、キオスク端末１の手元モニタ１３上で画面に映るパンフレットなどの書類を指し示すユーザの手先が映り、ユーザとオペレータとで互いに書類を指し示しながら対話することができる。
【０１０８】
なお、本実施形態では、ユーザの正面映像７２を第１モニタ２２に表示し、ユーザの手元映像７３を第２モニタ２３に表示するようにしたが、ユーザの正面映像７２と手元映像７３とを１つのモニタに表示するようにしてもよい。この場合、オペレータ側からもユーザとカウンタ越しで向き合っているような臨場感を実現することができる。
【０１０９】
次に、オペレータ端末２（バイタル情報生成部４６）によるバイタル情報の生成方法について説明する。図９及び図１０は、オペレータ端末２によるバイタル情報生成処理に関する説明図である。
【０１１０】
バイタル情報生成部４６は、オペレータの映像に対し、顔の特徴量を用いた公知の統計的学習手法に基づく顔検出処理を実行することにより、その検出された顔領域をオペレータの肌領域として検出および追尾し、その肌領域に関する情報（肌領域を構成する画素の画素値、画素数等）を取得する。この肌領域の検出については、顔の特徴量を用いた公知の統計的学習手法以外にも、公知のパターン認識手法（例えば、予め準備したテンプレートとのマッチング）に基づく顔検出処理を利用してもよい。
【０１１１】
また、バイタル情報生成部４６は、得られた肌領域に関する情報に基づきオペレータの脈拍を算出する。具体的には、時間的に連続するオペレータの映像（フレーム画像）において抽出された肌領域を構成する各画素に関し、例えばＲＧＢの各成分の画素値（０−２５５階調）を算出し、その代表値（ここでは、各画素の平均値）の時系列データを脈拍信号として生成する。この場合、脈動による変動が特に大きい緑成分（Ｇ）のみの画素値に基づき時系列データを生成することができる。
【０１１２】
生成された画素値（平均値）の時系列データは、例えば、図９（Ａ）に示すように、血液中のヘモグロビン濃度の変化に基づく微少な変動（例えば、画素値の１階調未満の変動）を伴う。そこで、バイタル情報生成部４６は、その画素値に基づく時系列データに対し、公知のフィルタ処理（例えば、所定の通過帯域が設定されたバンドパスフィルタによる処理等）を実施することにより、図９（Ｂ）に示すように、ノイズ成分を除去した脈波を脈拍信号として抽出することができる。
【０１１３】
そして、バイタル情報生成部４６は、例えば、図１０（Ａ）に示すように、脈波において隣接する２以上のピーク間の時間から脈波間隔（ＲＲＩ）を算出し、そのＲＲＩをバイタル情報とすることができる。また、ＲＲＩは、図１０（Ｂ）に示すように、ＲＲＩの経時的な変化として取得することができる。ここで、オペレータの映像の撮影時間（または時刻）はフレーム画像に関連付けられているので、フレーム画像から抽出したバイタル情報も、撮影時間に関連付けられている。
【０１１４】
また、バイタル情報生成部４６は、取得したバイタル情報（ＲＲＩ）から、オペレータの生理学的または神経学的な活動指標を抽出する。活動指標としては、ＲＲＩ、ＲＲＩの標準偏差であるＳＤＮＮ、心拍数、迷走神経緊張強度の指標であるＲＭＳＳＤまたはｐＮＮ５０、ストレスの指標であるＬＦ／ＨＦなどが挙げられる。バイタル情報生成部４６は、これらの活動指標に基づき、オペレータの身体的状態（ストレス状態（緊張度）、集中度、眠気度など）を推測することができる。例えば、ＲＲＩの経時的な変化は、交感神経および副交感神経の活動を反映することが分かっている。したがって、図１０（Ｂ）に示したＲＲＩの経時的な変化、すなわちＲＲＩの揺らぎに基づき、身体的状態を推測することが可能である。
【０１１５】
本実施形態では、バイタル情報生成部４６は、取得したオペレータの活動指標に基づき、オペレータのストレス状態の評価値を算出する。例えば、バイタル情報生成部４６は、ストレス状態の評価値として、ストレスの指標であるＬＦ／ＨＦを用いることができる。或いは、バイタル情報生成部４６は、上述の活動指標の少なくとも１つからストレス状態の評価値を算出してもよい。その場合、バイタル情報生成部４６は、例えば、学習的手法や実験的手法などにより取得した活動指標の経時的変化とストレス状態との関係を示す判定情報を予め準備し、その判定情報を参照してストレス状態の評価値を算出することができる。
【０１１６】
図１１は、オペレータ端末２（バイタル情報生成部４６）によって生成されたバイタル情報の一例を示す説明図である。
【０１１７】
バイタル情報９１は、オペレータのＩＤ番号９２と、フレーム画像の撮影時間９３（ここでは、所定時刻からの経過時間）と、各撮影時間９３におけるＲＲＩ値９４とを含む。オペレータのＩＤ番号９２（この例では、ＩＤ：ＯＰ１）は、オペレータを識別するために付与される。撮影時間９３は、オペレータの撮影を開始してからの経過時間である。図１１の例では、撮影時間９３が「０．７８２」、「１．５６０」、「２．３３４」、...のときのＲＲＩ９４は「０．７８２」、「０．７７８」、「０．７７４」、...である。
【０１１８】
図１２は、オペレータ端末２によるバイタル情報生成処理の流れを示すフロー図である。
【０１１９】
まず、オペレータ端末２は、管理対象のオペレータに関し、正面カメラ２４によって撮影された時間的に連続するオペレータの映像およびその撮影時間に関する情報をメモリに取り込む（ＳＴ１０１）。そこで、オペレータ端末２は、取得したオペレータの映像（フレーム画像）からオペレータの肌領域を検出し（ＳＴ１０２）、その肌領域の時系列データに基づき、オペレータのバイタル情報を抽出する（ＳＴ１０３）。なお、抽出されたバイタル情報は、記憶部４３に記憶される。
【０１２０】
次に、オペレータ端末２では、オペレータが対応しているユーザに関する対応情報（ユーザＩＤ、会話内容など）が取得され（ＳＴ１０４）、この対応情報とバイタル情報とを関連付けられる（ＳＴ１０５）。
【０１２１】
次に、オペレータ端末２は、ステップＳＴ１０３で抽出したバイタル情報から、オペレータの生理学的または神経学的な活動指標を抽出する（ＳＴ１０６）。続いて、オペレータ端末２は、抽出した活動指標に基づき、オペレータのストレス状態を判定（ストレス状態の評価値を算出）する（ＳＴ１０７）。この判定されたストレス状態に関する情報は、記憶部４３に記憶される（ＳＴ１０８）。
【０１２２】
そして、記憶部４３に記憶されたストレス状態に関する情報は、通信部４２から管理サーバ３に対して送信される（ＳＴ１０９）。なお、ステップＳＴ１０９では、図１６に示すようなバイタルセンシング画面１３１を表示するために、ストレス状態に関する情報と共に、それに対応するバイタル情報を管理サーバ３に対して送信する。
【０１２３】
また、オペレータ端末２が上記ステップＳＴ１０３で算出したバイタル情報を管理サーバ３に送信し、管理サーバ３が、オペレータ端末２の代わりに上記ステップＳＴ１０６−ＳＴ１０８に対応する処理を実行することにより、ストレス状態の評価値を算出するようにしてもよい。その場合、管理サーバ３に送信されるバイタル情報に対し、上記ステップＳＴ１０４で取得したユーザに関する対応情報を関連付けることができる。
【０１２４】
さらに、バイタル情報生成部４６と同様の機能を管理サーバ３が備えた構成も可能である。この場合、オペレータ端末２からオペレータの映像を取得し、管理サーバ３において、ＳＴ１０２からＳＴ１０８と同等の処理を行う。
【０１２５】
このように、双方向映像通信システムでは、管理サーバ３が、キオスク端末１との双方向映像通信に用いられるオペレータ端末２のカメラによって撮影されたオペレータの映像に基づくストレス状態に関する情報（バイタル情報）を取得、あるいは算出するため、システムのコストの増大を抑制しつつ、そのバイタル情報から各オペレータのストレス状態を把握することが可能となる。
【０１２６】
次に、管理サーバ３によるオペレータ管理情報の表示方法について説明する。図１３−図１７は、それぞれオペレータ管理情報を含む管理画面の第１−第５の表示例を示す説明図である。
【０１２７】
管理サーバ３では、管理者からの要求に応じて、少なくともオペレータ端末２から取得したオペレータ管理情報に基づき、各オペレータのストレス状態を確認するための管理画面をモニタ８４に表示することができる。ただし、管理サーバ３は、ネットワークを介して接続された他のＰＣ（管理用ＰＣ）からの管理者の要求に応じて、同様の管理画面を表示するための表示用データを当該ＰＣに送信することもできる。
【０１２８】
図１３に示すように、メイン画面１０１では、ストレス状態の確認対象であるオペレータ（ここでは、１人）を管理者が選択するための選択エリア１０２が設けられている。図１３では、オペレータＯＰ１が選択された場合を示しており、メイン画面１０１には、オペレータＯＰ１のストレス状態１０３、ユーザに関する会話内容１０４、ユーザの対応実績１０５が示されている。なお、オペレータＯＰ２をチェックすると、オペレータＯＰ１のチェックが外れ、メイン画面１０１には、オペレータＯＰ２のストレス状態１０３、ユーザに関する会話内容１０４、ユーザの対応実績１０５を閲覧することができる。
【０１２９】
ストレス状態１０３は、１日の業務の時間経過（横軸）に対するストレス状態の評価値（縦軸）の変化の様子を示しており、このストレス状態の評価値はリアルタイムに変動する。
【０１３０】
また、会話内容１０４は、オペレータとユーザとの間で交わされた会話の各種別の割合（円グラフ）を示している。会話の種別としては、例えば、オペレータのストレス状態に与える影響が異なる「通常の会話」、「肯定的な会話」、及び「否定的な会話」などを設定することができる。会話内容の種別データは、オペレータがユーザへの対応を終了するタイミングで、オペレータ端末において複数の種別候補から１つを選択する画面（図示せず）を立ち上げて、オペレータに選択させることにより取得することができ、ユーザに関する対応情報と紐付けることができる。
【０１３１】
また、ユーザの対応実績１０５は、オペレータが月毎（横軸）に対応したユーザ数（縦軸）を示している。
【０１３２】
管理者は、メイン画面１０１において、第１の統計情報を表示するための統計情報１ボタン１１０を押下したのち、１以上のオペレータを選択することにより、図１４に示すような第１の統計情報画面１１１を表示させることができる。
【０１３３】
図１４に示す第１の統計情報画面１１１では、メイン画面１０１において４人のオペレータＯＰ１−ＯＰ４が選択されて統計情報１ボタン１１０が押下された場合を示している。第１の統計情報画面１１１では、図１４（Ａ）に示すオペレータＯＰ１について、対応したユーザ（ここでは、客Ａ−Ｄ：横軸）に対する対応時間（縦軸）、オペレータの対応時におけるユーザの感情の評価値（ここでは、感情の評価値の平均：縦軸）、及びユーザに対するオペレータの対応時におけるストレス状態の評価値（ここでは、ストレス状態の評価値の平均：縦軸）がそれぞれグラフで示されている。図１４（Ｂ）−（Ｄ）に示す他のオペレータＯＰ２−ＯＰ４についてもオペレータＯＰ１と同様である。
【０１３４】
ここで、ストレス状態の評価値には、評価値の上限の目安を示す閾値１１２が予め設定されている。第１の統計情報画面１１１では、オペレータＯＰ４のストレス状態の評価値が客Ｍ−Ｐの対応時に閾値１１２を超えた様子が示されており、これにより、管理者は、オペレータＯＰ４に対して措置を講ずること（例えば、オペレータＯＰ４に休憩や休暇をとらせること）が必要であることを認識することができる。第１の統計情報画面１１１では、ストレス状態の評価値が閾値１１２を超えたオペレータＯＰ４に関するグラフが強調表示（ハイライト表示）されており、これにより、管理者は、オペレータＯＰ４のストレス状態の評価値に速やかに注目することが可能となる。なお、個人のストレス耐性を考慮して、オペレータ毎に異なる閾値１１２を設定してもよい。
【０１３５】
さらに、管理者は、ストレス状態の評価値が閾値１１２を超えたオペレータＯＰ４に関し、そのストレス状態の要因となり得るユーザに対する対応時間や、ユーザの感情の評価値を第１の統計情報画面１１１において確認することにより、オペレータＯＰ４のストレス状態に影響を及ぼした要因を把握（または推定）することができる。その結果、管理者は、オペレータＯＰ４に対してより適切な措置を講ずることが可能となる。
【０１３６】
また、管理者は、メイン画面１０１（図１３参照）において、第２の統計情報を表示するための統計情報２ボタン１２０を押下したのち、１以上のオペレータを選択することにより、図１５に示すような第２の統計情報画面１２１を表示させることができる。
【０１３７】
図１５に示す第２の統計情報画面１２１では、メイン画面１０１において全てオペレータＯＰ１−ＯＰ１０等が選択されて統計情報２ボタン１２０が押下された場合の例を示している。第２の統計情報画面１２１では、図１４に示した対応時間、ユーザの感情の評価値、及びオペレータのストレス状態の評価値について、横軸に示すオペレータ毎に所定期間（例えば、１ヶ月間）における統計値（ここでは、平均値）が示されている。
【０１３８】
ここで、ストレス状態の評価値には、評価値の２つの閾値（第１の閾値１２２、第２の閾値１２３）が予め設定されている。これにより、管理者は、オペレータのストレス状態の評価値が第２の閾値１２３を超えた場合に、当該オペレータに対して措置を講ずることが必要となり得る（または、予備的に措置を講じてもよい）予備軍として認識することができ、さらに、オペレータのストレス状態の評価値が第１の閾値１２２を超えた場合に、当該オペレータ（ここでは、オペレータＯＰ４）に対して早急な措置を講ずることが必要であることを認識することができる。
【０１３９】
このように、双方向映像通信システムでは、オペレータ端末２を操作した複数のオペレータ（より好ましくは、全てのオペレータ）について、ストレス状態に関する情報を同時（同一画面内）に表示することができるため、管理者は、複数のオペレータのストレス状態を速やかに把握することが可能となる。また、双方向映像通信システムでは、オペレータのストレス状態に関する情報およびユーザの感情に関する情報を同時（同一画面内）に表示することができるため、管理者は、各オペレータのストレス状態に影響する要因をより適切に把握することが可能となる。
【０１４０】
また、管理者は、メイン画面１０１（図１３参照）において、いずれかのオペレータを選択し、バイタル情報ボタン１３０を押下することにより、図１６に示すようなバイタルセンシング画面１３１を表示させることができる。
【０１４１】
図１６に示すバイタルセンシング画面１３１では、上述のストレス状態の評価値の基となるオペレータのバイタル情報に関するデータが示されている。ここでは、バイタルセンシング画面１３１には、オペレータの顔検出位置を示す情報１３２、オペレータから検出された肌領域を示す情報１３３、オペレータの脈拍の情報１３４、オペレータの心拍数の時間的変化の情報１３５、オペレータのストレス状態の評価値の時間的変化の情報１３６、ｐＮＮ５０（ＲＲ間隔が５０ミリ秒以上の心拍数）の時間的変化の情報１３７などが占められている。管理者は、バイタルセンシング画面１３１により、オペレータからのバイタル情報が正常に取得されていることを確認することができる。
【０１４２】
また、管理者は、メイン画面１０１（図１３参照）において、いずれかのオペレータを選択し、ユーザ情報ボタン１４０を押下することにより、図１７に示すようなユーザ感情推定画面１４１を表示させることができる。
【０１４３】
図１７に示すユーザ感情推定画面１４１では、ユーザの映像に基づくユーザの顔認識結果を示す画像１４２、ユーザの映像（顔画像）に基づくユーザの感情の評価値を示すグラフ１４３、及びユーザのオペレータとの会話時の音声に基づくユーザの感情の評価値を示すグラフ１４４が示されている。
【０１４４】
ユーザの感情の評価値を示すグラフ１４３には、公知の手法に基づき、ユーザの顔のパーツの配置（例えば、目、眉、鼻、口等）から算出されたユーザの怒り、悲しみ、驚き、喜びの４つ感情の度合いに関する推定値が示されており、これらの推定値を加算したものが、図１４及び図１５に示したユーザの感情の評価値に相当する。各感情については、所定の重み付けがされており、例えば、ユーザの怒りの度合いに関する推定値が大きい場合には、ユーザの感情の評価値が大きくなり、オペレータへのストレスへの影響が大きくなる傾向にある。
【０１４５】
なお、上記実施形態では、オペレータのバイタル情報を抽出し、ストレス状態判定を行ってストレス状態に関する情報を取得する例を示したが、キオスク端末１の正面カメラ１４で撮影されたオペレータが対応中のユーザの映像に基づくバイタル情報を更に取得し、ユーザのストレス状態に関する情報を管理サーバ３より取得できるようにして、ユーザのストレス状態を表示して確認することも可能である。
【０１４６】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【産業上の利用可能性】
【０１４７】
本開示に係る双方向映像通信システム及びそのオペレータの管理方法は、システムのコストの増大を抑制しつつ、各オペレータのストレス状態を把握することを可能とする効果を有し、キオスク端末とオペレータ端末との間で、キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システム及びそのオペレータの管理方法などとして有用である。
【符号の説明】
【０１４８】
１    ：キオスク端末
２    ：オペレータ端末
３    ：管理サーバ
５    ：モニタ
１１  ：筐体
１２  ：正面モニタ（第１表示部）
１３  ：手元モニタ
１４  ：正面カメラ（第１カメラ）
１５  ：手元カメラ
１６  ：ＩＣカードリーダ
１７  ：スピーカー
１８  ：マイク
２１  ：架台
２２  ：第１モニタ（第２表示部）
２３  ：第２モニタ
２４  ：正面カメラ（第２カメラ）
２５  ：手元カメラ
２６  ：ヘッドセット
２７  ：テーブル
２８  ：スピーカー
２９  ：マイク
３１  ：制御部
３２  ：通信部（第１通信部）
３３  ：記憶部
３５  ：画面制御部
３６  ：感情情報生成部
３７  ：音声制御部
３８  ：音声変換部
４１  ：制御部
４２  ：通信部（第２通信部）
４３  ：記憶部
４５  ：画面制御部
４６  ：バイタル情報生成部
４７  ：音声認識部
４８  ：対応時間算出部
５１  ：操作ボタン
５２  ：通話ボタン
５３  ：操作ボタン
６１  ：オペレータの正面映像
６２  ：オペレータの手元映像
６３  ：手元映像
７１  ：操作ボタン
７２  ：ユーザの正面映像
７３  ：ユーザの手元映像
８１  ：制御部
８２  ：通信部
８３  ：記憶部
８４  ：モニタ
９１  ：バイタル情報
９２  ：ＩＤ番号
９３  ：撮影時間
９４  ：ＲＲＩ値
１０１：メイン画面
１０２：選択エリア
１０３：ストレス状態
１０４：会話内容
１０５：対応実績
１１０：統計情報１ボタン
１１１：第１の統計情報画面
１１２：閾値
１２０：統計情報２ボタン
１２１：第２の統計情報画面
１２２：第１の閾値
１２３：第２の閾値
１３０：バイタル情報ボタン
１３１：バイタルセンシング画面
１４０：ユーザ情報ボタン
１４１：ユーザ感情推定画面
【図１】
2020009177.tif 000003
【図２】
2020009177.tif 000004
【図３】
2020009177.tif 000005
【図４】
2020009177.tif 000006
【図５】
2020009177.tif 000007
【図６】
2020009177.tif 000008
【図７】
2020009177.tif 000009
【図８】
2020009177.tif 000010
【図９】
2020009177.tif 000011
【図１０】
2020009177.tif 000012
【図１１】
2020009177.tif 000013
【図１２】
2020009177.tif 000014
【図１３】
2020009177.tif 000015
【図１４】
2020009177.tif 000016
【図１５】
2020009177.tif 000017
【図１６】
2020009177.tif 000018
【図１７】
2020009177.tif 000019