(57)【要約】【課題】ユーザがキオスク端末を操作する際に、覗き見に対する不安を完全に解消して、ユーザが操作に専念できるようにする。【解決手段】オペレータ端末２の制御部４１は、キオスク端末１のカメラ１４により、ユーザの背後も含むようにユーザを正面から撮影したユーザの正面映像をキオスク端末から通信部４２で受信すると、ユーザの正面映像をモニタ２２に表示する。また、制御部４１は、ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報をユーザの正面映像に付加した画面を生成して、その画面をモニタに表示する。【選択図】図４
2019149625.tif 000002
【特許請求の範囲】
【請求項１】
キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、
前記キオスク端末は、
前記オペレータ端末と通信を行う通信部と、
ユーザの背後も含むようにユーザを正面から撮影するカメラと、
前記オペレータ端末から受信したオペレータの映像を表示するモニタと、
前記オペレータ端末から受信したオペレータの音声を出力するスピーカーと、
制御部と、
を備え、
前記オペレータ端末は、
前記キオスク端末と通信を行う通信部と、
オペレータを撮影するカメラと、
前記キオスク端末から受信したユーザの映像を表示するモニタと、
オペレータが発話した音声を収音するマイクと、
制御部と、
を備え、
前記オペレータ端末の前記制御部は、
前記カメラで撮影したユーザの正面映像を前記キオスク端末から受信すると、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記オペレータ端末の前記モニタに表示することを特徴とする双方向映像通信システム。
【請求項２】
キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、
前記キオスク端末は、
前記オペレータ端末と通信を行う通信部と、
ユーザの背後も含むようにユーザを正面から撮影するカメラと、
前記オペレータ端末から受信したオペレータの映像を表示するモニタと、
制御部と、
を備え、
前記オペレータ端末は、
前記キオスク端末と通信を行う通信部と、
オペレータを撮影するカメラと、
前記キオスク端末から受信したユーザの映像を表示するモニタと、
制御部と、
を備え、
前記オペレータ端末の前記制御部は、
前記カメラで撮影したユーザの正面映像を前記キオスク端末から受信すると、前記ユーザの正面映像を含む画面を前記オペレータ端末の前記モニタに表示し、前記画面で不審者の存在を確認したオペレータが、ユーザに対する注意喚起を指示する操作を行うと、注意喚起通知を前記キオスク端末に送信し、
前記キオスク端末の前記制御部は、
前記注意喚起通知を受信すると、所定の注意喚起動作を実行することを特徴とする双方向映像通信システム。
【請求項３】
キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、
前記キオスク端末は、
前記オペレータ端末と通信を行う通信部と、
ユーザの背後も含むようにユーザを正面から撮影するカメラと、
前記オペレータ端末から受信したオペレータの映像を表示するモニタと、
制御部と、
を備え、
前記オペレータ端末は、
前記キオスク端末と通信を行う通信部と、
オペレータを撮影するカメラと、
前記キオスク端末から受信したユーザの映像を表示するモニタと、
制御部と、
を備え、
前記オペレータ端末の前記制御部は、
前記カメラで撮影したユーザの正面映像を前記キオスク端末から受信すると、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、注意喚起通知を前記キオスク端末に送信し、
前記キオスク端末の前記制御部は、
前記注意喚起通知を受信すると、所定の注意喚起動作を実行することを特徴とする双方向映像通信システム。
【請求項４】
前記オペレータ端末の前記制御部は、
前記顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記注意喚起通知として前記キオスク端末に送信し、
前記キオスク端末の前記制御部は、
前記注意喚起動作として、前記オペレータ端末から受信した画面を前記キオスク端末の前記モニタに表示することを特徴とする請求項３に記載の双方向映像通信システム。
【請求項５】
キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、
前記キオスク端末は、
前記オペレータ端末と通信を行う通信部と、
ユーザの背後も含むようにユーザを正面から撮影するカメラと、
前記オペレータ端末から受信したオペレータの映像を表示するモニタと、
制御部と、
を備え、
前記オペレータ端末は、
前記キオスク端末と通信を行う通信部と、
オペレータを撮影するカメラと、
前記キオスク端末から受信したユーザの映像を表示するモニタと、
制御部と、
を備え、
前記オペレータ端末の前記制御部は、
前記カメラで撮影したユーザの正面映像を前記キオスク端末から受信すると、常時、前記ユーザの正面映像を含む画面を前記キオスク端末に送信するとともに、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記キオスク端末に送信し、
前記キオスク端末の前記制御部は、
前記オペレータ端末から受信した前記画面を前記キオスク端末の前記モニタに表示することを特徴とする双方向映像通信システム。
【請求項６】
前記キオスク端末の前記制御部は、
前記注意喚起動作として、注意喚起の文字および図形の少なくともいずれかを表示することを特徴とする請求項２または請求項３に記載の双方向映像通信システム。
【請求項７】
前記キオスク端末の前記制御部は、
前記注意喚起動作として、前記モニタの画面上で所定の画像を点滅表示することを特徴とする請求項２または請求項３に記載の双方向映像通信システム。
【請求項８】
前記オペレータ端末の前記制御部は、
前記人物識別情報として、前記ユーザの正面映像に映る不審者を取り囲む枠画像を前記ユーザの正面映像に重畳した画面を生成することを特徴とする請求項１、請求項４および請求項５のいずれかに記載の双方向映像通信システム。
【請求項９】
前記オペレータ端末の前記制御部は、
前記ユーザの正面映像を左右反転させた状態で画面に表示することを特徴とする請求項４または請求項５に記載の双方向映像通信システム。
【請求項１０】
前記オペレータ端末の前記制御部は、
前記顔認証により不審者を検知すると、その不審者を不審者リストに登録することを特徴とする請求項１、請求項３および請求項５のいずれかに記載の双方向映像通信システム。
【請求項１１】
キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、
前記キオスク端末と通信を行う通信部と、
オペレータを撮影するカメラと、
前記キオスク端末から受信したユーザの映像を表示するモニタと、
オペレータが発話した音声を収音するマイクと、
制御部と、
を備え、
前記制御部は、
前記キオスク端末のカメラにより、ユーザの背後も含むようにユーザを正面から撮影したユーザの正面映像を、前記キオスク端末から受信すると、前記ユーザの正面映像を含む画面を前記モニタに表示するとともに、
前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記モニタに表示することを特徴とするオペレータ端末。
【請求項１２】
キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、
前記キオスク端末と通信を行う通信部と、
オペレータを撮影するカメラと、
前記キオスク端末から受信したユーザの映像を表示するモニタと、
制御部と、
を備え、
前記制御部は、
前記キオスク端末のカメラにより、ユーザの背後も含むようにユーザを正面から撮影したユーザの正面映像を、前記キオスク端末から受信すると、前記ユーザの正面映像を含む画面を前記モニタに表示するとともに、
前記画面で不審者の存在を確認したオペレータが、ユーザに対する注意喚起を指示する操作を行うと、注意喚起通知を前記キオスク端末に送信して、前記キオスク端末に所定の注意喚起動作を実行させることを特徴とするオペレータ端末。
【請求項１３】
キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、
前記キオスク端末と通信を行う通信部と、
オペレータを撮影するカメラと、
前記キオスク端末から受信したユーザの映像を表示するモニタと、
制御部と、
を備え、
前記制御部は、
前記キオスク端末のカメラにより、ユーザの背後も含むようにユーザを正面から撮影したユーザの正面映像を、前記キオスク端末から受信すると、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、注意喚起通知を前記キオスク端末に送信して、前記キオスク端末に所定の注意喚起動作を実行させることを特徴とするオペレータ端末。
【請求項１４】
キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、
前記キオスク端末と通信を行う通信部と、
オペレータを撮影するカメラと、
前記キオスク端末から受信したユーザの映像を表示するモニタと、
制御部と、
を備え、
前記制御部は、
前記キオスク端末のカメラにより、ユーザの背後も含むようにユーザを正面から撮影したユーザの正面映像を、前記キオスク端末から受信すると、常時、前記ユーザの正面映像を含む画面を前記キオスク端末に送信して、前記画面を前記キオスク端末に表示させるとともに、
前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記キオスク端末に送信して前記キオスク端末のモニタに表示させることを特徴とするオペレータ端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キオスク端末とオペレータ端末との間で、キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システム、及びオペレータ端末に関するものである。
【背景技術】
【０００２】
近年、各種の情報を提供する案内業務や金融機関などの窓口業務などのサービスを、人に代わって提供するキオスク端末が普及している。このようなキオスク端末は、人を配置せずに済むため、様々な場所に設置することができ、ユーザの利便性が向上するが、周囲に仕切がなく、不特定多数の人が立ち入ることができる場所に設置されるため、ユーザの背後からキオスク端末の画面を覗き見されて、個人情報や暗証番号などの機密情報を盗まれるおそれがある。そこで、キオスク端末の画面を容易に覗き見できないようにする技術が望まれる。
【０００３】
このような覗き見を防止する技術として、従来、キオスク端末において、前向きのモニタと上向きのモニタとを設けて、セキュリティを考慮すべき場合には、操作画面を上向きのモニタに切り替える技術が知られている（特許文献１参照）。これにより、操作画面をユーザの背後から覗き見されにくくなり、セキュリティ性の向上を図ることができる。
【０００４】
また、現金自動取引装置において、操作するユーザを正面から撮影するカメラを、ユーザの背後も映るように設けて、そのカメラの映像をモニタに表示し、暗証番号を入力する際に、カメラの映像の表示エリアが拡大するように制御する技術が知られている（特許文献２参照）。これにより、ユーザの注意を喚起することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１４６３１０号公報
【特許文献２】特許第４３４９９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
さて、キオスク端末では、ユーザが望むサービスの内容によっては、煩雑な操作が必要な場合があり、また、ユーザがキオスク端末の操作に不慣れな場合があるが、このような場合、覗き見する不審者がいないかどうかに気を配りながら、キオスク端末を操作することは面倒であり、ユーザの負担が大きい。このため、ユーザが覗き見の不安を抱えることなく、キオスク端末の操作に専念できるようにすることが望まれる。
【０００７】
しかしながら、前記従来の技術では、覗き見を防止する上で相応の有効性が認められるが、依然として、ユーザがキオスク端末を操作する際の不安を完全に解消することはできないという問題があった。
【０００８】
そこで、本発明は、ユーザがキオスク端末を操作する際に、覗き見に対する不安を完全に解消して、ユーザが操作に専念することができる双方向映像通信システム及びオペレータ端末を提供することを主な目的とする。
【課題を解決するための手段】
【０００９】
本発明の双方向映像通信システムは、キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、前記キオスク端末は、前記オペレータ端末と通信を行う通信部と、ユーザの背後も含むようにユーザを正面から撮影するカメラと、前記オペレータ端末から受信したオペレータの映像を表示するモニタと、前記オペレータ端末から受信したオペレータの音声を出力するスピーカーと、制御部と、を備え、前記オペレータ端末は、前記キオスク端末と通信を行う通信部と、オペレータを撮影するカメラと、前記キオスク端末から受信したユーザの映像を表示するモニタと、オペレータが発話した音声を収音するマイクと、制御部と、を備え、前記オペレータ端末の前記制御部は、前記カメラで撮影したユーザの正面映像を前記キオスク端末から受信すると、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記オペレータ端末の前記モニタに表示する構成とする。
【００１０】
また、本発明のオペレータ端末は、キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、前記キオスク端末と通信を行う通信部と、オペレータを撮影するカメラと、前記キオスク端末から受信したユーザの映像を表示するモニタと、オペレータが発話した音声を収音するマイクと、制御部と、を備え、前記制御部は、前記キオスク端末のカメラにより、ユーザの背後も含むようにユーザを正面から撮影したユーザの正面映像を、前記キオスク端末から受信すると、前記ユーザの正面映像を含む画面を前記モニタに表示するとともに、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記モニタに表示する構成とする。
【発明の効果】
【００１１】
本発明によれば、覗き見する不審者の存在をオペレータが即座に確認することができる。そして、不審者の存在をオペレータからユーザに口頭で知らせる、すなわち、オペレータが不審者の存在を知らせる言葉を発話して、その音声がキオスク端末で出力されることで、ユーザが不審者に確実に気付くことができる。これにより、ユーザがキオスク端末を操作する際の不安を完全に解消して、ユーザが操作に専念することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る双方向映像通信システムの全体構成図
【図２】キオスク端末１の外観を示す斜視図
【図３】オペレータ端末２の外観を示す斜視図
【図４】キオスク端末１およびオペレータ端末２の概略構成を示すブロック図
【図５】キオスク端末１に表示される画面を示す説明図
【図６】オペレータ端末２に表示される画面を示す説明図
【図７】オペレータ端末２で行われる覗き見確認制御に係る動作モードを示す説明図
【図８】口頭通知モードにおいてオペレータ端末２に表示される画面を示す説明図
【図９】間接通知モードにおいてオペレータ端末２に表示される画面を示す説明図
【図１０】間接通知モードにおいてキオスク端末１に表示される画面を示す説明図
【図１１】直接通知モードにおいてキオスク端末１に表示される画面を示す説明図
【図１２】常時表示モードにおいてキオスク端末１に表示される画面を示す説明図
【図１３】オペレータ端末２で管理される不審者データベースの登録内容を示す説明図
【図１４】オペレータ端末２で行われる覗き見確認制御の手順を示すフロー図
【図１５】オペレータ端末２で行われる覗き見確認制御の手順を示すフロー図
【図１６】オペレータ端末２で行われる顔認証制御の手順を示すフロー図
【発明を実施するための形態】
【００１３】
前記課題を解決するためになされた第１の発明は、キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、前記キオスク端末は、前記オペレータ端末と通信を行う通信部と、ユーザの背後も含むようにユーザを正面から撮影するカメラと、前記オペレータ端末から受信したオペレータの映像を表示するモニタと、前記オペレータ端末から受信したオペレータの音声を出力するスピーカーと、制御部と、を備え、前記オペレータ端末は、前記キオスク端末と通信を行う通信部と、オペレータを撮影するカメラと、前記キオスク端末から受信したユーザの映像を表示するモニタと、オペレータが発話した音声を収音するマイクと、制御部と、を備え、前記オペレータ端末の前記制御部は、前記カメラで撮影したユーザの正面映像を前記キオスク端末から受信すると、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記オペレータ端末の前記モニタに表示する構成とする。
【００１４】
これによると、覗き見する不審者の存在をオペレータが即座に確認することができる。そして、不審者の存在をオペレータからユーザに口頭で知らせる、すなわち、オペレータが不審者の存在を知らせる言葉を発話して、その音声がキオスク端末で出力されることで、ユーザが不審者に確実に気付くことができる。これにより、ユーザがキオスク端末を操作する際の不安を完全に解消して、ユーザが操作に専念することができる。
【００１５】
また、第２の発明は、キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、前記キオスク端末は、前記オペレータ端末と通信を行う通信部と、ユーザの背後も含むようにユーザを正面から撮影するカメラと、前記オペレータ端末から受信したオペレータの映像を表示するモニタと、制御部と、を備え、前記オペレータ端末は、前記キオスク端末と通信を行う通信部と、オペレータを撮影するカメラと、前記キオスク端末から受信したユーザの映像を表示するモニタと、制御部と、を備え、前記オペレータ端末の前記制御部は、前記カメラで撮影したユーザの正面映像を前記キオスク端末から受信すると、前記ユーザの正面映像を含む画面を前記オペレータ端末の前記モニタに表示し、前記画面で不審者の存在を確認したオペレータが、ユーザに対する注意喚起を指示する操作を行うと、注意喚起通知を前記キオスク端末に送信し、前記キオスク端末の前記制御部は、前記注意喚起通知を受信すると、所定の注意喚起動作を実行する構成とする。
【００１６】
これによると、覗き見する不審者の存在をオペレータが確認して、オペレータが所要の操作を行うことで、キオスク端末が注意喚起動作を行うため、ユーザが不審者に確実に気付くことができる。これにより、ユーザがキオスク端末を操作する際の不安を完全に解消して、ユーザが操作に専念することができる。
【００１７】
また、第３の発明は、キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、前記キオスク端末は、前記オペレータ端末と通信を行う通信部と、ユーザの背後も含むようにユーザを正面から撮影するカメラと、前記オペレータ端末から受信したオペレータの映像を表示するモニタと、制御部と、を備え、前記オペレータ端末は、前記キオスク端末と通信を行う通信部と、オペレータを撮影するカメラと、前記キオスク端末から受信したユーザの映像を表示するモニタと、制御部と、を備え、前記オペレータ端末の前記制御部は、前記カメラで撮影したユーザの正面映像を前記キオスク端末から受信すると、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、注意喚起通知を前記キオスク端末に送信し、前記キオスク端末の前記制御部は、前記注意喚起通知を受信すると、所定の注意喚起動作を実行する構成とする。
【００１８】
これによると、不審者が現れた場合に、オペレータを介さずに、キオスク端末が注意喚起動作を行うため、ユーザが不審者に確実に気付くことができる。これにより、ユーザがキオスク端末を操作する際の不安を完全に解消して、ユーザが操作に専念することができる。
【００１９】
また、第４の発明は、前記オペレータ端末の前記制御部は、前記顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記注意喚起通知として前記キオスク端末に送信し、前記キオスク端末の前記制御部は、前記注意喚起動作として、前記オペレータ端末から受信した画面を前記キオスク端末の前記モニタに表示する構成とする。
【００２０】
これによると、不審者の存在をユーザが即座に確認することができる。
【００２１】
また、第５の発明は、キオスク端末とオペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、前記キオスク端末は、前記オペレータ端末と通信を行う通信部と、ユーザの背後も含むようにユーザを正面から撮影するカメラと、前記オペレータ端末から受信したオペレータの映像を表示するモニタと、制御部と、を備え、前記オペレータ端末は、前記キオスク端末と通信を行う通信部と、オペレータを撮影するカメラと、前記キオスク端末から受信したユーザの映像を表示するモニタと、制御部と、を備え、前記オペレータ端末の前記制御部は、前記カメラで撮影したユーザの正面映像を前記キオスク端末から受信すると、常時、前記ユーザの正面映像を含む画面を前記キオスク端末に送信するとともに、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記キオスク端末に送信し、前記キオスク端末の前記制御部は、前記オペレータ端末から受信した前記画面を前記キオスク端末の前記モニタに表示する構成とする。
【００２２】
これによると、不審者が現れた場合に、ユーザが不審者に確実に気付くことができる。これにより、ユーザがキオスク端末を操作する際の不安を完全に解消して、ユーザが操作に専念することができる。
【００２３】
また、第６の発明は、前記キオスク端末の前記制御部は、前記注意喚起動作として、注意喚起の文字および図形の少なくともいずれかを表示する構成とする。
【００２４】
これによると、不審者の存在をユーザが即座に確認することができる。なお、画面表示の他に、注意喚起の音声を出力するようにしてもよい。
【００２５】
また、第７の発明は、前記キオスク端末の前記制御部は、前記注意喚起動作として、前記モニタの画面上で所定の画像を点滅表示する構成とする。
【００２６】
これによると、不審者の存在をユーザが即座に確認することができる。
【００２７】
また、第８の発明は、前記オペレータ端末の前記制御部は、前記人物識別情報として、前記ユーザの正面映像に映る不審者を取り囲む枠画像を前記ユーザの正面映像に重畳した画面を生成する構成とする。
【００２８】
これによると、不審者をオペレータやユーザが即座に識別することができる。なお、人物識別情報は、枠画像の他に、不審者を指し示す矢印やアイコンなどの図形としてもよい。
【００２９】
また、第９の発明は、前記オペレータ端末の前記制御部は、前記ユーザの正面映像を左右反転させた状態で画面に表示する構成とする。
【００３０】
これによると、キオスク端末において、ユーザの正面映像が左右反転した状態（ミラー映像）で表示されるため、不審者がユーザの左右いずれの方向にいるかをユーザが誤りなく判断することができる。
【００３１】
また、第１０の発明は、前記オペレータ端末の前記制御部は、前記顔認証により不審者を検知すると、その不審者を不審者リストに登録する構成とする。
【００３２】
これによると、どのような不審者がいたかを事後に確認することができる。
【００３３】
また、第１１の発明は、キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、前記キオスク端末と通信を行う通信部と、オペレータを撮影するカメラと、前記キオスク端末から受信したユーザの映像を表示するモニタと、オペレータが発話した音声を収音するマイクと、制御部と、を備え、前記制御部は、前記キオスク端末のカメラにより、ユーザの背後も含むようにユーザを正面から撮影したユーザの正面映像を、前記キオスク端末から受信すると、前記ユーザの正面映像を含む画面を前記モニタに表示するとともに、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記モニタに表示する構成とする。
【００３４】
これによると、第１の発明と同様に、ユーザがキオスク端末を操作する際の不安を完全に解消して、ユーザが操作に専念することができる。
【００３５】
また、第１２の発明は、キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、前記キオスク端末と通信を行う通信部と、オペレータを撮影するカメラと、前記キオスク端末から受信したユーザの映像を表示するモニタと、制御部と、を備え、前記制御部は、前記キオスク端末のカメラにより、ユーザの背後も含むようにユーザを正面から撮影したユーザの正面映像を、前記キオスク端末から受信すると、前記ユーザの正面映像を含む画面を前記モニタに表示するとともに、前記画面で不審者の存在を確認したオペレータが、ユーザに対する注意喚起を指示する操作を行うと、注意喚起通知を前記キオスク端末に送信して、前記キオスク端末に所定の注意喚起動作を実行させる構成とする。
【００３６】
これによると、第２の発明と同様に、ユーザがキオスク端末を操作する際の不安を完全に解消して、ユーザが操作に専念することができる。
【００３７】
また、第１３の発明は、キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、前記キオスク端末と通信を行う通信部と、オペレータを撮影するカメラと、前記キオスク端末から受信したユーザの映像を表示するモニタと、制御部と、を備え、前記制御部は、前記キオスク端末のカメラにより、ユーザの背後も含むようにユーザを正面から撮影したユーザの正面映像を、前記キオスク端末から受信すると、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、注意喚起通知を前記キオスク端末に送信して、前記キオスク端末に所定の注意喚起動作を実行させる構成とする。
【００３８】
これによると、第３の発明と同様に、ユーザがキオスク端末を操作する際の不安を完全に解消して、ユーザが操作に専念することができる。
【００３９】
また、第１４の発明は、キオスク端末を操作するユーザの映像と自装置を操作するオペレータの映像とを、前記キオスク端末との間で双方向に通信するオペレータ端末であって、前記キオスク端末と通信を行う通信部と、オペレータを撮影するカメラと、前記キオスク端末から受信したユーザの映像を表示するモニタと、制御部と、を備え、前記制御部は、前記キオスク端末のカメラにより、ユーザの背後も含むようにユーザを正面から撮影したユーザの正面映像を、前記キオスク端末から受信すると、常時、前記ユーザの正面映像を含む画面を前記キオスク端末に送信して、前記画面を前記キオスク端末に表示させるとともに、前記ユーザの正面映像に映る人物の顔認証を行い、この顔認証により不審者を検知すると、ユーザと不審者とを識別する人物識別情報を前記ユーザの正面映像に付加した画面を生成して、その画面を前記キオスク端末に送信して前記キオスク端末のモニタに表示させる構成とする。
【００４０】
これによると、第５の発明と同様に、ユーザがキオスク端末を操作する際の不安を完全に解消して、ユーザが操作に専念することができる。
【００４１】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００４２】
図１は、本実施形態に係る双方向映像通信システムの全体構成図である。
【００４３】
この双方向映像通信システムは、キオスク端末１と、オペレータ端末２と、を備えている。キオスク端末１とオペレータ端末２とは、インターネットやＶＰＮ（Virtual Private Network）やイントラネットなどのネットワークを介して接続される。
【００４４】
キオスク端末１は、各種の施設に設置され、ユーザが操作するものであり、ユーザを撮影した映像をオペレータ端末２に送信し、オペレータ端末２から受信したオペレータの映像を表示する。
【００４５】
オペレータ端末２は、コールセンターなど、ユーザに応対するオペレータが常駐する施設に設置され、オペレータが操作するものであり、オペレータを撮影した映像をキオスク端末１に送信し、キオスク端末１から受信したユーザの映像を表示する。
【００４６】
なお、キオスク端末１では、様々なサービスを提供することができる。例えば、キオスク端末１を空港などの交通施設のロビーなどに設置することで、周辺の観光地の案内や、施設内のフロアの案内や、周辺の宿泊施設の案内などのサービスを提供することができる。また、キオスク端末１を銀行などの金融機関の店舗に設置することで、窓口などで行われる各種のサービス、例えば、口座開設や金融取引やローン契約の相談などのサービスを提供することができる。また、キオスク端末１をホテルなどの宿泊施設のフロントなどに設置することで、係員（コンシェルジュ）が行う各種の案内サービスを提供することができる。また、マンションなどの共同住宅の玄関ロビーなどに設置することで、管理人が行う各種のサービスを提供することができる。
【００４７】
このようにキオスク端末１では、各種のサービスを担当者に代わって常時提供することができるため、サービスの品質を向上させることができ、また、オペレータが複数の施設を掛け持ちで担当することができるため、人員削減を図ることができる。
【００４８】
また、キオスク端末１とオペレータ端末２との間では、ユーザの映像とオペレータの映像とを双方向に通信するが、この他に、キオスク端末１やオペレータ端末２において、ユーザやオペレータが操作した内容に関する操作情報、ユーザやオペレータが入力したテキスト情報などが双方向に通信される。
【００４９】
特に、機密情報、例えば、ユーザの氏名や住所などの個人情報や、金融機関の口座番号などの情報がやり取りされる場合がある。このような機密情報の通信については、サービス提供者が、セキュリティを高度に確保した専用のネットワークを既に運用しているため、機密情報を含む映像以外の情報は既存のネットワークで通信し、これとは別のネットワークで映像を通信するようにしてもよい。これにより、セキュリティを確保するとともに、通信量が大きい映像を別のネットワークで通信することで、既存のネットワークの負荷が増大しないようにすることができる。
【００５０】
次に、キオスク端末１について説明する。図２は、キオスク端末１の外観を示す斜視図である。
【００５１】
キオスク端末１は、筐体１１と、正面モニタ１２と、手元モニタ１３と、正面カメラ１４と、手元カメラ１５と、ＩＣカードリーダ１６と、スピーカー１７と、マイク１８と、を備えている。
【００５２】
正面モニタ１２は、画面を前向きにした状態で配置され、手元モニタ１３は、画面を上向きにした状態で配置されている。また、手元モニタ１３はタッチパネルを備えており、ユーザが画面操作を行うことができる。
【００５３】
正面カメラ１４は、ユーザの顔を含む上半身を正面から撮影する。手元カメラ１５は、ユーザの手元、すなわち、手元モニタ１３上に置いたユーザの手と手元モニタ１３の画面とを上方から撮影する。ユーザは、手元モニタ１３の画面を手先で指し示す動作を行い、この状況が手元カメラ１５で撮影される。
【００５４】
ＩＣカードリーダ１６は、ユーザが所持するＩＣカードを読み取る。
【００５５】
スピーカー１７は、オペレータが発した音声を出力する。マイク１８は、ユーザが発した音声を収音する。
【００５６】
このように構成されたキオスク端末１は、カウンタなどの台に載置され、ユーザが椅子に座った状態で、あるいは、立ったままの状態でキオスク端末１を操作する。また、キオスク端末１は、周囲に仕切がない場所に設置されるため、ユーザ、すなわち、キオスク端末１を操作する人物およびその同伴者以外の人物が、キオスク端末１の画面をユーザの背後から覗き見することができる。
【００５７】
そこで、本実施形態では、正面カメラ１４によりユーザを正面から撮影する際に、ユーザの背後も含む、すなわち、ユーザの背後から覗き見する人物が映像に映るように撮影して、この正面カメラ１４の映像を用いて、覗き見する不審者がいることをユーザに知らせるようにする。
【００５８】
次に、オペレータ端末２について説明する。図３は、オペレータ端末２の外観を示す斜視図である。
【００５９】
オペレータ端末２は、架台２１と、第１モニタ２２と、第２モニタ２３と、正面カメラ２４と、手元カメラ２５と、ヘッドセット２６と、テーブル２７と、を備えている。
【００６０】
第１モニタ２２は、所定の高さとなるように架台２１に支持されている。第２モニタ２３は、タッチパネルを備えており、オペレータが画面操作を行うことができる。
【００６１】
正面カメラ２４は、オペレータの顔を含む上半身を正面から撮影する。手元カメラ２５は、オペレータの手元、すなわち、テーブル２７上に置いたオペレータの手とテーブル２７とを上方から撮影する。オペレータは、テーブルにパンフレットなどの書類を置いて、書類を手先で指し示しながら書類を説明し、この状況が手元カメラ２５で撮影される。
【００６２】
ヘッドセット２６は、スピーカー２８と、マイク２９と、を備えている。スピーカー２８は、ユーザが発した音声を出力する。マイク２９は、オペレータが発した音声を収音する。
【００６３】
また、オペレータ端末２には、モニタ５が併設される。このモニタ５には、オペレータ端末２、または、図示しないＰＣで起動させたアプリケーションの画面が表示される。このアプリケーションの画面はキオスク端末１と共有され、同一の画面がキオスク端末１の手元モニタ１３に表示される（画面共有機能）。また、モニタ５はタッチパネルを備えており、オペレータが手書きで画面上に描画することができる（ホワイトボード機能）。
【００６４】
なお、コールセンターでは、オペレータが、オペレータ端末２を使用して映像と音声でユーザに応対する対面応対業務とは別に、電話による音声のみでユーザに応対する電話応対業務を行うため、電話応対業務用のモニタ（図示せず）がオペレータ端末２に併設される。
【００６５】
次に、キオスク端末１およびオペレータ端末２の概略構成について説明する。図４は、キオスク端末１およびオペレータ端末２の概略構成を示すブロック図である。
【００６６】
キオスク端末１は、前記のように、正面モニタ１２と、手元モニタ１３と、正面カメラ１４と、手元カメラ１５と、ＩＣカードリーダ１６と、スピーカー１７と、マイク１８と、を備えている。また、キオスク端末１は、制御部３１と、通信部３２と、記憶部３３と、を備えている。
【００６７】
通信部３２は、ネットワークを介してオペレータ端末２と通信を行う。
【００６８】
記憶部３３は、制御部３１を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部３３は、スタンバイ時に正面モニタ１２をデジタルサイネージとして動作させる際に正面モニタ１２に表示するコンテンツの映像データを記憶する。
【００６９】
制御部３１は、プロセッサで構成され、記憶部３３に記憶されたプログラムをプロセッサで実行することで、所定の処理を実行する。本実施形態では、オペレータ端末２に接続する接続制御を行い、また、キオスク端末１で撮影したユーザの映像と、オペレータ端末２で撮影したオペレータの映像と、をリアルタイムで送受信する映像伝送制御などを行う。
【００７０】
オペレータ端末２は、前記のように、第１モニタ２２と、第２モニタ２３と、正面カメラ２４と、手元カメラ２５と、ヘッドセット２６と、を備えている。また、オペレータ端末２は、制御部４１と、通信部４２と、記憶部４３と、を備えている。
【００７１】
通信部４２は、ネットワークを介してキオスク端末１と通信を行う。
【００７２】
記憶部４３は、制御部４１を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部４３は、顔認証により検知した不審者に関する不審者データベース（図１５参照）の登録情報を記憶する。
【００７３】
制御部４１は、覗き見確認制御部４５と、顔認証制御部４６と、を備えている。この制御部４１は、プロセッサで構成され、制御部４１の各部は、記憶部４３に記憶されたプログラムをプロセッサで実行することで実現される。
【００７４】
覗き見確認制御部４５は、動作モード（口頭通知モード、間接通知モード、直接通知モード、および常時表示モード）に応じて、覗き見する不審者をオペレータおよびユーザに確認させる制御を行う。特に、顔認証制御部４６で不審者が検知されると、オペレータに対する通知動作をオペレータ端末２に行わせ、また、注意喚起通知をキオスク端末１に送信して、ユーザに対する注意喚起動作をキオスク端末１に行わせる。また、本実施形態では、オペレータに対する通知動作として、ユーザの正面映像に映る不審者を強調表示した画面をオペレータ端末２に表示する。また、ユーザに対する注意喚起動作として、ユーザの正面映像に映る不審者を強調表示した画面をキオスク端末１に表示させ、また、注意喚起のメッセージをキオスク端末１に表示させる。
【００７５】
顔認証制御部４６は、キオスク端末１から受信したユーザの正面映像に対して顔認証を行い、キオスク端末１を操作する人物およびその同伴者でない人物を不審者として検知する。具体的には、ユーザの正面映像から人物の顔を検出し、最初から出現している顔を、キオスク端末１を操作する人物およびその同伴者とみなして、その人物をユーザとして登録し、ユーザ以外の人物が途中から出現すると、その人物を不審者として検知する。
【００７６】
また、制御部４１は、この他に、キオスク端末１に接続する接続制御を行い、また、キオスク端末１で撮影したユーザの映像と、オペレータ端末２で撮影したオペレータの映像と、をリアルタイムで送受信する映像伝送制御などを行う。
【００７７】
なお、オペレータ端末２に、手持ちの書類を読み取るスキャナを設けるようにしてもよい。また、オペレータ端末２に、操作する人物が正規のオペレータであることの認証を行うために、ＩＣカードリーダを設けるようにしてもよい。また、キオスク端末１に、オペレータ端末２から送信された書類や画面表示された情報などを印刷出力するプリンタを設けるようにしてもよい。
【００７８】
また、第２モニタ２３をタブレットＰＣで構成する、すなわち、第２モニタ２３の筐体内に、制御部４１、通信部４２および記憶部４３を収容した構成としてもよい。
【００７９】
また、本実施形態では、直接通知モードおよび常時表示モードの場合に、オペレータ端末２において、顔認証により不審者を検知して、キオスク端末１に注意喚起動作を行わせるようにしたが、キオスク端末１において、顔認証により不審者を検知して、注意喚起動作を行うようにしてもよい。
【００８０】
次に、キオスク端末１に表示される画面について説明する。図５は、キオスク端末１に表示される画面を示す説明図である。
【００８１】
キオスク端末１では、スタンバイ時（オペレータ端末２に接続する前）には、正面モニタ１２がデジタルサイネージとして動作し、図５（Ａ−１）に示すように、正面モニタ１２に、お薦めプランなどの広告や施設などの案内に関するコンテンツの映像が表示される。
【００８２】
また、スタンバイ時には、図５（Ａ−２）に示すように、手元モニタ１３に、メニュー画面（操作画面）が表示される。このメニュー画面には、各種のメニュー項目に対応した操作ボタン５１が表示されている。また、このメニュー画面には、通話ボタン５２が表示されている。この通話ボタン５２を操作すると、キオスク端末１がオペレータ端末２に接続され、オペレータとの対話を開始することができる。なお、制御部３１は、人感センサなどによりキオスク端末１の前のユーザを感知すると、メニュー画面を自動で立ち上げるようにし、また、キオスク端末１の利用がない状態が所定時間継続するとメニュー画面を非表示状態に移行させることができる。
【００８３】
なお、正面モニタ１２をデジタルサイネージとして動作させる際には、予め記憶部３３に記憶されたコンテンツの映像データを読み出して、コンテンツの映像を再生すればよいが、映像データが格納されたメモリカードをキオスク端末１に装着したり、ネットワークを介して配信サーバからキオスク端末１に映像データを配信したりするようにしてもよい。
【００８４】
一方、キオスク端末１がオペレータ端末２に接続されると、図５（Ｂ−１）に示すように、正面モニタ１２に、オペレータ端末２の正面カメラ２４で撮影したオペレータの正面映像５３が表示され、同時に、図５（Ｂ−２）に示すように、手元モニタ１３に、オペレータ端末２の手元カメラ２５で撮影したオペレータの手元映像５４が表示される。
【００８５】
正面モニタ１２では、ユーザとオペレータとで目線の高さが一致するように、オペレータの正面映像５３が表示され、手元モニタ１３では、ユーザとオペレータとで手元の高さが一致するように、オペレータの手元映像５４が表示される。これにより、ユーザがオペレータとカウンタ越しで向き合っているような臨場感を実現することができる。
【００８６】
また、手元モニタ１３に表示されるオペレータの手元映像５４には、オペレータがパンフレットなどの書類を手先で指し示しながら説明している状況が映り、ユーザとオペレータとで互いに書類を指し示しながら対話することができる。
【００８７】
また、オペレータの操作により、手元モニタ１３に、アプリケーションの画面を表示させることができる。このアプリケーションの画面はオペレータ端末２と共有され、同一の画面がオペレータ端末２に表示される（画面共有機能）。また、アプリケーションの画面では、ユーザが手書きで画面上に描画することができる（ホワイトボード機能）。
【００８８】
なお、正面モニタ１２では、オペレータの背景がマスキングされた状態でオペレータの正面映像が表示されるようにしてもよい。
【００８９】
次に、オペレータ端末２に表示される画面について説明する。図６は、オペレータ端末２に表示される画面を示す説明図である。
【００９０】
オペレータ端末２では、スタンバイ時には、第１モニタ２２に、待ち受け画面が表示され、キオスク端末１で通話ボタン５２（図５（Ａ−２）参照）を操作すると、図６（Ａ−１）に示すように、着信画面が表示される。この着信画面には、接続相手となるキオスク端末１に関する情報（設置場所や端末名称など）が表示される。
【００９１】
また、スタンバイ時には、図６（Ａ−２）に示すように、第２モニタ２３に、操作画面が表示される。この操作画面には、オペレータ端末２の制御やキオスク端末１に対する指示などを行うための各種のメニュー項目に対応した操作ボタン６１が表示される。
【００９２】
また、第２モニタ２３には、オペレータ端末２の正面カメラ２４で撮影したオペレータの正面映像５３と、オペレータ端末２の手元カメラ２５で撮影したオペレータの手元映像５４とが表示される。このオペレータの正面映像５３および手元映像５４は、キオスク端末１に表示されるものと同じものである。なお、オペレータの手元映像５４は、元の状態と上下反転した状態とを切り替えることができる。
【００９３】
一方、オペレータ端末２がキオスク端末１に接続されると、図６（Ｂ−１）に示すように、第１モニタ２２に、キオスク端末１の正面カメラ１４で撮影したユーザの正面映像６２が表示される。なお、第１モニタ２２は、所定の高さとなるように架台２１に支持されており（図３参照）、これにより、オペレータとユーザとで視線を一致させることができる。
【００９４】
また、図６（Ｂ−２）に示すように、第２モニタ２３に、スタンバイ時と同様に、操作ボタン６１が表示される。また、第２モニタ２３には、スタンバイ時と同様に、オペレータの正面映像５３が表示される。このオペレータの正面映像５３は、オペレータの手元映像と切り替えることができる。また、第２モニタ２３には、オペレータの手元映像が表示された状態でキオスク端末１の手元カメラ１５で撮影したユーザの手元映像６３が表示される。なお、ユーザの手元映像６３は、元の状態と上下反転した状態とを切り替えることができる。
【００９５】
第２モニタ２３に表示されるユーザの手元映像６３には、キオスク端末１の手元モニタ１３上で画面に映るパンフレットなどの書類を指し示すユーザの手先が映り、ユーザとオペレータとで互いに書類を指し示しながら対話することができる。
【００９６】
なお、本実施形態では、ユーザの正面映像６２を第１モニタ２２に表示し、ユーザの手元映像６３を第２モニタ２３に表示するようにしたが、ユーザの正面映像６２と手元映像６３とを１つのモニタに表示するようにしてもよい。この場合、オペレータ側からもユーザとカウンタ越しで向き合っているような臨場感を実現することができる。
【００９７】
次に、オペレータ端末２で行われる覗き見確認制御について説明する。図７は、覗き見確認制御に係る動作モードを示す説明図である。
【００９８】
オペレータ端末２の覗き見確認制御部４５では、予め設定された動作モードを判定して、その動作モードに応じて、オペレータに対する通知動作をオペレータ端末２に行わせ、また、ユーザに対する注意喚起動作をキオスク端末１に行わせる制御が行われる。本実施形態では、口頭通知モード、間接通知モード、直接通知モード、および常時表示モードの４つの動作モードがある。この動作モードは、管理者やオペレータなどが選択することができる。
【００９９】
口頭通知モードでは、顔認証によりユーザの正面映像から不審者を検知した場合に、ユーザの正面映像上で不審者を強調表示する画面をオペレータ端末２に表示して、不審者の存在をオペレータに通知する。そして、不審者の存在をオペレータが確認すると、不審者の存在をオペレータが口頭でユーザに通知して、不審者に対する注意喚起を促す。なお、顔認証を行わず、不審者がいるか否かをオペレータが目視で判断するようにしてもよい。
【０１００】
間接通知モードでは、口頭通知モードと同様に、顔認証によりユーザの正面映像から不審者を検知した場合に、ユーザの正面映像上で不審者を強調表示する画面をオペレータ端末２に表示して、不審者の存在をオペレータに通知する。そして、不審者の存在をオペレータが確認して、ユーザに対する注意喚起を指示する操作（図９の注意通知ボタン８１の押下）をオペレータが行うと、ユーザに対する注意喚起動作として、キオスク端末１に注意喚起メッセージを表示する。また、ユーザの正面映像上で不審者を強調表示する画面をキオスク端末１に表示するようにしてもよい。なお、顔認証を行わず、不審者がいるか否かをオペレータが目視で判断するようにしてもよい。
【０１０１】
直接通知モードでは、顔認証によりユーザの正面映像から不審者を検知した場合に、オペレータを介さずに、ユーザに対する注意喚起動作として、ユーザの正面映像上で不審者を強調表示する画面をキオスク端末１に表示する。また、キオスク端末１に注意喚起メッセージを表示するようにしてもよい。
【０１０２】
常時表示モードでは、キオスク端末１にユーザの正面映像を常時表示し、顔認証によりユーザの正面映像から不審者を検知すると、ユーザに対する注意喚起動作として、ユーザの正面映像上で不審者を強調表示する。
【０１０３】
なお、ユーザの正面映像上で不審者を強調表示する場合に、音声出力などの他の注意喚起動作を併せて行うようにしてもよい。
【０１０４】
次に、口頭通知モードについて説明する。図８は、口頭通知モードにおいてオペレータ端末２に表示される画面を示す説明図である。
【０１０５】
オペレータ端末２では、図８（Ａ）に示すように、第１モニタ２２に、キオスク端末１の正面カメラ１４で撮影されたユーザの正面映像６２が表示される。
【０１０６】
また、オペレータ端末２では、顔認証によりユーザの正面映像６２に映る不審者を検知する処理が行われ、不審者が検知されると、第１モニタ２２に表示されるユーザの正面映像に映る不審者に対して強調表示を行って、不審者の存在をオペレータに通知する。具体的には、図８（Ｂ）に示すように、ユーザの正面映像６２上に、不審者の顔を取り囲む枠画像７１が重畳して表示される。なお、枠画像７１は、視認性の高い色（例えば赤色）で表示させたり、点滅表示させたりするとよい。また、枠画像７１は、矩形に限らず、円形などの他の形状を用いてもよい。また、枠画像７１によらず、「不審者確認！」などの文字画像を重畳するようにしてもよい。
【０１０７】
オペレータは、第１モニタ２２に表示されるユーザの正面映像６２を見て、目視で覗き見する不審者か否かを判断し、覗き見する不審者がいることを確認すると、ユーザの背後に不審者がいることを口頭でユーザに知らせる。すなわち、オペレータが発話した音声がマイク２９で収音されて、その音声がキオスク端末１のスピーカー１７から出力される。これにより、オペレータがユーザに不審者に気を付けるように促すことができる。
【０１０８】
なお、本実施形態では、顔認証により覗き見する不審者を検知するようにしたが、この顔認証を省略して、オペレータがユーザの正面映像から目視で不審者を見つけるようにしてもよい。
【０１０９】
次に、間接通知モードについて説明する。図９は、間接通知モードにおいてオペレータ端末２に表示される画面を示す説明図である。図１０は、間接通知モードにおいてキオスク端末１に表示される画面を示す説明図である。
【０１１０】
間接通知モードでは、顔認証によりユーザの正面映像から不審者を検知した場合に、オペレータの操作に応じてキオスク端末１に注意喚起動作を行わせる。具体的には、図９に示すように、オペレータ端末２の第２モニタ２３に、注意通知ボタン８１が表示され、この注意通知ボタン８１をオペレータが操作すると、図１０に示すように、キオスク端末１の手元モニタ１３に、注意を喚起するメッセージ（テキスト）、例えば、「周囲をご確認ください」の文字が表示される。
【０１１１】
また、間接通知モードでは、口頭通知モード（図８参照）と同様に、オペレータ端末２の第１モニタ２２にユーザの正面映像６２が表示され、顔認証によりユーザの正面映像から不審者が検知されると、不審者に枠画像７１が表示される。オペレータは、第１モニタ２２に表示されるユーザの正面映像６２を見て、目視で不審者か否かを判断し、不審者がいることを確認すると、注意通知ボタン８１を操作する。
【０１１２】
次に、直接通知モードについて説明する。図１１は、直接通知モードにおいてキオスク端末１に表示される画面を示す説明図である。
【０１１３】
直接通知モードでは、顔認証によりユーザの正面映像から不審者を検知した場合に、オペレータを介さずに、覗き見する不審者の存在をユーザに直接通知する。本実施形態では、キオスク端末１の手元モニタ１３に表示されるオペレータの手元映像５４上に、ユーザの正面映像６２をワイプ表示（重畳表示）する。
【０１１４】
このとき、ユーザの正面映像６２は、左右反転した状態（ミラー映像）で表示される。これにより、不審者がユーザの左右いずれの方向にいるかをユーザが誤りなく判断することができる。
【０１１５】
また、ユーザの正面映像６２に映る不審者に対して強調表示を行う。具体的には、ユーザの正面映像６２に映る不審者の顔を取り囲む枠画像７１を表示する。これにより、ユーザが自分の背後に不審者がいることに容易に気付くことができる。なお、枠画像７１は、視認性の高い色（例えば赤色）で表示させたり、点滅表示させたりするとよい。
【０１１６】
なお、本実施形態では、直接通知モードにおいて、キオスク端末１に不審者が映るユーザの正面映像をワイプ表示するようにしたが、図１０に示した例と同様に、キオスク端末１に注意喚起のメッセージ（文字）を表示するようにしてもよい。また、間接通知モードにおいて、図１１に示した例と同様に、不審者が映るユーザの正面映像をワイプ表示するようにしてもよい。
【０１１７】
また、本実施形態では、手元モニタ１３に不審者が映るユーザの正面映像をワイプ表示するようにしたが、正面モニタ１２にユーザの正面映像をワイプ表示するようにしてもよい。
【０１１８】
また、本実施形態では、間接通知モードおよび直接通知モードにおいて、不審者の存在を画面表示でユーザに通知するようにしたが、画面表示に加えて、あるいは、画面表示の代わりに、警告音などの音声でユーザに通知するようにしてもよい。
【０１１９】
次に、常時表示モードについて説明する。図１２は、常時表示モードにおいてキオスク端末１に表示される画面を示す説明図である。
【０１２０】
常時表示モードでは、キオスク端末１の手元モニタ１３に表示されるオペレータの手元映像５４上にユーザの正面映像６２を常時、ワイプ表示（重畳表示）する。このとき、ユーザの正面映像６２を左右反転させた状態で表示する。
【０１２１】
また、常時表示モードでは、顔認証によりユーザの正面映像６２から不審者を検知すると、そのユーザの正面映像６２に映る不審者に対して強調表示を行う。具体的には、図１１に示した例と同様に、ユーザの正面映像６２に映る不審者の顔を取り囲む枠画像７１を表示する。
【０１２２】
このように常時表示モードでは、ユーザの正面映像を左右反転させた状態で常時表示するため、ユーザの背後を映す覗き見防止ミラーの代替となる。そして、ユーザの正面映像から不審者が検知されると、不審者に対して強調表示が行われるため、ユーザが不審者に容易に気付くことができる。
【０１２３】
なお、オペレータ端末２では、ユーザの正面映像を左右反転させずに第２モニタ２３に表示する。これにより、ユーザが不審者に気付いていない場合に、オペレータが口頭で注意を促すことができる。
【０１２４】
また、本実施形態では、間接通知モード、直接通知モード、および常時表示モードにおいて、ユーザに対する注意喚起動作として、キオスク端末１において、ユーザの正面映像をワイプ表示したり、注意喚起のメッセージ（文字）を表示したりしたが、この他に、注意喚起のアイコンなどの図形の画像を表示するようにしてもよい。
【０１２５】
次に、オペレータ端末２で行われる覗き見確認制御について説明する。図１３、図１４は、覗き見確認制御の手順を示すフロー図である。
【０１２６】
オペレータ端末２では、まず、常時表示モードであるか否かを判定する（ＳＴ１０１）。ここで、常時表示モードである場合には（ＳＴ１０１でＹｅｓ）、手元カメラ２５で撮影したオペレータの手元映像５４上に、キオスク端末１から受信したユーザの正面映像６２をワイプ表示した画面を生成し、その画面をキオスク端末１に送信して、キオスク端末１の手元モニタ１３に表示させる（ＳＴ１０２、図１２参照）。このとき、ユーザの正面映像を左右反転した状態で表示する。
【０１２７】
次に、顔認証により不審者を検知すると（ＳＴ１０３でＹｅｓ）、ユーザに対する注意喚起動作をキオスク端末１に行わせる（ＳＴ１０４）。具体的には、キオスク端末１の手元モニタ１３でワイプ表示されたユーザの正面映像６２上に不審者の顔を取り囲む枠画像７１を表示する（図１１参照）。なお、顔認証により不審者を検知しない場合には（ＳＴ１０３でＮｏ）、ユーザに対する注意喚起動作は行われない。
【０１２８】
一方、常時表示モードでない場合に（ＳＴ１０１でＮｏ）、顔認証により不審者を検知すると（ＳＴ１０５でＹｅｓ）、録画を開始する（ＳＴ１０６）。そして、直接通知モードであるか否かを判定する（ＳＴ１０７）。
【０１２９】
ここで、直接通知モードである場合には（ＳＴ１０７でＹｅｓ）、ユーザに対する注意喚起動作をキオスク端末１に行わせる（ＳＴ１０８）。具体的には、手元カメラ２５で撮影したオペレータの手元映像５４上に、キオスク端末１から受信したユーザの正面映像６２をワイプ表示した画面を生成し、その画面をキオスク端末１に送信して、キオスク端末１の手元モニタ１３に表示させる（図１１参照）。このとき、ユーザの正面映像を左右反転した状態で表示するとともに、ユーザの正面映像６２上に不審者の顔を取り囲む枠画像７１を表示する。そして、ＳＴ１０５に戻る。
【０１３０】
一方、直接通知モードでない場合には（ＳＴ１０７でＮｏ）、次に間接通知モードであるか否かを判定する（ＳＴ１０９）。
【０１３１】
ここで、間接通知モードである場合には（ＳＴ１０９でＹｅｓ）、次に、オペレータが注意通知ボタン８１（図９参照）を操作したか否かを判定する（ＳＴ１１０）。ここで、オペレータが注意通知ボタン８１を操作した場合には（ＳＴ１１０でＹｅｓ）、ＳＴ１０８に進み、ユーザに対する注意喚起動作をキオスク端末１に行わせる。このとき、例えば、注意喚起メッセージ（例えば、「周囲をご確認ください」の文字）を表示する（図１０参照）。
【０１３２】
一方、間接通知モードでない場合、すなわち、口頭通知モードである場合や（ＳＴ１０９でＮｏ）、オペレータが注意通知ボタン８１を操作しない場合には（ＳＴ１１０でＮｏ）、特に処理を行わず、ＳＴ１０５に戻る。
【０１３３】
また、顔認証により不審者を検知しない場合に（ＳＴ１０５でＮｏ）、録画が行われている場合には、録画を終了する（ＳＴ１１１）。このとき、キオスク端末１でユーザに対する注意喚起動作が行われている場合には、注意喚起動作を停止する。
【０１３４】
なお、本実施形態では、不審者を検知した場合に録画を行うようにしたが、録画を行わないようにしてもよい。また、不審者を検知したか否かに関係なく、常時、録画を行うようにしてもよい。
【０１３５】
次に、オペレータ端末２で管理される不審者データベースについて説明する。図１５は、不審者データベースの登録内容を示す説明図である。
【０１３６】
オペレータ端末２では、顔認証により不審者を検知すると、検知した不審者を不審者データベース（不審者リスト）に登録する。この不審者データベースには、不審者を検知したイベントごとに、レコードＩＤ、不審者を検知した日付および時間、映像から抽出された不審者の特徴情報、不審者を検知した最新の映像データのファイル名などが登録される。
【０１３７】
なお、同一の人物が何度も不審者として検知される場合があり、この場合、その人物が最後に不審者として検知されたときの映像データを最新の映像データとして不審者データベースに登録する。また、同一の人物が何度も不審者として検知される場合に、不審者として検知された頻度に関する情報を不審者データベースに登録するようにしてもよい。
【０１３８】
次に、オペレータ端末２で行われる顔認証制御について説明する。図１６は、顔認証制御の手順を示すフロー図である。
【０１３９】
顔認証制御では、まず、キオスク端末１から受信したユーザの正面映像から人物の顔を検出する顔検出が行われ、顔が検出されると（ＳＴ２０１でＹｅｓ）、その検出された顔と登録済みのユーザの顔とを比較する顔照合を行う（ＳＴ２０２）。そして、検出された複数の顔の中に登録済みのユーザがいるか否かを判定する（ＳＴ２０３）。
【０１４０】
ここで、検出された複数の顔の中に登録済みのユーザがいない場合には（ＳＴ２０３でＮｏ）、第１モニタ２２に表示されたユーザの正面映像により、新規なユーザであるか否かをオペレータに目視で確認させ、オペレータが新規なユーザであると判断して、オペレータがユーザ登録の操作を行うと、検出された全ての顔をユーザデータベースに登録する（ＳＴ２０５）。そして、ＳＴ２０１に戻る。
【０１４１】
一方、検出された複数の顔の中に登録済みのユーザがいる場合には（ＳＴ２０３でＹｅｓ）、次に、検出された全ての顔が登録済みのユーザと一致するか否かを判定する（ＳＴ２０６）。
【０１４２】
ここで、検出された顔が全て登録済みのユーザと一致する場合には（ＳＴ２０６でＹｅｓ）、ＳＴ２０１に戻る。
【０１４３】
一方、検出された顔が全て登録済みのユーザと一致する場合でない、すなわち、検出された複数の顔の中に登録済みでないユーザがいる場合には（ＳＴ２０６でＮｏ）、登録済みのユーザと一致しない顔を不審者として不審者データベース（図１５参照）に登録する（ＳＴ２０７）。なお、第１モニタ２２に表示されたユーザの正面映像により、覗き見する不審者であるか否かをオペレータに目視で確認させ、オペレータが覗き見する不審者であると判断して、オペレータが不審者登録の操作を行った場合に、不審者の登録を行うようにしてもよい。
【０１４４】
このような制御により、ユーザの正面映像に最初から映る人物は、キオスク端末１を操作する人物の同伴者を含めてユーザとして登録され、ユーザとして登録されていない人物が正面映像に途中から出現すると、その人物を不審者として検知する。このため、同伴者が途中で映像から消失した後に再度映像に出現した場合、その同伴者は、ユーザとして登録済みであるため、不審者として検知されない。
【０１４５】
なお、ユーザとしての登録は、キオスク端末１の利用開始のタイミングで一時的に顔画像が登録されるが、この顔画像は、キオスク端末１の利用の終了時あるいは、中断時に消去するようにしているため、個人のプライバシーは保護される。
【０１４６】
なお、不審者として検知された人物の顔の特徴情報を不審者データベースに登録して、ユーザの正面映像から検出された顔に対して、不審者データベースの特徴情報に基づいて顔照合を行って、不審者を検知するようにしてもよい。
【０１４７】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【産業上の利用可能性】
【０１４８】
本発明に係る双方向映像通信システム及びオペレータ端末は、ユーザがキオスク端末を操作する際の不安を完全に解消して、ユーザが操作に専念することができる効果を有し、キオスク端末とオペレータ端末との間で、キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システム、及びオペレータ端末などとして有用である。
【符号の説明】
【０１４９】
１  キオスク端末
２  オペレータ端末
１２  正面モニタ
１３  手元モニタ
１４  正面カメラ
１５  手元カメラ
１７  スピーカー
１８  マイク
２２  第１モニタ
２３  第２モニタ
２４  正面カメラ
２５  手元カメラ
２６  ヘッドセット
２８  スピーカー
２９  マイク
３１  制御部
３２  通信部
３３  記憶部
４１  制御部
４２  通信部
４３  記憶部
５３  オペレータの正面映像
５４  オペレータの手元映像
６２  ユーザの正面映像
６３  ユーザの手元映像
７１  枠画像
【図１】
2019149625.tif 000003
【図２】
2019149625.tif 000004
【図３】
2019149625.tif 000005
【図４】
2019149625.tif 000006
【図５】
2019149625.tif 000007
【図６】
2019149625.tif 000008
【図７】
2019149625.tif 000009
【図８】
2019149625.tif 000010
【図９】
2019149625.tif 000011
【図１０】
2019149625.tif 000012
【図１１】
2019149625.tif 000013
【図１２】
2019149625.tif 000014
【図１３】
2019149625.tif 000015
【図１４】
2019149625.tif 000016
【図１５】
2019149625.tif 000017
【図１６】
2019149625.tif 000018