(57)【要約】【課題】  技術的スキルの低いユーザに対するインストラクションを効率的に実行することができ、遠隔サポートの効率が優れている遠隔サポート装置を提供することを目的とするものである。【解決手段】  複数の映像を取得し、音声を取得し、映像・音声を提示し、通信機能を具備する端末装置と通信する情報処理システムにおいて、ユーザ端末とオペレータ端末とから取得した映像から、顔映像を識別する顔映像識別手段と、上記ユーザの顔の映像と上記オペレータの顔の映像とが、画面上で互いに近接して表示されるように、映像信号を合成して遠隔サポート映像を生成する遠隔サポート映像生成手段と、上記遠隔サポート映像を、上記ユーザ端末と上記オペレータ端末とに配信する遠隔サポート映像配信手段とを有することを特徴とする遠隔サポート装置である。【選択図】  図１
2006140921.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像を取得し、音声を取得し、映像・音声を提示し、通信機能を具備する端末装置と通信する情報処理システムにおいて、
ユーザ端末とオペレータ端末とから取得した映像から、顔映像を識別する顔映像識別手段と；
上記ユーザの顔の映像と上記オペレータの顔の映像とが、画面上で互いに近接して表示されるように、映像信号を合成して遠隔サポート映像を生成する遠隔サポート映像生成手段と；
上記遠隔サポート映像を、上記ユーザ端末と上記オペレータ端末とに配信する遠隔サポート映像配信手段と；
を有することを特徴とする複数カメラを用いた遠隔サポート装置。
【請求項２】
請求項１において、
上記遠隔サポート映像は、上記ユーザ端末の被写体映像と、上記オペレータ端末の被写体映像とが、画面上で互いに近接して表示されるように、合成された遠隔サポート映像であることを特徴と遠隔サポート装置。
【請求項３】
請求項１において、
上記ユーザの顔映像の表示領域の大きさ、位置と、上記オペレータの顔映像の表示領域の大きさ、表示位置とを記憶している映像分割パターン記憶部を有することを特徴とする遠隔サポート装置。
【請求項４】
請求項１において、
上記ユーザの顔の映像、上記オペレータの顔の映像をリサイズする映像リサイズ処理部を有することを特徴とする遠隔サポート装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像を取得し、音声を取得し、映像・音声を提示し、通信機能を具備する端末装置と通信する情報処理システムに関する。
【背景技術】
【０００２】
ＩＰネットワークが高速・広帯域（ブロードバンド通信）になるに伴い、Ｗｅｂブラウザやメール、ＩＰ電話やＴＶ電話等サービスの多様化が進んでいる。
【０００３】
このようなサービスの多様化に伴って、システムの操作が複雑化し、サービス利用上のトラブルやシステムの操作方法等、コールセンタへの問い合わせ件数が大幅に増加している。特に、技術的スキルの低いユーザの問い合わせの場合、１件あたりの応対時間が長く、これが、コールセンタにおける業務効率低下の原因になっている。
【０００４】
このように、コールセンタに対する問い合わせの大幅な増加に対応するための手段が求められ、特に、技術的スキルの低いユーザに対する応対効率向上のための手段が求められている。
【０００５】
従来、遠隔地における共同作業を支援するために、双方向映像通信を用いることによって、互いの様子を見ながら作業を実施する手段が提案されている（たとえば、非特許文献１参照）。
【０００６】
この手段を用いることによって、ユーザは、相手の顔映像等を見ながら会話を実施することが可能である。
【非特許文献１】本田新九郎、他「テレワーク支援システムの設計と実装」２００３年電子情報通信学会総合大会、Ｖｏｌ．Ａ−１６−２６、ｐ．３２１、２００４年
【発明の開示】
【発明が解決しようとする課題】
【０００７】
コールセンタでの応対において、特に技術的スキルの低いユーザに対するインストラクションを効率的に実施するためには、オペレータの表情映像と、適切なメニュー選択を実施しているオペレータ側ＰＣの画面映像等、オペレータの指示や操作の映像とを、ユーザ側で、直接かつ具体的に見ることができる必要がある。
【０００８】
また、技術的スキルの低いユーザに対するインストラクションを効率的に実施するためには、ユーザの表情の映像（指示を理解できたか等を確認するための映像）を、オペレータ側で、直接確認できる必要があり、また、エラーが発生した状態におけるユーザ側ＰＣの画面映像等、ユーザ側の機器の状態の映像を、オペレータ側で、直接確認できる必要がある。
【０００９】
しかし、ユーザの表情の映像と、ユーザ側の機器の状態の映像とを、オペレータ側で、直接確認できたとしても、従来例では、技術的スキルの低いユーザに対するインストラクションを効率的に実施することができず、遠隔サポートの効率が悪いという問題がある。
【００１０】
本発明は、技術的スキルの低いユーザに対するインストラクションを効率的に実行することができ、遠隔サポートの効率が優れている遠隔サポート装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明は、複数の映像を取得し、音声を取得し、映像・音声を提示し、通信機能を具備する端末装置と通信する情報処理システムにおいて、ユーザ端末とオペレータ端末とから取得した映像から、顔映像を識別する顔映像識別手段と、上記ユーザの顔の映像と上記オペレータの顔の映像とが、画面上で互いに近接して表示されるように、映像信号を合成して遠隔サポート映像を生成する遠隔サポート映像生成手段と、上記遠隔サポート映像を、上記ユーザ端末と上記オペレータ端末とに配信する遠隔サポート映像配信手段とを有することを特徴とする遠隔サポート装置である。
【発明の効果】
【００１２】
本発明によれば、ユーザ側の顔の映像とオペレータ側の顔の映像とが互いに近接して表示され、ユーザ側の機器状態の映像とオペレータ側の機器状態の映像とが互いに近接して表示されるので、映像による直接比較が可能であり、技術的スキルの低いユーザに対するインストラクションを効率的に実行することができ、したがって、応対効率を大幅に改善することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
発明を実施するための最良の形態は、以下の実施例である。
【実施例１】
【００１４】
図１は、本発明の実施例１である複数カメラを用いた遠隔サポートシステム１００を示すブロック図である。
【００１５】
複数カメラを用いた遠隔サポートシステム１００は、ユーザ端末１０と、オペレータ端末２０と、遠隔サポート装置３０と、通信網ＮＷとを有する。
【００１６】
ユーザ端末１０は、カメラＣＡ１１、ＣＡ１２と、表示装置ＤＰ１と、スピーカＳＰ１と、マイクＭＣ１と、通信制御部１１と、入出力制御部１２と、通信回線１３とを有する。
【００１７】
オペレータ端末２０は、カメラＣＡ２１、ＣＡ２２と、表示装置ＤＰ２と、スピーカＳＰ２と、マイクＭＣ２と、通信制御部２１と、入出力制御部２２と、通信回線２３とを有する。
【００１８】
遠隔サポート装置３０は、通信制御部３１と、入出力制御部３２と、映像リサイズ処理部３３と、分割映像生成部３４と、映像分割パターン記憶部３５と、顔映像識別パターン記憶部３６とを有する。
【００１９】
映像リサイズ処理部３３は、映像の大きさを制御するものであり、リサイズされた顔映像と被写体映像とを、分割映像生成部３４へ送る。
【００２０】
分割映像生成部３４は、映像分割パターン記憶部３５に蓄積されている映像分割パターンＰ１に基づいて、ユーザの顔の映像４３、ユーザ側の被写体映像（顔以外）４４、オペレータの顔の映像５３、オペレータ側の被写体映像（顔以外）５４の４つの映像を、後述の映像分割パターンＰ１に嵌め込み、合成し、「遠隔サポート映像」を生成する。
【００２１】
映像分割パターン記憶部３５は、ユーザの顔映像の表示領域の大きさ、位置と、オペレータの顔映像の表示領域の大きさ、表示位置とを示す映像分割パターンＰ１を記憶している。
【００２２】
顔映像識別パターン記憶部３６は、ユーザ端末１０、オペレータ端末２０に配信する映像を表示する画面を、４つの領域に分割したパターンであり、この分割された領域に、ユーザの顔の映像、オペレータの顔の映像等、所定の映像を嵌め込むためのパターンを記憶している。
【００２３】
図２は、実施例１において使用する映像分割パターンＰ１を示す図である。
【００２４】
映像分割パターンＰ１は、ユーザ端末１０、オペレータ端末２０に配信する映像を表示する画面を、４つの領域に分割したパターンであり、この分割された領域に、ユーザの顔の映像、オペレータの顔の映像等、所定の映像を嵌め込むためのパターンであり、ユーザ領域４０と、オペレータ領域５０とを有する。
【００２５】
ユーザ領域４０は、ユーザの顔表示領域４１と、ユーザ端末１０の被写体（顔以外）表示領域４２とを有する。ユーザの顔表示領域４１には、カメラＣＡ１１で撮影したユーザの顔が表示され、ユーザ端末１０の被写体（顔以外）表示領域４２には、カメラＣＡ１２で撮影したユーザ側の被写体であって、ユーザの顔以外の被写体が表示される。
【００２６】
オペレータ領域５０は、オペレータの顔表示領域５１と、オペレータ端末２０の被写体（顔以外）表示領域５２とを有する。オペレータの顔表示領域５１には、カメラＣＡ２１で撮影したオペレータの顔が表示され、オペレータ端末２０の被写体（顔以外）表示領域５２には、カメラＣＡ２２で撮影したオペレータ側の被写体であって、オペレータの顔以外の被写体が表示される。
【００２７】
なお、領域４１、４２、５１、５２には、それぞれの領域のサイズが指定され、各サイズを、図２に示してある。
【００２８】
図３は、実施例１において、カメラＣＡ１１、ＣＡ１２、ＣＡ２１、ＣＡ２２のそれぞれが撮影した映像の例を示す図である。
【００２９】
図３に示す映像例は、合成対象となる映像であり、これらの映像が合成された合成映像が、ユーザ端末１０、オペレータ端末２０に送信される。
【００３０】
また、図３に示す映像は、ユーザの顔の映像４３と、ユーザ側の被写体映像（ユーザの顔を除く）４４と、オペレータの顔の映像５３と、オペレータ側の被写体映像（オペレータの顔を除く）５４とである。
【００３１】
ユーザの顔の映像４３は、ユーザ端末１０のカメラＣＡ１１で撮影された映像であり、ユーザ側の被写体映像は、ユーザ端末１０のカメラＣＡ１２で撮影された映像であり、ユーザの顔を除く被写体映像である。オペレータの顔の映像５３は、オペレータ端末２０のカメラＣＡ２１で撮影された映像であり、オペレータ側の被写体映像は、オペレータ端末２０のカメラＣＡ２２で撮影された映像であり、オペレータの顔を除く被写体映像である。
【００３２】
図４は、実施例１において、複数のカメラが撮影した各映像を合成した後の表示画像（遠隔サポート映像）例を示す図である。
【００３３】
次に、実施例１の動作について説明する。
【００３４】
まず、映像分割パターン記憶部３５には、図２に示す映像分割パターンＰ１が、予め格納されている。
【００３５】
また、顔映像識別パターン記憶部３６には、顔映像を識別するパターンが、予め格納されている。
【００３６】
たとえば、図３に示すカメラＣＡ１１で撮影されたユーザの顔の映像４３と、図３に示すカメラＣＡ１２で撮影されたユーザ側の被写体映像（ユーザの顔を除く）４４と、マイクＭＣ１で収集された音声とは、入出力制御部１２、通信制御部１１、通信回線１３、通信網ＮＷ、通信制御部３１を介して、入出力制御部３２に送信され、所定のメモリに、一時記憶される。
【００３７】
これら一時記憶された情報のうちで、ユーザの顔の映像４３と、ユーザ側の被写体映像（ユーザの顔を除く）４４とは、映像リサイズ処理部３３に送信され、一時記憶される。映像リサイズ処理部３３は、顔映像識別パターン記憶部３６に格納されているユーザの顔の特徴である顔映像識別パターンと、ユーザの顔の映像４３と、ユーザ側の被写体映像（ユーザの顔を除く）４４とを比較することによって、ユーザの顔の映像を識別する。
【００３８】
つまり、映像リサイズ処理部３３は、ユーザ端末とオペレータ端末とから取得した映像から、顔映像を識別する顔映像識別手段の例である。
【００３９】
また、映像リサイズ処理部３３は、映像分割パターン記憶部３５に蓄積されている映像分割パターンＰ１におけるユーザの顔表示領域４１、ユーザの顔以外の表示領域４２の大きさに基づいて、ユーザの顔の映像４３と、ユーザ側の被写体映像（ユーザの顔を除く）４４とがリサイズされ、これらリサイズされた映像が、分割映像生成部３４に送信され、一時記憶される。
【００４０】
図３に示すように、オペレータの顔の映像５３と、オペレータ側の被写体映像（オペレータの顔を除く）５４と、マイクＭＣ２で収集された音声とが、入出力制御部２２、通信制御部２１、通信回線２３、通信網ＮＷ、通信制御部３１を介して、入出力制御部３２に送信され、所定のメモリに、一時記憶される。
【００４１】
これら一時記憶された情報のうちで、オペレータの顔の映像５３と、オペレータ側の被写体映像（オペレータの顔を除く）５４とは、さらに、映像リサイズ処理部３３に送信され、一時記憶される。映像リサイズ処理部３３は、顔映像識別パターン記憶部３６に格納されているオペレータの顔の特徴である顔映像識別パターンと、オペレータの顔の映像５３、オペレータ側の被写体映像（オペレータの顔を除く）５４とを比較することによって、オペレータの顔の映像を識別する。
【００４２】
さらに、映像リサイズ処理部３３は、映像分割パターン記憶部３５に蓄積されている映像分割パターンＰ１におけるオペレータの顔表示領域５１、オペレータの顔以外の表示領域５２の大きさに基づいて、オペレータの顔の映像５３と、オペレータ側の被写体映像（オペレータの顔を除く）５４とがリサイズされ、これらリサイズされた映像は、分割映像生成部３４に送信され、一時記憶される。
【００４３】
分割映像生成部３４は、映像分割パターン記憶部３５に蓄積されている映像分割パターンＰ１に基づいて、ユーザの顔の映像４３、ユーザ側の被写体映像（顔以外）４４、オペレータの顔の映像５３、オペレータ側の被写体映像（顔以外）５４の４つの映像が、それぞれ、図４に示すように、映像分割パターンＰ１に嵌め込まれ、合成され、「遠隔サポート映像」となる。
【００４４】
この合成された遠隔サポート映像は、入出力制御部３２に送信され、所定のメモリに、一時記憶される。
【００４５】
入出力制御部３２は、上記遠隔サポート映像と、マイクＭＣ１で収集され、一時蓄積されている音声情報と、マイクＭＣ２で収集され、一時蓄積されている音声とが合成され、通信制御部３１に送信され、所定のメモリに、一時記憶される。
【００４６】
通信制御部３１に一時記憶されている遠隔サポート映像と上記音声とは、通信回線３６、通信網ＮＷを経て、ユーザ側の表示装置ＤＰ１、スピーカＳＰ１と、オペレータ側の表示装置ＤＰ２、スピーカＳＰ２に表示される。
【００４７】
上記一連の処理を、逐次実施することによって、複数カメラを用いた遠隔サポートが、継続的に実施される。
【００４８】
また、顔映像識別パターン記憶部３６に格納されている顔映像識別パターンとして、顔の形状データ、目など顔の特徴量を用いて、顔映像を識別するようにしてもよい。
【００４９】
さらに、遠隔サポート装置３０の機能を、オペレータ端末２０またはユーザ端末１０が備えるようにしてもよい。
【００５０】
そして、１つの遠隔サポートシステム１００において、ユーザ端末１０を複数、設けるようにしてもよい。
【００５１】
上記実施例において、ユーザ端末１０では、オペレータの表情映像と、たとえば適切なメニュー選択を実施しているオペレータ側ＰＣの画面映像等オペレータの指示や操作の映像を、直接かつ具体的に見ることができ、また、オペレータ端末２０では、ユーザの表情（指示を理解できたか等を確認する）映像と、エラーが発生した状態のユーザ端末１０であるＰＣの画面映像等、ユーザ端末１０の機器の状態の映像とを、直接確認できる。
【００５２】
また、上記実施例において、これら複数映像の相互に対応する部分（顔の映像と顔の映像、画面の映像と画面の映像等）が、互いに近接して配置（表示）され、映像による直接比較が可能な位置に映像表示されるので、応対効率が大幅に改善される。
【００５３】
つまり、上記実施例によれば、ユーザ端末１０とオペレータ端末２０とから取得した、複数カメラによる映像の中から、顔映像とそれ以外の映像とを識別し、ユーザの顔とオペレータの顔とが対応するように近接して表示する遠隔サポート映像を、ユーザ、オペレータが見ることができるので、オペレータはユーザをサポートし易く、また、ユーザはオペレータからサポートを受け易い。
【００５４】
また、上記実施例によれば、ユーザ端末１０とオペレータ端末２０とから取得した、複数カメラによる映像の中から、顔映像とそれ以外の映像とを識別し、ユーザ側の被写体映像とオペレータ側の被写体映像とが対応するように近接して表示する遠隔サポート映像を、ユーザ、オペレータが見ることができるので、オペレータはユーザをサポートし易く、また、ユーザはオペレータからサポートを受け易い。
【００５５】
なお、上記実施例において、ユーザの顔の映像４３、オペレータの顔の映像５３を、図４に示す表示位置とは逆の位置に表示するようにしてもよい。
【００５６】
また、上記実施例において、顔の画像であると認識されると、トリミングし、表示領域４１、５１に対して、認識された顔の映像のサイズが適切になるように、顔のサイズをリサイズするが、ユーザの被写体映像（顔の映像を除く）４４、オペレータの被写体映像（顔の映像を除く）５４については、トリミングせずに、被写体映像４４、５４を、そのまま、表示領域４２、５２に表示する。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施例１である複数カメラを用いた遠隔サポートシステム１００を示すブロック図である。
【図２】実施例１における映像分割パターンＰ１を示す図である。
【図３】実施例１において、カメラＣＡ１１、ＣＡ１２、ＣＡ２１、ＣＡ２２のそれぞれが撮影した映像の例を示す図である。
【図４】実施例１において、複数のカメラが撮影した各映像を合成した後の表示画像（遠隔サポート映像）例を示す図である。
【符号の説明】
【００５８】
１００…遠隔サポートシステム、
ＣＡ１１、ＣＡ１２…ユーザ端末１０のカメラ、
ＤＰ１…ユーザ端末１０の表示装置、
ＳＰ１…ユーザ端末１０のスピーカ、
ＭＣ１…ユーザ端末１０のマイク、
１１…ユーザ端末１０の通信制御部、
１２…ユーザ端末１０の入出力制御部、
１３…ユーザ端末１０の通信回線、
ＮＷ…通信網、
ＣＡ２１、ＣＡ２２…オペレータ端末２０のカメラ、
ＤＰ２…オペレータ端末２０の表示装置、
ＳＰ２…オペレータ端末２０のスピーカ、
ＭＣ２…オペレータ端末２０のマイク、
２１…オペレータ端末２０の通信制御部、
２２…オペレータ端末２０の入出力制御部、
２３…オペレータ端末２０の通信回線、
３０…遠隔サポート装置、
３１…通信制御部、
３２…入出力制御部、
３３…映像リサイズ処理部、
３４…分割映像生成部、
３５…映像分割パターン記憶部、
３６…顔映像識別パターン記憶部、
４１…ユーザの顔表示領域、
４２…ユーザ端末１０の被写体（顔以外）表示領域、
４３…ユーザの顔の映像、
４４…ユーザ端末１０の被写体（顔以外）映像、
５１…オペレータの顔表示領域、
５２…オペレータ端末２０の被写体（顔以外）表示領域、
５３…オペレータの顔の映像、
５４…オペレータ端末２０の被写体（顔以外）映像。
【図１】
2006140921.tif 000003
【図２】
2006140921.tif 000004
【図３】
2006140921.tif 000005
【図４】
2006140921.tif 000006