(57)【要約】【課題】処理負荷が小さく、在宅ワーカーが顔および環境などを気にすることなくサービスを提供することができるビデオ通話システムを提供すること。【解決手段】本発明のビデオ通話システムにおいて、第１ユーザ装置は、第１ユーザ装置を操作するユーザである第１ユーザの顔画像を撮影する撮影手段、第１ユーザの音声を入力する音声入力手段、第１ユーザの顔画像から第１ユーザの顔の部位に基づく顔情報を生成する顔情報生成手段、および第１ユーザの顔情報および音声を複数のユーザ装置のうち第１ユーザ装置以外の第２ユーザ装置へ送信する通信手段を備え、第２ユーザ装置は、第１ユーザ装置から送信された第１ユーザの顔情報に基づいて第１ユーザのアバター画像を生成するアバター画像生成手段、第１ユーザのアバター画像を出力する画像出力手段、および第１ユーザの音声を出力する音声出力手段を備える。【選択図】図１
2020136921.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワークによって互いに接続されるとともに各ユーザの操作を受けつける複数のユーザ装置を備えるビデオ通話システムであって、
少なくとも１つの前記ユーザ装置である第１ユーザ装置は、
前記第１ユーザ装置を操作する前記ユーザである第１ユーザの顔画像を撮影する撮影手段、
前記第１ユーザの音声を入力する音声入力手段、
撮影された前記第１ユーザの前記顔画像から前記第１ユーザの顔の部位に関する顔情報を生成する顔情報生成手段、および
少なくとも前記第１ユーザの前記顔情報および前記音声を、前記複数のユーザ装置のうち前記第１ユーザ装置以外の第２ユーザ装置へ送信する通信手段、
を備え、
前記第２ユーザ装置は、
前記第１ユーザ装置から送信された前記第１ユーザの前記顔情報に基づいて前記第１ユーザのアバター画像を生成するとともに出力するアバター画像生成手段、および
前記第１ユーザの前記音声を出力する音声出力手段、
を備える、
ビデオ通話システム。
【請求項２】
前記第１ユーザ装置は、通訳の依頼を受けた通訳者によって操作され、
前記第２ユーザ装置は、前記通訳者に通訳を依頼する通訳依頼者によって操作される、
請求項１に記載のビデオ通話システム。
【請求項３】
前記顔情報は、少なくとも、前記第１ユーザの前記顔の部位である口の開け閉めの有無、目の開け閉めの有無、ならびに、頭の傾きおよび回転に関する顔認証情報である、
請求項１または２に記載のビデオ通話システム。
【請求項４】
前記アバター画像生成手段は、前記顔認証情報に基づいて、３次元モデルで構成される前記アバター画像において対応する目、口、および顔の頂点位置を変動させて前記アバター画像を生成する、
請求項３に記載のビデオ通話システム。
【請求項５】
前記顔情報生成手段は、前記第１ユーザの前記顔情報および前記音声の少なくともいずれか一方に基づいて前記第１ユーザの感情を表現するための感情情報を生成し、
前記アバター画像生成手段は、前記顔情報に加えて前記感情情報に基づいて前記第１ユーザの前記アバター画像を生成する、
請求項１〜４のいずれか１項に記載のビデオ通話システム。
【請求項６】
コンピュータ装置を、
前記コンピュータ装置を操作するユーザの顔画像を撮影する撮影手段、
前記ユーザの音声を入力する音声入力手段、
他のコンピュータ装置において前記ユーザのアバター画像を生成するために、撮影された前記ユーザの前記顔画像から前記ユーザの顔の部位に関する顔情報を生成する顔情報生成手段、および
少なくとも前記ユーザの前記顔情報および前記音声を、前記他のコンピュータ装置へ送信する通信手段、
として機能させる、
コンピュータプログラム。
【請求項７】
コンピュータ装置を、
ユーザの操作に基づいて、他のコンピュータ装置から前記他のコンピュータ装置を操作する他ユーザについて前記他のコンピュータ装置で撮影された前記他ユーザの顔画像から生成された前記他ユーザの顔の部位に関する顔情報および音声を受信する通信手段、
前記顔情報に基づいて前記他ユーザのアバター画像を生成するとともに出力するアバター画像生成手段、および
前記他ユーザの前記音声を出力する音声出力手段、
として機能させる、
コンピュータプログラム。
【請求項８】
コンピュータ装置を、
ユーザの操作に基づいて、他のコンピュータ装置から前記他のコンピュータ装置を操作する他ユーザについて前記他のコンピュータ装置で撮影された前記他ユーザの顔画像および音声を受信する通信手段、
前記他のコンピュータ装置から受信した前記他ユーザの前記顔画像から前記他ユーザの顔の部位に関する顔情報を生成する顔情報生成手段、
前記顔情報に基づいて前記他ユーザのアバター画像を生成するとともに出力するアバター画像生成手段、および
前記他ユーザの前記音声を出力する音声出力手段、
として機能させる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ通話システム、およびコンピュータプログラムに関する。
【背景技術】
【０００２】
従来から、通訳者に対してビデオ通話を介して通訳を依頼する通訳サービスが知られている（例えば、特許文献１参照）。
【０００３】
そして、近年訪日外国人が増加しており、外国人の旅行者が、クラウドソーシングで働く通訳者とのクラウド通訳を利用して旅行を楽しむ機会が増えている。
【０００４】
また、近年のインバウンドを利用して在宅ワーカーである通訳者がクラウド通訳サービスにおいて通訳者となることが多く見られるようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２０６４５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述のとおり、クラウド通訳にたずさわる通訳者として在宅ワーカーが増えており、通訳者の服装あるいは背景（環境）が適切とはいえない状況が散見されるようになっている。
【０００７】
特に、通訳者の背景から通訳依頼者に通訳者の生活感が見えてしまう場合には、通訳者にとっても通訳依頼者にとっても好ましい状況とはいえなかった。
【０００８】
また、通訳者が女性である場合には、家にいるにもかかわらず通訳のために化粧をする必要があり、通訳者になることをためらう場合があった。
【０００９】
したがって、在宅ワーカーである通訳者が顔、服装、環境などを気にすることなく通訳業務を行うことのできる仕組みが求められていた。この問題は、クラウド通訳に限らず、他の分野のビデオ通話についても同様に当てはまる。
【００１０】
さらには、従来のビデオ通話システムにおいては、通訳者の装置と通訳依頼者の装置との間でデータ量の大きい映像情報が送受信されるため、多くの通信帯域が必要となり、サーバ装置の処理負荷が大きくなってしまう。そのため、リアルタイムでの通信ができなくなったり、通訳者と通訳依頼者との間の通信が途切れてしまったりする場合があった。
【００１１】
本発明の目的は、処理負荷が小さく、在宅ワーカーが顔および環境などを気にすることなくサービスを提供することができるビデオ通話システムを提供することである。
【課題を解決するための手段】
【００１２】
第１の発明は、
通信ネットワークによって互いに接続されるとともに各ユーザの操作を受けつける複数のユーザ装置を備えるビデオ通話システムであって、
少なくとも１つの前記ユーザ装置である第１ユーザ装置は、
前記第１ユーザ装置を操作する前記ユーザである第１ユーザの顔画像を撮影する撮影手段、
前記第１ユーザの音声を入力する音声入力手段、
撮影された前記第１ユーザの前記顔画像から前記第１ユーザの顔の部位に関する顔情報を生成する顔情報生成手段、および
少なくとも前記第１ユーザの前記顔情報および前記音声を、前記複数のユーザ装置のうち前記第１ユーザ装置以外の第２ユーザ装置へ送信する通信手段、
を備え、
前記第２ユーザ装置は、
前記第１ユーザ装置から送信された前記第１ユーザの前記顔情報に基づいて前記第１ユーザのアバター画像を生成するとともに出力するアバター画像生成手段、および
前記第１ユーザの前記音声を出力する音声出力手段、
を備える、
ビデオ通話システムである。
【００１３】
また、第１の発明において、
前記第１ユーザ装置は、通訳の依頼を受けた通訳者によって操作され、
前記第２ユーザ装置は、前記通訳者に通訳を依頼する通訳依頼者によって操作されてもよい。
【００１４】
また、第１の発明において、
前記顔情報は、少なくとも、前記第１ユーザの前記顔の部位である口の開け閉めの有無、目の開け閉めの有無、ならびに、頭の傾きおよび回転に関する顔認証情報であってもよい。
【００１５】
また、第１の発明において、
前記アバター画像生成手段は、前記顔認証情報に基づいて、３次元モデルで構成される前記アバター画像において対応する目、口、および顔の頂点位置を変動させて前記アバター画像を生成してもよい。
【００１６】
また、第１の発明において、
前記顔情報生成手段は、前記第１ユーザの前記顔情報および前記音声の少なくともいずれか一方に基づいて前記第１ユーザの感情を表現するための感情情報を生成し、
前記アバター画像生成手段は、前記顔情報に加えて前記感情情報に基づいて前記第１ユーザの前記アバター画像を生成してもよい。
【００１７】
第２の発明は、
コンピュータ装置を、
前記コンピュータ装置を操作するユーザの顔画像を撮影する撮影手段、
前記ユーザの音声を入力する音声入力手段、
他のコンピュータ装置において前記ユーザのアバター画像を生成するために、撮影された前記ユーザの前記顔画像から前記ユーザの顔の部位に関する顔情報を生成する顔情報生成手段、および
少なくとも前記ユーザの前記顔情報および前記音声を、前記他のコンピュータ装置へ送信する通信手段、
として機能させる、
コンピュータプログラムである。
【００１８】
第３の発明は、
コンピュータ装置を、
ユーザの操作に基づいて、他のコンピュータ装置から前記他のコンピュータ装置を操作する他ユーザについて前記他のコンピュータ装置で撮影された前記他ユーザの顔画像から生成された前記他ユーザの顔の部位に関する顔情報および音声を受信する通信手段、
前記顔情報に基づいて前記他ユーザのアバター画像を生成するとともに出力するアバター画像生成手段、および
前記他ユーザの前記音声を出力する音声出力手段、
として機能させる、
コンピュータプログラムである。
【００１９】
第４の発明は、
コンピュータ装置を、
ユーザの操作に基づいて、他のコンピュータ装置から前記他のコンピュータ装置を操作する他ユーザについて前記他のコンピュータ装置で撮影された前記他ユーザの顔画像および音声を受信する通信手段、
前記他のコンピュータ装置から受信した前記他ユーザの前記顔画像から前記他ユーザの顔の部位に関する顔情報を生成する顔情報生成手段、
前記顔情報に基づいて前記他ユーザのアバター画像を生成するとともに出力するアバター画像生成手段、および
前記他ユーザの前記音声を出力する音声出力手段、
として機能させる、
コンピュータプログラムである。
【発明の効果】
【００２０】
本発明によれば、処理負荷が小さく、在宅ワーカーが顔および環境などを気にすることなくサービスを提供することができるビデオ通話システムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態における、ビデオ通話システムの概念図である。
【図２】本実施形態における、サーバ装置の機能構成を示す図である。
【図３】本実施形態における、通訳者端末の機能構成を示す図である。
【図４】本実施形態における、通訳依頼者端末の機能構成を示す図である。
【図５】本実施形態における、ビデオ通話処理のフローを示す図である。
【図６】他の実施形態における、通訳者の顔の顔認証情報を示す図である。
【図７】他の実施形態における、通訳者の顔の顔認証情報を示す図である。
【発明を実施するための形態】
【００２２】
［実施形態］
本発明の実施の形態にかかるビデオ通話システム１について、図１〜図５を参照して説明する。
【００２３】
＜ビデオ通話システム１の説明＞
本発明のビデオ通話システム１は、図１のとおり、サーバ装置２と、複数の通訳者端末（第１ユーザ装置）３と、複数の通訳依頼者端末（第２ユーザ装置）４とを備える。
【００２４】
サーバ装置２は、通訳者端末３および通訳依頼者端末４と通信ネットワーク５を介して接続される。
【００２５】
そして、サーバ装置２は、通訳者端末３と通訳依頼者端末４との間で映像（画像）および音声を送受信する。これにより、通訳者端末３と通訳依頼者端末４との間でビデオ通話が提供される。
【００２６】
通訳者端末３は、通訳者（第１ユーザ）の操作を受けつける操作部を備えるとともに、通訳依頼者端末４およびサーバ装置２と通信ネットワーク５を介して接続される。
【００２７】
通訳依頼者端末４は、通訳依頼者（第２ユーザ）の操作を受けつける操作部を備えるとともに、通訳者端末３およびサーバ装置２と通信ネットワーク５を介して接続される。
【００２８】
＜ハードウェア構成＞
以下、図２〜図４を参照して、サーバ装置２の機能構成、ビデオ通話処理が提供される通訳者端末３の機能構成、および通訳依頼者端末４の機能構成について説明する。
【００２９】
なお、各通訳者および各通訳依頼者には、それぞれ異なるアカウント（識別情報）が付与される。
【００３０】
各通訳者端末３が通信ネットワーク５を介してサーバ装置２と通信を行う場合には、通訳者端末３からサーバ装置２へ通訳者のアカウントが送信される。
【００３１】
また、各通訳依頼者端末４が通信ネットワーク５を介してサーバ装置２と通信を行う場合には、通訳依頼者端末４からサーバ装置２へ通訳依頼者のアカウントが送信される。
【００３２】
送信されたアカウントは、サーバ装置２において所定の認証がなされる。これにより、通訳者端末３または通訳依頼者端末４とサーバ装置２との通信が可能となる。その結果、通訳者端末３と通訳依頼者端末４との通信が可能となる。
【００３３】
＜サーバ装置２の説明＞
サーバ装置２は、図２のとおり、制御部２０、記憶部２１、および、ネットワークインターフェース２２を備える。
【００３４】
記憶部２１およびネットワークインターフェース２２は、バス２００を介してサーバ装置２の制御部２０に接続される。
【００３５】
制御部２０は、サーバ装置２の動作を制御する。
【００３６】
記憶部２１は、主にＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）で構成される。
【００３７】
この記憶部２１には、通訳者の氏名、通訳可能言語、通訳業務の担当可能な時間帯、詳しい地域等、通訳者の登録情報が記憶されている。
【００３８】
また、記憶部２１には、通訳依頼者の氏名、所在地、通訳依頼者が選択したサービスプラン等、通訳依頼者の登録情報が記憶されている。
【００３９】
ネットワークインターフェース２２は、サーバ装置２と通訳者端末３あるいは通訳依頼者端末４との間でデータを送受信するために、通信ネットワーク５に接続される。
【００４０】
＜サーバ装置２の制御部２０の機能構成＞
サーバ装置２の制御部２０は、所定のプログラムを実行することにより、通訳者管理手段２０１、通訳依頼者管理手段２０２、サービス管理手段２０３、および通信手段２０４として機能する。
【００４１】
＜通訳者管理手段２０１の説明＞
通訳者管理手段２０１は、通訳者端末３から送信される通訳者のアカウントを用いて、通訳者のアカウントの認証を行う。
【００４２】
また、通訳者管理手段２０１は、通訳者端末３から送信された通訳者の登録情報を記憶部２１に記憶させる。この登録情報は、通訳者の操作に基づいて事前に設定される。
【００４３】
また、通訳者管理手段２０１は、通訳依頼者端末４からの通訳依頼に関する情報を受信したあと、記憶部２１から各通訳者の登録情報を読み出し、サービス管理手段２０３へ送信する。
【００４４】
＜通訳依頼者管理手段２０２の説明＞
通訳依頼者管理手段２０２は、通訳依頼者端末４から送信される通訳依頼者のアカウントを用いて、通訳依頼者のアカウントの認証を行う。
【００４５】
また、通訳依頼者管理手段２０２は、通訳依頼者端末４からの通訳依頼に関する情報を受信したあと、通訳依頼者端末４から送信された通訳依頼者の登録情報を記憶部２１に記憶させる。この登録情報は、事前に、あるいは、通訳依頼時に通訳依頼者の操作に基づいて設定される。
【００４６】
また、通訳依頼者管理手段２０２は、記憶部２１から通訳依頼者の登録情報を読み出し、サービス管理手段２０３へ送信する。
【００４７】
＜サービス管理手段２０３の説明＞
サービス管理手段２０３は、通訳依頼者管理手段２０２を介して通訳依頼者端末４からの通訳依頼に関する情報を受信する。この通訳依頼に関する情報には、通訳依頼者の所在地、選択言語等の情報が含まれている。
【００４８】
また、サービス管理手段２０３は、通訳依頼者端末４から通訳依頼に関する情報を受信したあと、通訳者管理手段２０１を介して受信した通訳者の登録情報（通訳可能言語、通訳業務担当可能時間帯）を参照して、対応可能な通訳者を選定する。通訳者が選定されたあと、サービス管理手段２０３は、通訳依頼者からの通訳依頼（コール）を、選定された通訳者の通訳者端末３に送信する。その後、通訳者端末３と通訳依頼者端末４との通信接続が確立される。
【００４９】
また、サービス管理手段２０３は、通訳者端末３および通訳依頼者端末４のいずれかにおいて通話切断が行われた場合に、サービス利用時間等を算出し、サービス料金等を算出する。
【００５０】
また、サービス管理手段２０３は、通訳者端末３および通訳依頼者端末４のいずれかの通信状況の悪化等により通信が遮断された場合には、通訳者および通訳依頼者のアカウントを記憶部２１から読み出し、自動的に、あるいは、通訳者などの操作に基づいて、再接続を試みる。
【００５１】
＜通信手段２０４の説明＞
通信手段２０４は、通訳者のアカウント、通訳者の登録情報、通訳応答に関する情報、通訳者の顔認証情報（後述）、および音声情報などを通訳者端末３から受信する。
【００５２】
また、通信手段２０４は、通訳依頼者のアカウント、通訳依頼者の登録情報、通訳依頼に関する情報、通訳依頼者の映像情報、および音声情報などを通訳依頼者端末４から受信する。
【００５３】
また、通信手段２０４は、通訳者の顔認証情報、および音声情報などを通訳依頼者端末４へ送信する。
【００５４】
また、通信手段２０４は、通訳依頼者の映像情報、および音声情報などを通訳者端末３へ送信する。
【００５５】
＜通訳者端末３の説明＞
通訳者端末３は、例えば、ラップトップコンピュータである。
【００５６】
また、通訳者端末３は、サーバ装置２および通訳依頼者端末４との間で、インターネットあるいはＬＡＮなどの通信ネットワーク５を介して互いにデータ通信をすることができる。これにより、通訳者端末３において、サーバ装置２を介して通訳依頼者端末４との間のビデオ通話が提供される。
【００５７】
また、通訳者端末３は、図３のとおり、制御部３０、記憶部３１、ネットワークインターフェース３２、撮影部３３、音声入力部３４、グラフィック処理部３５、オーディオ処理部３６、および操作部３７を備える。
【００５８】
記憶部３１、ネットワークインターフェース３２、撮影部３３、音声入力部３４、グラフィック処理部３５、オーディオ処理部３６、および操作部３７は、バス３００を介して通訳者端末３の制御部３０に接続される。
【００５９】
制御部３０は、通訳者端末３の動作を制御する。
【００６０】
記憶部３１は、主にＨＤＤ、ＲＡＭおよびＲＯＭで構成される。
【００６１】
ネットワークインターフェース３２は、通訳者端末３とサーバ装置２あるいは通訳依頼者端末４との間でデータを送受信するために、通信ネットワーク５に接続される。
【００６２】
撮影部３３は、カメラ３３０と接続されている。このカメラ３３０によって通訳者の映像が取得される。
【００６３】
音声入力部３４は、マイク３４０と接続されている。このマイク３４０によって通訳者の音声が取得される。
【００６４】
グラフィック処理部３５は、液晶画面３５０と接続されている。液晶画面３５０には、通訳依頼者の映像が表示される。
【００６５】
オーディオ処理部３６は、スピーカ３６０と接続されている。スピーカ３６０からは、通訳依頼者の音声が出力される。
【００６６】
操作部３７は、キーボードおよびマウス３７０（以下、「キーボード等」３７０という。）と接続されている。本実施形態において操作部３７には、入力検出装置であるキーボード等３７０を介して通訳者からの操作信号が入力される。通訳者はキーボード等３７０を操作することで、通訳応答、通話切断等を行う。
【００６７】
＜通訳者端末３の制御部３０の機能構成＞
通訳者端末３の制御部３０は、所定のプログラムを実行することにより、通話応答手段３０１、撮影手段３０２、音声入力手段３０３、顔情報生成手段３０４、映像出力手段３０５、音声出力手段３０６、および通信手段３０７として機能する。
【００６８】
＜通話応答手段３０１の説明＞
通話応答手段３０１は、通訳者の操作に基づいて、サーバ装置２によって振り分けられた、通訳依頼者からのコールを受信（通訳応答）する。具体的には、液晶画面３５０に表示された「応答」ボタンをユーザが操作することで、通訳応答が行われる。
【００６９】
＜撮影手段３０２の説明＞
撮影手段３０２は、通訳者が通訳応答を行ったことに基づいて、通訳者の映像を撮影する。具体的には、撮影手段３０２は、カメラ３３０を起動させるための情報を撮影部３３へ送信する。これにより、通訳者の映像情報が取得される。
【００７０】
＜音声入力手段３０３の説明＞
音声入力手段３０３は、通訳者が通訳応答を行ったことに基づいて、通訳者の音声を取得する。具体的には、音声入力手段３０３は、マイク３４０を起動させるための情報を音声入力部３４へ送信する。これにより、通訳者の音声情報が取得される。
【００７１】
＜顔情報生成手段３０４の説明＞
顔情報生成手段３０４は、通訳者の映像情報を解析し、通訳者の顔の部位に関する顔情報を生成する。
【００７２】
本実施形態において、顔情報は、例えば、通訳者の顔の部位である口の開け閉めの有無、目の開け閉めの有無、ならびに、頭の傾きおよび回転などに関する顔認証情報である。この顔認証情報を生成するにあたっては、例えば、ディープラーニングを用いたオープンソースライブラリを利用することができる。このオープンソースライブラリにより、ディープランニングで蓄積された情報に基づいて口の開け閉めの有無などの判定が行われる。
【００７３】
また、顔情報生成手段３０４は、顔認証情報に基づく通訳者の表情および通訳者の声の抑揚等から通訳者の感情情報を生成する。
【００７４】
顔情報生成手段３０４は、例えば、通訳者の声のトーンが高い場合には、通訳者が楽しそうに説明している状態となるよう感情情報を生成する。また、所定の場合には、顔情報生成手段３０４は、アバター映像の周辺にハートマークあるいはエクスクラメーションマークなどを生成するための情報を生成する。これらの感情情報をアバター映像に反映させることで、アバター映像の表情を豊かにすることができる。
【００７５】
そして、顔情報生成手段３０４は、顔認証情報を、後述の通信手段３０７を介してサーバ装置２へ送信する。
【００７６】
＜映像出力手段３０５の説明＞
映像出力手段３０５は、通訳者が通訳応答を行ったことに基づいて、通訳依頼者端末４から送信された通訳依頼者の映像を出力する。具体的には、映像出力手段３０５は、液晶画面３５０に通訳依頼者の映像を表示させるための情報をグラフィック処理部３５へ送信する。これにより、通訳依頼者の映像が液晶画面３５０に表示される。
【００７７】
＜音声出力手段３０６の説明＞
音声出力手段３０６は、通訳者が通訳応答を行ったことに基づいて、通訳依頼者端末４から送信された通訳依頼者の音声を出力する。具体的には、音声出力手段３０６は、スピーカ３６０から通訳依頼者の音声を出力させるための情報をオーディオ処理部３６へ送信する。これにより、通訳依頼者の音声がスピーカ３６０から出力される。
【００７８】
＜通信手段３０７の説明＞
通信手段３０７は、通訳依頼に関する情報、通訳依頼者の映像情報および音声情報などをサーバ装置２から受信する。
【００７９】
また、通信手段３０７は、通訳応答に関する情報、通訳者の顔認証情報および音声情報などをサーバ装置２へ送信する。
【００８０】
＜通訳依頼者端末４の説明＞
通訳依頼者端末４は、例えば、スマートフォン、タブレットなどの端末装置である。
【００８１】
また、通訳依頼者端末４は、サーバ装置２および通訳者端末３との間で、インターネットあるいはＬＡＮなどの通信ネットワーク５を介して互いにデータ通信をすることができる。これにより、通訳依頼者端末４において、サーバ装置２を介して通訳者端末３との間のビデオ通話が提供される。
【００８２】
通訳依頼者端末４は、図４のとおり、制御部４０、記憶部４１、ネットワークインターフェース４２、撮影部４３、音声入力部４４、グラフィック処理部４５、オーディオ処理部４６、操作部４７、および位置情報検出部４８を備える。
【００８３】
記憶部４１、ネットワークインターフェース４２、撮影部４３、音声入力部４４、グラフィック処理部４５、オーディオ処理部４６、操作部４７、および位置情報検出部４８は、バス４００を介して、制御部４０に接続される。
【００８４】
制御部４０は、通訳依頼者端末４の動作を制御する。
【００８５】
記憶部４１は、主にＨＤＤ、ＲＡＭおよびＲＯＭで構成される。
【００８６】
ネットワークインターフェース４２は、通訳依頼者端末４とサーバ装置２あるいは通訳者端末３との間でデータを送受信するために、通信ネットワーク５に接続される。
【００８７】
撮影部４３は、カメラ４３０と接続されている。このカメラ４３０によって通訳依頼者の映像が取得される。
【００８８】
音声入力部４４は、マイク４４０と接続されている。このマイク４４０によって通訳依頼者の音声が取得される。
【００８９】
グラフィック処理部４５は、液晶画面４５０と接続されている。液晶画面４５０には、通訳者のアバター映像が表示される。
【００９０】
オーディオ処理部４６は、スピーカ４６０と接続されている。スピーカ４６０からは、通訳者の音声が出力される。
【００９１】
操作部４７は、タッチパッド４７０と接続されている。本実施形態において操作部４７には、入力位置検出装置であるタッチパッド４７０を介して通訳依頼者からの操作信号が入力される。通訳依頼者はタッチパッド４７０を操作することで、通訳依頼、通話切断等を行う。
【００９２】
位置情報検出部４８は、例えば、ＧＰＳ受信機であって、通訳依頼者端末４の現在位置を示す位置情報（例えば、経度および緯度）を検出する。
【００９３】
＜通訳依頼者端末４の制御部４０の機能構成＞
通訳依頼者端末４の制御部４０は、通訳アプリケーションを起動することで、通訳依頼手段４０１、撮影手段４０２、音声入力手段４０３、アバター画像生成手段４０４、音声出力手段４０５、位置情報検出手段４０６、および通信手段４０７として機能する。
【００９４】
通訳アプリケーションは、通訳依頼者によってダウンロードされたのち、サーバ装置２に対し、通訳依頼者が氏名、国籍、サービスプランなどの登録を行うことで利用可能となる。通訳依頼者が必要な情報を登録したのちは、サーバ装置２よりＩＤ（アカウント）、パスワードが通訳依頼者端末４へ送信される。通訳依頼者はこのＩＤ等を入力することによって通訳アプリケーションにログインすることができる。
【００９５】
＜通訳依頼手段４０１の説明＞
通訳依頼手段４０１は、通訳依頼者の操作に基づいて、通訳アプリケーションを起動したのち、サーバ装置２対して通訳依頼を行う。具体的には、液晶画面４５０に表示された「通訳依頼」ボタンが表示されている位置に対応するタッチパッド４７０をユーザがタッチすることで、通訳依頼が行われる。
【００９６】
＜撮影手段４０２の説明＞
撮影手段４０２は、通訳依頼者が通訳依頼を行ったことに基づいて、通訳依頼者の映像を撮影する。具体的には、撮影手段４０２は、カメラ４３０を起動させるための情報を撮影部４３へ送信する。これにより、通訳依頼者の映像情報が取得される。
【００９７】
＜音声入力手段４０３の説明＞
音声入力手段４０３は、通訳依頼者が通訳依頼を行ったことに基づいて、通訳依頼者の音声を取得する。具体的には、音声入力手段４０３は、マイク４４０を起動させるための情報を音声入力部４４へ送信する。これにより、通訳依頼者の音声情報が取得される。
【００９８】
＜アバター画像生成手段４０４の説明＞
アバター画像生成手段４０４は、通訳者端末３から送信された通訳者の顔認証情報に基づいて３Ｄモデル（３次元モデル）で構成されるアバター映像を生成する。
【００９９】
具体的には、アバター画像生成手段４０４は、サーバ装置２を介して通訳者端末３から送信された通訳者の顔認証情報および感情情報を、あらかじめ用意されたアバターの３Ｄモデルに対応させて、通訳者のアバター映像を生成する。
【０１００】
アバターの３Ｄモデルには、例えば通訳者の口が開いた場合に３Ｄモデルの口の頂点位置を所定の位置に移動させるシェイプキーが保存されている。これにより、アバター画像生成手段４０４は、通訳者が口を開いたり、目を閉じたり、顔を振ったりすることに対応して、アバターが口を開いたり、目を閉じたり、顔を振ったりする状態を描画することが可能となる。なお、例えばアバターの口が開いた状態から閉じた状態までの描画はモーフィングを行うことにより実現することができる。
【０１０１】
また、アバター画像生成手段４０４は、通訳者のアバター映像を出力する。具体的には、アバター画像生成手段４０４は、液晶画面４５０に通訳者のアバター映像を表示させるための情報をグラフィック処理部４５へ送信する。これにより、通訳者のアバター映像が液晶画面４５０に表示される。
【０１０２】
なお、本実施形態において、通訳者のアバター映像の服装および背景は、アバター映像に合うようにあらかじめ設定された服装等である。これにより、通訳者は、服装および部屋内部の状況を気にすることなく通訳業務にたずさわることができる。
【０１０３】
＜音声出力手段４０５の説明＞
音声出力手段４０５は、通訳者が通訳応答を行ったことに基づいて、通訳者の音声を出力する。具体的には、音声出力手段４０５は、スピーカ４６０から通訳者の音声を出力させるための情報をオーディオ処理部４６へ送信する。これにより、通訳者の音声がスピーカ３６０から出力される。
【０１０４】
＜位置情報検出手段４０６の説明＞
位置情報検出手段４０６は、通訳依頼者が通訳依頼を行ったことに基づいて、通訳依頼者の現在位置を検出する。具体的には、位置情報検出手段４０６は、位置情報検出部４８を起動させるための情報を位置情報検出部４８へ送信する。
【０１０５】
＜通信手段４０７の説明＞
通信手段４０７は、通訳応答に関する情報、通訳者の顔認証情報および音声情報などをサーバ装置２から受信する。
【０１０６】
また、通信手段４０７は、通訳依頼に関する情報、通訳依頼者の映像情報および音声情報などをサーバ装置２へ送信する。
【０１０７】
＜ビデオ通話処理の説明＞
以下、図５のフローチャートを用いて、ビデオ通話処理について説明する。なお、後述の制御手段および処理手順は一例であり、本発明の実施形態はこれらには限られない。処理手順等は、本発明の要旨を変更しない範囲で適宜設計変更が可能である。
【０１０８】
まず、通訳依頼者端末４の通訳依頼手段４０１が、通訳依頼者の操作に基づいて、通訳依頼者端末４にインストールされている通訳アプリケーションを起動する（ステップＳ１）。
【０１０９】
ついで、通訳依頼手段４０１が、通訳依頼者の操作に基づいて、必要な情報を登録するほか、通訳を依頼したい言語を選択する（ステップＳ２）。
【０１１０】
ついで、通訳依頼手段４０１が、通訳依頼者の操作に基づいて、通訳依頼を行う（ステップＳ３）。具体的には、通訳依頼手段４０１が、通信手段４０７を介して通訳依頼者のアカウント、通訳依頼に関する情報などをサーバ装置２へ送信する。
【０１１１】
ついで、サーバ装置２が、通訳依頼者端末４との通信を開始する（ステップＳ４）。
【０１１２】
ついで、通訳依頼者端末４の撮影手段４０２および音声入力手段４０３が、それぞれ、通訳依頼者端末４のカメラ４３０およびマイク４４０を起動させる（ステップＳ５）。
【０１１３】
ついで、撮影手段４０２が通訳依頼者の映像情報を取得し、音声入力手段４０３が通訳依頼者の音声情報を取得する（ステップＳ６）。
【０１１４】
ついで、撮影手段４０２および音声入力手段４０３が、それぞれ通信手段４０７を介して通訳依頼者の映像情報および音声情報をサーバ装置２へ送信する（ステップＳ７）。
【０１１５】
ついで、サーバ装置２のサービス管理手段２０３が、通訳者端末３と通訳依頼者端末４との接続確立のために必要な接続要求の確認を行う（ステップＳ８）。
【０１１６】
ついで、サーバ装置２の通訳者管理手段２０１が、現在対応可能な通訳者を検索し、サービス管理手段２０３が対応可能な通訳者の通訳者端末３への通訳依頼の振り分けを実行する（ステップＳ９）。
【０１１７】
ついで、サービス管理手段２０３が、通訳依頼者端末４から送信された通訳依頼者の映像情報および音声情報を、通訳依頼を振り分けた通訳者端末３へ送信する（ステップＳ１０）。
【０１１８】
ついで、通訳者端末３の通訳応答手段３０１が、通訳者の操作に基づいて、通訳応答を行う（ステップＳ１１）。
【０１１９】
ついで、通訳者端末３の撮影手段３０２および音声入力手段３０３が、それぞれ、通訳者端末３のカメラ３３０およびマイク３４０を起動させる（ステップＳ１２）。
【０１２０】
ついで、通訳者端末３の撮影手段３０２が通訳者の映像情報を取得し、音声入力手段４０３が通訳者の音声情報を取得する（Ｓ１３）。
【０１２１】
ついで、通訳者端末３の顔情報生成手段３０４が、通訳者の映像情報を解析し、通訳者の顔の部位に関する情報である顔認証情報を生成する（ステップＳ１４）。具体的には、顔情報生成手段３０４は、通訳者の映像情報から通訳者の口の開け閉め、頭の傾きなどを抽出し、通訳者の顔に基づく顔認証情報を生成する。
【０１２２】
ついで、顔情報生成手段３０４が、顔認証情報および音声情報から感情情報を生成する（ステップＳ１５）。具体的には、顔情報生成手段３０４は、顔認証情報に基づく通訳者の表情および通訳者の声の抑揚等から通訳者の感情情報を生成する。
【０１２３】
ついで、通訳者端末３が、サーバ装置２を介して、通訳者の顔認証情報、感情情報、および音声情報を通訳依頼者端末４へ送信する（ステップＳ１６）。
【０１２４】
ついで、通訳依頼者端末４のアバター画像生成手段４０４が、受信した通訳者の顔認証情報および感情情報をもとに通訳者のアバター映像を生成する（ステップＳ１７）。具体的には、アバター画像生成手段４０４は、あらかじめ用意されたアバターの３Ｄモデルに、通訳者の顔認証情報を当てはめ、通訳者の顔認証情報と同じようにアバターが動くようにアバター映像を生成する。
【０１２５】
ついで、アバター画像生成手段４０４が通訳依頼者端末４の液晶画面４５０に通訳者のアバター映像を表示させ、音声出力手段４０５が通訳依頼者端末４のスピーカ４６０に通訳者の音声を出力させる（ステップＳ１８）。その後、通訳者端末３あるいは通訳依頼者端末４において通話が切断された場合には、本発明のビデオ通話処理は終了する。
以上の手順により、本発明のビデオ通話処理が実行される。
【０１２６】
以上をまとめると、本実施形態のビデオ通話システム１は、
通信ネットワーク５によって互いに接続されるとともに各ユーザの操作を受けつける複数のユーザ装置を備えるビデオ通話システム１であって、
１つのユーザ装置である通訳者端末３は、
通訳者端末３を操作するユーザである通訳者の顔画像を撮影する撮影手段３０２、
通訳者の音声を入力する音声入力手段３０３、
撮影された通訳者の顔画像から通訳者の顔の部位に関する顔情報を生成する顔情報生成手段３０４、および
通訳者の顔情報および音声を、通訳依頼者端末４へ送信する通信手段３０７、
を備え、
通訳依頼者端末４は、
通訳者端末３から送信された通訳者の顔情報に基づいて通訳者のアバター画像を生成するとともに出力するアバター画像生成手段４０４、および
通訳者の音声を出力する音声出力手段４０５、
を備える。
【０１２７】
＜発明の効果＞
本実施形態のビデオ通話システムによれば、処理負荷が小さく、在宅ワーカーが顔および環境などを気にすることなくサービスを提供することができるビデオ通話システムを提供することができる。
【０１２８】
具体的には、本発明を用いれば、通訳者が在宅ワーカーであっても、通訳者は、自身の服装あるいは背景を気にすることなく通訳業務を遂行することができる。
【０１２９】
また、通訳者が女性であっても、通訳業務のためにわざわざ化粧をする必要がなく、気軽に通訳業務にたずさわることができる。
【０１３０】
さらには、通訳者端末と通訳依頼者端末との間でデータ量の小さい顔認証情報が送受信されるため、通信にタイムラグが発生することを抑制しつつ、サーバ装置の処理負荷が大きくなってしまうことを抑制することができる。
【０１３１】
［他の実施形態］
前記実施形態では、通訳依頼者端末では常に通訳者のアバター映像が表示される例が記載されているが、本発明はこれには限られない。例えば、通訳者は、通訳者端末の操作に基づいて、通訳者の実画像を表示させるか、アバター映像（アバター映像の種類を含む。）を表示させるかを選択することができてもよい。
【０１３２】
また、前記実施形態とは異なり、アバター映像の背景などは黒色などの単一色であってもよい。
【０１３３】
さらには、通訳依頼者は、通訳依頼者端末の操作に基づいて、アバター映像の種類を選択することができてもよい。
【０１３４】
また、前記実施形態では、第１ユーザ装置は通訳者端末であり、第２ユーザ装置は通訳依頼者端末である例が記載されているが、本発明はこれには限られない。例えば、第１ユーザ装置は、コンビニエンスストアの店員が操作する端末であり、第２ユーザ装置は客が操作する端末であってもよい。また、第１ユーザ装置は家庭教師が操作する端末であり、第２ユーザ装置は生徒が操作する端末であってもよい。
【０１３５】
また、ＶＲ（ヴァーチャル・リアリティ）において、各アバターが会話する際にも、本発明を適用することができる。さらに、ホログラム、ＡＲ（オーグメンテッド・リアリティ）にも本発明を適用することができる。
【０１３６】
また、前記実施形態においては、ディープラーニングを用いたオープンソースライブラリによる顔認証技術が記載されているが、本発明はこれには限られない。例えば、図６、図７の顔認証技術を用いて通訳者の顔の特徴点が生成され、この特徴点の情報に基づいて顔認証が行われてもよい。
【０１３７】
また、前記実施形態では、顔の表情、声の抑揚などによって通訳者の感情情報が生成される例が記載されているが、本発明はこれには限られない。例えば、通訳者の発した言葉に対してテキストマイニングを行うことによって、通訳者の感情情報が生成されてもよい。例えば、通訳者が「うれしい」などのポジティブな言葉を発した場合に、アバター映像の表情に、喜びの気持ちが反映されてもよい。
【０１３８】
さらに、顔情報生成手段は、通訳者の音声情報からリップシンクなどの技術を用いて顔情報および感情情報を生成することもできる。具体的には、例えば、通訳者の音声情報から母音情報を抽出し、それに基づいてアバターの口の動きを生成することもできる。
【０１３９】
また、前記実施形態では、顔情報は通訳者端末で生成される例が記載されているが、本発明はこれには限られない。例えば、通訳依頼者による通訳依頼操作のあとに、通訳者端末から通訳者の顔画像（実写映像）を受信した通訳依頼者端末に備えられる顔情報生成手段が、通訳者の顔画像から通訳者の顔の部位に関する顔情報を生成し、その顔情報に基づいて通訳依頼者端末のアバター画像生成手段が通訳者のアバター画像を生成してもよい。
【０１４０】
また、前記実施形態では、顔情報生成手段は、通訳者の顔に基づいて顔情報のみを生成する例が記載されているが、本発明はこれには限られない。例えば、顔情報生成手段は、顔のほか、手の動き、上半身の動きなどに基づいて情報を生成してもよい。
【０１４１】
また、図５の例では、サーバ装置と通訳依頼者端末との通信が開始されたのちに通訳依頼者端末のカメラおよびマイクが起動する例が記載されているが、本発明はこれには限られない。サーバ装置と通訳依頼者端末との通信が開始される前（例えば、通訳依頼者が通訳アプリケーションを起動したとき）に通訳依頼者端末のカメラおよびマイクが起動してもよい。
【０１４２】
また、通訳者端末に用いられるコンピュータプログラム、および、通訳依頼者端末に用いられるコンピュータプログラムは、それぞれ２つ以上のコンピュータプログラム（アプリケーション）で構成されていてもよい。
【０１４３】
また、前記実施形態においては、通訳者端末はラップトップコンピュータである例が記載されているが、デスクトップコンピュータ、スマートフォン、タブレットなどであってもよい。
【０１４４】
同様に、前記実施形態においては、通訳依頼者端末はスマートフォン、タブレットなどの携帯型端末である例が記載されているが、デスクトップコンピュータ、ラップトップコンピュータなどであってもよい。
【符号の説明】
【０１４５】
１  ビデオ通話システム
２  サーバ装置
２０１  通訳者管理手段
２０２  通訳依頼者管理手段
２０３  サービス管理手段
２０４  通信手段
３  通訳者端末
３０１  通訳応答手段
３０２  撮影手段
３０３  音声入力手段
３０４  顔情報生成手段
３０５  映像出力手段
３０６  音声出力手段
３０７  通信手段
４  通訳依頼者端末
４０１  通訳依頼手段
４０２  撮影手段
４０３  音声入力手段
４０４  アバター画像生成手段
４０５  音声出力手段
４０６  位置情報検出手段
４０７  通信手段
５  通信ネットワーク
【図１】
2020136921.tif 000003
【図２】
2020136921.tif 000004
【図３】
2020136921.tif 000005
【図４】
2020136921.tif 000006
【図５】
2020136921.tif 000007
【図６】
2020136921.tif 000008
【図７】
2020136921.tif 000009