(57)【要約】【課題】良好な遠隔コミュニケーションを可能とする情報処理装置、情報処理方法、及びプログラムを提供すること。【解決手段】本技術の一形態に係る情報処理装置は、取得部と、生成制御部とを具備する。前記取得部は、第１のユーザの画像及び音声の少なくとも一方を含む入力情報を取得する。前記生成制御部は、画像及び音声の少なくとも一方を含む出力情報への要求を含む要求情報と、前記取得された入力情報とに基づいて、前記第１のユーザの通信相手である第２のユーザの端末で出力される前記第１のユーザに関する出力情報の生成を制御する。【選択図】図７
2018109924.tif 000002
【特許請求の範囲】
【請求項１】
第１のユーザの画像及び音声の少なくとも一方を含む入力情報を取得する取得部と、
画像及び音声の少なくとも一方を含む出力情報への要求を含む要求情報と、前記取得された入力情報とに基づいて、前記第１のユーザの通信相手である第２のユーザの端末で出力される前記第１のユーザに関する出力情報の生成を制御する生成制御部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記要求情報は、画像の表示に関する前記第２のユーザからの要求、及び音声の再生に関する前記第２のユーザからの要求の少なくとも一方を含む
情報処理装置。
【請求項３】
請求項１に記載の情報処理装置であって、
前記生成制御部は、前記入力情報に含まれる前記第１のユーザの画像を補完して前記出力情報を生成する
情報処理装置。
【請求項４】
請求項１に記載の情報処理装置であって、
前記生成制御部は、前記入力情報に含まれる前記第１のユーザの音声を補完して前記出力情報を生成する
情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、さらに、
前記出力情報の信頼度を算出する算出部と、
前記算出された信頼度を前記第２のユーザの端末に送信する信頼度送信部と
を具備する情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記出力情報の信頼度は、前記画像に関する信頼度、及び前記音声に関する信頼度の少なくとも一方を含む
情報処理装置。
【請求項７】
請求項５に記載の情報処理装置であって、
前記要求情報は、前記出力情報の信頼度に関する要求を含む
情報処理装置。
【請求項８】
請求項１に記載の情報処理装置であって、さらに、
前記第１のユーザの状態情報、及び前記第１のユーザの状況情報の少なくとも一方に基づいて、生成可能な前記出力情報のレベルを推定する推定部を具備する
情報処理装置。
【請求項９】
請求項８に記載の情報処理装置であって、
前記出力情報のレベルは、前記第１のユーザの画像の表示可能なレベル、及び前記第１のユーザの音声の再生可能なレベルの少なくとも一方を含む
情報処理装置。
【請求項１０】
請求項８に記載の情報処理装置であって、さらに、
前記推定された前記出力情報のレベルを前記第２のユーザの端末に送信するレベル送信部を具備する
情報処理装置。
【請求項１１】
請求項１に記載の情報処理装置であって、さらに、
前記生成された出力情報を受信した前記第２のユーザの端末から送信される更新された前記要求情報を、前記生成制御部に出力する要求情報出力部を具備する
情報処理装置。
【請求項１２】
請求項１１に記載の情報処理装置であって、
前記要求情報出力部は、前記出力情報の内容及び前記出力情報の信頼度に基づく前記更新された要求情報を、前記生成制御部に出力する
情報処理装置。
【請求項１３】
請求項１１に記載の情報処理装置であって、
前記要求情報出力部は、生成可能な前記出力情報のレベルに基づく前記更新された要求情報を、前記生成制御部に出力する
情報処理装置。
【請求項１４】
請求項１に記載の情報処理装置であって、
前記取得部及び前記生成制御部の少なくとも一方は、前記第１のユーザの端末及び前記第２のユーザの端末の各々と通信可能なサーバ装置に設けられる
情報処理装置。
【請求項１５】
第１のユーザの画像及び音声の少なくとも一方を含む入力情報を取得し、
画像及び音声の少なくとも一方を含む出力情報への要求を含む要求情報と、前記取得された入力情報とに基づいて、前記第１のユーザの通信相手である第２のユーザの端末で出力される前記第１のユーザに関する出力情報の生成を制御する
ことをコンピュータシステムが実行する情報処理方法。
【請求項１６】
第１のユーザの画像及び音声の少なくとも一方を含む入力情報を取得するステップと、
画像及び音声の少なくとも一方を含む出力情報への要求を含む要求情報と、前記取得された入力情報とに基づいて、前記第１のユーザの通信相手である第２のユーザの端末で出力される前記第１のユーザに関する出力情報の生成を制御するステップと
をコンピュータシステムに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、遠隔コミュニケーション等に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来からネットワーク等を介して互いの画像や音声を共有して遠隔コミュニケーションを行う技術が知られている。例えば離れた場所にいるユーザ同士が、互いの映像や音声をリアルタイムに送り合うことが可能である。これにより離れた場所にいる相手とも、互いの状態を把握しながらコミュニケーションを行うことが可能である。
【０００３】
例えば特許文献１には、別拠点にいるユーザの画像及び音声を互いに送受信可能なテレビ会議システムについて記載されている。特許文献１では、ユーザの撮影画像に基づいてユーザがジェスチャーを行っているか否かが判断される。ジェスチャーを行っている場合はユーザの上半身の画像が撮影画像から切り出される。ジェスチャーを行っていない場合は、ユーザの顔の画像が切り出される。切り出された上半身の画像又は顔の画像は、相手側の端末装置に送信されディスプレイに表示される。これによりジェスチャーを交えて円滑にテレビ会議を行うことが可能となり、良好なコミュニケーションが可能となる（特許文献１の明細書段落［００３０］、［００５７］、［００９２］、図５、図６等）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２３９４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
今後とも、ネットワーク等を介した遠隔コミュニケーションは広く普及していくと考えられ、良好な遠隔コミュニケーションを可能とする技術が求められている。
【０００６】
以上のような事情に鑑み、本技術の目的は、良好な遠隔コミュニケーションを可能とする情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、生成制御部とを具備する。
前記取得部は、第１のユーザの画像及び音声の少なくとも一方を含む入力情報を取得する。
前記生成制御部は、画像及び音声の少なくとも一方を含む出力情報への要求を含む要求情報と、前記取得された入力情報とに基づいて、前記第１のユーザの通信相手である第２のユーザの端末で出力される前記第１のユーザに関する出力情報の生成を制御する。
【０００８】
この情報処理装置では、入力情報と、出力情報に関する要求情報とに基づいて、第１のユーザに関する出力情報の生成が制御される。これにより、例えば通信相手である第２のユーザからの要求等に応じた出力情報の生成が可能となり、良好なコミュニケーションが可能となる。
【０００９】
前記要求情報は、画像の表示に関する前記第２のユーザからの要求、及び音声の再生に関する前記第２のユーザからの要求の少なくとも一方を含んでもよい。
これにより画像の表示及び音声の再生に関する種々の要求が可能となり、良好なコミュニケーションが可能となる。
【００１０】
前記生成制御部は、前記入力情報に含まれる前記第１のユーザの画像を補完して前記出力情報を生成してもよい。
これにより要求に応じた出力情報を生成することが可能となり、良好なコミュニケーションが可能となる。
【００１１】
前記生成制御部は、前記入力情報に含まれる前記第１のユーザの音声を補完して前記出力情報を生成してもよい。
これにより要求に応じた出力情報を生成することが可能となり、良好なコミュニケーションが可能となる。
【００１２】
前記情報処理装置は、さらに、算出部と、信頼度送信部とを具備してもよい。
前記算出部は、前記出力情報の信頼度を算出する。
前記信頼度送信部は、前記算出された信頼度を前記第２のユーザの端末に送信する。
これにより出力情報に含まれる画像や音声がどの程度信頼できるものであるかといったことを判断すること等が可能となる。この結果、例えば要求情報の更新等が可能となり、良好なコミュニケーションが可能となる。
【００１３】
前記出力情報の信頼度は、前記画像に関する信頼度、及び前記音声に関する信頼度の少なくとも一方を含んでもよい。
これにより画像や音声の信頼度を判断すること等が可能となり、良好なコミュニケーションが可能となる。
【００１４】
前記要求情報は、前記出力情報の信頼度に関する要求を含んでもよい。
これにより信頼度に関して要求することが可能となり、良好なコミュニケーションが可能となる。
【００１５】
前記情報処理装置は、さらに、前記第１のユーザの状態情報、及び前記第１のユーザの状況情報の少なくとも一方に基づいて、生成可能な前記出力情報のレベルを推定する推定部を具備してもよい。
これにより例えば生成可能な出力情報のレベルと、第２のユーザ等からの要求とを比較することが可能となり、良好なコミュニケーションが可能となる。
【００１６】
前記出力情報のレベルは、前記第１のユーザの画像の表示可能なレベル、及び前記第１のユーザの音声の再生可能なレベルの少なくとも一方を含んでもよい。
これにより第１のユーザの画像や音声について、生成レベルと要求とを比較すること等が可能となり、良好なコミュニケーションが可能となる。
【００１７】
前記情報処理装置は、さらに、前記推定された前記出力情報のレベルを前記第２のユーザの端末に送信するレベル送信部を具備してもよい。
これにより、例えば生成可能なレベルに応じて要求情報を更新すること等が可能となり、良好なコミュニケーションが可能となる。
【００１８】
前記情報処理装置は、さらに、前記生成された出力情報を受信した前記第２のユーザの端末から送信される更新された前記要求情報を、前記生成制御部に出力する要求情報出力部を具備してもよい。
これにより所望とする出力情報を要求することが可能とり、良好なコミュニケーションが可能となる。
【００１９】
前記要求情報出力部は、前記出力情報の内容及び前記出力情報の信頼度に基づく前記更新された要求情報を、前記生成制御部に出力してもよい。
これにより、例えば出力情報の内容等に応じた柔軟な要求が可能となり、良好なコミュニケーションが可能となる。
【００２０】
前記要求情報出力部は、生成可能な前記出力情報のレベルに基づく前記更新された要求情報を、前記生成制御部に出力してもよい。
これにより、例えば生成可能な出力情報のレベル等に応じた柔軟な要求が可能となり、良好なコミュニケーションが可能となる。
【００２１】
前記取得部及び前記生成制御部の少なくとも一方は、前記第１のユーザの端末及び前記第２のユーザの端末の各々と通信可能なサーバ装置に設けられてもよい。
これにより例えばクラウドコンピューティングの構成を実現することが可能となる。
【００２２】
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、第１のユーザの画像及び音声の少なくとも一方を含む入力情報を取得することを含む。
画像及び音声の少なくとも一方を含む出力情報への要求を含む要求情報と、前記取得された入力情報とに基づいて、前記第１のユーザの通信相手である第２のユーザの端末で出力される前記第１のユーザに関する出力情報の生成が制御される。
【００２３】
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
第１のユーザの画像及び音声の少なくとも一方を含む入力情報を取得するステップ。
画像及び音声の少なくとも一方を含む出力情報への要求を含む要求情報と、前記取得された入力情報とに基づいて、前記第１のユーザの通信相手である第２のユーザの端末で出力される前記第１のユーザに関する出力情報の生成を制御するステップ。
【発明の効果】
【００２４】
以上のように、本技術によれば、良好な遠隔コミュニケーションが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２５】
【図１】一実施形態に係るコミュニケーションシステムの概要を説明するための模式図である。
【図２】通信端末の構成例を示すブロック図である。
【図３】通信端末の機能的な構成例を示すブロック図である。
【図４】画像の欠損レベルの一例を説明するための模式図である。
【図５】補助情報から補完可能な範囲の一例を示す表である。
【図６】環境情報と生成可能な通信用データのレベルとの関連性について説明するための表である。
【図７】各通信端末における処理フローの一例を示すフローチャートである。
【図８】遠隔コミュニケーションの具体例を示す模式図である。
【図９】遠隔コミュニケーションの具体例を示す模式図である。
【図１０】遠隔コミュニケーションの具体例を示す模式図である。
【図１１】遠隔コミュニケーションの具体例を示す模式図である。
【発明を実施するための形態】
【００２６】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００２７】
［コミュニケーションシステム］
図１は、本技術の一実施形態に係るコミュニケーションシステムの概要を説明するための模式図である。コミュニケーションシステム１００は、ネットワーク１に接続された通信端末１０を介して、通信者（通信端末１０のユーザ５）同士の遠隔コミュニケーションを可能とする。
【００２８】
コミュニケーションシステム１００は、本技術に係る情報処理システムの一実施形態であり、通信端末１０は、本技術に係る情報処理装置の一実施形態である。
【００２９】
ネットワーク１としては、典型的には、インターネット等のＷＡＮ（Wide Area Network）が用いられるが、これに限定されない。イントラネット等のＬＡＮ（Local Area Network）等、任意のネットワークに対して、本技術は適用可能である。
【００３０】
図１に示す例では、通信端末１０ａを使用するユーザ５ａと、通信端末１０ｂを使用するユーザ５ｂとにより、遠隔コミュニケーションが行われている場合が図示されている。
【００３１】
ユーザ５ａは席に着いており、デスク載置されたノートＰＣ（Personal Computer）を通信端末１０ａとして使用している。
【００３２】
ユーザ５ｂに関しては、歩いている状態、席に着いている状態、及び電車に乗っている状態が図示されている。いずれの状態でも、スマートフォン、及びノートＰＣを通信端末１０ｂとして使用することで、ユーザ５ａとのコミュニケーションが可能となっている。なお遠隔コミュニケーションを行うために、その時に使用している端末が、そのユーザ５の通信端末１０となる。
【００３３】
本実施形態では、通信端末１０により、ユーザ５の画像及び音声の少なくとも一方を含む通信用データＤが、出力情報として生成される。生成された通信用データＤは、ネットワーク１を介して通信相手の通信端末１０に送信されて出力される。互いの通信用データＤを送信／受信することで、遠隔コミュニケーションが実現される。
【００３４】
本実施形態では、自身の画像及び音声のうち少なくとも一方を含む入力情報を入力するユーザが第１のユーザに相当する。また、入力された入力情報に基づく出力情報を取得するユーザが第２のユーザに相当する。通信においては通信用データＤの送信側（入力情報の入力側）がユーザ間で切り替わり得るため、ユーザ５ａとユーザ５ｂの一方が第１のユーザに相当する場合、他方が第２のユーザに相当する。
【００３５】
なお通信用データＤを通信するための具体的な通信アルゴリズムは限定されず、データの圧縮／解凍や暗号化／複合化等が適宜実行されてよい。
【００３６】
本実施形態では、通信端末１０により生成される通信用データＤについて、どのような通信用データＤが欲しいかといった旨の要求情報を、互いに送信／受信することが可能である。これにより良好な遠隔コミュニケーションが可能となる。詳しくは後述する。
【００３７】
［通信端末］
図２は、通信端末１０の構成例を示すブロック図である。通信端末１０は、コントローラ１１、スピーカ１２、マイク１３、カメラ１４、及びセンサ部１５を有する。また通信端末１０は、表示部１６、操作部１７、記憶部１８、Ｉ/Ｆ（インタフェース）部１９、及び通信部２０を有する。
【００３８】
スピーカ１２により、通信相手の音声等が再生される。マイク１３により、ユーザ５の音声等が集音される。カメラ１４により、ユーザ５の画像等が撮影される。その他、スピーカ１２、マイク１３、及びカメラ１４により、音声ガイダンスの出力、音楽コンテンツの再生、音声やジェスチャーによる指示の入力等が可能であってもよい。スピーカ１２、マイク１３、及びカメラ１４の具体的な構成は限定されない。
【００３９】
カメラ１４により撮影される画像、及びマイクに１３より集音される音声は、本実施形態において、画像及び音声を含む入力情報に相当する。なおカメラ１４により撮影される画像は、静止画像及び動画像（映像）の両方を含む。
【００４０】
表示部１６は、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた表示デバイスであり、通信相手の画像や種々のＧＵＩ（Graphical User Interface）等が表示される。操作部１７は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。操作部１７がタッチパネルを含む場合、そのタッチパネルは表示部１６と一体となり得る。
【００４１】
記憶部１８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）等が用いられる。記憶部１８には、通信端末１０の全体の動作を制御するための制御プログラムやアプリケーション等の各種のプログラムが記憶される。また記憶部１８には、通信用データＤを生成するためのテーブル情報等が記憶される。制御プログラムやテーブル情報等を、通信端末１０にインストールする方法は限定されない。
【００４２】
Ｉ／Ｆ部１９は、ＵＳＢ（Universal Serial Bus）端子やＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等の、他のデバイスや種々のケーブルが接続されるインタフェースである。
【００４３】
通信部２０は、ネットワーク１を介して、他のデバイスと通信するための通信モジュールであり、例えばＷｉＦｉ等の無線ＬＡＮモジュールが用いられる。その他、通信部２０として、Bluetooth（登録商標）等の近距離無線通信用の通信モジュールが設けられてもよい。
【００４４】
センサ部１５は、９軸センサ２１、及びＧＰＳセンサ２２を含む。９軸センサ２１は、通信端末１０本体の角度、移動、及び向きの変化を出力する。ＧＰＳセンサ２２は、通信端末１０本体の位置情報を出力する。その他、センサ部１５として設けられるセンサの種類は限定されず、任意のセンサが設けられてもよい。例えばユーザ５の体温及び脈拍数等を検出可能な生体センサ等が設けられてもよい。
【００４５】
センサ部１５は、例えばモーションセンサとして機能し、ユーザ５の姿勢や動き等を含むユーザ５の状態を検出することが可能である。例えば歩行中、走行中、電車にて移動中、運転中等の情報や運動しているスポーツの種類等の情報が、ユーザ５の状態情報として取得される。
【００４６】
またセンサ部１５は、ユーザ５が置かれた状況を検出することが可能である。すなわちユーザ５が使用する通信端末１０の状態、時刻、場所等の、ユーザ５に関連する対象の状態の情報を含む、ユーザ５の状況情報を取得することが可能である。例えばユーザ５の現在地の情報、さらに詳しく屋内であるか、屋外であるか、会議中であるか等の情報や、通信端末１０のスペックや載置場所の情報等が、ユーザ５の状況情報として取得される。
【００４７】
これら種々のユーザ５の状態情報及び状況情報は、例えば機械学習を用いた行動解析等の任意の技術により取得可能である。もちろんセンサ部１５と他のブロックとが協働して、ユーザ５の状態情報及び状況情報が取得されてもよい。
【００４８】
本実施形態では、ユーザ５の状態情報及び状況情報を含む情報として、遠隔コミュニケーションを行うユーザ５の環境情報が取得される。環境情報は、ユーザの場所（ロケーション）、時間、通信端末１０のスペック、ユーザ５及び通信端末１０の状態等を含む。
【００４９】
コントローラ１１は、通信端末１０が有する各ブロックの動作を制御する。コントローラ１１は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部１８に記憶されている制御プログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。
【００５０】
コントローラ１１として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated
Circuit）等のデバイスが用いられてもよい。
【００５１】
通信端末１０の種類は限定されず、通信機能、撮像機能、及び集音機能を有する任意の機器が用いられてよい。例えば上記したノートＰＣやスマートフォンの他、デスクトップＰＣ、ゲーム機器、テレビジョン装置、オーディオビデオレシーバ、タブレット端末等の種々のＰＤＡ（Personal Digital Assistant）等、任意の機器が挙げられる。
【００５２】
図３は、通信端末１０の機能的な構成例を示すブロック図である。ここでは送信側の通信端末１０Ｘと受信側の通信端末１０Ｙとが、区別して図示されている。もちろん遠隔コミュニケーションが行われる際には、両方の通信端末１０（例えば図１に示す通信端末１０ａ及び１０ｂ）がともに、送信側及び受信側として機能する。
【００５３】
本実施形態では、コントローラ１１のＣＰＵが本実施形態に係るプログラム（アプリケーション）を実行することで、図３に示す各々の機能ブロックが実現され、本実施形態に係る情報処理方法が実行される。もちろん各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。
【００５４】
送信側の通信端末１０Ｘは、音声取得部３０、音声解析部３１、映像取得部３２、映像解析部３３、補助情報生成部３４、テキスト取得部３５、データ要求受付部３６、通信用データ生成部３７、データ圧縮部３８、データ送信部３９、及び環境情報取得部（図示省略）を有する。音声取得部３０、映像取得部３２、及びテキスト取得部３５は、本実施形態において、取得部として機能する。
【００５５】
音声取得部３０は、マイク１３により集音された音声（入力情報）を取得して音声解析部３１に出力する。音声解析部３１は取得された音声を解析して、ユーザ５の音声の有無、及びその欠損レベル（音声欠損範囲）を判定する。本実施形態では、予め通信端末１０を使用するユーザ５の音声が入力されており、音声解析部３１により解析されている。当該解析結果に基づいて、取得された音声にユーザ５の音声が含まれているか否か、及びその欠損レベルが判定される。なお解析方法として、例えば機械学習等を用いた任意の音声解析技術が用いられてよい。
【００５６】
音声の欠損レベルは、典型的には、通常の会話の音声を基準として判定される。例えばユーザ５の会話が適正に取得される場合には、発話された文章の内容（発話文の内容）も、抑揚（話し方）も適正であり、欠損はないと判定される。発話文の内容は把握できるが、抑揚が通常の会話と比べて欠損している場合には、抑揚の欠損が判定される。例えばささやく程度の小声での発話等が行われる場合に、抑揚の欠損が判定され得る。
【００５７】
抑揚の欠損としては、例えばスピードの欠損、ピッチの欠損、ボリュームの欠損、及びイントネーションの欠損が挙げられる。これらの項目ごとに欠損レベルが判定されてもよいし、各項目の欠損を総括して抑揚の欠損として判定されてもよい。
【００５８】
発話文の内容も判定できない場合、すなわち音声から文脈までは読み取れない場合には、発話文の欠損が判定される。さらに文脈のみならず、はい／いいえの相槌すらも把握できない場合には、さらに高い欠損レベルとして、相槌の欠損が判定される。なお欠損レベルの設定方法は限定されず、任意に設定されてよい。
【００５９】
音声解析部３１により判定された音声の欠損レベルは、取得されたユーザ５の音声とともに、通信用データ生成部３７に出力される。
【００６０】
映像取得部３２は、カメラ１４により撮影された映像（入力情報）を取得して映像解析部３３、及び補助情報生成部３４に出力する。なお映像に対する処理はフレーム画像ごとに実行されるので、以下、映像のことを単に画像と記載する場合がある。
【００６１】
映像解析部３３は、取得された画像を解析して、ユーザ５が映っているか否か、及び映っている場合の欠損レベル（画像欠損範囲）を判定する。
【００６２】
本実施形態では、予め通信端末１０を使用するユーザ５の画像が登録されている。例えば全身の画像が登録されている場合や、全身の画像に加えて上半身、下半身、及び顔等の各部位の画像が登録されていてもよい。映像解析部３３は、例えば機械学習等を用いた任意の画像解析技術を用いて、ユーザ５の撮影の有無、及びその欠損レベルを判定する。
【００６３】
図４は、画像の欠損レベルの一例を説明するための模式図であり、図４Ａの画像から図４Ｄの画像に向けて、欠損レベルが高くなっている。図４Ａに示すようにユーザ５の全身が映っている場合は、欠損はないと判定される。図４Ｂに示すように、上半身しか映っていない場合には、下半身の欠損が判定される。
【００６４】
図４Ｃに示すように、顔しか映っていない場合には、上半身（顔を除く）及び下半身の欠損が判定される。図４Ｄに示すように、顔の一部しか映っていない場合には、全身の欠損（顔の一部有り）が判定される。その他、顔だけが映っていない場合の顔の欠損や、下半身しか映っていない場合の上半身の欠損等、種々の欠損レベルが判定可能である。
【００６５】
欠損レベルの判定方法は限定されず、任意に設定されてよい。典型的には、ユーザ５を認識するための主要な部分である顔に近い部分の欠損が、高い欠損レベルであると判定される。例えば顔の欠損と下半身の欠損では、顔の欠損の方が欠損レベルが高くなる。その他、欠損している部位や欠損面積等に基づいて、任意のレベル判定が実行されてよい。
【００６６】
また図４に示す例では、ユーザ５の全身が映っている画像を基準として、欠損レベルが判定された。これに限定されず、上半身の画像を基準として、欠損レベルが判定されてもよい。この場合、上半身が映っている画像は、欠損なしと判定される。
【００６７】
取得された画像に映っているか否かのみならず、映っている部位の態様等に基づいて、欠損レベルが判定されてもよい。例えば映っている顔について表情が欠損しているか否かが判定される。あるいは映っている上半身について、ジェスチャー（動き）が欠損しているか否かが判定されてもよい。顔は映っているが表情に変化がないので表情の欠損と判定される。上半身は映っているが動きがほとんどないのでジェスチャーの欠損と判定される。このようなレベル判定も可能である。
【００６８】
映像解析部３３により判定された画像の欠損レベルは、取得されたユーザ５の画像とともに、通信用データ生成部３７に出力される。
【００６９】
補助情報生成部３４は、モーション取得部４０、表情認識部４１、口元認識部４２、及びジェスチャー認識部４３を有する。モーション取得部４０は、センサ部１５の検出結果に基づいて、ユーザ５の動きに関するモーション情報を取得する。本実施形態では、モーション取得部４０は取得部に含まれ、モーション情報は入力情報に含まれる。
【００７０】
表情認識部４１は、映像取得部３２から出力されたユーザ５の画像に基づいて、ユーザ５の表情を認識し、表情情報を生成する。表情情報に基づいて、例えば笑っている、怒っている、困っている等の、ユーザ５の感情を検出可能である。表情情報は、補助情報として、通信用データ生成部３７に出力される。なお機械学習等を用いた任意の表情認識技術が用いられてよい。
【００７１】
口元認識部４２は、映像取得部３２から出力されたユーザ５の画像に基づいて、ユーザの口の動きを検出し、ユーザ５が発している言葉を口パク情報として生成する。口パク情報は、補助情報として通信用データ生成部３７に出力される。なお機械学習等を利用した任意の検出技術が用いられてよい。
【００７２】
ジェスチャー認識部４３は、映像取得部３２から出力されたユーザ５の画像、及びモーション取得部４０から出力されたモーション情報に基づいて、ユーザ５のジェスチャーを認識する。例えばうなずきや首振りなどの頭部のジェスチャーや、手話等を含む手のジェスチャーを認識することが可能である。これらジェスチャー情報は、補助情報として、通信用データ生成部３７に出力される。なお機械学習等を利用した任意の認識技術が用いられてよい。
【００７３】
テキスト取得部３５は、キーボードやタッチパネル等の操作部１７を介して入力されたテキスト情報（文章情報）を取得する。取得されたテキスト情報は、通信用データ生成部３７に出力される。なおテキスト情報は、ユーザ５の入力情報として用いる場合に限られず、補助情報として用いることも可能である。
【００７４】
データ要求受付部３６は、受信側の通信端末１０Ｙからネットワーク１を介して送信された、通信用データＤへの要求情報を受信する。本実施形態では、要求情報には、通信用データＤに含まれる画像の表示に関する要求、及び音声の再生に関する要求が含まれる。
【００７５】
画像の表示に関する要求とは、ユーザ５の画像の表示レベルに関する要求であり、例えばユーザ５の表示の有無や、表示される範囲（部位）等が含まれる。例えば全身、上半身、下半身、顔、目、口元、少なくとも上半身は含む、少なくとも下半身は含む、少なくとも顔は含む、少なくとも目や口元を含む、といった様々な表示レベルで要求を行うことが可能である。もちろんユーザ５の画像は不要である旨の指示も、画像の表示に関する要求に含まれる。その他、ユーザ５の画像に関する任意の要求が含まれる。
【００７６】
音声の再生に関する要求とは、例えばユーザ５の音声の再生レベルに関する要求であり、例えば通常の会話の音声、すなわち発話文の内容も抑揚（スピード、ピッチ、ボリューム、イントネーション等）も欠損していない音声、少なくとも発話文の内容が把握できる音声、少なくとも相槌が把握できる音声等、様々な再生レベルでの要求を行うことができる。もちろん音声は不要である旨の指示も、音声の再生に関する要求に含まれる。その他、ユーザ５の音声に関する任意の要求が含まれる。
【００７７】
また要求情報には、通信用データＤに含まれる画像に関する信頼度、及び音声に関する信頼度が含まれる。信頼度については、後述する。データ要求受付部３６が受信した要求情報は、通信用データ生成部３７に出力される。
【００７８】
本実施形態では、データ要求受付部３６、及び後述するデータ要求部５０の少なくとも一方により、要求情報出力部が実現される。要求情報出力部は、更新された要求情報を通信用データ生成部３７に出力することが可能である。送信側のデータ要求受付部３６単体、又は受信側のデータ要求部５０単体が、要求情報出力部として機能してもよい。あるいは、送信側のデータ要求受付部３６、及び受信側のデータ要求部５０が協働して、要求情報出力部が実現されてもよい。なお要求情報の更新については、後述する。
【００７９】
なお本実施形態では、図示を省略した環境情報取得部により生成される、ユーザ５の場所（ロケーション）、時間、通信端末１０のスペック、ユーザ５及び通信端末１０の状態等を含む環境情報が、データ要求受付部３６を介して、送信側の通信端末１０Ｙに送信される。
【００８０】
通信用データ生成部３７は、各ブロックから受け取ったデータ等に基づいて、ユーザ５の通信用データＤを生成する。典型的には、受信側の通信端末１０Ｙから受け取った要求情報に含まれる、画像の表示に関する要求、及び音声の再生に関する要求を満たすように、通信用データＤが生成される。一方で、要求を満たすことができない場合等においては、その要求レベルに近い通信用データＤが生成される。本実施形態において、通信用データ生成部３７は、生成制御部として機能する。
【００８１】
図３に示すように、通信用データ生成部３７は、音声合成部４４、映像合成部４５、及び信頼度算出部４６を有する。
【００８２】
音声合成部４４は、音声解析部３１から出力されるユーザ５の音声及び音声の欠損レベルと、データ要求受付部３６から出力される音声の再生に関する要求とに基づいて、通信用データＤに含まれるユーザ５の音声を生成する。その際に必要な場合には、補助情報生成部３４等から出力された補助情報を用いて、ユーザ５の音声が補完される。
【００８３】
例えば取得されたユーザ５の音声の欠損レベルが低く、要求されている音声の再生レベルが満たされる場合には、取得されたユーザ５の音声がそのまま通信用データＤとして生成される。例えば発話文の内容は把握できるが抑揚が欠損している音声に対して、少なくとも発話文の内容が把握できる音声の要求が受付けられた場合等である。
【００８４】
一方、取得されたユーザ５の音声の欠損レベルが高く、要求されている音声の再生レベルが満たされない場合には、補助情報に基づいてユーザ５の音声が補完される。
【００８５】
図５は、補助情報から補完可能な範囲の一例を示す表である。例えば表情情報に基づいてユーザ５の感情が検出可能なので、音声の抑揚を補完することがある程度可能である。例えば怒っている時にはスピード、ピッチを上げ、イントネーションを強調する。悲しい時には、スピード、ピッチ、ボリュームを上げる等である。一方、検出された感情から発話文の内容を補完することが難しく、相槌に関しては場合によっては補完可能である。
【００８６】
口パク情報からは、相槌を含めた発話文の内容を十分に補完することが可能である。またスピード等を読み取ることも可能であり、抑揚を補完可能な場合もある。
【００８７】
ジェスチャー情報からは、相槌は十分に補完することが可能である。抑揚及び発話文の内容は、補完可能な場合がある。なお手話が行われる場合には、発話文の内容も十分に補完可能である。
【００８８】
テキスト情報からは、相槌を含めた発話文の内容をほぼ完全に補完することが可能である。抑揚に関しては、補完可能な場合がある程度であるが、キータッチの圧力等の情報を補助情報として利用することで、補完率を向上させることが可能である。
【００８９】
音声合成部４４は、各種の補助情報に基づいて、入力されたユーザ５の音声を補完する。典型的には、任意の音声合成技術を用いて、補完された音声データが合成される。これにより、例えば抑揚が付加された音声や、発話文の内容が表現された音声を、通信用データＤとして生成することが可能である。なお音声データの合成に限定されず、任意の補完方法が実行されてよい。
【００９０】
映像合成部４５は、映像解析部３３から出力されるユーザ５の画像及び画像の欠損レベルと、データ要求受付部３６から出力される画像の表示に関する要求とに基づいて、通信用データＤに含まれるユーザ５の画像を生成する。必要な場合には、補助情報生成部３４等から出力された補助情報を用いて、ユーザ５の画像が補完される。
【００９１】
例えば取得されたユーザ５の画像の欠損レベルが低く、要求されている画像の表示レベルが満たされる場合には、取得されたユーザ５の画像がそのまま通信用データＤとして生成される。例えば下半身が欠損している画像に対して、少なくとも顔を含む画像の表示が要求された場合等である。
【００９２】
取得されたユーザ５の画像の欠損レベルが高く、要求されている画像の表示レベルが満たされない場合には、補助情報に基づいてユーザ５の画像が補完される。例えば予め登録されているユーザ５の画像を合成することで欠損部分が埋められる。あるいは人体の３Ｄモデル（アバター）等が合成されてもよい。
【００９３】
体の全部または一部が欠損しており、その欠損部分が補完される場合には、モーション情報やジェスチャー情報等が適宜利用される。また例えば顔の全部または一部が欠損しており、顔の画像が補完される場合に、テキスト情報や音声データ（補完された音声データを含む）の結果が利用されて、表情、口の動き等が合成されてもよい。上半身が補完される場合には、ジェスチャーを合成することも可能である。これら表情やジェスチャーの合成は、表情やジェスチャーの欠損を埋める場合にも実行される。
【００９４】
信頼度算出部４６は、通信用データＤの信頼度（出力情報の信頼度）を解析して算出する。すなわち通信用データＤに含まれる画像及び音声の各々に関する信頼度が算出される。信頼度算出部４６は、本実施形態において、算出部に相当する。
【００９５】
本実施形態では、信頼度は、入力されたユーザ５の画像及び音声（以下、元データと記載する）からの乖離を表す指標（パラメータ）として生成される。例えば音声取得部３０で得られた元データがそのままスルーされ、通信用データＤとして用いられる場合には、信頼度は１００％となる。補助情報に基づいて補完が実行された場合には、１００％以下の信頼度となる。
【００９６】
例えば元データの欠損レベル、欠損している内容、各補助情報の認識精度、図５に示す補完の可能性（補完率）、生成された音声の前後の文章の整合性等に基づいて、信頼度が算出される。例えば音声の再生レベルとして、発話文の内容及び抑揚を含む音声が要求されたとする。元データの欠損レベルが、発話文の内容は把握できるが抑揚が欠損しているレベルなら、補完された音声の信頼度は比較的高く算出される。一方、相槌のみしか把握できない欠損レベルから音声の信頼度は低く算出される。
【００９７】
また図５を参照して、抑揚が補完される場合において、表情情報に基づいた補完は信頼度が比較的高く算出される。口パク情報、ジェスチャー情報、テキスト情報に基づいた補完は、信頼度が比較的低く算出される。
【００９８】
発話文の内容が補完される場合は、口パク情報及びテキスト情報に基づいた補完は、信頼度が非常に高くなる。表情情報に基づいた補完は、信頼度はほぼゼロである。ジェスチャー情報が用いられる場合は、手話の場合は非常に高い信頼度となり、その他の場合は低い信頼度となる。
【００９９】
相槌の補完の場合は、口パク情報、ジェスチャー情報及びテキスト情報が用いられる場合は、非常に高い信頼度となる。表情情報が用いられる場合は、低い信頼度となる。すなわち補完の可能性（補完率）と信頼度とはほぼ相関している。各補助情報に、補完の可能性に応じた重み付けを設定することで、複数の補助情報に基づいた補完に応じた信頼度を算出することが可能である。
【０１００】
画像についても、映像取得部３２で得られた元データがそのままスルーされ、通信用データＤとして用いられる場合には、信頼度は１００％となる。補助情報に基づいて補完が実行された場合には、１００％以下の信頼度となる。
【０１０１】
例えば元データの欠損レベル、欠損している部位や大きさ、各補助情報の認識精度等に基づいて信頼度が算出される。例えば図４を参照して、画像の表示レベルとして、全身の画像が要求されたとする（図４Ａ）。図４Ｂ〜Ｄの欠損レベルの画像から補完が実行された場合は、図Ｂから図Ｄに向かうほど、信頼度は低くなる。
【０１０２】
また顔の補完が行われる方が、その他の部位の補完が行われる場合よりも、信頼度が低くなる。顔が補完された方が、元のデータとの乖離が認識されやすいからである。例えば欠損している部位（補完対象となる部位）に重み付けを設定することで、複数の部位が補完される場合の信頼度を算出することが可能である。また生成される画像の明るさ（輝度）や色相等が信頼度の算出に用いられてもよい。
【０１０３】
通信用データＤの信頼度の算出方法は、上記したものに限定されず、任意に設定されてよい。元データの欠損レベル、要求情報に含まれる各々の要求レベル、音声及び画像の補完処理の具体的な方法等、任意のパラメータに基づいた算出方法が採用されてよい。
【０１０４】
データ圧縮部３８は、通信用データＤ及びその信頼度を含む送信データを圧縮する。データ送信部３９は、圧縮された送信データを、図２に示す通信部２０を介して受信側の通信端末１０Ｙへ送信する。データ圧縮部３８及びデータ送信部３９により、本実施形態に係る信頼度送信部が実現される。
【０１０５】
なお要求情報に含まれる各々の要求を満たす通信用データＤが生成できない場合や、信頼度が非常に低く算出された場合等に、その旨がユーザ５に報知されてもよい。そして画像の撮影や音声の入力を適正に行わせるための指示や、補助情報を入力させるための指示等が、ＧＵＩや音声を介して報知されてもよい。
【０１０６】
受信側の通信端末１０Ｙは、データ要求部５０、データ受信部５１、及びデータ解凍部５２を有する。データ受信部５１は、送信側の通信端末１０Ｘにより圧縮して送信された通信用データＤを受信する。データ解凍部５２は、圧縮されている通信用データＤを解凍する。任意のデータ伝送プロトコルや、任意の映像／音声デコーダが用いられてよい。
【０１０７】
データ要求部５０は、通信用データＤに関する要求情報を生成し、通信部２０を介して、送信側の通信端末１０Ｘに送信する。
【０１０８】
上記したように要求情報には、通信用データＤに含まれる画像に関する信頼度、及び音声に関する信頼度が含まれる。例えば画像の表示レベルの内容とその信頼度、及び音声の再生レベルの内容とその信頼度がともに要求情報として生成される。例えば上半身の画像を信頼度８０％で欲しい、抑揚を含む音声を８０％の信頼度で欲しい、という旨の要求を送信することが可能である。もちろん信頼度が含まれなくてもよい。
【０１０９】
要求情報は、典型的には、受信側のユーザ５により入力される指示に基づいて生成される。例えば表示部１６に画像の表示レベル、音声の再生レベルを入力するためのＧＵＩ等が適宜表示されてもよい。
【０１１０】
本実施形態では、送信側のデータ要求受付部３６から受信側のデータ要求部５０に、ユーザの場所（ロケーション）、時間、通信端末のスペック、ユーザ及び通信端末１０の状態等を含む環境情報が送信される。当該送信された環境情報が適宜参照されて、要求情報が生成されてもよい。
【０１１１】
図６は、環境情報と、生成可能な通信用データＤのレベルとの関連性について説明するための表である。例えば図６に示すように、送信側のユーザのロケーション、時間帯、通信端末１０が置かれる場所等に応じて、生成可能な通信用データＤのレベル（生成可能範囲）範囲を推定することが可能である。すなわちユーザ５の画像の表示可能なレベル、及びユーザ５の音声の再生可能なレベルを推定することが可能となる。なお図中には、生成可能なレベルを「可能提示範囲」として記載している。
【０１１２】
自宅のデスクに通信端末１０が置かれる場合には、時間帯には関係なく、顔、上半身の画像を取得して通信用データＤとして送信することは容易である。下半身については、通信端末１０の位置によっては取得が難しい場合がある。音声については、自由に言葉を発することが可能であるので、抑揚、発話文、及び相槌を全て適正に含む音声を取得可能であり、通信用データＤとして送信することが容易に可能である。
【０１１３】
会議中であり、会議室の壁やデスクに通信端末１０が置かれる場合には、時間に関係なく、上半身、顔の画像は十分にＯＫであり、下半身の画像は実質的に提供不可能である。音声については、抑揚、発話文、及び相槌の全てがＯＫである。
【０１１４】
電車に乗って通信端末１０を手に持っている場合には、上半身、顔の画像を撮影できる場合がある程度であり、下半身の画像については実質的に提供不可能である。音声については、声を発することが難しいので、抑揚、発話文、及び相槌の全てが不可となる。
【０１１５】
車に乗って、ボンネットやセンターコンソールに通信端末１０が設定される場合には、時間帯が日中であれば、顔画像はＯＫ、上半身画像は場合によってはＯＫ、下半身画像は不可である。音声ついには、自由に言葉を発することが可能であるので、抑揚、発話文、及び相槌の全てがＯＫである。時間帯が夜になると暗くなるので、画像は全て不可となる。
【０１１６】
飛行機にてデスク（テーブル）に通信端末１０が置かれる場合には、顔画像はＯＫ、上半身画像は場合によってはＯＫ、下半身画像は不可である。音声については、小声での発声が可能な程度でありまた他の乗客の音声やエンジン等の音も混ざるので、相槌程度ならＯＫであるが、抑揚及び発話文の内容については難しい場合がある。
【０１１７】
図書館のデスクに通信端末１０が置かれる場合には、顔及び上半身画像はＯＫであり、下半身画像は場合によってはＯＫである。音声については、小声での発声が可能であるのならば、相槌及び発話文がＯＫとなり、抑揚までは難しいと考えられる。
【０１１８】
コンサート等のライブ会場で通信端末１０を手に持っている場合には、顔画像はＯＫ、上半身画像は場合によってはＯＫ、下半身画像は不可である。音声については、大きな声で話すことにより、抑揚及び発話文がＯＫとなり、相槌程度の声はかき消されてしまう場合がある。
【０１１９】
レストランのテーブルに通信端末１０が置かれる場合には、顔画像及び上半身画像はＯＫであり、下半身画像は不可となる。また相槌及び発話文はＯＫとなり、抑揚は不可となる。水中ダイビング中に手元の通信端末１０が利用される場合には、画像は若干難しい程度であり、音声は全て不可となる。
【０１２０】
もちろん、環境情報に対する生成可能なレベルの実現範囲は、図６の表に示すものに限定されず、適宜設定されてよい。例えば通信端末１０のスペックや、各ロケーション内の座席位置等、さらに詳しい情報に基づいて、さらに細かく画像の表示可能なレベルや音声の再生可能なレベルの実現可能範囲が定められてもよい。またユーザにより、生成可能なレベルが適宜カスタマイズされてもよい。また「レベル」とは、１、２のような数値により段階的に定義される場合に限定されず、例えば十分／不十分のような抽象的な度合いにより定義される場合も含まれる。本開示において「レベル」の定義は任意でよく、このことは上記した欠損レベルについても同様である。
【０１２１】
いずれにせよ、送信側の環境情報を参照することで、生成可能なレベルを推定することが可能となり、要求情報を適正に生成（及び更新）することが可能である。例えば推定された生成可能なレベルの情報が、ＵＩ等を介してユーザ５に通知される。ユーザ５は、通信相手が生成可能な範囲の通信用データＤを要求する。もちろん生成可能ではないと推定されたレベルの通信用データＤを頑なに要求することも可能である。また推定された生成可能なレベルに基づいて、自動的に最適な要求情報が生成されてもよい。
【０１２２】
環境情報に基づいて、信頼度も合わせて推定されてもよい。例えば通信相手は現在フライト中なので、顔画像は９０％の信頼度で生成可能、上半身画像は５０％の信頼度で生成可能、下半身画像は１０％の信頼度で生成可能、といった情報が推定されてもよい。これにより適正な要求情報を精度よく生成することが可能となる。
【０１２３】
なお送信側の通信端末１０Ｘの図示しない推定部により、環境情報に基づいて、生成可能な通信用データＤのレベルやその信頼度が推定されてもよい。そしてその推定結果が、レベル送信部として機能する通信部２０により、受信側の通信端末１０Ｙに送信されてもよい。すなわち環境情報に基づいた推定処理は、受信側及び送信側のいずれで実行されてもよい。いずれにせよ、適正な要求情報が精度よく生成可能となる。
【０１２４】
［遠隔コミュニケーション方法］
図７は、本技術に係る遠隔コミュニケーションを実現するための、各通信端末１０Ｘ及び１０Ｙにおける処理フローの一例を示すフローチャートである。送信側の通信端末１０Ｘでは、ステップ１０１ａから１０１ｂの間のステップが、映像を構成する１フレームごとに繰り返し実行される。受信側の通信端末１０Ｙでは、ステップ２０１ａから２０１ｂの間のステップが、１フレームごとに繰り返し実行される。なお各々の通信端末１０Ｘ及び１０Ｙの相互の接続が切れるまで処理は繰り返される。
【０１２５】
本実施形態では、各ユーザ５が自身の通信端末１０を用いて、本遠隔コミュニケーション用のアプリケーションを起動する。例えば通信可能な他のユーザ５についての情報（アイコン等）がリスト表示され、その中から通信相手を選択することで、通信がスタートする。もちろん遠隔コミュニケーションスタートのプロセスは限定されず、任意の方法が採用されてよい。
【０１２６】
図８〜図１１は、遠隔コミュニケーションの具体例を示す模式図である。これらの図では、外回りの営業をしているユーザ５ｂと、その取引先のユーザ５ａとの遠隔コミュニケーションが例として図示されている。外回り中のユーザ５ｂを送信側とし、取引先のユーザ５ａを受信側として、図８〜図１１を適宜参照しながら、図７のフローチャートを説明する。
【０１２７】
まず送信側の通信端末１０ｂから受信側の通信端末１０ａへ環境情報が送信される（ステップ１０２）。図８に示す例では、初期状態の情報として、以下の環境情報が送信される。
場所…カフェ
時間…朝
通信端末のスペック…ノートＰＣ
ユーザの状態…座っている
通信端末の状態…デスクに載置
【０１２８】
環境情報を受信した通信端末１０ａにより、要求情報が生成される。すなわち画像の表示レベルとその信頼度、音声の再生レベルとその信頼度を含む、要求情報が生成される（ステップ２０２）。生成された要求情報は、送信側の通信端末１０ｂへ送信される（ステップ２０３）。図８に示す例では、最初の要求情報として、上半身（顔を含む）の画像（信頼度１００％）、及び抑揚ありの音声（信頼度１００％）の要求が生成されて送信される。
【０１２９】
送信側の通信端末１０ｂにて、ユーザ５ｂの画像及び音声、各種補助情報が取得される（ステップ１０３）。そして要求情報に応じた通信用データＤが生成され、また通信用データＤの信頼度が算出される（ステップ１０４、１０５）。生成された通信用データＤは信頼度付きで圧縮され、受信側の通信端末１０ａに送信される（ステップ１０６、１０７）。
【０１３０】
図８に示す例では、ユーザ５ｂの上半身の画像を十分に撮影可能であり、要求通りに上半身（顔を含む）の画像（信頼度１００％）の通信用データＤが生成可能であった。一方で、ユーザ５ｂはカフェにて、周りの雑音等に負けないぐらいの大きな声が出せなかった。従って通信端末１０ｂは、音声については、補助情報等に基づいて補完された抑揚ありの音声（信頼度７０％）を生成した。
【０１３１】
受信側の通信端末１０ａは、受信した圧縮データを解凍して、ユーザ５ｂに関する通信用データＤを再生する（ステップ２０４、２０５、２０６）。すなわち表示部１６にユーザ５ｂの上半身（顔を含む）の画像が表示され、スピーカから抑揚ありのユーザ５ｂの音声が出力された。なおこの際に、画像の信頼度１００％及び音声の信頼度７０％が、ＵＩ等を介してユーザ５ａに通知される。
【０１３２】
ステップ１０２に戻り、環境情報が送信される。なおユーザ５ｂの場所等に変化がない場合には、通信端末１０ｂにより同じ環境情報が生成される。この場合、環境情報の送信ステップが省略されてもよい。図８に示す例では、ユーザ５ｂは同じ環境下にいるとする。
【０１３３】
ステップ２０２にて、要求情報が更新される。例えば現在要求している要求情報の内容と、前フレームまで送られてきた通信用データＤの内容及びその信頼度とに基づいて、要求情報が更新される。当該更新は、例えばコミュニケーションを行っているユーザ５ａの指示等に基づいて実行される。もちろん自動的に更新が実行されてもよい。
【０１３４】
図８に示す例では、ユーザ５ａは、信頼度７０％の抑揚有りの音声について、特に違和感を感じなかった。従って音声について、抑揚ありの音声（信頼度１００％）から抑揚ありの音声（信頼度７０％）に要求情報が更新される。このように送信側の状態及び状況、及び受信側の判断に応じて、要求情報が逐次更新される。この結果、非常に高品質で良好な遠隔コミュニケーションが実現される。
【０１３５】
なお、更新された要求情報が送信され、通信用データＤが送信されるまでのステップ２０１、１０３〜１０７、２０４〜２０６は、前回と同様である。以下、同じ処理内容で繰り返されるステップについては、説明を省略する場合がある。
【０１３６】
次に送信側のユーザ５ｂが、通信端末１０ｂをスマートフォンに切替えて、カフェから移動したとする。通信端末１０ｂを切替える方法は限定されず、任意の方法が用いられてよい。
【０１３７】
カフェから移動したユーザ５ｂが持つ通信端末１０ｂにより、環境情報が生成され、受信側の通信端末１０ａへ送信される（ステップ１０２）。図９に示す例では、更新された状態及び状況の情報として、以下の環境情報が送信される。
場所…屋外（特定の場所は検出されない）
時間…昼
通信端末のスペック…スマートフォン
ユーザの状態…立っている
通信端末の状態…手に持っている
【０１３８】
更新された環境情報を受信した通信端末１０ａにより、要求情報が更新される（ステップ２０２）。図９に示す例では、顔画像（信頼度５０％）、及び抑揚ありの音声（信頼度１００％）の要求を含む要求情報が生成される。
【０１３９】
送信側の通信端末１０ｂにて、ユーザ５ｂの画像及び音声、各種補助情報が取得される（ステップ１０３）。そして要求情報に応じた通信用データＤが生成され、また通信用データＤの信頼度が算出される（ステップ１０４、１０５）。
【０１４０】
図９に示す例では、歩きながらのスマートフォンの使用は危険であり常に顔を撮影するのは難しいので、補助情報等に基づいて補完された顔画像が生成され、その信頼度は１０％であった。一方、音声は歩きながらでも十分に入力可能であるので、要求通りに抑揚ありの音声（信頼度１００％）の通信用データＤが生成可能であった。
【０１４１】
生成された通信用データＤを受信した受信側の通信端末１０ａにより、要求情報が更新される（ステップ２０２）。図９に示す例では、信頼度１０％の顔画像は不要であると判断され、画像については不要の旨の要求に更新される。
【０１４２】
なお補完の結果、信頼度が所定の閾値よりも低くなる場合には、通信用データＤとして送信できない旨の設定等が可能であってもよい。あるいは信頼度が閾値以下の通信用データＤは不要の指示が要求情報に含まれてもよい。
【０１４３】
次に送信側のユーザ５ｂが電車に乗ったとする。電車に乗ったユーザ５ｂが持つ通信端末１０ｂにより、環境情報が生成され、受信側の通信端末１０ａへ送信される（ステップ１０２）。図１０に示す例では、更新された状態及び状況の情報として、以下の環境情報が送信される。
場所…電車
時間…昼
通信端末のスペック…スマートフォン
ユーザの状態…座っている
通信端末の状態…手に持っている
【０１４４】
更新された環境情報を受信した通信端末１０ａにより、要求情報が更新される（ステップ２０２）。図１０に示す例では、顔画像（信頼度８０％）、及び相槌（信頼度１００％）の要求を含む要求情報が生成される。
【０１４５】
送信側の通信端末１０ｂにて、ユーザ５ｂの画像及び音声、各種補助情報が取得される（ステップ１０３）。そして要求情報に応じた通信用データＤが生成され、また通信用データＤの信頼度が算出される（ステップ１０４、１０５）。
【０１４６】
図１０に示す例では、電車の中でも自分の顔を撮影可能であったので、要求通りに顔画像（信頼度１００％）の通信用データＤが生成可能であった。音声については、小声であれば発声可能であったので、相槌は入力可能と判定された。
【０１４７】
それに加え、電車内であれば、さらに高い音声の再生レベルが可能であると判定された。すなわち口パク情報に基づいて発話文も生成可能であると判定され、口パク情報に基づいた発話文（頼度は７０％）が生成された。
【０１４８】
このように画像の表示レベル及び音声の再生レベルの各々の要求に対して、さらに高いレベルの通信用データＤが生成可能であるか否かが判定されてもよい。その判定が肯定となる場合には、要求レベルよりも高いレベルの通信用データＤが生成されてもよい。なおその際に、信頼度が閾値よりも高いか否かが判定されてもよい。信頼度が閾値よりも低い場合には、高いレベルの通信用データＤは生成されず、要求通りの通信用データＤが生成される。
【０１４９】
生成された通信用データＤを受信した受信側の通信端末１０ａにより、要求情報が更新される（ステップ２０２）。図１０に示す例では、信頼度７０％の発話文でも十分であると判断され、音声についての要求が発話文（信頼度７０％）に更新される。
【０１５０】
次に送信側のユーザ５ｂが自分のオフィスに戻り、通信端末１０ｂをデスクに載置されたノートＰＣに切替えたとする。当該通信端末１０ｂ（ノートＰＣ）により、環境情報が生成され、受信側の通信端末１０ａへ送信される（ステップ１０２）。ｔに示す例では、更新された状態及び状況の情報として、以下の環境情報が送信される。
場所…オフィス
時間…夕方
通信端末のペック…ノートＰＣ
ユーザの状態…座っている
通信端末の状態…デスクに載置
【０１５１】
更新された環境情報を受信した通信端末１０ａにより、要求情報が更新される（ステップ２０２）。図１１に示す例では、上半身（顔を含む）（ジェスチャー有り）の画像（信頼度１００％）、及び抑揚ありの音声（信頼度１００％）の要求が生成されて送信される。
【０１５２】
送信側の通信端末１０ｂにて、ユーザ５ｂの画像及び音声、各種補助情報が取得される（ステップ１０３）。そして要求情報に応じた通信用データＤが生成され、また通信用データＤの信頼度が算出される（ステップ１０４、１０５）。
【０１５３】
図１１に示す例では、大きなジェスチャーを交えた大声での発話が難しく、補助情報等に基づいて補完された上半身（顔を含む）（ジェスチャー有り）の画像（信頼度８０％）、及び抑揚ありの音声（信頼度７０％）の通信用データＤが生成された。
【０１５４】
生成された通信用データＤを受信した受信側の通信端末１０ａにより、要求情報が更新される（ステップ２０２）。図１１に示す例では、信頼度１００％を重視して、上半身ではなく顔画像（信頼度１００％）、及び抑揚のない発話文（信頼度１００％）の要求に更新される。
【０１５５】
以上、本実施形態に係るコミュニケーションシステムでは、入力情報である画像及び音声と、通信用データＤに関する要求情報とに基づいて、通信用データＤの生成が制御される。これにより、例えば通信相手からの要求等に応じた通信用データＤを相互に生成することが可能となり、良好なコミュニケーションが可能となる。
【０１５６】
すなわちデータ要求部５０及びデータ要求受付部３６の間で、互いの通信用データＤに関して交渉（ネゴシエーション）を行うことが可能となる。これによりユーザ５が位置する環境や通信端末１０のスペック等に応じて、フレーム単位で通信用データＤの生成レベル等を調整することが可能となる。また通信用データＤに関する要求に対して、ユーザ５の画像や音声が欠損している場合には、補助情報等を用いて適宜補完が実行され、その信頼度が算出される。これにより非常に高品質で円滑な遠隔コミュニケーションが実現される。
【０１５７】
例えば通信用データＤの送信側のユーザ５に、信頼度の向上を促すことや、信頼度が低い通信用データＤによるコミュニケーションを打ち切ること等も可能となる。また環境や通信状態等が悪い状態において、交渉により互いの要求レベルを納得のいく形で落とし込むことも可能であり、ストレスの低い遠隔コミュニケーションを実現することも可能である。
【０１５８】
＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【０１５９】
上記では、環境情報、あるいは環境情報に基づいて推定された生成可能なレベルの情報が、通信相手の通信端末に送信された。これに限定されず、通信相手から送信された要求情報と、自身で推定した生成可能なレベルとを比較して、その比較結果を通信相手に送信してもよい。例えば要求通りの通信用データを生成することは難しい、または生成した場合の信頼度はこの程度になるといった内容の通知情報が送信される。あるいは要求情報の再考を促す旨の通知情報が送信されてもよい。このような交渉も可能であり、非常に有効である。
【０１６０】
送信側の通信端末により、環境情報等に基づいて、通信用データの生成レベルの基準状態が設定されてもよい。すなわちどのような通信用データを生成するのかを、送信側で設定可能であってもよい。この場合、基準状態の情報が、本技術に係る要求情報に含まれる。
【０１６１】
送信側及び受信側において、通信用データの生成レベルが固定されていてもよい。例えば常に同じ環境にて互いが本コミュニケーションシステムを利用する場合等においては、生成可能な通信用データはほぼ変わらない。従って互いが望む通信用データの生成レベルを固定することで、処理負担の軽減や処理速度の向上を図ることが可能となる。なお生成レベルを固定することは、要求レベルを固定することに相当し、要求情報に基づいて通信用データを生成することに変わりはない。
【０１６２】
上記では、受信側の通信端末を第１の通信端末、送信側の通信端末を第２の通信端末とした、１対１のコミュニケーション形態を例に挙げた。コミュニケーションの形態は限定されない。例えば１対Ｎ（例えば遠隔の講義等を想定）、Ｎ対Ｎ（例えば会議等を想定）の場合でも、本技術は適用可能である。複数の通信相手に要求情報を送信することが可能であり、また複数の通信相手の各々に対して、要求に応じた通信用データを生成することが可能である。もちろん最も要求レベルが高い要求情報に応じて通信用データを生成し、全ての通信相手に送信するといったことも可能である。
【０１６３】
複数のユーザとコミュニケーションを開始する場合は、例えばチャートルーム、バーチャル会議室といった特定の場所にユーザが参加し、２人以上のユーザが集まったところでコミュニケーションがスタートする。もちろん他の開始方法が採用されてもよい。
【０１６４】
上記では、ユーザの画像及び音声を含む入力情報に基づいて出力情報が生成された。これに限定されず、画像のみを用いた遠隔コミュニケーションや、音声のみを用いた遠隔コミュニケーションが実行される場合には、本技術は適用可能である。
【０１６５】
上記では、入力情報として、カメラにより撮影された第１のユーザの画像と、マイクにより集音された第１のユーザの音声を例に挙げた。これに限定されず、他のシステムに等により生成された第１のユーザの画像や音声が、入力情報として用いられてもよい。例えば身体障害者が使用する支援システム等により、利用者の目線や動き等により音声が合成され出力される場合等において、その出力された音声を、本技術に係る第１のユーザの音声として、本コミュニケーションシステムを利用することも可能である。この場合、支援システムにて生成された音声を基準として再生レベルや欠損レベルが設定されてもよい。あるいは通常の会話を基準として、例えば支援システムにより出力される音声は抑揚が欠損しているとして、本システムが利用されてもよい。これにより、本遠隔コミュニケーションシステムを、支援システムとして機能させることも可能となる。画像についても加工されたユーザの画像等を、本技術にかかる第１のユーザの画像として用いることが可能である。
【０１６６】
出力情報への要求として、他の種々の要求が含まれても良い。例えば音声の有無、映像の解像度、ビットレート、フレームレート、音声のビットレートといった情報に関する要求が送信されてもよい。
【０１６７】
入力情報の欠損を補完する処理が、受信側の通信端末や、ネットワーク上に構築された他のサーバ装置等により実行可能であってもよい。そして互いの装置間の通信帯域や通信速度に基づいて、補完処理を実行する装置が動的に切替え可能であってもよい。これにより円滑な遠隔コミュニケーションが実現する。
【０１６８】
上記ではユーザにより操作されるＰＣ等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザが操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザが操作するコンピュータと、他のコンピュータとが連動して、本技術に係るコミュニケーションシステムが構築されてもよい。
【０１６９】
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
【０１７０】
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば入力情報の取得、要求情報等に基づいた出力情報の生成の制御、出力情報の信頼度の算出、要求情報の生成、及び生成可能な出力情報のレベルの推定等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
【０１７１】
すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
【０１７２】
以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
【０１７３】
なお、本技術は以下のような構成も採ることができる。
（１）第１のユーザの画像及び音声の少なくとも一方を含む入力情報を取得する取得部と、
画像及び音声の少なくとも一方を含む出力情報への要求を含む要求情報と、前記取得された入力情報とに基づいて、前記第１のユーザの通信相手である第２のユーザの端末で出力される前記第１のユーザに関する出力情報の生成を制御する生成制御部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記要求情報は、画像の表示に関する前記第２のユーザからの要求、及び音声の再生に関する前記第２のユーザからの要求の少なくとも一方を含む
情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
前記生成制御部は、前記入力情報に含まれる前記第１のユーザの画像を補完して前記出力情報を生成する
情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記生成制御部は、前記入力情報に含まれる前記第１のユーザの音声を補完して前記出力情報を生成する
情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、さらに、
前記出力情報の信頼度を算出する算出部と、
前記算出された信頼度を前記第２のユーザの端末に送信する信頼度送信部と
を具備する情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記出力情報の信頼度は、前記画像に関する信頼度、及び前記音声に関する信頼度の少なくとも一方を含む
情報処理装置。
（７）（５）又は（６）に記載の情報処理装置であって、
前記要求情報は、前記出力情報の信頼度に関する要求を含む
情報処理装置。
（８）（１）から（７）のうちいずれか１つに記載の情報処理装置であって、さらに、
前記第１のユーザの状態情報、及び前記第１のユーザの状況情報の少なくとも一方に基づいて、生成可能な前記出力情報のレベルを推定する推定部を具備する
情報処理装置。
（９）（８）に記載の情報処理装置であって、
前記出力情報のレベルは、前記第１のユーザの画像の表示可能なレベル、及び前記第１のユーザの音声の再生可能なレベルの少なくとも一方を含む
情報処理装置。
（１０）（８）又は（９）に記載の情報処理装置であって、さらに、
前記推定された前記出力情報のレベルを前記第２のユーザの端末に送信するレベル送信部を具備する
情報処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、さらに、
前記生成された出力情報を受信した前記第２のユーザの端末から送信される更新された前記要求情報を、前記生成制御部に出力する要求情報出力部を具備する
情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
請求項１１に記載の情報処理装置であって、
前記要求情報出力部は、前記出力情報の内容及び前記出力情報の信頼度に基づく前記更新された要求情報を、前記生成制御部に出力する
情報処理装置。
（１３）（１１）又は（１２）に記載の情報処理装置であって、
請求項１１に記載の情報処理装置であって、
前記要求情報出力部は、生成可能な前記出力情報のレベルに基づく前記更新された要求情報を、前記生成制御部に出力する
情報処理装置。
（１４）（１）から（１３）のうちいずれか１つに記載の情報処理装置であって、
前記取得部及び前記生成制御部の少なくとも一方は、前記第１のユーザの端末及び前記第２のユーザの端末の各々と通信可能なサーバ装置に設けられる
情報処理装置。
（１５）第１の通信端末と第２の通信端末とを具備する情報処理システムであって、
前記第１の通信端末は、画像及び音声の少なくとも一方を含む出力情報への要求を含む要求情報を、前記第２の通信端末に送信し、
前記第２の通信端末は、ユーザの画像及び音声の少なくとも一方を含む入力情報を取得し、前記第１の通信端末から送信された前記要求情報と、前記取得された入力情報とに基づいて、前記ユーザに関する前記出力情報の生成を制御する
情報処理システム。
【符号の説明】
【０１７４】
１…ネットワーク
５、５ａ、５ｂ…ユーザ（通信者）
１０、１０ａ、１０ｂ…通信端末
１０Ｘ…送信側の通信端末
１０Ｙ…受信側の通信端末
１１…コントローラ
１３…マイク
１４…カメラ
２０…通信部
３０…音声取得部
３１…音声解析部
３２…映像取得部
３３…映像解析部
３６…データ要求受付部
３７…通信用データ生成部
４６…信頼度算出部
５０…データ要求部
１００…コミュニケーションシステム
【図１】
2018109924.tif 000003
【図２】
2018109924.tif 000004
【図３】
2018109924.tif 000005
【図４】
2018109924.tif 000006
【図５】
2018109924.tif 000007
【図６】
2018109924.tif 000008
【図７】
2018109924.tif 000009
【図８】
2018109924.tif 000010
【図９】
2018109924.tif 000011
【図１０】
2018109924.tif 000012
【図１１】
2018109924.tif 000013