(57)【要約】  本開示は、より良好なユーザ体験を提供することができるようにする情報処理装置および情報処理方法に関する。少なくとも二人のユーザにより、ネットワークを介して送受信される互いの画像を見ながらコミュニケーションが行われる際に、いずれかのユーザをセンシングした結果として得られる検出結果を取得する検出結果取得部と、その検出結果に基づいて、どちらか一方のユーザ側で提示される提示内容を、他方のユーザ側と異なるものとする情報処理を行う情報処理部と、その情報処理に従って、提示内容となる画像を表示させる表示制御を行う表示制御部とを備える。本技術は、例えば、遠隔コミュニケーションシステムに適用できる。
2020162154.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも二人のユーザにより、ネットワークを介して送受信される互いの画像を見ながらコミュニケーションが行われる際に、いずれかの前記ユーザをセンシングした結果として得られる検出結果に基づいて、どちらか一方の前記ユーザ側で提示される提示内容を、他方の前記ユーザ側と異なるものとする情報処理を行う情報処理部
を備える情報処理装置。
【請求項２】
前記検出結果を取得する検出結果取得部と、
前記情報処理部による情報処理に従って、前記提示内容となる画像を表示させる表示制御を行う表示制御部と
をさらに備える請求項１に記載の情報処理装置。
【請求項３】
前記検出結果取得部は、一方の前記ユーザの手の動きを前記検出結果として取得し、
前記情報処理部は、前記検出結果に基づいて、一方の前記ユーザが所定の指示個所を指示する指差しジェスチャを行ったと認識した場合、前記指示個所を取得し、
前記表示制御部は、前記指示個所を指し示す指差し画像を、他方の前記ユーザ側で表示させる表示制御を行う
請求項２に記載の情報処理装置。
【請求項４】
一方の前記ユーザ側には、他方の前記ユーザ側と前記画像の表示を共有する共有エリアが設定されており、
前記情報処理部は、前記指示個所が前記共有エリア内である場合に、前記表示制御部に前記指差し画像の表示制御を行わせる
請求項３に記載の情報処理装置。
【請求項５】
一方の前記ユーザ側には、他方の前記ユーザ側と共有する書類画像を内側に囲うように前記共有エリアが設定されており、
前記情報処理部は、前記検出結果に基づいて、一方の前記ユーザが前記書類画像の所定の項目をタップするタップジェスチャを行ったと認識した場合、前記項目に関連する関連情報を取得し、
前記表示制御部は、前記関連情報を表す関連情報画像を、他方の前記ユーザ側で表示させる表示制御を行い、
前記情報処理部は、前記書類画像および前記関連情報画像を囲うように前記共有エリアを更新する
請求項４に記載の情報処理装置。
【請求項６】
一方の前記ユーザ側には、他方の前記ユーザ側と共有する少なくとも１以上の共有オブジェクトを内側に囲うように前記共有エリアが設定されており、
前記情報処理部は、前記検出結果に基づいて、一方の前記ユーザが前記共有オブジェクトの個数を変化させたことを認識した場合、１または複数の前記共有オブジェクトを囲うように前記共有エリアを更新する
請求項４に記載の情報処理装置。
【請求項７】
前記表示制御部は、第１の前記書類画像と第２の前記書類画像との間に、他方の前記ユーザ側と非共有とするプライベートエリアが設定されていて、一方の前記ユーザが前記指差しジェスチャのまま第１の前記書類画像から第２の前記書類画像へ指先を移動させることが認識された場合、前記指先が前記プライベートエリアにある間、前記指差し画像を非表示とする表示制御を行う
請求項５に記載の情報処理装置。
【請求項８】
前記表示制御部は、第１の前記書類画像と第２の前記書類画像との間に、他方の前記ユーザ側と非共有とするプライベートエリアが設定されていて、一方の前記ユーザが前記指差しジェスチャのまま第１の前記書類画像から第２の前記書類画像へ指先を移動させることが認識された場合、前記指先が前記プライベートエリアにある間、第１の前記書類画像において最後に認識された前記指示個所で前記指差し画像の表示の更新を停止する表示制御を行う
請求項５に記載の情報処理装置。
【請求項９】
前記表示制御部は、
一方の前記ユーザ側において、前記書類画像を、一方の前記ユーザから見て奥側を下方向として表示させる表示制御を行い、
他方の前記ユーザ側において、前記書類画像を、他方の前記ユーザから見て手前側を下方向として表示させるとともに、前記指差し画像の手元が、他方の前記ユーザから見て奥側となるように表示させる表示制御を行う
請求項５に記載の情報処理装置。
【請求項１０】
前記表示制御部は、
一方の前記ユーザ側において、前記書類画像を、一方の前記ユーザから見て手前側を下方向として表示させる表示制御を行い、
他方の前記ユーザ側において、前記書類画像を、他方の前記ユーザから見て手前側を下方向として表示させるとともに、前記指差し画像の手元が、他方の前記ユーザから見て奥側となるように表示させる表示制御を行う
請求項５に記載の情報処理装置。
【請求項１１】
前記表示制御部は、
一方の前記ユーザ側において、前記書類画像を、一方の前記ユーザから見て手前側を下方向として表示させる表示制御を行い、
他方の前記ユーザ側において、前記書類画像を、他方の前記ユーザから見て手前側を下方向として表示させるとともに、前記指差し画像の手元が、他方の前記ユーザから見て手前側となるように表示させる表示制御を行う
請求項５に記載の情報処理装置。
【請求項１２】
前記検出結果取得部は、他方の前記ユーザ側で前記画像を表示する表示領域に置かれているオブジェクトを、前記検出結果として取得し、
前記表示制御部は、前記オブジェクトが置かれている領域以外の空きスペースに収まるように、前記画像を表示する
請求項３に記載の情報処理装置。
【請求項１３】
前記表示制御部は、前記空きスペースに前記画像を表示したとき、他方の前記ユーザ側に表示される一方の前記ユーザの画像における体軸位置を基準として、右手の前記指差し画像と左手の前記指差し画像との表示を切り替える表示制御を行う
請求項１２に記載の情報処理装置。
【請求項１４】
前記表示制御部は、
右手の前記指差し画像を表示しているときに一方の前記ユーザの画像に右手が写されている場合には、前記ユーザの画像における右手を非表示とし、
左手の前記指差し画像を表示しているときに一方の前記ユーザの画像に左手が写されている場合には、前記ユーザの画像における左手を非表示とする
請求項１３に記載の情報処理装置。
【請求項１５】
前記検出結果取得部は、他方の前記ユーザの生体情報を前記検出結果として取得し、
前記情報処理部は、前記生体情報に基づいて、他方の前記ユーザ側に表示される一方の前記ユーザの画像における、一方の前記ユーザの表示位置または表示サイズを調整する
請求項２に記載の情報処理装置。
【請求項１６】
前記情報処理部は、一方の前記ユーザと他方の前記ユーザとの関係性を認識し、前記関係性に基づいて、一方の前記ユーザの表示位置または表示サイズを調整する
請求項１５に記載の情報処理装置。
【請求項１７】
少なくとも二人のユーザにより、ネットワークを介して送受信される互いの画像を見ながらコミュニケーションが行われる際に、いずれかの前記ユーザをセンシングした結果として得られる検出結果に基づいて、どちらか一方の前記ユーザ側で提示される提示内容を、他方の前記ユーザ側と異なるものとする情報処理を行うこと
を含む情報処理方法。
【請求項１８】
少なくとも二人のユーザにより、ネットワークを介して送受信される互いの画像を見ながらコミュニケーションが行われるのに用いられる端末と通信を行い、いずれかの前記ユーザをセンシングした結果として得られる検出結果に基づいて、どちらか一方の前記ユーザ側で提示される提示内容を、他方の前記ユーザ側と異なるものとする情報処理を行う情報処理部
を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法に関し、特に、より良好なユーザ体験を提供することができるようにした情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
従来、遠隔地に居るユーザどうしが、お互いに顔を合わせているかのようにコミュニケーションを図ることができる遠隔コミュニケーションシステムの開発が進められている。【０００３】
このような遠隔コミュニケーションシステムでは、双方の役割や、扱うデータの内容、システムの差異などにより、提示する情報や操作において非対称な部分が生じることが想定される。そこで、例えば、非対称となる表示制御として、撮影画像内の人物や物体などを背景から分離して、人物や物体などの位置または大きさを再構築して、一方のユーザ側に提示するような処理を行うことが考えられる。【０００４】
例えば、特許文献１には、フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーとを分離して動作推移画像を合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−３０２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、遠隔コミュニケーションシステムにおいて、上述したような非対称な部分を考慮して、より良好なユーザ体験を提供することが求められている。【０００７】
本開示は、このような状況に鑑みてなされたものであり、より良好なユーザ体験を提供することができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の第１の情報処理装置は、少なくとも二人のユーザにより、ネットワークを介して送受信される互いの画像を見ながらコミュニケーションが行われる際に、いずれかの前記ユーザをセンシングした結果として得られる検出結果に基づいて、どちらか一方の前記ユーザ側で提示される提示内容を、他方の前記ユーザ側と異なるものとする情報処理を行う情報処理部を備える。【０００９】
本開示の一側面の情報処理方法は、少なくとも二人のユーザにより、ネットワークを介して送受信される互いの画像を見ながらコミュニケーションが行われる際に、いずれかの前記ユーザをセンシングした結果として得られる検出結果に基づいて、どちらか一方の前記ユーザ側で提示される提示内容を、他方の前記ユーザ側と異なるものとする情報処理を行うことを含む。【００１０】
本開示の一側面の第２の情報処理装置は、少なくとも二人のユーザにより、ネットワークを介して送受信される互いの画像を見ながらコミュニケーションが行われるのに用いられる端末と通信を行い、いずれかの前記ユーザをセンシングした結果として得られる検出結果に基づいて、どちらか一方の前記ユーザ側で提示される提示内容を、他方の前記ユーザ側と異なるものとする情報処理を行う情報処理部を備える。【００１１】
本開示の一側面においては、少なくとも二人のユーザにより、ネットワークを介して送受信される互いの画像を見ながらコミュニケーションが行われるのに用いられる端末と通信を行い、いずれかの前記ユーザをセンシングした結果として得られる検出結果に基づいて、どちらか一方の前記ユーザ側で提示される提示内容を、他方の前記ユーザ側と異なるものとする情報処理が行われる。
【図面の簡単な説明】
【００１２】
【図１】本技術を適用した遠隔コミュニケーションシステムの第１の実施の形態の構成例を示すブロック図である。
【図２】コミュニケーション処理部の構成例を示すブロック図である。
【図３】第１のコミュニケーション処理について説明する図である。
【図４】第１のコミュニケーション処理について説明する図である。
【図５】第１のコミュニケーション処理を説明するフローチャートである。
【図６】第２のコミュニケーション処理について説明する図である。
【図７】第２のコミュニケーション処理を説明するフローチャートである。
【図８】共有エリア座標の例を示す図である。
【図９】第３のコミュニケーション処理について説明する図である。
【図１０】第３のコミュニケーション処理を説明するフローチャートである。
【図１１】第４のコミュニケーション処理について説明する図である。
【図１２】第４のコミュニケーション処理を説明するフローチャートである。
【図１３】第５のコミュニケーション処理について説明する図である。
【図１４】第５のコミュニケーション処理における第１の表示制御について説明する図である。
【図１５】第５のコミュニケーション処理における第２の表示制御について説明する図である。
【図１６】第１の表示制御が行われる第５のコミュニケーション処理を説明するフローチャートである。
【図１７】第２の表示制御が行われる第５のコミュニケーション処理を説明するフローチャートである。
【図１８】第６のコミュニケーション処理の第１の表示ケースについて説明する図である。
【図１９】第６のコミュニケーション処理の第２の表示ケースについて説明する図である。
【図２０】第６のコミュニケーション処理の第３の表示ケースについて説明する図である。
【図２１】初期情報について説明する図である。
【図２２】第６のコミュニケーション処理を説明するフローチャートである。
【図２３】第１の指差し表示処理を説明するフローチャートである。
【図２４】第１の指差し表示処理における書類画像および指差し画像の表示方向を説明する図である。
【図２５】第２の指差し表示処理を説明するフローチャートである。
【図２６】第２の指差し表示処理における書類画像および指差し画像の表示方向を説明する図である。
【図２７】第３の指差し表示処理を説明するフローチャートである。
【図２８】第３の指差し表示処理における書類画像および指差し画像の表示方向を説明する図である。
【図２９】第７のコミュニケーション処理について説明する図である。
【図３０】第７のコミュニケーション処理を説明するフローチャートである。
【図３１】第８のコミュニケーション処理について説明する図である。
【図３２】第８のコミュニケーション処理を説明するフローチャートである。
【図３３】遠隔コミュニケーションシステムの第２の実施の形態の構成例を示すブロック図である。
【図３４】図３３の遠隔コミュニケーションシステムで行われるコミュニケーション処理の一例を説明する図である。
【図３５】表示位置調整処理について説明する図である。
【図３６】第９のコミュニケーション処理の第１の処理例を説明するフローチャートである。
【図３７】第９のコミュニケーション処理の第２の処理例を説明するフローチャートである。
【図３８】第１０のコミュニケーション処理を説明するフローチャートである。
【図３９】遠隔コミュニケーションシステムの第３の実施の形態の構成例を示すブロック図である。
【図４０】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１４】
＜遠隔コミュニケーションシステムの第１の構成例＞
図１は、本技術を適用した遠隔コミュニケーションシステムの第１の実施の形態の構成例を示すブロック図である。
【００１５】
図１に示すように、遠隔コミュニケーションシステム１１は、インターネットなどのネットワーク１２を介して、遠隔地にあるコミュニケーション端末１３Ａおよび１３Ｂが接続されて構成される。
【００１６】
例えば、遠隔コミュニケーションシステム１１では、コミュニケーション端末１３Ａおよび１３Ｂがネットワーク１２を通して遠隔通信することで、画像および音声をリアルタイムに相互に送受信することができる。これにより、コミュニケーション端末１３Ａ側に居るユーザＡと、コミュニケーション端末１３Ｂ側に居るユーザＢとは、互いに対面しているかのように会話をすることができ、よりリアルなコミュニケーションを図ることができる。
【００１７】
なお、コミュニケーション端末１３Ａおよび１３Ｂは、同様に構成されており、それらを区別する必要がない場合、単にコミュニケーション端末１３と称し、コミュニケーション端末１３Ａおよび１３Ｂを構成する各部についても同様に称する。また、以下では、コミュニケーション端末１３で行われるコミュニケーション処理のうち、画像に関する処理についてのみ説明を行い、音声に関する処理についての説明は省略する。
【００１８】
コミュニケーション端末１３は、カメラ２１、プロジェクタユニット２２、ディスプレイ部２３、デスク型スクリーン２４、およびコミュニケーション処理部２５を備えて構成される。
【００１９】
カメラ２１は、ディスプレイ部２３の正面に向かって撮像を行い、例えば、ディスプレイ部２３に対して向き合っているユーザを撮像して得られる画像信号をコミュニケーション処理部２５に供給する。
【００２０】
プロジェクタユニット２２は、図示するように、プロジェクタ本体３１、ステレオカメラ３２、およびＲＧＢカメラ３３を内蔵している。もちろん、プロジェクタ本体３１、ステレオカメラ３２、およびＲＧＢカメラ３３が、個別のユニットとして構成されていてもよい。
【００２１】
プロジェクタ本体３１は、コミュニケーション処理部２５から供給される表示制御信号に従って、例えば、書類画像４１や指差し画像４２などの各種の画像をデスク型スクリーン２４に投影し、それらの画像を表示する。ステレオカメラ３２は、２つの撮像装置の視差を利用して、デスク型スクリーン２４上におけるユーザの手などの物体の奥行方向を示すデプス信号を取得して、コミュニケーション処理部２５に供給する。ＲＧＢカメラ３３は、デスク型スクリーン２４に向かって撮像を行い、例えば、デスク型スクリーン２４上におけるユーザの手などの物体を撮像して得られる画像信号をコミュニケーション処理部２５に供給する。
【００２２】
ディスプレイ部２３は、液晶パネルや有機EL（Electro Luminescence）パネルなどの表示デバイスを有して構成され、コミュニケーション処理部２５から供給される表示制御信号に基づいて、例えば、相手側のユーザが写されている画像などを表示する。
【００２３】
デスク型スクリーン２４は、物体を置いたり作業を行ったりするためのデスクに、プロジェクタユニット２２から投影される画像を鮮明に映し出すためのスクリーンとしての機能を備えている。
【００２４】
コミュニケーション処理部２５は、ネットワーク１２を介して、互いのユーザどうしが良好なコミュニケーションを図ることができるようにするためのコミュニケーション処理を行う。例えば、コミュニケーション処理部２５は、ユーザＡが書類画像４１Ａの所定の指示個所を指し示すような指差しジェスチャを行うと、書類画像４１Ｂの対応している指示個所を指し示すように指差し画像４２を表示する処理を行うことができる。
【００２５】
このように、遠隔コミュニケーションシステム１１は、ユーザＡとユーザＢとが、互いに対面しているかのようにコミュニケーションを図ることができ、例えば、ユーザＡが、書類画像４１を用いてユーザＢに説明を行うような用途に利用することができる。そこで、以下では、コミュニケーション端末１３ＡのユーザＡを説明者とも称し、コミュニケーション端末１３ＢのユーザＢを顧客とも称する。
【００２６】
そして、遠隔コミュニケーションシステム１１では、書類画像４１Ａに対するユーザＡの指差しジェスチャに応じて、書類画像４１Ｂに指差し画像４２を表示することで、ユーザＡが説明を行っている個所をユーザＢに認識させることを容易に行うことができる。これにより、遠隔コミュニケーションシステム１１は、よりスムーズに説明が行われることによって、より良好なユーザ体験を提供することができる。
【００２７】
図２は、コミュニケーション処理部２５の構成例を示すブロック図である。
【００２８】
図２に示すように、コミュニケーション処理部２５は、入力部５１、出力部５２、操作入力部５３、記憶部５４、通信部５５、および制御部５６を備えて構成される。
【００２９】
入力部５１は、カメラ２１から出力される画像信号や、ステレオカメラ３２から出力されるデプス信号、ＲＧＢカメラ３３から出力される画像信号などをコミュニケーション処理部２５に入力するためのインタフェースであり、それらの信号を制御部５６に供給する。
【００３０】
出力部５２は、制御部５６から供給される表示制御信号を、プロジェクタ本体３１およびディスプレイ部２３それぞれに出力するためのインタフェースである。
【００３１】
操作入力部５３は、図示しない操作部（例えば、キーボードやマウス、タッチパネルなど）に対するユーザの操作に応じた操作信号を入力するためのインタフェースであり、その操作信号を制御部５６に供給する。
【００３２】
記憶部５４は、制御部５６がコミュニケーション処理部２５の制御を行うために必要となる各種のデータや、書類画像４１または指差し画像４２を表示させるための画像データなどを記憶する。
【００３３】
通信部５５は、送信部６１および受信部６２を有しており、図１のネットワーク１２を介して相手側のコミュニケーション端末１３と通信を行う。例えば、通信部５５では、送信部６１が、制御部５６から供給されるデータを相手側のコミュニケーション端末１３へ送信し、受信部６２が、相手側のコミュニケーション端末１３から送信されてくるデータを受信して、制御部５６に供給する。
【００３４】
制御部５６は、検出結果取得部７１、情報処理部７２、および表示制御部７３を有しており、コミュニケーション処理部２５におけるコミュニケーション処理を実行するための制御を行う。
【００３５】
検出結果取得部７１は、ステレオカメラ３２から出力されるデプス信号、および、ＲＧＢカメラ３３から出力される画像信号に基づいて、例えば、デスク型スクリーン２４上にあるユーザの手の動きを検出し、その検出結果を取得する。このとき、検出結果取得部７１は、それらの信号のノイズを除去する処理を行ってもよい。同様に、検出結果取得部７１は、図９を参照して後述する共有オブジェクト４４や、図１１を参照して後述する任意のオブジェクト４５などを検出し、それらの検出結果を取得する。
【００３６】
情報処理部７２は、検出結果取得部７１により取得された検出結果に基づいて、ユーザＢ側で表示される画像が、ユーザＡ側で表示される画像と異なるものとするための情報処理（解析や調整などの処理）を行う。そして、情報処理部７２は、コミュニケーション処理を実行するために、相手側のコミュニケーション端末１３へ送信する必要がある各種のデータ（例えば、後述する画像データや位置情報、座標情報など）を、通信部５５を介して送信する。
【００３７】
表示制御部７３は、通信部５５を介して相手側のコミュニケーション端末１３から送信されてくる画像データを取得し、その画像データに従って、例えば、相手側のユーザが写された画像を表示するように、ディスプレイ部２３に対する表示制御を行う。また、表示制御部７３は、記憶部５４から画像データを読み出して、適切な表示位置に、書類画像４１または指差し画像４２を表示するように、プロジェクタ本体３１に対する表示制御を行う。
【００３８】
＜第１のコミュニケーション処理＞
図３乃至図５を参照して、遠隔コミュニケーションシステム１１において実行される第１のコミュニケーション処理について説明する。
【００３９】
図３のＡおよび図４のＡには、説明者であるユーザＡ側のデスク型スクリーン２４Ａでの状況の一例が示されており、図３のＢおよび図４のＢには、顧客であるユーザＢ側のデスク型スクリーン２４Ｂでの状況の一例が示されている。
【００４０】
遠隔コミュニケーションシステム１１では、ユーザＡ側のデスク型スクリーン２４Ａに、共有エリアＳＡおよびプライベートエリアＰＡが設定される。例えば、共有エリアＳＡには、ユーザＢと共有する画像が表示され、図示するように、共有エリアＳＡに書類画像４１Ａが表示されると、ユーザＢ側のデスク型スクリーン２４Ｂにも、書類画像４１Ａと同一内容の書類画像４１Ｂが表示される。一方、プライベートエリアＰＡには、ユーザＢと共有しない画像が表示され、プライベートエリアＰＡに表示される画像は、ユーザＢ側のデスク型スクリーン２４Ｂには表示されない。
【００４１】
また、図３のＡに示すように、ユーザＡが、デスク型スクリーン２４Ａの共有エリアＳＡに表示されている書類画像４１Ａの所定の指示個所を指し示すような指差しジェスチャを行ったとする。これに応じ、図３のＢに示すように、ユーザＢ側のデスク型スクリーン２４Ｂでは、書類画像４１Ｂの対応している指示個所を指し示すように、指差し画像４２が表示される。
【００４２】
一方、図４のＡに示すように、デスク型スクリーン２４ＡのプライベートエリアＰＡに表示されている画像（例えば、操作を行うためのユーザインタフェース）に対し、ユーザＡが指差しを行ったとする。この場合、図４のＢに示すように、ユーザＢ側のデスク型スクリーン２４Ｂでは指差し画像４２は非表示となる。即ち、プライベートエリアＰＡに表示される画像や、プライベートエリアＰＡでのユーザＡの手の動きは、ユーザＢ側からは見えないような表示制御が行われる。
【００４３】
このように、遠隔コミュニケーションシステム１１では、ユーザＡが、共有エリアＳＡに表示されている書類画像４１Ａを指差した場合には、書類画像４１Ｂに指差し画像４２が表示され、プライベートエリアＰＡを指差した場合には、指差し画像４２は非表示となる。
【００４４】
図５には、第１のコミュニケーション処理を説明するフローチャートが示されている。
【００４５】
例えば、ユーザＡが、ユーザＢに対する説明の際に共有したい書類の表示を指示する操作を行って、その操作信号がコミュニケーション処理部２５Ａの操作入力部５３Ａを介して制御部５６Ａに供給されると処理が開始される。
【００４６】
ステップＳ１１において、コミュニケーション処理部２５Ａでは、表示制御部７３Ａが、ユーザにより指示された書類の画像データを記憶部５４Ａから読み出して、デスク型スクリーン２４Ａの共有エリアＳＡに書類画像４１Ａを表示するようにプロジェクタ本体３１Ａに対する表示制御を行う。そして、情報処理部７２Ａは、共有エリアＳＡに表示された書類画像４１Ａの画像データと、デスク型スクリーン２４Ａにおける書類画像４１Ａの表示位置を示す位置情報とを取得し、通信部５５Ａを介してコミュニケーション処理部２５Ｂへ送信する。
【００４７】
ステップＳ１２において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、通信部５５Ｂを介して取得した画像データおよび位置情報に基づいて、書類画像４１Ａと同様に、デスク型スクリーン２４Ｂに書類画像４１Ｂを表示するようにプロジェクタ本体３１Ｂに対する表示制御を行う。これに応じ、プロジェクタ本体３１Ｂは、位置情報に従った表示位置となるように、画像データに従って、書類画像４１Ａと同一内容の書類画像４１Ｂをデスク型スクリーン２４Ｂに表示する。
【００４８】
ステップＳ１３において、コミュニケーション処理部２５Ａでは、検出結果取得部７１Ａが、ステレオカメラ３２Ａから出力されるデプス信号、および、ＲＧＢカメラ３３Ａから出力される画像信号に基づいて、デスク型スクリーン２４Ａ上にあるユーザＡの手の動きを検出し、その検出結果を情報処理部７２Ａに供給する。そして、情報処理部７２Ａは、ユーザＡの手の動きの検出結果に従って、ユーザＡの手の動きを認識し、ユーザＡが指差しジェスチャを行ったか否かを判定する。
【００４９】
ステップＳ１３において、情報処理部７２Ａが、ユーザＡが指差しジェスチャを行ったと判定した場合、処理はステップＳ１４に進む。
【００５０】
ステップＳ１４において、コミュニケーション処理部２５Ａでは、検出結果取得部７１Ａが、ステレオカメラ３２Ａから出力されるデプス信号、および、ＲＧＢカメラ３３Ａから出力される画像信号に基づいて、ユーザＡの指先の位置を検出し、その検出結果を情報処理部７２Ａに供給する。そして、情報処理部７２Ａは、ユーザＡの指先の位置の検出結果に従って、デスク型スクリーン２４Ａ上で、ユーザＡが指差しジェスチャによって指示した指示個所の座標を示すポインティング座標を取得する。
【００５１】
ステップＳ１５において、情報処理部７２Ａは、ステップＳ１４で取得したポインティング座標が共有エリアＳＡ内であるか否かを判定する。
【００５２】
ステップＳ１５において、情報処理部７２Ａが、ポインティング座標が共有エリアＳＡ内であると判定した場合、処理はステップＳ１６に進む。
【００５３】
ステップＳ１６において、コミュニケーション処理部２５Ａでは、情報処理部７２Ａが、ポインティング座標を示す座標情報を、通信部５５Ａを介してコミュニケーション処理部２５Ｂへ送信する。そして、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、通信部５５Ｂを介して取得した座標情報に従って、ポインティング座標を指し示す配置で指差し画像４２を表示するようにプロジェクタ本体３１Ｂを制御する。これに応じて、プロジェクタ本体３１Ｂは、ユーザＡによる指示個所を指し示すように、デスク型スクリーン２４Ｂに指差し画像４２を表示した後、処理は終了される。
【００５４】
一方、ステップＳ１３においてユーザＡが指差しジェスチャを行っていないと判定された場合、または、ステップＳ１５においてポインティング座標が共有エリアＳＡ内でないと判定された場合、指差し画像４２は表示されずに、処理は終了される。
【００５５】
以上のように、第１のコミュニケーション処理では、ユーザＡの指差しジェスチャに従って、共有エリアＳＡ内が指差されている場合に、指差し画像４２を表示することができ、ユーザＡは、よりスムーズに説明を行うことができる。
【００５６】
＜第２のコミュニケーション処理＞
図６乃至図８を参照して、遠隔コミュニケーションシステム１１において実行される第２のコミュニケーション処理について説明する。
【００５７】
図６には、説明者であるユーザＡ側のデスク型スクリーン２４Ａでの状況の一例が示されている。
【００５８】
例えば、図３および図４を参照して説明したように、第１のコミュニケーション処理では、ユーザＡ側のデスク型スクリーン２４Ａに、固定的に、共有エリアＳＡおよびプライベートエリアＰＡが設定されていた。これに対し、第２のコミュニケーション処理では、共有エリアＳＡを動的に設定することができる。
【００５９】
例えば、第２のコミュニケーション処理では、ユーザＡがユーザＢと共有したい書類画像４１Ａをデスク型スクリーン２４Ａに表示する際に、その書類画像４１Ａの大きさや向きなどに応じて、共有エリアＳＡが設定される。そして、デスク型スクリーン２４Ａ上で、共有エリアＳＡ以外の領域が、プライベートエリアＰＡとして設定される。なお、図示する例では、共有エリアＳＡおよびプライベートエリアＰＡの輪郭の矩形は、デスク型スクリーン２４Ａの外形形状に沿うように設定される。
【００６０】
即ち、図６の上側に示すように、ユーザＡが書類画像４１ＡだけをユーザＢと共有したい場合には、書類画像４１Ａを内側に囲うような矩形となる輪郭の共有エリアＳＡが設定される。ここで、ユーザＡが、書類画像４１Ａに記載されている項目に関連する関連情報をユーザＢと共有するために、その項目が記載されている個所をタップするタップジェスチャを行うと、書類画像４１Ａの外側に関連情報画像４３Ａが表示される。これに応じて、図６の下側に示すように、書類画像４１Ａおよび関連情報画像４３Ａを内側に囲うような矩形の輪郭となるように共有エリアＳＡが更新される。さらに、書類画像４１Ａに記載されている項目と関連情報画像４３Ａとを連結するような連結ラインが表示される。
【００６１】
従って、ユーザＢ側でも、共有エリアＳＡ内に表示される書類画像４１Ａおよび関連情報画像４３Ａと同様に、書類画像４１Ｂおよび関連情報画像４３Ｂ（図示せず）がデスク型スクリーン２４Ｂに表示されることになる。なお、その後、ユーザＡが、関連情報画像４３Ａを非表示にする操作を行うと、共有エリアＳＡは、図６の上側に示すように元に戻るように更新される。
【００６２】
このように、遠隔コミュニケーションシステム１１では、ユーザＡがユーザＢと共有したい画像のサイズや個数などに応じて、共有エリアＳＡのサイズが変更される。
【００６３】
図７には、第２のコミュニケーション処理を説明するフローチャートが示されている。
【００６４】
例えば、ユーザＡの操作に応じて、表示制御部７３Ａがデスク型スクリーン２４Ａに書類画像４１Ａを表示させる表示制御を行うと処理が開始される。
【００６５】
ステップＳ２１において、コミュニケーション処理部２５Ａでは、情報処理部７２Ａが、表示制御部７３Ａの表示制御に従ってデスク型スクリーン２４Ａに表示された書類画像４１Ａを内側に囲うような矩形となる輪郭の共有エリアＳＡを設定する。そして、情報処理部７２Ａは、共有エリアＳＡを規定する共有エリア座標として、例えば、図８の上側に示すような共有エリアＳＡの左上座標Ｐ１（Ｘ０，Ｙ０）および右下座標Ｐ２（Ｘ１，Ｙ１）を取得する。
【００６６】
ステップＳ２２において、コミュニケーション処理部２５Ａでは、検出結果取得部７１Ａが、ステレオカメラ３２Ａから出力されるデプス信号、および、ＲＧＢカメラ３３Ａから出力される画像信号に基づいて、デスク型スクリーン２４Ａ上にあるユーザＡの手の動きを検出し、その検出結果を情報処理部７２Ａに供給する。そして、情報処理部７２Ａは、ユーザＡの手の動きの検出結果に従って、ユーザＡの手の動きを認識し、ユーザＡが書類画像４１Ａの項目に対するタップジェスチャを行ったか否かを判定する。
【００６７】
ステップＳ２２において、情報処理部７２Ａが、ユーザＡがタップジェスチャを行ったと判定した場合、処理はステップＳ２３に進む。なお、情報処理部７２Ａが、ユーザＡがタップジェスチャを行っていない判定した場合には、ステップＳ２２において処理が待機される。
【００６８】
ステップＳ２３において、コミュニケーション処理部２５Ａでは、表示制御部７３Ａが、ユーザによりタップジェスチャが行われた項目に関連する関連情報を表示するための画像データを記憶部５４Ａから読み出す。そして、表示制御部７３Ａは、画像データに基づいた関連情報画像４３Ａを共有エリアＳＡ外に表示するようにプロジェクタ本体３１Ａを制御し、プロジェクタ本体３１Ａが、デスク型スクリーン２４Ａに関連情報画像４３Ａを表示する。
【００６９】
ステップＳ２４において、コミュニケーション処理部２５Ａでは、情報処理部７２Ａが、デスク型スクリーン２４Ａに表示された書類画像４１Ａおよび関連情報画像４３Ａを含む輪郭座標を取得する。
【００７０】
ステップＳ２５において、コミュニケーション処理部２５Ａでは、情報処理部７２Ａが、ステップＳ２４で取得した輪郭座標を、共有エリアＳＡを規定する共有エリア座標として更新する。例えば、情報処理部７２Ａは、共有エリアＳＡを規定する共有エリア座標として、図８の下側に示すような共有エリアＳＡの左上座標Ｐ１（Ｘ２，Ｙ２）および右下座標Ｐ２（Ｘ３，Ｙ３）を取得する。なお、図８には、２つの関連情報画像４３−１および４３−２が表示されている表示例が示されている。
【００７１】
ステップＳ２５の処理後、処理はステップＳ２２に戻り、以下、同様の処理が繰り返して行われる。
【００７２】
以上のように、第２のコミュニケーション処理では、例えば、ユーザＡのタップジェスチャに従って、関連情報がユーザＢと共有されるように、共有エリアＳＡを動的に拡大することができる。
【００７３】
＜第３のコミュニケーション処理＞
図９および図１０を参照して、遠隔コミュニケーションシステム１１において実行される第３のコミュニケーション処理について説明する。
【００７４】
図９には、説明者であるユーザＡ側のデスク型スクリーン２４Ａでの状況の一例が示されている。
【００７５】
例えば、図６を参照して説明したように、第２のコミュニケーション処理では、デスク型スクリーン２４Ａに表示される画像に基づいて共有エリアＳＡが動的に設定されていた。これに対し、第３のコミュニケーション処理では、画像ではなく、デスク型スクリーン２４Ａに置かれる共有オブジェクトに基づいて共有エリアＳＡを動的に設定することができる。
【００７６】
即ち、図９に示すように、複数のオブジェクトがデスク型スクリーン２４Ａに置かれているとき、例えば、マーカなどを利用した画像認識により共有オブジェクト４４が認識される。例えば、図９の上側に示すように、ユーザＡが、１つの共有オブジェクト４４をデスク型スクリーン２４Ａに置いた場合、その１つの共有オブジェクト４４を内側に囲うような矩形となる輪郭の共有エリアＳＡが設定される。そして、図９の下側に示すように、ユーザＡが、２つの共有オブジェクト４４−１および４４−２をデスク型スクリーン２４Ａに置くと、それらの２つの共有オブジェクト４４−１および４４−２を内側に囲うような矩形となる輪郭の共有エリアＳＡが更新される。
【００７７】
このように、遠隔コミュニケーションシステム１１では、ユーザＡがユーザＢと共有したい共有オブジェクト４４のサイズや個数などに応じて、共有エリアＳＡのサイズが変更される。
【００７８】
図１０には、第３のコミュニケーション処理を説明するフローチャートが示されている。
【００７９】
例えば、ユーザＡが、デスク型スクリーン２４Ａに共有オブジェクト４４を置くと処理が開始される。
【００８０】
ステップＳ３１において、コミュニケーション処理部２５Ａでは、情報処理部７２Ａが、ユーザＡによりデスク型スクリーン２４Ａに置かれた共有オブジェクト４４を内側に囲うような矩形となる輪郭の共有エリアＳＡを設定する。そして、情報処理部７２Ａは、図７のステップＳ２１と同様に、共有エリアＳＡを規定する共有エリア座標を取得する。
【００８１】
ステップＳ３２において、コミュニケーション処理部２５Ａでは、検出結果取得部７１Ａが、ステレオカメラ３２Ａから出力されるデプス信号、および、ＲＧＢカメラ３３Ａから出力される画像信号に基づいて、デスク型スクリーン２４Ａ上にある共有オブジェクト４４を検出し、その検出結果を情報処理部７２Ａに供給する。そして、情報処理部７２Ａは、共有オブジェクト４４の検出結果に従って、共有オブジェクト４４の変化（追加または削減）が検出されたか否かを判定する。
【００８２】
ステップＳ３２において、情報処理部７２Ａが、共有オブジェクト４４の変化が検出されたと判定した場合、処理はステップＳ３３に進む。なお、情報処理部７２Ａが、共有オブジェクト４４の変化が検出されていない判定した場合には、ステップＳ３２において処理が待機される。
【００８３】
ステップＳ３３において、コミュニケーション処理部２５Ａでは、情報処理部７２Ａが、デスク型スクリーン２４Ａに置かれている全ての共有オブジェクト４４を含む輪郭座標を取得する。
【００８４】
ステップＳ３４において、コミュニケーション処理部２５Ａでは、情報処理部７２Ａが、ステップＳ３３で取得した輪郭座標を、図７のステップＳ２５と同様に、共有エリアＳＡを規定する共有エリア座標として更新する。ここで、共有オブジェクト４４が追加されたことが検出されているときには、共有エリアＳＡは拡大され、共有オブジェクト４４が削減されたことが検出されているときには、共有エリアＳＡは縮小される。
【００８５】
ステップＳ３４の処理後、処理はステップＳ３２に戻り、以下、同様の処理が繰り返して行われる。
【００８６】
以上のように、第３のコミュニケーション処理では、例えば、共有オブジェクト４４に置かれる共有オブジェクト４４の追加または削減に従って、共有エリアＳＡを動的に拡大または縮小することができる。
【００８７】
＜第４のコミュニケーション処理＞
図１１および図１２を参照して、遠隔コミュニケーションシステム１１において実行される第４のコミュニケーション処理について説明する。
【００８８】
図１１のＡには、説明者であるユーザＡ側のデスク型スクリーン２４Ａでの状況の一例が示されており、図１１のＢには、顧客であるユーザＢ側のデスク型スクリーン２４Ｂでの状況の一例が示されている。
【００８９】
例えば、図３を参照して説明したように、第１のコミュニケーション処理では、デスク型スクリーン２４Ａにおける書類画像４１Ａの表示位置に対応させて、デスク型スクリーン２４Ｂに書類画像４１Ｂが表示されていた。これに対し、第４のコミュニケーション処理では、デスク型スクリーン２４Ｂに置かれているオブジェクトに応じて、書類画像４１Ｂの表示位置を調整することができる。
【００９０】
即ち、図１１のＢに示すように、デスク型スクリーン２４Ｂに任意のオブジェクト４５が置かれている場合、図１１のＡに示されている書類画像４１Ａの表示位置に対応させると、オブジェクト４５に重なるように書類画像４１Ｂが表示されることになる。そこで、オブジェクト４５が置かれていない空きスペースを検出して、その空きスペースに書類画像４１Ｂを表示する。このとき、空きスペースの大きさが、書類画像４１Ｂの実サイズよりも小さい場合には、その空きスペースに収まるように書類画像４１Ｂを縮小表示することができる。また、書類画像４１Ｂの表示位置を調整するのに合わせて、指差し画像４２の表示位置も調整される。
【００９１】
このように、遠隔コミュニケーションシステム１１では、デスク型スクリーン２４Ｂに置かれているオブジェクト４５に応じて、オブジェクト４５に重ならないように書類画像４１Ｂが表示される。
【００９２】
図１２には、第４のコミュニケーション処理を説明するフローチャートが示されている。
【００９３】
例えば、ユーザＡが、ユーザＢに対する説明の際に共有したい書類の表示を指示する操作を行って、その操作信号がコミュニケーション処理部２５Ａの操作入力部５３Ａを介して制御部５６Ａに供給されると処理が開始される。
【００９４】
ステップＳ４１において、コミュニケーション処理部２５Ａでは、表示制御部７３Ａが、ユーザにより指示された書類の画像データを記憶部５４Ａから読み出して、デスク型スクリーン２４Ａの共有エリアＳＡに書類画像４１Ａを表示するようにプロジェクタ本体３１Ａに対する表示制御を行う。そして、情報処理部７２Ａは、共有エリアＳＡに表示された書類画像４１Ａの画像データと、デスク型スクリーン２４Ａにおける書類画像４１Ａの表示位置を示す位置情報とを取得し、通信部５５Ａを介してコミュニケーション処理部２５Ｂへ送信する。
【００９５】
ステップＳ４２において、コミュニケーション処理部２５Ｂでは、検出結果取得部７１Ｂが、ステレオカメラ３２Ｂから出力されるデプス信号、および、ＲＧＢカメラ３３Ｂから出力される画像信号に基づいて、デスク型スクリーン２４Ｂに置かれているオブジェクト４５を検出し、その検出結果を情報処理部７２Ｂに供給する。そして、情報処理部７２Ｂは、情報処理部７２Ｂから供給される検出結果に基づいて、オブジェクト４５を内側に囲うような矩形となる輪郭の輪郭座標を取得する。
【００９６】
ステップＳ４３において、コミュニケーション処理部２５Ｂでは、情報処理部７２Ｂは、ステップＳ４２で取得したオブジェクト４５の輪郭座標に基づいて、デスク型スクリーン２４Ｂ上でオブジェクト４５が置かれている領域以外を空きスペースとして認識する。
【００９７】
ステップＳ４４において、情報処理部７２Ｂは、ステップＳ４３で認識した空きスペースは書類画像４１Ｂの実サイズより小さいか否かを判定する。
【００９８】
ステップＳ４４において、情報処理部７２Ｂが、空きスペースは書類画像４１Ｂの実サイズより小さいと判定した場合、処理はステップＳ４５に進む。
【００９９】
ステップＳ４５において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂは、情報処理部７２Ｂが認識した空きスペースの大きさに合わせて、書類画像４１Ｂを縮小する画像処理を行う。
【０１００】
ステップＳ４５の処理後、または、ステップＳ４４で空きスペースは書類画像４１Ｂの実サイズより小さくない（即ち、空きスペースは書類画像４１Ｂの実サイズより大きい）と判定された場合、処理はステップＳ４６に進む。
【０１０１】
ステップＳ４６において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂは、デスク型スクリーン２４Ｂにおいてオブジェクト４５が置かれていない空きスペースに、書類画像４１Ｂを表示するようにプロジェクタ本体３１Ｂに対する表示制御を行う。これに応じ、プロジェクタ本体３１Ｂが、書類画像４１Ａと同一内容の書類画像４１Ｂを、デスク型スクリーン２４Ｂの空きスペースに表示する。
【０１０２】
このとき、ステップＳ４５の処理が行われている場合には、書類画像４１Ｂが縮小表示され、ステップＳ４５の処理が行われていない場合には、書類画像４１Ｂが実サイズで表示される。このように、プロジェクタ本体３１Ｂが空きスペースに書類画像４１Ｂを表示した後、処理は終了される。
【０１０３】
以上のように、第４のコミュニケーション処理では、デスク型スクリーン２４Ｂに置かれているオブジェクトに応じて、書類画像４１Ｂを表示する際の位置および大きさが調整される。
【０１０４】
＜第５のコミュニケーション処理＞
図１３乃至図１７を参照して、遠隔コミュニケーションシステム１１において実行される第５のコミュニケーション処理について説明する。
【０１０５】
例えば、第５のコミュニケーション処理では、ユーザＡの指差しジェスチャがプライベートエリアＰＡを通過するときに、指差し画像４２の表示が適宜調整される。
【０１０６】
図１３には、ユーザＡが指さしジェスチャをしたまま手を動かす様子が示されている。例えば、書類画像４１Ａ−１と書類画像４１Ａ−２との間にプライベートエリアＰＡが設定されているときに、ユーザＡが、書類画像４１Ａ−１を指差したのに続けて、書類画像４１Ａ−２を指差すような動作を行ったとする。このような動作を行うと、ユーザＡがプライベートエリアＰＡに対して指差しジェスチャを行ったと認識され、上述したように、指差し画像４２が非表示となるような表示制御が行われる。このとき、図１４を参照して説明するような第１の表示制御、および、図１５を参照して説明するような第２の表示制御の、いずれか一方が行われる。
【０１０７】
図１４に示すように、指差し画像４２の第１の表示制御では、ユーザＡの指先がプライベートエリアＰＡを通過している間、非表示とするように指差し画像４２の表示が制御される。即ち、指差し画像４２の第２の表示制御では、書類画像４１Ａ−１の端で消えた後に書類画像４１Ａ−２の端で指差し画像４２が表示されるような表示制御が行われる。
【０１０８】
図１５に示すように、指差し画像４２の第２の表示制御では、ユーザＡの指先が書類画像４１Ａ−１から離れた時点で指差し画像４２の表示の更新を停止し、ユーザＡの指先が書類画像４１Ａ−２に差し掛かると表示を更新するように指差し画像４２の表示が制御される。即ち、指差し画像４２の第２の表示制御では、書類画像４１Ａ−１の端で止まっていた指差し画像４２が書類画像４１Ａ−２の端へ瞬間的に移動するような表示制御が行われる。
【０１０９】
図１６には、図１４を参照して説明したような第１の表示制御が行われる第５のコミュニケーション処理を説明するフローチャートが示されている。
【０１１０】
ステップＳ５１乃至Ｓ５５において、図５のステップＳ１１乃至Ｓ１５と同様の処理が行われる。そして、ステップＳ５５において、情報処理部７２Ａが、ポインティング座標が共有エリアＳＡ内であると判定した場合、処理はステップＳ５６に進む。
【０１１１】
ステップＳ５６において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、コミュニケーション処理部２５Ａから送信されてくる座標情報に従って、ポインティング座標を指し示す配置で指差し画像４２の表示を更新するようにプロジェクタ本体３１Ｂを制御する。これに応じて、プロジェクタ本体３１Ｂが、ユーザＡによる指示個所を指し示すように、デスク型スクリーン２４Ｂに表示される指差し画像４２を更新した後、処理は終了される。
【０１１２】
一方、ステップＳ５３においてユーザＡが指差しジェスチャを行っていないと判定された場合、または、ステップＳ５５においてポインティング座標が共有エリアＳＡ内でないと判定された場合、処理はステップＳ５７に進む。
【０１１３】
ステップＳ５７において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、指差し画像４２の表示を消去するようにプロジェクタ本体３１Ｂを制御する。これに応じて、プロジェクタ本体３１Ｂが、指差し画像４２の表示を消去した後、処理は終了される。
【０１１４】
以上のように、第１の表示制御が行われる第５のコミュニケーション処理では、ユーザＡの指先がプライベートエリアＰＡを通過している間、図１４を参照して説明したように、指差し画像４２が非表示とされる。
【０１１５】
図１７には、図１５を参照して説明したような第２の表示制御が行われる第５のコミュニケーション処理を説明するフローチャートが示されている。
【０１１６】
ステップＳ６１乃至Ｓ６７において、図１６のステップＳ５１乃至Ｓ５７と同様の処理が行われる。一方、第２の表示制御では、ステップＳ６５において、情報処理部７２Ａが、ポインティング座標が共有エリアＳＡ内でないと判定した場合、処理はステップＳ６８に進む。
【０１１７】
ステップＳ６８において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、指差し画像４２の表示の更新を停止するようにプロジェクタ本体３１Ｂを制御する。これに応じて、プロジェクタ本体３１Ｂが、ポインティング座標が共有エリアＳＡ内でないと判定されたときに表示されていた位置に指差し画像４２を表示し続けた後、処理は終了される。
【０１１８】
以上のように、第２の表示制御が行われる第５のコミュニケーション処理では、ユーザＡの指先がプライベートエリアＰＡを通過している間、図１５を参照して説明したように、書類画像４１Ａ−１の端で止まっているように指差し画像４２が表示される。
【０１１９】
＜第６のコミュニケーション処理＞
図１８乃至図２７を参照して、遠隔コミュニケーションシステム１１において実行される第６のコミュニケーション処理について説明する。
【０１２０】
例えば、第６のコミュニケーション処理では、ユーザＡおよびユーザＢが遠隔で協働作業を行う際において想定される第１乃至第３の表示ケースで、書類画像４１および指差し画像４２が表示制御される。ここで、デスク型スクリーン２４に書類画像４１および指差し画像４２を表示する際の基準の上下方向は、ユーザから見て奥側を上方向とし、ユーザから見て手前側を下方向として設定されている。また、書類画像４１の上下方向は、例えば、記載内容の文字の向きに従って設定されており、指差し画像４２の上下方向は、指先を上方向とし、手元を下方向として設定されている。なお、ユーザから見て奥側とは、図１に示すように、ディスプレイ部２３が配置される側である。
【０１２１】
例えば、第１の表示ケースは、ユーザＡがユーザＢに対面しているようなイメージで、ユーザＡが、ユーザＢに正対するように書類を配置して説明を行うときに適用される。即ち、図１８のＡに示すように、コミュニケーション端末１３Ａ側では、基準の上下方向に対して１８０度回転させて、ユーザＡから見て奥側が下方向となるように、デスク型スクリーン２４Ａに書類画像４１Ａが表示される。また、図１８のＢに示すように、コミュニケーション端末１３Ｂ側では、基準の上下方向に従って、ユーザＢから見て手前側が下方向となるように、デスク型スクリーン２４Ｂに書類画像４１Ｂが表示される。
【０１２２】
そして、第１の表示ケースでは、指差し画像４２は、ユーザＡがユーザＢに対面しているようなイメージで、ユーザＢから見て奥側が手元となるように表示される。即ち、図１８のＢに示すように、基準の上下方向に対して１８０度回転させて、ユーザＢから見て奥側が手元となり、ユーザＢから見て手前側に指先を向けて指差しを行っているように、デスク型スクリーン２４Ｂに指差し画像４２が表示される。従って、書類画像４１Ａに対するユーザＡの手の向きおよび左右の動きと同じように、書類画像４１Ｂに対して指差し画像４２が表示される。
【０１２３】
例えば、第２の表示ケースは、ユーザＡがユーザＢに対面しているようなイメージで、ユーザＡが、自身に正対するように書類を配置して説明を行うときに適用される。即ち、図１９のＡに示すように、コミュニケーション端末１３Ａ側では、基準の上下方向に従って、ユーザＡから見て手前側が下方向となるように、デスク型スクリーン２４Ａに書類画像４１Ａが表示される。また、図１９のＢに示すように、コミュニケーション端末１３Ｂ側では、基準の上下方向に従って、ユーザＢから見て手前側が下方向となるように、デスク型スクリーン２４Ｂに書類画像４１Ｂが表示される。
【０１２４】
そして、第２の表示ケースでは、指差し画像４２は、ユーザＡがユーザＢに対面しているようなイメージで、ユーザＢから見て奥側が手元となるように表示される。即ち、図１９のＢに示すように、基準の上下方向に対して１８０度回転させて、ユーザＢから見て奥側が手元となり、ユーザＢから見て手前側に指先を向けて指差しを行っているように、デスク型スクリーン２４Ｂに指差し画像４２が表示される。従って、書類画像４１Ａに対するユーザＡの手の向きおよび左右の動きに対して１８０度回転するように、書類画像４１Ｂに対して指差し画像４２が表示される。
【０１２５】
例えば、第３の表示ケースは、ユーザＡがユーザＢに寄り添うようなイメージで、ユーザＡが、自身に正対するように書類を配置して説明を行うときに適用される。即ち、図２０のＡに示すように、コミュニケーション端末１３Ａ側では、基準の上下方向に従って、ユーザＡから見て手前側が下方向となるように、デスク型スクリーン２４Ａに書類画像４１Ａが表示される。また、図２０のＢに示すように、コミュニケーション端末１３Ｂ側では、基準の上下方向に従って、ユーザＢから見て手前側が下方向となるように、デスク型スクリーン２４Ｂに書類画像４１Ｂが表示される。
【０１２６】
そして、第３の表示ケースでは、指差し画像４２は、ユーザＡがユーザＢに寄り添うようなイメージで、ユーザＢから見て手前側が手元となるように表示される。即ち、図１９のＢに示すように、基準の上下方向に従って、ユーザＢから見て手前側が手元となり、ユーザＢから見て奥側に指先を向けて指差しを行っているように、デスク型スクリーン２４Ｂに指差し画像４２が表示される。従って、書類画像４１Ａに対するユーザＡの手の向きおよび左右の動きと同じように、書類画像４１Ｂに対して指差し画像４２が表示される。
【０１２７】
ここで、図２１を参照して、第６のコミュニケーション処理で用いられる初期情報について説明する。
【０１２８】
例えば、初期情報として、プロジェクタ本体３１がデスク型スクリーン２４に対して表示可能な表示領域の大きさを示す表示領域サイズ（幅1920、高さ1080）、書類画像４１を表示する大きさを示す書類画像表示サイズ（幅Ｆｗ、高さＦｈ）、および、指差し画像４２を表示する大きさを示す指差し画像表示サイズ（幅Ｈｗ、高さＨｈ）が取得される。
【０１２９】
また、図２１のＡに示すように、書類画像４１および指差し画像４２の表示は、ユーザから見て表示領域の奥側左端を原点（０，０）として表示制御が行われる。また、書類画像４１を表示する際の基準となる書類画像基準座標Ｆ（ｘ，ｙ）は、書類画像４１の上下方向に関係なく、ユーザから見て書類画像４１の奥側左端に設定される。
【０１３０】
また、図２１のＢに示すように、指差し画像４２を表示する際の基準となる指差し画像基準座標Ｈ（ｘ，ｙ）は、指差し画像４２の上下方向に関係なく、ユーザから見て指差し画像４２の奥側左端に設定される。例えば、図２１のＢの左側には、指差し画像４２の上下方向に従って、手元が下方向となるように表示される指差し画像４２が示されている。
また、図２１のＢの右側には、指差し画像４２の上下方向に対して１８０度回転するように、手元が上方向となるように表示される指差し画像４２が示されている。
【０１３１】
図２２には、第６のコミュニケーション処理を説明するフローチャートが示されている。
【０１３２】
ステップＳ７１において、コミュニケーション処理部２５Ａおよび２５Ｂそれぞれで、表示制御部７３Ａおよび７３Ｂが、図２１を参照して説明したような初期情報を設定する。即ち、表示制御部７３Ａは、表示領域サイズ（幅1920、高さ1080）、書類画像表示サイズ（幅Ｆｗ、高さＦｈ）、および書類画像４１Ａの書類画像基準座標Ｆａ（ｘ，ｙ）を取得する。また、表示制御部７３Ｂは、表示領域サイズ（幅1920、高さ1080）、および指差し画像表示サイズ（幅Ｈｗ、高さＨｈ）を取得する。
【０１３３】
ステップＳ７２において、表示制御部７３Ａおよび７３Ｂは、指差し表示ケースが、図１８乃至図２０を参照して説明した第１乃至第２の表示ケースのいずれであるかを判定する。例えば、指差し表示ケースは、ユーザＡがどのように説明を行うかに従って指定したり、ユーザＢがどのように説明を受けたいかに従って指定することができ、その指定に従って判定が行われる。
【０１３４】
ステップＳ７２において、表示制御部７３Ａおよび７３Ｂが、指差し表示ケースが第１の表示ケースであると判定した場合、処理はステップＳ７３に進み、後述の図２３のフローチャートを参照して説明する第１の指差し表示処理が行われた後、処理は終了される。
【０１３５】
一方、ステップＳ７２において、表示制御部７３Ａおよび７３Ｂが、指差し表示ケースが第２の表示ケースであると判定した場合、処理はステップＳ７４に進み、後述の図２５のフローチャートを参照して説明する第２の指差し表示処理が行われた後、処理は終了される。
【０１３６】
一方、ステップＳ７２において、表示制御部７３Ａおよび７３Ｂが、指差し表示ケースが第３の表示ケースであると判定した場合、処理はステップＳ７５に進み、後述の図２７のフローチャートを参照して説明する第３の指差し表示処理が行われた後、処理は終了される。
【０１３７】
図２３は、図２２のステップＳ７３で行われる第１の指差し表示処理を説明するフローチャートである。また、図２４には、第１の指差し表示処理を説明するために、ユーザＡおよびユーザＢが対面するイメージと、書類画像４１および指差し画像４２の表示方向とが示されている。
【０１３８】
ステップＳ８１において、コミュニケーション処理部２５Ａでは、表示制御部７３Ａが、説明者側の書類画像４１Ａを１８０度回転表示する。
【０１３９】
即ち、図２４の左側に示すように、ユーザＡがユーザＢに対面しているようなイメージで、ユーザＡが、ユーザＢに正対するように書類を配置して説明を行うとき、図２４の右上側に示すように、ユーザＡに対して書類画像４１Ａが１８０度回転して表示される。このとき、表示領域の奥側左端を原点（０，０）として、書類画像基準座標Ｆａ（ｘ，ｙ）が奥側左端となるように書類画像４１Ａが表示される。
【０１４０】
そして、通信部５５Ａにより、書類画像４１Ａの書類画像基準座標Ｆａ（ｘ，ｙ）および書類画像表示サイズがコミュニケーション処理部２５Ｂへ送信される。
【０１４１】
ステップＳ８２において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、顧客側の書類画像４１Ｂを正対表示する。
【０１４２】
このとき、図２４の右下側に示すように、表示領域の奥側左端を原点（０，０）として、書類画像４１Ａの書類画像基準座標Ｆａ（ｘ，ｙ）に対応する書類画像基準座標Ｆｂ（ｘ，ｙ）が奥側左端となり、ユーザＢに正対するように書類画像４１Ｂが表示される。ここで、書類画像４１Ｂの書類画像基準座標Ｆｂ（ｘ，ｙ）は、ステップＳ８２に示す計算式に従って、表示領域サイズ（幅1920、高さ1080）、書類画像基準座標Ｆａ（ｘ，ｙ）、および書類画像表示サイズ（幅Ｆｗ、高さＦｈ）を用いて求められる。
【０１４３】
ステップＳ８３において、コミュニケーション処理部２５Ａでは、検出結果取得部７１が、ユーザＡが指差しジェスチャによって指示した指示個所の座標を、説明者側のポインティング座標Ｐａ（ｘ，ｙ）として取得する。そして、通信部５５Ａにより、説明者側のポインティング座標Ｐａ（ｘ，ｙ）がコミュニケーション処理部２５Ｂへ送信される。
【０１４４】
ステップＳ８４において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、顧客側のポインティング座標Ｐｂ（ｘ，ｙ）を算出する。このとき、顧客側のポインティング座標Ｐｂ（ｘ，ｙ）は、ステップＳ８４に示す計算式に従って、書類画像基準座標Ｆｂ（ｘ，ｙ）、書類画像基準座標Ｆａ（ｘ，ｙ）、書類画像表示サイズ（幅Ｆｗ、高さＦｈ）、およびポインティング座標Ｐａ（ｘ，ｙ）を用いて求められる。
【０１４５】
これにより、図２４の右上側に示すような書類画像４１Ａに対するポインティング座標Ｐａ（ｘ，ｙ）に対応する個所となるように、図２４の右下側に示すような書類画像４１Ｂに対するポインティング座標Ｐｂ（ｘ，ｙ）が求められる。
【０１４６】
ステップＳ８５において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、指差し画像４２を１８０度回転表示する。ここで、図２１のＢを参照して説明したように、指差し画像基準座標Ｈ（ｘ，ｙ）は、指差し画像４２の上下方向に関係なく、ユーザから見て指差し画像４２の奥側左端に設定されている。従って、指差し画像４２を１８０度回転表示するために、指差し画像基準座標Ｈ（ｘ，ｙ）は、ステップＳ８５に示す計算式に従って、ポインティング座標Ｐｂ（ｘ，ｙ）および指差し画像表示サイズ（幅Ｈｗ、高さＨｈ）を用いて求められる。
【０１４７】
これにより、図２４の右下側に示すように、ユーザＢから見て奥側が手元となるように、ポインティング座標Ｐｂ（ｘ，ｙ）を指し示すように、指差し画像４２が表示される。
【０１４８】
図２５は、図２２のステップＳ７４で行われる第２の指差し表示処理を説明するフローチャートである。また、図２６には、第２の指差し表示処理を説明するために、ユーザＡおよびユーザＢが対面するイメージと、書類画像４１および指差し画像４２の表示方向とが示されている。
【０１４９】
ステップＳ９１において、コミュニケーション処理部２５Ａでは、表示制御部７３Ａが、説明者側の書類画像４１Ａを正対表示する。
【０１５０】
即ち、図２６の左側に示すように、ユーザＡがユーザＢに対面しているようなイメージで、ユーザＡが、ユーザＢに正対するように書類を配置して説明を行うが、ここでは、図２６の右上側に示すように、ユーザＡに対して書類画像４１Ａが正対して表示される。このとき、表示領域の奥側左端を原点（０，０）として、書類画像基準座標Ｆａ（ｘ，ｙ）が奥側左端となるように書類画像４１Ａが表示される。
【０１５１】
そして、通信部５５Ａにより、書類画像４１Ａの書類画像基準座標Ｆａ（ｘ，ｙ）および書類画像表示サイズがコミュニケーション処理部２５Ｂへ送信される。
【０１５２】
ステップＳ９２において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、顧客側の書類画像４１Ｂを正対表示する。
【０１５３】
このとき、図２６の右下側に示すように、表示領域の奥側左端を原点（０，０）として、書類画像４１Ａの書類画像基準座標Ｆａ（ｘ，ｙ）に対応する書類画像基準座標Ｆｂ（ｘ，ｙ）が奥側左端となり、ユーザＢに正対するように書類画像４１Ｂが表示される。ここで、書類画像４１Ｂの書類画像基準座標Ｆｂ（ｘ，ｙ）は、ステップＳ９２に示す計算式に従って、表示領域サイズ（幅1920、高さ1080）、書類画像基準座標Ｆａ（ｘ，ｙ）、および書類画像表示サイズ（幅Ｆｗ、高さＦｈ）を用いて求められる。
【０１５４】
ステップＳ９３において、コミュニケーション処理部２５Ａでは、検出結果取得部７１が、ユーザＡが指差しジェスチャによって指示した指示個所の座標を、説明者側のポインティング座標Ｐａ（ｘ，ｙ）として取得する。そして、通信部５５Ａにより、説明者側のポインティング座標Ｐａ（ｘ，ｙ）がコミュニケーション処理部２５Ｂへ送信される。
【０１５５】
ステップＳ９４において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、顧客側のポインティング座標Ｐｂ（ｘ，ｙ）を算出する。このとき、顧客側のポインティング座標Ｐｂ（ｘ，ｙ）は、ステップＳ９４に示す計算式に従って、書類画像基準座標Ｆｂ（ｘ，ｙ）、書類画像基準座標Ｆａ（ｘ，ｙ）、およびポインティング座標Ｐａ（ｘ，ｙ）を用いて求められる。
【０１５６】
これにより、図２６の右上側に示すような書類画像４１Ａに対するポインティング座標Ｐａ（ｘ，ｙ）に対応する個所となるように、図２６の右下側に示すような書類画像４１Ｂに対するポインティング座標Ｐｂ（ｘ，ｙ）が求められる。
【０１５７】
ステップＳ９５において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、指差し画像４２を１８０度回転表示する。ここで、図２１のＢを参照して説明したように、指差し画像基準座標Ｈ（ｘ，ｙ）は、指差し画像４２の上下方向に関係なく、ユーザから見て指差し画像４２の奥側左端に設定されている。従って、指差し画像４２を１８０度回転表示するために、指差し画像基準座標Ｈ（ｘ，ｙ）は、ステップＳ９５に示す計算式に従って、ポインティング座標Ｐｂ（ｘ，ｙ）および指差し画像表示サイズ（幅Ｈｗ、高さＨｈ）を用いて求められる。
【０１５８】
これにより、図２６の右下側に示すように、ユーザＢから見て奥側が手元となるように、ポインティング座標Ｐｂ（ｘ，ｙ）を指し示すように、指差し画像４２が表示される。
【０１５９】
図２７は、図２２のステップＳ７５で行われる第３の指差し表示処理を説明するフローチャートである。また、図２８には、第３の指差し表示処理を説明するために、ユーザＡおよびユーザＢが寄り添うイメージと、書類画像４１および指差し画像４２の表示方向とが示されている。
【０１６０】
ステップＳ１０１において、コミュニケーション処理部２５Ａでは、表示制御部７３Ａが、説明者側の書類画像４１Ａを正対表示する。
【０１６１】
即ち、図２８の左側に示すように、ユーザＡがユーザＢに寄り添っているようなイメージで、ユーザＡが、自身に正対するように書類を配置して説明を行い、図２８の右上側に示すように、ユーザＡに対して書類画像４１Ａが正対して表示される。このとき、表示領域の奥側左端を原点（０，０）として、書類画像基準座標Ｆａ（ｘ，ｙ）が奥側左端となるように書類画像４１Ａが表示される。
【０１６２】
そして、通信部５５Ａにより、書類画像４１Ａの書類画像基準座標Ｆａ（ｘ，ｙ）および書類画像表示サイズがコミュニケーション処理部２５Ｂへ送信される。
【０１６３】
ステップＳ１０２において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、顧客側の書類画像４１Ｂを正対表示する。
【０１６４】
このとき、図２８の右下側に示すように、表示領域の奥側左端を原点（０，０）として、書類画像４１Ａの書類画像基準座標Ｆａ（ｘ，ｙ）に対応する書類画像基準座標Ｆｂ（ｘ，ｙ）が奥側左端となり、ユーザＢに正対するように書類画像４１Ｂが表示される。ここで、書類画像４１Ｂの書類画像基準座標Ｆｂ（ｘ，ｙ）は、ステップＳ１０２に示す計算式に示すように、書類画像基準座標Ｆａ（ｘ，ｙ）と一致する。
【０１６５】
ステップＳ１０３において、コミュニケーション処理部２５Ａでは、検出結果取得部７１が、ユーザＡが指差しジェスチャによって指示した指示個所の座標を、説明者側のポインティング座標Ｐａ（ｘ，ｙ）として取得する。そして、通信部５５Ａにより、説明者側のポインティング座標Ｐａ（ｘ，ｙ）がコミュニケーション処理部２５Ｂへ送信される。
【０１６６】
ステップＳ１０４において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、顧客側のポインティング座標Ｐｂ（ｘ，ｙ）を算出する。このとき、顧客側のポインティング座標Ｐｂ（ｘ，ｙ）は、ステップＳ１０４に示す計算式に示すように、ポインティング座標Ｐａ（ｘ，ｙ）と一致する。
【０１６７】
即ち、図２８の右上側に示すような書類画像４１Ａに対するポインティング座標Ｐａ（ｘ，ｙ）と、図２８の右下側に示すような書類画像４１Ｂに対するポインティング座標Ｐｂ（ｘ，ｙ）は一致している。
【０１６８】
ステップＳ１０５において、コミュニケーション処理部２５Ｂでは、表示制御部７３Ｂが、指差し画像４２を正対表示する。従って、指差し画像基準座標Ｈ（ｘ，ｙ）は、ステップＳ１０５に示す計算式に示すように、ポインティング座標Ｐｂ（ｘ，ｙ）と一致する。
【０１６９】
これにより、図２８の右下側に示すように、ユーザＢから見て手前側が手元となるように、ポインティング座標Ｐｂ（ｘ，ｙ）を指し示すように、指差し画像４２が表示される。
【０１７０】
以上のように、第６のコミュニケーション処理では、ユーザＡがユーザＢに対面しているようなイメージで、または、ユーザＡがユーザＢに寄り添うようなイメージで、指差し画像４２を表示することができる。
【０１７１】
＜第７のコミュニケーション処理＞
図２９および図３０を参照して、遠隔コミュニケーションシステム１１において実行される第７のコミュニケーション処理について説明する。
【０１７２】
図２９には、顧客であるユーザＢ側のディスプレイ部２３Ｂおよびデスク型スクリーン２４Ｂでの状況の一例が示されている。
【０１７３】
例えば、第７のコミュニケーション処理では、図１１を参照して説明した第４のコミュニケーション処理と同様に、デスク型スクリーン２４Ｂに置かれているオブジェクト４５に応じて、オブジェクト４５に重ならないように書類画像４１Ｂが表示される。このとき、第７のコミュニケーション処理では、ディスプレイ部２３Ｂに表示されるユーザＡに対する書類画像４１Ｂの表示位置に応じて、指差し画像４２が右手と左手とで使い分けられる。
【０１７４】
即ち、図２９の上側に示すように、ユーザＡ側から見て左側に書類画像４１Ｂが配置されている場合、左手の指差し画像４２が表示される。そして、図２９の下側に示すように、ユーザＡ側から見て右側に書類画像４１Ｂが配置されると、右手の指差し画像４２が表示されるように表示制御が行われる。
【０１７５】
このように、遠隔コミュニケーションシステム１１では、ディスプレイ部２３Ｂに表示されるユーザＡの体軸位置を基準として、左右どちら側に書類画像４１Ｂが表示されているかに従って、右手の指差し画像４２および左手の指差し画像４２のいずれか一方が表示される。
【０１７６】
図３０には、第７のコミュニケーション処理を説明するフローチャートが示されている。
【０１７７】
例えば、図１２のステップＳ４６の処理が行われた後、処理が開始され、ステップＳ１１１で、コミュニケーション処理部２５Ｂでは、情報処理部７２Ｂが、書類画像４１Ｂの表示を調整した後の書類画像４１Ｂ内のポインティング座標を検出する。
【０１７８】
ステップＳ１１２において、情報処理部７２Ｂは、表示制御部７３Ｂによる表示制御に従ってディスプレイ部２３に表示される画像に対する画像認識を行うことにより、その画像に写されているユーザＡの体軸位置を取得する。
【０１７９】
ステップＳ１１３において、情報処理部７２Ｂは、ステップＳ１１２で取得したユーザＡの体軸位置に対する書類画像４１Ｂの表示位置が、ディスプレイ部２３Ｂ側から見て右手側および左手側のどちらであるかを判定する。
【０１８０】
ステップＳ１１３において、情報処理部７２Ｂが、ユーザＡの体軸位置に対する書類画像４１Ｂの表示位置が右手側であると判定した場合、処理はステップＳ１１４に進む。ステップＳ１１４において、表示制御部７３Ｂは、ステップＳ１１１で検出されたポインティング座標に従って、右手の指差し画像４２を表示するようにプロジェクタ本体３１Ｂを制御する。これに応じて、プロジェクタ本体３１Ｂは、書類画像４１Ｂ内のポインティング座標を指し示すように、デスク型スクリーン２４Ｂに右手の指差し画像４２を表示した後、処理は終了される。
【０１８１】
一方、ステップＳ１１３において、情報処理部７２Ｂが、ユーザＡの体軸位置に対する書類画像４１Ｂの表示位置が左手側であると判定した場合、処理はステップＳ１１５に進む。ステップＳ１１５において、表示制御部７３Ｂは、ステップＳ１１１で検出されたポインティング座標に従って、左手の指差し画像４２を表示するようにプロジェクタ本体３１Ｂを制御する。これに応じて、プロジェクタ本体３１Ｂは、書類画像４１Ｂ内のポインティング座標を指し示すように、デスク型スクリーン２４Ｂに左手の指差し画像４２を表示した後、処理は終了される。
【０１８２】
以上のように、第７のコミュニケーション処理では、書類画像４１Ｂの配置に応じて右手の指差し画像４２および左手の指差し画像４２の表示を切り替えることで、ユーザＡによる指差しに違和感が生じることを回避することができる。
【０１８３】
＜第８のコミュニケーション処理＞
図３１および図３２を参照して、遠隔コミュニケーションシステム１１において実行される第８のコミュニケーション処理について説明する。
【０１８４】
図３１には、顧客であるユーザＢ側のディスプレイ部２３Ｂおよびデスク型スクリーン２４Ｂでの状況の一例が示されている。
【０１８５】
例えば、第８のコミュニケーション処理では、図２９を参照して説明した第７のコミュニケーション処理と同様に、ディスプレイ部２３Ｂに表示されるユーザＡに対する書類画像４１Ｂの表示位置に応じて、指差し画像４２が右手と左手とで使い分けられる。このとき、例えば、ユーザＡが右手で書類画像４１Ａの指差しを行っていて、ユーザの左手がディスプレイ部２３Ｂに表示されているような状況で、書類画像４１Ｂの表示位置がユーザＡの左側である場合、左手の指差し画像４２がデスク型スクリーン２４Ｂに表示されることになる。
【０１８６】
即ち、図３１の上側に示すように、ユーザＡの左手がディスプレイ部２３Ｂに表示されているにもかかわらず、左手の指差し画像４２がデスク型スクリーン２４Ｂに表示されることになる。従って、この場合、ユーザＡの左手をマスク表示するような表示制御を行うことで、図３１の下側に示すように、左手の指差し画像４２がデスク型スクリーン２４Ｂに表示されているときには、ユーザの左手がディスプレイ部２３Ｂに非表示となるようにすることができる。
【０１８７】
このように、遠隔コミュニケーションシステム１１では、ディスプレイ部２３Ｂに表示されているユーザＡの手と同じ側の手の指差し画像４２がデスク型スクリーン２４Ｂされるときには、ユーザＡの手が表示されることが回避される。
【０１８８】
図３２には、第８のコミュニケーション処理を説明するフローチャートが示されている。
【０１８９】
例えば、図３０のステップＳ１１４またはＳ１１５の処理が行われた後、処理が開始され、ステップＳ１２１において、情報処理部７２Ｂは、表示制御部７３Ｂによる表示制御に従ってディスプレイ部２３に表示される画像に対する画像認識を行うことにより、その画像に写されているユーザＡの手を認識する。
【０１９０】
ステップＳ１２２において、情報処理部７２Ｂは、ステップＳ１２１で認識したユーザＡの手が、デスク型スクリーン２４Ｂに表示中の指差し画像４２の手と同じ側か否かを判定する。例えば、情報処理部７２Ｂは、ステップＳ１２１で認識したユーザＡの手が右手であり、図３０のステップＳ１１４で右手の指差し画像４２を表示していた場合、それらの手は同じ側であると判定する。一方、情報処理部７２Ｂは、ステップＳ１２１で認識したユーザＡの手が右手であり、図３０のステップＳ１１５で左手の指差し画像４２を表示していた場合、それらの手は同じ側でないと判定する。なお、ステップＳ１２１で認識したユーザＡの手が左手である場合にも、同様の判定を行うことができる。
【０１９１】
ステップＳ１２２において、情報処理部７２Ｂが、ステップＳ１２１で認識したユーザＡの手が、指差し画像４２の手と同じ側であると判定した場合、処理はステップＳ１２３に進む。ステップＳ１２３において、表示制御部７３Ｂは、画像に写されているユーザＡの腕部分を背景画像でマスクするようにディスプレイ部２３Ｂを制御する。これに応じて、ディスプレイ部２３Ｂは、画像に写されているユーザＡの腕部分を背景画像でマスクし、ユーザＡの腕部分を非表示とする。
【０１９２】
ステップＳ１２３の処理後、または、ステップＳ１２２において、情報処理部７２Ｂが、ステップＳ１２１で認識したユーザＡの手が、指差し画像４２の手と同じ側でないと判定した場合、処理は終了される。
【０１９３】
以上のように、第８のコミュニケーション処理では、ディスプレイ部２３Ｂに写されるユーザＡの手と、指差し画像４２の手とが同じ側である場合、ユーザＡの手が表示されないようにすることで、同じ側の手が競合することによって違和感が生じることを回避することができる。
【０１９４】
そして、遠隔コミュニケーションシステム１１では、上述した第１乃至第８のコミュニケーション処理を行うことによって、説明者であるユーザＡにも顧客であるユーザＢにも、より良好なユーザ体験を提供することができる。
【０１９５】
＜遠隔コミュニケーションシステムの第２の構成例＞
図３３は、本技術を適用した遠隔コミュニケーションシステムの第２の実施の形態の構成例を示すブロック図である。なお、図３３に示す遠隔コミュニケーションシステム１１−２において、図１の遠隔コミュニケーションシステム１１と共通する構成については、同一の符号を付し、その詳細な説明は省略する。
【０１９６】
即ち、遠隔コミュニケーションシステム１１−２は、図１の遠隔コミュニケーションシステム１１と同様に、ネットワーク１２を介してコミュニケーション端末１３Ａおよび１３Ｂ−２が接続されている。そして、遠隔コミュニケーションシステム１１−２は、コミュニケーション端末１３Ｂ−２が、生体センサ２６を有して構成される点で、図１の遠隔コミュニケーションシステム１１とは異なる構成となっている。
【０１９７】
生体センサ２６は、例えば、心拍計などにより構成され、ユーザＢの心拍などをセンシングして、そのセンシング信号をコミュニケーション処理部２５Ｂに供給する。そして、コミュニケーション処理部２５Ｂでは、検出結果取得部７１Ｂ（図２参照）が、生体センサ２６から供給されるセンシング信号に基づいてユーザＢの生体情報を検出する。
【０１９８】
なお、生体情報としては、ユーザＢの心拍の他、例えば、ユーザＢの発汗量や、ユーザＢの視線、ユーザＢの脳波、ユーザＢの顔色などを用いてもよい。
【０１９９】
従って、遠隔コミュニケーションシステム１１−２では、ユーザＢの生体情報に基づいて、例えば、ユーザＢ側で表示される、ユーザＡが写された画像の表示を調整することができる。
【０２００】
ここで、図３４および図３５を参照して、遠隔コミュニケーションシステム１１−２において行われるコミュニケーション処理の一例について、その概略を説明する。
【０２０１】
図３４において、破線より下側には、コミュニケーション端末１３Ａで行われる処理が示されており、破線より上側には、コミュニケーション端末１３Ｂで行われる処理が示されている。
【０２０２】
例えば、コミュニケーション端末１３Ｂ側では、生体センサ２６がユーザＢをセンシングした結果得られるセンシング信号に基づいて、ユーザＢの生体情報を取得する生体センシング処理が行われる。生体センシング処理では、検出結果取得部７１Ｂが、ユーザＢの脈拍の速さや汗の状態などの生体情報を検出結果として取得し、通信部５５Ｂを介して、ユーザＢの生体情報がコミュニケーション端末１３Ａへ送信される。
【０２０３】
さらに、コミュニケーション端末１３Ｂ側では、カメラ２１Ｂにより撮像された撮像画像に対して、ユーザ認識処理が行われる。例えば、ユーザ認識処理では、情報処理部７２Ｂが、撮像画像に写されているユーザＢを認識するとともに、撮像画像においてユーザＢが表示されている表示位置を取得し、通信部５５Ｂを介して、ユーザＢの表示位置がコミュニケーション端末１３Ａへ送信される。
【０２０４】
一方、コミュニケーション端末１３Ａ側では、情報処理部７２Ａが、カメラ２１Ａにより撮像された撮像画像から、予め取得されて記憶部５４Ａに記憶されている背景画像を差し引くことで、ユーザＡおよびユーザＣが写された領域を前景画像として取得する。さらに、情報処理部７２Ａは、個々のユーザを認識し、前景画像からユーザを分離するユーザ分離処理を行って、ユーザＡが写されたユーザ画像と、ユーザＣが写されたユーザ画像とを取得する。
【０２０５】
また、コミュニケーション端末１３Ａ側では、情報処理部７２Ａが、カメラ２１Ａにより撮像された撮像画像に対するユーザ認識処理を行う。例えば、記憶部５４Ａには、遠隔コミュニケーションに参加するユーザの顔情報が登録されたデータベースが記憶されており、ユーザＡが説明者として登録されている場合、情報処理部７２Ａは、そのデータベースに基づいたマッチングを行うことにより、撮像画像に写されているユーザＡを説明者とするユーザ認識結果を取得する。このとき、情報処理部７２Ａは、データベースに顔情報が登録されていないユーザＣを傍観者とするユーザ認識結果を取得する。
【０２０６】
そして、情報処理部７２Ａは、コミュニケーション端末１３Ｂから送信されてくるユーザＢの生体情報および位置情報、並びに、ユーザ認識処理によるユーザ認識結果に基づいて、コミュニケーションを行っている複数のユーザのコンテクストを認識し、ユーザどうしの関係性を特定するコンテクスト認識関係性特定処理を行う。
【０２０７】
コンテクスト認識関係性特定処理では、例えば、ユーザＢの生体情報に基づいて、ユーザＢの心理状態が解析され、ユーザＢが緊張しているか否かなどが判定される。また、コンテクスト認識関係性特定処理では、ユーザ認識結果に基づいて、ユーザＡが説明者であり、ユーザＢが顧客であるという関係性が特定されるとともに、ユーザＣが傍観者であることより、ユーザＢ側にユーザＣを表示させないと設定される。そして、コンテクスト認識関係性特定処理では、ユーザ認識結果に基づく関係性、および、ユーザＢの表示位置に基づいて、ユーザＢ側で表示されるユーザＡの表示位置を調整する位置パラメータＸが求められる。
【０２０８】
さらに、コミュニケーション端末１３Ａ側では、情報処理部７２Ａが、ユーザＢ側で表示されるユーザＡの表示位置を調整する表示位置調整処理を行う。表示位置調整処理では、図３６および図３７を参照して後述するように、ユーザＡのユーザ画像が位置パラメータＸに従った表示位置となるように、記憶部５４Ａから読み出した任意の背景イメージに対して、ユーザＡのユーザ画像が重畳される。また、表示位置調整処理では、図３８を参照して後述するように、ユーザＡのユーザ画像を表示する際の表示サイズを調整することもできる。
【０２０９】
なお、背景イメージとして、前景画像を分離するのに用いた背景画像を用いてもよい。また、傍観者であるユーザＣのユーザ画像は使用されない。そして、表示位置調整処理によって背景イメージにユーザＡのユーザ画像を合成して生成（再構築）された画像が、送信画像として通信部５５Ａを介してコミュニケーション端末１３Ｂへ送信される。
【０２１０】
ここで、図３５を参照して、表示位置調整処理におけるユーザＡの表示位置の調整について説明する。
【０２１１】
例えば、図３５のＡに示すように、ユーザＡおよびユーザＣが写された撮像画像が取得される。また、図３５のＢに示すように、送信画像の左端下を原点（０，０）として、Ｘ軸方向の位置座標が設定される。そして、図３５のＣに示すように、位置パラメータＸを増加または減少することにより、ユーザＡのユーザ画像の表示位置が調整される。例えば、位置パラメータＸが0.5であるとき、送信画像におけるＸ軸方向の中心にユーザＡのユーザ画像が重畳される。同様に、位置パラメータＸが0.3であるとき、送信画像の左側にユーザＡのユーザ画像が重畳され、位置パラメータＸが0.7であるとき、送信画像の右側にユーザＡのユーザ画像が重畳される。
【０２１２】
以下では、位置パラメータＸを使用した表示位置の調整について、具体的なユースケースに基づいて説明する。
【０２１３】
例えば、遠隔コミュニケーションシステム１１−２を利用して、営業担当（ユーザＡ）が初対面の顧客（ユーザＢ）に話しかけるユースケースにおいて、顧客は、ディスプレイ部２３Ｂに表示される営業担当を見るとき、売り込みの威圧感を感じたくない（同様に、営業担当側も感じさせたくない）という心理がある。一方、営業担当が、ディスプレイ部２３Ｂに表示される顧客を見るときには、顧客の表情を正面からしっかり観察して、顧客の興味や購買意欲の変化を読み取りたいというニーズがある。
【０２１４】
従って、このようなユースケースでは、営業担当を表示する位置パラメータＸの初期値は0.7に設定され、顧客を表示する位置パラメータＸの初期値は0.5に設定される。一般的に、営業担当を正面の中央に表示すると顧客に対する心理的な威圧感が最も高く、営業担当を中央からずらした分だけ威圧感が低減すると考えられる。また、営業担当を中央からずらす左右方向に関しては、一般的に、左上から注視する傾向が人間にはあることより、左側にずらすように位置パラメータＸを設定（即ち、図３５のＣの左側）することで注視が強くなるような表示制御となる。一方、右側にずらすように位置パラメータＸを設定（即ち、図３５のＣの右側）することで威圧感が気にならないような表示制御となる。
【０２１５】
また、遠隔コミュニケーションシステム１１−２を利用して、医者（ユーザＡ）が初対面の患者（ユーザＢ）に問診するユースケースでは、患者に緊張感を与えないようにすることが好ましい。そこで、患者の腕に生体センサ２６を装着させて、心拍の速さから緊張状態を認識することで、例えば、患者の緊張状態が高ければ、威圧感を低減させるように、右側に少しずつずらすように医者を表示する表示制御が行われる。これにより、患者の緊張状態が低くなると、中央に向かって左側に少しずつずらすように医者を表示する表示制御が行われる。
【０２１６】
さらに、上述したようなユースケースで、ユーザ画像の表示サイズを表すスケールパラメータＳの初期値を100%に設定し、ユーザ画像の表示位置と同様に、顧客または患者の緊張状態が高い場合には、例えば、ユーザ画像を80％まで縮小するような表示制御が行われる。これにより、営業担当または医者の威圧感を低減させるような心理的な効果を与えることができる。
【０２１７】
以上のように、遠隔コミュニケーションシステム１１−２では、生体情報に従って表示位置または表示サイズを調整することができ、例えば、威圧感を与えずに緊張感を低減させることで、より良好な遠隔コミュニケーションを図ることができる。
【０２１８】
なお、遠隔コミュニケーションシステム１１−２は、通信負荷の低減を図るために、生体情報の生データを送信するのではなく、生体情報から認識されるユーザの心理状態に変化が生じたときのみ、その変化を示す情報を送信するようにしてもよい。例えば、生体情報から認識されるユーザの心理状態としては、”緊張している”、”興味を持っている”、”ストレスを感じている”、または”眠さを感じている”などが用いられ、それらの変化を示す情報が送信される。
【０２１９】
＜第９のコミュニケーション処理＞
図３６には、第９のコミュニケーション処理の第１の処理例を説明するフローチャートが示されている。
【０２２０】
ステップＳ１３１において、コミュニケーション処理部２５Ａでは、情報処理部７２Ａが、ユーザＡのユーザ画像の表示位置を示す位置パラメータＸの初期値（例えば、Ｘ＝0.5）を設定する。
【０２２１】
ステップＳ１３２において、コミュニケーション処理部２５Ｂでは、検出結果取得部７１Ｂが生体センシング処理を行うことにより、例えば、生体センサ２６によりセンシングされたユーザＢの心拍データを読み取って、検出結果として取得する。そして、通信部５５Ｂが、送検出結果をコミュニケーション端末１３Ａへ送信する。
【０２２２】
ステップＳ１３３において、情報処理部７２Ａは、ステップＳ１３２で送信されてくるユーザＢの心拍データに基づいて心理状態を解析し、ユーザＢの緊張状態が高いか低いかを判定する。
【０２２３】
ステップＳ１３３において、情報処理部７２Ａが、ユーザＢの緊張状態は高いと判定した場合、処理はステップＳ１３４に進む。ステップＳ１３４において、情報処理部７２Ａは、現時点における位置パラメータＸは、上限値として予め設定されている第１の位置パラメータ閾値（例えば、0.8）以下であるか否かを判定する。
【０２２４】
ステップＳ１３４において、情報処理部７２Ａが、現時点における位置パラメータＸは第１の位置パラメータ閾値以下であると判定した場合、処理はステップＳ１３５に進む。ステップＳ１３５において、情報処理部７２Ａは、位置パラメータＸを所定の増加量で増加（例えば、X=X+0.001）した後、処理はステップＳ１３８に進む。
【０２２５】
一方、ステップＳ１３４において、情報処理部７２Ａが、現時点における位置パラメータＸは第１の位置パラメータ閾値以下でないと判定した場合、処理はステップＳ１３５をスキップして、ステップＳ１３８に進む。即ち、この場合、現時点における位置パラメータＸは既に第１の位置パラメータ閾値となっているため、これ以上の位置パラメータＸの増加は行われない。
【０２２６】
一方、ステップＳ１３３において、情報処理部７２Ａが、ユーザＢの緊張状態は低いと判定した場合、処理はステップＳ１３６に進む。ステップＳ１３６において、情報処理部７２Ａは、現時点における位置パラメータＸは、下限値として予め設定されている第２の位置パラメータ閾値（例えば、0.5）より大きいか否かを判定する。
【０２２７】
ステップＳ１３６において、情報処理部７２Ａが、現時点における位置パラメータＸは第２の位置パラメータ閾値より大きいと判定した場合、処理はステップＳ１３７に進む。ステップＳ１３７において、情報処理部７２Ａは、位置パラメータＸを所定の減少量で減少（例えば、X=X-0.001）した後、処理はステップＳ１３８に進む。
【０２２８】
一方、ステップＳ１３６において、情報処理部７２Ａが、現時点における位置パラメータＸは第２の位置パラメータ閾値以下でないと判定した場合、処理はステップＳ１３７をスキップして、ステップＳ１３８に進む。即ち、この場合、現時点における位置パラメータＸは既に第２の位置パラメータ閾値となっているため、これ以上の位置パラメータＸの減少は行われない。
【０２２９】
ステップＳ１３８において、情報処理部７２Ａは、位置パラメータＸを、ユーザＡが写されたユーザ画像のＸ方向の座標Ｘとして、ユーザＡが写されたユーザ画像の表示位置を調整する。そして、情報処理部７２Ａは、その調整後の表示位置で、ユーザＡが写されたユーザ画像を背景イメージの前景として重畳して送信画像を生成する。その後、通信部５５Ａが、送信画像をコミュニケーション端末１３Ｂへ送信し、その送信画像がディスプレイ部２３Ｂに表示される。
【０２３０】
ステップＳ１３９において、情報処理部７２Ａは、コミュニケーション端末１３Ｂ側への画像の表示を終了するか否かを判定し、表示を終了しないと判定された場合、処理はステップＳ１３２に戻り、以下、同様の処理が繰り返して行われる。
【０２３１】
一方、ステップＳ１３９において、情報処理部７２Ａが、表示を終了すると判定した場合、処理は終了される。
【０２３２】
以上のように、第９のコミュニケーション処理の第１の処理例は、例えば、上述したように、営業担当（ユーザＡ）が顧客（ユーザＢ）に話しかけるユースケースに適用することで、営業担当が顧客に威圧感を与えずに、良好な遠隔コミュニケーションを図ることができる。
【０２３３】
ここで、図３６に示すフローチャートの処理では、ユーザＡを表示する際の初期の表示位置が、ディスプレイ部２３Ｂの中央（即ち、位置パラメータＸ＝0.5）に設定されている。これに対し、例えば、カメラ２１Ａにより撮像された撮像画像に写されているユーザＡの位置に応じて、ユーザＡの初期の表示位置を設定してもよい。
【０２３４】
図３７には、第９のコミュニケーション処理の第２の処理例を説明するフローチャートが示されている。
【０２３５】
ステップＳ１４１において、コミュニケーション処理部２５Ａでは、情報処理部７２Ａが、カメラ２１Ａにより撮像された撮像画像に写されているユーザＡの位置を認識し、ユーザＡの基準となる表示位置としてユーザ位置Ｘ１を設定する。
【０２３６】
ステップＳ１４２において、情報処理部７２Ａは、ユーザＡの表示位置を調整するための位置調整量αの初期値（例えば、α＝０）を設定する。
【０２３７】
ステップＳ１４３およびＳ１４４では、図３６のステップＳ１３２およびＳ１３３と同様の処理が行われ、ステップＳ１４４において、情報処理部７２Ａが、ユーザＢの緊張状態は高いと判定した場合、処理はステップＳ１４５に進む。ステップＳ１４５において、情報処理部７２Ａは、現時点における位置調整量αは、上限値として予め設定されている第１の位置調整量閾値（例えば、0.4）以下であるか否かを判定する。
【０２３８】
ステップＳ１４５において、情報処理部７２Ａが、現時点における位置調整量αは第１の位置調整量閾値以下であると判定した場合、処理はステップＳ１４６に進む。ステップＳ１４６において、情報処理部７２Ａは、位置調整量αを所定の増加量で増加（例えば、α=α+0.001）した後、処理はステップＳ１４９に進む。
【０２３９】
一方、ステップＳ１４５において、情報処理部７２Ａが、現時点における位置調整量αは第１の位置調整量閾値以下でないと判定した場合、処理はステップＳ１４６をスキップして、ステップＳ１４９に進む。即ち、この場合、現時点における位置調整量αは第１の位置調整量閾値となっているため、これ以上の位置調整量αの増加は行われない。
【０２４０】
一方、ステップＳ１４４において、情報処理部７２Ａが、ユーザＢの緊張状態は低いと判定した場合、処理はステップＳ１４７に進む。ステップＳ１４７において、情報処理部７２Ａは、現時点における位置調整量αは、下限値として予め設定されている第２の位置調整量閾値（例えば、０）より大きいか否かを判定する。
【０２４１】
ステップＳ１４７において、情報処理部７２Ａが、現時点における位置調整量αは第２の位置調整量閾値より大きいと判定した場合、処理はステップＳ１４８に進む。ステップＳ１４８において、情報処理部７２Ａは、位置調整量αを所定の減少量で減少（例えば、α=α-0.001）した後、処理はステップＳ１４９に進む。
【０２４２】
一方、ステップＳ１４７において、情報処理部７２Ａが、現時点における位置調整量αは第２の位置調整量閾値以下でないと判定した場合、処理はステップＳ１４８をスキップして、ステップＳ１４９に進む。即ち、この場合、現時点における位置調整量αは第２の位置調整量閾値となっているため、これ以上の位置調整量αの減少は行われない。
【０２４３】
ステップＳ１４９において、情報処理部７２Ａは、ユーザ位置Ｘ１をユーザＡの基準となる表示位置として、位置調整量αに従って、ユーザＡが写されたユーザ画像のＸ方向の座標Ｘを調整（Ｘ１＋α）し、その調整後の表示位置で、ユーザＡが写されたユーザ画像を背景イメージの前景として重畳して送信画像を生成する。そして、通信部５５Ａが、送信画像をコミュニケーション端末１３Ｂへ送信し、その送信画像がディスプレイ部２３Ｂに表示される。
【０２４４】
ステップＳ１５０において、情報処理部７２Ａは、コミュニケーション端末１３Ｂ側への画像の表示を終了するか否かを判定し、表示を終了しないと判定された場合、処理はステップＳ１４３に戻り、以下、同様の処理が繰り返して行われる。
【０２４５】
一方、ステップＳ１５０において、情報処理部７２Ａが、表示を終了すると判定した場合、処理は終了される。
【０２４６】
以上のように、第９のコミュニケーション処理の第２の処理例では、例えば、上述したように、医者（ユーザＡ）が患者（ユーザＢ）を問診するユースケースに適用することで、医者が患者に威圧感を与えずに、良好な遠隔コミュニケーションを図ることができる。
【０２４７】
＜第１０のコミュニケーション処理＞
図３８には、第１０のコミュニケーション処理を説明するフローチャートが示されている。
【０２４８】
ステップＳ１６１において、コミュニケーション処理部２５Ａでは、情報処理部７２Ａが、ユーザＡのユーザ画像の表示サイズを表すスケールパラメータＳの初期値（例えば、Ｓ＝100％）を設定する。
【０２４９】
ステップＳ１６２およびＳ１６３では、図３６のステップＳ１３２およびＳ１３３と同様の処理が行われ、ステップＳ１６３において、情報処理部７２Ａが、ユーザＢの緊張状態は高いと判定した場合、処理はステップＳ１６４に進む。ステップＳ１６４において、情報処理部７２Ａは、現時点におけるスケールパラメータＳは、下限値として予め設定されている第１のスケールパラメータ閾値（例えば、80％）より大きいか否かを判定する。
【０２５０】
ステップＳ１６５において、情報処理部７２Ａが、現時点におけるスケールパラメータＳは第１のスケールパラメータ閾値より大きいと判定した場合、処理はステップＳ１６５に進む。ステップＳ１６５において、情報処理部７２Ａは、スケールパラメータＳを所定の減少量で減少（例えば、Ｓ=Ｓ-0.001）した後、処理はステップＳ１６８に進む。
【０２５１】
一方、ステップＳ１６４において、情報処理部７２Ａが、現時点におけるスケールパラメータＳは第１のスケールパラメータ閾値より大きくないと判定した場合、処理はステップＳ１６５をスキップして、ステップＳ１６８に進む。即ち、この場合、現時点におけるスケールパラメータＳは第１のスケールパラメータ閾値となっているため、これ以上のスケールパラメータＳの減少は行われない。
【０２５２】
一方、ステップＳ１６３において、情報処理部７２Ａが、ユーザＢの緊張状態は低いと判定した場合、処理はステップＳ１６６に進む。ステップＳ１６６において、情報処理部７２Ａは、現時点におけるスケールパラメータＳは、上限値として予め設定されている第２のスケールパラメータ閾値（例えば、100％）以下であるか否かを判定する。
【０２５３】
ステップＳ１６６において、情報処理部７２Ａが、現時点におけるスケールパラメータＳは第２のスケールパラメータ閾値以下であると判定した場合、処理はステップＳ１６７に進む。ステップＳ１６７において、情報処理部７２Ａは、スケールパラメータＳを所定の増加量で増加（例えば、Ｓ=Ｓ+0.001）した後、処理はステップＳ１６８に進む。
【０２５４】
一方、ステップＳ１６６において、情報処理部７２Ａが、現時点におけるスケールパラメータＳは第２のスケールパラメータ閾値以下でないと判定した場合、処理はステップＳ１６７をスキップして、ステップＳ１６８に進む。即ち、この場合、現時点におけるスケールパラメータＳは第２のスケールパラメータ閾値となっているため、これ以上のスケールパラメータＳの増加は行われない。
【０２５５】
ステップＳ１６８において、情報処理部７２Ａは、スケールパラメータＳに従って、ユーザＡが写されたユーザ画像を表示する際の表示サイズを調整し、その調整後の表示サイズで、ユーザＡが写されたユーザ画像を背景イメージの前景として重畳して送信画像を生成する。そして、通信部５５Ａが、送信画像をコミュニケーション端末１３Ｂへ送信し、その送信画像がディスプレイ部２３Ｂに表示される。
【０２５６】
ステップＳ１６９において、情報処理部７２Ａは、コミュニケーション端末１３Ｂ側への画像の表示を終了するか否かを判定し、表示を終了しないと判定された場合、処理はステップＳ１６２に戻り、以下、同様の処理が繰り返して行われる。
【０２５７】
一方、ステップＳ１６９において、情報処理部７２Ａが、表示を終了すると判定した場合、処理は終了される。
【０２５８】
以上のように、第１０のコミュニケーション処理は、上述した第９のコミュニケーション処理とともに、営業担当（ユーザＡ）が顧客（ユーザＢ）に話しかけるユースケースや、医者（ユーザＡ）が患者（ユーザＢ）を問診するユースケースに適用することができる。
【０２５９】
以上のように、遠隔コミュニケーションシステム１１−２は、実際の対面コミュニケーションに近い環境で遠隔コミュニケーションを行うことができ、より自然なコミュニケーションを図ることができる。さらに、遠隔コミュニケーションシステム１１−２は、コミュニケーションの目的に応じて、実際の対面コミュニケーションでは実現できないような意図的な環境を提供し、例えば、緊張状態を認識して威圧感を与えないように、コミュニケーションを主導することができる。
【０２６０】
＜遠隔コミュニケーションシステムの第３の構成例＞
図３９は、本技術を適用した遠隔コミュニケーションシステムの第３の実施の形態の構成例を示すブロック図である。なお、図３９に示す遠隔コミュニケーションシステム１１−３において、図１の遠隔コミュニケーションシステム１１と共通する構成については、同一の符号を付し、その詳細な説明は省略する。
【０２６１】
即ち、遠隔コミュニケーションシステム１１−３は、図１の遠隔コミュニケーションシステム１１と同様に、ネットワーク１２を介してコミュニケーション端末１３Ａ−３および１３Ｂ−３が接続されている。また、コミュニケーション端末１３Ａ−３は、検出結果取得部７１Ａおよび表示制御部７３Ａを有しており、コミュニケーション端末１３Ｂ−３は、検出結果取得部７１Ｂおよび表示制御部７３Ｂを有している。
【０２６２】
そして、遠隔コミュニケーションシステム１１−３は、情報処理部７２を有しているサーバ装置１４がネットワーク１２に接続されて構成される点で、図１の遠隔コミュニケーションシステム１１と異なる構成となっている。
【０２６３】
即ち、図１の遠隔コミュニケーションシステム１１では、コミュニケーション端末１３Ａおよび１３Ｂが、それぞれ検出結果取得部７１、情報処理部７２、および表示制御部７３を有する構成であった。これに対し、遠隔コミュニケーションシステム１１−３では、サーバ装置１４が情報処理部７２を有し、ネットワーク１２を介してコミュニケーション端末１３Ａ−３および１３Ｂ−３と通信を行って、上述したような情報処理部７２が実行する各種の処理が、ネットワーク１２を介して行われるような構成となっている。
【０２６４】
このような構成の遠隔コミュニケーションシステム１１−３においても、図１の遠隔コミュニケーションシステム１１、および、図３３の図１の遠隔コミュニケーションシステム１１−２と同様に、より良好なユーザ体験を提供することができる。
【０２６５】
＜コンピュータの構成例＞
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２６６】
図４０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０２６７】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２６８】
あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２６９】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２７０】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０２７１】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０２７２】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２７３】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２７４】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２７５】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２７６】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２７７】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２７８】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２７９】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０２８０】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０２８１】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０２８２】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０２８３】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
少なくとも二人のユーザにより、ネットワークを介して送受信される互いの画像を見ながらコミュニケーションが行われる際に、いずれかの前記ユーザをセンシングした結果として得られる検出結果に基づいて、どちらか一方の前記ユーザ側で提示される提示内容を、他方の前記ユーザ側と異なるものとする情報処理を行う情報処理部
を備える情報処理装置。
（２）
前記検出結果を取得する検出結果取得部と、
前記情報処理部による情報処理に従って、前記提示内容となる画像を表示させる表示制御を行う表示制御部と
をさらに備える上記（１）に記載の情報処理装置。
（３）
前記検出結果取得部は、一方の前記ユーザの手の動きを前記検出結果として取得し、
前記情報処理部は、前記検出結果に基づいて、一方の前記ユーザが所定の指示個所を指示する指差しジェスチャを行ったと認識した場合、前記指示個所を取得し、
前記表示制御部は、前記指示個所を指し示す指差し画像を、他方の前記ユーザ側で表示させる表示制御を行う
上記（２）に記載の情報処理装置。
（４）
一方の前記ユーザ側には、他方の前記ユーザ側と前記画像の表示を共有する共有エリアが設定されており、
前記情報処理部は、前記指示個所が前記共有エリア内である場合に、前記表示制御部に前記指差し画像の表示制御を行わせる
上記（３）に記載の情報処理装置。
（５）
一方の前記ユーザ側には、他方の前記ユーザ側と共有する書類画像を内側に囲うように前記共有エリアが設定されており、
前記情報処理部は、前記検出結果に基づいて、一方の前記ユーザが前記書類画像の所定の項目をタップするタップジェスチャを行ったと認識した場合、前記項目に関連する関連情報を取得し、
前記表示制御部は、前記関連情報を表す関連情報画像を、他方の前記ユーザ側で表示させる表示制御を行い、
前記情報処理部は、前記書類画像および前記関連情報画像を囲うように前記共有エリアを更新する
上記（４）に記載の情報処理装置。
（６）
一方の前記ユーザ側には、他方の前記ユーザ側と共有する少なくとも１以上の共有オブジェクトを内側に囲うように前記共有エリアが設定されており、
前記情報処理部は、前記検出結果に基づいて、一方の前記ユーザが前記共有オブジェクトの個数を変化させたことを認識した場合、１または複数の前記共有オブジェクトを囲うように前記共有エリアを更新する
上記（４）に記載の情報処理装置。
（７）
前記表示制御部は、第１の前記書類画像と第２の前記書類画像との間に、他方の前記ユーザ側と非共有とするプライベートエリアが設定されていて、一方の前記ユーザが前記指差しジェスチャのまま第１の前記書類画像から第２の前記書類画像へ指先を移動させることが認識された場合、前記指先が前記プライベートエリアにある間、前記指差し画像を非表示とする表示制御を行う
上記（５）に記載の情報処理装置。
（８）
前記表示制御部は、第１の前記書類画像と第２の前記書類画像との間に、他方の前記ユーザ側と非共有とするプライベートエリアが設定されていて、一方の前記ユーザが前記指差しジェスチャのまま第１の前記書類画像から第２の前記書類画像へ指先を移動させることが認識された場合、前記指先が前記プライベートエリアにある間、第１の前記書類画像において最後に認識された前記指示個所で前記指差し画像の表示の更新を停止する表示制御を行う
上記（５）に記載の情報処理装置。
（９）
前記表示制御部は、
一方の前記ユーザ側において、前記書類画像を、一方の前記ユーザから見て奥側を下方向として表示させる表示制御を行い、
他方の前記ユーザ側において、前記書類画像を、他方の前記ユーザから見て手前側を下方向として表示させるとともに、前記指差し画像の手元が、他方の前記ユーザから見て奥側となるように表示させる表示制御を行う
上記（５）に記載の情報処理装置。
（１０）
前記表示制御部は、
一方の前記ユーザ側において、前記書類画像を、一方の前記ユーザから見て手前側を下方向として表示させる表示制御を行い、
他方の前記ユーザ側において、前記書類画像を、他方の前記ユーザから見て手前側を下方向として表示させるとともに、前記指差し画像の手元が、他方の前記ユーザから見て奥側となるように表示させる表示制御を行う
上記（５）に記載の情報処理装置。
（１１）
前記表示制御部は、
一方の前記ユーザ側において、前記書類画像を、一方の前記ユーザから見て手前側を下方向として表示させる表示制御を行い、
他方の前記ユーザ側において、前記書類画像を、他方の前記ユーザから見て手前側を下方向として表示させるとともに、前記指差し画像の手元が、他方の前記ユーザから見て手前側となるように表示させる表示制御を行う
上記（５）に記載の情報処理装置。
（１２）
前記検出結果取得部は、他方の前記ユーザ側で前記画像を表示する表示領域に置かれているオブジェクトを、前記検出結果として取得し、
前記表示制御部は、前記オブジェクトが置かれている領域以外の空きスペースに収まるように、前記画像を表示する
上記（３）から（１１）までのいずれかに記載の情報処理装置。
（１３）
前記表示制御部は、前記空きスペースに前記画像を表示したとき、他方の前記ユーザ側に表示される一方の前記ユーザの画像における体軸位置を基準として、右手の前記指差し画像と左手の前記指差し画像との表示を切り替える表示制御を行う
上記（１２）に記載の情報処理装置。
（１４）
前記表示制御部は、
右手の前記指差し画像を表示しているときに一方の前記ユーザの画像に右手が写されている場合には、前記ユーザの画像における右手を非表示とし、
左手の前記指差し画像を表示しているときに一方の前記ユーザの画像に左手が写されている場合には、前記ユーザの画像における左手を非表示とする
上記（１３）に記載の情報処理装置。
（１５）
前記検出結果取得部は、他方の前記ユーザの生体情報を前記検出結果として取得し、
前記情報処理部は、前記生体情報に基づいて、他方の前記ユーザ側に表示される一方の前記ユーザの画像における、一方の前記ユーザの表示位置または表示サイズを調整する
上記（２）に記載の情報処理装置。
（１６）
前記情報処理部は、一方の前記ユーザと他方の前記ユーザとの関係性を認識し、前記関係性に基づいて、一方の前記ユーザの表示位置または表示サイズを調整する
上記（１５）に記載の情報処理装置。
（１７）
少なくとも二人のユーザにより、ネットワークを介して送受信される互いの画像を見ながらコミュニケーションが行われる際に、いずれかの前記ユーザをセンシングした結果として得られる検出結果に基づいて、どちらか一方の前記ユーザ側で提示される提示内容を、他方の前記ユーザ側と異なるものとする情報処理を行うこと
を含む情報処理方法。
（１８）
少なくとも二人のユーザにより、ネットワークを介して送受信される互いの画像を見ながらコミュニケーションが行われるのに用いられる端末と通信を行い、いずれかの前記ユーザをセンシングした結果として得られる検出結果に基づいて、どちらか一方の前記ユーザ側で提示される提示内容を、他方の前記ユーザ側と異なるものとする情報処理を行う情報処理部
を備える情報処理装置。
【０２８４】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【０２８５】
１１  遠隔コミュニケーションシステム，  １２  ネットワーク，  １３  コミュニケーション端末，  １４  サーバ装置，  ２１  カメラ，  ２２  プロジェクタユニット，  ２３  ディスプレイ部，  ２４  デスク型スクリーン，  ２５  コミュニケーション処理部，  ２６  生体センサ，  ３１  プロジェクタ本体，  ３２  ステレオカメラ，  ３３  ＲＧＢカメラ，  ４１  書類画像，  ４２  指差し画像，  ４３  関連情報画像，  ４４  共有オブジェクト，  ４５  オブジェクト，  ５１  入力部，  ５２  出力部，  ５３  操作入力部，  ５４  記憶部，  ５５  通信部，  ５６  制御部，  ６１  送信部，  ６２  受信部，  ７１  検出結果取得部，  ７２  情報処理部，  ７３  表示制御部
【図１】
2020162154.tif 000003
【図２】
2020162154.tif 000004
【図３】
2020162154.tif 000005
【図４】
2020162154.tif 000006
【図５】
2020162154.tif 000007
【図６】
2020162154.tif 000008
【図７】
2020162154.tif 000009
【図８】
2020162154.tif 000010
【図９】
2020162154.tif 000011
【図１０】
2020162154.tif 000012
【図１１】
2020162154.tif 000013
【図１２】
2020162154.tif 000014
【図１３】
2020162154.tif 000015
【図１４】
2020162154.tif 000016
【図１５】
2020162154.tif 000017
【図１６】
2020162154.tif 000018
【図１７】
2020162154.tif 000019
【図１８】
2020162154.tif 000020
【図１９】
2020162154.tif 000021
【図２０】
2020162154.tif 000022
【図２１】
2020162154.tif 000023
【図２２】
2020162154.tif 000024
【図２３】
2020162154.tif 000025
【図２４】
2020162154.tif 000026
【図２５】
2020162154.tif 000027
【図２６】
2020162154.tif 000028
【図２７】
2020162154.tif 000029
【図２８】
2020162154.tif 000030
【図２９】
2020162154.tif 000031
【図３０】
2020162154.tif 000032
【図３１】
2020162154.tif 000033
【図３２】
2020162154.tif 000034
【図３３】
2020162154.tif 000035
【図３４】
2020162154.tif 000036
【図３５】
2020162154.tif 000037
【図３６】
2020162154.tif 000038
【図３７】
2020162154.tif 000039
【図３８】
2020162154.tif 000040
【図３９】
2020162154.tif 000041
【図４０】
2020162154.tif 000042
【国際調査報告】
2020162154.tif 000043
2020162154.tif 000044
2020162154.tif 000045
2020162154.tif 000046