(57)【要約】      （修正有）【課題】臨場感に優れた画像表示が可能な双方向コミュニケーション装置を提供する。【解決手段】双方向コミュニケーション装置１０は、第１端末装置１１と、第２端末装置１２と、を備える。第１端末装置は、第１表示部１３Ａと、第１撮像部１４Ａと、第１観察者の位置を検出する第１観察者位置検出部１６Ａと、第１観察者の位置情報および第１地点の映像を送信する第１通信部３１Ａと、を備える。第２端末装置は、第２表示部１３Ｂと、第２撮像部１４Ｂと、第２撮像部を第２表示部の表示面に沿った方向に移動させる第２駆動部１５Ｂと、第１端末装置からの位置情報および映像信号を受信する第２通信部３１Ｂと、第１端末装置からの位置情報に基づいて第２撮像部の移動位置を設定する第２撮像位置設定部３５Ｂと、を備える。【選択図】図２
2018050156.tif 000002
【特許請求の範囲】
【請求項１】
第１観察者が存在する第１地点に設けられた第１端末装置と、第２観察者が存在する第２地点に設けられた第２端末装置と、を備え、
前記第１端末装置は、
前記第２端末装置から送信された前記第２地点の映像を表示する第１表示部と、
前記第１地点の映像を撮像する第１撮像部と、
前記第１地点における前記第１観察者の位置を検出する第１観察者位置検出部と、
前記第１観察者の位置情報と前記第１地点の映像とを送信し、前記第２端末装置から送信された映像を受信する第１通信部と、
を備え、
前記第２端末装置は、
前記第１端末装置から送信された前記第１地点の映像を表示する第２表示部と、
前記第２地点の映像を撮像する第２撮像部と、
前記第２撮像部を前記第２表示部の表示面に沿った方向に移動させる第２駆動部と、
前記第２地点の映像を送信し、前記第１端末装置から送信された前記位置情報と前記映像とを受信する第２通信部と、
前記第１端末装置から送信された前記位置情報に基づいて前記第２駆動部による前記第２撮像部の移動位置を設定する第２撮像位置設定部と、
を備えたことを特徴とする双方向コミュニケーション装置。
【請求項２】
前記第２撮像部がズーム機能を有し、
前記第２端末装置は、前記第１端末装置から送信された前記位置情報に基づいて前記第２撮像部のズーム倍率を設定する第２ズーム倍率設定部をさらに備えたことを特徴とする請求項１に記載の双方向コミュニケーション装置。
【請求項３】
前記第２駆動部は、前記第２撮像部を水平方向に移動させることを特徴とする請求項１または請求項２に記載の双方向コミュニケーション装置。
【請求項４】
前記第２撮像位置設定部は、水平面内における前記第２表示部に対する前記第２撮像部の移動位置を、水平面内における前記第１表示部に対する前記第１観察者の位置に対応して設定し、
前記第２撮像部の水平面内における画角は、前記第１観察者が前記第１表示部の左端を見込む角度、および前記第１観察者が前記第１表示部の右端を見込む角度のうちの広い方の角度の２倍に設定されていることを特徴とする請求項１から請求項３までのいずれか一項に記載の双方向コミュニケーション装置。
【請求項５】
前記第２端末装置は、
前記第２地点における前記第２観察者の位置を検出する第２観察者位置検出部をさらに備え、
前記第２通信部は、
前記第２観察者の位置情報と前記第２地点の映像とを送信し、
前記第１端末装置は、
前記第１撮像部を前記第１表示部の表示面に沿った方向に移動させる第１駆動部と、
前記第２端末装置から送信された前記位置情報に基づいて前記第１駆動部による前記第１撮像部の移動位置を設定する第１撮像位置設定部と、
をさらに備えた請求項１から請求項４までのいずれか一項に記載の双方向コミュニケーション装置。
【請求項６】
前記第１撮像部がズーム機能を有し、
前記第１端末装置は、前記第２端末装置から送信された前記位置情報に基づいて前記第１撮像部のズーム倍率を設定する第１ズーム倍率設定部をさらに備えたことを特徴とする請求項５に記載の双方向コミュニケーション装置。
【請求項７】
前記第１駆動部は、前記第１撮像部を水平方向に移動させることを特徴とする請求項５または請求項６に記載の双方向コミュニケーション装置。
【請求項８】
前記第１撮像位置設定部は、水平面内における前記第１表示部に対する前記第１撮像部の移動位置を、水平面内における前記第２表示部に対する前記第２観察者の位置に対応して設定し、
前記第１撮像部の水平面内における画角は、前記第２観察者が前記第２表示部の左端を見る見込み角度、および前記第２観察者が前記第２表示部の右端を見る見込み角度のうちの広い方の見込み角度の２倍に設定されていることを特徴とする請求項５から請求項７までのいずれか一項に記載の双方向コミュニケーション装置。
【請求項９】
前記第１表示部および前記第２表示部は、背面投射型表示装置で構成されていることを特徴とする請求項１から請求項８までのいずれか一項に記載の双方向コミュニケーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、双方向コミュニケーション装置に関する。
【背景技術】
【０００２】
離れた地点間において、人物を正面から撮影した画像を互いに相手方に伝送し、伝送された画像を表示する端末装置を双方の地点に設置することにより、あたかも両地点の人物が対面して会話をする感覚が得られる双方向コミュニケーション装置が提案されている。この種の装置は、例えば遠隔地を結ぶ会議などにも応用され、テレビ会議システムとして活用されている。
【０００３】
例えば特許文献１には、通信相手からの画像を表示する表示手段と、表示手段を観察する使用者を表示手段の画面方向から撮像するカメラと、表示手段の表示面における通信相手の顔画像の表示位置のシフト量を、カメラの取得画像における使用者の顔画像の位置に基づいて算出する表示位置算出手段と、を備えた「カメラ付き表示装置」が開示されている。特許文献１には、このカメラ付き表示装置がテレビ電話やテレビ会議に用いられることが記載されている。
【０００４】
特許文献２には、２つのコミュニケーション装置を備えた「コミュニケーションシステム」が開示されている。このシステムにおいて、一方のコミュニケーション装置は、表示装置の横幅を記憶するメモリーと、使用者と表示装置との距離を検知する距離検知部と、表示装置の横幅および使用者と表示装置との距離に基づいて使用者が表示装置を見る視野角を算出する視野角算出部と、算出した視野角を他の装置に送信する視野角送信部と、を備えている。他方のコミュニケーション装置は、一方のコミュニケーション装置から送信された使用者の視野角と同じ角度に撮影装置の画角を制御する画角制御部を備えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−４９７９７号公報
【特許文献２】特開２０１０−２８３５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１および２には、これらの装置がテレビ電話やテレビ会議に係わる双方の使用者の視線の一致度に優れ、使用時の違和感を生じない、と記載されている。ところが、これらの装置においては、観察者が表示部を見る位置を変えた際に被写体の奥行き方向の位置関係を再現する点が考慮されていないため、臨場感に乏しい映像になる、という問題があった。
【０００７】
本発明の一つの態様は、上記の課題を解決するためになされたものであって、臨場感に優れた映像表示が可能な双方向コミュニケーション装置を提供することを目的の一つとする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の一つの態様の双方向コミュニケーション装置は、第１観察者が存在する第１地点に設けられた第１端末装置と、第２観察者が存在する第２地点に設けられた第２端末装置と、を備え、前記第１端末装置は、前記第２端末装置から送信された前記第２地点の映像を表示する第１表示部と、前記第１地点の映像を撮像する第１撮像部と、前記第１地点における前記第１観察者の位置を検出する第１観察者位置検出部と、前記第１観察者の位置情報と前記第１地点の映像とを送信し、前記第２端末装置から送信された映像を受信する第１通信部と、を備え、前記第２端末装置は、前記第１端末装置から送信された前記第１地点の映像を表示する第２表示部と、前記第２地点の映像を撮像する第２撮像部と、前記第２撮像部を前記第２表示部の表示面に沿った方向に移動させる第２駆動部と、前記第２地点の映像を送信し、前記第１端末装置から送信された前記位置情報および前記映像を受信する第２通信部と、前記第１端末装置から送信された前記位置情報に基づいて前記第２駆動部による前記第２撮像部の移動位置を設定する第２撮像位置設定部と、を備えたことを特徴とする。
【０００９】
この構成によれば、第１地点において、第１観察者位置検出部は、第１観察者の位置を検出し、第１撮像部は、第１地点の映像を撮像する。第１通信部は、第１観察者位置検出部による第１観察者の位置情報と第１撮像部による第１地点の映像とを第２端末装置に送信する。第２地点において、第２端末装置の第２撮像位置設定部は、第１端末装置から送信された第１観察者の位置情報に基づいて第２駆動部による第２撮像部の移動位置を設定し、第２撮像部は、その移動位置から第２地点の映像を撮像する。また、第１端末装置の第１通信部は、第２通信部から送信された映像を受信し、第１表示部は、第１通信部が受信した第２地点の映像を表示する。そのため、第１観察者は、第１地点に居ながらにして、あたかも第２撮像部の位置から第２地点を見たかのような臨場感の高い映像を見ることができる。
【００１０】
本発明の一つの態様の双方向コミュニケーション装置において、前記第２撮像部がズーム機能を有し、前記第２端末装置は、前記第１端末装置から送信された前記位置情報に基づいて前記第２撮像部のズーム倍率を設定する第２ズーム倍率設定部をさらに備えていてもよい。
【００１１】
この構成によれば、第２ズーム倍率設定部が第１観察者の位置情報に基づいて第２撮像部のズーム倍率を設定するため、第２撮像部の画角を第１観察者が第１表示部を見込む角度に一致させることができる。これにより、第１観察者は、臨場感の高い映像を見ることができる。
【００１２】
本発明の一つの態様の双方向コミュニケーション装置において、前記第２駆動部は、前記第２撮像部を水平方向に移動させてもよい。
【００１３】
この構成によれば、第１地点における第１観察者の水平方向への移動に対応して第２撮像部が水平方向に移動するため、第１観察者が水平方向へ移動しても臨場感の高い映像を見ることができる。
【００１４】
本発明の一つの態様の双方向コミュニケーション装置において、前記第２撮像位置設定部は、水平面内における前記第２表示部に対する前記第２撮像部の移動位置を、水平面内における前記第１表示部に対する前記第１観察者の位置に対応して設定し、前記第２撮像部の水平面内における画角は、前記第１観察者が前記第１表示部の左端を見込む角度、および前記第１観察者が前記第１表示部の右端を見込む角度のうちの広い方の角度の２倍に設定されていてもよい。
【００１５】
この構成によれば、第２撮像部の光軸が第２表示部の表示面に垂直となるように第２撮像部の姿勢を維持したままでよく、第１観察者は観察角度と表示角度との違いに伴う歪みの少ない映像を見ることができる。
【００１６】
本発明の一つの態様の双方向コミュニケーション装置において、前記第２端末装置は、前記第２地点における前記第２観察者の位置を検出する第２観察者位置検出部をさらに備え、前記第２通信部は、前記第２観察者の位置情報および前記第２地点の映像を送信し、前記第１端末装置は、前記第１撮像部を前記第１表示部の表示面に沿った方向に移動させる第１駆動部と、前記第２端末装置から送信された前記位置情報に基づいて前記第１駆動部による前記第１撮像部の移動位置を設定する第１撮像位置設定部と、をさらに備えてもよい。
【００１７】
この構成によれば、上記の作用効果に加えて、第２地点において、第２観察者位置検出部は、第２観察者の位置を検出する。第２通信部は、第２観察者の位置情報と第２地点の映像とを第１端末装置に送信する。第１地点において、第１撮像位置設定部は、第２通信部から送信された第２観察者の位置情報に基づいて第１駆動部による第１撮像部の移動位置を設定し、第１撮像部は、その移動位置から第１地点の映像を撮像する。また、第２端末装置の第２通信部は、第１通信部から送信された映像を受信し、第２表示部は、第２通信部が受信した第１地点の映像を表示する。そのため、第２観察者は、第２地点に居ながらにして、あたかも第１撮像部から第１地点を見たような臨場感の高い映像を見ることができる。これにより、双方向において臨場感に優れた映像によるコミュニケーションを実現することができる。
【００１８】
本発明の一つの態様の双方向コミュニケーション装置において、前記第１撮像部がズーム機能を有し、前記第１端末装置は、前記第２端末装置から送信された前記位置情報に基づいて前記第１撮像部のズーム倍率を設定する第１ズーム倍率設定部をさらに備えていてもよい。
【００１９】
この構成によれば、第１ズーム倍率設定部が第２観察者の位置情報に基づいて第１撮像部のズーム倍率を設定するため、第１撮像部の画角を第２観察者が第２表示部を見込む角度に一致させることができる。これにより、第２観察者は、臨場感の高い映像を見ることができる。
【００２０】
本発明の一つの態様の双方向コミュニケーション装置において、前記第１駆動部は、前記第１撮像部を水平方向に移動させてもよい。
【００２１】
この構成によれば、第２地点における第２観察者の水平方向への移動に対応して第１撮像部が水平方向に移動するため、第２観察者が水平方向へ移動しても臨場感の高い映像を見ることができる。
【００２２】
本発明の一つの態様の双方向コミュニケーション装置において、前記第１撮像位置設定部は、水平面内における前記第１表示部に対する前記第１撮像部の移動位置を、水平面内における前記第２表示部に対する前記第２観察者の位置に対応して設定し、前記第１撮像部の水平面内における画角は、前記第２観察者が前記第２表示部の左端を見る見込み角度、および前記第２観察者が前記第２表示部の右端を見る見込み角度のうちの広い方の見込み角度の２倍に設定されていてもよい。
【００２３】
この構成によれば、第１撮像部の光軸が第１表示部の表示面に垂直となるように第１撮像部の姿勢を維持したままでよく、第２観察者は観察角度と表示角度との違いに伴う歪みの少ない映像を見ることができる。
【００２４】
本発明の一つの態様の双方向コミュニケーション装置において、前記第１表示部および前記第２表示部は、背面投射型表示装置で構成されていてもよい。
【００２５】
この構成によれば、端末装置の小型化が図れ、端末装置の設置が容易な双方向コミュニケーション装置を実現することができる。
【図面の簡単な説明】
【００２６】
【図１】第１実施形態の第１端末装置の斜視図である。
【図２】第１実施形態の双方向コミュニケーション装置の概略構成図である。
【図３】第１観察者とディスプレイとの位置関係を示す図である。
【図４】第２地点のカメラと被写体との位置関係を示す図である。
【図５】第１観察者が左方向に移動したときの第１観察者とディスプレイとの位置関係を示す図である。
【図６】第１観察者が図５の位置に移動した場合の対応方法の一例を示す図である。
【図７】第１観察者がディスプレイの左端に移動したときの第１観察者とディスプレイとの位置関係を示す図である。
【図８】第１観察者がディスプレイの左端に移動したときの第２地点のカメラの撮像範囲を示す図である。
【図９】図８の場合の撮像範囲と映像の切り出し範囲との関係を示す図である。
【図１０】第１観察者がディスプレイの中央と左端との間の位置に移動したときの第１観察者とディスプレイとの位置関係を示す図である。
【図１１】図１０の場合の撮像範囲と映像の切り出し範囲との関係を示す図である。
【図１２】第１観察者がディスプレイの左側に位置したときの各部の寸法を示す図である。
【図１３】第１観察者がディスプレイの右側に位置したときの各部の寸法を示す図である。
【図１４】第１観察者がディスプレイの中央に位置したときの各部の寸法を示す図である。
【図１５】第２実施形態の第１端末装置の斜視図である。
【発明を実施するための形態】
【００２７】
［第１実施形態］
以下、本発明の第１実施形態について、図１〜図１４を用いて説明する。
本実施形態の双方向コミュニケーション装置は、例えば互いに離れた２つの地点を結んで会議を行う際に用いるテレビ会議システムとして用いることができる。
図１は、第１実施形態の第１端末装置の斜視図である。
図２は、第１実施形態の双方向コミュニケーション装置の概略構成図である。
なお、以下の各図面においては各構成要素を見やすくするため、構成要素によって寸法の縮尺を異ならせて示すことがある。
【００２８】
図２に示すように、本実施形態の双方向コミュニケーション装置１０は、第１端末装置１１と、第２端末装置１２と、を備えている。第１端末装置１１は、第１観察者が存在する第１地点に設けられている。第２端末装置１２は、第２観察者が存在する第２地点に設けられている。第１地点には第１観察者以外の人が存在していてもよいし、第２地点にも第２観察者以外の人が存在していてもよい。いずれにしても、第１地点に存在する人と第２地点に存在する人とが一つの会議に参加する場合を想定する。
【００２９】
第１観察者は第１端末装置１１のディスプレイ１３Ａに写った第２観察者を見ながら、また、第２観察者は第２端末装置１２のディスプレイ１３Ｂに写った第１観察者を見ながら、会議を行う。本実施形態の双方向コミュニケーション装置１０において、第１端末装置１１と第２端末装置１２とは同一の構成を有しており、第１観察者および第２観察者の双方で臨場感の高い映像によるコミュニケーションを実現することができる。したがって、以下の端末装置の説明については、第１端末装置１１で代表して説明を行い、第２端末装置１２の説明を省略する。各構成要素の機能、作用等の説明においても、第１端末装置１１側を中心とした機能、作用等として説明する。
ただし、後述するように、第１端末装置１１と第２端末装置１２とは、必ずしも同一の構成を有していなくてもよい。
【００３０】
図１に示すように、第１端末装置１１は、ディスプレイ１３Ａ（第１表示部）と、カメラ１４Ａ（第１撮像部）と、スライダー１５Ａ（第１駆動部）と、距離センサー１６Ａ（第１観察者位置検出部）と、マイクロフォン１７Ａと、スピーカー１８Ａと、制御部１９Ａと、を備えている。
【００３１】
ディスプレイ１３Ａは、第２端末装置１２から送信された第２地点の映像を表示する。カメラ１４Ａは、第１地点の映像を撮像する。スライダー１５Ａは、カメラ１４Ａをディスプレイ１３Ａの表示面に平行な方向に移動させる。距離センサー１６Ａは、第１地点における第１観察者Ｍ１の位置を検出する。マイクロフォン１７Ａは、第１地点の音声を取得する。スピーカー１８Ａは、第２地点の音声を出力する。
【００３２】
ディスプレイ１３Ａには、例えば液晶表示装置、プロジェクターおよびスクリーン、有機ＥＬ装置等の種々の表示装置が用いられ、表示装置の形式は特に限定されない。ディスプレイ１３Ａは、例えば１００インチ程度の比較的大画面のディスプレイを想定しているが、サイズは特に限定されない。
【００３３】
スライダー１５Ａは、ディスプレイ１３Ａの外枠２１の上辺に沿って設けられている。スライダー１５Ａは、モーター２３、ボールネジ２４、ガイドレール２５、および台座２６などを備えている。台座２６は、モーター２３の駆動によりガイドレール２５に沿って移動する。スライダー１５Ａは、後述するカメラ１４Ａを水平方向に移動させる。
【００３４】
カメラ１４Ａは、レンズ２８を第１観察者Ｍ１側に向け、レンズ２８の光軸ＡＸ２をディスプレイ１３Ａの表示面１３ｃに垂直な方向に向けた姿勢で台座２６に固定されている。したがって、カメラ１４Ａは、首振り動作を行わない。カメラ１４Ａは、スライダー１５Ａの台座２６に固定されたことにより、ディスプレイ１３Ａの表示面１３ｃに平行な水平方向Ｈに移動可能となっている。カメラ１４Ａは、ディスプレイ１３Ａを見る第１観察者Ｍ１とその周囲の様子を撮像する。また、カメラ１４Ａは、ズーム機能を有する。カメラ１４Ａは、後述するズーム倍率設定部から送信されるズーム倍率情報に基づいてズーム倍率を自動的に調整する機能を有する。
【００３５】
距離センサー１６Ａは、ディスプレイ１３Ａの下辺の両端にそれぞれ設けられている。距離センサー１６Ａには、例えば超音波を発信して反射波が戻るまでの時間を測定する超音波距離センサーなどの既存の距離センサーが用いられる。第１地点には、第１観察者Ｍ１以外に例えばテーブル等の什器が存在する場合があるが、第１観察者Ｍ１が存在しない場合の測定データを予め取得しておくことにより、什器と第１観察者Ｍ１とを区別することができる。
【００３６】
マイクロフォン１７Ａおよびスピーカー１８Ａは、ディスプレイ１３Ａの外枠２１に設けられている。マイクロフォン１７Ａおよびスピーカー１８Ａは、本来の機能を果たせるものであれば、特に種類や設置位置が限定されることはない。
【００３７】
図２に示すように、制御部１９Ａは、コーデック３１Ａ（第１通信部）と、観察者位置算出部３２Ａと、切り出し範囲設定部３３Ａと、ズーム倍率設定部３４Ａと、撮像位置設定部３５Ａと、を備えている。コーデック３１Ａ、観察者位置算出部３２Ａ、切り出し範囲設定部３３Ａ、ズーム倍率設定部３４Ａ、および撮像位置設定部３５Ａは、任意の半導体デバイスを含む論理回路により構成することができる。
【００３８】
観察者位置算出部３２Ａは、２つの距離センサー１６Ａからの出力信号に基づいて第１観察者Ｍ１の位置を２次元座標（ｈ，ｄ）として算出し、第１観察者Ｍ１の位置情報としてコーデック３１Ａに送信する。第１観察者Ｍ１の位置を示す２次元座標（ｈ，ｄ）は、ディスプレイ１３Ａの表示面１３ｃに垂直な方向におけるディスプレイ１３Ａからの距離と、ディスプレイ１３Ａの表示面１３ｃに平行な方向におけるディスプレイ１３Ａの中心からの距離と、で表される。
【００３９】
切り出し範囲設定部３３Ａは、第２端末装置１２のカメラ１４Ｂが撮像した映像のうち、ディスプレイ１３Ａで表示すべき範囲を切り出し範囲Ｋとして設定する。切り出し範囲Ｋの映像に対応する映像信号はディスプレイ１３Ａに送信され、ディスプレイ１３Ａで映像が表示される。切り出しの手法については、後で説明する。
【００４０】
ズーム倍率設定部３４Ａは、第２端末装置１２から送信された第２観察者の位置情報に基づいてカメラ１４Ａのズーム倍率を設定する。設定されたズーム倍率情報はカメラ１４Ａに送信され、ズーム倍率情報に基づいてカメラ１４Ａのズーム倍率が適切に調整される。
【００４１】
撮像位置設定部３５Ａは、第２端末装置１２から送信された第２観察者の位置情報に基づいてカメラ１４Ａの移動位置を設定する。設定されたカメラ１４Ａの移動位置情報はスライダー１５Ａに送信され、移動位置情報に基づいてスライダー１５Ａ上のカメラ１４Ａの位置が適切に調整される。具体的には、第２地点における第２観察者に対面する位置に第１地点のカメラ１４Ａの光軸が位置するようにスライダー１５Ａを制御する。また、カメラ１４Ａの移動位置情報は切り出し範囲設定部３３Ａにも送信され、切り出し範囲Ｋの算出に用いられる。
【００４２】
コーデック３１Ａは、第１観察者Ｍ１の位置情報および第１地点の映像を映像信号として第２端末装置１２に送信するとともに、第２端末装置１２から送信された第２観察者の位置情報および第２地点の映像を映像信号として受信する。詳細には、コーデック３１Ａは、位置情報と映像信号とを多重化し、ＷＡＮ（Wide Area Network）、公衆回線等の通信手段により第２端末装置１２に送信する。また、コーデック３１Ａは、第２端末装置１２から送信された信号を位置情報と映像信号とに分離する。
【００４３】
図２に示すように、第２端末装置１２は、第１端末装置１１と同様、ディスプレイ１３Ｂ（第２表示部）と、カメラ１４Ｂ（第２撮像部）と、スライダー１５Ｂ（第２駆動部）と、距離センサー１６Ｂ（第２観察者位置検出部）と、マイクロフォン１７Ｂと、スピーカー１８Ｂと、制御部１９Ｂと、を備えている。また、制御部１９Ｂは、コーデック３１Ｂ（第２通信部）と、観察者位置算出部３２Ｂと、切り出し範囲設定部３３Ｂと、ズーム倍率設定部３４Ｂと、撮像位置設定部３５Ｂと、を備えている。
【００４４】
以下、第１観察者Ｍ１の位置と第２端末装置１２のカメラ１４Ｂの移動位置との関係について説明する。
図３は、第１地点における第１観察者Ｍ１とディスプレイ１３Ａとの位置関係を示す図である。図３は、第１観察者Ｍ１がディスプレイ１３Ａの中心に正対した位置に存在する場合を示している。
【００４５】
図３に示すように、第１観察者Ｍ１がディスプレイ１３Ａの中心Ｐ０に存在している場合、第１観察者Ｍ１は、ディスプレイ１３Ａの全体を見込む視野角度θ１の視野範囲Ｓで観察している。視野角度θは、第１観察者Ｍ１の眼とディスプレイ１３Ａの左端Ｐ１とを結ぶ直線ｎ１と、第１観察者Ｍ１の眼とディスプレイ１３Ａの右端Ｐ２とを結ぶ直線ｎ２と、のなす角度である。
なお、厳密には第１観察者Ｍ１の右眼と左眼では視差があるが、ここでは眼の間隔に対してディスプレイ１３Ａが充分に大きく、視差は無視できる程度と考える。したがって、第１観察者Ｍ１の眼の位置を右眼と左眼との中間位置と考える。
【００４６】
図４は、第２地点のカメラ１４Ｂと被写体との位置関係を示す図である。
第１地点において第１観察者Ｍ１がディスプレイ１３Ａの中心に存在している場合、図４に示すように、第２地点のカメラ１４Ｂは、ディスプレイ１３Ｂの中心に移動する。また、カメラ１４Ｂは、ディスプレイ１３Ｂに対面する領域、すなわち、第２観察者とその周囲の領域の様子を画角θ２の撮像範囲Ｇで撮像する。このとき、画角θ２は、第１観察者Ｍ１の視野角度θ１と等しい角度に設定される。すなわち、θ１＝θ２である。視野角度θ１は、予め記憶された第１端末装置１１のディスプレイ１３Ａのサイズと第１端末装置１１から送信された第１観察者Ｍ１の位置情報とから算出することができる。これにより、カメラ１４Ｂのズーム倍率は、画角θ２が視野角度θ１と等しくなるように自動調整される。
【００４７】
第２地点において、カメラ１４Ｂの撮像範囲Ｇ内の互いに異なる位置に被写体Ｂ、被写体Ｃ、および被写体Ｄが存在していたとする。このとき、被写体Ｂ、被写体Ｃ、および被写体Ｄは、カメラ１４Ｂから見た奥行き方向の位置が互いに異なるが、撮像範囲Ｇ内において、第１地点のディスプレイ１３Ａのサイズと一致する位置にあたかも仮想ディスプレイ１３Ｋが存在するかのように被写体Ｂ、被写体Ｃ、および被写体Ｄが撮像される。
【００４８】
ここで、図３に示すように、第１地点のディスプレイ１３Ａにおいて、第２地点のカメラ１４Ｂが撮像した映像、すなわち、仮想ディスプレイ１３Ｋ上に射影した被写体Ｂ、被写体Ｃ、および被写体Ｄの位置関係と同一の位置関係を有する被写体像Ｂ’、被写体像Ｃ’、および被写体像Ｄ’を含む映像を表示する。
【００４９】
このとき、図４において、カメラ１４Ｂのレンズ２８と被写体Ｂとを結ぶ直線ｂ２が光軸ＡＸ２となす角度δｂ２、カメラ１４Ｂのレンズ２８と被写体Ｃとを結ぶ直線ｃ２が光軸ＡＸ２となす角度δｃ２、およびカメラ１４Ｂのレンズ２８と被写体Ｄとを結ぶ直線ｄ２が光軸ＡＸ２となす角度δｄ２は、それぞれ、図３において、第１観察者Ｍ１の眼と被写体像Ｂ’とを結ぶ直線ｂ１が光軸ＡＸ１となす角度δｂ１、第１観察者Ｍ１の眼と被写体像Ｃ’とを結ぶ直線ｃ１が光軸ＡＸ１となす角度δｃ１、第１観察者Ｍ１の眼と被写体像Ｄ’とを結ぶ直線ｄ１が光軸ＡＸ１となす角度δｄ１と一致する。すなわち、δｂ１＝δｂ２、δｃ１＝δｃ２、δｄ１＝δｄ２である。
【００５０】
このように、図４における仮想ディスプレイ１３Ｋ上での被写体Ｂ、被写体Ｃ、および被写体Ｄの位置関係が図３におけるディスプレイ１３Ａ上の被写体像Ｂ’、被写体像Ｃ’、および被写体像Ｄ’の位置関係として再現される。これにより、第１地点に居る第１観察者Ｍ１は、あたかも自身が第２地点のカメラ１４Ｂの位置から第２地点の様子を観察しているかのように見える。
【００５１】
次に、第１観察者Ｍ１がディスプレイ１３Ａの中心Ｐ０から水平方向に移動した場合について説明する。
図５は、第１観察者Ｍ１が左方向に移動したときの第１観察者Ｍ１とディスプレイ１３Ａとの位置関係を示す図である。
図６は、第１観察者Ｍ１が図５の位置に移動した場合の対応方法の一例を示す図である。
【００５２】
図５に示すように、第１観察者Ｍ１がディスプレイ１３Ａに向かって左側に移動した場合、第１観察者Ｍ１はディスプレイ１３Ａを斜めに見ることになる。この場合の第２地点側の一つの対応方法として、図６に示すように、第２地点のカメラ１４Ｂを首振り動作させ、カメラ１４Ｂの光軸ＡＸ４を斜めにして撮像することが考えられる。ところが、この場合、被写体Ｂ、被写体Ｃ、および被写体Ｄはカメラ１４Ｂの光軸ＡＸ４に垂直な仮想ディスプレイ１３Ｋ’上に射影された状態で撮像されるのに対し、図５に示すように、第１地点のディスプレイ１３Ａは、第１観察者Ｍ１の眼の光軸ＡＸ３に対して垂直な平面上に配置されておらず、光軸ＡＸ３に対して傾いて配置されている。そのため、この方法では、被写体Ｂ、被写体Ｃ、および被写体Ｄの位置関係が正しく再現されない。
【００５３】
そこで、本実施形態の第１端末装置１１および第２端末装置１２においては、複数の被写体の位置関係を正しく再現するため、カメラ１４Ａ，１４Ｂは、首振り動作を行わず、光軸が常にディスプレイ１３Ａ，１３Ｂの表示面に対して垂直になる姿勢で配置されている。この場合、次に説明するように、カメラ１４Ａ，１４Ｂの撮像範囲は、ディスプレイ１３Ａ，１３Ｂに実際に表示される領域よりも広く設定されている。
【００５４】
図７は、第１観察者Ｍ１がディスプレイ１３Ａの左端Ｐ１に移動したときの第１観察者Ｍ１とディスプレイ１３Ａとの位置関係を示す図である。
ここでは、図７に示すように、第１観察者Ｍ１がディスプレイ１３Ａの最も左端に移動した場合を考える。この場合、第１観察者Ｍ１がディスプレイ１３Ａの左端Ｐ１を見たときの見込み角度は０°であり、第１観察者Ｍ１がディスプレイ１３Ａの右端Ｐ２を見たときの見込み角度はαである。そこで、第１観察者Ｍ１がディスプレイ１３Ａの遠い側の端部、この場合は右端Ｐ２を見たときの見込み角度αと同じ角度だけ、ディスプレイ１３Ａの左側にはみ出した範囲を含めて視野範囲Ｓを想定する。したがって、視野範囲Ｓに対する視野角度θ１は、θ１＝２αである。
【００５５】
図８は、第１観察者Ｍ１がディスプレイ１３Ａの左端Ｐ１に移動したときの第２地点のカメラ１４Ｂの撮像範囲Ｇを示す図である。
このとき、図８に示すように、第２地点のカメラ１４Ｂは、第２観察者側から見てディスプレイ１３Ｂの右端に移動し、ディスプレイ１３Ｂの表示面１３ｃに対面する第２地点の様子を画角θ２の撮像範囲Ｇで撮像する。このとき、画角θ２は、視野角度θ１と等しい角度である２αに設定される。すなわち、カメラ１４Ｂの水平面内における画角θ２は、第１観察者Ｍ１がディスプレイ１３Ａの左端Ｐ１を見込む角度、および第１観察者Ｍ１がディスプレイ１３Ａの右端Ｐ２を見込む角度のうちの広い方の角度の２倍に設定されている。
【００５６】
図９は、図８の場合にカメラ１４Ｂが撮像した撮像範囲Ｇと映像の切り出し範囲Ｋとを示す図である。
図８に示すように、カメラ１４Ｂは、θ２＝２αで示される広い画角θ２で撮像しているが、第１観察者Ｍ１がディスプレイ１３Ａで映像を見る部分は、撮像範囲Ｇのうちの仮想ディスプレイ１３Ｋに相当する部分であり、仮想ディスプレイ１３Ｋに相当する部分の左側の部分は不要である。
【００５７】
そこで、図９に示すように、切り出し範囲設定部３３Ａは、撮像範囲Ｇのうちの斜線で示す部分を切り出し範囲Ｋとして設定する。ディスプレイ１３Ａは、切り出し範囲Ｋが画面全体に表示されるようにスケーリング（拡大）して表示を行う。この場合であれば、切り出し範囲Ｋに相当する映像が水平方向に２倍に拡大された状態で表示される。このとき、切り出し範囲Ｋの垂直方向の寸法については、切り出し範囲設定部３３Ａは、ディスプレイ１３Ａの縦横比に対応する寸法で切り出し範囲Ｋを設定すればよい。
【００５８】
次に、第１観察者Ｍ１がディスプレイ１３Ａの中心Ｐ０と左端Ｐ１との間の位置に移動した場合を考える。
図１０は、第１観察者Ｍ１がディスプレイ１３Ａの中心Ｐ０と左端Ｐ１との間の位置に移動したときの第１観察者Ｍ１とディスプレイ１３Ａとの位置関係を示す図である。
この場合、図１０に示すように、第１観察者Ｍ１がディスプレイ１３Ａの左端Ｐ１を見るときの見込み角度はγであり、第１観察者Ｍ１がディスプレイ１３Ａの右端Ｐ２を見るときの見込み角度はβである。このような場合には、２つの見込み角度γ，βを比較し、広い方の角度（この場合はβ）を採用し、第２地点のカメラ１４Ｂは、左右ともに角度βで第２地点の様子を撮像すればよい。すなわち、第２地点のカメラ１４Ｂの画角θ２をθ２＝２βと設定すればよい。
【００５９】
図１１は、図１０の場合にカメラ１４Ｂが撮像した撮像範囲Ｇと映像の切り出し範囲Ｋとを示す図である。
第１観察者Ｍ１が図１０に示す位置に存在する場合には、図１１に示すように、切り出し範囲設定部３３Ａは、撮像範囲Ｇのうちの中心線から若干左側にはみ出した位置から右端までの部分を切り出し範囲Ｋとして設定すればよい。具体的な切り出し範囲Ｋは、第１観察者Ｍ１の位置から算出することができる。
【００６０】
切り出し範囲Ｋの水平方向の寸法の具体的な算出方法について、図１２〜図１４を用いて説明する。
図１２は、第１観察者Ｍ１がディスプレイ１３Ａの左側に位置したときの各部の寸法を示す図である。
図１３は、第１観察者Ｍ１がディスプレイ１３Ａの右側に位置したときの各部の寸法を示す図である。
図１４は、第１観察者Ｍ１がディスプレイ１３Ａの中央に位置したときの各部の寸法を示す図である。
図１２〜図１４においては、ディスプレイ１３Ａの表示面１３ｃの中心を原点Ｏ（０，０）とし、表示面１３ｃに沿って右側から左側に向かう方向を＋ｘ軸とし、ディスプレイ１３Ａ側から第１観察者Ｍ１側に向かう方向を＋ｙ軸とする２次元座標系を想定する。
【００６１】
第１観察者Ｍ１の位置を表す２次元座標を（ｈ，ｄ）とする。ディスプレイ１３Ａの横幅（水平方向の寸法）をＷとする。第１観察者Ｍ１がディスプレイ１３Ａの左端Ｐ１を見るときの見込み角度、右端Ｐ２を見る見込み角度のうち、広い方の角度をαとする。
この場合、tanα＝（Ｗ／２＋｜ｈ｜）／ｄであるから、ズーム倍率設定部３４Ｂは、カメラ１４Ｂの画角θ２を下記の（１）式に従って算出すればよい。
【００６２】
θ２＝２α＝２atan（（Ｗ／２＋｜ｈ｜）／ｄ）  …（１）
【００６３】
図１２において、撮像範囲Ｇの横幅（水平方向の寸法）をｇとし、切り出し範囲Ｋの横幅（水平方向の寸法）をｋとすると、切り出し範囲設定部３３Ａは、切り出し率Ｑを下記の（２）式に従って算出する。切り出し率Ｑは、撮像範囲Ｇの横幅ｇに対する切り出し範囲Ｋの横幅ｋの割合である。切り出し範囲設定部３３Ａは、算出した切り出し率Ｑに基づいて撮像範囲Ｇの右端から切り出し範囲Ｋを切り出せばよい。ｇ＝２（Ｗ／２＋ｈ）であるから、
Ｑ＝ｋ／ｇ＝Ｗ／（Ｗ＋２ｈ）  …（２）
【００６４】
同様に、図１３において、切り出し範囲設定部３３Ａは、切り出し率Ｑを下記の（３）式に従って算出し、切り出し率Ｑに基づいて撮像範囲Ｇの左端から切り出し範囲Ｋを切り出せばよい。ｇ＝２（Ｗ／２＋ｈ）であるから、
Ｑ＝ｋ／ｇ＝Ｗ／（Ｗ−２ｈ）  …（３）
【００６５】
また、図１４においては、切り出し率Ｑは、Ｑ＝ｋ／ｇ＝１である。すなわち、切り出し範囲設定部３３Ａは、撮像範囲Ｇの全体を切り出し範囲Ｋと設定すればよい。
【００６６】
以上説明したように、本実施形態の双方向コミュニケーション装置１０においては、一方の地点の観察者がディスプレイを見込む角度と同じ画角になるように、他方の地点のカメラが周囲を撮像した映像から、一方の地点の端末装置が観察者の位置に応じて映像の切り出し範囲を適切に設定し、スケーリングして他方の地点の様子を表示する。これにより、一方の地点の観察者がディスプレイを見た際に、一方の地点に居ながらにして、あたかも他方の地点に居るかのような感覚を持つことができ、臨場感の高い双方向コミュニケーションを実現することができる。
【００６７】
特に本実施形態においては、一方の地点のズーム倍率設定部が他方の地点の観察者の位置情報に基づいてカメラのズーム倍率を設定するため、カメラの画角を観察者がディスプレイを見込む角度に的確に一致させることができる。これにより、観察者はより臨場感の高い映像を見ることができる。さらに、観察者の水平方向への移動に対応してカメラが水平方向に移動する構成であるため、例えば観察者が位置を移動しても、臨場感の高い映像を引き続き見ることができる。
【００６８】
また、本実施形態においては、水平面内におけるカメラの画角が、観察者がディスプレイの左端を見るときの見込み角度、およびディスプレイの右端を見るときの見込み角度のうちの広い方の見込み角度の２倍に設定されている。これにより、カメラが首振り動作を行うことなく、光軸がディスプレイの表示面に垂直となる姿勢を維持したまま、観察者は観察角度と表示角度との違いに伴う歪みの少ない映像を見ることができる。
【００６９】
［第２実施形態］
以下、本発明の第２実施形態について、図１５を用いて説明する。
第２実施形態の双方向コミュニケーション装置の基本構成は第１実施形態と同様であり、端末装置の形態が第１実施形態と異なる。したがって、第２実施形態では、端末装置の構成についてのみ説明する。
図１５は、第２実施形態の端末装置の斜視図である。
【００７０】
図１５に示すように、本実施形態の端末装置５１は、他方の地点の様子を表示する表示部がリアプロジェクター（背面投射型表示装置）で構成されている。リアスクリーン５２の上部の筐体５３には、横長の窓部５４が設けられている。窓部５４の内側には、カメラ５５とスライダー５６とが設置されている。カメラ５５は、窓部５４を通してリアプロジェクターの外部の様子を撮像する。窓部５４には、光学フィルターが設けられていてもよい。
【００７１】
筐体５３の前面には、距離センサー５８、マイクロフォン５９、およびスピーカー６０が設けられている。筐体５３の内部には、制御部６１が収容されている。距離センサー５８、マイクロフォン５９、スピーカー６０、および制御部６１の構成は、第１実施形態と同様でもよいし、異なっていてもよい。
【００７２】
第２実施形態の双方向コミュニケーション装置においても、臨場感の高い双方向コミュニケーションを実現することができる、といった第１実施形態と同様の効果が得られる。
【００７３】
さらに第２実施形態においては、端末装置５１の筐体５３の内部空間をカメラ５５、スライダー５６、制御部６１等の構成部品の収容空間として有効利用することができる。このようにして、端末装置５１の小型化が図れ、端末装置５１の設置が容易な双方向コミュニケーション装置を実現することができる。
【００７４】
また、筐体５３の窓部５４に光学フィルターが設けられた場合、観察者Ｍ１からカメラ５５が見え難くなり、カメラ５５の動きを気にすることなく、コミュニケーションを取ることができる。
【００７５】
上記の第１、第２実施形態においては、音声によるコミュニケーションに関する説明を省略したが、音声は既存の通信技術を用いて双方向に伝送すればよい。
【００７６】
また、上記の第１、第２実施形態においては、各地点に一人の観察者が存在する想定で説明したが、例えばテレビ会議において一方の地点に複数の参加者が存在する場合、端末装置がいずれの参加者を位置検出対象である観察者と認定するのか、という問題がある。この認定の手法としては、例えば以下の３通りの手法が挙げられる。
【００７７】
（１）各参加者の位置に基づいて観察者を認定
観察者位置検出部として、複数の参加者のそれぞれの位置を検出できる距離センサーを用いる。この場合、観察者位置算出部は、各参加者の位置座標を検出した後、例えば複数の参加者のうちディスプレイに最も近い位置の参加者を検出し、その参加者を観察者として認定する。この場合、ディスプレイから近い位置にいる参加者の視野角度はディスプレイから遠い位置にいる参加者の視野角度よりも広いため、これに応じてカメラの画角も広くなる。したがって、ディスプレイから近い位置の参加者にとっては臨場感が得られ、ディスプレイから遠い位置の参加者にとっては表示範囲が広くなるという利点がある。
【００７８】
もしくは、観察者位置算出部は、各参加者の位置座標を検出した後、例えばディスプレイから最も遠い位置の参加者を検出し、その参加者を観察者として認定する。この場合、ディスプレイから近い位置の参加者を観察者と認定した場合に比べて、カメラの画角が狭くなる。したがって、ディスプレイから遠い位置の参加者にとっては臨場感が得られ、ディスプレイから近い位置の参加者にとっては見える範囲が狭くなる。その反面、ディスプレイから遠い位置の観察者が移動した場合には、ディスプレイから近い位置の観察者が移動した場合に比べて、観察者の視野範囲の変化が少ないため、カメラの撮像範囲の変化が少ない。そのため、ディスプレイから遠い位置の参加者を観察者と認定した場合、例えばその観察者が頻繁に移動した場合であっても、それに追従して表示が頻繁に変化することが少なく、安定した表示が得られるという利点がある。
【００７９】
（２）各参加者の注目度に基づいて観察者を認定
例えばテレビ会議に複数の参加者がいる場合、ディスプレイを見る頻度は参加者によって異なることがある。この場合、観察者位置算出部は、ディスプレイへの注目度が高い参加者を観察者と認定する。具体的な方法の一例として、例えば複数の参加者が写った映像の画像認識を行うことにより、ディスプレイに眼を向けている時間が最も長い参加者を特定し、その参加者を観察者と認定する。この方法によれば、ディスプレイを最も注視している参加者が臨場感を得ることができ、合理的である。
【００８０】
（３）参加者自身が観察者を特定
例えば複数の参加者のうちの特定の一人の参加者を観察者として選定し、その観察者を観察者位置算出部に認識させる。認識の方法としては、例えば選定した観察者に超音波発振器を持たせ、超音波発振器から発信される超音波を距離センサーが受信するなどの構成を採用することができる。この方法によれば、例えば会議の主催者を観察者に設定するなど、会議の参加者が観察者を自由に設定することができる。
【００８１】
以上、複数の参加者が存在する場合の観察者の認定の手法の例を３つ挙げたが、これらの手法に限定されるものではない。例えば音声認識技術を用いて、参加者が発する声に基づいて観察者を認定する手法を採用してもよい。
【００８２】
なお、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば上記実施形態では、カメラを水平方向に移動可能とした例を挙げたが、この構成に代えて、カメラを垂直方向に移動可能としてもよい。この場合、垂直方向における観察者の眼の位置に対応してカメラの位置および画角を調整すればよい。すなわち、観察者が立ち上がったり、座ったりした際に位置センサーが観察者の眼の高さを検出し、その高さに応じてカメラの高さが変わることにより表示が変化する構成としてもよい。さらに、カメラを水平方向、垂直方向の双方に移動可能としてもよい。
【００８３】
また、観察者がディスプレイの前後方向に移動する場合については説明を省略したが、観察者がディスプレイの前後方向に移動した場合、観察者の視野角度が変化する。すなわち、観察者が左右方向の位置を変えることなく、ディスプレイに近付いた場合には観察者の視野角度（視野範囲）が大きくなり、ディスプレイから遠ざかった場合には観察者の視野角度（視野範囲）が小さくなる。このように、観察者のディスプレイの前後方向への移動は観察者の視野角度（視野範囲）の変化に対応するため、上記実施形態の構成で対応が可能である。
【００８４】
また、上記実施形態の双方向コミュニケーション装置は、双方の端末装置において臨場感が得られる効果を有しているが、使用者の要求や用途によっては、いずれか一方の端末装置のみで臨場感が得られる構成としてもよい。例えば第１端末装置側だけで臨場感が得られればよいのであれば、双方向コミュニケーション装置は、第２観察者の位置に応じて第１端末装置のカメラの位置や画角が変化する構成を備えていなくてもよい。その場合、第１端末装置はスライダー（第１駆動部）、および制御部における撮像位置設定部（第１撮像位置設定部）を備えていなくてもよく、第２端末装置は距離センサー（第２観察者位置検出部）、制御部における観察者位置算出部および切り出し範囲設定部を備えていなくてもよい。
【００８５】
さらに簡易的に臨場感が得られればよいのであれば、カメラは、ズーム機能を有していなくてもよく、位置が移動するだけであってもよい。この場合、制御部は、ズーム倍率設定部を有していなくてもよい。
【００８６】
その他、双方向コミュニケーション装置および端末装置の各構成要素の具体的形態、形状、数、配置等については、上記実施形態に限ることなく、適宜変更が可能である。
【符号の説明】
【００８７】
１０…双方向コミュニケーション装置、１１…第１端末装置、１２…第２端末装置、１３Ａ…ディスプレイ（第１表示部）、１３Ｂ…ディスプレイ（第２表示部）、１４Ａ，５５…カメラ（第１撮像部）、１４Ｂ…カメラ（第２撮像部）、１５Ａ５６…スライダー（第１駆動部）、１５Ｂ…スライダー（第２駆動部）、１６Ａ，５８…距離センサー（第１観察者位置検出部）、１６Ｂ…距離センサー（第２観察者位置検出部）、３１Ａ…コーデック（第１通信部）、３１Ｂ…コーデック（第２通信部）、３４Ａ…ズーム倍率設定部（第１ズーム倍率設定部）、３４Ｂ…ズーム倍率設定部（第２ズーム倍率設定部）、３５Ａ…撮像位置設定部（第１撮像位置設定部）、３５Ｂ…撮像位置設定部（第２撮像位置設定部）、５１…端末装置。
【図１】
2018050156.tif 000003
【図２】
2018050156.tif 000004
【図３】
2018050156.tif 000005
【図４】
2018050156.tif 000006
【図５】
2018050156.tif 000007
【図６】
2018050156.tif 000008
【図７】
2018050156.tif 000009
【図８】
2018050156.tif 000010
【図９】
2018050156.tif 000011
【図１０】
2018050156.tif 000012
【図１１】
2018050156.tif 000013
【図１２】
2018050156.tif 000014
【図１３】
2018050156.tif 000015
【図１４】
2018050156.tif 000016
【図１５】
2018050156.tif 000017