(57)【要約】【課題】参加者の心情を表現できる画像表示装置を提供する。【解決手段】本発明の画像表示装置は、第１画像に対応する第１画像光を投射するとともに、第２画像に対応する第２画像光を投射する投射部と、投射部からの第１画像光および第２画像光が投射され、各画像光を第１方向の拡散角が第２方向の拡散角よりも広くなるように拡散させるとともに、各画像光を観察位置において集光させる表示部と、観察者の心情情報を取得する心情情報取得部と、投射部に供給する画像信号を処理する信号処理部と、を備え、信号処理部は、心情情報取得部が取得した心情情報に基づいて、表示部上における第１画像と第２画像との間隔を変化させることにより、第１画像と第２画像とによって観察者に認識される画像の奥行き方向の表示位置を制御する。【選択図】図１
2020156036.tif 000002
【特許請求の範囲】
【請求項１】
観察者の右眼用画像となる第１画像に対応する第１画像光を投射するとともに、前記観察者の左眼用画像となる第２画像に対応する第２画像光を投射する投射部と、
前記投射部から射出された前記第１画像光および前記第２画像光が投射され、前記第１画像光および前記第２画像光を第１方向の拡散角が前記第１方向と交差する第２方向の拡散角よりも広くなるように拡散させるとともに、前記第１画像光および前記第２画像光を観察位置において集光させる表示部と、
前記観察者の心情情報を取得する心情情報取得部と、
前記投射部に供給する画像信号を処理する信号処理部と、
を備え、
前記信号処理部は、前記心情情報取得部が取得した前記心情情報に基づいて、前記表示部上における前記第１画像と前記第２画像との間隔を変化させることにより、前記第１画像と前記第２画像とによって観察者に認識される画像の奥行き方向の表示位置を制御する、画像表示装置。
【請求項２】
前記心情情報取得部は、前記観察者が自身の心情情報を入力する入力装置を有する、請求項１に記載の画像表示装置。
【請求項３】
前記心情情報取得部は、前記観察者と前記表示部との間の距離を検出する距離検出装置を有する、請求項１に記載の画像表示装置。
【請求項４】
前記信号処理部は、前記観察者の像の奥行き方向の表示位置の変化量が、前記距離検出装置が検出した前記距離の変化量よりも大きくなるように、前記表示位置を制御する、請求項３に記載の画像表示装置。
【請求項５】
前記信号処理部は、前記観察者の像の奥行き方向の表示位置を、前記距離検出装置が検出した前記距離の変化速度と変化量とに基づいて制御する、請求項３または請求項４に記載の画像表示装置。
【請求項６】
前記距離検出装置は、前記撮像部の撮像結果から前記観察者の顔を検出し、検出した顔の幅と撮像幅とに基づいて前記距離を算出する、請求項３から請求項５までのいずれか一項に記載の画像表示装置。
【請求項７】
前記心情情報取得部は、前記観察者が発する音声を検出する音声検出装置を有する、請求項１に記載の画像表示装置。
【請求項８】
前記心情情報取得部は、前記観察者の心拍数を検出する心拍数検出装置を有する、請求項１に記載の画像表示装置。
【請求項９】
前記観察者を撮像する撮像部をさらに備え、
前記信号処理部は、前記撮像部によって撮像された撮影像に基づいて前記画像信号を生成し、前記画像信号を前記投射部に供給する、請求項１から請求項８までのいずれか一項に記載の画像表示装置。
【請求項１０】
前記撮像部は、前記第２方向に互いに離れた位置に設けられた第１撮像装置と第２撮像装置とを有し、
前記投射部は、前記第１画像光を投射する第１プロジェクターと、前記第２画像光を投射する第２プロジェクターと、を有し、
前記信号処理部は、前記第１撮像装置の撮像結果に基づく第１画像信号を前記第１プロジェクターに供給し、前記第２撮像装置の撮像結果に基づく第２画像信号を前記第２プロジェクターに供給する、請求項９に記載の画像表示装置。
【請求項１１】
前記撮像部は、前記観察者を所定の位置から撮像する撮像装置を有し、
前記投射部は、前記第１画像光を投射する第１プロジェクターと、前記第２画像光を投射する第２プロジェクターと、を有し、
前記信号処理部は、前記撮像装置の撮像結果に基づいて前記第１画像に対応する第１画像信号と前記第２画像に対応する第２画像信号とを生成し、前記第１画像信号を前記第１プロジェクターに供給し、前記第２画像信号を前記第２プロジェクターに供給する、請求項９に記載の画像表示装置。
【請求項１２】
第１観察者が存在する第１地点に設けられた第１端末装置と、
第２観察者が存在する第２地点に設けられた第２端末装置と、
前記第１端末装置と前記第２端末装置との間で前記画像信号の通信を行う通信部と、
を備え、
前記第１端末装置および前記第２端末装置のうちの少なくとも一つは、請求項１０または請求項１１に記載の画像表示装置で構成され、
前記第１端末装置において生成された第１画像信号が前記第２端末装置に送信されることにより、前記第１端末装置による撮影像が前記第２端末装置において表示され、
前記第２端末装置において生成された第２画像信号が前記第１端末装置に送信されることにより、前記第２端末装置による撮影像が前記第１端末装置において表示される、画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置および画像表示システムに関する。
【背景技術】
【０００２】
物理的に離れた複数の拠点に居る参加者の映像を画面に表示し、表示された映像と音声とを用いて会議を行うシステム、いわゆるテレビ会議システムが従来から知られている。また、映像を表示する手段として、プロジェクターを採用したシステムが提案されている。
【０００３】
下記の特許文献１には、会議の様子を撮影する撮影手段と、画像を投射する投射手段と、会議の音声を取得する音声取得手段と、音声を再生する音声再生手段と、他のプロジェクターに映像データおよび音声データを送信する通信手段と、を備えたプロジェクターが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２３９９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一つの拠点において会議を行う場合、会議に参加している参加者は、他の参加者の熱意や感情を容易に感じ取ることができる。これに対して、複数の拠点を結ぶテレビ会議システムの場合、一つの拠点の参加者は、特許文献１のプロジェクターによって、他の拠点の様子を把握することはできるが、他の参加者の心情まで把握することは難しかった。そのため、参加者の心情を表現できる画像表示装置の提供が望まれている。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一つの形態の画像表示装置は、観察者の右眼用画像となる第１画像に対応する第１画像光を投射するとともに、前記観察者の左眼用画像となる第２画像に対応する第２画像光を投射する投射部と、前記投射部から射出された前記第１画像光および前記第２画像光が投射され、前記第１画像光および前記第２画像光を第１方向の拡散角が前記第１方向と交差する第２方向の拡散角よりも広くなるように拡散させるとともに、前記第１画像光および前記第２画像光を観察位置において集光させる表示部と、前記観察者の心情情報を取得する心情情報取得部と、前記投射部に供給する画像信号を処理する信号処理部と、を備える。前記信号処理部は、前記心情情報取得部が取得した前記心情情報に基づいて、前記表示部上における前記第１画像と前記第２画像との間隔を変化させることにより、前記第１画像と前記第２画像とによって観察者に認識される画像の奥行き方向の表示位置を制御する。
【０００７】
本発明の一つの形態の画像表示装置において、前記心情情報取得部は、前記観察者が自身の心情情報を入力する入力装置を有していてもよい。
【０００８】
本発明の一つの形態の画像表示装置において、前記心情情報取得部は、前記観察者と前記表示部との間の距離を検出する距離検出装置を有していてもよい。
【０００９】
本発明の一つの形態の画像表示装置において、前記信号処理部は、前記観察者の像の奥行き方向の表示位置の変化量が、前記距離検出装置が検出した前記距離の変化量よりも大きくなるように、前記表示位置を制御してもよい。
【００１０】
本発明の一つの形態の画像表示装置において、前記信号処理部は、前記観察者の像の奥行き方向の表示位置を、前記距離検出装置が検出した前記距離の変化速度と変化量とに基づいて制御してもよい。
【００１１】
本発明の一つの形態の画像表示装置において、前記距離検出装置は、前記撮像部の撮像結果から前記観察者の顔を検出し、検出した顔の幅と撮像幅とに基づいて前記距離を算出してもよい。
【００１２】
本発明の一つの形態の画像表示装置において、前記心情情報取得部は、前記観察者が発する音声を検出する音声検出装置を有していてもよい。
【００１３】
本発明の一つの形態の画像表示装置において、前記心情情報取得部は、前記観察者の心拍数を検出する心拍数検出装置を有していてもよい。
【００１４】
本発明の一つの形態の画像表示装置は、前記観察者を撮像する撮像部をさらに備えていてもよく、前記信号処理部は、前記撮像部によって撮像された撮影像に基づいて前記画像信号を生成し、前記画像信号を前記投射部に供給してもよい。
【００１５】
本発明の一つの形態の画像表示装置において、前記撮像部は、前記第２方向に互いに離れた位置に設けられた第１撮像装置と第２撮像装置とを有し、前記投射部は、前記第１画像光を投射する第１プロジェクターと、前記第２画像光を投射する第２プロジェクターと、を有し、前記信号処理部は、前記第１撮像装置の撮像結果に基づく第１画像信号を前記第１プロジェクターに供給し、前記第２撮像装置の撮像結果に基づく第２画像信号を前記第２プロジェクターに供給してもよい。
【００１６】
本発明の一つの形態の画像表示装置において、前記撮像部は、前記観察者を所定の位置から撮像する撮像装置を有し、前記投射部は、前記第１画像光を投射する第１プロジェクターと、前記第２画像光を投射する第２プロジェクターと、を有し、前記信号処理部は、前記撮像装置の撮像結果に基づいて前記第１画像に対応する第１画像信号と前記第２画像に対応する第２画像信号とを生成し、前記第１画像信号を前記第１プロジェクターに供給し、前記第２画像信号を前記第２プロジェクターに供給してもよい。
【００１７】
本発明の一つの形態の画像表示システムは、第１観察者が存在する第１地点に設けられた第１端末装置と、第２観察者が存在する第２地点に設けられた第２端末装置と、前記第１端末装置と前記第２端末装置との間で前記画像信号の通信を行う通信部と、を備える。前記第１端末装置および前記第２端末装置のうちの少なくとも一つは、本発明の一つの形態の画像表示装置で構成される。前記第１端末装置において生成された第１画像信号が前記第２端末装置に送信されることにより、前記第１端末装置による撮影像が前記第２端末装置において表示され、前記第２端末装置において生成された第２画像信号が前記第１端末装置に送信されることにより、前記第２端末装置による撮影像が前記第１端末装置において表示される。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態の画像表示装置の概略構成図である。
【図２】投射部から射出される光の作用を示す図である。
【図３】スクリーンの一例を示す断面図である。
【図４】スクリーンを構成するフレネルレンズの正面図である。
【図５】スクリーンを構成する拡散シートの正面図である。
【図６】スクリーンの拡散角度分布を示す図である。
【図７Ａ】スクリーンよりも後側に画像が観察される場合の光の作用を示す図である。
【図７Ｂ】スクリーンよりも後側に画像が観察される場合の右眼用画像と左眼用画像とを示す図である。
【図８Ａ】画像の一部がスクリーンから飛び出して観察される場合の光の作用を示す図である。
【図８Ｂ】画像の一部がスクリーンから飛び出して観察される場合の右眼用画像と左眼用画像とを示す図である。
【図９Ａ】観察者を撮影した画像の一例を示す図である。
【図９Ｂ】スクリーンよりも後側に観察者の画像が観察される場合のイメージを示す図である。
【図９Ｃ】観察者の画像の一部がスクリーンから飛び出して観察される場合のイメージを示す図である。
【図１０】信号処理装置における信号処理の流れを示す図である。
【図１１】心情情報取得部の第１構成例を示す図である。
【図１２】スライドボリュームにおけるノブの位置と画像の飛び出し距離との関係を示す図である。
【図１３】心情情報取得部の第２構成例を示す図である。
【図１４Ａ】距離センサーを用いた場合に飛び出し距離を算出する処理の流れを示す図である。
【図１４Ｂ】観察者からスクリーンまでの距離と画像の飛び出し距離との関係を示す図である。
【図１４Ｃ】観察者からスクリーンまでの距離の時間変化を示す図である。
【図１４Ｄ】観察者の移動の加速度に対応する微分出力を示す図である。
【図１４Ｅ】図１４Ｄの正ピークホールド出力を示す図である。
【図１５】心情情報取得部の第３構成例を示す図である。
【図１６】マイクロフォンが検出した音量と画像の飛び出し距離との関係を示す図である。
【図１７】心情情報取得部の第４構成例を示す図である。
【図１８】心音マイクロフォンが検出した心拍数と画像の飛び出し距離との関係を示す図である。
【図１９】第２実施形態の画像表示装置の概略構成図である。
【図２０】信号処理部における信号処理の流れを示す図である。
【図２１】第３実施形態の画像表示装置において、撮像装置が撮影した観察者の像と顔検出枠の一例を示す図である。
【図２２】撮像装置が撮影した観察者の像と顔検出枠とから距離を求める方法を説明するための図である。
【図２３Ａ】第１変形例のスクリーンの断面図である。
【図２３Ｂ】第２変形例のスクリーンの断面図である。
【図２３Ｃ】第３変形例のスクリーンの断面図である。
【図２４】第４実施形態の画像表示装置の概略構成図である。
【図２５】信号処理部における信号処理の流れを示す図である。
【図２６Ａ】観察者が見た画像の一例を示す図である。
【図２６Ｂ】図２６Ａの画像から特定の参加者が飛び出して表示された一例を示す図である。
【図２７】第５実施形態の画像表示装置における信号処理の流れを示す図である。
【図２８】第６実施形態の画像表示装置の概略構成図である。
【図２９】第６実施形態の変形例である画像表示装置の概略構成図である。
【発明を実施するための形態】
【００１９】
［第１実施形態］
以下、本発明の第１実施形態について、図１〜図１８を用いて説明する。
図１は、第１実施形態の画像表示装置１０の概略構成図である。
図２は、投射部から射出される光の作用を示す図である。
なお、以下の各図面においては各構成要素を見やすくするため、構成要素によって寸法の縮尺を異ならせて示すことがある。
【００２０】
図１に示すように、第１実施形態の画像表示装置１０は、投射部４０と、スクリーン４１（表示部）と、撮像部４２と、スライドボリューム４３（入力装置）と、距離センサー４４（距離検出装置）と、マイクロフォン４５（音声検出装置）と、心音マイクロフォン４６（心拍数検出装置）と、信号処理装置４７（信号処理部）と、を備えている。
【００２１】
本実施形態の画像表示装置１０は、例えばテレビ会議システムのように、第１地点に居る第１観察者と、第１地点から物理的に離れた第２地点に居る第２観察者とを結んで会議を行う際に用いる画像表示システムに用いることを想定している。図１に示す画像表示装置１０は、第１観察者Ｍ１が居る第１地点の画像表示装置１０とする。
【００２２】
本実施形態の場合、第１地点と第２地点とには、同一構成の画像表示装置１０が設けられている。したがって、第１地点の画像表示装置１０には、第２地点のスクリーン４１の略正面に位置する第２観察者の立体画像が表示される。したがって、第１地点のスクリーン４１の略正面に位置する第１観察者Ｍ１は、第２観察者の姿を立体的に視認することができる。スクリーン４１は、いわゆるリアスクリーンと呼ばれる透過型のスクリーンである。そのため、第１観察者Ｍ１の観察位置から見て、投射部４０は、スクリーン４１の裏側に設置されている。
【００２３】
本実施形態において、画像表示装置１０は、心情情報を取得する手段として、スライドボリューム４３、距離センサー４４、マイクロフォン４５、および心音マイクロフォン４６の４種類の装置を備えた例を示したが、いずれか１つの装置のみを備えていてもよいし、２つ以上の装置を適宜併用してもよい。
【００２４】
図１および図２に示すように、投射部４０は、第１プロジェクター４０１と、第２プロジェクター４０２と、反射部４０３と、を備えている。第１プロジェクター４０１は、第１観察者Ｍ１の右眼用画像となる第１画像に対応する第１画像光Ｇ１を投射する。第２プロジェクター４０２は、第１観察者Ｍ１の左眼用画像となる第２画像に対応する第２画像光Ｇ２を投射する。第１プロジェクター４０１と第２プロジェクター４０２とは、各プロジェクター４０１，４０２の投射レンズ同士が概ね向かい合うように、離れて設置されている。
【００２５】
反射部４０３は、２枚のミラー２５Ａ，２５Ｂからなり、２枚のミラー２５Ａ，２５Ｂが略９０°の角度をなすように配置された構成を有する。反射部４０３は、第１プロジェクター４０１および第２プロジェクター４０２の光軸上に配置されている。そのため、第１プロジェクター４０１から射出された第１画像光Ｇ１、および第２プロジェクター４０２から射出された第２画像光Ｇ２のそれぞれは、反射部４０３で反射し、スクリーン４１に向かって進む。このように、投射部４０は、第１観察者Ｍ１の右眼用画像となる第１画像に対応する第１画像光Ｇ１を投射するとともに、第１観察者Ｍ１の左眼用画像となる第２画像に対応する第２画像光Ｇ２を投射する。
【００２６】
第１プロジェクター４０１と第２プロジェクター４０２とは、同一の構成を有する一般的なプロジェクターから構成されている。したがって、第１プロジェクター４０１を例に取り、構成を簡単に説明する。
【００２７】
図２に示すように、第１プロジェクター４０１は、光源ランプ１７と、インテグレーター光学系１８と、色分離光学系１９と、３組の液晶ライトバルブ２０Ｒ，２０Ｇ，２０Ｂを有する光変調装置と、色合成プリズム２１と、投射レンズ２２と、筐体２３と、を備えている。
【００２８】
光源ランプ１７からの光は、インテグレーター光学系１８により照度分布が均一化され、複数のダイクロックミラーを含む色分離光学系１９により赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の各色光に分離される。Ｒ，Ｇ，Ｂの各色光は、各色光に対応した液晶ライトバルブ２０Ｒ，２０Ｇ，２０Ｂを照明し、映像信号により各画素の透過率が変化することで各色の画像を生成し、色合成プリズム２１で合成され、投射レンズ２２によってスクリーン４１に投射される。
【００２９】
図３は、スクリーン４１の一例を示す側面図である。図４は、スクリーン４１を構成するフレネルレンズ２７の正面図である。図５は、スクリーン４１を構成する拡散シート２８の正面図である。
【００３０】
図３に示すように、スクリーン４１は、フレネルレンズ２７と、拡散シート２８と、から構成されている。拡散シート２８は、スクリーン４１の光入射側に配置されている。フレネルレンズ２７は、スクリーン４１の光射出側に配置されている。フレネルレンズ２７は、フレネル面２７ｆと平面２７ｂとを有する。拡散シート２８は、フレネルレンズ２７の平面２７ｂに接合されている。
【００３１】
図４に示すように、フレネルレンズ２７は、凸レンズを同心円状に分割し、傾斜部分のみを残して圧縮し、薄型化した構造を有する。フレネルレンズ２７は、フレネルレンズ２７の法線方向から見て、矩形状に形成されている。
【００３２】
図６は、スクリーン４１の拡散角度分布を示す図である。図６において、横軸は光の射出角を示し、縦軸は透過率を示している。符号Ｂｈで示す曲線は水平方向の拡散角度分布を示し、符号Ｂｖで示す曲線は垂直方向の拡散角度分布を示す。
【００３３】
図５に示すように、拡散シート２８は、フレネルレンズ２７と同様に矩形状に形成されたシート状の部材である。図６に示すように、拡散シート２８は、水平方向には非常に狭く、垂直方向には広い拡散角度分布を備えている。このように、異方的な拡散性を示す手段として、例えば針状のフィラーが垂直方向に沿って配向して分散されたシートが用いられてもよいし、個々のシリンドリカルレンズが垂直方向に配置されたレンチキュラーシートが用いられてもよい。
なお、本実施形態の垂直方向は特許請求の範囲の第１方向に対応し、本実施形態の水平方向は特許請求の範囲の第２方向に対応する。
【００３４】
このような構成により、スクリーン４１においては、投射画像が拡散シート２８に結像されるとともに、拡散シート２８から射出された光線はフレネルレンズ２７によって第１観察者Ｍ１の観察位置に集光する。すなわち、スクリーン４１は、投射部４０から射出された第１画像光Ｇ１および第２画像光Ｇ２が投射され、第１画像光Ｇ１および第２画像光Ｇ２の各々を垂直方向が水平方向よりも広い拡散角で拡散させるとともに、第１画像光Ｇ１および第２画像光Ｇ２の各々を観察位置において集光させる。
【００３５】
図１に示すように、撮像部４２は、水平方向に互いに離れた位置に設けられた第１撮像装置４２１と第２撮像装置４２２とを有する。本実施形態の場合、第１撮像装置４２１と第２撮像装置４２２とはスクリーン４１の上部に設置されているが、設置場所は特に限定されない。第１撮像装置４２１と第２撮像装置４２２とは、同一仕様のカメラから構成され、人間の標準的な眼間幅である３０ｍｍ〜１００ｍｍ、例えば６５ｍｍ程度の間隔をおいて配置されている。第１撮像装置４２１と第２撮像装置４２２とは、第１撮像装置４２１の光軸と第２撮像装置４２２の光軸とが投射部４０の後述する観察距離と同じ距離の地点で交差する向きに設置されている。また、第１撮像装置４２１の画角および第２撮像装置４２２の画角は、第１観察者Ｍ１の視点からスクリーン４１上の投射像を観察する画角と略同じになるように設定されている。
【００３６】
図１１は、心情情報取得部の第１構成例であるスライドボリューム４３を示す図である。スライドボリューム４３は、可変抵抗器の一種である。
図１１に示すように、スライドボリューム４３は、ボリューム本体４３１とノブ４３２とを有している。図１に示すように、スライドボリューム４３は、スクリーン４１を観察している第１観察者Ｍ１の手の届く位置に配置されている。スライドボリューム４３は、エンコーダー４９に接続されており、第１観察者Ｍ１がノブ４３２を移動させることによってエンコーダー４９の出力が変化する。スライドボリューム４３は、第１観察者Ｍ１が自身の心情情報を入力する際に用いる。
【００３７】
図１３は、心情情報取得部の第２構成例である距離センサー４４を示す図である。
図１に示すように、距離センサー４４は、スクリーン４１の上部に固定されている。ただし、距離センサー４４の固定場所は特に限定されない。距離センサー４４としては、一般的な変位センサー、測長センサーを用いることができる。図１３に示すように、距離センサー４４は、エンコーダー５０に接続されている。これにより、エンコーダー５０の出力は、距離センサー４４による距離の計測値に応じて変化する。距離センサー４４は、第１観察者Ｍ１とスクリーン４１との間の距離を検出する。
【００３８】
図１５は、心情情報取得部の第３構成例であるマイクロフォン４５を示す図である。
図１５に示すように、マイクロフォン４５は、増幅器５１を介してエンコーダー５２に接続されている。これにより、エンコーダー５２の出力は、マイクロフォン４５が検出した音声の音量に応じて変化する。マイクロフォン４５は、第１観察者Ｍ１が発する音声を検出する。マイクロフォン４５の設置位置は、第１観察者Ｍ１が発する音声を検出可能な位置であればよく、特に限定されない。
【００３９】
図１７は、心情情報取得部の第４構成例である心音マイクロフォン４６を示す図である。
図１７に示すように、心音マイクロフォン４６は、増幅器５３を介してエンコーダー５４に接続されている。これにより、エンコーダー５４の出力は、心音マイクロフォン４６が検出した心拍数に応じて変化する。心音マイクロフォン４６は、第１観察者Ｍ１の心音を計測することによって心拍数を検出する。心音マイクロフォン４６は、第１観察者Ｍ１の心音を計測可能な位置に設置されていればよく、例えば第１観察者Ｍ１の手首や胸部等に設置されていればよい。
【００４０】
図１に示すように、信号処理装置４７は、第１撮像装置４２１、第２撮像装置４２２、スライドボリューム４３、距離センサー４４、マイクロフォン４５、心音マイクロフォン４６、第１プロジェクター４０１、および第２プロジェクター４０２のそれぞれにケーブル３０を介して接続されている。信号処理装置４７は、第１撮像装置４２１および第２撮像装置４２２からの撮像結果を受けて、第１プロジェクター４０１および第２プロジェクター４０２に供給する画像信号を生成し、ＷＡＮ（Wide Area Network）／ＬＡＮ（Local Area Network）回線に送信する。信号処理装置４７の動作については後述する。
【００４１】
以下、画像表示装置１０における光の作用について説明する。
図２に示すように、第１プロジェクター４０１と第２プロジェクター４０２とは、各々の光軸ＡＸ１，ＡＸ２が対向するように配置されるとともに、反射部４０３の各ミラー２５Ａ，２５Ｂによって反射された各画像光Ｇ１，Ｇ２の光軸がスクリーン４１の中心付近を通過するように設定されている。
【００４２】
上述したように、スクリーン４１は、拡散シート２８とフレネルレンズ２７とが積層された構成を有する。各画像光Ｇ１，Ｇ２は、フレネルレンズ２７の焦点距離と投射距離で決まる、スクリーン４１からの集光位置に集光し、空中に視点を生成する。投射距離、観察距離、および第１プロジェクター４０１と第２プロジェクター４０２との間隔は、集光位置の間隔が人間の眼間幅である約６５ｍｍ程度になるように設定されている。
【００４３】
拡散シート２８が水平方向に１〜３度程度の拡散角を有しているため、視点方向に向かう光線は広がりを持つ。そのため、斜線で示したように、スクリーン４１の全体から射出される光線が互いに重なる部分は、第１観察者Ｍ１がスクリーン４１の全体を見ることができる視点の範囲になる。図２では、スクリーン４１の左端と右端から射出される光線が重なる部分のみを斜線で示したが、スクリーン４１の左端と右端以外の部分から射出される光線も斜線の範囲にほぼ重なる。したがって、第１観察者の左眼ＬＥと右眼ＲＥとがそれぞれ斜線領域の範囲内にあれば、第１プロジェクター４０１から投射された第１画像を右眼ＲＥで観察し、第２プロジェクター４０２から投射された第２画像を左眼ＬＥでそれぞれ観察することができる。その結果、第１観察者Ｍ１は、第１画像と第２画像とからなる立体像を観察することができる。
【００４４】
図７Ａは、スクリーン４１よりも後側に立体画像Ｊが観察される場合の光の作用を示す図である。図７Ｂは、スクリーン４１よりも後側に立体画像Ｊが観察される場合の右眼用画像ＪＲと左眼用画像ＪＬとを示す図である。図８Ａは、立体画像Ｊの一部がスクリーン４１から飛び出して観察される場合の光の作用を示す図である。図８Ｂは、立体画像Ｊの一部がスクリーン４１から飛び出して観察される場合の右眼用画像ＪＲと左眼用画像ＪＬとを示す図である。なお、図７Ｂおよび図８Ｂにおいて、直線Ｉは、第１画像と第２画像の位置を見やすくするための基準線として示したスクリーンの中心線である。
【００４５】
観察される立体画像Ｊの位置について説明する。
基本的に右眼ＲＥと左眼ＬＥとで観察される画像の同じ点を見る輻輳角によって、観察される立体画像Ｊの位置が決まる。図７Ａおよび図８Ａにおいて、第１観察者Ｍ１は、三角柱の手前側の頂点を観察するものとする。右眼ＲＥと左眼ＬＥとでスクリーン４１上の１点を見た場合の輻輳角に比べて、図７Ａに示すように、観察する点の輻輳角αが小さい場合、観察する点は、第１観察者Ｍ１にとってスクリーン４１よりも奥側に位置して見える。逆に、図８Ａに示すように、観察する点の輻輳角βが大きい場合、観察する点は、第１観察者Ｍ１にとってスクリーン４１よりも手前側に飛び出して見える。
【００４６】
ここで、右眼用画像ＪＲとなる第１画像と左眼用画像ＪＬとなる第２画像との水平方向の間隔を変化させることによって、像の同じ点を見る輻輳角を変化させることができる。これにより、立体画像Ｊの奥行き方向の位置を制御することができる。例えば、図７Ｂに示すように、スクリーン４１の奥側に位置している立体画像Ｊに対して、図８Ｂに示すように、右眼ＲＥで観察される第１画像を左側にずらし、左眼ＬＥで観察される第２画像を同じ距離だけ右側にずらす。この場合、立体画像Ｊを構成する各点の輻輳角が大きくなるために、立体画像Ｊは、第１観察者Ｍ１にとって元の位置よりも手前側に移動して見える。代表的には、立体画像Ｊの奥側から手前側への移動は、輻輳角αを輻輳角βのように広くすることに対応する。
【００４７】
立体画像Ｊの位置として、図８Ａに示すように、立体画像Ｊの一部がスクリーン４１から飛び出すように表示することができるだけでなく、立体画像Ｊの全体をスクリーン４１から飛び出すように表示すること、または、図７Ａに示す位置よりも立体画像Ｊがさらに奥側に位置するように表示することができる。ここで、第１画像と第２画像との水平方向の間隔は、左眼ＬＥで観察される第２画像だけを右側にずらしてもよく、または右眼ＲＥで観察される第１画像だけを左側にずらすようにしてもよく、第１画像と第２画像との両方をそれぞれずらしてもよい。いずれの場合も、信号処理装置４７は、立体画像Ｊの奥行き方向の表示位置を制御するには、第１画像と第２画像との間隔を変化させればよい。
【００４８】
図９Ａは、第２観察者を撮影した立体画像Ｍ２の一例を示す図である。図９Ｂは、スクリーン４１よりも奥側に第２観察者の立体画像Ｍ２が観察される場合のイメージを示す図である。図９Ｃは、第２観察者の立体画像Ｍ２の一部がスクリーン４１から飛び出して観察される場合のイメージを示す図である。
【００４９】
図９Ａに示すように、第２地点に居る第２観察者を撮影した立体画像Ｍ２を第１地点のスクリーン４１に表示する場合を想定する。上述したように、信号処理装置４７は、第２観察者を撮影した立体画像Ｍ２を構成する第１画像と第２画像との間隔を制御することによって、第２観察者の立体画像Ｍ２の奥行き方向の観察位置を制御することができる。例えば、第１画像と第２画像との間隔を相対的に広くすれば、図９Ｂに示すように、第２観察者の立体画像Ｍ２をスクリーン４１より奥側に位置するように表示することができる。また、第１画像と第２画像との間隔を相対的に狭くすれば、図９Ｃに示すように、第２観察者の立体画像Ｍ２の一部をスクリーン４１から飛び出して見えるように表示することができる。
【００５０】
図１０は、画像表示システム１００において、信号処理装置４７の信号処理の流れを示す図である。
図１０に示すように、第１撮像装置４２１および第２撮像装置４２２の各々の画像信号は、信号処理装置４７にキャプチャされる（ステップＳ１）。
【００５１】
次に、飛び出し量設定部（図示略）において、後述する心情情報に応じた立体画像の飛び出し量が設定される（ステップＳ２）。
【００５２】
次に、飛び出し量設定部が設定した飛び出し量に応じた第１画像および第２画像の水平移動量制御信号に従って、各撮像装置４２１，４２２によって撮像された画像に基づく第１画像および第２画像の水平位置が所定量だけ移動し、各画像の水平位置が制御される（ステップＳ４）。このとき、上述したように、飛び出し量の制御は２つの画像の間隔に対応しているため、第１画像の移動方向と第２画像の移動方向とは互いに逆である。したがって、第１画像の移動量を正負反転させ（ステップＳ３）、第２画像の移動量として設定する。
【００５３】
次に、第１撮像装置４２１と第２撮像装置４２２との同期が不一致である場合、任意のタイミング生成手段によるタイミング生成（ステップＳ５）によって、各画像にフレーム同期が掛けられる（ステップＳ６）。
【００５４】
次に、第１画像と第２画像とが合成され（ステップＳ７）、合成後のデータがエンコーダーによってエンコードされ、ＷＡＮ／ＬＡＮ等のネットワークに出力される（ステップＳ８）。第１画像と第２画像とを合成する方法として、第１画像と第２画像との水平方向を圧縮して合成するサイドバイサイドと呼称される方法が採用されてもよい。または、垂直方向を圧縮して上下に合成するトップアンドボトムと呼称される方法が採用されてもよい。または、時分割で合成する方法が採用されてもよい。または、元の画像の一部だけを縦横比が１／２になるように切り出して合成する方法が採用されてもよい。
【００５５】
また、ネットワークを介して送信された第２地点の画像表示装置における画像データは、デコーダーによってデコードされ（ステップＳ９）、第１画像と第２画像とに分離された後（ステップＳ１０）、第１プロジェクター４０１および第２プロジェクター４０２のそれぞれに供給される。このようにして、信号処理装置４７は、第１撮像装置４２１の撮像結果に基づく第１画像信号を第１プロジェクター４０１に供給し、第２撮像装置４２２の撮像結果に基づく第２画像信号を第２プロジェクター４０２に供給する。すなわち、信号処理装置４７は、心情情報取得部が取得した心情情報に基づいて、スクリーン４１上における第１画像と第２画像との間隔を変化させることにより、第１画像と第２画像とによって第１観察者Ｍ１に認識される立体画像の奥行き方向の表示位置を制御する。
【００５６】
なお、エンコーダーからの出力を、ネットワークを介して第２地点に送信するのではなく、第１地点の画像表示装置１０の信号処理装置４７においてそのままデコードする構成としてよい。その場合、第１地点に居る第１観察者Ｍ１は、自分自身の姿を観察することができる。
【００５７】
次に、信号処理装置４７において４種類の心情情報取得部（スライドボリューム４３、距離センサー４４、マイクロフォン４５、および心音マイクロフォン４６）からの心情情報を用いて飛び出し量を設定する方法について説明する。
【００５８】
（１）スライドボリューム４３を用いた場合
図１２は、スライドボリューム４３におけるノブ４３２の位置と立体画像の飛び出し距離との関係を示す図である。図１２において、横軸はノブ４３２の位置を示し、縦軸は飛び出し距離を示す。
【００５９】
スライドボリューム４３のノブ４３２の位置と飛び出し距離との関係は、例えば図１２に示すように予め設定され、信号処理装置４７に記憶されている。図１２の場合、図１１に示すスライドボリューム４３において、ノブ４３２の移動範囲の中心を基準として、ノブ４３２を移動範囲の一端側に移動させると、飛び出し距離は正、例えば立体画像がスクリーン４１から飛び出す側に移動する方向となる。一方、ノブ４３２を移動範囲の他端側に移動させると、飛び出し距離は負、例えば立体画像がスクリーン４１の奥側に移動する方向となる。図１２の例では、ノブ４３２の移動距離と立体画像の飛び出し距離との関係は、線形であるが、非線形であってもよい。
【００６０】
図１に示すように、スライドボリューム４３は、第１観察者Ｍ１の手の届く範囲に配置されており、第１観察者Ｍ１は、ノブ４３２を自由に操作することができる。そこで、両地点の観察者が互いの画像を見ながら打合せを行っている際に、例えば第１地点に居る第１観察者Ｍ１が自分の意見を強く主張したい場合に、スライドボリューム４３のノブ４３２を奥側に動かす。すると、第２地点に居る第２観察者は、表示されている第１観察者Ｍ１の顔がスクリーン４１の手前側に飛び出したように観察することができる。また、第１観察者Ｍ１の顔がスクリーン４１から飛び出すように見えなかったとしても、第１観察者Ｍ１の顔がスクリーン４１の奥側からスクリーン４１上またはスクリーン４１に近付く側に移動すれば、第１観察者Ｍ１が第２観察者に近づいたように見せることができる。
【００６１】
（２）距離センサー４４を用いた場合
図１４Ａは、距離センサー４４を用いた場合に立体画像の飛び出し距離を算出する処理の流れの一例を示す図である。図１４Ｂは、第１観察者Ｍ１からスクリーン４１までの距離と立体画像の飛び出し距離との関係を示す図である。
【００６２】
第１観察者Ｍ１からスクリーン４１までの距離、すなわち、距離センサー４４の検出距離と立体画像の飛び出し距離との関係は、例えば図１４Ｂに示すように予め設定されており、信号処理装置４７に記憶されている。図１４Ｂの場合、第１観察者Ｍ１からスクリーン４１までの距離のうち、第１観察者Ｍ１が標準的な視点位置に居るときの第１観察者Ｍ１からスクリーン４１までの距離を基準として、第１観察者Ｍ１がスクリーン４１に近付き、スクリーン４１との距離が短くなると、飛び出し距離は正、例えば立体画像がスクリーン４１から飛び出す側に移動する方向となる。一方、第１観察者Ｍ１がスクリーン４１から遠ざかり、スクリーン４１との距離が長くなると、飛び出し距離は負、例えば立体画像がスクリーン４１の奥側に移動する方向となる。図１４Ｂの例では、第１観察者Ｍ１からスクリーン４１までの検出距離と立体画像の飛び出し距離との関係は、線形であるが、非線形であってもよい。
【００６３】
第１観察者Ｍ１からスクリーン４１までの距離と立体画像の飛び出し距離との関係が図１４Ｂのように設定されたことによって、例えば第１観察者Ｍ１が自分の意見を強く主張したい場合には自身がスクリーン４１に近付けばよい。このとき、第２地点の第２観察者には、第１観察者Ｍ１の顔がスクリーン４１の奥側からスクリーン４１に近い側へ移動し、さらにはスクリーン４１の手前側に飛び出したように表示することができる。
【００６４】
本実施形態のように、２台の撮像装置４２１，４２２を用いて第１観察者Ｍ１の像を立体画像として撮影する場合、第１観察者Ｍ１がスクリーン４１に近付くだけで立体画像も移動して見えるが、図２に示すように、適視範囲が斜線の範囲に限られるため、第１観察者Ｍ１が適視範囲を越えて近付くと、立体画像を見ることはできない。したがって、第１観察者Ｍ１が適視範囲内でスクリーン４１に近付く場合には移動距離が限られるため、場合によっては立体画像の飛び出し距離が小さく、立体画像が飛び出して見える効果があまり感じられないことが考えられる。
【００６５】
その場合、図１４Ｂに示すように、第１観察者Ｍ１の立体画像の飛び出し距離の変化量が第１観察者Ｍ１の実際の移動距離よりも大きくしておくことが望ましい。すなわち、この場合、信号処理装置４７は、第１観察者Ｍ１の立体画像の奥行き方向の表示位置の変化量が、距離センサー４４が検出した検出距離の変化量よりも大きくなるように、立体画像の表示位置を制御する。信号処理装置４７がこのような制御を行うことにより、第１観察者Ｍ１が自分の意見を強く主張したくて移動する際に、立体画像が的確に見えるように適視範囲内でスクリーン４１の側に移動した場合であっても、立体画像が飛び出して見える効果を充分に得ることができる。
【００６６】
次に、信号処理装置４７が距離センサー４４の出力から加速度を求め、第１観察者Ｍ１のスクリーン４１への移動距離のピークをホールドし、エンコードして飛び出し距離を制御する場合について説明する。
図１４Ｃは、第１観察者Ｍ１からスクリーン４１までの距離の時間変化を示す図である。図１４Ｄは、第１観察者Ｍ１の移動の加速度に対応する微分出力を示す図である。図１４Ｅは、図１４Ｄの正ピークホールド出力を示す図である。
【００６７】
図１４Ｃに示す例は、時間の経過とともに第１観察者Ｍ１とスクリーン４１との間の距離が様々に変化する場合を示している。図１４Ｃにおいて、縦軸の上方向は、第１観察者Ｍ１がスクリーン４１に近付いて観察距離が短くなる方向を示し、縦軸の下方向は、第１観察者Ｍ１がスクリーン４１から遠ざかって観察距離が長くなる方向を示す。例えば、第１観察者Ｍ１は、時刻ｔ１から時刻ｔ２までスクリーン４１に近付く方向に移動し、時刻ｔ２から時刻ｔ３までその位置に留まった後、時刻ｔ３から時刻ｔ４までスクリーン４１から遠ざかる方向に移動している。
【００６８】
図１４Ｄにおいては、図１４Ｃのグラフを破線で示し、図１４Ｃのグラフの微分出力を実線で示している。したがって、実線は、第１観察者Ｍ１が移動する際の加速度を示している。信号処理装置４７は、図１４Ｄに示すように、加速度を算出する（ステップＳ１）。
【００６９】
図１４Ｅにおいては、図１４Ｄのグラフを破線で示し、図１４Ｄのグラフの正ピークホールド値を実線で示している。図１４Ｅに示すように、信号処理装置４７は、正ピークホールド値に減衰特性を付与することによって、第１観察者Ｍ１がスクリーン４１に近付く方向への移動速度を反映した立体画像の飛び出し距離を制御する（ステップＳ２）。すなわち、信号処理装置４７は、第１観察者Ｍ１の立体画像の奥行き方向の表示位置を、距離センサー４４が検出した第１観察者Ｍ１とスクリーン４１との間の距離の変化速度と変化量とに基づいて制御する。さらに、信号処理装置４７は、飛び出し距離をエンコードする（ステップＳ３）。
【００７０】
信号処理装置４７がこのような制御を行うことによって、第１観察者Ｍ１が自分の意見を強く主張したくて身体を乗り出した際に、立体画像がスクリーン４１から飛び出すように表示することができる。さらに、第１観察者Ｍ１が身体を乗り出す距離、第１観察者Ｍ１が身体を乗り出す際の速度、さらには第１観察者Ｍ１が身体を乗り出す頻度等のパラメーターに応じて、立体画像が飛び出して見える効果がより強調された表示を行うことができる。
【００７１】
（３）マイクロフォン４５を用いた場合
図１６は、マイクロフォン４５が検出した音量と立体画像の飛び出し距離との関係を示す図である。
【００７２】
マイクロフォン４５が検出した音量と立体画像の飛び出し距離との関係は、例えば図１６に示すように予め設定されており、信号処理装置４７に記憶されている。図１６では、マイクロフォン４５が検出した音量と立体画像の飛び出し距離との関係が非線形に設定されているが、この曲線の形状は任意に設定が可能である。
【００７３】
図１６の場合、例えば会議の参加者が発する標準的な音声の音量、具体的には第１観察者Ｍ１の標準的な声の音量を基準として、マイクロフォン４５が検出した音量が基準の音量よりも大きい場合、飛び出し距離は正、例えば立体画像がスクリーン４１から飛び出す側に移動する。一方、マイクロフォン４５が検出した音量が基準の音量よりも小さい場合、飛び出し距離は負、例えば立体画像がスクリーン４１の奥側に移動する。すなわち、信号処理装置４７は、第１観察者Ｍ１の立体画像の奥行き方向の表示位置を、マイクロフォン４５が検出した音声の音量に基づいて制御する。
【００７４】
信号処理装置４７がこのような制御を行うことによって、第１観察者Ｍ１が自分の意見を強く主張したくて大きな声を発した際に、第１観察者Ｍ１の立体画像をスクリーン４１から飛び出すように表示させ、小さな声を発した際には立体画像をスクリーン４１の奥側に引っ込むように表示させることができる。
【００７５】
（４）心音マイクロフォン４６を用いた場合
図１８は、心音マイクロフォン４６が検出した心拍数と立体画像の飛び出し距離との関係を示す図である。
【００７６】
心音マイクロフォン４６が検出した心拍数と立体画像の飛び出し距離との関係は、例えば図１８に示すように予め設定されており、信号処理装置４７に記憶されている。図１８では、心音マイクロフォン４６が検出した心拍数と立体画像の飛び出し距離との関係が非線形に設定されているが、この曲線の形状は任意に設定が可能である。
【００７７】
図１８の場合、例えば第１観察者Ｍ１の標準的な心拍数を基準として、心音マイクロフォン４６が検出した心拍数が標準的な心拍数よりも大きい場合、飛び出し距離は正となり、例えば立体画像がスクリーン４１から飛び出す側に移動する。一方、心音マイクロフォン４６が検出した心拍数が標準的な心拍数よりも小さい場合、飛び出し距離は負となり、例えば立体画像がスクリーン４１の奥側に移動する。すなわち、信号処理装置４７は、第１観察者Ｍ１の立体画像の奥行き方向の表示位置を、心音マイクロフォン４６が検出した心拍数に基づいて制御する。
【００７８】
信号処理装置４７がこのような制御を行うことによって、例えば第１観察者Ｍ１が会話を進めていく中で興奮状態となり、心拍数が高くなった際に、第１観察者Ｍ１の立体画像をスクリーン４１から飛び出すように表示させることができる。
【００７９】
以上説明したように、本実施形態の画像表示装置１０によれば、例えば物理的に離れた２つの地点で第１観察者と第２観察者とが会議を行う際に、一方の観察者が自分の意見を強く主張したい、特定の意見を強調したい、議論が白熱して興奮状態にある等の様々な観察者の心情を、画像表示装置１０を通して他方の観察者に伝えることができる。これにより、会議の参加者は、他の参加者の心情を容易に感じ取ることができ、あたかも一つの地点で会議を行っているかのように円滑に会議を進行することができる。
【００８０】
本実施形態において、心情情報取得部としてスライドボリューム４３が用いられた場合、会議の参加者は自分の意思でノブ４３２を操作することができる。これにより、参加者は、例えば参加者自身の無意識な行動や心情変化とは関係なく、相手に与える影響や効果を考慮しつつ、立体画像の表示位置を自主的に調整することができる。
【００８１】
本実施形態において、心情情報取得部として距離センサー４４が用いられた場合、会議の参加者は、例えば自身の意見を強く主張したくて意図的にスクリーン４１に近付く、または無意識に身体が前に乗り出す等の行動によって、立体画像をスクリーン４１から飛び出す方向に移動させ、他の観察者に心情を伝えることができる。
【００８２】
本実施形態において、心情情報取得部としてマイクロフォン４５が用いられた場合、会議の参加者は、例えば自身の意見を強く主張したくて意図的に大きな声を出す、または無意識に声が大きくなる等の行動によって、立体画像をスクリーン４１から飛び出す方向に移動させ、他の観察者に心情を伝えることができる。
【００８３】
本実施形態において、心情情報取得部として心音マイクロフォン４６が用いられた場合、会議の参加者は、例えば興奮状態となって心拍数が高くなることに連動して、立体画像がスクリーン４１から飛び出す方向に移動し、他の観察者に心情を伝えることができる。
【００８４】
［第２実施形態］
以下、本発明の第２実施形態について、図面を用いて説明する。
第２実施形態の画像表示装置の基本構成は第１実施形態と同様であり、撮像部の形態が第１実施形態と異なる。したがって、第２実施形態では、撮像部の構成を中心として説明する。
図１９は、第２実施形態の画像表示装置の概略構成図である。
図２０は、信号処理装置における信号処理の流れを示す図である。
本実施形態で用いる図面において、第１実施形態で用いた図面と共通な構成要素には同一の符号を付し、説明を省略する。
【００８５】
図１９に示すように、第２実施形態の画像表示装置１１は、投射部４０と、スクリーン４１と、撮像部５６と、スライドボリューム４３（入力装置）と、距離センサー４４（距離検出装置）と、マイクロフォン４５（音声検出装置）と、心音マイクロフォン４６（心拍数検出装置）と、信号処理装置５７（信号処理部）と、を備えている。
【００８６】
第１実施形態と異なり、撮像部５６は、一つの撮像装置５６１を有する。本実施形態の場合、撮像装置５６１はスクリーン４１の上部に固定されているが、固定場所は特に限定されない。信号処理装置５７は、撮像装置５６１の撮像結果に基づいて第１画像に対応する第１画像信号と第２画像に対応する第２画像信号とを生成し、第１画像信号を第１プロジェクター４０１に供給し、第２画像信号を第２プロジェクター４０２に供給する。
【００８７】
図２０に示すように、撮像装置５６１の画像信号は、信号処理装置５７にキャプチャされた後（ステップＳ１）、バッファメモリーに一旦格納される（ステップＳ２）。画像信号がバッファメモリーに一旦格納されることにより、第２地点の第１プロジェクター４０１に対応する第１画像と、第２地点の第２プロジェクター４０２に対応する第２画像と、が生成される。
【００８８】
次に、飛び出し量設定部において、第１観察者の心情情報に応じた飛び出し量が設定される（ステップＳ３）。
【００８９】
次に、飛び出し量設定部からの飛び出し量に応じた各画像の水平移動量制御信号に従って、撮像装置５６１が撮像した画像に基づく第１画像および第２画像の水平位置が所定量だけ移動し、各画像の水平位置が制御される（ステップＳ５）。このとき、２つの画像の移動方向は互いに逆であるため、第１画像の移動量を正負反転させ（ステップＳ４）、第２画像の移動量として設定する。
【００９０】
次に、第１画像と第２画像とが合成され（ステップＳ６）、合成後のデータがエンコーダーによってエンコードされ、ＷＡＮ／ＬＡＮ等のネットワークに出力される（ステップＳ７）。第１画像と第２画像とを合成する方法は、第１実施形態と同様である。
【００９１】
ネットワークを介して送信された第２地点での画像データは、デコーダーによってデコードされ（ステップＳ８）、第１画像と第２画像とに分離された後（ステップＳ９）、第１プロジェクター４０１および第２プロジェクター４０２のそれぞれに供給される。
画像表示装置１１のその他の構成は、第１実施形態と同様である。
【００９２】
第２実施形態の画像表示装置１１においては、第１実施形態と異なり、第１観察者Ｍ１を撮像する撮像装置５６１が一つしか設けられていないため、立体画像は表示されず、奥行きの情報を持たない平面的な画像が表示される。その場合でも、第１画像と第２画像との間隔を変化させることにより、一方の観察者の心情を他方の観察者に伝えることが可能な画像表示装置１１を実現できる。
【００９３】
［第３実施形態］
以下、本発明の第３実施形態について、図面を用いて説明する。
第３実施形態の画像表示装置の基本構成は第１実施形態と同様であり、観察者とスクリーンとの距離を検出する手段が第１実施形態と異なる。
図２１は、撮像装置が撮影した観察者の像と顔検出枠の一例を示す図である。図２２は、撮像装置が撮影した観察者の像と顔検出枠とから距離を求める方法を説明するための図である。
【００９４】
本実施形態では、第１実施形態の距離センサー４４に代えて、撮像装置５６１が撮影した画像に基づいて距離を算出する方法を示す。画像表示装置の構成は、距離センサー４４を備えていない点以外、第１実施形態と同様である。
【００９５】
図２１に示すように、信号処理装置は、撮像装置５６１によってキャプチャされた画像から、公知の顔検出アルゴリズムなどを備えた顔検出機能によって顔を検出し、顔検出枠５９を生成する。信号処理装置は、画素数を単位として各部の寸法を検出し、撮影枠６０の横幅をＨとし、顔検出枠５９の横幅をＷとする。
【００９６】
図２２に示すように、撮像装置５６１の水平撮影画角をαとし、撮像装置５６１から顔までの距離をＤとし、距離Ｄにおける顔の幅をＦとすると、撮影幅Ｓは、下記の（１）式で求めることができる。
Ｓ＝Ｈ×Ｆ／Ｗ  …（１）
【００９７】
上記の（１）式と下記の（２）式との関係から、下記の（３）式を導出することができる。
Ｓ＝２×Ｄ×ｔａｎ（α／２）  …（２）
Ｄ＝Ｈ×Ｆ／（２×Ｗ×ｔａｎ（α／２））  …（３）
【００９８】
水平撮影画角αは、撮像装置５６１の撮像レンズによって決まる値である。また、顔の幅Ｆは、例えば大人の標準的な値を適応すればよい。信号処理装置は、これらの値と撮影枠６０の横幅Ｈと顔検出枠５９の横幅Ｗとから、（３）式を用いて撮影距離Ｄを求めることができる。
【００９９】
本実施形態においても、第１実施形態の距離センサー４４を用いた場合と同様、会議の参加者は、例えばスクリーン４１に近付く、身体が前に乗り出す等の行動によって、画像をスクリーン４１から飛び出す方向に移動させ、他の観察者に心情を伝えることができる。このように、一方の観察者の心情を他方の観察者に伝えることが可能な画像表示装置を実現できる、といった第１実施形態と同様の効果が得られる。
【０１００】
その他、本実施形態の信号処理装置は、撮像装置５６１が撮像した画像から、公知のアルゴリズムによって観察者の顔の表情を検出し、検出した顔の表情に基づいて、画像の飛び出し方、飛び出し距離などを制御するようにしてもよい。
【０１０１】
ここで、第１〜第３実施形態に共通する変形例として、スクリーンの３つの変形例について説明する。
【０１０２】
図２３Ａは、第１変形例のスクリーン３２を示す側面図である。図２３Ｂは、第２変形例のスクリーン３３を示す側面図である。図２３Ｃは、第３変形例のスクリーン３４を示す側面図である。
第１〜第３実施形態のスクリーン４１に代えて、図２３Ａ〜図２３Ｃに示すスクリーン３２，３３，３４が用いられてもよい。
【０１０３】
図２３Ａに示すように、第１変形例のスクリーン３２において、拡散シート２８は光入射側に配置され、フレネルレンズ２７は光射出側に配置されている。拡散シート２８は、フレネルレンズ２７のフレネル面２７ｆに接合されている。
【０１０４】
図２３Ｂに示すように、第２変形例のスクリーン３３において、拡散シート２８は光射出側に配置され、フレネルレンズ２７は光入射側に配置されている。拡散シート２８は、フレネルレンズ２７のフレネル面２７ｆに接合されている。
【０１０５】
図２３Ｃに示すように、第３変形例のスクリーン３４において、拡散シート２８は光射出側に配置され、フレネルレンズ２７は光入射側に配置されている。拡散シート２８は、フレネルレンズ２７の平面２７ｂに接合されている。
【０１０６】
［第４実施形態］
以下、本発明の第４実施形態について、図２４〜図２６Ｂを用いて説明する。
第４実施形態の画像表示装置の基本構成は第１実施形態と同様であるが、第２地点に複数の参加者が存在する場合に対応している点が第１実施形態と異なる。
図２４は、第４実施形態における第２地点の画像表示装置の概略構成図である。図２５は、信号処理部における信号処理の流れを示す図である。図２６Ａは、観察者が見た画像の一例を示す図である。図２６Ｂは、図２６Ａの画像から特定の参加者が飛び出して表示された一例を示す図である。
【０１０７】
本実施形態の画像表示システムは、第１観察者が存在する第１地点に設けられた画像表示装置（第１端末装置）と、第２観察者が存在する第２地点に設けられた画像表示装置（第２端末装置）と、第１端末装置と第２端末装置との間で画像信号の通信を行う通信部と、を備える。第１端末装置および第２端末装置のうちの少なくとも一つは、上記実施形態の画像表示装置で構成されている。第１端末装置において生成された第１画像信号が第２端末装置に送信されることにより、第１端末装置による撮影像が第２端末装置において表示され、第２端末装置において生成された第２映像信号が第１端末装置に送信されることにより、第２端末装置による撮影像が第１端末装置において表示される。
【０１０８】
図２４に示すように、第２地点の画像表示装置７０（第２端末装置）は、ディスプレイ７１と、撮像部７２と、信号処理装置７３と、を備えている。第２地点の複数の参加者Ｍ３，Ｍ４，Ｍ５，Ｍ６の正面に、ディスプレイ７１が設けられている。ディスプレイ７１は、ケーブル３０を介して信号処理装置７３と接続されている。ディスプレイ７１の上端に、第１撮像装置７２１と第２撮像装置７２２とを有する撮像部７２が設けられている。撮像部７２は、複数の参加者Ｍ３，Ｍ４，Ｍ５，Ｍ６を立体撮影している。撮像部７２が撮像した画像は、第１実施形態と同様、信号処理装置７３によってネットワークに出力される。
【０１０９】
一方、第１地点の画像表示装置（図示略）は、第１実施形態の画像表示装置１０と同様である。以上の画像表示システムの構成により、第１地点の第１観察者は、図２６Ａに示すように、第２地点の複数の参加者の立体画像ＭＣ３，ＭＣ４，ＭＣ５，ＭＣ６を観察することができる。
【０１１０】
なお、ディスプレイ７１は、図示を省略したプロジェクターから投射される画像光を用いたフロントスクリーンまたはリアスクリーンであってもよいし、フラットパネルディスプレイであってもよい。また、これらのディスプレイは、専用の眼鏡を装着して立体画像を観察する方式でもよいし、立体画像を表示しないディスプレイであってもよい。立体表示ディスプレイの場合は、第１地点の第１観察者の意思や感情等の心情情報に基づいて立体画像の飛び出しを再現できる。ただし、第２地点の参加者が眼鏡を掛けているために、参加者の表情が見やすいことを優先する場合には、立体画像を表示しないディスプレイを用いることが好ましい。
【０１１１】
本実施形態の画像表示装置７０における信号処理の流れを説明する。
図２５に示すように、第１撮像装置７２１および第２撮像装置７２２の各々の画像信号は、信号処理装置７３にキャプチャされる（ステップＳ１）。
【０１１２】
次に、図示しない人切出し手段により、参加者Ｍ３，Ｍ４，Ｍ５，Ｍ６が一人ずつ切り出される（ステップＳ２）。そして、図示しない選択手段により、参加者Ｍ３，Ｍ４，Ｍ５，Ｍ６のうちの一人が飛び出す対象として設定される（ステップＳ３）。なお、人切出し手段は、公知のソフトウエアにより実現すればよい。
【０１１３】
選択手段は、参加者Ｍ３，Ｍ４，Ｍ５，Ｍ６毎にスイッチを設けておき、スイッチを押した参加者を飛び出す対象として設定してもよいし、最も声が大きい参加者を飛び出す対象として設定してもよい。また、選択手段は、選択手段と飛び出し距離の設定手段との組み合わせによって、ディスプレイ７１に最も近い位置に居る参加者を飛び出す対象として自動的に設定してもよい。また、選択手段は、複数の参加者Ｍ３，Ｍ４，Ｍ５，Ｍ６を同時に飛び出す対象として設定してもよい。
【０１１４】
このように設定された飛び出し対象の参加者について、第１実施形態で説明したのと同様に、スライドボリューム、距離センサー、音声の大きさ、心拍数などによって飛び出し距離を設定し（ステップＳ４）、対象になった参加者の画像については水平位置の移動を制御し（ステップＳ５）、対象になっていない参加者の画像については制御しないようにする。この際、第１画像の移動量を正負反転させ（ステップＳ６）、第２画像の移動量として設定する。
【０１１５】
次に、飛び出し対象の画像とそれ以外の画像とを基の位置に配置するように合成する（ステップＳ７）。その後、第１画像と第２画像とをフレーム同期させ（Ｓ８）、第１実施形態と同様の処理（ステップＳ９〜Ｓ１２）を行う。
【０１１６】
上記の処理を行った結果、例えば図２６Ａに示すように、４人の参加者Ｍ３，Ｍ４，Ｍ５，Ｍ６が着座している場合、飛び出し対象として設定された参加者Ｍ５が自身の意思や感情を伝えようとする場合には、第１地点の第１観察者には、図２６Ｂに示すように、参加者Ｍ５の立体画像ＭＣ５がスクリーン４１から飛び出して見えることになる。
【０１１７】
本実施形態の画像表示システムによれば、一方の地点に複数の参加者が居る場合においても、第１実施形態と同様、観察者の心情を他方の観察者に伝えることができる。
【０１１８】
［第５実施形態］
以下、本発明の第５実施形態について、図２７を用いて説明する。
第５実施形態の画像表示装置の基本構成は第４実施形態と同様であり、撮像部の形態が第４実施形態と異なる。
図２７は、第５実施形態の画像表示装置において、信号処理部における信号処理の流れを示す図である。
【０１１９】
第５実施形態において、第２地点の画像表示装置（第２端末装置）は、ディスプレイと、撮像部と、信号処理装置と、を備えている。第１実施形態と異なり、撮像部７５は、一つの撮像装置７６を有する。
【０１２０】
以下、信号処理の流れについては、図２７に示すように、撮像装置７６の画像信号は、信号処理装置にキャプチャされた後（ステップＳ１）、バッファメモリーに一旦格納される（ステップＳ２２）。
【０１２１】
次に、第４実施形態と同様、参加者が一人ずつ切り出され（ステップＳ３）、飛び出す対象が設定される（ステップＳ４）。以下、第４実施形態と同様の処理が行われる。
【０１２２】
第５実施形態の画像表示装置においては、第４実施形態と異なり、会議の複数の参加者を撮像する撮像装置７６が一つしか設けられていないため、立体画像は表示されず、奥行きの情報を持たない平面的な画像が表示される。その場合でも、一方の観察者の心情を他方の観察者に伝えることが可能な画像表示装置を実現することができる。
【０１２３】
［第６実施形態］
以下、本発明の第６実施形態について、図面を用いて説明する。
第６実施形態の画像表示装置の基本構成は第１実施形態と同様であるが、３つの拠点を結んで会議を行う場合に対応している点で第１実施形態と異なる。
図２８は、第６実施形態の画像表示装置の概略構成図である。
【０１２４】
図２８に示すように、本実施形態の画像表示装置１２は、図１の構成を垂直方向に３段重ねた構成を有し、３つのスクリーン４１Ｂ，４１Ｃ，４１Ｄが垂直方向に並べられている。撮像部４２は、最上段のスクリーン４１Ｂの上端に配置されている。そのため、３つの拠点に対して同じ画像を送ることができる。一方、各スクリーン４１Ｂ，４１Ｃ，４１Ｄには、各拠点の立体画像が個別に表示されている。各スクリーン４１Ｂ，４１Ｃ，４１Ｄにおいて、一つの拠点の参加者は、第１実施形態と同様、他の拠点の参加者の心情情報によって飛び出し距離が変化した画像を見ることができる。
【０１２５】
２台のプロジェクターを有する投射部は、各スクリーン４１Ｂ，４１Ｃ，４１Ｄに対応して設けられていればよい。また、画像表示装置は、画像信号を垂直周期の中に圧縮し、１組のプロジェクターが投射光学系に垂直方向に画像を拡大することができるアナモフィックレンズを備える構成としてもよい。その場合、３組のプロジェクターを用いることなく、１組のプロジェクターによって複数の拠点を同時に投射するように構成することも可能である。
【０１２６】
本実施形態の画像表示装置１２は、以下の構成を有していてもよい。
図２９は、変形例の画像表示装置１３の概略構成図である。
【０１２７】
図２９に示すように、変形例の画像表示装置１３において、３つのスクリーン４１Ｂ，４１Ｃ，４１Ｄは、円弧状に配置されている。各スクリーン４１Ｂ，４１Ｃ，４１Ｄの裏面側には、２台のプロジェクターを含む投射部（図示略）が設けられている。第１観察者Ｍ１からは、見る方向によって、いずれかの拠点の立体画像を見ることができる。
【０１２８】
また、撮像部４２Ｂ，４２Ｃ，４２Ｄは、各スクリーン４１Ｂ，４１Ｃ，４１Ｄに対応して設けられている。第１観察者Ｍ１が見る方向に対応して、各拠点の参加者からは、第１観察者Ｍ１がどの拠点を見ているかを知ることができる。また、各拠点においては、第１実施形態と同様、一つの拠点の参加者は、他の拠点の参加者の心情情報によって飛び出し距離が変化した画像を見ることができる。
【０１２９】
なお、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば上記実施形態では、画像表示装置が撮像部を備え、撮像部が一方の地点の観察者を撮影して他方の地点で表示する場合について説明したが、表示する画像として、例えばコンピューター・グラフィックスなどによって作成されたアバターを用い、観察者の意思や感情等の心情情報をアバターの飛び出し距離によって表現するようにしてもよい。
【０１３０】
また、ネットワークを用いた通信を行うことなく、一つの拠点の画像表示装置で生成された画像を当該拠点の画像表示装置で表示する構成としてもよい。その場合には、観察者は自分自身の姿を見ることができる。
【０１３１】
また、表示装置としては、裸眼方式の立体画像表示装置に限らず、眼鏡方式の立体表示装置にも本発明が適応可能である。さらに、プロジェクターに限らず、フラットパネルディスプレイなどの立体表示装置であっても適応可能である。また、裸眼方式の立体表示装置として、左右の画像を合成した画像を１台のプロジェクターに入力し、投射光を分割してスクリーン上で重畳する構成であってもよい。
【０１３２】
その他、画像表示装置および画像表示システムを構成する各種構成要素の形状、数、配置、および構成材料等に関しては、上記実施形態に限らず、適宜変更が可能である。
【０１３３】
また、本発明の一つの形態は、テレビ会議に限らず、撮影系と表示系とを分離したサイネージなどの用途で使うこともできる。
【符号の説明】
【０１３４】
１０，１１，１２，１３…画像表示装置（第１端末装置）、４０…投射部、４１，４１Ｂ，４１Ｃ，４１Ｄ…スクリーン（表示部）、４２，４２Ｂ，４２Ｃ，４２Ｄ，５６…撮像部、４３…スライドボリューム（入力装置、心情情報取得部）、４４…距離センサー（距離検出装置、心情情報取得部）、４５…マイクロフォン（音声検出装置、心情情報取得部）、４６…心音マイクロフォン（心拍数検出装置、心情情報取得部）、４７，５７…信号処理装置（信号処理部）、７０…画像表示装置（第２端末装置）、１００…画像表示システム、４０１…第１プロジェクター、４０２…第２プロジェクター、４２１…第１撮像装置、４２２…第２撮像装置、Ｇ１…第１画像光、Ｇ２…第２画像光、ＪＲ…右眼用画像（第１画像）、ＪＬ…左眼用画像（第２画像）、Ｍ１…第１観察者、Ｍ２…第２観察者。
【図１】
2020156036.tif 000003
【図２】
2020156036.tif 000004
【図３】
2020156036.tif 000005
【図４】
2020156036.tif 000006
【図５】
2020156036.tif 000007
【図６】
2020156036.tif 000008
【図７Ａ】
2020156036.tif 000009
【図７Ｂ】
2020156036.tif 000010
【図８Ａ】
2020156036.tif 000011
【図８Ｂ】
2020156036.tif 000012
【図９Ａ】
2020156036.tif 000013
【図９Ｂ】
2020156036.tif 000014
【図９Ｃ】
2020156036.tif 000015
【図１０】
2020156036.tif 000016
【図１１】
2020156036.tif 000017
【図１２】
2020156036.tif 000018
【図１３】
2020156036.tif 000019
【図１４Ａ】
2020156036.tif 000020
【図１４Ｂ】
2020156036.tif 000021
【図１４Ｃ】
2020156036.tif 000022
【図１４Ｄ】
2020156036.tif 000023
【図１４Ｅ】
2020156036.tif 000024
【図１５】
2020156036.tif 000025
【図１６】
2020156036.tif 000026
【図１７】
2020156036.tif 000027
【図１８】
2020156036.tif 000028
【図１９】
2020156036.tif 000029
【図２０】
2020156036.tif 000030
【図２１】
2020156036.tif 000031
【図２２】
2020156036.tif 000032
【図２３Ａ】
2020156036.tif 000033
【図２３Ｂ】
2020156036.tif 000034
【図２３Ｃ】
2020156036.tif 000035
【図２４】
2020156036.tif 000036
【図２５】
2020156036.tif 000037
【図２６Ａ】
2020156036.tif 000038
【図２６Ｂ】
2020156036.tif 000039
【図２７】
2020156036.tif 000040
【図２８】
2020156036.tif 000041
【図２９】
2020156036.tif 000042