(57)【特許請求の範囲】
【請求項１】
表示対象を撮影するカメラに対する前記表示対象の顔の向きを示す方位情報と、前記カメラが表示対象を撮影して得られる３次元顔モデルデータとを入力する入力部と、
対向して配置されている第１表示素子と第２表示素子を備え、前記表示対象を立体的に表示する表示部と、
前記方位情報に基づき前記３次元顔モデルデータを前記表示対象を正面方向から見たときの正面顔の３次元顔モデルに変換し、前記正面顔の３次元顔モデルから前記第１表示素子が表示する第１表示画像と前記第２表示素子が表示する第２表示画像とを生成し、観測者がいる位置から見ると前記表示対象である人物の正面の顔となるように前記方位情報に基づくずれ量で前記第１表示画像と前記第２表示画像とを相対的にずらす補正をして、前記第１表示素子および前記第２表示素子に表示させる表示制御部と、
を備えることを特徴とする表示装置。
【請求項２】
前記表示制御部が、
前記正面顔の３次元顔モデルに対して、前記方位情報が示す前記表示対象の顔の奥行きに比例した輝度の分配を行うことにより、前記第１表示画像と前記第２表示画像を生成することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示対象を撮影して画像データを出力するカメラと、
前記表示対象と前記カメラとの距離を測定して距離情報を出力する距離センサと、
前記画像データに基づき前記３次元顔モデルデータを生成する３次元顔モデル生成部と、
前記距離情報に基づき前記方位情報を生成する方位情報生成部と、
をさらに備えることを特徴とする請求項１あるいは２に記載の表示装置。
【請求項４】
第１地点に置かれた第１表示装置のカメラによって撮影された表示対象を示す情報に基づき前記第１地点とは異なる第２地点に置かれた第２表示装置に前記表示対象を立体的に表示する表示方法において、
前記第１表示装置が、
前記カメラによって前記表示対象を撮影して当該表示対象である人物の顔を表わす画像データを得るステップと、
前記表示対象と前記カメラとの距離を測定して距離情報を得るステップと、
前記画像データに基づき３次元顔モデルデータを生成するステップと、
前記距離情報に基づき、前記表示対象を撮影するカメラに対する前記表示対象の顔の向きを示す方位情報を生成するステップと、
前記３次元顔モデルデータと前記方位情報とを前記第２表示装置に送信するステップと、
前記第２表示装置が、
前記３次元顔モデルデータと前記方位情報とを受信するステップと、
前記方位情報に基づき前記３次元顔モデルデータを前記表示対象を正面方向から見たときの正面顔の３次元顔モデルに変換するステップと、
対向して配置されている第１表示素子と第２表示素子を備え、前記表示対象を立体的に表示する表示部が表示する表示画像として、前記正面顔の３次元顔モデルから前記第１表示素子が表示する第１表示画像と前記第２表示素子が表示する第２表示画像とを生成するステップと、
観測者がいる位置から見ると前記表示対象である人物の正面の顔となるように前記方位情報に基づくズレ量で前記第１表示画像と前記第２表示画像とを相対的にずらす補正をして、前記第１表示素子および前記第２表示素子に表示させるステップと、
を備えることを特徴とする表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、表示対象を立体的に表示する表示装置および表示方法に関するものである。
【背景技術】
【０００２】
例えば、遠隔地にいるユーザをカメラで撮影した画像を受信して、現在地のディスプレイに表示することによって、ディスプレイに映る遠隔地のユーザを見ながら会議をすることができるテレビ会議のシステムがある（例えば、文献１参照）。
このシステムでは、互いに相手側のカメラで撮影された相手側の画像を自分側のディスプレイに表示することによって、相手側のユーザのしぐさや表情等を認識しながら会話をすることができ、現実に会っている状態に近い環境で会議をすることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１０７５３４号公報
【特許文献２】特許３５８７１０６号公報
【非特許文献】
【０００４】
【非特許文献１】Ｊｏｕｐｐｉ，Ｎ．:Ｆｉｒｓｔ Ｓｔｅｐｓ Ｔｏｗａｒｄｓ Ｍｕｔｕａｌｌｙ-Ｉｍｍｅｒｓｉｖｅ Ｍｏｂｉｌｅ Ｔｅｌｅｐｒｅｓｅｎｃｅ． ｉｎ Ｐｒｏｃ． ＣＳＣＷ２００２，ｐｐ．３５４−３６３．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このディスプレイが２次元の画像を表示するディスプレイであって、相手側のユーザがカメラ目線で話している状態を撮影し、この画像を自分側のディスプレイに表示している場合、自分側のディスプレイに映し出される相手側のユーザが、自分側にいる全てのユーザを見ているように感じられるという問題がある。
【０００６】
例えば、遠隔地側にいるユーザＬと、現在地側にいるユーザＭとユーザＮが、テレビ会議のシステムを利用して会議をしている場合を例に説明する。この相手側のユーザＬがカメラに向かって話しをしている場合、ユーザＬはカメラ目線となり、現在地側のディスプレイに表示されるユーザＬが、ユーザＭを見ているのかあるいはユーザＮを見ているのかわからない映像が表示される。このため、ディスプレイを見ているユーザＭ、Ｎは、どちらもユーザＬに見られているように誤解してしまう場合がある。
【０００７】
一方、この相手側のユーザＬがカメラとは違う方向に向かって話しをしている場合、ユーザＬはカメラ目線とはならないため、現在地側のディスプレイに表示されるユーザＬは、ユーザＭおよびユーザＮの両方とも違う方向を向いて話しているように表示される。よって、ディスプレイを見ているユーザＭ、Ｎは、どちらもユーザＬに見られていないように感じてしまう。
【０００８】
このように、一般的な２次元の画像を表示するディスプレイでは、映し出される相手側のユーザの見え方が同一であるため、相手方のユーザが誰に向かって話しているのかを現在地側のユーザが正しく理解することができない問題があった。
【０００９】
上述の課題を鑑み、本発明は、ディスプレイを見るユーザの位置に応じて表示対象の見え方を変更することができる表示装置および表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述の課題を鑑み、本発明に係る表示装置は、表示対象を撮影するカメラに対する前記表示対象の顔の向きを示す方位情報と、前記カメラが表示対象を撮影して得られる３次元顔モデルデータとを入力する入力部と、対向して配置されている第１表示素子と第２表示素子を備え、前記表示対象を立体的に表示する表示部と、前記方位情報に基づき前記３次元顔モデルデータを前記表示対象を正面方向から見たときの正面顔の３次元顔モデルに変換し、前記正面顔の３次元顔モデルから前記第１表示素子が表示する第１表示画像と前記第２表示素子が表示する第２表示画像とを生成し、観測者がいる位置から見ると前記表示対象である人物の正面の顔となるように前記方位情報に基づくずれ量で前記第１表示画像と前記第２表示画像とを相対的にずらす補正をして、前記第１表示素子および前記第２表示素子に表示させる表示制御部と、を備える。
【００１１】
また、上述の表示装置は、前記表示制御部が、前記正面顔の３次元顔モデルに対して、前記方位情報が示す前記表示対象の顔の奥行きに比例した輝度の分配を行うことにより、前記第１表示画像と前記第２表示画像を生成する。
【００１２】
また、上述の表示装置は、前記表示対象を撮影して画像データを出力するカメラと、前記表示対象と前記カメラとの距離を測定して距離情報を出力する距離センサと、前記画像データに基づき前記３次元顔モデルデータを生成する３次元顔モデル生成部と、前記距離情報に基づき前記方位情報を生成する方位情報生成部と、をさらに備える。
【００１３】
上述の課題を鑑み、本発明に係る表示方法は、第１地点に置かれた第１表示装置のカメラによって撮影された表示対象を示す情報に基づき前記第１地点とは異なる第２地点に置かれた第２表示装置に前記表示対象を立体的に表示する表示方法において、前記第１表示装置が、前記カメラによって前記表示対象を撮影して当該表示対象である人物の顔を表わす画像データを得るステップと、前記表示対象と前記カメラとの距離を測定して距離情報を得るステップと、前記画像データに基づき３次元顔モデルデータを生成するステップと、前記距離情報に基づき、前記表示対象を撮影するカメラに対する前記表示対象の顔の向きを示す方位情報を生成するステップと、前記３次元顔モデルデータと前記方位情報とを前記第２表示装置に送信するステップと、前記第２表示装置が、前記３次元顔モデルデータと前記方位情報とを受信するステップと、前記方位情報に基づき前記３次元顔モデルデータを前記表示対象を正面方向から見たときの正面顔の３次元顔モデルに変換するステップと、対向して配置されている第１表示素子と第２表示素子を備え、前記表示対象を立体的に表示する表示部が表示する表示画像として、前記正面顔の３次元顔モデルから前記第１表示素子が表示する第１表示画像と前記第２表示素子が表示する第２表示画像とを生成するステップと、観測者がいる位置から見ると前記表示対象である人物の正面の顔となるように前記方位情報に基づくズレ量で前記第１表示画像と前記第２表示画像とを相対的にずらす補正をして、前記第１表示素子および前記第２表示素子に表示させるステップと、を備える。
【発明の効果】
【００１４】
本発明によれば、ディスプレイを見るユーザの位置に応じて表示対象の見え方を変更することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態にかかる表示システムの一例を示す図である。
【図２】本発明の実施形態にかかる３次元表示装置の一例について示す概略図である。
【図３】本発明の実施形態にかかる３次元表示装置と表示対象との位置関係の一例を示す図である。
【図４】本発明の実施形態にかかる立体表示物の表示方法について説明するための図である。
【図５】本発明の実施形態にかかる立体表示物の表示方法について説明するための他の図である。
【図６】本発明の実施形態にかかる表示システムの構成の一例を示すブロック図である。
【図７】本発明の実施形態にかかる３次元表示装置の表示方法の一例について説明するための図である。
【図８】本発明の実施形態にかかる３次元表示装置と表示対象および観測者の関係を説明するための図である。
【図９】本発明の実施形態にかかる表示方法の一例を示すためのフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の第１実施形態に係る遠隔表示システムの概要を説明するための図である。
図１に示すように、本発明の第１実施形態に係る遠隔表示システムは、ネットワークＮＷを介して接続される３次元表示装置１００と２次元表示装置２００とを含む。
この３次元表示装置１００は、例えば、第１地点に存在する会議室等に置かれており、ユーザＡ，Ｂを撮影した映像をネットワークＮＷを介して２次元表示装置２００に送信する。
また、２次元表示装置２００は、第１地点と異なる第２地点に存在する会議室等に置かれており、ユーザＣを撮影した映像をネットワークＮＷを介して３次元表示装置１００に送信する。
３次元表示装置１００は、受信した映像を、立体的に表示する。一方、２次元表示装置２００は、受信した映像を、平面的に表示する。
ここでは、第１地点を現在地、第２地点を遠隔地として、第２地点にいるユーザＣを撮影した映像を第１地点の３次元表示装置１００に立体的に表示する例を用いて、以下説明する。
【００１７】
次に、図２を参照して、３次元表示装置１００の一例について説明する。
３次元表示装置１００は、図２に示す通り、二層積層表示ディスプレイ１１と、カメラ１２と、マイク１３と、スピーカー１４を備える。二層積層表示ディスプレイ１１は、前面表示素子１６と、後面表示素子１７と、バックライト１８を含む。
この二層積層表示ディスプレイ１１は、例えば、ＤＦＤ（Ｄｅｐｔｈ−Ｆｕｓｅｄ ３−Ｄ）錯視現象を利用して映像を立体的に表示するディスプレイである。この３次元表示装置１００は、２次元表示装置２００に搭載されているカメラが撮影した画像を示す情報を受信し、当該情報に基づき、前面表示素子１６と後面表示素子１７の輝度の割合を調整して、立体表示物を表示する。
なお、ＤＦＤ錯視現象を利用した表示の仕組みについては後述する。
【００１８】
次に、図３を参照して、２次元表示装置２００の一例について説明する。
図３（Ａ）に示す通り、２次元表示装置２００は、２次元画像表示ディスプレイ２１と、カメラ２２と、距離センサ２３と、コールドミラー２４を備える。
２次元画像表示ディスプレイ２１は、一般的に使用されている平面画像を表示する装置であって、例えば、液晶表示装置等が利用可能である。
カメラ２２は、例えば、２次元画像表示ディスプレイ２１を見るユーザの顔を概ね正面から撮影できる位置に取り付けられている。
距離センサ２３は、例えば測定エリア内に存在する測定対象との距離を測定する距離画像センサ等であって、カメラ２２の上部であって、２次元画像表示ディスプレイ２１の表示画面から測定対象であるユーザの顔までの距離を測定できる位置に取り付けられている。なお、距離センサ２３の前面には、２次元画像表示ディスプレイ２１の表示画面の面方向と４５度で交わる角度でコールドミラー２４が取り付けられている。この距離画像センサは、例えば、ＴＯＦ（  Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ  ）法を利用した距離測定を行うものである。具体的にいうと、赤外線などの光源を使って、光源から光に基づく対象物からの反射光を計測し、センサに届くまでの光の飛行時間（遅れ時間）と光の速度（３×１０８ｍ／ｓ）から、測定対象物までの距離を得て、実空間上におけるセンサと測定対象物との距離を画像として取得するものである。
この距離センサ２３は、撮影対象であるユーザの顔の凹凸に応じて、各部分に対応する距離を計測することができる。例えば、距離センサ２３は、ユーザの鼻との距離、ユーザの目との距離、ユーザの口との距離等を計測することができる。なお、カメラ２２と距離センサ２３との相対的な位置関係に応じて、距離センサ２３が検出する対象物との距離は、カメラ２２が撮影する画面内における画像領域と予め対応付けられている。よって、距離センサ２３が測定する距離情報は、２次元画像表示ディスプレイ２１の表示画面に対するユーザの顔の向きを示すことができる。
【００１９】
このユーザの顔の向きについて、図３（Ａ）に示す２次元画像表示ディスプレイ２１を、上面から見た状態を、図３（Ｂ）に示す。
図３（Ｂ）に示す通り、ユーザは、２次元画像表示ディスプレイ２１において水平方向（Ｘ）に対して真ん中を正面から見ている。この場合、ユーザの顔の向きを示す方位角（傾き角）は０度である。なお、この例に限られず、２次元画像表示ディスプレイ２１の表示画面の面方向に対して顔の正面が対向している状態を、顔の傾き角が０度の状態であるとする。これは、人間の鼻は、顔の中央に位置し、両目とも概ね等距離に位置している。このため、人間の鼻の位置に対して、両目との距離が同一と判断できる範囲内である場合、顔の傾き角が０度の状態である。
【００２０】
一方、図３（Ｃ）に示す通り、ユーザは、２次元画像表示ディスプレイ２１の表示画面の面方向に対して、ユーザの右方向に顔を向けている。ここで、ユーザの顔の向きは、方位角αだけユーザの右方向に回転しているため、ユーザの顔の傾き角は＋αである。このように、顔の向きがカメラ２２に対して正面を向いておらず方位角αだけ右側を向いている場合、ユーザの顔の各部分間での距離が変化する。つまり、ユーザの鼻の位置に対して両目の距離が同一でなく、右目と鼻の距離が、左目と鼻の距離に比べて長くなり、距離センサ２３の測定対象であるユーザの顔から検出される距離が、鼻を中心にして非対称となる。この非対称となる割合に応じて、顔の傾き角を算出することができる。
また、ユーザの顔の向きが、方位角αだけユーザの左方向に回転している場合、ユーザの顔の傾き角は−αである。この場合も、距離センサ１５の測定対象であるユーザの顔から検出される距離が非対称となる割合に応じて、顔の傾き角を算出することができる。
なお、上述の通り、距離センサ２３が計測する距離情報に基づく顔の傾き角を算出する処理は、以下に説明する顔傾き情報生成部によって実行される処理である。
【００２１】
次に、図４、５を参照して、このＤＦＤ錯視現象を利用した表示の仕組みについて説明する。
図４は、二層積層表示ディスプレイ１１の一例の概略構成を示す概略図である。図４に示す通り、前面表示素子１６および後面表示素子１７は、例えば透過型の液晶パネルであって、それぞれ複数の画素を有する。この二層積層表示ディスプレイ１１は、２枚（前面表示素子１６と後面表示素子１７）の透過型表示素子を平行に積層した透過型パネルに対して、バックライト１８の光を後面表示素子１７の後ろから透過させる。なお、ユーザは前面表示素子１６の方から二層積層表示ディスプレイ１１を見ることにより、表示される映像を立体的に見ることができる。
この前面表示素子１６と後面表示素子１７は、例えば、透過型の液晶ディスプレイで構成することができるが、透過型であれば表示素子（有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）、無機ＥＬ、液晶表示素子）であれば、どのようなものであってもよく、その利用可能である。
【００２２】
図５は、二層積層表示ディスプレイ１１に表示される立体表示物（３次元立体像）を説明するための図である。図５に示す通り、前面表示素子１６の透過型前面表示面１６Ａと、後面表示素子１７の透過型後面表示面１７Ａは、面間隔Ｌをあけて平行に配置されている。この前面表示素子１６の透過型前面表示面１６Ａが表示する画像を前面表示画像１６Ｂと、後面表示素子１７の透過型後面表示面１７Ａが表示する画像を後面表示画像１７Ｂという。
この前面表示画像１６Ｂと後面表示画像１７Ｂが、それぞれ前面表示素子１６と後面表示素子１７に表示されると、前面表示画像１６Ｂと後面表示画像１７Ｂの間に立体表示物（即ち、観察者によって知覚される立体表示物）Ｏが形成される。なお、観察視点（通常、観察者の両眼の中央の点）Ｐは、図示の通りとする。
【００２３】
この透過型前面表示面１６Ａおよび透過型後面表示面１７Ａに対して、立体表示物Ｏを観察視点Ｐの方向から射影した２次元像を、それぞれ前面表示画像１６Ｂの絵柄および後面表示画像１７Ｂの絵柄としている。また、それぞれの２次元の輝度は、立体表示物Ｏの表示位置（奥行き位置：Ｚ）に応じて輝度分配される。なお、前面及び後面の表示面が、透過型表示面の場合には、立体表示物Ｏの表示位置（奥行き位置：Ｚ）に応じた輝度分配とは、立体表示物Ｏの表示位置（奥行き位置：Ｚ）に応じて透過度を分配し、観察者から見た輝度を変化させることを意味する。
【００２４】
すなわち、表示したい立体表示物Ｏの奥行き位置に応じて前面表示素子１６と後面表示素子１７間の像の輝度の割合を変化させることにより、その奥行き位置が連続的に変化するため、見る者は立体表示物Ｏを知覚することができる。
例えば、前面表示素子１６に近い位置に立体表示物１９を表示したい場合には、前面表示素子１６の輝度の割合を高くし、後面表示素子１７の輝度の割合を低くする。一方、後面表示素子１７に近い位置に立体表示物Ｏを表示したい場合には、前面表示素子１６の輝度の割合を低くし、後面表示素子１７の輝度の割合を高くする。なお、前面表示素子１６と後面表示素子１７の中間付近に立体表示物Ｏを表示したい場合には、前面表示素子１６の輝度の割合と、後面表示素子１７の輝度の割合とを等しくする。
これにより、前面表示素子１６側から二層積層表示ディスプレイ１１を見た者は、立体表示物Ｏの奥行きを認識することができる。
【００２５】
なお、このＤＦＤ錯視現象を利用して立体表示物を表示する３次元表示装置については、以下の文献に記載されており、３次元表示装置１００による立体表示物の表示は、これら文献に記載されている技術を利用することで実現することができる。
＜参考文献＞
（１）“奥行き融合型メガネなし３Ｄディスプレイ”  高田英明  Ｐ１〜８
（２）特開２００８−４２７４５号公報
【００２６】
次に、図６を参照して、本実施形態に係る３次元表示装置１００と２次元表示装置２００の構成の一例について説明する。なお、本実施形態において、遠隔地側にある２次元表示装置２００が第２地点にいるユーザＣを撮影した映像を、第１地点の現在地側にある３次元表示装置１００に表示する例を説明する。
【００２７】
図６に示す通り、遠隔地側の２次元表示装置２００は、上述の構成に加え、顔形状生成部２０３と、テクスチャ情報取得部２０４と、顔傾き情報生成部２０５と、３次元顔モデル生成部２０６と、通信部２０７と、マイク２０８とを備える。
【００２８】
カメラ２２は、例えば、２次元表示装置２００の前で２次元画像表示ディスプレイ２１の表示画面を見ながら第１地点のユーザＡ、Ｂと対話をしているユーザＣを撮影する。このカメラ２２は、撮影対象であるユーザＣを撮影した映像（遠隔側の参加者の顔の映像）を示す顔画像データを、顔形状生成部２０３とテクスチャ情報取得部２０４に、それぞれ出力する。なお、顔画像データとは、本実施形態においては、ユーザＣの顔を含む映像であるが、本発明はこれに限られず、少なくとも一人の人間の顔を含む画像データであればよい。
【００２９】
距離センサ２３は、撮像対象の位置情報を測定するセンサであって、例えば、距離センサ２３とユーザＣの顔付近の奥行き方向Ｚの距離を測定する。例えば、図１に示す通り、ユーザＣが２次元表示装置２００と対面している場合、ユーザＣの顔付近との奥行き方向の距離は、顔奥行き距離情報Ｒ１で示される。なお、この顔奥行き距離Ｒ１には、上述の通り、顔付近に存在する顔に含まれる部分（鼻や目、口、輪郭、髪の毛、頭等）とのそれぞれの距離が含まれている。
よって、この距離センサ２３は、撮影対象であるユーザＣに対する奥行き方向Ｚの距離を測定し、ユーザＣの顔付近との奥行き方向Ｚの距離として顔奥行き距離情報Ｒ１を測定し、この顔奥行き距離情報Ｒ１を含む距離情報を、顔形状生成部２０３とテクスチャ情報取得部２０４に、それぞれ出力する。
【００３０】
顔形状生成部２０３は、距離センサ２３から入力する距離情報に基づき、ユーザＣの３次元的な顔の形状を示す顔形状情報を生成する。例えば、距離センサ２３の測定エリア内に存在する測定対象物のうち、最も近くに存在する測定対象物と距離センサ２３との距離情報に基づき、この顔形状生成部２０３は、測定対象物の凹凸形状を示す情報を取得する。なお、顔形状生成部２０３は、取得した情報が示す測定対象物の凹凸形状が示す特徴に基づき、人の顔らしい特徴を示す凹凸形状を示す測定対象物を人の顔であると判断するものであってもよい。顔形状生成部２０３は、取得した測定対象物の凹凸形状を示す情報に基づき、人の顔の形状を示す顔形状情報を生成する。
【００３１】
テクスチャ情報取得部２０４は、カメラ２２から入力する顔画像データに基づき、人物の顔の画像についてのテクスチャ情報（膚の色や目や髪の色などを示す情報）を取得し、３次元顔モデル生成部２０６に出力する。このテクスチャ情報取得部２０４は、例えば、顔画像データに対して顔検出処理を行い、顔の画像を検出する。テクスチャ情報取得部２０４は、検出された顔の画像に対応する画像データを解析して、テクスチャ情報を取得する。このテクスチャ情報は、顔の表面の視覚的な色や明るさの均質さや、触覚的な比力の強弱を感じる部分的は変化を表現する情報であって、例えば、実空間の水平方向Ｘと垂直方向Ｙと奥行き方向Ｚに応じたテクスチャ座標で示される情報である。
なお、この顔の検出方法としては、例えば、予め決められた人物の顔を示すパターン情報と比較してパターン情報と近似する画像領域を顔の画像として検出するパターン認識等が利用可能である。
【００３２】
顔傾き情報生成部２０５と、距離センサ２３から入力する距離情報に基づき、２次元画像表示ディスプレイ２１の表示画面、あるいは、カメラ２２の撮像面に対して、人物の顔が向いている方位角を示す顔傾き情報を算出する。この顔傾き情報生成部２０５は、上述の通り、測定対象である顔の各部分から検出される部分間の距離が非対称となる割合に応じて、ユーザの顔の向きを示す方位角を検出して、顔傾き情報を算出する。
なお、顔傾き情報生成部２０５は、顔形成部２０３による解析によって得られた顔画像データに含まれる人物の顔を示す情報を入力する構成であってもよい。この顔傾き情報生成部２０５は、この顔を示す情報に基づき、当該人物の顔が存在する実空間上の位置を推測して、当該実空間上の位置に対応する部分から測定される距離情報に基づき、各人物の顔が向いている方位角を示す顔傾き情報を算出する。
【００３３】
３次元顔モデル生成部２０６は、テクスチャ情報取得部２０４から入力するテクスチャ情報と、顔形状生成部２０３から入力する顔形状情報に基づき、３次元顔モデルデータを生成する。この３次元顔モデルデータは、顔形状情報が示す３次元的な顔のモデル（顔の凹凸形状を示す）に、テクスチャ情報が示すテクスチャ（膚の色や目や髪の色など）を貼りつけたデータである。
【００３４】
通信部２０７は、３次元顔モデル生成部２０６から入力する３次元顔モデルデータと、顔傾き情報生成部２０５から入力する顔傾き情報とを対応付けて映像情報として、３次元表示装置１００に送信する。この通信部２０７は、マイク２０８が取得する音声を示す音声情報を入力し、この映像情報に対応づけて、３次元表示装置１００に送信する。
【００３５】
３次元表示装置１００は、上述の構成に加え、通信部１０１と、表示制御部１０３と、パネル駆動部１０４と、バックライト駆動部１０５を備える。
通信部１０１は、ネットワークＮＷを介して２次元表示装置２００と接続され、２次元表示装置２００から送信される音声情報および映像情報を受信する。
スピーカー１４は、通信部１０１が受信した音声情報を入力し、当該音声情報に基づく音声を発生させる。
【００３６】
表示制御部１０３は、通信部１０１が受信した映像情報を入力し、当該映像情報に基づく映像を二層積層表示ディスプレイ１１に表示させる。この表示制御部１０３は、映像情報に含まれる映像信号を輝度信号あるいは顔傾き角情報に基づき、二層積層表示ディスプレイ１１の前面表示素子１６に映像情報に基づく映像を出力させるための前面表示素子駆動信号と、二層積層表示ディスプレイ１１の後面表示素子１７に映像情報に基づく映像を出力させるための後面表示素子駆動信号を、パネル駆動部１０４に出力する。また、表示制御部１０３は、映像情報に含まれる輝度信号に基づきバックライト１８の輝度を制御するバックライト駆動信号を、バックライト駆動部１０５に出力する。
【００３７】
パネル駆動部１０４は、入力する前面表示素子駆動信号および後面表示素子駆動信号に基づき、前面表示素子１６および後面表示素子１７を駆動させる。
バックライト駆動部１０５は、入力するバックライト駆動信号に基づき、バックライト１８を駆動する。
二層積層表示ディスプレイ１１は、上述の通り、ＤＦＤ錯視現象を利用して、前面表示素子１６と後面表示素子１７の奥行き方向の融合と、輝度の割合による連続的な奥行きの表現に基づき、３次元映像を表示する。
【００３８】
表示制御部１０３の処理について、図７を参照して説明する。
例えば、ユーザＣの顔が方位角＋αに対応する向きで２次元表示装置２００のカメラ２２と向き合っている場合、ユーザの顔の傾き角が＋αであることを示す顔傾き情報を、表示制御部１０３が入力する。
なお、表示制御部１０３に入力する映像情報の３次元顔モデルデータは、図示の通り、カメラ２２が撮影するように人物の右側を向いているモデルデータである。
つまり、表示制御部１０３は、ユーザの顔の傾き角＋αを示す顔傾き情報と、図示の通り人物の右側を向いているユーザＣの顔を示す３次元顔モデルデータとを含む映像情報を入力する。
【００３９】
この表示制御部１０３は、顔傾き情報に基づき、３次元顔モデルデータを補正して、正面方向から見たときの正面顔の３次元モデルデータを生成する。例えば、表示制御部１０３は、人物の右側を向いているモデルデータを、正面を向いているモデルデータに変換する。
【００４０】
この表示制御部１０３は、正面を向いているモデルデータを、その奥行きに比例して輝度の分配を行うことで、前面画像データおよび後面画像データを生成する。具体的にいうと、表示制御部１０３は、距離センサ２３によって検出される距離に応じて輝度値を決定し、前面画像データにおいては、検出される距離がより近い画像部分に対して輝度を高くし、検出される距離がより遠い画像部分に対して輝度を低くする。このため、より遠い画像部分は輝度値を０とすることで画像が表示されなくなる。一方、表示制御部１０３は、前面画像データに対してはこれと逆に、検出される距離がより近い画像部分に対して輝度を低くし、検出される距離がより遠い画像部分に対して輝度を高くする。
【００４１】
この表示制御部１０３は、顔傾き情報に基づき、前面画像データおよび後面画像データを補正する。表示制御部１０３は、顔傾き情報が示す顔の向いている方位角（顔傾き角）に応じて、前面画像データと後面画像データの重なっている角度をずらす補正を行う。
例えば、表示制御部１０３は、顔傾き情報が示す方位角に基づき、遠隔側の２次元表示装置２００のカメラ２２によって撮影されるユーザの向きを判断する。図１に示すように、遠隔地側のユーザＣの顔が、２次元表示装置２００の２次元画像表示ディスプレイ２１に表示されている画面内において、現在地側のユーザＢの方を向いているとする。この場合、表示制御部１０３は、前面画像データおよび後面画像データを、ユーザＢがいる位置から二層積層表示ディスプレイ１１を見ると表示対象であるユーザＣの正面の顔となるように補正する。
【００４２】
この補正について、図８を参照して具体的に説明する。図８は、遠隔側の２次元表示装置２００の２次元画像表示ディスプレイ２１とユーザＣとの関係と、現在地側の３次元表示装置１００の二層積層表示ディスプレイ１１とユーザＡ、Ｂとの関係を、上から見た状態で示す図である。
図８に示す通り、遠隔地側のユーザＣの顔が、２次元表示装置２００の２次元画像表示ディスプレイ２１およびカメラ２２に対して、方位角αだけユーザの右方向に回転している。このため、表示制御部１０３は、顔傾き情報に基づき、遠隔側の２次元表示装置２００のカメラ２２によって撮影されるユーザの向きが方位角＋αであることを判断する。
【００４３】
この表示制御部１０３は、顔傾き情報が示す方位角＋αだけ前面表示画像と後面表示画像を相対的にずらす補正をする。つまり、図示の通り、表示制御部１０３は、前面表示画像と後面表示画像がその画像内容が一致するように重なり合う直線上に、ユーザＢが位置すると推定される位置が重なるように補正する。言い換えると、正面顔の３次元モデルデータが示す正面顔の一部である前面表示画像ＦＤと、その他の部分である後面表示画像ＲＤにおいて、例えばそれぞれの鼻の頂点に対応する部分を鼻部分Ｎ１、Ｎ２とする。この後面表示画像ＲＤの鼻部分Ｎ２と、ユーザＢがいるであろうと推定される位置とを結ぶ直線上に、前面表示画像ＦＤの鼻部分Ｎ１が位置するように、表示制御部１０３が、前面表示画像ＦＤと後面表示画像ＲＤの表示位置を相対的に補正する。
なお、表示制御部１０３は、以下の式に従って、補正するずれ量ｄを算出することにより、上述のような補正を実現することができる。
【００４４】
ｄ  ＝  Ｌ・ｔａｎ（α）    ・・・式（１）
ただし、ｄは補正するずれ量、αはユーザの顔の傾き角をそれぞれ示す。また、Ｌは前面表示素子１６と後面表示素子１７との距離を示し、前面表示素子１６と後面表示素子１７とを積層した状態の厚さに等しい。
【００４５】
つまり、表示制御部１０３は、顔傾き情報が示す方位角に応じて算出されるすれ量ｄだけ、前面表示画像ＦＤと後面表示画像ＬＤを相対的にずらす補正をする。
これにより、ユーザＢが二層積層表示ディスプレイ１１を見ると、ユーザＣと視線が一致しているように認識することができ、ユーザＡが二層積層表示ディスプレイ１１を見ると、ユーザＣの顔がユーザＢの方に傾いているように認識することができる。
【００４６】
次に、図９を参照して、本実施形態に係る表示方法の一例について説明する。図９は、本実施形態に係る表示方法の一例について説明するためのフローチャートである。ここでは、遠隔地側の２次元表示装置２００によって撮影された画像データを、現在地側の３次元表示装置１００に表示するための表示方法を例に説明する。
【００４７】
まず、遠隔地側の２次元表示装置２００の処理について説明する。
この遠隔地側の２次元表示装置２００のカメラ２２が、２次元画像表示ディスプレイ２１の表示画面の前にいるユーザＣを撮影する。このカメラ２２は、撮影対象であるユーザＣを撮影した映像を示す顔画像データを取得し、顔形状生成部２０３とテクスチャ情報取得部２０４に、それぞれ出力する（ステップＳＴ１）。
次いで、テクスチャ情報取得部２０４が、カメラ２２から入力する顔画像データに基づき、人物の顔の画像についてのテクスチャ情報を取得し、３次元顔モデル生成部２０６に出力する（ステップＳＴ２）。
【００４８】
一方、カメラ２２がユーザＣを撮影したタイミングと同じタイミングで、距離センサ２３が、撮像対象の位置情報を測定する（ステップＳＴ３）。この距離センサ２３は、ユーザＣの顔付近との奥行き方向Ｚの距離として顔奥行き距離情報Ｒ１を測定し、この顔奥行き距離情報Ｒ１を含む距離情報を、顔形状生成部２０３とテクスチャ情報取得部２０４に、それぞれ出力する。
【００４９】
次いで、顔形状生成部２０３が、カメラ２２から入力する顔画像データと、距離センサ２３から入力する距離情報に基づき、ユーザＣの３次元的な顔の形状を示す顔形状情報を生成し、３次元顔モデル生成部２０６に出力する（ステップＳＴ４）。
【００５０】
そして、３次元顔モデル生成部２０６が、テクスチャ情報取得部２０４から入力するテクスチャ情報と、顔形状生成部２０３から入力する顔形状情報に基づき、３次元顔モデルデータを生成する（ステップＳＴ５）。
【００５１】
次いで、顔傾き情報生成部２０５は、距離センサ２３から入力する距離情報に基づき、２次元画像表示ディスプレイ２１の表示画面に対して、人物の顔が向いている方位角を示す顔傾き情報を算出する。この顔傾き情報生成部２０５は、例えば、測定対象である顔の各部分から検出される距離が非対称となる割合に応じて、ユーザの顔の向きを示す方位角＋αを検出して、この方位角＋αを示す顔傾き情報を算出する（ステップＳＴ６）。
【００５２】
そして、通信部２０７が、３次元顔モデル生成部２０６から入力する３次元顔モデルデータと、顔傾き情報生成部２０５から入力する顔傾き情報とを対応付けて映像情報として、３次元表示装置１００に送信する。この通信部２０７は、マイク２０８が取得する音声を示す音声情報を入力し、この映像情報に対応づけて、３次元表示装置１００に送信する。
【００５３】
次いで、３次元表示装置１００の処理に移行する。
この３次元表示装置１００の通信部１０１は、ネットワークＮＷを介して、２次元表示装置２００から送信される音声情報および映像情報を受信し、表示制御部１０３に出力する。
【００５４】
この表示制御部１０３は、顔傾き情報に基づき、映像情報である３次元顔モデルデータを補正して、正面方向から見たときの正面顔の３次元モデルデータを生成する。そして、表示制御部１０３は、正面顔の３次元モデルデータを、モデルデータが示す奥行きに比例した輝度の分配を行い、前面表示画像データと後面表示画像データを生成する（ステップＳＴ７）。
【００５５】
次いで、表示制御部１０３は、顔傾き情報に基づき、遠隔側の２次元表示装置２００のカメラ２２によって撮影されるユーザＣの顔の向きが、方位角＋αであることを判断する。
具体的にいうと、表示制御部１０３は、顔傾き情報に基づき、顔の向きを示す方位角が０度であるか否かを判断し、０度でない場合、以下のような補正をすることを判断する。一方、顔の向きを示す方位角が０度である、以下のような補正はしないと判断する。
【００５６】
ここで、表示制御部１０３は、顔傾き情報が示す方位角＋αが０度でないため、方位角＋αだけ前面表示画像と後面表示画像を相対的にずらす補正を行い、補正された前面表示画像データと補正された後面表示画像データを、それぞれ前面表示素子１６と後面表示素子１７に出力する（ステップＳＴ８）。
【００５７】
そして、前面表示素子１６は、入力する補正された前面表示画像データに基づき補正された表示位置に前面表示画像を表示する（ステップＳＴ９）。後面表示素子１７は、入力する補正された後面表示画像データに基づき補正された表示位置に後面表示画像を表示する（ステップＳＴ１０）。
【００５８】
このように、表示制御部１０３は、顔傾き情報が示す顔の向いている角度（方位角）に応じて、前面画像データと後面画像データの重なっている角度をずらす補正を行う。
これにより、正面顔の３次元モデルデータが示す正面顔の一部である前面表示画像ＦＤと、その他の部分である後面表示画像ＲＤにおいて、例えばそれぞれの鼻の頂点に対応する鼻部分Ｎ１、Ｎ２が、ユーザＢがいるであろうと推定される位置と直線で結ばれる位置に表示される。
よって、この直線上に位置するユーザＢは、ユーザＣが自分の方をみているように認識することができ、ユーザＡは、ユーザＣの顔がユーザＢの方をみているように認識することができる。
【００５９】
また、上述の通り、本実施形態に係る３次元表示装置は、二層積層表示ディスプレイ１１の指向性と、前面表示素子１６と後面表示素子１７の映像のずれによる方向の制御を用いることにより、細かな方向を表現することができる。
また、テレビ会議のシステムにおいて本実施形態に係る３次元表示装置が利用されることで、ディスプレイの中に映像として表示されている会議参加者の顔の向きを、直感的に映像を見ている人に理解させ、会話している相手を正しく理解させることができる。
【００６０】
なお、本発明は上記構成に限られず、例えば、以下のような構成であってもよい。
例えば、前面表示画面と後面表示画面のずれ量ｄが予め決められた閾値よりも大きくなる場合、立体的に表示された立体表示物の前面表示画面と後面表示画面の一体性が失われ、まとまりのある立体表示物に見えない。よって、この閾値を予め設定しておき、表示制御部１０３が算出したずれ量ｄが閾値以上となる場合、二層積層表示ディスプレイ１１を回転可能に支持する回転台を動作させる構成であってもよい。このように、回転台を回転させる処理も併せて利用することで、広範囲に視線を向けることができ、テレビ会議に参加するユーザが多くなり、顔の向きが広範囲に及ぶ場合であって対応することができる。
また、本発明は上記構成に限られず、遠隔地側にある表示装置は、２次元表示装置２００に限られず、３次元表示装置１００と同様の構成を有する３次元表示装置あってもよい。
【００６１】
なお、上述した実施形態において、３次元表示装置１００と３次元表示装置２００による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００６３】
１００・・・現在地側の３次元表示装置、１１・・・二層積層表示ディスプレイ、１６・・・前面表示素子、１７・・・後面表示素子、１８・・・バックライト、１４・・・スピーカー、１０１・・・通信部、１０３・・・表示制御部、１０４・・・パネル駆動部、１０５・・・バックライト駆動部、２００・・・遠隔地側の２次元表示装置、２２・・・カメラ、２３・・・距離センサ、２０３・・・顔形状生成部、２０４・・・テクスチャ情報取得部、２０５・・・顔傾き情報生成部、２０６・・・３次元顔モデル生成部、２０７・・・通信部、２０８・・・マイク
【図１】
0005478357.tif 000002
【図２】
0005478357.tif 000003
【図３】
0005478357.tif 000004
【図４】
0005478357.tif 000005
【図５】
0005478357.tif 000006
【図６】
0005478357.tif 000007
【図７】
0005478357.tif 000008
【図８】
0005478357.tif 000009
【図９】
0005478357.tif 000010