(57)【要約】【課題】箱庭効果やその逆が発生せず、虚像の臨場感が失われることがないテレビ通話システムを提供することを目的とする。【解決手段】ユーザとテレビ通話装置までのユーザ距離Ｌ１を、他方のテレビ通話装置に伝送し、他方のテレビ通話装置でのユーザ距離Ｌ２と、Ｌ１を足した位置にユーザの虚像を生じさせるように、距離情報制御手段が表示画像変換手段に画像の変換指示を行う。【選択図】  図１
2004282431.tif 000002
【特許請求の範囲】
【請求項１】
相互に接続された第１のテレビ通話装置（以下、「Ｃ１」という。）と第２のテレビ通話装置（以下、「Ｃ２」という。）から構成されるテレビ通話システムにおいて、前記Ｃ１が、前記Ｃ１の第１のユーザを撮影して立体映像（以下、「Ｖ１」という。）を出力する立体撮影手段と、前記Ｃ１から第１のユーザまでの距離であるユーザ距離（以下、「Ｌ１」という。）を得る距離認識手段と、前記Ｖ１と前記Ｌ１とをＣ２に送出する送出手段と、Ｃ２から送られるＣ２の第２のユーザを撮影した立体映像（以下、「Ｖ２」という。）とＣ２と第２のユーザまでの距離であるユーザ距離（以下、「Ｌ２」という。）とを受信する受信手段と、前記Ｌ１と前記Ｌ２とに依存させて前記Ｖ２を変換した正規化立体映像（以下、「Ｖ２Ｓ」という。）を出力する画像変換手段と、前記Ｖ２Ｓを入力して立体映像の虚像を表示する立体表示手段とを具備し、
前記画像変換手段が、第２のユーザがＣ２の前記立体表示手段に表示された第１のユーザの眼に視線をあわせた際に、Ｃ１の前記立体表示手段に立体表示される第２のユーザの虚像が第１のユーザに視線が合う画像に画像変換することを特徴とするテレビ通話システム。
【請求項２】
前記第２のユーザの虚像が、前記Ｌ１＋前記Ｌ２の距離でかつ虚像の大きさ第２のユーザの物理的な大きさに連動させることを特徴とする請求項１記載のテレビ通話システム。
【請求項３】
第２のユーザの虚像の大きさを保持したまま虚像の距離を第１のユーザの操作によって調整できることを特徴とする請求項１記載のテレビ通話システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は通信回線を用いて映像を双方向に交換して対話を行うテレビ電話もしくはテレビ会議を実現するシステムに関するものである。
【０００２】
【従来の技術】
従来のテレビ通話システムとしては、パーソナルコンピュータのディスプレイに隣接させて小型のビデオカメラを設置し、インターネットなどを通じて映像を相互にやり取りするものがある。ところが、カメラの位置とディスプレイの位置とが一致しないため、ディスプレイに表示される相手の眼に視線を合わせても相手のディスプレイでは自分の視点が斜めに表示され、いわゆるアイコンタクトをすることができず、コミュニケーションのうち無意識的、生理的な部分が欠落してしまい意思疎通として非常に不自然になってしまう。
【０００３】
この課題に対し、従来のテレビ通話システムとしては、屋外でのインスタント写真シール自動撮影装置や、放送局のアナウンサーが使用するテロップ表示装置などで見られるように、ハーフミラーを使うことで同じ光軸上にカメラと表示装置とを配置する方法がある。
【０００４】
図３は、特許文献１による従来のテレビ通話システムの全体構成を示すブロック図である。特許文献１ではカメラと表示装置とを小型化したものとして、表示手段３０４に透過性を持たせることで表示手段の背面にカメラ３０２を配置する方法が考案されている。一般に動画は複数の静止画を順次高速に切り替えることで表示されるが、切り替えるタイミングに何も静止画が表示されていない期間（ブリンキング期間）を抽出し、そのタイミングでカメラ３０２からの入力を取り込めるスイッチ３０３を設けている。
【０００５】
図４は、特許文献２による従来のテレビ通話システムの全体構成を示すブロック図である。特許文献２では、表示手段４０２をレンチキュラーレンズなどを用いた立体表示デバイスにし、その左右両端に立体撮影用の２台のカメラ４０１Ｌ、４０１Ｒを配置することで、システムを介して会話する２人のユーザの間で視線を一致させる。
【０００６】
【特許文献１】
特開平７−１３１７６６号公報（第３頁、図３）
【特許文献２】
特開平１０−７５４３２号公報（第２−３頁、図１）
【０００７】
【発明が解決しようとする課題】
特許文献１にあるように、平面表示の際は、表示デバイスとカメラの光軸を一致させると視線を一致させることができる。しかし立体表示ではないため、相手が興味を持って身を乗り出してきているのか、興味が無いなどで身を引いているのかは判らなかった。パーソナルなコミュニケーションにおいては、平面表示により臨場感が失われるだけでなく、無意識的、生理的な情報が欠落してしまう。
【０００８】
特許文献２にあるように、従来の立体表示デバイスの左右両端にカメラを配置すると、カメラの間に顔を収めることになり、立体表示デバイスに表示した顔の眼の間隔に対してカメラの間隔が広くなるため、３次元表示の技術課題である「箱庭効果」が発生する。
【０００９】
箱庭効果とは、立体表示により得られる虚像が、実際より小さいものが実際より近くにあるように人間の目に認識されてしまう問題点がある。
【００１０】
そこで特許文献１と特許文献２の内容を組合せ、透過性のある立体表示デバイスの背面に立体撮影用のカメラを配置すれことを考える。ところが更に下記問題点が発生する。
【００１１】
（問題点１）テレビ通話装置とユーザとの距離が変化した場合、箱庭効果やその逆が発生してしまい、虚像の臨場感が失われる場合がある。この距離が増加した場合には、カメラの間隔を物理的もしくは論理的に狭めなければ箱庭効果が生じてしまう。
【００１２】
（問題点２）立体撮影用のカメラの位置と、表示される顔の相対位置がずれた場合、やはり視線が斜めになり、視線が一致しない。これを一致させるためには、顔のカメラに対する相対位置を一定に保つようにユーザが努力する必要がある。
【００１３】
（問題点３）パーソナルなコミュニケーション目的で用いる場合には、（例えば好意を持った）相手の虚像を実際よりも近くに引き寄せたり、逆に離したい場合がある。テレビ通話装置とユーザとの物理距離を変更すれば目的を達するが、立体表示デバイスの可能な表示画角や、カメラの配置の物理的な制約などから不可能であったり、あるいは、箱庭効果が発生したり、また物理距離の移動がユーザにとって煩雑であったりした。
【００１４】
本発明は上記従来の問題点を解決するもので、箱庭効果やその逆が発生せず、虚像の臨場感が失われることがないテレビ通話システムを提供することを目的とする。
【００１５】
【課題を解決するための手段】
この目的を達成するために本発明のテレビ通話システムは、相互に接続された第１のテレビ通話装置（以下、「Ｃ１」という。）と第２のテレビ通話装置（以下、「Ｃ２」という。）から構成されるテレビ通話システムにおいて、前記Ｃ１が、前記Ｃ１の第１のユーザを撮影して立体映像（以下、「Ｖ１」という。）を出力する立体撮影手段と、前記Ｃ１から第１のユーザまでの距離であるユーザ距離（以下、「Ｌ１」という。）を得る距離認識手段と、前記Ｖ１と前記Ｌ１とをＣ２に送出する送出手段と、Ｃ２から送られるＣ２の第２のユーザを撮影した立体映像（以下、「Ｖ２」という。）とＣ２と第２のユーザまでの距離であるユーザ距離（以下、「Ｌ２」という。）とを受信する受信手段と、前記Ｌ１と前記Ｌ２とに依存させて前記Ｖ２を変換した正規化立体映像（以下、「Ｖ２Ｓ」という。）を出力する画像変換手段と、前記Ｖ２Ｓを入力して立体映像の虚像を表示する立体表示手段とを具備し、
前記画像変換手段が、第２のユーザがＣ２の前記立体表示手段に表示された第１のユーザの眼に視線をあわせた際に、Ｃ１の前記立体表示手段に立体表示される第２のユーザの虚像が第１のユーザに視線が合う画像に画像変換する構成を有している。
【００１６】
また、前記第２のユーザの虚像が、前記Ｌ１＋前記Ｌ２の距離でかつ虚像の大きさ第２のユーザの物理的な大きさに連動させる構成を有している。
【００１７】
更に、第２のユーザの虚像の大きさを保持したまま虚像の距離を第１のユーザの操作によって調整可能にする構成を有している。
【００１８】
【発明の実施の形態】
（実施の形態１）
図１は、本発明の実施の形態１におけるテレビ通話システムの全体構成を示すブロック図である。１００は第１のユーザ、１１０は第１のテレビ通話装置、１２０は通信回線、１３０は第２のテレビ通話装置、１４０は第２のユーザである。第１のテレビ通話装置１１０は、立体撮影手段１１１、撮影画像変換手段１１２、距離認識手段１１３、距離入力手段１１４、距離情報制御手段１１５、送信手段１１６、受信手段１１７、表示画像変換手段１１８、立体表示手段１１９とから構成されている。
【００１９】
以下その動作について説明する。第１のユーザ１００は第１のテレビ通話装置１１０を用いて第２のユーザ１４０と映像を用いた実時間コミュニケーションを行う。立体撮影手段１１１は、複数台のカメラを左右に配置して立体表示手段１１９に入力すれば立体表示できる形式の映像データを出力させるものである。撮影画像変換手段１１２は、立体撮影手段１１１の出力する映像データと距離情報制御手段１１５の出力する距離補正データとを入力する。そして、入力した映像データを、距離補正データにより補正した画像データに変換する。距離補正データは、上下左右方向の拡大率と、左右方向の座標シフトの値を含んでいる。距離認識手段１１３は、立体撮影手段１１１の出力する映像データを入力し、テレビ通話装置とユーザの間の距離を三角測量によって測定し、測定結果の第１のユーザの距離データを距離情報制御手段１１５に出力する。距離入力手段１１４は、第１のユーザ１００から、立体表示手段１１９に表示される第２のユーザ１４０の虚像の位置を実際の距離に対し相対的に近づけたり遠ざけたりするための補正パラメータを入力する。ここで実際の距離とは、第１のユーザ１００から第１のテレビ通話装置１１０（より正確には立体表示手段１１９）までの距離と、第２のテレビ通話装置１３０（より正確には立体撮影手段）間での距離の和である。距離情報制御手段１１５は、距離認識手段１１３からの第１のユーザ１００の距離データと、距離入力手段１１４からのパラメータと、受信手段１１７からの距離データとを入力する。そして、入力した情報を元に、撮影画像変換手段１１２と、表示画像変換手段１１８に対して別々の距離補正データを生成して出力する。距離補正データは、箱庭効果を抑制するように計算したものを生成する。送信手段１１６は、撮影画像変換手段１１２の出力する映像データと距離情報制御手段１１５の出力する距離データとを、通信回線１２０経由で第２のテレビ通話装置１３０へ向けて送出する。受信手段１１７は、通信回線１２０経由で第１のテレビ通話装置１１０から受け取った、映像データと第２のユーザ１４０の距離データとを受信する。表示画像変換手段１１８は、受信手段１１７からの映像データを、距離情報制御手段１１５の出力する距離補正データを用いて補正する。立体表示手段１１９は、透過性を有する立体表示デバイスである。例えば有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）デバイスなど自己発光の表示デバイスの前面に縦方向の微細なスリットを配置したものでよい。
【００２０】
図２は仮想的なカメラの位置を示す模式図である。図２（ａ）は、第１のテレビ通話装置１１０での位置関係を表す。すなわち第１のユーザ１００に対し、立体表示手段１１９は、第２のユーザ１４０の虚像１４０ｘを提示させるように、第１のテレビ通話装置１１０の距離情報制御手段１１５は距離補正データを生成させる。ここで、第１のユーザ１００と立体表示手段１１９との距離はＬ１である。
【００２１】
また図２（ｂ）は、第２のテレビ通話装置１３０での位置関係を表す。すなわち第２のユーザ１４０と第２のテレビ通話装置１３０の立体撮影手段との距離はＬ２である。ここで、カメラの位置及び第２のテレビ通話装置１３０の撮影画像変換手段での変換により立体撮影の認知される三次元空間上の仮想位置がＬ１だけ後ろになるように、第２のテレビ通話装置１３０の距離情報制御手段の撮影画像変換手段への距離補正データを生成させる。
【００２２】
図３は、以上の構成により第１のユーザ１００に認知される三次元空間を示す模式図である。
【００２３】
以上のように本実施の形態によれば、
（１）テレビ通話装置とユーザとの距離が変化した場合でも、箱庭効果やその逆が発生せず、虚像の臨場感が失われることがない。
【００２４】
（２）立体撮影用のカメラの位置と、表示される顔の相対位置がずれた場合であっても、画面上に表示される眼の位置が自動的に追跡され、これを一致させるために顔のカメラに対する相対位置を一定に保つようにユーザが努力する必要がない。
【００２５】
（３）相手の虚像を実際よりも近くに引き寄せたり、逆に離したいといった操作が、テレビ通話装置とユーザとの物理距離を変更することなく可能である。この操作を行っても、箱庭効果が生ずることはない。
【００２６】
【発明の効果】
以上のように本発明は、テレビ通話装置とユーザとの距離が変化した場合でも、箱庭効果やその逆が発生せず、虚像の臨場感が失われることがないという優れた効果が得られる。
【００２７】
また、立体撮影用のカメラの位置と、表示される顔の相対位置がずれた場合であっても、画面上に表示される眼の位置が自動的に追跡され、これを一致させるために顔のカメラに対する相対位置を一定に保つようにユーザが努力する必要がないという優れた効果が得られる。
【００２８】
さらに、相手の虚像を実際よりも近くに引き寄せたり、逆に離したいといった操作が、テレビ通話装置とユーザとの物理距離を変更することなく可能である。この操作を行っても、箱庭効果が生ずることがないという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるテレビ通話システムの全体構成を示すブロック図
【図２】仮想的なカメラの位置を示す模式図
【図３】ユーザにより認知される三次元空間を示す模式図
【図４】特許文献１による従来のテレビ通話システムの全体構成を示すブロック図
【図５】特許文献２による従来のテレビ通話システムの全体構成を示すブロック図
【符号の説明】
１００  第１のユーザ
１１０  第１のテレビ通話装置
１１１  立体撮影手段
１１２  撮影画像変換手段
１１３  距離認識手段
１１４  距離入力手段
１１５  距離情報制御手段
１１６  送信手段
１１７  受信手段
１１８  表示画像変換手段
１１９  立体表示手段
１２０  通信回線
１３０  第２のテレビ通話装置
１４０  第２のユーザ
【図１】
2004282431.tif 000003
【図２】
2004282431.tif 000004
【図３】
2004282431.tif 000005
【図４】
2004282431.tif 000006
【図５】
2004282431.tif 000007