(57)【要約】【課題】自然でロバスト性の高い三次元画像により、臨場感及び現実感のあるコミュニケーションができる三次元画像通信端末を提供することを目的とする。【解決手段】本発明の三次元画像通信端末には、三次元画像入力部と、入力画像を画像処理後、通信相手に送信する手段と、撮影された人物像又は物体像をモニタ表示する三次元画像表示部と、相手からの三次元画像情報を受信すると共に音声で相手方と交信する通話部とが設けられ、三次元画像表示部はインテグラルフォトグラフィ方式の水平垂直視差表示素子によりなる。三次元画像入力部は任意の位置で通話者又は物体を撮影するべく三次元画像表示部の近傍にカメラ１、２、３、４を配置した。カメラは取り外し可能とすることができ、撮影された人物像や物体像は画像処理されて三次元視可能な像となる。交信者は画像を三次元視できるため、自然なコミュニケーションをすることができる。【選択図】図１
2005328332.tif 000002
【特許請求の範囲】
【請求項１】
人物像又は物体像を撮影するカメラを具えた三次元画像入力部と、撮影された人物像又は物体像の三次元画像情報をモニタ表示する三次元画像表示部と、この三次元画像情報を送・受信すると共に音声で相手方と交信する通話部とを設けた画像通信端末であって、前記三次元画像表示部はインテグラルフォトグラフィ方式の水平垂直視差表示素子からなり、任意の位置で通話者又は物体を撮影するため、三次元画像表示部の近傍にカメラをそれぞれ配置したことを特徴とする三次元画像通信端末。
【請求項２】
前記三次元画像入力部に、２眼以上の多眼カメラを用いたことを特徴とする請求項１に記載の三次元画像通信端末。
【請求項３】
前記三次元画像入力部に、距離情報と画像情報を取得できるカメラを用いたことを特徴とする請求項１に記載の三次元画像通信端末。
【請求項４】
前記三次元画像入力部に、屈折率分布型レンズを２次元アレイに組んだカメラを用いたことを特徴とする請求項１に記載の三次元画像通信端末。
【請求項５】
前記三次元画像入力部は、任意に取り外しできる入力部を用いたことを特徴とする請求項１に記載の三次元画像通信端末。
【請求項６】
前記三次元画像表示部の水平垂直視差表示素子のバックパネルとして２００ｄｐｉ以上の解像度を有する表示素子を用いたことを特徴とする請求項１に記載の三次元画像通信端末。
【請求項７】
前記表示素子は液晶パネルであることを特徴とする請求項６に記載の三次元画像通信端末。
【請求項８】
前記表示素子はプラズマディスプレイパネルであることを特徴とする請求項６に記載の三次元画像通信端末。
【請求項９】
前記表示素子は有機ＥＬパネルであることを特徴とする請求項６に記載の三次元画像通信端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然でロバスト性の高い三次元画像により、臨場感及び現実感のあるコミュニケーションができる三次元画像通信端末に関する。
【背景技術】
【０００２】
従来の画像通信端末の代表的例としては、テレビ電話があった。テレビ電話は一般的には、通話者を撮影するカメラを具えた画像入力部と、撮影された通話者像をモニタ表示する画像表示部と、この画像情報を送・受信すると共に音声で交信する従来の通話部とから構成される。従来のテレビ電話では通話者の画像を入力する手段としては二次元画像による送・受信が一般的であったが、二次元画像では奥行き感が乏しく実際の相手がすぐそこにいてコミュニケーションをしているという臨場感や現実感を得ることが困難であった。また、コミュニケーションの中に出てくる物体をコミュニケーションする相手に臨場感を持って画像として表示するにも、二次元表示では臨場感や現実感に乏しかった。
【０００３】
古くから、三次元画像情報を表示する手段としては、両眼視差を含んだ２枚の絵を右眼で右の画像、左眼で左の画像を見る裸眼実体視平行法、液晶シャッタ付きのメガネや右眼と左眼でそれぞれ違うレンズを用いて見るステレオスコープ、赤と青の色違いの両眼視差絵を赤青メガネを通して画像を見るアナグリフ方式がある。しかし、これらの方法で三次元画像を見る場合には、特殊なメガネや訓練が必要であった。
【０００４】
近年、液晶技術の発展により、メガネのいらない三次元表示の可能な液晶ディスプレイが次々と発表されている。その殆どが、イメージスプリッター方式の眼鏡なし三次元液晶表示素子、所謂、パララックスバリア方式やレンチキュラレンズ方式の水平視差のみを有する三次元画像表示装置である。パララックスバリア方式やレンチキュラレンズ方式の三次元表示装置では、右眼位置から右眼画像が、左眼画像から左眼画像が見えるように、空間的に画像光路を分離供給して、立体感を生じさせるものである。従って、空間に周期的に右眼位置と左眼位置に画像光路が分離供給されており、その位置がずれると立体が破綻する。原理的に水平方向の視差を含んだ画像を供給する為、右眼位置と左眼位置が水平からずれると立体が破綻してしまうという課題がある。従って、長時間、三次元動画像の立体を保ったまま立体視を行なおうとすると、空間の定位置に、右眼位置と左眼位置を固定する必要がある。しかしこれは、長時間のコミュニケーションには重大な問題となる。また、実際は二次元画像であるにもかかわらず、左右の画像に含まれる視差の違いを網膜を通して、脳で三次元画像に変換して認識している方式では、眼精疲労が激しく長期のコミュニケーション手段としては適当でないことも、大きな課題の一つである。
【０００５】
水平方向の右眼位置と左眼位置のズレに対しては、観察者の眼の位置や顔の位置をセンサーによって特定して、その位置のズレに合わせて、画像光路を制御修正する方法も考案されているが、装置が大掛かりとなり、眼の位置や顔の位置をセンシングするためにマーカーを観察者に付けなければならないという煩わしさが生じる。
【０００６】
立体テレビ電話器に関する先行技術文献として、例えば、（特許文献１）がある。
【特許文献１】特開平１０−７５４３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は上記問題点を解決する為にされたものであり、視点を左右に動かしても、顔が両眼の水平位置より動いても、三次元画像の立体感が破綻することがなく、通話者は相手
方に対して自然でロバスト性の高い三次元画像を送ることができ、疲労を生じることなく、臨場感及び現実感のあるコミュニケーションを可能とする三次元画像通信端末を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するためになされたもので、人物像又は物体像を撮影するカメラを具えた三次元画像入力部と、撮影された人物像又は物体像の三次元画像情報をモニタ表示する三次元画像表示部と、この三次元画像情報を送・受信すると共に音声で相手方と交信する通話部とを設けた画像通信端末であって、前記三次元画像表示部はインテグラルフォトグラフィ方式の水平垂直視差表示素子からなり、任意の位置で通話者又は物体を撮影するため、三次元画像表示部の近傍にカメラをそれぞれ配置したことを特徴とする三次元画像通信端末である。
【発明の効果】
【０００９】
本発明によれば、通話者は相手方に対して自然でロバスト性の高い三次元画像を送ることができ、疲労を生じることなく、臨場感及び現実感のあるコミュニケーションを可能とする三次元画像通信端末を実現することができる。
【発明を実施するための最良の形態】
【００１０】
本願の第１の発明は、人物像又は物体像を撮影するカメラを具えた三次元画像入力部と、撮影された人物像又は物体像の三次元画像情報をモニタ表示する三次元画像表示部と、この三次元画像情報を送・受信すると共に音声で相手方と交信する通話部とを設けた画像通信端末であって、三次元画像表示部はインテグラルフォトグラフィ方式の水平垂直視差表示素子からなり、任意の位置で通話者又は物体を撮影するため、三次元画像表示部の近傍にカメラをそれぞれ配置したことを特徴とする三次元画像通信端末である。
【００１１】
カメラによって撮影された人物像や物体像は画像処理され、交信者は相手方と共に画像表示部に映出される画像を三次元視できる。この画像は自然でロバスト性の高い三次元画像であるため、疲労を生じることなく、臨場感及び現実感のあるコミュニケーションが可能となる。
【００１２】
このような三次元画像通信端末を実現するための三次元画像入力部として、２眼以上の多眼カメラを用いることができ、また、距離情報と画像情報を取得できるカメラを用いることができる。さらに、屈折率分布型レンズを２次元アレイに組んだカメラを用いることもできる。これらの三次元画像入力部は、任意に取り外し可能とすることができる。
【００１３】
三次元画像表示部の水平垂直視差表示素子のバックパネルとして２００ｄｐｉ以上の解像度を有する表示素子を用いることが好ましい。これにより１つのレンズの再生要素画像１０は１０×１０ピクセルの画像で構成することができ、水平垂直方向の視差数がそれぞれ１０視野の滑らかな三次元立体画像を再生することが出来る。
【００１４】
この表示素子として、液晶パネル、プラズマディスプレイパネル、有機ＥＬパネルを用いることができる。
【００１５】
（実施の形態１）
以下、本発明の一実施の形態に係る三次元画像通信端末について、図１乃至図４を参照しながら説明する。
【００１６】
先ず、図１は本発明の実施の形態１に係る三次元画像通信端末を示す斜視図である。また、図２は本発明の実施の形態１に係る三次元画像通信端末の表示部の三次元表示方式で
あるインテグラルフォトグラフィの原理図である。図１で、１は三次元画像通信端末の筐体である。筐体１には三次元画像を入力する入力部として、例えばカメラ２、３、４、５を４台アレイ上に構成したものを用いることが出来る。４台のカメラ２、３、４、５を用いて、三次元物体をそれぞれの方向から見た指向性画像情報を得る事が出来る。
【００１７】
この画像には水平方向と垂直方向の視差情報が含まれており、この４方向の指向性画像を画像処理して、４枚の画像の間にある画像を補間することにより、撮影された物体の立体情報を得ることが出来る。カメラの設置位置や台数は任意に選択することが出来、２台のカメラを水平方向に並べる事により、水平方向の視差のみを含んだ、三次元画像情報を得ることも出来る。また、４台以上のカメラアレイを構成して三次元画像情報を得ることも出来るが、カメラの台数が増えると視差情報を増やすことは出来るが、コストが高くなったり、画像処理に時間がかかったり、装置自体の大きさが大きくなるなど、問題点も発生するので、目的に応じた構成を考える必要がある。
【００１８】
カメラアレイの他に、距離情報と画像情報を取得できるカメラを用いて、三次元画像情報を撮り込む事も出来る。距離情報を取得する方法としては、特開平１１−２１８４１０号公報に記載の「レンジファインダ装置」における赤外線やストロボを使った方法や、特開２００１−１２９０９号公報に記載の「レンジファインダ装置及びカメラ」による方法等がある。
【００１９】
また、屈折率分布型レンズを２次元アレイに組んだカメラを用いて、三次元画像情報をインテグラルフォトグラフィ画像データ形式で撮り込む事も出来る。特開２００４−５４１５３号公報に記載の「立体像の撮像表示装置」等にその使用例が記載されている。
【００２０】
三次元画像通信端末の筐体１の前面には三次元画像通信端末の画像表示部６が取り付けられている、該画像表示部６にはインテグラルフォトグラフィ方式の水平垂直視差表示素子が配備され、該水平垂直視差表示素子の前面に視差表示画像を投影して空間に結像させる為のレンズアレイ又はピンホールアレイを構成して人物像又は物質像を映出する。水平垂直視差表示素子のバックパネルとしては、液晶パネルを採用している。他に、有機ＥＬパネルやプラズマディスプレイパネル等も採用できるが、自然な三次元表示を実現する為には少なくとも２００ｄｐｉ以上の解像度を有する表示パネルを採用する必要がある。
【００２１】
さらに、通常の電話器用ハンドセット７、ダイヤル用キーセット８および通常の電話器のファンクションキーセット９が配備されている。その他のコミュニケーション機能として、ハンドセット無しに相手と双方向のコミュニケーションが可能となる送話部と受話部を配備する事も出来る。
【００２２】
ここで、インテグラルフォトグラフィ方式について詳細に説明する。図２にインテグラルフォトグラフィ方式の原理を示す。インテグラルフォトグラフィは、Ｍ．  Ｇ．  Ｌｉｐｍａｎｎによって１９０８年に提案されたものであり、ハエの目状の凸レンズアレイを用いて、ハエの目状の凸レンズアレイの焦点位置にフイルムを置き、そのフイルムの表面にハエの目状の凸レンズ毎の画像を記録し、再生時には、フィルムに記録させたハエの目状の凸レンズ毎の画像を撮影時と同じハエの目状の凸レンズアレイを用いることによって立体画像を再生するものである。
【００２３】
図２に示すように、再生要素画像１０を表示するための表示素子１１に、ハエの目状の凸レンズアレイ１２の凸レンズ１３毎に対応させて表示すると、再生要素画像１０は凸レンズ１３を介して、元の画像表面の画素位置に対応する結像点１４に結像する。そのため、観察者から見ると、実際に結像点１４から光線１５が発生して、観察者の瞳１６に入射する事により、立体感の有る三次元再生画像１７が再生される。三次元再生画像１７は実
際に空間に結像点があるため、角度を変えてみても、眼の位置を動かしてみても、立体感の有る三次元再生画像１７を安定して見る事が出来る。
【００２４】
これに対して、図３のレンチキュラ方式では、蒲鉾型状のレンズ１８を縦方向に多数並べたレンチュキュラレンズアレイ１９の裏に、列ごとに右眼用画像２０と左眼用画像２１を配置する。配置されたそれぞれの画像は、蒲鉾型状のレンズ１８により屈折されて、それぞれ右の眼２２と左の眼２３にピンポイントに入射する。ただし、立体視画像を正常に見られる位置が蒲鉾型状のレンズ１８の焦点位置に依存するため、左右画像の結像位置２４、２５から観察者の右の眼２２、左の眼２３の位置が、ずれた右の眼の位置２６、ずれた左の眼の位置２７へずれると立体視が破綻する。従って、右眼用画像と左眼用画像の結像位置２４、２５に観察者の眼位置２２、２３が制限される。
【００２５】
又、図４のパララックス方式は、蒲鉾型状のレンズ１８の代わりに縦長のスリッドバリアの列２８を使った方式である。このパララックス方式においては、配置された右眼用画像２０と左眼用画像２１は、スリッドバリアの列２８を介して、それぞれ右の眼２２と左の眼２３にピンポイントに入射する。ただし、立体視画像を正常に見られる位置がスリッドバリアの列２８の配置の状況に依存するため、左右画像の結像位置２４、２５から観察者の右の眼２２、左の眼２３の位置が、ずれた右の眼の位置２６、ずれた左の眼の位置２７へずれると立体視が破綻する。従って、右眼用画像と左眼用画像の結像位置２４、２５に観察者の眼の位置が制限されるため、レンチキュラ方式と同様に、立体視を実現できる位置が限られる。しかも、この方式は、縦長のスリットバリアの列２８を使うため、像が暗くなる。
【００２６】
本発明においては、以上の理由から、インテグラルフォトグラフィ方式を採用している。
【００２７】
次に、本発明の三次元画像通信端末のインテグラルフォトグラフィ表示部の構造を、図５を使って説明する。インテグラルフォトグラフィの原理図である図２で説明したように、三次元立体画像を表示させるためには、再生要素画像１０をハエの目状の凸レンズアレイ１２の凸レンズ１３毎に対応させて表示する表示素子３０が必要である。
【００２８】
本実施の形態では表示素子３０として液晶パネル２９を使用した。液晶パネル２９の性能は、表示させようとする三次元画像の視差数と解像度に基づいて選択される。解像度はハエの目状の凸レンズアレイ１２の凸レンズ１３の径により支配される。本実施の形態では凸レンズ１３の径が１．５ｍｍのものを使用し、液晶パネル２９は解像度が２００ｄｐｉのものを使用した。これにより１つのレンズの再生要素画像１０は１０×１０ピクセルの画像で構成され、水平垂直方向の視差数はそれぞれ１０視野の滑らかな三次元立体画像を再生することが出来る。液晶パネル２９の解像度が２００ｄｐｉ以下になると自然な立体再生画像を得る事が難しくなる。出来るだけ自然な三次元立体画像を得るには、データ処理時間とのトレードオフになるが、２００〜７００ｄｐｉの解像度の再生要素画像１０を１．５ｍｍ以下のレンズで再生することが有効である。再生要素画像１０を表示する手段としては液晶パネル２９の他に、プラズマディスプレイパネル、有機ＥＬパネルを使用することが出来るのは勿論である。
【００２９】
以上の構成により、表示素子３０によって再生された三次元再生画像１７を形成する光線１５が観察者の瞳１６に入射することによって、観察者に三次元立体画像が認識される。
【産業上の利用可能性】
【００３０】
本発明は、臨場感及び現実感のあるコミュニケーションを可能とする三次元画像通信端
末として利用することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態１に係る三次元画像通信端末を示す斜視図
【図２】本発明の実施の形態１に係る次元画像通信端末の表示部の三次元表示方式であるインテグラルフォトグラフィの原理図
【図３】従来の三次元表示方式であるレンチキュラ方式の原理図
【図４】従来の三次元表示方式であるパララックス方式の原理図
【図５】本発明の三次元画像通信端末のインテグラルフォトグラフィ表示部の構造図
【符号の説明】
【００３２】
１    三次元画像通信端末の筐体
２    カメラ
３    カメラ
４    カメラ
５    カメラ
６    画像表示部
７    電話器用ハンドセット
８    ダイヤル用キーセット
９    ファンクションキーセット
１０    再生要素画像
１１    表示素子
１２    ハエの目状の凸レンズアレイ
１３    凸レンズ
１４    結像点
１５    光線
１６    観察者の瞳
１７    三次元再生画像
１８    蒲鉾型状のレンズ
１９    レンチュキュラレンズアレイ
２０    右眼用画像
２１    左眼用画像
２２    右の眼
２３    左の眼
２４    右画像の結像位置
２５    左画像の結像位置
２６    ずれた右の眼の位置
２７    ずれた左の眼の位置
２８    スリッドバリアの列
２９    液晶パネル
３０    表示素子
【図１】
2005328332.tif 000003
【図２】
2005328332.tif 000004
【図３】
2005328332.tif 000005
【図４】
2005328332.tif 000006
【図５】
2005328332.tif 000007