(57)【要約】【課題】携帯通信端末の如き情報処理装置において、相手との自然な視線を合わせた対話を実現する情報処理装置を提供する。【解決手段】情報処理装置に、画像信号に応じて所要の画像を表示する画像表示部と、該画像表示部の左右両側にそれぞれ撮像部を設け、これらの左側から撮像した画像と右側から撮像した画像を相手側の端末等の画像表示部において所要の画像表示として両画像を合わせて表示する。すると、通話相手の視線を合わせた表示が実現される。【選択図】　図１
2004048644.tif 000002
【特許請求の範囲】
【請求項１】
映像をともなう対話を行う携帯型の情報処理装置であって、
画像信号に応じて所要の画像を表示する画像表示手段と、
上記画像表示手段の左右両側のそれぞれに設けられる撮像手段とを備えること
を特徴とする情報処理装置。
【請求項２】
上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段を備え、
上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されること
を特徴とする請求項１記載の情報処理装置。
【請求項３】
上記画像処理手段は、上記撮像手段によって撮像されて得られた２つの画像から求められる視差を任意の比率に減少させて設定すること
を特徴とする請求項２記載の情報処理装置。
【請求項４】
上記画像処理手段は、上記撮像手段によって撮像されて得られた２つの画像の対応点を求め、求めた対応点のずれ量の画素数に基づいて、所定画素数だけ上記撮像手段によって撮像されて得られた２つの画像を移動させ、新たな２つの画像を生成すること
を特徴とする請求項２記載の情報処理装置。
【請求項５】
上記画像処理手段は、上記撮像手段によって撮像されて得られた２つの画像の相関検出を行うことによって上記対応点を求めること
を特徴とする請求項４記載の情報処理装置。
【請求項６】
上記撮像手段が設けられる位置は、略矩形状の上記画像表示手段の左右側端部の水平方向の傍ら及び左右側端部の上下端部から所定の範囲内の位置を含むこと
を特徴とする請求項１記載の情報処理装置。
【請求項７】
上記撮像手段は、固体撮像素子によって構成されること
を特徴とする請求項１記載の情報処理装置。
【請求項８】
映像をともなう対話を行う携帯型の情報処理装置であって、
携帯可能な筐体と、
上記筐体の表面に搭載され、画像信号に応じて所要の画像を表示する画像表示手段と、
上記筐体の表面上であって上記画像表示手段の左右両側のそれぞれに設けられる撮像手段とを備えること
を特徴とする情報処理装置。
【請求項９】
上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段を備え、
上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されること
を特徴とする請求項８記載の情報処理装置。
【請求項１０】
上記画像処理手段は、上記撮像手段によって撮像されて得られた２つの画像から求められる視差を任意の比率に減少させて設定すること
を特徴とする請求項９記載の情報処理装置。
【請求項１１】
上記画像処理手段は、上記撮像手段によって撮像されて得られた２つの画像の対応点を求め、求めた対応点のずれ量の画素数に基づいて、所定画素数だけ上記撮像手段によって撮像されて得られた２つの画像を移動させ、新たな２つの画像を生成すること
を特徴とする請求項９記載の情報処理装置。
【請求項１２】
上記画像処理手段は、上記撮像手段によって撮像されて得られた２つの画像の相関検出を行うことによって上記対応点を求めること
を特徴とする請求項１１記載の情報処理装置。
【請求項１３】
上記筐体は、使用者が片手で保持できる大きさに形成され、
上記画像表示手段は、その表示面の水平方向の幅が約１０ｍｍから約１００ｍｍの範囲とされ、
上記左右両側の撮像手段の間の距離は、上記表示面の水平方向の幅よりも大きく設定されること
を特徴とする請求項８記載の情報処理装置。
【請求項１４】
上記撮像手段が設けられる位置は、略矩形状の上記画像表示手段の左右側端部の水平方向の傍ら及び左右側端部の上下端部から所定の範囲内の位置を含むこと
を特徴とする請求項１３記載の情報処理装置。
【請求項１５】
上記上下端部から所定の範囲内の位置は、半径約２０ｍｍ以内の位置であること
を特徴とする請求項１４記載の情報処理装置。
【請求項１６】
映像をともなう対話を行う携帯型の情報処理装置であって、
左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在させてなる画像表示手段と、
上記画像表示手段の左右両側のそれぞれに設けられる撮像手段とを備えること
を特徴とする情報処理装置。
【請求項１７】
上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段を備え、
上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されること
を特徴とする請求項１６記載の情報処理装置。
【請求項１８】
上記画像処理手段は、上記撮像手段によって撮像されて得られた２つの画像から求められる視差を任意の比率に減少させて設定すること
を特徴とする請求項１７記載の情報処理装置。
【請求項１９】
上記画像処理手段は、上記撮像手段によって撮像されて得られた２つの画像の対応点を求め、求めた対応点のずれ量の画素数に基づいて、所定画素数だけ上記撮像手段によって撮像されて得られた２つの画像を移動させ、新たな２つの画像を生成すること
を特徴とする請求項１７記載の情報処理装置。
【請求項２０】
上記画像処理手段は、上記撮像手段によって撮像されて得られた２つの画像の相関検出を行うことによって上記対応点を求めること
を特徴とする請求項１９記載の情報処理装置。
【請求項２１】
上記画像表示手段は、使用者の両眼それぞれに対して独立して光を射出する射出手段を有すること
を特徴とする請求項１６記載の情報処理装置。
【請求項２２】
上記射出手段は、
左眼用信号又は右眼用信号に基づいて所要の光を発生させる発光手段と、
上記発光手段からの光を所定の角度方向に射出するように制御する射出角度制御手段とからなること
を特徴とする請求項２１記載の情報処理装置。
【請求項２３】
上記発光手段は、配列される複数の発光素子からなり、
上記射出角度制御手段は、使用者の両眼のどちらかに指向する上記発光素子毎の開口部からなること
を特徴とする請求項２２記載の情報処理装置。
【請求項２４】
上記発光手段は、配列される複数の発光素子からなり、
上記射出角度制御手段は、複数の微小レンズをマトリクス状に配列したマイクロレンズアレイからなり、
上記発光素子は、上記マイクロレンズアレイの面内方向で対応する微小レンズとの位置を相対的に使用者の両眼それぞれに対して独立して光を射出するようにずらして配置されてなること
を特徴とする請求項２２記載の情報処理装置。
【請求項２５】
上記微小レンズと上記発光素子の大きさの比率は、３０：１乃至５：１の範囲であること
を特徴とする請求項２４記載の情報処理装置。
【請求項２６】
上記微小レンズは、球状、円錐状、角錐状、又は矩形状であること
を特徴とする請求項２４記載の情報処理装置。
【請求項２７】
上記発光手段は、配列される複数の発光素子からなり、
上記射出角度制御手段は、それぞれ使用者の両眼のどちらかに指向する回折光を射出する微小回折板をマトリクス状に配列してなること
を特徴とする請求項２２記載の情報処理装置。
【請求項２８】
上記射出角度制御手段は、上記画像表示手段の水平方向で一方の目と同じ側の端部と反対側の端部との間の各発光手段の射出角度が線形補間されるように設けられていること
を特徴とする請求項２２記載の情報処理装置。
【請求項２９】
上記画像表示手段における左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素との混在は、時分割によって左眼用信号に基づく表示と右眼用信号に基づく表示とを切り替えて行われること
を特徴とする請求項１６記載の情報処理装置。
【請求項３０】
通話相手の顔部分を含む画像を表示可能とする画像表示手段を設けるとともに、上記画像表示手段の左右両側にそれぞれ撮像手段を設けて構成され、映像をともなう対話を行う携帯型の情報処理端末を複数備え、
上記情報処理端末間で相互に通信可能とすること
を特徴とする情報処理システム。
【請求項３１】
上記画像表示手段の表示面には、通話相手の顔がその視線を使用者に一致させて表示されること
を特徴とする請求項３０記載の情報処理システム。
【請求項３２】
上記情報処理端末は、それぞれ、上記表示面上の視線の位置を表示面上で略固定とさせる画像処理手段を有すること
を特徴とする請求項３０記載の情報処理システム。
【請求項３３】
上記情報処理端末は、それぞれ、上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段を有し、
通話相手の上記情報処理端末の上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されること
を特徴とする請求項３１記載の情報処理システム。
【請求項３４】
携帯型の端末の画像表示手段の左右両側にそれぞれ設けられた一対の撮像手段によって使用者の映像を取り込む映像取り込み工程と、
通話相手の端末の画像表示手段に上記使用者の視線を該通話相手の視点で一致させて表示させる表示工程とを備えること
を特徴とする対話者表示方法。
【請求項３５】
上記映像取り込み工程にて取り込まれた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理工程を備え、
通話相手の端末の画像表示手段の表示面には、上記画像処理工程にて生成された新たな２つの画像が表示されること
を特徴とする請求項３４記載の対話者表示方法。
【請求項３６】
上記画像表示手段は、左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在させてなるものであること
を特徴とする請求項３４記載の対話者表示方法。
【請求項３７】
上記画像表示手段は、使用者の両眼それぞれに対して独立して光を射出する射出手段を有すること
を特徴とする請求項３４記載の対話者表示方法。
【請求項３８】
上記射出手段は、
左眼用信号又は右眼用信号に基づき所要の光を発生させる発光手段と、
上記発光手段からの光を所定の角度方向に射出するように制御する射出角度制御手段とからなること
を特徴とする請求項３７記載の対話者表示方法。
【請求項３９】
上記端末は、
携帯可能な筐体と、
上記筐体の表面に搭載され、画像信号に応じて所要の画像を表示する画像表示手段と、
上記筐体の表面上であって上記画像表示手段の左右両側のそれぞれに設けられる撮像手段とを有すること
を特徴とする請求項３４記載の対話者表示方法。
【請求項４０】
映像をともなう対話を行う情報処理装置であって、
画像信号に応じて所要の画像を表示する画像表示手段と、
上記画像表示手段の左右両側のそれぞれに設けられる撮像手段と、
上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段とを備え、
上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されること
を特徴とする情報処理装置。
【請求項４１】
映像をともなう対話を行う情報処理装置であって、
筐体と、
上記筐体の表面に搭載され、画像信号に応じて所要の画像を表示する画像表示手段と、
上記筐体の表面上であって上記画像表示手段の左右両側のそれぞれに設けられる撮像手段と、
上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段とを備え、
上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されること
を特徴とする情報処理装置。
【請求項４２】
映像をともなう対話を行う情報処理装置であって、
左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在させてなる画像表示手段と、
上記画像表示手段の左右両側のそれぞれに設けられる撮像手段と、
上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段とを備え、
上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されること
を特徴とする情報処理装置。
【請求項４３】
通話相手の顔部分を含む画像を表示可能とする画像表示手段を設けるとともに、上記画像表示手段の左右両側にそれぞれ撮像手段を設けて構成され、映像をともなう対話を行う情報処理端末を複数備え、
上記情報処理端末は、それぞれ、上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段を有し、
上記情報処理端末間で相互に通信する際に、上記画像処理手段によって生成された新たな２つの画像を、通話相手の上記情報処理端末の上記画像表示手段の表示面に表示すること
を特徴とする情報処理システム。
【請求項４４】
端末の画像表示手段の左右両側にそれぞれ設けられた一対の撮像手段によって使用者の映像を取り込む映像取り込み工程と、
上記映像取り込み工程にて取り込まれた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理工程と、
通話相手の端末の画像表示手段に、上記画像処理工程にて生成された新たな２つの画像を表示させることで上記使用者の視線を該通話相手の視点で一致させて表示させる表示工程とを備えること
を特徴とする対話者表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は通話相手の画像表示が可能な携帯通信端末等の情報処理装置、情報処理システム、及び携帯通信端末等を用いた対話者表示方法に関し、特に、通話相手を画像表示する際に該通話相手の視線を端末使用者に合わせて表示させる情報処理装置、情報処理システム、及び携帯通信端末等を用いた対話者表示方法に関する。
【０００２】
【従来の技術】
近年、携帯電話機等の携帯通信端末が著しく普及しているが、これら携帯通信端末には、音声による通話機能に加えて、電子メールの送受信や、インターネットへのアクセス、さらには、通話相手のカメラで撮像された静止画や動画の受信といった様々な機能が搭載されるようになってきている。また、近年では、携帯電話機に限らず、遠隔地間を映像・音声通信網で接続するテレビ会議システムやテレビ電話といった双方向映像通信システムも普及してきている。
【０００３】
また、携帯電話機や双方向映像通信システムとしては、使用者の顔等を撮像するカメラの近傍に配置される画像表示装置に通話相手の映像が映し出されるように構成されるものがある。このような携帯電話機や双方向映像通信システムの使用者は、通常、画像表示装置に映し出される通話相手の顔といった映像を見ながら対話を進めることになる。
【０００４】
ところで、携帯電話機等の比較的に小さな機器に対してカメラ等の撮像デバイスを搭載した場合には、例えば画像表示部のサイズが５０ｍｍ四方程度の小さなものであっても、その画像表示部の左右領域や上下領域に撮像デバイスが配設されている場合には、その撮像された顔画像の視線は、相手を表示している画像表示部を見ている限り、撮像デバイスを向くことにならない。その結果、このような機器においては、画像表示部には視線の合わない顔画像が表示されることになる。したがって、このような機器においては、視線の合わない画像をもって通話相手と通話することになることから、不自然な感が否めず、対話の印象として臨場感を失うという問題があった。
【０００５】
具体的には、このような不具合は、図２７及び図２８を用いて説明することができる。これら図２７及び図２８は、端末の画像表示部上でそれぞれ視線方向が一致しない例を示した図である。これらの例は、カメラの位置を画像表示部の中心から６５ｍｍの位置に配置し、距離約２５ｃｍのところに使用者の顔を位置させて画像表示部の中央を見据えた場合の画像を示したものである。
【０００６】
図２７は、５０ｍｍ四方程度の画像表示部の左側領域又は右側領域の一方にカメラを配置して撮像した場合に、画像表示部に表示される画像の様子を模式的に示す図である。図２７（ａ）は、カメラを画像表示部に向かって左側に配置した場合のカメラ画像であり、図２７（ｂ）は、カメラを画像表示部に向かって右側に配置した場合のカメラ画像である。このように、カメラ画像は、いずれも視線が画像表示部から使用者の方には向かないことになり、不自然な対話画面となる。
【０００７】
同様に、図２８は、５０ｍｍ四方程度の画像表示部の上側領域又は下側領域の一方にカメラを配置して撮像した場合に、画像表示部に表示される画像の様子を模式的に示す図である。図２８（ａ）は、カメラを画像表示部の上側に配置した場合のカメラ画像であり、図２８（ｂ）は、カメラを表示画面の下側に配置した場合のカメラ画像である。この場合にも、カメラ画像は、いずれも視線が画像表示部から使用者の方には向かないことになり、不自然な対話画面となる。
【０００８】
このような不自然さを払拭するために、従来から各種の視線合わせの技術が考案されている。
【０００９】
そのような技術としては、画像表示部の表面に略平板状の微小ハーフミラーを配設し、画像表示部で表示された画像を、この微小ハーフミラーを透過して表示させるとともに、使用者の映像を、微小ハーフミラーの表面で反射する反射光を撮像用のカメラで受けることによって撮像するものがある。このような技術においては、使用者の画像表示部を見る視線と反射前の微小ハーフミラーの入射光の光軸とが一致することから、視線を合わせた表示を行うことが可能となる。
【００１０】
また、他の技術としては、例えば、光を透過できる構造の画像表示部を設け、使用者に対して画像表示部の裏側にカメラを配置するものがある。この技術においては、画像表示部が時分割で表示状態と透過状態とを繰り返すことになり、画像表示部が透過状態の際に、使用者の撮像が行われることになる。そして、この技術においては、透過状態とは異なる期間にて、所要の映像信号が画像表示部に送られ、通話相手の画像が表示される。このような技術においても、画像表示部による光の射出方向と画像表示部の裏側に配置されたカメラへの透過入射光の光軸とが一致することから、視線を合わせた表示を行うことが可能となる。
【００１１】
さらに、他の技術としては、特許文献１に記載されるような表示・撮像装置が知られている。この表示・撮像装置は、画像表示部の全面に亘って微小な孔を設け、その各微小孔に対して光ファイバーの端部を臨ませ、この光ファイバーの他端部をカメラに接続するように構成されたものである。この表示・撮像装置においても、各微小孔に対して臨む光ファイバーの端部と画像表示部との関係が、位置的にずれてはいないことから、視線を合わせた表示を行うことが可能となる。
【００１２】
【特許文献１】
特開平４−１６７６９０号公報
【００１３】
以上のような従来技術は、画像表示部と撮像デバイスの光軸とを合わせることによって実現されるものであるが、さらに、視線を合わせる技術としては、例えば非特許文献１に記載された技術のように、眼自体をコンピュータグラフィクスを駆使して合成するものも知られている
【００１４】
【非特許文献１】
山口剛、他、”ＴＶ会議における目線あわせ技法の提案”、第６回画像センシングシンポジウム講演論文集、ｐ２６７−ｐ２７２、２０００
【００１５】
さらにまた、最近では、視線合わせを立体視によって実現しようとする試みも行われている（例えば、特許文献２参照。）。
【００１６】
【特許文献２】
特開平１０−７５４３２号公報
【００１７】
この特許文献２には、卓上に置かれた筐体に、カメラからなる撮像部と画像表示部とを設けたものであり、画像表示部をイメージスプリッター方式のメガネなし３次元液晶表示素子を用いて構成するとともに、この画像表示部の左右位置にそれぞれカメラを配置した立体テレビ電話器が開示されている。そして、この特許文献２には、画像表示部の左右位置に設けられた２つのカメラによって撮像された画像を選択的に合成して融像することにより、擬似的に立体視可能な正面顔の画像を得ることができ、視線を合わせた会話を行うことが可能となる旨が記載されている。
【００１８】
【発明が解決しようとする課題】
ところで、上述した画像表示部と撮像デバイスの光軸とを合わせることによって実現される各種技術においては、画像表示部自体に対して何らかの位置関係をもって撮像デバイスが配置される。
【００１９】
しかしながら、上述した微小ハーフミラーを用いる技術においては、微小ハーフミラーの表面で反射する反射光の反射方向に撮像デバイスを配置する必要があり、また、上述した画像表示部を透過させて撮像を行う技術においては、画像表示部の裏側にカメラを配置する必要がある。したがって、これらの技術を実現するためには、装置全体として大きなサイズでカメラ等を保持する必要があり、このような技術を例えば携帯電話機で実現するには無理があった。
【００２０】
また、上述した特許文献１に記載されるような画像表示部上の微小孔に光ファイバーを取り付ける装置においては、画像表示部に微小孔を設け、光ファイバーの端部をそれぞれ合わせて組み立てるのが容易ではなく、製品の価格が大幅に上昇してしまうという問題があった。
【００２１】
さらに、上述した非特許文献１に記載された技術のように、通話相手の眼をコンピュータグラフィクスを駆使して合成する技術においては、上述した撮像デバイスの搭載位置による問題は発生しないが、現状のコンピュータグラフィクスの技術水準では未だ実映像とは隔たりがあり、通話相手の視線の不自然さを拭い去るまでには至っていない。
【００２２】
さらにまた、上述した特許文献２に記載された立体テレビ電話器においては、画像表示部の大きさが、例えば１４インチ程度であった場合には、その左右方向の距離が３０ｃｍ程度となることから、２つのカメラを画像表示部と干渉しない位置に設けた場合には、撮像された２つの画像のずれが大きくなる。したがって、このテレビ電話器においては、この２つの画像を用いてそのまま立体表示を行う場合には、視差が大きくなりすぎることから、２重像のまま融像が不可能となり、たとえ融像できたとしても使用者の眼に負担を強いる表示となり、疲労の原因となるといった問題があった。
【００２３】
本発明は、このような実情に鑑みてなされたものであり、携帯通信端末といった携帯型の情報処理装置において、相手との自然な視線を合わせた対話を実現する情報処理装置、情報処理システム、及び対話者表示方法を提供することを目的とする。また、本発明は、撮像された２つの画像の視差が大きすぎることによる不具合を回避して、相手との自然な視線を合わせた対話を実現する情報処理装置、情報処理システム、及び対話者表示方法を提供することを目的とする。
【００２４】
【課題を解決するための手段】
上述した目的を達成する本発明にかかる情報処理装置は、映像をともなう対話を行う携帯型の情報処理装置であって、画像信号に応じて所要の画像を表示する画像表示手段と、上記画像表示手段の左右両側のそれぞれに設けられる撮像手段とを備えることを特徴としている。
【００２５】
このような本発明にかかる情報処理装置においては、撮像手段を画像表示手段の左右両側にそれぞれ設けることで、右側の撮像手段には使用者の右前方から見た様子が画像として取り込まれ、左側の撮像手段には使用者の左前方から見た様子が画像として取り込まれる。これらの左側から撮像した画像と右側から撮像した画像を相手側の端末等の画像表示手段において、所要の画像表示として両画像を合わせて表示する。すると、画像表示手段を見る者にとっては同時に両画像を見ることになり、左右の視線方向の食い違いが是正された形で把握されることになる。このため特に撮像手段の光軸と画像表示部の光軸を合わせることなく、視線を合わせた表示が実現される。
【００２６】
また、上述した目的を達成する本発明にかかる情報処理装置は、映像をともなう対話を行う携帯型の情報処理装置であって、携帯可能な筐体と、上記筐体の表面に搭載され、画像信号に応じて所要の画像を表示する画像表示手段と、上記筐体の表面上であって上記画像表示手段の左右両側のそれぞれに設けられる撮像手段とを備えることを特徴としている。
【００２７】
このような本発明にかかる情報処理装置においては、先の情報処理装置を携帯可能な筐体に搭載した構造を有しており、左右両側にそれぞれ搭載される撮像手段は上記筐体の表面上に形成されることから、全体として薄型の構造をとることが可能であり、小型軽量な筐体を以って情報処理装置を構成できる。
【００２８】
さらに、上述した目的を達成する本発明にかかる情報処理装置は、映像をともなう対話を行う携帯型の情報処理装置であって、左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在させてなる画像表示手段と、上記画像表示手段の左右両側のそれぞれに設けられる撮像手段とを備えることを特徴としている。
【００２９】
このような本発明にかかる情報処理装置によれば、画像表示手段の左右両側にそれぞれ撮像手段を設けることで、特に画像表示手段の位置に合わせず、例えば重ねるような位置関係とすることなく撮像手段が搭載されることになり、全体として小型且つ薄型の構造が実現される。画像表示手段では、左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在してなることから、偏光メガネ等の特殊な装置を必要とせずに通話相手と視線を合わせて対話を進めることが可能となる。
【００３０】
特に、以上のような本発明にかかる３形態の情報処理装置は、それぞれ、上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段を備え、上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されることが望ましい。
【００３１】
これにより、本発明にかかる情報処理装置においては、撮像手段によって撮像されて得られた２つの画像の視差が大きくなりすぎて表示の際の不具合が生じるのを回避することができることから、通話相手と視線を合わせるための立体表示を最適化することができ、さらに見やすく自然な画像とすることができる。
【００３２】
さらにまた、上述した目的を達成する本発明にかかる情報処理システムは、通話相手の顔部分を含む画像を表示可能とする画像表示手段を設けるとともに、上記画像表示手段の左右両側にそれぞれ撮像手段を設けて構成され、映像をともなう対話を行う携帯型の情報処理端末を複数備え、上記情報処理端末間で相互に通信可能とすることを特徴としている。
【００３３】
このような本発明にかかる情報処理システムにおいては、撮像手段を左右両側にそれぞれ設けることで、右側の撮像手段には使用者の右前方から見た様子が、左側の撮像手段には使用者の左前方から見た様子が、それぞれ画像として取り込まれる。これらの左側から撮像した画像と右側から撮像した画像を相手側の情報処理端末の画像表示手段で合わせて表示する。すると、画像表示手段を見る者にとっては同時に両画像を見ることになり、視線方向が一致する形の映像が得られることになる。
【００３４】
特に、この本発明にかかる情報処理システムにおいて、上記情報処理端末は、それぞれ、上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段を有し、通話相手の上記情報処理端末の上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されることが望ましい。
【００３５】
これにより、本発明にかかる情報処理システムにおいては、撮像手段によって撮像されて得られた２つの画像の視差が大きくなりすぎて表示の際の不具合が生じるのを回避することができることから、通話相手と視線を合わせるための立体表示を最適化することができ、さらに見やすく自然な画像とすることができる。
【００３６】
また、上述した目的を達成する本発明にかかる対話者表示方法は、携帯型の端末の画像表示手段の左右両側にそれぞれ設けられた一対の撮像手段によって使用者の映像を取り込む映像取り込み工程と、通話相手の端末の画像表示手段に上記使用者の視線を該通話相手の視点で一致させて表示させる表示工程とを備えることを特徴としている。
【００３７】
このような本発明にかかる対話者表示方法においては、一対の撮像手段で使用者の映像が取り込まれ、該使用者の左側画像にかかる信号と右側画像にかかる信号が得られることになる。これらの信号を通話相手の端末の画像表示手段に送り、例えば左側画像にかかる画素と右側画像にかかる画素を混在させながら表示させることで、上記使用者の視線を該通話相手の視点で一致させて表示させることが可能となる。
【００３８】
特に、この本発明にかかる対話者表示方法は、上記映像取り込み工程にて取り込まれた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理工程を備え、通話相手の端末の画像表示手段の表示面には、上記画像処理工程にて生成された新たな２つの画像が表示されることが望ましい。
【００３９】
これにより、本発明にかかる対話者表示方法においては、撮像手段によって撮像されて得られた２つの画像の視差が大きくなりすぎて表示の際の不具合が生じるのを回避することができることから、通話相手と視線を合わせるための立体表示を最適化することができ、さらに見やすく自然な画像とすることが可能となる。
【００４０】
さらに、上述した目的を達成する本発明にかかる情報処理装置は、映像をともなう対話を行う情報処理装置であって、画像信号に応じて所要の画像を表示する画像表示手段と、上記画像表示手段の左右両側のそれぞれに設けられる撮像手段と、上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段とを備え、上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されることを特徴としている。
【００４１】
このような本発明にかかる情報処理装置においては、撮像手段を画像表示手段の左右両側にそれぞれ設け、これら撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成し、これら２つの画像を画像表示手段に表示することにより、特に撮像手段の光軸と画像表示部の光軸を合わせることなく、視線を合わせた表示が実現されるとともに、撮像手段によって撮像されて得られた２つの画像の視差が大きくなりすぎて表示の際の不具合が生じるのを回避することができることから、通話相手と視線を合わせるための立体表示を最適化することができ、さらに見やすく自然な画像とすることができる。
【００４２】
さらにまた、上述した目的を達成する本発明にかかる情報処理装置は、映像をともなう対話を行う情報処理装置であって、筐体と、上記筐体の表面に搭載され、画像信号に応じて所要の画像を表示する画像表示手段と、上記筐体の表面上であって上記画像表示手段の左右両側のそれぞれに設けられる撮像手段と、上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段とを備え、上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されることを特徴としている。
【００４３】
このような本発明にかかる情報処理装置においては、先の情報処理装置を携帯可能な筐体に搭載した構造を有しており、左右両側にそれぞれ搭載される撮像手段は上記筐体の表面上に形成されることから、全体として薄型の構造をとることが可能であり、小型軽量な筐体を以って情報処理装置を構成できる。
【００４４】
また、上述した目的を達成する本発明にかかる情報処理装置は、映像をともなう対話を行う情報処理装置であって、左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在させてなる画像表示手段と、上記画像表示手段の左右両側のそれぞれに設けられる撮像手段と、上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段とを備え、上記画像表示手段の表示面には、上記画像処理手段によって生成された新たな２つの画像が表示されることを特徴としている。
【００４５】
このような本発明にかかる情報処理装置によれば、特に画像表示手段の位置に合わせず、例えば重ねるような位置関係とすることなく撮像手段が搭載されることになり、全体として小型且つ薄型の構造が実現される。また、画像表示手段では、左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在してなり、撮像手段によって撮像されて得られた２つの画像に基づいて視差を内挿して新たに生成された画像が表示されることから、偏光メガネ等の特殊な装置を必要とせずに、通話相手と視線を合わせるための立体表示を最適化することができ、さらに見やすく自然な画像のもとに、通話相手と視線を合わせて対話を進めることが可能となる。
【００４６】
さらに、上述した目的を達成する本発明にかかる情報処理システムは、通話相手の顔部分を含む画像を表示可能とする画像表示手段を設けるとともに、上記画像表示手段の左右両側にそれぞれ撮像手段を設けて構成され、映像をともなう対話を行う情報処理端末を複数備え、上記情報処理端末は、それぞれ、上記撮像手段によって撮像されて得られた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理手段を有し、上記情報処理端末間で相互に通信する際に、上記画像処理手段によって生成された新たな２つの画像を、通話相手の上記情報処理端末の上記画像表示手段の表示面に表示することを特徴としている。
【００４７】
このような本発明にかかる情報処理システムにおいては、撮像手段を左右両側にそれぞれ設けることで、右側の撮像手段には使用者の右前方から見た様子が、左側の撮像手段には使用者の左前方から見た様子が、それぞれ画像として取り込まれる。これらの左側から撮像した画像と右側から撮像した画像を相手側の情報処理端末の画像表示手段で合わせて表示する。このとき、画像表示手段には、撮像手段によって撮像されて得られた２つの画像に基づいて視差を内挿して新たに生成された画像が表示されることから、通話相手と視線を合わせるための立体表示を最適化することができ、極めて見やすく自然な視線方向が一致する形の映像が得られることになる。
【００４８】
さらにまた、上述した目的を達成する本発明にかかる対話者表示方法は、端末の画像表示手段の左右両側にそれぞれ設けられた一対の撮像手段によって使用者の映像を取り込む映像取り込み工程と、上記映像取り込み工程にて取り込まれた２つの画像に基づいて、視差を内挿した新たな画像を生成する画像処理工程と、通話相手の端末の画像表示手段に、上記画像処理工程にて生成された新たな２つの画像を表示させることで上記使用者の視線を該通話相手の視点で一致させて表示させる表示工程とを備えることを特徴としている。
【００４９】
このような本発明にかかる対話者表示方法においては、一対の撮像手段で使用者の映像が取り込まれ、取り込まれた２つの画像に基づいて視差を内挿した新たな画像が生成され、該使用者の左側画像にかかる信号と右側画像にかかる信号が得られることになる。これらの信号を例えば左側画像にかかる画素と右側画像にかかる画素を混在させながら通話相手の端末の画像表示手段に表示させることで、通話相手と視線を合わせるための立体表示を最適化することができ、上記使用者の視線を該通話相手の視点で一致させて表示させることが可能となる。
【００５０】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
【００５１】
この実施の形態は、通話相手の顔画像を表示できる携帯通信端末に関するものである。図１に示すように、情報処理装置である携帯通信端末１０は、使用者が片手で保持可能な大きさの筐体１２を有しており、筐体１２の長手方向を垂直方向としながら対話が可能なように構成されている。この筐体１２の表面側には、そのサイズが１０ｍｍ四方乃至１００ｍｍ四方程度の画像表示部１１がその表示面を外部に露呈するように設けられている。この画像表示部１１の左右両側には、撮像部としての左カメラ１３Ｌと、右カメラ１３Ｒとが配設されている。画像表示部１１の下側には、自分の顔等の写りをモニターするためのマイナーモニター１４が設けられており、さらに、そのマイナーモニター１４の側部には、自分の顔が撮像領域から大きく外れた際に点滅等によってその旨を報知するインジケーター１７が設けられている。また、マイナーモニター１４の下部には、ボタン１５とキー入力部１６とが形成されている。携帯通信端末１０においては、これらボタン１５及びキー入力部１６の操作により、電話番号のダイヤルや電子メールの文字入力、当該携帯通信端末１０の機能制御等を行うことが可能となる。
【００５２】
撮像部としての左カメラ１３Ｌ及び右カメラ１３Ｒは、それぞれ、画像表示部１１の左右両側にそれぞれ配設されている。左カメラ１３Ｌは、当該携帯通信端末１０を使用する使用者のやや左前方から撮像するように設けられており、右カメラ１３Ｒは、該使用者のやや右前方から撮像するように設けられている。左カメラ１３Ｌ及び右カメラ１３Ｒは、それぞれ、例えばＭＯＳ（Ｍｅｔａｌ−Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子やＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）型撮像素子とレンズ等を組み合わせた光学系からなる。具体的には、携帯通信端末１０においては、左カメラ１３Ｌ及び右カメラ１３Ｒとして、例えば小型軽量の固体撮像素子が使用される。
【００５３】
画像表示部１１は、左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在させて構成されている。特に、画像表示部１１は、使用者の両眼それぞれに対して独立して光を射出する射出手段を有する。ここでは、この射出手段として、左眼用信号又は右眼用信号に基づき所要の光を発生させる発光部と、この発光部からの光を所定の角度方向に射出するように制御する射出角度制御部とを設けるものとする。発光部は、配列される複数の発光ダイオードからなり、射出角度制御部は、複数の微小レンズをマトリクス状に配列したマイクロレンズアレイから構成されている。なお、ここでの射出手段の構造は、一例に過ぎず、例えば発光部の構造を液晶表示デバイス、有機ＥＬ（Ｅｌｅｃｔｒｏｎｉｃ　Ｌｕｍｉｎｅｓｃｅｎｔ）デバイス、プラズマ表示デバイス等を用いた構造とすることも可能であり、透過型や反射型等の構造を有していてもよい。また、射出角度制御部についても、後述するような種々の構造とすることができる。なお、左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在する方法については、後述するものとする。
【００５４】
まず、両眼それぞれの信号を１つの表示部に送って視線を合わせる技術について説明する。一般に、視線の不一致の検知眼と許容眼については、テレビ電話等の分野で研究されているものがあり、例えば、”佐藤ら、Ｎｏ．１９９８、”映像電話における撮像管の位置に関する検討”、昭和４２年電気四学会連合大会、ｐ２３１６”や、”南、”４．２　テレビ電話機”、電子通信学会誌　１１／’７３　Ｖｏｌ．５６、Ｎｏ．１１、ｐ１４８５−ｐ１４９０”等が知られている。これらの文献には、テレビ電話における視線の一致についての考察や実験結果が示されており、「人の感性として視線の違和感を検知できる検知眼は、中心から２°〜３°程度の極めて狭い範囲であり、水平方向と垂直方向ではあまり差が生じない」旨が示されている。そして、これらの文献には、「テレビ電話としての許容範囲の限界としての許容眼は、水平方向では約４．５°であり、垂直方向では真上方向が１２°、真下方向が８°とばらつきがあり、特に水平方向で許容される範囲が狭く、左右の視線に人が敏感である」旨が示されている。
【００５５】
本発明の実施の形態として示す携帯通信端末１０は、この比較的に感知されやすい左右の視線のずれを補って臨場感のある交信を実現できる装置である。図２は、その概念を簡単に示すイラストレーションである。図２（ａ）は、左カメラ１３Ｌからの画像であり、左カメラ１３Ｌは中心よりも左側に位置していることから、使用者の視線は右よりに現れる。また、図２（ｂ）は、右カメラ１３Ｒからの画像であり、右カメラ１３Ｒは中心よりも右側に位置していることから、使用者の視線は左よりに現れる。そして、図２（ｃ）は、左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在させ且つ使用者の両眼それぞれに対して独立して光を射出する機構を有する画像表示部１１を用いて画像を表示した場合の表示画面を示している。すなわち、携帯通信端末１０においては、左眼用信号が専用に送られる画像表示部１１の各画素から使用者の左眼に向けた光の射出を行い、その射出した光は使用者の左眼に到達する。同様に、携帯通信端末１０においては、右眼用信号が専用に送られる画像表示部１１の各画素から使用者の右眼に向けた光の射出を行い、その射出した光は使用者の右眼に到達する。その結果、使用者は両眼の間で異なる画像を見ることになるが、使用者の大脳ではそれを合成して見る機能が働き、その結果として、図２（ｃ）に示すように、視線を合わせた画面が表示されているように見ることができ、視線を合わせた自然な通話が実現されることになる。なお、画像は、静止画であってもよく、動画であってもよい。また、携帯通信端末１０においては、送受信の帯域に余裕があれば、リアルタイムの動画の送受信も可能であるが、圧縮したり間引いたりした画像データを送受信するように構成してもよい。
【００５６】
図３は、携帯通信端末１０の回路構成例を示すブロック図である。制御回路２１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ビデオメモリ、所要の画像情報処理回路を含んでおり、後述するような手ぶれ防止のための信号処理も制御回路２１で行われる。制御回路２１によって処理されるデータは、送受信部２８によって送信することができ、送受信部２８によって受信したデータは、制御回路２１に送られる。キー入力部２７は、例えばテンキーや機能設定ボタンが配置され、さらには、ジョグダイヤル、入力パッド、その他の拡張機能デバイス等が配置されてもよい。
【００５７】
制御回路２１には、左カメラ２４Ｌからの信号と右カメラ２４Ｒからの信号とが独立して供給される。通常の使用状態では、左カメラ２４Ｌからの信号には使用者のやや左前方から撮像した映像データが含まれ、右カメラ２４Ｌからの信号には使用者のやや右前方から撮像した映像データが含まれる。携帯通信端末１０においては、左カメラ２４Ｌと右カメラ２４Ｒとからの信号は、それぞれ、制御回路２１を介して送受信部２８に送られ、この送受信部２８から送信されて他の携帯通信端末に受信される。携帯通信端末１０においては、このようなデータの送受信によって通話が可能となり、特に本実施の形態では、画像表示部１１において視線を合わせた画像が表示されているように見ることができることから、視線を合わせた自然な通話が実現されることになる。
【００５８】
左カメラ２４Ｌと右カメラ２４Ｒとからの信号は、それぞれ、他の携帯通信端末に送られるとともに、制御回路２１を経由して小さいモニター画面で映し出すことができる。すなわち、左カメラ２４Ｌと右カメラ２４Ｒとからの信号は、それぞれ、制御回路２１及びドライバ２６を介してマイナーモニター２５に送られる。これにより、携帯通信端末１０においては、例えば図１に示したマイナーモニター１４のような比較的小さな画面で通話しながら自分の顔を見ることも可能となる。もしマイナーモニター１４のような比較的小さな画面で自分の顔を確認しないで通話をする場合には、携帯通信端末１０の角度によっては、左カメラ２４Ｌと右カメラ２４Ｒとの中心では自分の顔を捉えることが出来ない場合もあり、顔がカメラの撮像範囲から外れることもある。そこで、携帯通信端末１０においては、マイナーモニター２５からの画像を確認しながら通話を行うことにより、通信相手と自然な視線の一致する対話を進めることができることになる。マイナーモニター２５は、目視による確認を促すデバイスであるが、携帯通信端末１０においては、左カメラ２４Ｌと右カメラ２４Ｒとからの信号が、それぞれ、制御回路２１によって手ぶれ防止処理等の定常的な画像処理がなされていることもあり、適正な自分の顔が表示できない場合には、インジケーター２９を点滅させるようにしてもよく、マイナーモニター２５かメインモニター２２の画面にその旨を表示させるように制御してもよい。
【００５９】
通話相手からの信号は、送受信部２８から制御回路２１に送られ、左眼用の信号ＬＥと右眼用の信号ＲＥとに分けられて制御回路２１より出力される。左眼用の信号ＬＥは、左眼用の画素を駆動するための左眼用ドライバ２３Ｌに送られ、右眼用の信号ＲＥは、右眼用の画素を駆動するための右眼用ドライバ２３Ｒに送られる。相手の顔を写し出すメインモニター２２は、左眼用ドライバ２３Ｌと右眼用ドライバ２３Ｒとからの信号によって駆動される。上述したように、メインモニター２２上では、例えば偶数ラインが右眼用で奇数ラインが左眼用といったように、左眼用の画素と右眼用の画素とが混在しており、そのため独立した画素毎の表示となるが、当該メインモニター２２を見る側では、当該使用者の大脳でそれを合成して見る機能が働き、その結果として、図２（ｃ）に示したように、視線を合わせた画面が表示されているように見ることができ、視線を合わせた自然な通話が実現されることになる。
【００６０】
なお、図３に示すブロック図は、携帯通信端末１０の一例を示したに過ぎず、他の回路構成も可能である。例えば、携帯通信端末１０においては、ボタン操作等によって左眼用の信号ＬＥと右眼用の信号ＲＥとのうち一方だけを両方のドライバ２３Ｌ、２３Ｒに送るようにしてもよく、また、ボタン操作等に応じてメインモニター２２の信号とマイナーモニター２５との信号を切り替えるように制御してもよく、メインモニター２２に自分の顔を視線が合うように表示することも可能である。また、携帯通信端末１０においては、画像だけではなく、同時に音声のステレオ化を図るようにしてもよい。さらに、携帯通信端末１０においては、左眼用の信号再生と右眼用の信号再生とを必要なときだけ行い、通常の場合は、左右を区別しない信号で画面を表示させるようにしてもよい。
【００６１】
図４は、上述した携帯通信端末１０と同様の構成からなる２台の携帯通信端末３５，３８を用いて通話を行っている様子を模式的に示した図である。図４において、使用者３３と通話相手３４とが交信中であるものとすると、使用者３３が所持している携帯通信端末３５には、画像表示部３６と一対のカメラ３７Ｌ，３７Ｒとが搭載される。画像表示部３６には、通話相手３４の顔が映し出されており、その顔画像は、先に図２を用いて説明した原理によって視線が合った自然な形の映像とされる。一方、通話相手３４が所持している携帯通信端末３８には、画像表示部３９と一対のカメラ４０Ｌ，４０Ｒとが搭載される。画像表示部３８には、使用者３３の顔が映し出されており、同様に、その顔画像は、先に図２を用いて説明した原理によって視線が合った自然な形の映像とされる。
【００６２】
つぎに、本実施の形態として示す携帯通信端末における画像表示部の発光部からの光を所定の角度方向に射出するように制御する構造について、図５及び図６を参照しながら説明する。
【００６３】
図５は、本実施の形態として示す携帯通信端末の画像表示部を上側から見た場合の図である。
【００６４】
図５において、領域ｂ１は、画像表示部の表示面左端の画素から放射又は反射される光が、十分見える程度にまで強くなる範囲を示す。また、領域ｂ２は、同様に、画像表示部の表示面右端の画素から放射又は反射される光の範囲である。この両者の間は、画像表示部の表示面からＬ１だけ離隔した距離で概ね重なるように連続的に角度θが変化する。距離Ｌ１は、標準的に表示面を見る距離として想定する寸法である。ここでは、この距離Ｌ１を、人の明視距離といわれる２５０ｍｍとする。また、距離Ｌ２は、さらに腕を伸ばして見ることを考慮した想定寸法である。ここでは、この距離Ｌ２を、４００ｍｍとする。さらに、黒点ｂ３，ｂ４は、それぞれ、携帯通信端末の表示面を見る人の距離Ｌ１における左眼ＥＬ１と右眼ＥＲ１との位置を示している。さらにまた、黒点ｂ３’，ｂ４’は、それぞれ、距離Ｌ２における両眼の位置を示している。
【００６５】
この図５から明らかなように、領域ｂ１，ｂ２で示した領域の光は、右眼に入射せずに左眼にのみ見えることになる。同様に、光の角度を左右反転すれば、右眼だけに見える画素を設定できることになる。したがって、これらを表示画素全体についてライン毎や画素毎に左右眼用の画像を表示することで、立体視が可能となる。
【００６６】
距離Ｄは、画像表示部の表示面の水平方向の大きさである。通常、携帯型の機器における画像表示部は、手に持てるという要請から、その幅が２０ｍｍから８０ｍｍ程度であるのが一般的である。ここでは、距離Ｄを、４０ｍｍとして例を示す。θ１（＝−９．５７±５°），θ２（＝０．４３±５°）は、それぞれ、そのときの設計参考値であり、Ｌ１＝２５０ｍｍの位置で、両眼の中心において両眼用の光が極力混ざらず、また、隙間がないようにした上で、十分に眼に光が届くように光の広がりを１０°として設計した値である。この設計値は、上述した４００ｍｍの距離Ｌ２でも、十分に眼に光が届く値である。この設定で理論上表示面の一部が見えなくなる距離は、幾何学的に最短で２０２ｍｍであり、最長で６５７ｍｍである。この光線の広がり角度は，両眼への光の分離ができれば１０°以上大きくても構わない。しかしながら、この広がりが大きいと光線の射出角度をより大きく取らなければならず、光学設計を困難とする。また、本発明の対象が使用者を個人とすることを想定する機器であることから、必要以上に光を広げないことはプライバシー保護の面、さらには、消費エネルギー低減の面で利点がある。
【００６７】
同様に、上下方向についても、図６に示すように、光線が眼の位置に届くように制御を行う。この上下方向については、角度φが射出方向についての角度パラメータとして使用されるが、両眼については位置的な差がないものとされ、黒点ｂ３，ｂ４は、それぞれ、同じ位置（Ｌ１）とされ、黒点ｂ３’，ｂ４’は、それぞれ、同じ位置（Ｌ２）とされる。
【００６８】
このような設計方法により、視線を一致させる表示が可能な画像表示部を構成することが可能とされるが、これは、次の各数式によってさらに一般化することができる。まず、両眼間隔の半分の距離ＥＲ１と画像表示部の表示面の中心から端部までの距離Ｄｘｍａｘとの比較が行われる。すなわち、次式（１）に示すような比較が行われる。
【００６９】
【数１】
2004048644.tif 000003
【００７０】
すなわち、上式（１）上側の条件に当てはまる場合には、画像表示部の表示面の中心から端部までの距離Ｄｘｍａｘが両眼距離の半分の距離ＥＲ１よりも短い場合であり、画像表示部の表示面のサイズが小さい場合である。この場合、次式（２）に示すように、光線の射出角度が設定される。
【００７１】
【数２】
2004048644.tif 000004
【００７２】
なお、上式（２）において、距離Ｌ１は、標準的に表示面を見る距離として想定する寸法であって、例えば人の明視距離である。また、距離Ｌ２は、さらに腕を伸ばして見ることを考慮した想定寸法である。さらに、距離Ｄｘは、ｘ方向（水平方向）の距離であり、距離Ｄｙは、ｙ方向（垂直方向）の距離である。換言すれば、射出の角度方向を求める画素の位置が（Ｄｘ，Ｄｙ）に存在するものとして計算できる。
【００７３】
一方、上式（１）下側の条件に当てはまる場合には、画像表示部の表示面の中心から端部までの距離Ｄｘｍａｘが両眼距離の半分の距離ＥＲ１よりも長い場合であり、画像表示部の表示面のサイズが大きい場合である。この場合、次式（３）に示すように、光線の射出角度が設定される。
【００７４】
【数３】
2004048644.tif 000005
【００７５】
なお、上式（３）において、各パラメータの設定は、上式（２）の各パラメータのものと同じである。
【００７６】
上式（１）乃至上式（３）のそれぞれを用いることにより、画像表示部上の任意の位置（Ｄｘ，Ｄｙ）における光線の射出の角度方向を求めることができる。仮に、画素と右眼若しくは左眼の対応関係がランダムである場合には、それぞれの画素について上式（１）乃至上式（３）のそれぞれを用いて計算し、射出方向を定めることが可能である。例えば、右眼用と左眼用との画素がライン毎になる場合では、そのライン上にいくつかの点を抽出し、その抽出点については、上式（１）乃至上式（３）のそれぞれを用いて計算を行うとともに、抽出点の間の各点については、その射出角度についてのデータを線形補間なりの手法で設定していくことも可能である。
【００７７】
つぎに、図７を参照しながら本実施の形態として示す携帯通信端末におけるカメラの位置について説明する。
【００７８】
画像表示部３１は、マトリクス状に画素を配する構造を有し、その外形は略矩形状とされる。カメラは、少なくとも左右１つずつ設けられるが、さらに多くのカメラを配してもよく、例えば異なる種類のカメラを設けるようにしてもよい。左右のカメラの一方は、通常のカメラであり、他方は、目線を合成するための比較的に簡略化されたカメラを組み合わせることも可能である。
【００７９】
各カメラの位置は、略矩形状の画像表示部３１の左右側端部の水平方向の傍ら及び左右側端部の上下端部から所定の範囲内の位置を含み、例えば図７において、領域３２Ｌ，３２Ｒで示す領域にカメラを配置することができる。図７に示す領域３２Ｌ，３２Ｒは、画像表示部３１の左右側端部の水平方向の傍らで幅Ｈ２の帯状の領域を含み、その上端と下端で略矩形状の画像表示部３１の角部から例えば半径ｒの範囲内とされる。高さ方向では、距離Ｈ１だけ略矩形状の画像表示部３１の上側にはみ出すような領域も含む。このように垂直方向については、比較的にカメラ位置に自由度があるが、これは上述した許容眼が垂直方向には厳しくないためであり、携帯通信端末のように表示部以外のスペースが小さい場合では、必ずしも画像表示部３１の真横の位置でなくともよく、下側についても同様である。
【００８０】
幅Ｈ２については、特に限定されるものではないが、例えば先の半径ｒを２０ｍｍ程度とした場合では、同様に幅Ｈ２を２０ｍｍ程度とすることができる。以上のようなカメラ位置については、図示しない光学系をそれぞれ具備することから画像表示部３１に対して固定であることが望ましいが、カメラ自体を画像表示部３１の側部から出没自在な構成としてもよく、また、一対のカメラの両方若しくは一方を撮像時に取り付ける構造であってもよい。カメラ先端部には、ガラス若しくはプラスチックのレンズが取り付けられるが、傷等の発生を防止するために不使用時にカバーで覆うような構成をとることも可能である。
【００８１】
続いて、画像表示部の構造例について図８乃至図１２を参照しながら説明する。
【００８２】
図８は、表示画素を拡大した図であり、略正方形のブロックで示す領域５１が１つの画素に対応する。各画素の領域５１には、それぞれ、４つの発光素子５２Ｒ，５２Ｇ，５２Ｂ，５２Ｇがサイコロの４の各点の位置を占めるように配設されている。発光素子５２Ｒ，５２Ｇ，５２Ｂ，５２Ｇは、例えば発光ダイオード等の半導体発光素子からなる。発光素子５２Ｒは、赤色に発光する素子であり、発光素子５２Ｇは、緑色に発光する素子であり、発光素子５２Ｂは、青色に発光する素子である。緑色に発光する発光素子５２Ｇは、他の発光色の素子に比べて、人の眼では解像しやすいという性質があることから、当該緑色の発光素子５２Ｇを密に配列させることにより、均一な印象を与えることが可能となる。なお、画像表示部を構成する素子としては、これらの発光素子に代えて、カラー液晶のような色フィルターをともなう透過型表示素子であってもよく、或いは何かの反射型表示素子であってもよい。
【００８３】
このような画素の領域５１を用いて左右の眼にそれぞれ光線を射出して所要の立体視が可能な画像表示部を構成するためには、ライン毎や画素毎に映像を振り分けるように設定すればよい。
【００８４】
図９（ａ）乃至図９（ｅ）は、立体視を実現するための左右の映像の振り分けパターンの例を示す図である。各図において、”Ｌ”は、左眼用のデータによって光を発生させる画素であり、左眼に向けて光線を射出するものである。一方、”Ｒ”は、右眼用のデータによって光を発生させる画素であり、右眼に向けて光線を射出するものである。なお、各図においては、横４×縦４の画素分だけ抽出させて示している。図９（ａ）には、水平ライン毎に交互に”Ｌ”で示す左眼用の画素と”Ｒ”で示す右眼用の画素とが並ぶパターンを示している。図９（ｂ）は、垂直ライン毎に交互に”Ｌ”で示す左眼用の画素と”Ｒ”で示す右眼用の画素とが並ぶパターンを示している。図９（ｃ）は、市松模様状に左眼用の画素と右眼用の画素とが交互に現れるパターンを示しており、１水平ラインで１画素ずつ左眼用の画素と右眼用の画素とが交互に現れ、現水平ラインと次の水平ラインでは同様のパターンが水平方向に１画素ずつずれて現れるパターンを示している。図９（ｄ）は、図９（ｃ）と同様に、市松模様状のパターンを形成するが、横２×縦２の画素サイズ毎に市松模様状のパターンを形成する場合を示している。また、図９（ｅ）は、１水平ラインで２画素ずつ左眼用の画素と右眼用の画素とが交互に現れ、現水平ラインと次の水平ラインでは同様のパターンが水平方向に１画素ずつずれて現れるパターンを示している。なお、図９に示したパターンは例示であって、その他のパターンで形成することも可能である。また、全面を同一のパターンで形成することも可能であるが、例えば画像表示部の中心側と周辺近くとで異なるパターンとしてもよく、顔画像の位置となりそうな部分に重点的に左右の映像の振り分けパターンを配するようにしてもよい。また、規則正しいパターンに左眼用の画素と右眼用の画素とを振り分けるのではなく、配線が複雑化するものの不規則なパターンで左眼用の画素と右眼用の画素とを振り分けてもよい。
【００８５】
つぎに、画像表示部の構造の一例として、発光素子上に微小なレンズであるマイクロレンズをそれぞれ配置した例について説明する。
【００８６】
図１０は、発光ダイオードや半導体レーザー等の半導体発光素子から構成される発光素子６３Ｇ，６３Ｂ，６３Ｒが、１つの画素６１あたり４つ配されている様子を示す図である。発光素子６３Ｒは、赤色に発光する素子であり、発光素子６３Ｇは、緑色に発光する素子であり、発光素子６３Ｂは、青色に発光する素子である。上述したように、緑色に発光する発光素子６３Ｇは、他の発光色の素子に比べて、人の眼では解像しやすいという性質があることから、当該緑色の発光素子５２Ｇを密に配列させることにより、均一な印象を与えることが可能となる。
【００８７】
このような発光素子６３Ｇ，６３Ｂ，６３Ｒの光線射出側である画像表示部の表面側には、それぞれ、球状の透明体からなる微小なマイクロレンズ６２が配される。マイクロレンズ６２は、発光素子６３Ｇ，６３Ｂ，６３Ｒからの光を左眼或いは右眼の所定の角度方向に射出するように制御する射出角度制御部であり、ＰＭＭＡ（ポリメタクリル酸メチル）等の透明合成樹脂やガラス等によって形成される。なお、マイクロレンズの形状は、球状に限らず、円錐状、角錐状、又は矩形状であってもよい。また、画像表示部においては、保持プレートにマトリクス状に各マイクロレンズを一体化したものを貼り合わせるようにして組み立てることもでき、１つ１つのマイクロレンズをそれぞれ位置決めして組み立てるように構成してもよい。各マイクロレンズ６２は、光の射出角度を制御する機能を有することから、そのために使用者の両眼のどちらかに指向する発光素子毎の開口部を遮蔽板等に設ける構成とすることもでき、或いは、マイクロレンズ６２の位置を発光素子６３Ｇ，６３Ｂ，６３Ｒからの光の光軸からずらせる方法も可能である。
【００８８】
図１１及び図１２は、マイクロレンズ６２の位置によって光線の射出方向を制御する例を説明するための模式的な各断面図であり、図１１は、発光素子６３Ｇとマイクロレンズ６２との各軸の位置が一致する例を示し、図１２は、発光素子６３Ｇとマイクロレンズ６２との各軸がずれている場合の例を示している。
【００８９】
図１１において、発光素子６３Ｇの大きさφＯＰＴは、３０μｍ程度であり、緑色の発光を行う発光素子６３Ｇを代表させて示している。図中ｚ軸方向が画像表示部の表示面の法線方向であり、ここでは、ｚ軸方向が光の射出方向とされる。発光素子６３Ｇは、例えばＧａＮ系の発光ダイオードであり、青色発光の発光ダイオードもＧａＮ系半導体等によって構成することができる。また、赤色発光を行う発光素子６３Ｒについては、ＧａＡｓ系化合物半導体等によって構成してもよい。各発光素子６３Ｇは、支持基板６５上に接着されており、３００μｍから６００μｍ程度のピッチでマトリクス状に配列されている。
【００９０】
支持基板６５上には、マイクロレンズ６２の保持部材として機能し、且つ発光素子からの光を適切な角度に制限するための遮蔽板としても機能する成型保持部材６６が配される。成型保持部材６６は、それぞれの発光素子の位置に対応して開口しており、その開口部から略円錐台形状の広がりをもって径が大きくされ、発光素子とは反対側の端部にはマイクロレンズ６２が嵌合するように構成されている。成型保持部材６６とマイクロレンズ６２、及び成型保持部材６６と支持基板６５は、互いに接着されて固定されている。各マイクロレンズ６２は、レンズの最大径部分で保持する保持部６４によって互いに連結されて保持されており、各マイクロレンズ６２の径φＬＥＮＳは、ここでは約３００μｍに設定されている。このような構成から成型保持部材６６の開口部に取り付けられるマイクロレンズ６２の底部では、発光素子６３Ｇとの間に距離ｄだけ空隙が生じており、光はその空隙部を通過してマイクロレンズ６２に導入される。
【００９１】
図１２は、上述したように、発光素子６３Ｇとマイクロレンズ６２との各軸がずれている場合の例を示している。図１２において、発光素子６３Ｇは、マイクロレンズ６２の中心を通りｚ軸に並行な線に対して距離Δｙだけずれた位置に配置されている。このような距離Δｙだけずれた位置に発光素子６３Ｇを配置した場合には、発光素子６３Ｇから射出した光がマイクロレンズ６２の軸のずれから曲げられることになり、このような位置関係の設定から右眼及び左眼に向かう方向での光の射出が可能となる。発光素子６３Ｇとマイクロレンズ６２との軸をずらす方法としては、発光素子６３の位置を支持基板６５上でずらせる方法、マイクロレンズ６２の位置をずらせる方法、マイクロレンズ６２を個々のレンズ毎に成型保持部材６６の開口部分に取り付ける構造において該成型保持部材６６の開口部の位置をずらすことでマイクロレンズ６２の位置をずらす方法等が挙げられる。図１２の例においては、マイクロレンズ６２の位置をずらせる方法を採用しており、成型保持部材６６の開口部の中心とマイクロレンズ６２との軸が合わないように固着されている。なお、図１２では、ｙ方向のずれだけを示しているが、ｙ方向のみならず、右眼や左眼に向かう方向での光の射出を可能とするために、ｚ方向やｘ方向のずれを含んでいてもよい。
【００９２】
図１３（ａ）は、発光素子６３Ｇとマイクロレンズ６２との軸が合致している場合における光線の広がりをシミュレーションしたものであり、図１３（ｂ）は、発光素子６３Ｇとマイクロレンズ６２との軸がずれている場合における光線の広がりをシミュレーションしたものである。すなわち、図１３（ａ）は、図１１の構造の発光素子とマイクロレンズとの関係のものを示すものであり、図１３（ｂ）は、図１２の構造の発光素子とマイクロレンズとの関係のものを示すものである。発光素子６３Ｇとマイクロレンズ６２との軸が合致している場合には、図１３（ａ）に示すように、画像表示部の表示面の法線方向であるｚ軸を中心とした光線の広がりとなるが、発光素子６３Ｇとマイクロレンズ６２との軸がずれている場合には、図１３（ｂ）に示すように、光の射出方向に角度が与えられ、図中やや斜め上方に光線が放射されていくことになる。この計算例においては、マイクロレンズの材料をＰＭＭＡとし、その大きさを直径３００μｍとし、発光素子の大きさを直径３０μｍとし、発光素子とマイクロレンズとの距離を５０μｍとしており、図１３（ａ）は、Δｙ＝０とした場合を示しており、図１３（ｂ）は、Δｙ＝−１５μｍとした場合を示している。マイクロレンズの材料をＰＭＭＡとした場合においては、波長に応じてその屈折率に変化がある。その関係を次表１に示す。計算は、この次表１に示すデータを用いて行っている。
【００９３】
【表１】
2004048644.tif 000006
【００９４】
さらに、このマイクロレンズと発光素子とについての大きさ及び位置関係については、図１４に示すような光学計算を行っている。
【００９５】
まず、図１４（ａ）に示すグラフは、発光素子の直径と光線の広がり角度とを光学計算した結果を示したものである。条件は、図１３（ａ）に示した場合と同様であり、マイクロレンズの材料をＰＭＭＡとし、その大きさを直径３００μｍとし、発光素子とマイクロレンズとの距離を５０μｍとし、発光素子の大きさを変化させている。この結果より、この条件において、光線の広がり角度を先に述べた１０°を目標とするならば、発光素子の大きさは、直径３０μｍ程度がよいということがわかる。このようなマイクロレンズの大きさと発光素子の大きさとの比較は、相対的なものであることから、例えばマイクロレンズと発光素子との大きさの比率を３０：１乃至５：１に設定することが好ましい。
【００９６】
また、図１４（ｂ）に示すグラフは，発光素子とマイクロレンズとの距離が光線の広がり角度に与える影響を計算した結果を示したものである。条件は、図１４（ａ）の場合と同様であり、マイクロレンズの材料をＰＭＭＡとし、その大きさを直径３００μｍとし、発光素子の大きさを直径３０μｍとし、発光素子とマイクロレンズとの距離ｄを可変としている。この結果より、光線の広がり角度を１０°とするには、発光素子とマイクロレンズとの距離を５０μｍ程度とするのが好適であることがわかる。
【００９７】
さらに、図１４（ｃ）に示すグラフは、発光素子とマイクロレンズとの横方向のずれを示す距離Δｙ（＝Δｘ）と光の射出角度とを計算した毛かを示したものである。上限、下限の角度は、図５に示した光の広がり領域のθの範囲を意味する。また、中心は、それらの角度の中央をプロットしたものである。図５の説明からは、左右眼に画像を振り分けるには，表示面の位置に応じて０．４３°から−９．５７°まで変化させる必要がある。図１４（ｃ）に示すグラフより、この条件を満足するには、距離Δｙを、およそ０から３５μｍまで線形的に変化させればよいことがわかる。このような線形的な計算処理は、次式（４）で近似的に与えることができる。
【００９８】
【数４】
2004048644.tif 000007
【００９９】
以上の光学計算より、マイクロレンズを用いて左右眼にそれぞれ専用の画像を表示することが可能となることが確認される。ここでは、左右方向の光学設計について例を挙げたが、上下方向についても同様の設計が可能である。また、ここでは、発光ダイオードのような自発光デバイスを想定した素子の大きさを議論したが、例えば、液晶、有機ＥＬ表示装置、プラズマディスプレイ等を用いる場合、単に開口部の大きさを制限するだけでは、光量の低下が懸念される場合には、画素の光を一旦レンズ等で集光し、目標の発光サイズにした上で、上述した方法を適用することも可能である。なお、マイクロレンズを用いることの利点としては、上述したように、光の利用効率が高く、低消費電力化が可能となることの他に、斜めから入射する外光が眼の方向に反射しにくいので、コントラストが高く、映像の品質がよいことや、レンズ効果で画素の見かけの大きさが増すことで、見かけ上の画素間隔が狭まり、視覚的に画素が離散的に見えることを防ぐことができ、比較的少ない画素数で連続的な画像を得ることができること等が挙げられる。
【０１００】
つぎに、図１５を参照して、マイクロレンズの一例について説明する。
【０１０１】
図１５（ａ）は、マイクロレンズの正面図であり、図１５（ｂ）は、マイクロレンズの断面図である。この図１５に示すマイクロレンズは、略透明球体からなる個々のマイクロレンズを略平板状の保持部材に最大径部分で保持させた構造を有しており、略最密状態で配列されている。各マイクロレンズの径は、例えば略３００μｍ程度である。このような個々のマイクロレンズを略平板状の保持部材に保持させた状態で発光素子のアレイに貼り合わせることにより、画像表示部を形成することも可能であり、個々のマイクロレンズの位置決めが不要となることから、携帯通信端末の製造コストを低減させることも可能となる。
【０１０２】
つぎに、本実施の形態に適用される画像処理の一例として、眼の位置を安定に保つ方法について述べる。
【０１０３】
先に図１を用いて示したように、顔を撮像するカメラ１３Ｌ，１３Ｒは、それぞれ、画像表示部１１の両側に設置され、マイナーモニター１４には、確認用に自分の顔が表示されることから、ある程度はカメラの撮像範囲に顔が収まるように調整可能である。しかしながら、表示される対話者の顔の画像位置とカメラとの位置関係は、手持ちの場合には、通常、変動が大きい。視線の方向のずれは、表示面に対話者の顔が概ね含まれている限り、極端に大きくなることはないが、さらに視線の一致を図り、また、画面のぶれを軽減するために眼の位置を安定化させる機能を設けることが好ましい。
【０１０４】
この眼の位置安定化の方法は、カメラ１３Ｌ，１３Ｒで撮像する領域にマージンを用意し、顔よりひとまわり大きい領域を撮像することである。そして、表示側では、対話者の眼の位置がカメラ１３Ｌ，１３Ｒを結ぶ線上で且つそれらの中心が近づくように画像処理によって調整して表示するものである。ここで、顔の画像から眼の位置を検出する方法としては、広く知られた画像認識の方法を利用することができる。一例として、相関検出による方法を示す。図１６は、画像からテンプレートに最も近いものを見つけ出す処理を説明する概念図である。この相関検出は、次式（５）で示される相関値の計算式を利用する。
【０１０５】
【数５】
2004048644.tif 000008
【０１０６】
この上式（５）中、相関係数ｃｉｊが最大となる座標値（ｉ，ｊ）が、マッチング位置を与えることになる。また、上式（５）において、ｇは、テンプレートの画像であり、この場合、標準的な眼や、鼻、眉毛、口等の画像は、メモリに予め登録される。また、ｆは、対象となる表示用の画像である。
【０１０７】
また、一般に知られたオートフォーカスやオートトラッキングの方法も導入可能である。まず、カメラ１３Ｌ，１３Ｒは、標準的な距離（例えばＬ１＝２５０ｍｍ）に、向きやフォーカスが合うように設置されている。したがって、左右のカメラで撮像された映像の差から、顔への距離が求まる。これは、通常知られた視差に関する幾何学的な計算によるものである。図１７は、視差に関するパラメータを図示したものであり、計算は、次式（６）を用いて行われる。
【０１０８】
【数６】
2004048644.tif 000009
【０１０９】
カメラ１３Ｌ，１３Ｒと計算式を利用して計算された距離より、標準的な顔の見かけの大きさが想定され、その大きさに見合うようテンプレートの大きさを調整する。この大きさ変更は、簡単なマトリクス計算で行うことができる。このようなマトリクス計算は、例えば次式（７）で表される。
【０１１０】
【数７】
2004048644.tif 000010
【０１１１】
なお、このような計算によらず、メモリに多段階の大きさの違いを予め登録しておき、ルックアップテーブルとして利用することも可能である。
【０１１２】
このような手法によって適切な大きさの顔の部位のテンプレートが用意した上で、そのテンプレートを用いて入力画面を検索し、最も相関値の大きい位置を見出すことで顔の眼の位置を把握する。そして眼の位置が左右画像で極力重なり、且つ、その中央が表示画面のカメラ中央に該当する位置に近づくように画面を平行移動又は回転、或いは拡大縮小を行って表示する。このときも画像を変換するための上式（７）に示したようなマトリクスを用いることで適切な表示を行うことが可能となる。
【０１１３】
つぎに、図１８を参照しながら画像表示部の他の構造例について説明する。
【０１１４】
図１８は、コーン型のレンズを使用した画像表示部の例であって、図１８（ａ）は、画像表示部の断面図であり、図１８（ｂ）は、レンズの斜視図である。画像表示部においては、支持基板７７上に発光ダイオード等の発光素子７４，７５が配される。発光素子７４は、射出させる光線の方向を略ｚ方向とするように成型保持部材７３によって形成された空隙部７６の略中央部分に形成され、発光素子７５は、射出させる光線の方向をｙ方向にシフトさせるために成型保持部材７３によって形成され、空隙部７６の略中央部分から−ｙ方向にシフトして形成される。成型保持部材７３は、所要の合成樹脂を成型した部材であり、コーン型のマイクロレンズ７１，７２の保持部材として機能し、且つ発光素子からの光を適切な角度に制限するための遮蔽板としても機能する。
【０１１５】
この図１８に示す画像表示部においては、マイクロレンズ７１，７２がコーン形状とされ、底面側の径の大きな端部が発光素子７４，７５に空隙部７６を介して対向するように構成されるとともに、細くされて径の小さな端面７８，７９が表示面側になるように配置される。特に、マイクロレンズ７１，７２は、その軸方向が光の射出方向と一致することから、光線を射出すべき方向に当該マイクロレンズ７１，７２を傾ければ、所望の光の射出角度の調整が可能であり、発光素子７４，７５からの光を集めて端面７８，７９から射出できることになる。
【０１１６】
このような構造の画像表示部を用いることで、マイクロレンズ７１，７２及び成型保持部材７３等は、プラスチック成型技術によって生産することができる。したがって、このような画像表示部においては、製品の低コストでの量産も実現されることになる。
【０１１７】
つぎに、図１９及び図２０を参照して、発光光線の角度を１０°以内に絞って射出することの有用性について説明を加える。
【０１１８】
図１９は、原点からの角度φに対する球面積Ｓを示しており、そのパラメータを図示するものである。ｒは、仮想球の半径であり、ｈは、角度φの光線が仮想球と交わる部分の径を与える。また、Ｓは、角度φによる円錐で切り取られる球面積であり、Ｓｒａｔｉｏは、全球面積に対する球面積Ｓの比である。図２０は、図１９中左側に示した各式から計算される角度φと球面積比Ｓｒａｔｉｏの関係を示した図である。特に、角度φが１０°（０．１７４５ｒａｄ）の場合には、球面積比Ｓｒａｔｉｏは、０．００１９０２６５と極めて小さな値でよい。換言すれば、半球を均一に発光させる場合に比べて、発光光線の角度を１０°以内に絞って射出することにより、１／２６３の光量で済むことになり、このことから、光量を多くしなくとも発光光線の角度を制御することにより、良好な映像が得られることが示唆される。また、このことは、同じ電力で発光デバイスを駆動する場合に、コントラストを大きくできることを意味することになり、本実施の形態として示す携帯通信端末を用いることにより、明瞭な目線の合った対話画面が表示されることになる。
【０１１９】
図２１は、画像表示部のさらに他の構造例を示す断面図である。図２１において、基板８２には、発光ダイオード等の発光素子８３，８４が装着されており、これら発光素子８３，８４は、マトリクス状に配列されている。基板８２の表面側には、微小回折板８５Ｌ，８５Ｒが形成された透明基板８１が貼り合わせられている。微小回折板８５Ｌ，８５Ｒは、それぞれ、発光素子８３，８４から射出される光線を回折現象によって曲げる機能を有しており、回折現象によって曲げられた光線がそれぞれ使用者に送られる。具体的には、微小回折板８５Ｌは、使用者の左眼に見えるように光線の射出角度を制御し、微小回折板８５Ｒは、使用者の右眼に見えるように光線の射出角度を制御する。このような制御により、当該使用者の大脳でそれを合成して見る機能が働き、その結果として、図２（ｃ）に示したように、視線を合わせた画面が表示されて見ることができ、視線を合わせた自然な通話が実現されることになる。
【０１２０】
なお、上述した説明では、画像表示部における左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在させる方法について、空間的に混在させる例を挙げて説明したが、これに限定されず、左眼用信号に基づく表示と右眼用信号に基づく表示とを時分割に切り替えて行うことにより、左眼用信号に基づく表示を行う複数の画素と右眼用信号に基づく表示を行う複数の画素とを混在させてもよい。
【０１２１】
つぎに、図２２、図２３を参照しながら、視線方向と視線一致させた画像の印象を調べた結果について簡単に説明する。
【０１２２】
図２２は、実験の様子を示した図であり、図２２（ａ）は、左右のカメラから画像を取り込む場合の図であり、図２２（ｂ）は、仮想画面の中央にカメラがあるものとした場合の図である。図２２（ａ）の場合、カメラは、仮想画面の両側にあり、本実施の形態として示す携帯通信端末の構造を有する。なお、一対のカメラの間の距離は、両眼距離と共通な６５ｍｍとしている。これらの仮想画面上で、垂直方向で７点、水平方向で７点の注視点を設定し、そのときの印象について調べた結果を図２３に示す。なお、注視点の間隔は、１２．５ｍｍであり、この距離は、角度で２．５６°に相当するものである。また、被験者は、仮想画面から２８０ｍｍの位置で注視点を見るものとした。
【０１２３】
図２３（ａ）に示すように、左右のカメラから画像を取り込む場合と、図２３（ｂ）に示すように、仮想画面の中央にカメラがある場合とでは、さほど差が生じたわけではなく、左右のカメラから画像を取り込むことで、中央にカメラを配するのと同等の視線一致効果が得られていることがわかる。さらに、左右のカメラから画像を取り込む場合では、仮想画面の中央にカメラがある場合よりも、縦方向に注視点を変えた場合であっても視線が合っているような印象を与える傾向が強くなり、本実施の形態として示す携帯通信端末を用いることにより、対話を進めるにあたり、視線一致による好適な臨場感が得られることになる。
【０１２４】
以上説明したように、本実施の形態として示す携帯通信端末は、画像表示部の左右両側のそれぞれにカメラを設けることにより、通話相手と視線を合わせながら対話することが可能となり、臨場感のある対話を行うことが可能となる。また、携帯通信端末においては、光の利用効率が高まることで、低消費電力化が可能となり、屋外の明るい環境でも高いコントラストの映像を見ることができる。さらに、携帯通信端末においては、表示画面の左右両側に撮像デバイスを配する構造を呈することから、小型化を図ることができ、携帯型の機器として極めて有用である。
【０１２５】
つぎに、上述した携帯通信端末をさらに改良したものについて説明する。
【０１２６】
ここで説明する携帯通信端末は、画像表示部の左右両側のそれぞれにカメラを設け、このカメラによって撮像して得られた２つの画像に基づいて、通話相手と視線を合わせるための立体表示を行うものであるが、このカメラによって撮像して得られた２つの画像に基づいて、視差を内挿することにより、通話相手と視線を合わせるための立体表示を最適化し、さらに見やすい画像とすることができるものである。
【０１２７】
すなわち、画像表示部の左右両側に設けられた２つのカメラによって撮像された画像のずれが大きい場合には、視差が大きくなりすぎることから、２重像のまま融像ができなかったり、たとえ融像できたとしても見づらいものであることから使用者の疲労の原因となったりすることが考えられる。これに対して、ここで説明する携帯通信端末は、図２４に示すように、画像表示部の左右両側に設けられた２つのカメラＲＲ，ＲＬによって撮像された２つの画像ＡＲ，ＡＬに基づいて、２つのカメラＲＲ，ＲＬよりも狭い間隔で設けられた仮想的な２つのカメラＶＲ，ＶＬによって恰も撮像されて得られたような視差の小さい新たな画像ＢＲ，ＢＬを生成することで視差を適切な大きさに設定可能とすることにより、極めて見やすく自然な画像の表示を実現するものである。
【０１２８】
一般に、視差は、上式（６）に示したように、相対視差として輻輳角の差で定義されるが、ここでは、簡単のため、画像表示部の左右両側に設けられた２つのカメラによって撮像された２つの画像の対応点のずれ量の画素数として扱うものとする。携帯通信端末においては、２つの画像の対応点を求めるために、相関検出による画像認識の方法を利用することができる。すなわち、携帯通信端末においては、図２５に示すように、画像表示部の左側に設けられたカメラによって撮像された画像Ｌの中から、背景に対する顔の輪郭や目・鼻の位置といった所定の領域の画素群を抽出してこれをテンプレート画像ｇとし、このテンプレート画像ｇに対応する対象画像ｆを、画像表示部の右側に設けられたカメラによって撮像された画像Ｒの中から探索し、両者のずれ量の画素数を求める。例えば、携帯通信端末においては、先に図３に示した画像処理手段としての制御回路２１により、画像Ｌの中から、中心の座標値を（ｉ，ｊ）とする横２ｕ×縦２ｖの領域を抽出してテンプレート画像ｇとすると、画像Ｒの中から、ｐ，ｑを可変として中心の座標値が（ｉ＋ｐ，ｊ＋ｑ）である横２ｕ×縦２ｖの領域を探索し、その相関係数ｃｉｊ　ｐｑが最大となる領域を見つけ出すことにより、テンプレート画像ｇに対応する対象画像ｆを求める。このとき、携帯通信端末においては、撮像対象が主として顔画像であることから、テンプレート画像ｇに対応する対象画像ｆの探索範囲を、当該テンプレート画像ｇの画像Ｌにおける位置に応じて予め限定することができ、効率よく処理を行うことができる。なお、この相関検出は、次式（８）で示される相関値の計算式を利用する。
【０１２９】
【数８】
2004048644.tif 000011
【０１３０】
上式（８）において、ｇ’は、テンプレートの画像’の平均値を示し、ｆ’は、対象画像ｆの平均値を示している。この上式（８）に示す相関係数ｃｉｊ　ｐｑが最大となる（ｐ，ｑ）が、テンプレート画像ｇに対する対象画像ｆのずれ量の画素数を示し、視差に対応することになる。したがって、携帯通信端末においては、このずれ量を調整することにより、画像Ｒ，Ｌのいずれか一方から任意の視差の画像を生成することができることになる。例えば、携帯通信端末においては、視差を示すずれ量の１／２の画素数（ｐ／２，ｑ／２）だけ画像Ｌを移動させた画像を生成すると、図２６に示すように、画像Ｒ，Ｌを撮像した２つのカメラの中央から撮像した画像、すなわち、被写体を正面から見たような画像と同等の画像を生成することができる。
【０１３１】
なお、携帯通信端末においては、画素を移動した元の位置に描画すべき画素が存在しない場合には、当該画素の左右若しくは左右上下等の画素から補間して求めた画素で埋めることにより、欠損を回避することができる。また、携帯通信端末においては、画像Ｒ，Ｌ間の視差が大きい場合には、一方の画像にのみ現れて他方の画像には現れないといういわゆるオクルージョンと称される隠れた部分が存在すると、適切な対応点が見つからない場合がある。しかしながら、このオクルージョンは、人が自然界を見ている状況でも生じており、この程度と同等であれば殆ど違和感を感じさせることはない。
【０１３２】
携帯通信端末においては、このようなテンプレート画像ｇに対応する対象画像ｆのずれ量の画素数を求める処理を、望ましくは画像全体の範囲について行い、求めたずれ量の画素数に基づく所定画素数だけ２つの画像Ｒ，Ｌを移動させた新たな２つの画像を生成する。これにより、携帯通信端末においては、画像Ｒ，Ｌよりも狭い間隔で設けられた仮想的な２つのカメラによって恰も撮像されて得られたような視差の小さい新たな２つの画像を生成することができる。そして、携帯通信端末においては、これら新たに生成された２つの画像を画像表示部に表示することにより、使用者は、このようなカメラ間の距離を小さく抑えて視差が小さくされた２つの画像を見ることになり、極めて見やすい良質な視線を合わせた立体画像が表示されているように感じることができる。
【０１３３】
特に、携帯通信端末においては、２つの画像Ｒ，Ｌから求められる視差を適切な任意の比率に減少させて設定することにより、使用者の左右の目に見える画像のずれを減少させ、より見やすい立体表示を行うことが可能となる。
【０１３４】
また、視差内挿の技術は、視点数の拡大に用いることができる。すなわち、携帯通信端末においては、通常、２つのカメラからは２視点の画像しか生成することができないが、これら２つの画像に基づいて、それぞれ例えば視差が１／２になるように内挿した画像を生成することにより、４視点の画像を生成することができる。また、携帯通信端末においては、視差が所定量にまで減少するように内挿することにより、さらに多視点の画像を生成することができ、得られた複数の画像をレンチキュラーレンズ等を用いて適切に立体表示を行うことにより、視点位置の違いによって急激に画像が変化するいわゆるフリッピング現象を低減させることができ、より良質な立体表示を行うことが可能となる。
【０１３５】
なお、テンプレート画像ｇに対応する対象画像ｆを探索して２つの画像の対応点を求める手法としては、相関検出以外のものでも適用することができる。例えば、２つのカメラの絞り等の影響がなく、各カメラによって撮像された２つの画像の輝度値が殆ど変化しないような条件下では、２つの画像の輝度値の差分値を利用するいわゆるサム・オブ・ディファレンス（Ｓｕｍ　ｏｆ　Ｄｉｆｆｅｒｅｎｃｅ）の手法を用いることができ、また、いわゆる残差２乗和（ＳＳＤ）の手法を用いることもできる。ただし、各カメラによって撮像された２つの画像の輝度値が異なるような条件下では、これら２つの画像の正規化を図る意味で、上述した相関検出による手法が最も精度が高い結果を得ることができるのはいうまでもない。
【０１３６】
また、画像表示部の左右両側のそれぞれに設けられたカメラによって撮像して得られた２つの画像に基づいて、視差を内挿する処理を行う携帯通信端末は、送信側であってもよく、受信側であってもよい。
【０１３７】
以上説明したように、本実施の形態として示す携帯通信端末は、画像表示部の左右両側のそれぞれに設けられたカメラによって撮像して得られた２つの画像に基づいて、視差を内挿することにより、通話相手と視線を合わせるための立体表示を最適化し、さらに見やすく自然な画像とすることができることから、視差が大きくなりすぎて２重像のまま融像ができないという事態を招来することがなく、また、使用者の疲労の原因となる程、融像できた画像が見づらいという事態も招来することがなく、極めて優れた利便を提供することができる。
【０１３８】
なお、このような画像表示部の左右両側のそれぞれに設けられたカメラによって撮像して得られた２つの画像に基づいて、視差を内挿する技術は、携帯通信端末に限らず、画像表示を行う任意の情報処理装置に対して適用することができるものである。
【０１３９】
【発明の効果】
以上詳細に説明したように、本発明によれば、携帯通信端末で通話相手と視線を合わせながら対話することが可能となり、臨場感のある対話が可能となる。また、光の利用効率が高まることで、低消費電力化が可能となり、屋外の明るい環境でも高いコントラストの映像を見ることができる。また、表示画面の両側に撮像デバイスを配する構造から小型化が可能とされ、携帯可能な情報処理装置に極めて有用である。
【０１４０】
また、本発明によれば、撮像手段によって撮像されて得られた２つの画像に基づいて視差を内挿した新たな画像を生成することにより、通話相手と視線を合わせるための立体表示を最適化し、さらに見やすく自然な画像とすることができることから、視差が大きくなりすぎて２重像のまま融像ができないという事態を招来することがなく、また、使用者の疲労の原因となる程、融像できた画像が見づらいという事態も招来することがなく、極めて優れた利便を提供することができる。
【図面の簡単な説明】
【図１】本発明の情報処理装置の一例の模式図である。
【図２】本発明の情報処理装置の一例の原理を説明する模式図である。
【図３】本発明の情報処理装置の一例の概略的な回路構成を示すブロック図である。
【図４】本発明の情報処理装置を用いたシステムの利用状態を示す図である。
【図５】本発明の情報処理装置の画像表示部における光線の射出角度についての説明図（ｘ方向）である。
【図６】本発明の情報処理装置の画像表示部における光線の射出角度についての説明図（ｙ方向）である。
【図７】本発明の情報処理装置の一例の画像表示部におけるカメラの取り付け位置を示す図である。
【図８】本発明の情報処理装置の一例の画像表示部の画素の構成を示す模式図である。
【図９】本発明の情報処理装置の一例の画像表示部の左眼用画素（Ｌ）と右眼用画素（Ｒ）の配列パターン例を示す図である。
【図１０】本発明の情報処理装置の一例の画像表示部の画素付近の構成を示す模式図である。
【図１１】本発明の情報処理装置の一例の画像表示部の断面図であり、発光素子とマイクロレンズの軸のずれがない場合の断面図である。
【図１２】本発明の情報処理装置の一例の画像表示部の断面図であり、発光素子とマイクロレンズの軸のずれがある場合の断面図である。
【図１３】本発明の情報処理装置の一例の発光素子とマイクロレンズによる光線の広がりを示した図であり、（ａ）は、発光素子とマイクロレンズの軸が合致している場合の光線の広がり、（ｂ）は、発光素子とマイクロレンズの軸がずれている場合の光線の広がりをそれぞれシミュレーションした図である。
【図１４】本発明の情報処理装置の一例のマイクロレンズと発光素子の大きさと位置関係についての光学計算結果を示すグラフであり、（ａ）は、発光素子の直径と光線の広がり角度を光学計算した結果を示したグラフであり、（ｂ）は、レンズと光軸方向位置と光線の広がりを計算した結果を示すグラフであり、（ｃ）は、発光素子の面内方向位置と光線の射出角度を計算した結果を示すグラフである。
【図１５】本発明の情報処理装置の一例に用いられるマイクロレンズの例を示す図であり、（ａ）は、正面図であり、（ｂ）は、断面図である。
【図１６】本発明の情報処理装置の一例の機能としての画像処理の概念を説明する概念図であり、画像からテンプレートに最も近いものを見つけ出す画像処理の様子を説明する図である。
【図１７】視差についてのパラメータを表示する図である。
【図１８】本発明の情報処理装置の他の一例の画像表示部を示す図であり、（ａ）は、発光素子とコーン型マイクロレンズの付近の断面図であり、（ｂ）は、コーン型マイクロレンズの斜視図である。
【図１９】マイクロレンズ等を用いた場合の発光と射出角度の関係を説明するためのパラメータを図示する模式図である。
【図２０】マイクロレンズ等を用いた場合の全球面積に対する部分面積比と射出角度φの関係を説明する模式図である。
【図２１】本発明の情報処理装置のさらに他の一例の画像表示部を示す断面図である。
【図２２】視線方向と視線一致させた画像の印象を調べた実験についての様子を示した模式図であり、（ａ）は、立体画像を得た場合の図であり、（ｂ）は、モノラル画像を得た場合の図である。
【図２３】図２２の実験の結果を示すグラフであり、（ａ）は、立体画像を得た場合の図であり、（ｂ）は、モノラル画像を得た場合の図である。
【図２４】本発明の情報処理装置において視差を内挿する概念を説明する概念図であり、画像表示部の左右両側に設けられた２つのカメラによって撮像された２つの画像に基づいて、２つのカメラよりも狭い間隔で設けられた仮想的な２つのカメラによって恰も撮像されて得られたような視差の小さい新たな画像を生成する様子を説明する図である。
【図２５】本発明の情報処理装置の一例の機能としての画像処理の概念を説明する概念図であり、画像表示部の左右両側に設けられた２つのカメラによって撮像された２つの画像の対応点を求める画像処理の様子を説明する図である。
【図２６】視差を示すずれ量の１／２の画素数だけ画像を移動させて生成した画像の一例を模式的に示す図であり、２つの画像を撮像した２つのカメラの中央から撮像した画像と同等の画像が生成される様子を説明する図である。
【図２７】所定角程度の画面の左右の一方にカメラを配して撮像した場合の表示画面を模式的に示す図であり、（ａ）は、左側の場合の図であり、（ｂ）は、右側の場合の図である。
【図２８】所定角程度の画面の上下の一方にカメラを配して撮像した場合の表示画面を模式的に示す図であり、（ａ）は、上側の場合の図であり、（ｂ）は、下側の場合の図である。
【符号の説明】
１０　携帯通信端末
１１　画像表示部
１２　筐体
１３Ｌ　左カメラ
１３Ｒ　右カメラ
１４　マイナーモニター
１７　インジケーター
２１　制御回路
２２　メインモニター
２４Ｌ　左カメラ
２４Ｒ　右カメラ
３５　携帯通信端末
３６　画像表示部
３７Ｌ　左カメラ
３７Ｒ　右カメラ
３８　携帯通信端末
３９　画像表示部
４０Ｌ　左カメラ
４０Ｒ　右カメラ
５１　画素
５２Ｒ，５２Ｇ，５２Ｂ　発光素子
６１　画素
６２　マイクロレンズ
６３Ｒ，６３Ｇ，６３Ｂ　発光素子
６６　成型保持部材
７１，７２　コーン型マイクロレンズ
【図１】
2004048644.tif 000012
【図２】
2004048644.tif 000013
【図３】
2004048644.tif 000014
【図４】
2004048644.tif 000015
【図５】
2004048644.tif 000016
【図６】
2004048644.tif 000017
【図７】
2004048644.tif 000018
【図８】
2004048644.tif 000019
【図９】
2004048644.tif 000020
【図１０】
2004048644.tif 000021
【図１１】
2004048644.tif 000022
【図１２】
2004048644.tif 000023
【図１３】
2004048644.tif 000024
【図１４】
2004048644.tif 000025
【図１５】
2004048644.tif 000026
【図１６】
2004048644.tif 000027
【図１７】
2004048644.tif 000028
【図１８】
2004048644.tif 000029
【図１９】
2004048644.tif 000030
【図２０】
2004048644.tif 000031
【図２１】
2004048644.tif 000032
【図２２】
2004048644.tif 000033
【図２３】
2004048644.tif 000034
【図２４】
2004048644.tif 000035
【図２５】
2004048644.tif 000036
【図２６】
2004048644.tif 000037
【図２７】
2004048644.tif 000038
【図２８】
2004048644.tif 000039