(57)【要約】【課題】ＰＣやモバイル端末等をＴＶ電話やＴＶ会議システム等で用いる場合に、使用者の適正に正視した画像を相手装置に伝送したり、広画角の撮影、奥行き感の演出などの処理を可能とする。【解決手段】ノートＰＣ１００には、画像表示部１３０の表示画面１３２を挟んだ対称位置に一対のカメラモジュール１４０Ａ、１４０Ｂまたは１５０Ａ、１５０Ｂが設けられている。そして、各カメラモジュール１４０Ａ、１４０Ｂまたは１５０Ａ、１５０Ｂによって画像表示部１３０の手前に位置する被写体（使用者）のステレオ撮影を行うことにより、２つの画像データから信号処理を行い、仮想的に画像表示部１３０の中心にカメラモジュールを配置して撮像した場合と同様の画像を生成する。これにより、被写体（使用者）が画像表示部１３０に正体し、目線の位置を合わせた画像を得ることができる。【選択図】        図１
2004159061.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示画面を有する画像表示部と、
前記画像表示部に設けられ、前記表示画面の前方に位置する被写体を撮像する撮像部とを有し、
前記撮像部は、前記表示画面の外側部に分散配置された複数の撮像手段と、前記複数の撮像手段によって得られた撮像データから前記被写体の画像を修正する画像処理回路とを有する、
ことを特徴とする撮像機能付き画像表示装置。
【請求項２】
前記画像処理回路は、前記複数の撮像手段によって得られた撮像データから前記被写体の二次元画像情報と奥行き情報を算出することを特徴とする請求項１記載の撮像機能付き画像表示装置。
【請求項３】
前記複数の撮像手段が表示画面の少なくとも上下両側に配置されていることを特徴とする請求項１記載の撮像機能付き画像表示装置。
【請求項４】
前記複数の撮像手段が表示画面の少なくとも左右両側に配置されていることを特徴とする請求項１記載の撮像機能付き画像表示装置。
【請求項５】
前記複数の撮像手段が表示画面を中心とする対称位置に配置されていることを特徴とする請求項１記載の撮像機能付き画像表示装置。
【請求項６】
設置型の装置本体を有し、前記装置本体に画像表示部を開閉可能に設けたノートパソコン装置であることを特徴とする請求項１記載の撮像機能付き画像表示装置。
【請求項７】
設置型の装置本体を有し、前記装置本体上に画像表示部を設けたデスクトップパソコン装置であることを特徴とする請求項１記載の撮像機能付き画像表示装置。
【請求項８】
携帯可能な装置本体を有し、前記装置本体の一主要面に画像表示部を設けたモバイル装置であることを特徴とする請求項１記載の撮像機能付き画像表示装置。
【請求項９】
前記複数の撮像手段が固体撮像素子を用いたカメラモジュールであることを特徴とする請求項１記載の撮像機能付き画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、各種パソコン（ＰＣ）やモバイル端末等のような画像表示部と撮像部とを具備した撮像機能付き画像表示装置に関する。
【０００２】
【従来の技術】
近年、ブロードバンド化が進み、ネットワークを利用したＴＶ電話や、ＩＳＤＮを利用したＴＶ電話などが急速に浸透している。
例えばノートＰＣにＵＳＢインタフェースを有するカメラを接続し、ＡＤＳＬなどのブロードバンドを利用してＴＶ電話を行うなどの利用がされているが、殆どの場合、カメラモジュールは表示画面の周辺に１つ設けられ、表示画面の手前に存在する使用者の画像を撮影し、その画像を通信相手に送るような構成となっている。
【０００３】
図４（Ａ）（Ｂ）は、従来のノートＰＣにおけるカメラモジュールの設置例を示す概略説明図である。
図４（Ａ）に示す例は、カメラモジュール１０がノートＰＣ１２におけるＬＣＤディスプレイ１４の上縁部１４Ａに設置されている場合を示している。
また、図４（Ｂ）に示す例は、カメラモジュール１０を支持アーム１６によって支持することにより、使用者の目線の位置に配置したものである。
【０００４】
なお、使用者の頭部に装着する形態の装置として、カメラの視野と表示画像とを使用者の眼前に配置する構成のものが提案されている（例えば、特許文献１参照）。
【０００５】
【特許文献１】
特開２０００−１８４２４５（図１）
【０００６】
【発明が解決しようとする課題】
しかしながら、上記図４（Ａ）に示す従来例では、カメラに映る使用者の目線がノートＰＣ１２のディスプレイ１４を見ているために、カメラモジュール１０で写した使用者の顔の目線は下方を向いていることになる。なお、図４における直線αは、モニタに映る目線の高さを示している。
したがって、この状態でＴＶ電話を双方向で行うと、お互いに目線が下向きになった相手の画像を見ながら話すということになる。
また、別の例として、図示は省略するが、カメラモジュールがノートＰＣにおけるディスプレイの下縁部（例えばノートＰＣのヒンジ部など）に設けられている場合には、上記の例とは逆になり、目線が上を向いた画像を送信することになる。
何れの場合でも、相手と目線を合わせての会話はできないことになる。
【０００７】
また、図４（Ｂ）に示す従来例では、相手と目線を合わせての会話が可能になるものの、新たな問題点として、ディスプレイ１４の画面上にカメラモジュール１０と支持アーム１６が配置されるために、ディスプレイ１４の影となってしまい、使用者にとって邪魔なものとなる。
【０００８】
また、上記特許文献１に開示されるものでは、プリズムやミラー等の光学系によってカメラの視野と表示画像とを使用者の眼前に配置するものであるが、このような構成は、ノートＰＣ等の設置型の装置や、頭部から離して携帯するモバイル装置では適用しづらいことは明らかである。
【０００９】
そこで本発明の目的は、ＰＣやモバイル端末等をＴＶ電話やＴＶ会議システム等で用いる場合に、使用者の適正に正視した画像を相手装置に伝送することが可能な撮像機能付き画像表示装置を提供することにある。
また本発明の他の目的は、広画角の撮影、奥行き感の演出などの処理が可能な撮像機能付き画像表示装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は前記目的を達成するため、画像を表示する表示画面を有する画像表示部と、前記画像表示部に設けられ、前記表示画面の前方に位置する被写体を撮像する撮像部とを有し、前記撮像部は、前記表示画面の外側部に分散配置された複数の撮像手段と、前記複数の撮像手段によって得られた撮像データから前記被写体の画像を修正する画像処理回路とを有することを特徴とする。
【００１１】
本発明の撮像機能付き画像表示装置では、複数の撮像手段を画像表示部の表示画面の外側部に分散して配置し、各撮像手段によって得られた複数の撮像データから被写体の画像を修正して例えば三次元画像を得ることにより、表示画面に正体した被写体の画像を生成し、これを相手装置に伝送することができる。
したがって、ＰＣやモバイル端末等をＴＶ電話やＴＶ会議システム等で用いる場合に、表示画面上に邪魔な部材を配置することなく、使用者の適正に正視した画像を相手装置に伝送することが可能となり、よりリアルな会話を実現することができる。
また、複数の撮像データによって広画角の撮影や奥行き感の演出などの処理を行うことも可能となり、必要に応じた画像を提供することが可能となる。
【００１２】
【発明の実施の形態】
以下、本発明による撮像機能付き画像表示装置の実施の形態例について説明する。
本実施の形態例は、固体撮像素子を用いた撮像手段を複数用いて画像表示部の手前の使用者等の被写体の撮影を行い、複数の撮像データから三次元画像を得るようにした撮像機能付き画像表示装置を提供するものであり、特にブロードバンドネットワーク等を用いたＴＶ電話、ネット会議システムなどで、通信相手と目線が合った状態で会話をすることを可能とし、さらに、ソフトウエアにより、複数の撮像手段からの画像を合成し、高画角の画像を再生したり、あるいは、奥行き感を演出するなどの処理を可能とするものである。
【００１３】
図１（Ａ）（Ｂ）は、本実施の形態例のノートＰＣにおけるカメラモジュール（撮像手段）の設置例を示す概略説明図である。
図１（Ａ）に示すノートＰＣ１００は、ＰＣ本体１１０の後部にヒンジ部１２０を介して開閉可能に取り付けられた画像表示部１３０を有し、この画像表示部１３０の表示画面１３２の左右両外側部に２つのカメラモジュール１４０Ａ、１４０Ｂを設けたものである。
また、図１（Ｂ）に示すノートＰＣ１００は、画像表示部１３０の表示画面１３２の上下両外側部に２つのカメラモジュール１５０Ａ、１５０Ｂを設けたものである。
【００１４】
このように本例のノートＰＣ１００では、画像表示部１３０の表示画面１３２を挟んだ対称位置に一対のカメラモジュール１４０Ａ、１４０Ｂまたは１５０Ａ、１５０Ｂを設け、各カメラモジュール１４０Ａ、１４０Ｂまたは１５０Ａ、１５０Ｂによって画像表示部１３０の手前に位置する被写体（使用者）のステレオ撮影を行うことにより、２つの画像データから信号処理を行い、仮想的に画像表示部１３０の中心にカメラモジュールを配置して撮像した場合と同様の画像を生成し、被写体（使用者）が画像表示部１３０に正体し、目線の位置を合わせた画像を得るものである。なお、図１における直線αは、モニタに映る目線の高さを示している。
また、本例のカメラモジュール１４０Ａ、１４０Ｂまたは１５０Ａ、１５０Ｂには、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ等の固体撮像素子を用いたものである。
【００１５】
図２（Ａ）は、本実施の形態例による画像処理回路の第１の構成例を示す概略ブロック図である。
本例は、図１（Ａ）に示す表示画面の左右に撮像手段を設けた例であり、各撮像手段をそれぞれカメラモジュールで構成した場合の例である。
左側のカメラモジュール（Ｃａｍｅｒａ（Ｌ）  ）２１０及び右側のカメラモジュール（Ｃａｍｅｒａ（Ｒ）  ）２２０は、それぞれイメージセンサ及びカメラＤＳＰ（デジタルシグナルプロセッサ）等を含む信号処理回路を有し、輝度（Ｙ）及び赤と青の色差（Ｕ、Ｖ）で構成されるＹＵＶ＝４：２：２のフォーマットによるデジタル画像信号を出力するものである。
【００１６】
ＦＰＧＡ（フィールドプログラマブルゲートアレイ）２３０は、各種機能を設定することができるＩＣ回路であり、各カメラモジュール２１０、２２０からの画像データを入力し、本例の画像生成に必要な信号処理を行った後、再びＹＵＶフォーマットのデジタル画像信号として出力する。
ＮＴＳＣエンコーダ２４０は、ＦＰＧＡ２３０によって生成されたＹＵＶフォーマットのデジタル画像信号を入力し、表示用の画像データに変換するものである。
モニタ２５０は、ＮＴＳＣエンコーダ２４０によって変換された画像データを出力する表示装置であり、画像表示部１３０で構成される。
【００１７】
以上のような画像処理回路において、ＦＰＧＡ２３０では、２つのカメラモジュール２１０、２２０からのデジタル画像信号から、被写体の二次元画像情報と奥行き情報を算出する。
ここで、カメラモジュール２１０、２２０から被写体までの距離Ｄは、両方の画像の特徴部分を検出することにより、各画像中に含まれる同一物を検出し、各カメラモジュール２１０、２２０の各撮像面における位置のずれから三角測量の原理で距離計測を行う。すなわち、検出する部位が表示装置の近傍にあるほど、各撮像面における位置のずれ量が大きくなり、表示装置から遠ざかるほど、各撮像面における位置のずれ量が小さくなるので、この関係を用いて画像の各部位の奥行きを測定する。
そして、このような奥行き情報によって被写体の表面形状を取得し、画像処理を行うことで、左右のカメラモジュール２１０、２２０の中心に仮想的に存在するカメラモジュールによる撮影画像を得ることができる。
【００１８】
また、図２（Ａ）に示す例では、２つのカメラモジュール２１０、２２０で個別に画像信号を信号処理し、ＹＵＶフォーマットのデジタル画像信号として出力するようにしたが、図２（Ｂ）に第２の構成例として示すように、２つの撮像手段をアナログイメージセンサ（Ｓｅｎｓｅｒ（Ｌ）  、Ｓｅｎｓｅｒ（Ｒ）  ）２６０、２７０を用いて構成し、各アナログイメージセンサ２６０、２７０のアナログ画像信号（Ａｎａｌｏｇ）をＦＰＧＡ２３０に入力し、このＦＰＧＡ２３０内に設けたカメラＤＳＰによってＤ／Ａ変換やその他の信号処理を行い、ＹＵＶフォーマットのデジタル画像信号に変換するようにしてもよい。なお、その後の処理については、図２（Ａ）で説明した例と同様である。
【００１９】
なお、画像処理回路における具体的な演算方法については、ハードウエアまたはソフトウエア、あるいは両者の組み合わせによって多様なものが想定されるが、本実施の形態例で特徴となる部分は、２つの撮像手段で撮影した２つの画像信号を用いて、画像処理回路からの出力画像を、あたかも表示画面の中心位置から撮像した画像のように修正する点と、被写体の奥行きを算出して背景の除去等を行えるようにした点であり、これらを実現可能な処理方法であれば、種々のものを用いることができるものとする。
また、図２に示す例は、図１（Ａ）に示す表示画面の左右に撮像手段を設けた例で説明したが、同様に図１（Ｂ）に示す表示画面の上下に撮像手段を設けた例についても同様に適用できることはもちろんである。
【００２０】
また、本実施の形態例による応用例として、２つの撮像手段によって撮像した画像を重ね合わせることにより、広画角の画像を取得することができる。
例えば、左右のカメラモジュールの撮像面の向きを左右方向に斜め外向きに傾けた場合には以下のような広画角の画像を取得することができる。
例えば１つのカメラモジュールの水平画角が５５°であった場合、画像を重ねる部分が水平方向に１０°とした場合は、５５＋５５−１０＝１００°となり、画角１００°の超ワイド画像を再生することが可能となる。
このような構成により、例えば、多人数でのＴＶ会議を行う場合などに、近距離から会議室全体の参加者を写すことができ、極めて有用なシステムを構成できる。
【００２１】
また、本実施の形態例によるさらに応用例として、以下のようなソフトウエアによる画像加工を行うことも可能である。
まず、上述したように左右（または上下）の撮像手段で通常の画像と同時に距離情報を取得することが可能であることから、遠くの背景をぼかして遠近感を強調するような処理を行うことが可能である。
また、ある距離に存在するものに対して画像処理を行うような用途、例えば、近くのものは赤で表示し、遠くのものは青で表すというような用途に用いることが可能である。
また、ある距離より遠い物体は映らないようにすることが可能である。例えば、ＴＶ電話で背景を切り取りたいときなどに使うことができる。
このように、本実施の形態例では、二次元画像情報とともに被写体の距離（奥行き）情報を得ることができるため、各種の画像処理が可能となる。
【００２２】
また、図３は、本実施の形態例による撮像機能付き画像表示装置を各種の機器へ適用した場合の具体例を示す概略説明図である。
図３（Ａ）は、デスクトップＰＣ３００のディスプレイ３１０の左右両側にカメラモジュール３２０Ａ、３２０Ｂを設置した例である。もちろん、ディスプレイ３１０の上下両側にカメラモジュールを設置することも可能である。
また、図３（Ｂ）は、家庭用ＴＶセット３３０の画面３４０の左右両側にカメラモジュール３５０Ａ、３５０Ｂを設置した例である。もちろん、画面３４０の上下両側にカメラモジュールを設置することも可能である。
また、図３（Ｃ）は、携帯電話３６０の表示デバイス３７０の上下両側にカメラモジュール３８０Ａ、３８０Ｂを設置した例である。もちろん、表示デバイス３７０の左右両側にカメラモジュールを設置することも可能であるが、できるだけ、カメラモジュール間の間隔を大きくとれる配置が好ましい。また、携帯電話以外の各種モバイル端末にも同様に利用可能である。
【００２３】
また、これらの例で、カメラモジュールの代わりにイメージセンサを設けたものであってもよい。
また、カメラモジュールやイメージセンサ等の撮像手段を設ける位置としては、表示画面の上下や左右に限らず、また、３つ以上の撮像手段を設けた構成であってもよい。
【００２４】
【発明の効果】
以上説明したように本発明の撮像機能付き画像表示装置では、複数の撮像手段を画像表示部の表示画面の外側部に分散して配置し、各撮像手段によって得られた複数の撮像データから被写体の画像を修正することにより、表示画面に正体した被写体の画像を生成し、これを相手装置に伝送することができる。
したがって、ＰＣやモバイル端末等をＴＶ電話やＴＶ会議システム等で用いる場合に、表示画面上に邪魔な部材を配置することなく、使用者の適正に正視した画像を相手装置に伝送することが可能となり、目線を合わせた会話が可能となるので、よりリアルな会話を実現することができる。
また、複数の撮像データによって広画角の撮影や奥行き感の演出などの処理を行うことも可能となり、必要に応じた画像を提供することが可能となるので、例えばソフトウエア処理によって各種の画像加工を行い、エンターテインメント、セキュリテイ用途などの各種用途に適用可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態例による撮像機能付き画像表示装置を適用したノートＰＣにおけるカメラモジュールの設置例を示す概略説明図である。
【図２】図１に示す撮像機能付き画像表示装置における画像処理回路の構成例を示す概略ブロック図である。
【図３】図１に示す撮像機能付き画像表示装置を各種の機器へ適用した場合の具体例を示す概略説明図である。
【図４】従来のノートＰＣにおけるカメラモジュールの設置例を示す概略説明図である。
【符号の説明】
１００……ノートＰＣ、１１０……ＰＣ本体、１２０……ヒンジ部、１３０……画像表示部、１３２……表示画面、１４０Ａ、１４０Ｂ、１５０Ａ、１５０Ｂ……カメラモジュール。
【図１】
2004159061.tif 000003
【図２】
2004159061.tif 000004
【図３】
2004159061.tif 000005
【図４】
2004159061.tif 000006