(57)【要約】    【課題】  視線を合わせて通話を行えるテレビ電話を実現できる薄型のカメラ付きディスプレイ装置を提供する。    【解決手段】  表示画素が配列された表示素子と、前記表示素子における前記表示画素の間に形成された複数の開口領域を通して複数の物体像を形成し、該複数の物体像を光電変換する撮像モジュールと、前記撮像モジュールを用いて得られた前記複数の物体像の画像データを合成する画像合成手段と、を有する。【選択図】      図１
2005176151.tif 000002
【特許請求の範囲】
【請求項１】
表示画素が配列された表示素子と、前記表示素子における前記表示画素の間に形成された複数の開口領域を通して複数の物体像を形成し、該複数の物体像を光電変換する撮像モジュールと、前記撮像モジュールを用いて得られた前記複数の物体像の画像データを合成する画像合成手段とを有することを特徴とするカメラ付きディスプレイ装置。
【請求項２】
前記撮像モジュールは、前記開口領域ごとに設けられた複数の撮像用レンズと、該複数の撮像用レンズにより形成された前記複数の物体像を光電変換する光電変換素子とにより構成されていることを特徴とする請求項１に記載のカメラ付きディスプレイ装置。
【請求項３】
前記撮像用レンズは、前記表示素子において前記表示画素が設けられた透明基板上に形成されていることを特徴とする請求項２に記載のカメラ付きディスプレイ装置。
【請求項４】
前記透明基板上に前記表示画素からの光を物体側に射出するための表示レンズが前記表示画素単位で形成されており、前記開口領域に面する前記表示レンズを前記撮像用レンズとして用いていることを特徴とする請求項３に記載のカメラ付きディスプレイ装置。
【請求項５】
前記複数の撮像用レンズの光軸が、物体側の所定距離の位置にて交差することを特徴とする請求項２から４のいずれか１つに記載のカメラ付きディスプレイ装置。
【請求項６】
前記撮像用レンズのサイズが、前記表示画素のサイズ以下であることを特徴とする請求項２から５のいずれか１つに記載のカメラ付きディスプレイ装置。
【請求項７】
前記開口領域が、前記表示素子における表示面の中心から外れた位置に設けられていることを特徴とする請求項１から６のいずれか１つに記載のカメラ付きディスプレイ装置。
【請求項８】
前記表示画素がブラックマトリックス部を有し、前記開口領域に隣接する前記表示画素のブラックマトリックス部が、前記撮像モジュールに対する開口絞りを構成していることを特徴とする請求項１から７のいずれかに記載のカメラ付きディスプレイ装置。
【請求項９】
前記撮像モジュールが、前記表示素子における複数箇所に設けられていることを特徴とする請求項１から８のいずれか１つに記載のカメラ付きディスプレイ装置。
【請求項１０】
前記複数箇所に設けられた前記撮像モジュールの撮像光軸が、物体側の所定距離の位置にて交差することを特徴とする請求項９に記載のカメラ付きディスプレイ装置。
【請求項１１】
前記表示素子が、有機エレクトロルミネセンス素子であることを特徴とする請求項１から１０のいずれか１つに記載のカメラ付きディスプレイ装置。
【請求項１２】
前記表示素子の表示駆動と前記撮像モジュールの撮像駆動とを交互に行う制御手段を有することを特徴とする請求項１から１１のいずれか１つに記載のカメラ付きディスプレイ装置。
【請求項１３】
請求項１から１２のいずれか１つに記載のカメラ付きディスプレイ装置と、該ディスプレイ装置を用いて画像情報を伴う通信を行う通信手段とを有することを特徴とする通信装置。
【請求項１４】
請求項１から１２のいずれか１つに記載のカメラ付きディスプレイ装置と、該ディスプレイ装置を用いて画像データを伴う通信を行う通信装置とを有することを特徴とする通信システム。
【請求項１５】
請求項１０に記載のカメラ付きディスプレイ装置と、該ディスプレイ装置を用いて画像データを伴う通信を行う通信装置とを有し、前記通信装置は、前記複数の撮像モジュールのそれぞれにより得られた画像データを、前記撮像モジュールごとに異なる相手装置に送信することを特徴とする通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ電話、テレビ会議などに利用されるディスプレイ装置に関し、さらに詳しくは、撮像機能を有するディスプレイ装置およびこれを用いた通信装置に関する。
【背景技術】
【０００２】
テレビ電話やテレビ会議などに利用されるディスプレイ装置には、相手側のディスプレイに表示するために自己の映像を撮影するカメラと、相手側で撮影された相手の映像を表示するディスプレイとから構成され、ディスプレイで相手と対面しながら通話できるものがある。
【０００３】
このようなディスプレイ装置では、ディスプレイで相手と対面したときに、ディスプレイに表示される相手の映像と目線が合うように構成されることで、相手と実際に対面しているように通話を行うことができる（例えば、特許文献１，２参照）。
【０００４】
図１２は、従来のテレビ会議用ディスプレイ装置が利用される状況を説明した図であり、図１３は、その光学的な構成を説明した図である。
【０００５】
図１２において、１は平面型ディスプレイであり、不図示のパーソナルコンピューター（以下ＰＣと称す）に接続される。１ｂは画面であり、通信状態では相手側の顔や、会話に使用されるドキュメント類が必要に応じて画面内に分割されて表示される。このような構成は、インターネット等通信回線につながった通常のＰＣ環境で実現される。
【０００６】
また、２はテーブルである。３は自己の映像を相手に送るためのビデオカメラであり、図１３に示すような光学系が内蔵されている。このビデオカメラ３は、顔４と画面１ｂとの間には無く、画面１ｂの下側で人間４が画面１ｂを見る際の視野外に位置している。
【０００７】
また、図１３において、３ａはビデオカメラ３に内蔵された撮像用レンズ（実際には複数のレンズで構成されているが説明を簡略化するために図中１枚のレンズで示している）であり、３ｂはビデオカメラ３に内蔵されている撮像素子である。５は撮像素子３ｂ上の人間４の像である。
【０００８】
このような構成では、人間４の仮想平面を表す線Ａは、レンズ３ａを通して平面Ｃのように投影される。これは、レンズ３ａの光軸と垂直な面Ｂを特定すると、この各軸Ａ、Ｂ、Ｃの延長線が一点で交わるという「シャインプルーフの法則」である。
【０００９】
このような構成より得られるセンサ３ｂ上の画像はあご側の撮影倍率が高く（近い距離であるゆえ）頭頂側の撮影倍率が低い（遠距離）物になり、あまり好ましくない画像となる。
【特許文献１】特開平０８−１９５９４５号公報（段落００１１〜００１２、図１，２等）
【特許文献２】特開平０１−２８６５９２号公報（２ページ右上欄１９行〜３ページ左上欄８行、図２等）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記した従来例には、テレビ受像機などで主流になりつつある平面型のディスプレイ、携帯電話やモバイル、パソコンなどに適した薄型のディスプレイにおいて、デザインを損なわないようにし、かつ、人物の表情が判別できるように解像度を高くするという提案はなかった。
【００１１】
また、第一の課題として、ディスプレイに映る映像を見ている人の目線はディスプレイの略中央部にいっており、この人の目線を撮像するには、同じディスプレイの中央部と同じところに光軸を持つカメラを設定しなければならず、これはともすると表示装置としての性能、品位を損なうことになる。この欠点を補うために、画面のごく近傍にカメラを取り付ける例も考えられるがこれらは逆に目線が捕らえられず、あるいは顔を斜めから見たような画像になってしまう。
【００１２】
第二の課題として、カメラには人の顔を中心にして多少の周辺風景を撮像するような構図で、かつ、物の表情が判別できるような高い解像度を持つような焦点距離が求められているが、このような撮影倍率の光学系を平面ディスプレイの装置の中に組み込むと厚みが増してしまいせっかくの平面ディスプレイのデザインが損なわれる。
【００１３】
第三の課題として、相手の表情を見ている最中にこちらの画像も撮像することが求められており（リアルタイム性）、このような場合、表示用の光が撮像系のゴーストやフレアーになりやすく、画質の劣化が起こることがある。
【００１４】
そこで、本発明は、ディスプレイを見ている人物をほぼ正面から撮像できる薄型のカメラ付きディスプレイ装置を提供することを目的としている。
【課題を解決するための手段】
【００１５】
上記の目的を達成するために、本発明のカメラ付きディスプレイ装置は、表示画素が配列された表示素子と、前記表示素子における前記表示画素の間に形成された複数の開口（アパーチャ）領域を通して複数の物体像を形成し、該複数の物体像を光電変換する撮像モジュールと、撮像モジュールを用いて得られた複数の物体像の画像データを合成する画像合成手段とを有する。
【発明の効果】
【００１６】
本発明によれば、表示画素の間に形成された複数の開口（アパーチャ）領域を通して形成された複数の物体像を光電変換することにより得られた画像データを合成して画像を得るので、ディスプレイを見ている人物（観察者）に目立たないかたちで、しかも該観察者をほぼ正面から撮像することができる。これにより、携帯電話やテレビ電話（会議）システムを快適な状態で行うことが可能となる。
【００１７】
さらに本発明によれば、いわゆる複眼撮像モジュールを構成することになり、１つ１つの開口領域が小さくても全体として広い撮像画角を得ることができる。したがって、短い焦点距離で、すなわち薄い空間に十分入る構造で撮像モジュールを構成することが可能となり、撮像モジュールの内蔵によってディスプレイ装置が厚くなることを防止できる。
さらに、複数の撮像用レンズの光軸が、物体側の所定距離の位置（例えば、観察者の顔の位置）にて交差するようにすることで（かつ、各物体像を撮像する撮像センサ領域の画素を物体の位置で空間的にずらすことで）、当該位置の被写体を高解像度で撮像することができる。
【００１８】
また、ディスプレイの画面中央部から外れた位置に上記開口領域を配置することにより、観察者の注視点から撮像位置をずらすことが可能になり、複数の撮像（画像）データの合成画像を作ることにより、あたかもディスプレイ画面の中心から撮像した画像のように見せることができる。
【００１９】
また、本発明によれば、ディスプレイの表示タイミングと撮像タイミングを交互にずらして連続的に駆動することにより、ディスプレイ側からの光による撮像画像の劣化を防止できる。  
【発明を実施するための最良の形態】
【００２０】
以下、本発明に係る実施例について図１から図１１を参照して説明する。なお、本実施例の構成は本発明を実施する上での例にすぎず、本発明が本実施例の構成に限定されるものではない。以下の説明において、上記した従来例と同様の構成を有する部材には同一の符号を付す。本実施例では、本発明に係るディスプレイ装置の一形態として、携帯電話を例に用いて説明する。
【００２１】
図３は、本実施の形態に係る携帯電話（通信装置）の使用状況の説明図である。  図３に示すように、本実施例の携帯電話は、ディスプレイ部１にカメラ３が内蔵されている。このカメラ３は人物４の目線や顔の方向に向けて配置されている。
【００２２】
図１および図２は、本実施例に係る携帯電話のディスプレイ部１の断面図である。なお、図１は、本発明の実施例１であるディスプレイ部を、図２は、本発明の実施例２であるディスプレイ部の断面図である。
【００２３】
図１および図２に示すように、ディスプレイ部１は、画面を表面側に形成するガラス基板１１と、該ガラス基板１１の背面側に一画素ごとに形成され一画素ごとに異なる色を発光可能な有機ＥＬ（エレクトロルミネセンス）素子１４と、ガラス基板の背面側を封止する封止缶１６と、を有する。
【００２４】
ガラス基板１１には、反射防止膜や低温ポリシリコンによるＴＦＴ（薄膜トランジスタ）による回路が形成される等の下処理がなされている。また、該ガラス基板１１には、アクリルなどの樹脂でできているレプリカレンズ１２，１３が一体的に形成されている。
【００２５】
ここで、図１は、ガラス基板１１における後述する有機ＥＬ素子１４（表示画素）が形成された面にレプリカレンズ１２を形成した例を、図２は、ガラス基板１１における有機ＥＬ素子１４が形成された面とは反対側（外側）の面にレプリカレンズ１２，１３を形成した例を示す。
【００２６】
レプリカレンズ１２は撮像用レンズであり、後述のセンサ基板１５に形成されているセンサ部に被写界（図中下側）の像を結像するように構成される。また、レプリカレンズ１３は、後述の有機ＥＬ素子１４の発光光束を集光するための集光用レンズである。
【００２７】
また、有機ＥＬ素子１４は、ガラス基板１１に形成される低温ポリシリコンの透明な回路によって一画素ごとに駆動され、一画素ごとに異なる色が点灯又は消灯されるものである。各有機ＥＬ素子１４の駆動を制御することでディスプレイ全体として一つの画像が表示される。さらに、有機ＥＬ素子は点灯、消灯のスピードが従来の液晶などに比べて３桁以上速く、本実施の形態に特に好適なものである。
【００２８】
該有機ＥＬ素子１４は、反射板とコモン電極として使用されるアルミ反射板１４ａと、ブルー、グリーン、レッド各色の発光をする有機材料でできたＥＬ層１４Ｂ、１４Ｇ、１４Ｒと、ブラックマトリックスとして各画素のコントラストをあげたり、漏洩光を防止したりするための酸化クロムなどでできているブラックマトリックス部１４ｃとを有する。
【００２９】
なお、ブラックマトリックス部１４は、撮像用レンズ１２の絞りとしても機能していて（一体に作られていて）、それは図中１４ｄで示されているように、ゴーストの発生を防止するナイフエッジ形状に構成されている。
【００３０】
そして、本実施例では、撮像用レンズ１２は、有機ＥＬ素子１４（すなわち表示画素）の間に形成された複数の開口領域ＡＰごとに配置されている。
【００３１】
また、撮像用レンズ１２の焦点がほぼ結ばれる位置にはセンサ基板１５が設けられている。該センサ基板（以下、撮像センサという）１５は、不図示の固定構造により不図示の回路部と後述の封止缶１６に接合され、センサ面１５ａと駆動回路が一体的に形成されている。そして、該撮像センサ１５のセンサ面１５ａに撮像用レンズ１２の焦点位置がほぼ結ぶように構成される。
【００３２】
また、センサ面１５ａに形成された複数のセンサ領域の画像処理上の画像中心とレプリカレンズ１２の中心とを結ぶ、いわゆる光軸Ｌが、この画面を観察する人間４（図３参照）がいると思われる位置（図中、センサ面１５ａから距離Ｄ離れた位置）でほぼ交差するように構成されている。
【００３３】
また、前記封止缶１６は、封止用の金属で構成され、耐湿性の高い接着剤１８によってガラス基板１１に固着される。そして、封止缶１６の一部には乾燥剤１７が固着される。これは、有機ＥＬ素子１４が空気中の水分に反応してダークスポットと呼ばれる非発光部が生じないように、空気中の水分を除去するものである。また、このような構成によれば、従来の液晶ディスプレイ装置よりもさらに薄いフラットディスプレイ装置を提供することができる。
【００３４】
図４から図６は、本実施例のディスプレイ装置に用いられる撮像モジュールを説明するための図である。
【００３５】
該撮像モジュールの光学系にはいわゆる複眼光学系が用いられ、図５に示すように、４つの撮像レンズ１２により形成された物体像を互いに独立した４つの撮像センサ１５上に結像させ、得られた４つの画像データから一つの画像を合成することで、高画質な像データを作成する。
【００３６】
図６は、光学系と撮像センサの断面図であり、（ａ）は本実施例に係る複眼光学系の構造であり、図６（ｂ）は従来の光学系の構造である。
【００３７】
図６（ａ）において、１２は撮像用のレプリカレンズであり、１５はセンサである。上記した図１及び図２と同様の構成である。
【００３８】
図６（ｂ）には、本実施例の光学系と同じ性能を出すための従来の光学系が示されており、２１はレンズ群、２２は撮像センサである。該撮像センサ２２は、カラーフィルタがベイヤー配列（市松状に配列されている）されたものである。
【００３９】
図６（ｂ）に示す従来の光学系では、レンズ群２１を見てわかるように、可視光の３原色である青、緑、赤（以下Ｂ、Ｇ、Ｒと呼ぶ）の各波長の光を同じセンサ面に結像するために色消しと呼ばれる手法が用いられる。すなわち、単レンズでは波長の異なる光を同じ平面に結像できないため、３種の屈折と分散（波長による屈折の違い）が異なるレンズを使ってこれらの３原色を同一平面状に結像させる。このために図で示すようにレンズユニットの厚みが必要となる。このレンズユニットの色消し構造を通称アポクロマートと呼ぶ。
【００４０】
また、通常の撮像系に用いられる撮像センサ２２の大きさは、例えばＶＧＡ（６４０×４８０＝約３０万画素）の場合、１画素のサイズが４μ角であると仮定すると２．５６×１．９２ｍｍとなる。
【００４１】
一方で、本実施例のように、色ごとに光学系を異ならせた複眼光学系を使うと１．２８×０．９６ｍｍの撮像センサ１５を４つ使うことになる。但し、１つの撮像センサ１５の受光範囲を複数に分割して各撮像用レンズ１２により形成される物体像に割り当てるようにしてもよい。
【００４２】
このように、画面サイズが異なる場合それに使用する光学系は、例えば銀塩カメラの標準的な画角θであるｆ＝３８ｍｍレンズに相当するレンズが、通常の光学系における２．５６×１．９２ｍｍのセンサだとｆ＝２．６ｍｍのレンズユニット２１となる。一方で、本実施例の光学系における１．２８×０．９６ｍｍのセンサであると、その半分のｆ＝１．３ｍｍの撮像用レンズ１２を用いればよい。すなわち、本実施例では、通常の光学系に比較して、レンズおよび撮像センサを含めた撮像光学系の厚みを約半分とすることができる。
【００４３】
また、焦点距離が半分になるとＤ＝ｆ／Ｆｎｏ．なる原理式により同じ明るさのレンズの直径も略半分となり表示機の各表示画素の間にこの撮像用レンズを埋め込んでも目立たなくなる。（４つのレンズの面積を加えるとほぼ従来タイプのレンズの開口の大きさと等しくなる。）また、レンズが観察者の注視点部である画面の中心から外れることで観察画像の劣化が目立たなくなり、本発明の目的である通話者同士の視線を合わせる（ディスプレイを見ている観察者をほぼ正面から撮像する）ということに好適な構成とすることができる。
【００４４】
図５は、本実施例の撮像モジュールの構造を示す斜視図である。  図５において、１２は前述の撮像用レンズであり、上記したガラス基板１１にレプリカ成形されている。該撮像用レンズ１２は、画面の中央部の４箇所に配置される。２３はカラーフィルタであり、各レンズに入った白色光のうち各撮像センサ１５に必要な波長（色）のみをそれぞれの撮像センサ１５に入射させるものである。２４はガラス基板１１に印刷された絞りである。
【００４５】
図４は、撮影画像の処理方法の説明図であり、（ａ）は４つのレンズで撮影された４つの像を示す図、（ｂ）は（ａ）の４つの像を電気的に重ねあわせた像を示す図、（ｃ）は詳細図である。
【００４６】
本実施例では、４つの撮像用レンズ１２から入射した光により形成される物体像を電気信号に変換して読み出すときに、例えば図４（ａ）の第二象限部にあるセンサの一番右上の画像の次に、第一象限部の一番右上の画像、第三象限部の一番右上の画像、第四象限部の一番右上の画像、次に第二象限部の右から二番目の画像・・・のように交互に読み出す回路によって、図４（ｂ）のような通常のベイヤー配列と同等の映像信号を作り出している。
【００４７】
図７は、本実施の形態のディスプレイにおける撮像用レンズ１２の配置の一例を示す正面図である。
【００４８】
図７において、１２は撮像用レンズであり、１３はディスプレイ光の集光（表示）用レンズである。なお、本図では、集光用レンズ１３を画面中心部にしか描いていないが、実際は画面全体に配置されている。
【００４９】
撮像用レンズ１２は、集光用レンズ１３に対し、図中四角で示す画面の中央部に略均等にばら撒かれて配置されており、サイズが小さいこととあいまって、ディスプレイ画面を見る者にとって気にならない構成である。
【００５０】
図８は、本実施例のディスプレイにおける撮像用レンズ１２の配置の他の例を示すもので、図８（ａ）はディスプレイの正面図であり、（ｂ）はディスプレイの使用状況を示す側面図である。
【００５１】
図８（ａ）において、４つで１組の撮像用レンズ１２（すなわち、４つの撮像モジュール）は、図中に四角で示すディスプレイ画面の中央部と、画面を四分割した領域の各中央部（四隅部）との合計５箇所に配置される。また、集光用レンズ１３は、画面全体に敷き詰められているが図８（ａ）では省略して中心部のみ描かれている。
【００５２】
そして、図８（ｂ）に示すように、四隅の撮像モジュールの撮像光軸（図中一点鎖線で示す）Ｌは、画面から距離Ｄ（すなわち画面と人物との距離、例えば３０から５０ｃｍ）ほど離れた人物の方向を向くように設定される。
【００５３】
このような構成は、複数の場所、または複数の人物と通話をするときに、４つに分割した画面（分割される画面の領域は４つに限定されない）それぞれに異なる場所や人物が表示されるような場合を想定したものである。
【００５４】
例えば、画面中央部に共通のドキュメント資料などを配置し、相手の映像は画面全体の１／４位の位置に表示するようなテレビ会議の設定や、パソコンなど据え置き型のテレビ電話システムに適する。
【００５５】
また、自分の顔を四隅の画面の通信している人物に向けるだけで、現在どの場所、人物と話しているかをパソコンが自動的に判別してそのカメラからの撮像画像を相手先などに選択的に送ることも可能である。
【００５６】
図１１は、本実施例に係る携帯電話の制御回路図である。図１１において、３１は送受信のデジタル信号を高速で変換するＤＳＰIであり、マイコン３２へ受信信号を変換して伝達すると同時に、マイコン３２からの送信信号を逆にデジタルの送信信号に変換する。ＤＳＰIには画像や音声の圧縮機能や解凍機能が内蔵される。
【００５７】
３３はＤＳＰIIであり、マイコン３２で分離された送受信の画像信号のみを高速にディスプレイ装置を駆動するのに適した信号に変換、あるいは後述のディスプレイ４０にある不図示の撮像モジュールのエリアセンサ（シリコンセンサ１５ａ）からのデジタル信号をマイコンに変換、伝達する。
【００５８】
３４、３５はそれぞれ発信ユニット、受信ユニットであり、３６、３７はそれぞれマイクユニット、スピーカーユニットである。
【００５９】
３８はカメラコントローラーとしてカメラ部をコントロールするものであり、３９はディスプレイコントローラー有機ＥＬ表示部をコントロールするものである。
【００６０】
このディスプレイ４０のカメラ（撮像モジュール）部及び及び表示部は、図１０に示すように、マイコン３２によって時系列にコントロールされている。
【００６１】
図１０において、受信ユニット３５から得られた受信信号は、ＤＳＰI３１及びマイコン３２によって高速に変換され、ＤＳＰII３３及びディスプレイコントローラー３９を介して、ディスプレイ４０の有機ＥＬ素子を駆動する。このときに信号を変換するタイミング（受信信号変換タイミング）が図１０のＡで示され、有機ＥＬ素子を駆動するタイミング（受信画像表示タイミング）が図１０のＢに示される。
【００６２】
また、図１０に示すＣはカメラの撮像が行われているタイミング（送信画像撮像タイミング）を示している。図１０に示すＤはカメラで撮像した画像をＤＳＰII３３で画像信号に変換し、この画像信号をマイコン３２及びＤＳＰI３１によって送信信号にリアルタイムで変換し発信ユニット３４によって送信するタイミング（送信信号変換タイミング）を示している。
【００６３】
このような構成によれば、有機ＥＬの発光タイミングＢが、送信画像撮影タイミングＣと完全にずれているため、有機ＥＬ素子からの発光が、内蔵されている撮像モジュールによる撮像に悪影響を与えないように駆動される。
【００６４】
有機ＥＬ素子は、このような発光、消灯の応答性が必要な使用方法に非常に適したものである。
【００６５】
また、図１０中“Ｓ”で示すインターバルは、画像のちらつきが人間にわからないように３０分の１秒とすることが理想的である。なお、送受信のデータ量、及び、データの変換のスピードを考慮して、１０から１５分の１秒くらいとしてもよい。
【００６６】
図９は、本実施例における通信システムのフローチャートを示す図である。各ステップに符号を付して説明する。
【００６７】
図９において、Ｓ１０１では、携帯電話への着信が開始する。Ｓ１０２では、ユーザーによってフックアップボタンが押される。
【００６８】
Ｓ１０３では、信号が受信されたか否かを確認する。信号が受信されるとＳ１０４に進み、信号が受信されないとＳ１０９に進む。
【００６９】
Ｓ１０４では、マイコン３２によって受信信号に基づいて画像を表示するタイミングか否かが確認される。すなわち、カウンターによるカウントが０の場合、画像を表示するタイミングと判断してＳ１０５に進む。
【００７０】
Ｓ１０５からＳ１０７では、受信信号がＤＳＰI３１、ＤＳＰII３３、及びマイコン３２などを介して変換され、ディスプレイ４０に映像表示され、スピーカー３７に音声出力される。
【００７１】
その後、Ｓ１０８では、前述のカウンターを１に変更後、再度Ｓ１０４に戻る。
【００７２】
一方、Ｓ１０４でカウントが１の場合、撮像を行うタイミングと判断してＳ１０９に進む。
【００７３】
Ｓ１０９では、信号が受信されたか否かを確認する。信号が受信されるとＳ１１０に進み、信号が受信されないとＳ１１６（異常モードと判断される）に進む。
【００７４】
Ｓ１１０では、カウントが１か否か、すなわち撮像及び集音の動作を実行してよいか否かの確認される。カウントが１であるとＳ１１１に進み、カウントが０であるとＳ１１６に進む。
【００７５】
Ｓ１１１からＳ１１４では、撮像、集音、ＤＳＰII３３及びマイコン３２を使った信号変換が行われたのち、ＤＳＰI３１及び発信ユニット３４を使ってデジタル信号が送信される。
【００７６】
その後、Ｓ１０５では、前述のカウンターが０にリセットされ、再度Ｓ１０４に戻る。
【００７７】
このときの間隔が前述の図１０で示したＳである。
【００７８】
このようなマイコン３２などの動作によって、ディスプレイ画面の表示と撮像モジュールによる撮像とがあたかも同時に行われているように、ユーザーに感じさせることができる。
【図面の簡単な説明】
【００７９】
【図１】本発明の実施例１であるカメラ付きディスプレイ装置の断面図である。
【図２】本発明の実施例２であるカメラ付きディスプレイ装置の断面図である。
【図３】上記実施例に係る携帯電話の使用状況の説明図である。
【図４】上記実施例に係る携帯電話における撮影画像の処理方法の説明図であり、（ａ）は４つのレンズで撮影された４つの像を示す図、（ｂ）は（ａ）の４つの像を電気的に重ねあわせた像を示す図、（ｃ）は詳細図である。
【図５】上記実施例の撮像モジュールの構造を示す斜視図である。
【図６】撮像モジュールを模式的に示した断面図であり、（ａ）は上記実施例の複眼光学系の構造であり、（ｂ）は従来の光学系の構造である。
【図７】本実施の形態に係る携帯電話におけるディスプレイ部のセンサユニットの配置の一例を示す図である。
【図８】上記実施例のカメラ付きディスプレイ装置を用いたテレビ会議又はテレビ電話システムの構成を示す図であり、（ａ）はディスプレイ部の正面図、（ｂ）はディスプレイ部の使用状況を示す側面図である。
【図９】上記実施例の携帯電話における通信システムのフローチャートを示す図である。
【図１０】上記実施例の携帯電話を用いた通信システムを時系列によって説明するための図である。
【図１１】上記実施例の携帯電話における制御回路図である。
【図１２】従来例のテレビ会議用ディスプレイ装置の使用状況を説明するための図である。
【図１３】従来例のテレビ会議用ディスプレイ装置の光学的な構成を説明するための図である。
【符号の説明】
【００８０】
１  ディスプレイ装置
１ｂ    画面
３    カメラ
４    人間
１１    ガラス基板
１２    撮像用レンズ
１３    集光用レンズ
１４    有機ＥＬ素子
１４ａ    アルミ反射板
１４ｃ    ブラックマトリックス部
１４ｄ    ナイフエッジ形状
１４Ｒ、Ｂ、Ｇ    ＥＬ層
１５    シリコンセンサ基板
１５ａ    センサ面
１６    封止缶
１７    乾燥剤
１８    接着剤
２１    レンズ群
２２    センサ
２３    カラーフィルタ
２４    絞り
【図１】
2005176151.tif 000003
【図２】
2005176151.tif 000004
【図３】
2005176151.tif 000005
【図４】
2005176151.tif 000006
【図５】
2005176151.tif 000007
【図６】
2005176151.tif 000008
【図７】
2005176151.tif 000009
【図８】
2005176151.tif 000010
【図９】
2005176151.tif 000011
【図１０】
2005176151.tif 000012
【図１１】
2005176151.tif 000013
【図１２】
2005176151.tif 000014
【図１３】
2005176151.tif 000015