(57)【要約】【課題】  簡単な構成で高画素化，低コスト化を実現するとともに、大画面化した場合にも容易に視線を一致させることができる撮像装置つき表示システムを提供する。【解決手段】  画像表示ウィンドウ１６２における撮像手段の存在位置をマーク１６４により示す。このマークは、ユーザが撮像や双方向通信を行う際に表示パネル１３０のどこを注視すればよいかをユーザに知らせる役目があり、撮像手段の目視による判別が困難な場合に効果がある【選択図】        図１３（Ａ）
2005130001.tif 000002
【特許請求の範囲】
【請求項１】
表示手段と、前記表示手段に１つ以上の撮像手段を備えた撮像装置付き表示システムにおいて、
前記表示手段は、前記撮像手段の周囲に複数の画像表示用表示画素を有し、
前記撮像手段の撮像動作状態もしくは撮像動作待機状態において、前記表示手段の表示領域内の前記撮像手段が備えられている近傍に前記撮像手段の存在位置を示す印を表示するように制御する制御手段を備え、
表示対象物と前記撮像手段とを同一視線上に視認可能としことを特徴とする撮像装置付き表示システム。
【請求項２】
請求項１に記載の撮像装置付き表示システムにおいて、
前記制御手段は、前記印の表示、非表示を任意に選択可能であることを特徴とする撮像装置付き表示システム。
【請求項３】
請求項１に記載の撮像装置付き表示システムにおいて、
前記制御手段は、前記印を、前記撮像手段の撮像に不必要な光束を遮光するような形状、色で表示することを特徴とする撮像装置付き表示システム。
【請求項４】
請求項１に記載の撮像装置付き表示システムにおいて、
前記表示手段は、複数の撮像手段を備え、
前記制御手段は、各撮像手段の存在位置を示す印を表示することを特徴とする撮像装置付き表示システム。
【請求項５】
請求項４に記載の撮像装置付き表示システムにおいて、
前記制御手段は、複数の撮像手段のうち使用中の撮像手段の存在位置を示す印を表示することを特徴とする撮像装置付き表示システム。
【請求項６】
請求項４に記載の撮像装置付き表示システムにおいて、
前記制御手段は、待機中の撮像手段の存在位置を示す印を、使用中の撮像手段の存在位置を示す印とは色または透過度を変えて表示することを特徴とする撮像装置付き表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、有機ＥＬ，液晶，プラズマ方式など比較的薄型の表示機器に一体的に撮像機器が備えられた撮像装置付き表示システムに関する。さらに詳しくは、テレビ電話などのリアルタイム双方向通信などに好適な撮像装置付き表示システムに関する。
【背景技術】
【０００２】
近年、通信網の目覚しい発展によりテレビ電話などのリアルタイム双方向通信が可能となった。テレビ電話は被写体像を電気的な画像信号に変換する撮像手段と電気的な画像信号を光信号に変換して表示する表示手段とから構成されている。テレビ電話のユーザは、表示手段の画面に映された相手の顔を見ながら会話をし、同時にユーザの顔は、撮像手段により撮影され電気信号に変換されたのち相手側へ送られる。
【０００３】
しかしながら、従来のテレビ電話など双方向通信に用いられる機器では、撮像手段は表示手段の隣または別の独立した装置として設けられており、表示手段を見ている受信者を斜め方向から撮影することになる。そのため、表示手段に映った相手の顔は視線が別のところを向いており、相互に話していてもぎこちなく面と向かって話をする場合と比較して違和感があるという問題がある。また撮像装置と表示装置とを別々に製造して組み立てたり、別個の装置としなければならず、製造コストが高くなるという問題がある。
【０００４】
そこで、下記特許文献１では、表示手段の表示領域内に撮像手段を設けた構成が開示されている。図２９，３０，３１はこの従来例を示す図であり、図２９は全体斜視図、図３０は図２９におけるＡ−Ａ’断面における拡大図、図３１は被写体の撮像原理を示す。図２９，３０に示すように透過型撮像装置一体型表示装置は表示装置１と透過型撮像装置２とからなる。表示装置１は透過型の液晶表示装置で、背後より照明光５で照明される。透過型撮像装置２は格子状に配列された窓部３と、窓と窓の交点に配置されたマイクロレンズ４からなる。照射光５で照らされた表示装置１の映像は透過型撮像装置２の窓部３を通して観察される。そして、透過型撮像装置のマイクロレンズ４，フォトダイオード２６などは、表示装置１のＴＦＴ１０上部に設けられている。したがって、撮像と表示の両立が可能となっている。そして、１つのマイクロレンズ４，フォトダイオード２６により１つの撮像信号が得られる構成となっている。
【０００５】
次に、このような複眼方式撮像素子による被写体の撮像原理について図３１を用いて説明する。図３１は透過型撮像装置２の垂直断面図で、透明ガラス基板２１の上にフォトダイオード２６が一定間隔で配置されてフォトダイオードアレー３８を形成し、個々のフォトダイオード２６はそれぞれ遮光層３０で覆われており、遮光層３０はピンホール３１が開けられている。フォトダイオードアレー３８の前には個々のフォトダイオード２６に対応したマイクロレンズ４からなるマイクロレンズアレー３５が配置されている。マイクロレンズアレー３５の前方には被写体３９が位置しており、被写体３９からの外光３７が個々のフォトダイオード２６に入射されている様子を示す。ここでマイクロレンズアレー３５は遮光層３０からマイクロレンズ４の焦点距離ｆ離れた位置に配置されている。したがってフォトダイオード２６にはピンホール３１とマイクロレンズ４の光学中心を結ぶ特定方向の光３７のみが入射される。そして、マイクロレンズアレー３５を通過する外光３７を全て相互に平行とするならば、透過型撮像装置２前方に位置する被写体３９は撮像装置２の大きさ程度に撮影される。
【０００６】
以上説明したような構成で、表示手段を見ながらの撮像ができ、かつ表示手段に表示される相手と視線を一致させることが可能となる。また、表示手段前面に薄型の撮像手段を設けたことによって装置全体が大型化することもない。
【特許文献１】特開平１０−７０７１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記従来例においては以下のような問題がある。
【０００８】
ａ  撮影画像の画素数は表示装置の画素数とほぼ同等であり、表示画素数以上に高画素化することができない。
【０００９】
ｂ  表示装置のような大判の基板サイズで製造歩留まりの悪いフォトダイオードを形成するため、１枚の基板上に形成可能な数が少なくコストが高くなる。
【００１０】
ｃ  表示装置を大画面化した際に、一部のフォトダイオードを使用して画像を形成することが考えられるが、現在どのフォトダイオードが使用中であるかユーザが認識できないため視線を一致できなくなる。
【００１１】
ｄ  窓部を形成するため光電変換部が離散的に設けられておりモワレ縞が発生してしまう。
【００１２】
本発明は、このような状況のもとで成されたものであり、簡単な構成で高画素化，低コスト化を実現するとともに、大画面化した場合にも容易に視線を一致させることができる撮像装置つき表示システム、制御方法を提供することを課題とするものである。
【課題を解決するための手段】
【００１３】
前記課題を解決するため、本発明では、撮像装置付き表示システムを次の（１）〜（６）のとおりに構成する。
【００１４】
（１）表示手段と、前記表示手段に１つ以上の撮像手段を備えた撮像装置付き表示システムにおいて、
前記表示手段は、前記撮像手段の周囲に複数の画像表示用表示画素を有し、
前記撮像手段の撮像動作状態もしくは撮像動作待機状態において、前記表示手段の表示領域内の前記撮像手段が備えられている近傍に前記撮像手段の存在位置を示す印を表示するように制御する制御手段を備え、
表示対象物と前記撮像手段とを同一視線上に視認可能とした撮像装置付き表示システム。
【００１５】
（２）前記（１）に記載の撮像装置付き表示システムにおいて、
前記制御手段は、前記印の表示、非表示を任意に選択可能である撮像装置付き表示システム。
【００１６】
（３）前記（１）に記載の撮像装置付き表示システムにおいて、
前記制御手段は、前記印を、前記撮像手段の撮像に不必要な光束を遮光するような形状、色で表示する撮像装置付き表示システム。
【００１７】
（４）前記（１）に記載の撮像装置付き表示システムにおいて、
前記表示手段は、複数の撮像手段を備え、
前記制御手段は、各撮像手段の存在位置を示す印を表示する撮像装置付き表示システム。
【００１８】
（５）前記（４）に記載の撮像装置付き表示システムにおいて、
前記制御手段は、複数の撮像手段のうち使用中の撮像手段の存在位置を示す印を表示する撮像装置付き表示システム。
【００１９】
（６）前記（４）に記載の撮像装置付き表示システムにおいて、
前記制御手段は、待機中の撮像手段の存在位置を示す印を、使用中の撮像手段の存在位置を示す印とは色または透過度を変えて表示する撮像装置付き表示システム。
【発明の効果】
【００２０】
本発明によれば、簡単な構成で高画素化，低コスト化を実現するとともに、大画面化した場合にも容易に視線を一致させることができる撮像装置つき表示システムを提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下本発明を実施するための最良の形態を、“撮像装置付き表示システム”の実施例により詳しく説明する。なお、各実施例では、撮像装置付き表示装置と情報処理装置により“撮像装置付き表示システム”を構成しているが、本発明はこれに限らず、表示装置に情報処理装置を内蔵する形で実施することができる。
【実施例１】
【００２２】
実施例１である“撮像装置付き表示システム”を説明する。本実施例は、表示手段として有機ＥＬ（ＥＬ：Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子を用いた例である。有機ＥＬ素子は自発光型の素子であり、これを表示手段に用いた場合、（１）発光効率が高い、（２）駆動電圧が低い、（３）発光材料を選択することで様々な色（緑，赤，青，黄など）を表示可能、（４）バックライトが不要、（５）面発光であり視野角依存性が無い、（６）薄型で軽量、などの優れた特徴がある。そこで、近年、ＣＲＴやＬＣＤに代わる表示装置として、有機ＥＬ素子を用いた表示装置が注目されている。以下、本実施例を説明する前にまずは有機ＥＬ表示装置について説明する。
【００２３】
マトリックスに配置された点（ドット）で表示を行うドットマトリックスの有機ＥＬ表示装置には、単純マトリックス方式とアクティブマトリックス方式とがある。
【００２４】
単純マトリックス方式は、表示パネル上にマトリックスに配置された各画素の有機ＥＬ素子を走査信号に同期して外部から直接駆動する方式であり、有機ＥＬ素子だけで表示装置の表示パネルが構成されている。そのため、走査線数が増大すると１つの画素に割り当てられる駆動時間（デューティ）が少なくなり、コントラストが低下するという問題があるが、製造プロセスが簡略化でき低コスト化できるというメリットがある。
【００２５】
図１〜３に単純マトリックス方式の有機ＥＬ表示装置を示す。図１は、単純マトリックス方式の有機ＥＬ表示装置１０１の一部断面図である。
【００２６】
ガラスや合成樹脂などからなる透明絶縁基板１０２上に、ＩＴＯ（Ｉｎｄｉｕｍ  Ｔｉｎ  Ｏｘｉｄｅ）などの透明電極からなる複数の陽極１０３、第１ホール輸送層１０４、第２ホール輸送層１０５、発光層１０６、電子輸送層１０７、マグネシウム・インジウム合金からなる複数の陰極１０８がこの順番で積層形成されている。このように、各層１０４〜１０７は有機化合物から成り、その各層１０４〜１０７と陽極１０３および陰極１０８とによって有機ＥＬ素子１０９が構成されている。
【００２７】
また、各陽極１０３の間から露出した透明絶縁基板１０２上に、本発明の請求項における遮光部材に相当する絶縁性を有した遮光膜からなるブラックマトリックス１１０が形成されている。つまり、ブラックマトリックス１１０は、各陽極１０３の間に埋め込まれた状態に形成されている。ブラックマトリックス１１０の材質としては、遮光性を有した微粒子（カーボンブラックなど）を含有した塗布絶縁膜（シリコン系樹脂膜，ポリイミド系樹脂膜，ＳＯＧ（Ｓｐｉｎ  Ｏｎ  Ｇｌａｓｓ  ）膜など）や、遮光性を有した高分子フィルムなどがあり、その形成時に陽極１０３に対して悪影響を及ぼさないものであればどのような材質であってもよい。
【００２８】
有機ＥＬ素子１０９においては、陽極１０３から注入されたホールと、陰極１０８から注入された電子とが発光層１０６の内部で再結合し、発光層１０６を形成する有機分子を励起して励起子が生じる。この励起子が放射失活する過程で発光層１０６から光が放たれ、矢印γに示すように、この光が透明な陽極１０３から透明絶縁基板１０２を介して外部へ放出される。
【００２９】
ここで、各ホール輸送層１０４，１０５は、陽極１０３からホールを注入させ易くする機能と、陰極１０８から注入された電子をブロックする機能とを有する。また、電子輸送層１０７は、陰極１０８から電子を注入させ易くする機能を有する。
【００３０】
このように構成された有機ＥＬ表示装置１０１によれば、発光効率の高い単色発光の有機ＥＬ素子１０９を得ることが可能になり、有機ＥＬ表示装置１０１の輝度を向上させることができる。
【００３１】
そして、フルカラーの有機ＥＬ表示装置１０１を実現するには、以下のような５つの方式が提案されている。（１）白色発光する有機ＥＬ素子をＲＧＢのカラーフィルタと組み合わせる。（２）Ｂ（青）色発光有機ＥＬ素子をＣＣＭ（Ｃｏｌｏｒ  Ｃｈａｎｇｉｎｇ  Ｍｅｄｉａ）色変換層でＲＧＢ発光に変換させる。（３）シャドウマスクを用いてＲＧＢ各有機層を選択的に成膜する。（４）ＲＧＢ各有機ＥＬ素子を垂直方向に積層してそれぞれを独立に発光させる。（５）高分子有機層をインクジェット印刷で塗り分けＲＧＢ発光させる。
【００３２】
図２は、有機ＥＬ表示装置１０１を陽極１０３側から見た平面図である。なお、図２において、陽極１０３および陰極１０８の他の部材については省略してある。各陽極１０３はそれぞれ平行に配置され、各陰極１０８もそれぞれ平行に配置されている。そして、各陽極１０３と各陰極１０８とはそれぞれ直交するように配置されている。
【００３３】
有機ＥＬ素子１０９において、交差した、各陽極１０３（１０３ａ〜１０３ｃ）と各陰極１０８（１０８ａ〜１０８ｃ）との間にそれぞれ挟まれた領域、すなわち図中斜線部で示す領域に各発光領域Ａが形成され、その発光領域Ａが前述した作用によって発光する。つまり、マトリックスに配置された各発光領域Ａが有機ＥＬ表示装置１０１の各表示画素となる。
【００３４】
単純マトリックス方式では、発光させたい発光領域Ａに対応する陽極１０３に駆動電源のプラス側を接続し、その発光領域Ａに対応する陰極１０８に駆動電源のマイナス側を接続して、その陽極１０３および陰極１０８に通電する。
【００３５】
例えば、陽極１０３と陰極１０８ａとの交差点に位置する発光領域Ａを発光させたい場合には、陽極１０３をプラス側、陰極１０８ａをマイナス側として通電する。すると、矢印αに示すように順方向電流が流れる。
【００３６】
図３は有機ＥＬ表示装置１０１を陰極１０８側から見た図で、ブラックマトリックス１１０および陽極１０３以外は省略してある。そして、陽極１０３ａ〜１０３ｃはブッラクマトリックス１１０の下側に設けられているので、図中点線で示している。ブラックマトリックス１１０には図２における発光領域Ａに対応した領域が開口領域Ｂとして形成されている。そして、各発光領域Ａ以外の領域は遮光するよう構成され光の漏れこみを防ぐ役割を果たしている。
【００３７】
このように本実施例で用いる有機ＥＬ表示装置はブラックマトリックス１１０を備えているため、ＥＬ素子のリーク電流特性による光学的クロストークやＥＬ素子の構造に起因する光散乱による光学的クロストークは発生し難い。したがって、有機ＥＬ表示装置１０１のコントラストが良好になって解像度が向上するため、高精細な画像を得ることができる。そして、フルカラーの有機ＥＬ表示装置に適用した場合には、色の「にじみ」が少ない鮮やかな画像を得ることができる。
【００３８】
以上が有機ＥＬ表示装置の構成である。本実施例ではこのような有機ＥＬ表示装置を表示手段として用いる。
【００３９】
図４は本実施例で用いる撮像装置付き表示装置の一部分を拡大した概略断面図である。図４に示すように、本撮像装置付き表示装置１１１は撮像手段１１２と表示手段１１３からなる。表示手段１１３には、図１の有機ＥＬ表示装置１０１を用いており、同様にガラスや合成樹脂などからなる透明絶縁基板１０２上に、ＩＴＯ（Ｉｎｄｉｕｍ  Ｔｉｎ  Ｏｘｉｄｅ）などの透明電極からなる複数の陽極１０３、各陽極１０３間にはブラックマトリックス１１０が形成される。１１４は陽極１０３，ブラックマトリックス１１０上面に積層された有機層で、図１における第１ホール輸送層１０４、第２ホール輸送層１０５、発光層１０６、電子輸送層１０７からなる。そして、有機層１１４の上面にはマグネシウム・インジウム合金からなる複数の陰極１０８が積層形成されている。以上が表示手段１１３の構成であり、図１〜３を用いて説明した有機ＥＬ表示装置１０１と同様である。
【００４０】
次に、撮像手段１１２の構成について説明する。陽極１０３上面にはレンズ部１１５ａを一体的に備えたレプリカ層１１５が積層されている。レプリカ層１１５は一般的に紫外線硬化型の樹脂などを用いた金型成形で作製され、結像レンズなど高精度な面，球面・非球面形状、さらには密に配列したレンズアレイとすることも容易に実現可能である。なお、結像レンズにはアクリル系の樹脂を用いるのが一般的に好適である。
【００４１】
ところで、有機ＥＬ素子１０９は、ごく僅かな酸素や水分によって容易に電極が酸化されてしまい、酸化ダークスポットと呼ばれる非発光部が形成され、時間の経過とともに拡大し、発光しなくなる現象が問題になっている。本実施例においては、透明絶縁基板１０２とレプリカ層１１５で陽極１０３，有機層１１４，陰極１０８からなる有機ＥＬ素子１０９を完全封止する構成としている。したがって、レプリカ層１１５はレンズ部１１５ａを形成するためだけではなく、封止という役割も果たしている。なお、レプリカ層１１５は樹脂であるため、外気から完全封止するためにはある程度の厚みが求められるが、レプリカ層１１５だけでは封止が不完全な場合、レプリカ層１１５にコーティングを行う、レンズ部１１５ａ以外を金属膜でコーティングする、装置全体を封止するなどの対策を施せばよい。
【００４２】
図４に戻って、レンズ部１１５ａは非球面形状からなる結像レンズで、Ｌ１はレンズ部１１５ａの光軸を示す。そして、光軸Ｌ１と交差するブラックマトリックス１１０には開口部１１０ａが設けられている。この開口部１１０ａはレンズ部１１５ａの開口絞りの役目を果たしている。
【００４３】
このようにして透明絶縁基板１０２，開口部１１０ａ，有機層１１４を通過した光線がレンズ部１１５ａによって結像する。なお、有機層１１４は薄膜であり可視光線は透過することが多いが、そうでない場合有機層１１４にも開口部を設ければよい。本実施例ではできるだけ製造プロセスの煩雑さを無くすため有機層１１４には開口部を設けない構成とした。
【００４４】
次に、図５は図４における表示手段１１３を陽極１０３側から見た平面図である。なお、図５において、陽極１０３および陰極１０８以外の他の部材については省略してある。図において点線で示す円はレンズ部１１５ａに対応し、陽極１０３ａ，１０３ｂ、陰極１０８ａ，１０８ｂで挟まれた領域に光軸Ｌ１を中心として形成されている。そして、陽極１０３ａ〜ｃと陰極１０８ａ〜ｃが重なる斜線部領域Ａが発光領域として機能する。つまり、マトリックスに配置された各発光領域Ａが表示手段１１３の各表示画素となる。
【００４５】
同様に、図６は図４における表示手段１１３を陰極１０８側から見た平面図である。なお、図６において、陽極１０３およびブラックマトリックス１１０以外の他の部材については省略してある。ブラックマトリックス１１０は発光領域Ａに対応した領域が開口領域Ｂとして形成され、その他の領域は遮光された構成となっている。そして、点線で示すレンズ部１１５ａに対応した光軸Ｌ１を中心とする位置に円形の開口部１１０ａが形成されている。ここで、図４は、図５および図６における水平方向の断面図であるあることがわかる。
【００４６】
このように、レンズ部１０５ａに対応した位置におけるブラックマトリックス１１０には各発光領域Ａ間の表示に不要な領域を利用して円形の開口部１１０ａが形成されている。したがって、表示の品位を低下させることはない。
【００４７】
ところで、陰極１０８は金属膜であるため光を透過しない。本実施例においては、レンズ部１１５ａが陰極１０８ａ、１０８ｂ間の金属膜が存在しない領域にレンズ部１１５ａおよび開口部１１０ａを設けたので金属膜に開口部を形成する必要はないが、この領域に陰極などの遮光性部材がある場合は便宜開口部を設ける必要があり、請求項における遮光部材に該当することは言うまでもない。本実施例ではプロセスの煩雑さを無くすために金属膜が存在しない領域にレンズ部１１５ａの光軸Ｌ１が位置するようにした。さらに、開口部１１０ａは円形であるためこのように４つの表示画素中心に光軸Ｌ１を設定することで開口部１１０ａの径についてもより大きくすることが可能となる。したがって、Ｆナンバーについての設計自由度を高めることができる。
【００４８】
撮像手段１１２側の光学性能としては、図５に示す開口部１１０ａ以外、例えば開口部１１０ａ近傍の開口領域Ｂを通過した光線がレンズ部１０５ａで形成される被写体像に進入し、ゴースト，フレアとして像性能を悪化させることが懸念される。本実施例では、開口領域Ｂには金属膜からなる陰極１０８が存在するためこのような光線は完全に遮光される構成となっているが、陰極１０８は有機層１１４で発光した光を効率よく表示面側に取り出すために反射率の高い金属膜で形成されることが多く、これもゴースト，フレアを引き起こす可能性がある。この場合、ブラックマトリックス１１０を有機層１１４が完全に分断するように厚く形成すればよい。さらには、陰極１０８のレプリカ層１１５側で、かつ撮像手段１１２の近傍には低反射率膜を形成し、陰極１０８のレプリカ層１１５側における光の反射を極力なくす。なお、陰極１０８のレプリカ層１１５側は表示の光量には無関係であるため、こうのような構成としても問題ない。
【００４９】
図４に戻って、レンズ部１１５ａの結像位置近傍には撮像素子１１６，配線基板１１７，カバーガラス１１８からなる撮像素子パッケージユニット１１９が接着剤層１２０を介して設けられている。そして、カバーガラス１１８の入射面側には赤外カット層１２１が多層膜コーティングにより形成され、撮像に悪影響を及ぼす赤外光を遮断している。
【００５０】
図７は撮像素子１１６をレンズ部１１５ａ側から見た平面図である。撮像素子１１６上には受光画素１１６ａが格子状に多数個形成されており、レンズ部１１５ａで結像される被写体像をこの多数個の受光画素１１６ａにて光電変換する。そして、受光画素１１６ａにはそれぞれ１画素ごとにカラーフィルタ（不図示）、マイクロレンズ（不図示）が備えられ、カラーフィルタの配列として、例えば公知のベイヤー配列を用いることでカラー画像を撮像することが可能となる。そして、１１６ｂはタイミング発生部，Ａ／Ｄ変換部などからなるオンチップ周辺回路部で、撮像素子１１６上に受光画素１１６ａと一体的に設けられている。さらに、これらの周辺部には電極パッド１１６ｃが円環状に形成される。電極パッド１１６ｃ上には金バンプ（不図示）が形成され、配線基板１１７の電極部（不図示）と異方性導電ペーストや熱および超音波接合により電気的に接続される。そして、配線基板１１７を介して撮像信号を読み出すことが可能となっている。
【００５１】
図８は撮像素子１１６に配線基板１１７を接合した状態を斜め上方からみた斜視図である。配線基板１１７には開口部１１７ａが設けられ受光画素１１６ａが被写体像を光電変換できるよう剥き出しとなっている。そして、この配線基板１１７の撮像素子１１６と対向する側には開口部１１７ａを介してカバーガラス１１８が配置される。したがって、撮像素子１１６の受光画素１１６ａとカバーガラス１１８間にはわずかな空気層が存在し、受光画素１１６ａ上に形成されたマイクロレンズ（不図示）による光学効果が発揮される。なお、各部材の境界面には紫外線および熱硬化型の接着封止剤層が形成され、機械的強度を保つと共に、異方性導電ペーストと併せて撮像素子１１６の受光面を外気から遮断した密封構造となっている。
【００５２】
ところで、このような撮像素子パッケージユニット１１９の詳細な構成については、特許第３２０７３１９号に開示されており、本実施例ではこの撮像素子パッケージを使用する。このようなパッケージの特徴としては、撮像信号を取り出すための配線基板１１７を受光画素１１６ａとレンズ部１１５ａ間、すなわち撮像光学系の光路中に設けているため、より薄型の撮像装置を実現することができる。
【００５３】
そして、撮像素子パッケージユニット１１９は、レンズ部１１５ａにより形成される被写体像が撮像素子１１６の受光面上に結像するよう傾斜，回転などの位置調整を経た後に接着剤層１２０により固定される。
【００５４】
以上説明したように、開口部１１０ａ，レンズ部１１５ａ，撮像素子パッケージユニット１１９で撮像手段１１２は構成される。そして、図中Ｃ，Ｄで示す線が撮像素子１０６の受光領域端部に結像する光線を示し、所定画角の被写体を撮像可能となっている。
【００５５】
一例として、撮像手段１１２まわりの寸法を計算してみる。図９は図４に示す撮像手段１１２の光学系を単純モデル化した図で、この図を用いて計算する。図において、１０２’は透明絶縁基板１０２に、１１５’はレプリカ層１１５に対応している。そして球面レンズ部１１５ａ’はレンズ部１１５ａに対応し、計算を簡単にするため球面とし、１０２’と１１５’の境界面に中心点Ｅを有した半径ｒの球面である。また、ｄは開口部１１０ａに相当する球面レンズ部１１５ａ’の絞り開口径とし、１０２’、１１５’の屈折率は一律にｎとする。さらに、Ｈは撮像素子１１６の受光画素１１６ａが形成されている領域の対角寸法で、光線Ｃ’、Ｄ’はＨの端部に結像し中心点Ｅを通過する光線である。したがって、光線Ｃ’、Ｄ’は１０２’に入射面のみで屈折し、その他の境界面では屈折しない。
【００５６】
このように、入射面のパワーを弱く、射出面のパワーを強く、すなわち平凸構成の光学系において球面の半径ｒ中心に絞りを配置することで、像面の湾曲を少なくすることができる。なお、実際は球面を非球面とすることで、より良好に湾曲収差、色収差などの諸収差を補正する。
【００５７】
θは光線Ｃ’、Ｄ’のなす角、すなわち撮影画角で、θ’は光学系による屈折後の撮影画角である。
【００５８】
いま、撮像素子１１６の画素数を例えば３２０×２４０のＱＶＧＡサイズで、画素ピッチを０．００３ｍｍとすると、対角寸法Ｈは以下のようになる。
【００５９】
【数１】
2005130001.tif 000003
【００６０】
撮影画角θは任意に設定することができるが、本実施例においては表示装置とユーザの距離はある程度近いため広角とする方が望ましく、θ＝６０°とし、屈折率ｎ＝１．５とすると、Ｓｎｅｌｌの法則よりθ’は以下のようになる。
【００６１】
【数２】
2005130001.tif 000004
【００６２】
したがって、中心点ＥからＨまでの距離ｌは以下のようになる。
【００６３】
【数３】
2005130001.tif 000005
【００６４】
そして、透明絶縁基板１０２の厚みは一般的に０．７ｍｍで、撮像素子１１６もウエハ標準サイズであると０．７ｍｍ程度であるので、全体の厚みとしては約３．１０ｍｍの厚みとなる。
【００６５】
一方、球面レンズ部１１５ａ’の焦点距離をｆとすると、被写体位置が焦点距離に比較して十分に遠く、ほぼ無限遠と近似でき、かつ屈折率がｎ＝１．５の場合、ｆ＝２ｒ、ｌ＝３ｒとなるので、ｆ＝１．１３ｍｍ、ｒ＝０．５７ｍｍと計算することができる。そして、球面レンズ部１１５ａ’のＦナンバーをＦ８．０とすると絞り開口径ｄ＝０．１４ｍｍとなる。
【００６６】
なお、図９の単純モデルにおいては、陽極１０３，有機層１１４，陰極１０８については省略して説明した。これらの層は薄膜であり、総厚でも数μｍ程度であるため省略して考えても差し支えないからである。また、レンズ部１１５ａについては諸収差を無視した球面レンズとして考えたが、このように概略寸法を計算する上では問題ない。
【００６７】
一方、表示手段１１３の表示パネルの対角を１５インチとすると、水平長１２インチ（３０４．８ｍｍ）、垂直長９インチ（２２８．６ｍｍ）となる。そして、表示画素数を６４０×４８０画素のＶＧＡ対応表示装置とすると、表示画素ピッチは水平垂直ともに０．４７６ｍｍである。表示画素の開口率を６０％とするとブッラクマトリックス１１０の幅は以下のように計算される。
【００６８】
【数４】
2005130001.tif 000006
【００６９】
【数５】
2005130001.tif 000007
【００７０】
【数６】
2005130001.tif 000008
【００７１】
そして、このブラックマトリックス対角寸法が図６における寸法Ｆとなり、０．１４ｍｍの絞り開口径を形成することは十分に可能である。なお、絞り開口径を極端に絞り込むと回折による影響で高周波域のコントラストが低下する。これは絞り開口の縁から発する周辺波による回折縞の強度が増すためである。回折縞を減らすには、中央部が透明で周辺に行くにしたがって濃度が大きくなるフィルターを絞り開口部に付加すればよい。この手法はアポダイゼイションと呼ばれ、インコネル，クロメル，クローム等の薄膜を蒸着またはスパッタリングすることによって形成可能である。
【００７２】
以上説明したようにブラックマトッリクス１１０にわずか開口径０．１４ｍｍの穴を形成することで、厚さ３．１０ｍｍの超薄型撮像装置付き表示装置を実現することが可能となる。
【００７３】
図１０はこのような撮像装置付き表示装置１１１の外観斜視図を示す。１３０は表示手段１１３の表示パネルで、ユーザはこの表示パネル１３０に表示される情報を目視する。そして、撮像手段１１２が図中点線で示すように表示パネル１３０の中央付近に埋め込まれている。なお撮像手段の１１２の開口部１１０ａは微小であるため表示パネル１３０側からの目視は困難であり、図中も省略してある。１３１は本実施例で用いる撮像装置付き表示装置１１１を支える筐体である。
【００７４】
図１１は本実施例の“撮像装置付き表示システム”でリアルタイム双方向画像通信を実現するシステムを示すブロック図である。本実施例においては、撮像装置付き表示装置１１１をＰＣ（パーソナルコンピュータ）などの情報処理装置に接続し、情報処理装置にて制御を行うことで実現する例を説明する。
【００７５】
１４０は撮像装置付き表示装置１１１を含む情報端末（実施例の表示システム）で、撮像装置付き表示装置１１１と情報処理装置１４１からなる。
【００７６】
情報処理装置１４１は、公知の構成であるが、中央演算処理部１４２、メモリ１４３、例えばハードディスクなどの大容量記憶媒体１４４を備える。大容量記憶媒体１４４には、ＯＳ（オペーレーティングシステム）が格納され、プログラム制御により情報処理装置１４１の起動を行う。また、大容量記憶媒体１４４には撮像装置付き表示装置１１１の各種動作制御を行うアプリケーションソフトも格納され、ＯＳの制御下のもと撮像開始、通信開始などの制御動作を行う。また、情報処理装置１４１には音声通信を行うためのマイク１４５，スピーカー１４６を備えている。さらには、図には示していないがユーザインタフェースを司る公知のマウス，キーボードも接続されている。
【００７７】
情報処理装置１４１は一般電話回線やＬＡＮ回線などを介してネットワーク網１４７に接続されている。そして、このネットワーク網１４７を介して複数台の情報端末１４０ａ，１４０ｂ，１４０ｃが接続されている。
【００７８】
以上のような構成で、リアルタイム双方向画像通信を実現する。
図１２は撮像装置付き表示装置１１１の電気的な構成をより詳細に示すブロック図である。
【００７９】
撮像装置付き表示装置１１１には表示手段１１３と撮像手段１１２が含まれる。
【００８０】
まず、表示手段１１３において、１５０は図４における発光領域Ａからなる表示画素を多数個そなえた表示部で、１５１は図１１における情報処理装置１４１などの外部接続機器から表示用信号を受け取る表示用ＩＦ部である。そして、１５２は表示用ＩＦ部１５１を介して送られてきた表示用信号に基づき多数個の表示画素を駆動する表示駆動回路である。
【００８１】
次に、撮像手段１１４において、撮像素子１１６には図７に示す多数個の受光画素１１６ａからなる受光領域１５３が備えられ、各受光画素１１６ａにて光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１５４、Ａ／Ｄ変換部１５４に各種タイミング信号を送るＴＧ（タイミングジェネレータ）部１５５が撮像素子１１６と一体的に形成されている。１５６は、Ａ／Ｄ変換部でデジタル信号に変換された画像信号に対して、自動露出，ガンマ補正，ホワイトバランス調整，フィルタ演算などの各種画像処理を行い、情報処理装置１４１上で展開可能な画像フォーマットに生成する画像処理部である。そして、１５７は画像を情報処理装置１４１へ送り、撮像タイミング信号を情報処理装置１４１から受け取る撮像用ＩＦ部である。ここで、表示手段１１３と撮像手段１１２はそれぞれ独自に情報処理装置１４１に接続するように構成している。これは、表示手段と情報処理装置の接続インターフェースは標準規格で定めらており、撮像信号を接続する仕様を変えると独自の規格を作ることとなり汎用性に欠けるからである。なお、撮像手段１１２の接続は公知のＵＳＢ，ＩＥＥＥ１３９４接続など動画像の転送に好適で汎用性のある接続形態を用いればよい。
【００８２】
図１３（Ａ）は、図１０における表示パネル１３０に双方向通信を行うアプリケーションソフトが表示されている状態を示す概略図である。なお、前述したようにこのアプリケーションソフトは情報処理装置１４１の大容量記憶媒体１４４に格納されており、ユーザの操作により起動する。
【００８３】
図において、１６０は表示対象物であるアプリケーションウィンドウで、ユーザが各種機能の設定や操作を行うコマンドボタンを複数並べたコマンド入力部１６１、撮像手段１１２にて撮像された画像や通信にて送信されてくる画像を表示する画像表示ウィンドウ１６２（図中斜線部）、コマンド入力部１６１に備えられたボタンのうち撮像や通信に関連した複数のコマンドボタンをユーザが瞬時に操作しやすいように抜粋し並べた撮像・通信コマンド入力部１６３を備える。なお、ユーザのコマンド入力部１６１，撮像・通信コマンド入力部１６３における設定，操作については、公知のマウスおよびキーボードにより行われる。
【００８４】
１６４は撮像手段１１２の存在位置を示す撮像手段位置マークである。この撮像手段位置マークは、請求項における撮像手段の存在位置を示す印に対応し、コマンド入力部１６１および撮像・通信コマンド入力部１６３にて、任意に表示／非表示設定可能となっている。このようなマークは、ユーザが撮像や双方向通信を行う際に表示パネル１３０のどこを注視すればよいかをユーザに知らせる役目があり、本実施例のように開口部１１０ａの開口径が非常に微小で、目視による判別が困難な場合効果がある。
【００８５】
さらに、アプリケーションウィンドウ１６０には自画像表示ウィンドウ１６５が備えられ、ユーザ自身がどのように撮影されているかを確認することができる。
【００８６】
また、アプリケーションウィンドウ１６０と撮像手段位置マーク１６４は重ねて表示されており、ユーザの同一視線上における視認が可能となり、双方向通信において互いに視線の一致した通信を実現することができる。なお、アプリケーションウィンドウ１６０は公知のように表示パネル１３０内を任意に移動，拡大，縮小可能で、より視線を一致させるために双方向通信相手の人物画像部分と重ねてもよい。図１３（Ｂ）は、アプリケーションウィンドウ１６０を拡大して、人物画像と撮像手段位置マーク１６４を重ねた状態を示す。この場合、撮像手段位置マーク１６４を半透過表示にすれば、撮像手段位置マーク１６４の背面側にある人物画像も視認することも可能となる。
【００８７】
なお、アプリケーションウィンドウ１６０を自在に動かすことが可能であるので、必要に応じてアプリケーションウィンドウ１６０と撮像手段位置マークを重ねない状態にすることも可能である。
【００８８】
次に、図１４は前述のようなアプリケーションソフトの起動時における動作を示すフローチャートである。
【００８９】
まず、ＳＴＥＰ１４０１で情報処理装置１２３のＯＳ制御下のもとアプリケーションソフトをマウスなどの操作により起動する。
次に、ＳＴＥＰ１４０２では、情報処理装置１４１から表示手段１１３に表示信号が送られ、表示パネル１３０にアプリケーションウィンドウ１６０が表示される。
【００９０】
次に、ＳＴＥＰ１４０３では、撮像手段位置マーク表示フラグがＯＮになっているかを判別する。なお、撮像手段位置マーク表示フラグとは、前述したユーザが任意に設定可能な撮像手段位置マーク１６４の表示／非表示設定のことで、フラグＯＮが表示を意味している。そして、アプリケーションソフト終了時には、このフラグの状態を格納し、次回起動時に読み出すよう構成している。
【００９１】
次に、撮像手段位置マーク表示フラグがＯＮの場合、ＳＴＥＰ１４０４へ進み、情報処理装置１４１から表示手段１１３へ表示信号を送り、表示パネル１３０内の最前面に撮像手段位置マーク１６４を表示する。したがって、他のアプリケーションソフトが起動されていても、本実施例のアプリケーションソフトがアクティブな場合、アプリケーションウィンドウ１６０よりも最前面に撮像手段位置マーク１６４が表示されるので、ユーザは容易に撮像手段１１２の存在位置を認識できる。
【００９２】
一方、撮像手段位置マークフラグがＯＮでない場合、撮像手段位置マーク１６４は表示されず、アプリケーションウィンドウ１６０のみが表示されることとなる。
【００９３】
以上が、アプリケーション起動時における動作である。なお、撮像や通信に関する動作については公知であるため説明を省略する。
【００９４】
以上のような構成で、リアルタイム双方向画像通信を実現する。そして、撮像手段１１２は表示装置１１３から突出しない状態で備えられ、さらには撮像手段１１２の開口部１１０ａも表示画素を欠損することなく設けられ、開口径も微小でありほぼ目視不可能であるため表示の品位も通常の表示装置と同等である。
【００９５】
なお、本実施例においは、撮像手段１１２にローパスフィルタを設けない構成とした。ローパスフィルタは薄型化すると非常に高価であり、厚いものを挿入すると薄型の特徴を生かすことができないことから省略したが、ローパスフィルタを設けてもよい。そのときは、カバーガラス１１８をローパスフィルタとするのがよい。
【００９６】
また、図１２に示すように画像処理部１５６は撮像手段１１２が備える構成としたが、本実施例のように情報処理装置１４１を有する表示システムにおいては、画像処理部１５６における演算処理をアプリケーションソフトが行うようにしてもよい。一般的に情報処理装置１４１の中央演算処理部１４２の処理能力は非常に高く、画像処理部１５６がハードウェアのロジック回路であったとしても情報処理装置１４１処理能力は同等以上である。本実施例では、比較的処理能力の低いモバイル型の端末、例えばノートＰＣ，ＰＤＡなどにも使用できる汎用性を持たせるため撮像手段１１２に画像処理部１５６を備えた。したがって、情報処理装置１４１以外の一般的な家電製品などへの接続も比較的容易で、アプリケーションソフトが組み込めない場合は、例えば筐体１３１に操作釦を設ければよい。
【００９７】
さらに、表示手段１１３と撮像手段１１２は一体的に構成されているが、動作制御についてはまったく別ものである。したがって、表示と撮像の同期を取る必要がなく、例えば表示は消えているが、撮像だけを行うなどの使い方の幅も広がり、監視カメラなどとしても利用可能である。
【実施例２】
【００９８】
実施例２の撮像装置付き表示システム“を説明する。本実施例は、複眼光学系により画素ずらしを行う撮像装置を用いることによって、装置全体の厚みを増加させることなくより高解像な撮影画像を得られる例を示す。
【００９９】
複眼光学系により画素ずらし撮影を行う撮像装置として、特開２００２−２０９２２６号公報に開示される撮像装置がある。この撮像装置は４つのレンズ部により４つの被写体像を形成し、４つの撮像領域で撮像を行う。このとき４つの撮像領域はそれぞれ１／２画素ずれた位置をサンプリングする、いわゆる画素ずらし撮影を行う。そして、４つの撮像領域は異なる波長域の被写体像をサンプリングし、画像を合成すると公知のベイヤー配列と同等の画像を得ることができる。
【０１００】
本実施例ではこの撮像装置を撮像手段１１２として用いる。
【０１０１】
図１５はこのような撮像装置付き表示装置の一部分を拡大した概略断面図である。撮像手段１１４は前述したように４つのレンズ部，撮像領域を備えているが、そのうち２つが図１５の断面図に表されている。図において、ブッラクマトリックス１１０には２つの開口部１１０ａ，１１０ｂが設けられている。そして開口部１１０ａ，１１０ｂに対応して２つのレンズ部１１５ａ，１１５ｂが形成され、Ｌ１、Ｌ２はそれぞれの光軸である。そして、２つのレンズ部１１５ａ，１１５ｂの結像位置付近には、２つの撮像領域１７０ａ，１７０ｂを備えた撮像素子１１６が配置される。撮像素子１１６には実施例１と同様に配線基板１１７が接続される。さらに、配線基板１１７の撮像素子１１６と対向する側にはスペーサ１７１が設けられている。スペーサ１７１にはレンズ部１１５ａ，１１５ｂにより結像される光束を撮像領域１７０ａ、１７０ｂに導くために、穴部１７１ａ，１７１ｂが形成される。配線基板１１７とスペーサ１７１は接触面において不図示の接着封止剤層により固定される。ところで、スペーサ１７１にはレンズ部ごとに穴部が形成され、それぞれの光束通過空間を仕切るための隔壁１７１ｅがある。これは、例えば開口部１１０ａ，レンズ１１５ａを通過した撮影画角外の光線が隣接する撮像領域１７０ｂに混入する光学クロストークを防止するためである。そして、撮像素子１１６，配線基板１１７，スペーサ１７１で撮像素子パッケージユニット１１９を構成する。撮像素子パッケージユニット１１９は接着剤層１２０を介して表示手段１１３に接着固定される。
【０１０２】
次に、図１６は図１５における表示手段１１３を陽極１０３側から見た平面図である。なお、図１６において、陽極１０３および陰極１０８以外の他の部材については省略してある。図において点線で示す円はレンズ部１１５ａ，１１５ｂ，１１５ｃ，１１５ｄを示し、それぞれ２つの陽極と２つの陰極で挟まれた領域に各光軸Ｌ１，Ｌ２，Ｌ３，Ｌ４を中心として形成されている。そして、図１５は光軸Ｌ１，Ｌ２を通過する水平方向の断面図であることがわかる。陽極１０３ａ〜ｇ、陰極１０８ａ〜ｇが重なる斜線部領域Ａは発光領域として機能する。
【０１０３】
同様に、図１７は図１５における表示手段１１３を陰極１０８側から見た平面図である。なお、図１７において、陽極１０３およびブラックマトリックス１１０以外の他の部材については省略してある。ブラックマトリックス１１０は発光領域Ａに対応した領域が開口領域Ｂとして形成され、その他の領域は遮光された構成となっている。そして、点線で示すレンズ部１１５ａ〜ｄに対応した光軸Ｌ１〜４を中心とする位置に円形の開口部１１０ａ，１１０ｂ，１１０ｃ，１１０ｄが形成されている。
【０１０４】
このように、レンズ部１０５ａ〜ｄに対応した位置におけるブラックマトリックス１１０には各発光領域Ａ間の表示に不要な領域を利用して円形の開口部１１０ａ〜ｄが形成されている。したがって、表示の品位を低下させることなく撮像用の開口部１１０ａ〜ｄを形成することができる。
【０１０５】
図１８は撮像素子１１６を表示手段１１３側から見た平面図である。撮像素子１１６上にはレンズ１０５ａ〜ｄに対応した４つの撮像領域１７０ａ，１７０ｂ，１７０ｃ，１７０ｄが備えられている。撮像領域１７０ａには受光画素１１６ａが格子状に多数個形成されており、レンズ部１１５ａで結像される被写体像をこの多数個の受光画素１１６ａにて光電変換する。そして、受光画素１１６ａにはそれぞれ１画素ごとにカラーフィルタ（不図示）、マイクロレンズ（不図示）が備えられている。なお、他の撮像領域１７０ｂ〜ｃについても同様の構成であるが、図中受光画素１１６ａは省略してある。
【０１０６】
１１６ｂはＴＧ部、Ａ／Ｄ変換部などからなるオンチップ周辺回路部、１１６ｃは配線基板１１７と電気的に接合するための電極パッドである。
【０１０７】
なお、撮像素子パッケージユニット１１９は実施例１と異なりカバーガラス１１８を備えていないが、スペーサ１７１がカバーガラス１１８と置き換わっているだけで、電気的な接続方法など実施例１と同様である。
【０１０８】
ところで、本実施例で用いる撮像素子１１６は各撮像領域１７０ａ〜ｄごとに色別のカラーフィルタを備える。例えば、１７０ａと１７０ｄが緑色（Ｇ）、１７０ｂが青色（Ｂ）、１７０ｃが赤色（Ｒ）のカラーフィルタを備える。そして、各レンズ部１１５ａ〜ｄの光軸Ｌ１〜４は、特定の被写体距離において、各撮像領域の中心位置に対してそれぞれ内側に１／４画素ずれた位置で各撮像領域１７０ａ〜ｄと交わるように光軸Ｌ１〜４の間隔が設定される。すなわち、その特定の被写体距離において、１／２画素ずらしを行っていることとなる。
【０１０９】
そして、画像信号を読み出す際には、例えば、左下の画素を先頭画素として撮像領域１７０ｃ（Ｒ信号）、撮像領域１７０ｄ（Ｇ信号）を交互に読み出し、水平方向１ラインをすべて読み出す。次に、同様に左下の画素を先頭画素として撮像領域１７０ａ（Ｇ信号）、撮像領域１７０ｂ（Ｂ信号）を交互に読み出し、水平方向１ラインをすべて読み出す。これを繰り返し全画素の画像信号を読み出す。そうすると、公知のベイヤー配列の画像信号を得ることができる。
【０１１０】
このとき、各撮像領域１７０ａ〜ｄの各領域内画素数を実施例１と同様に３２０×２４０画素のＱＶＧＡサイズとすると、各レンズ部１１５ａ〜ｄの焦点距離は実施例１と同等である。しかしながら、４つの撮像領域１７０ａ〜ｄの画像信号を合成することで、４倍の画素数である６４０×４８０画素のＶＧＡの画像を得ることができる。通常、画素数を４倍にするにはレンズ部の焦点距離を２倍にしなければならないが、前述の方法によれば焦点距離を長くする必要がない。さらには、各レンズ部１１５ａ〜ｄは色別の被写体像を結像するため、色収差をほとんど含まない。また、各撮像領域１７０ａ〜１７０ｄの各画素は、マイクロレンズ効果による見かけ上の受光部が、画素ずらしで被写体像をサンプリングした際にオーバーラップしているため光学ローパスフィルタを備える必要がない。したがって、この方法によれば撮像手段１１２の厚みを増加させることなく、より高解像な画像を得ることができる。
【０１１１】
なお、詳細については特開２００２−２０９２２６号公報に開示されているので説明を省略する。
【０１１２】
図１９はスペーサ１７１を表示手段１１３側から見た平面図である。スペーサ１７１には、撮像領域１７０ａ〜１７０ｄに対応した穴部１７１ａ，１７１ｂ，１７１ｃ，１７１ｄが設けられ、レンズ部１１５ａ〜ｄにより形成される被写体像を撮像素子１１６上へ導くことが可能となっている。そして、この穴部１７１ａ〜１７１ｄにより隔壁１７１ｅが形成され、前述したように隣接する撮像領域に光が漏れこむ光学クロストークを防ぐ構成となっている。また、１７１ｆは接着剤層１２０を形成するための土手部で、穴部１７１ａ〜１７１ｄを取り囲むような円環状になっている。したがって、接着剤層１２０はこの土手部１７１ｆに沿うように形成されることとなる。この土手部１７１ｆは、図においてスペーサ１７１の他の部分より手前側に突出した形状となっており、スペーサ１７１が接着剤１２０層を介してレプリカ層１１５と接合する際に、接着剤１２０が土手部１７１ｆ以外の領域へはみ出すのを抑止する効果がある。そして、撮像領域１７０ａ〜１７０ｄは、撮像素子１１６と配線基板１１７間、配線基板１１７とスペーサ１７１間のそれぞれの接着封止剤層と接着剤層１２０によって完全密閉されたパッケージング構成となっている。
【０１１３】
一例として、光軸Ｌ１とＬ２の間隔について算出してみる。図２０は図１５の光学系まわりを簡略モデル化した図で、図中ダッシュ「’」を付している部材は、ダッシュを付さない同符号の部材にそれぞれ対応している。そして、図中示すようにレンズ部１１５ａ’、１１５ｂ’の光軸Ｌ１’、Ｌ２’の間隔をＬａｂ、撮像領域１７０ａ’，１７０ｂ’の水平方向の寸法をＳａ，Ｓｂ、撮像領域１７０ａ’，１７０ｂ’の間の寸法をＳｌとし、画素ピッチをＳＰとすると、画素ずらしを行うためには以下の関係式を導き出すことができる。
【０１１４】
【数７】
2005130001.tif 000009
【０１１５】
ここで、ΔＬは有限距離にある被写体に対して画素ずらしを行うための間隔補正量で、被写体が無限遠であればΔＬ＝０となる。
【０１１６】
ここで、実施例１で述べたように開口部１１０ａ，１１０ｂは４つの表示画素中心に形成するほうが開口径を大きくすることができるので、本実施例でも４つの開口部１１０ａ〜１１０ｄはそのような位置に形成した。したがって、表示手段１１３の表示画素ピッチをＤＰとすると、Ｌａｂは以下の関係式で表すこともできる。
【０１１７】
【数８】
2005130001.tif 000010
【０１１８】
そして、１つの撮像領域の画素数が３２０×２４０画素のＱＶＧＡサイズで、実施例１と同様に画素ピッチをＳＰ＝０．００３ｍｍ、表示画素ピッチＤＰ＝０．４７６ｍｍとして、式（８）のｎに適当な数値を代入して計算してみると、式（７）においてＳｌが正の数となるのはｎ＝３以上の場合である。Ｓｌが負の数であると、図形的には図２０における撮像領域１７０ａ’と１７０ｂ’が互いに干渉している状態を示しており、撮像領域１７０ａ’と１７０ｂ’がレイアウトできないことになる。本実施例では、各撮像領域１７０ａ’〜１７０ｄ’を低コスト化のため同一チップ上に形成する。そして、チップサイズを小さくするためにはｎができるだけ小さいほうが望ましい。また、距離による視差の変化はＬａｂが増大すると大きくなり、撮影可能な被写体距離範囲において視差の変化を小さくするという観点からもｎは小さいほうがよい。したがって、ｎ＝３とすると、Ｌａｂ＝１．４２９ｍｍ、Ｓｌ＝０．４７０ｍｍとなる（ただしΔＬ＝０とする）。
【０１１９】
前記計算は水平方向の断面において説明したが、垂直方向においても同様である。垂直方向の場合、Ｓａ，Ｓｂが水平方向より小さくなるため、ｎ＝２のとき、Ｌａｂ＝０．９５３ｍｍ、Ｓｌ＝０．２３４ｍｍとなる。
【０１２０】
以上説明したように、４つの結像光学系による画素ずらし技術を応用することで装置全体の厚みを増加させることなくより高解像な画像が得られる構成とした。また、表示画素ピッチに合わせて結像光学系の光軸を設定し、開口部を設けるようにしたので、より明るいＦナンバーの被写体像を得ることが可能となる。
【実施例３】
【０１２１】
実施例３である“撮像装置付き表示システム”を説明する。本実施例は、実施例１における撮像手段を多数個備える撮像装置付き表示システムである。多数個備えることによって、表示手段が大型化した際にも視線の一致した対話型のリアルタイム双方向通信を実現できる。
【０１２２】
図２１は多数個の撮像手段が備えられた本撮像装置付き表示システムの表示パネル１３０を示す平面図である。図中点線で示す３つの四角が撮像手段１１２ａ，１１２ｂ，１１２ｃで実施例１で説明したように背面側に一体的に備えられている。なおこれらの撮像手段の開口部は実施例２で説明したように、開口径の設計自由度が高まることから表示画素の整数倍で形成している。
【０１２３】
図２２は表示パネル１３０に双方向通信を行うアプリケーションソフトが表示されている状態を示す概略図である。アプリケーション１６０には実施例１と同様に画像を表示し、操作部などのユーザインタフェースを備えている。本実施例においては３つの撮像手段を備えているため、撮像手段位置マーク１６４ａ，１６４ｂ，１６４ｃの３つが対応した位置に表示される。そして、これらの撮像手段位置マーク１６４ａ〜１６４ｃのうち、現在使用中である撮像手段に対応した撮像手段位置マークのみが表示されるようになっており、現在は撮像手段１１２ａに対応した撮像手段位置マーク１６４ａのみが表示されている。図中点線で表される撮像手段位置マーク１６４ｂ，１６４ｃは現在非表示状態であることを示す。
【０１２４】
なお、撮像手段位置マーク１６４ｂ，１６４ｃは、表示パネル１３０が完全に消すのではなく、色を変える、半透過表示にするなどして、現在使用中の撮像手段位置マーク１６４ａと区別できるようにしもよい。
【０１２５】
このように、複数の撮像手段のうち、現在使用中である撮像手段が表示パネルを目視することによって容易に認識可能となっている。なお、これらの撮像手段位置マーク１６４ａ〜１６４ｃは実施例１と同様にユーザの設定により任意に表示・非表示を切り替えることができる。
【０１２６】
なお、図２２においてはアプリケーションウィンドウ１６０と現在使用中である撮像手段の撮像手段位置マーク１６４ａが重なっていない状態であるが、アプリケーションウィンドウ１６０は実施例１で説明したように表示パネル１３０内を任意に移動可能であるため、容易に重ねることも可能である。そこで、使用する撮像手段に対応した撮像手段位置マークの表示パネル１３０内における位置をあらかじめ記憶しておき、現在使用中の撮像手段を検知して、使用中の撮像手段に対応した撮像手段位置マークとアプリケーションウィンドウを自動的に重なるように構成するとより使い勝手も向上する。
【０１２７】
また、これら３つの撮像手段１１２ａ〜１１２ｃのうちどの撮像手段を使用するかはユーザが任意に指定可能である。例えば、近年実用化が実現された公知の顔認識技術を利用して、表示画像における顔の位置を判定し、判定した位置に近い撮像手段を待機中から使用中に切り替えれば、より使い勝手が向上する。
【０１２８】
次に、特に表示手段１１３が大型化した際に、複数個の撮像手段１１２を備えることがどのように有効であるかを図２３、２４を用いて説明する。
【０１２９】
図２３は図２１における表示パネル１３０を側面側から見た平面図で、表示パネル１３０と撮影画角の関係を示す図である。図において、一点鎖線は撮像手段１１２ａ〜１１２ｃの光軸、２１０は被写体面を表し、光軸と表示パネル１３０の交点と被写体面２１０を結ぶ線分が垂直方向の撮影最外光線を示している。そして、３つの撮像手段１１２ａ〜１１２ｃの各光軸、撮影最外光線は側面図において互いに重なっているため図のように表される。そして、垂直撮影画角をθｖ、各部材の寸法を図のようにＤｖ，Ｏｖ，Ｌｏと定める
同様に図２４は図２１における表示パネル１３０を上面もしくは底面側から見た平面図で、表示パネル１３０と撮影画角の関係を示す図である。図において、一点鎖線は撮像手段１１２ａ〜１１２ｃの光軸、２１０は被写体面を表し、光軸と表示パネル１３０の交点と被写体面２１０を結ぶ線分が水平方向の撮影最外光線を示している。そして、３つの撮像手段１１２ａ〜１１２ｃの撮影最外光線は図のように隣接する撮像手段で交わり、これはすなわち撮影範囲がオーバーラップしていることとなる。そして、中央の撮像手段の水平撮影画角をθｈ、各部材の寸法を図のようにＤｈ，Ｏｈ，Ｌｏと定める。なお、他の撮像手段についても同様である。
【０１３０】
一例として、表示パネル１３０のサイズが対角長３０インチの大型ディスプレイで、表示パネルのアスペクト比が標準規格の４：３であると、Ｄｈ＝６０９．６０ｍｍ、Ｄｖ＝４５７．２０ｍｍとなる。
【０１３１】
一方、被写体面サイズ、すなわち撮影範囲サイズについては、テレビ電話を目的とすることを考慮すると、人物の胸から上が収まる程度のサイズがよい。そこで、Ｏｖ＝５００．００ｍｍとし、アスペクト比を４：３の縦長とすると、Ｏｈ＝３７５．００ｍｍとなる。ここで、撮影範囲を縦長とした理由は、人物は縦長であることと、本実施例においては水平方向に３つの撮像手段１１２ａ〜１１２ｃを設けたため垂直方向により広い画角を設定したほうが、全体として使い勝手がよい画角を得ることができるからである。
【０１３２】
そして、Ｌｏについては表示パネル１３０のサイズが大型であるので、Ｌｏ＝８００ｍｍとする。
【０１３３】
以上のような条件で、三角関数を用いて画角を算出するとθｖ＝３４．７１°、θｈ＝２６．３８°となる。そして、対角方向の画角、いわゆる撮影画角は４２．６７°となる。したがって実施例１と比較して表示パネルのサイズが大型化した場合、画角がテレ側にシフトする必要があることがわかる。
【０１３４】
ところで、このような大型の表示装置において撮像手段１１２が中央部にしかない場合、Ｄｖに対するＯｖ、Ｄｈに対するＯｈの割合から考えてユーザは画面の中央部付近に留まっていなければならい。しかしながら、本実施例のように複数の撮像手段を配置することによって、より広範囲を適した画角で撮影することが可能となる。
【０１３５】
以上説明したように、本実施例では複数個の撮像手段を設けることによって人物の撮影に適した画角でより広範囲を撮影可能となった。さらに、複数個のうちどの撮像手段が使用中であるか表示するように構成したので容易に視線を一致させることができる。そして、一例として表示パネル１３０のアスペクト比が標準規格の４：３としたが、ワイド規格の１６：９であると、本実施例はより効果的である。
【０１３６】
なお、前記実施例では、撮像手段１１２ａ〜１１２ｃを別個に使用する場合を説明したが、複数個を同時に使用してもよい。その際、撮像手段位置マーク１６４ａ〜１６４ｃを複数個同時に表示し、オーバーラップした撮影画像を画像処理によって繋ぎ合わせて合成すれば、より撮影画角の大きい１つの画像を得られる。これは、テレビ会議などの多人数を撮影する際には有効である。
【０１３７】
〔変形例〕
本変形例は、前記実施例１ないし３の変形例、すなわち、図１３，図２２の撮像手段位置マーク１６４および、１６４ａ〜１６４ｃの変形を示すものである。
【０１３８】
図２５は表示パネル１３０上に表示される撮像手段位置マークの拡大図である。図において、撮像手段位置マークの中央部付近に形成された開口部２０１が、例えば図４における撮像手段１１２の撮像用の開口部１１０ａに相当する。そして、この開口部１１０ａ付近の周りの領域２００（図中斜線部）は光の透過率がほぼ０に近い色（例えば黒色など）となるよう各表示画素を制御する。そうすると、図４における透明絶縁基板１０２やレプリカ層１１５内を反射などして撮像素子１１６上に到達するゴースト，フレア光を無くすことが可能となる。すなわち、通常のレンズにおけるレンズフード機能を撮像手段位置マークが兼ねることになる。したがって、図４における陰極１０８がたとえ透明電極で形成されたとしても、ブラックマトリックス１１０と各表示画素の色で、開口部１１０ａ以外から撮像素子１１６に入射する光線を遮光することが可能となる。
【０１３９】
なお、実施例３のように複数の撮像手段を有する場合は、図２５における撮像手段位置マークの外形線２０２の色などを変えて、どの撮像手段がアクティブ状態にあるかを使用者が視認できるようにすればよい。
【０１４０】
図２６は、撮像手段位置マークを通常ＰＣなどでよくマウスの指標として用いられる矢印型にした例を示すものである。図２５と同様の構成となっている。
図２７は、さらに他の例を示す図で、カメラを示すイラスト２０４が撮像手段位置マークとして用いられている。そして、イラスト２０４中のレンズ中央付近には、撮像手段１１２の撮像用開口部１１０ａに相当する開口部２０５があり、図２５の場合と同様に開口部２０５周りの領域は遮光され、レンズフードの役割を果たすようになっている。
【０１４１】
図２８は、実施例２に示すような複眼光学系を有する撮像手段に対応した撮像手段位置マークを示す例である。イラスト２０６は図２７のイラスト２０４とほぼ同様であるが、イラスト２０６中のレンズ中央付近に形成された遮光領域２０７には、撮像手段の１１４の４つの開口部１１０ａ〜１１０ｄに相当する開口部が形成されている。このとき、各開口部周りの領域も同様に遮光される。
【０１４２】
以上説明したように、撮像手段位置マークを使用者に撮像手段の表示パネル１３０内における位置を知らせるだけではなく、光学的にゴースト，フレア光を防ぐ役割を持たすことで、より良好な撮像を実現できる。
【図面の簡単な説明】
【０１４３】
【図１】単純マトリックス方式の有機ＥＬ表示装置１０１の一部断面図
【図２】有機ＥＬ表示装置１０１を陽極１０３側から見た平面図
【図３】有機ＥＬ表示装置１０１を陰極１０８側から見た平面図
【図４】実施例１で用いる撮像装置付き表示装置の一部分を拡大した概略断面図
【図５】図４における表示手段１１３を陽極１０３側から見た平面図
【図６】図４における表示手段１１３を陰極１０８側から見た平面図
【図７】撮像素子１１６をレンズ部１１５ａ側から見た平面図
【図８】撮像素子１１６に配線基板１１７を接合した状態を斜め上方から見た斜視図
【図９】図４に示す撮像手段１１２の光学系を単純モデル化した図
【図１０】撮像装置付き表示装置１１１の外観斜視図
【図１１】リアルタイム双方向画像通信を実現するシステムを示すブロック図
【図１２】実施例１の電気的な構成を示すブロック図
【図１３（Ａ）】表示パネル１３０にアプリケーションソフトが表示されている状態を示す概略図
【図１３（Ｂ）】表示パネル１３０にアプリケーションソフトが表示されている状態を示す概略図
【図１４】アプリケーションソフトの起動時における動作を示すフローチャート
【図１５】実施例２で用いる撮像装置付き表示装置の一部分を拡大した概略断面図
【図１６】図１５における表示手段１１３を陽極１０３側から見た平面図
【図１７】図１５における表示手段１１３を陰極１０８側から見た平面図
【図１８】実施例２における撮像素子１１６を表示手段１１３側から見た平面図
【図１９】スペーサ１７１を表示手段１１３側から見た平面図
【図２０】図１５の光学系まわりを簡略モデル化した図
【図２１】実施例３で用いる、多数個の撮像手段が備えられた撮像装置付き表示装置の表示パネル１３０を示す平面図
【図２２】表示パネル１３０にアプリケーションソフトが表示されている状態を示す概略図
【図２３】図２１における表示パネル１３０を側面側から見た平面図
【図２４】図２１における表示パネル１３０を上面もしくは底面側から見た平面図
【図２５】変形例における撮像手段位置マークの拡大図
【図２６】他の例における撮像手段位置マークの拡大図
【図２７】他の例における撮像手段位置マークの拡大図
【図２８】他の例における撮像手段位置マークの拡大図
【図２９】従来例の撮像装置付き表示装置の全体斜視図
【図３０】図２９におけるＡ−Ａ’断面における拡大図
【図３１】従来例における被写体の撮像原理を示す図
【符号の説明】
【０１４４】
１１１  撮像装置付き表示装置
１４１  情報処理装置
【図１】
2005130001.tif 000011
【図２】
2005130001.tif 000012
【図３】
2005130001.tif 000013
【図４】
2005130001.tif 000014
【図５】
2005130001.tif 000015
【図６】
2005130001.tif 000016
【図７】
2005130001.tif 000017
【図８】
2005130001.tif 000018
【図９】
2005130001.tif 000019
【図１０】
2005130001.tif 000020
【図１１】
2005130001.tif 000021
【図１２】
2005130001.tif 000022
【図１３（Ａ）】
2005130001.tif 000023
【図１３（Ｂ）】
2005130001.tif 000024
【図１４】
2005130001.tif 000025
【図１５】
2005130001.tif 000026
【図１６】
2005130001.tif 000027
【図１７】
2005130001.tif 000028
【図１８】
2005130001.tif 000029
【図１９】
2005130001.tif 000030
【図２０】
2005130001.tif 000031
【図２１】
2005130001.tif 000032
【図２２】
2005130001.tif 000033
【図２３】
2005130001.tif 000034
【図２４】
2005130001.tif 000035
【図２５】
2005130001.tif 000036
【図２６】
2005130001.tif 000037
【図２７】
2005130001.tif 000038
【図２８】
2005130001.tif 000039
【図２９】
2005130001.tif 000040
【図３０】
2005130001.tif 000041
【図３１】
2005130001.tif 000042