(57)【要約】【課題】表示装置から発せられた光による撮像装置の撮像品質の劣化を低減するために適した撮像装置付き表示装置を提供する。【解決手段】発光輝度を独立に制御可能な複数の発光部をマトリクス状に配列してなる表示装置１０ａと、表示装置１０ａの背後に配置され、表示装置１０ａの２つ以上の発光部の間に設けられた開口１６を通して被写体を撮像する撮像装置２０ａとを一体に備えた撮像装置付き表示装置１であって、表示装置１０ａは、開口１６の両側に位置する少なくとも２つの発光部を、特定の期間において消灯状態に維持し、かつ前記特定の期間を示す撮像指示信号を撮像装置２０ａへ供給するメインコントローラ１８ａを有し、撮像装置２０ａは、前記撮像指示信号に基づいて、前記特定の期間において前記被写体を撮像するように撮像素子２３を制御するカメラコントローラ２６を有する。【選択図】図１
2011044967.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と表示装置とを一体に備えた撮像装置付き表示装置の制御方法であって、
前記表示装置は、発光輝度を独立に制御可能な複数の発光部をマトリクス状に配列してなり、
前記撮像装置は、前記表示装置の背後に配置され、前記表示装置の２つ以上の前記発光部の間に設けられた開口を通して被写体を撮像するように構成されており、
前記表示装置が、前記開口の両側に位置する少なくとも２つの発光部を、特定の期間に消灯状態に維持する消灯ステップと、
前記表示装置が、前記特定の期間を示す撮像指示信号を前記撮像装置へ供給する撮像指示ステップと、
前記撮像装置が、前記撮像指示信号に基づいて、前記特定の期間に前記被写体を撮像する撮像ステップと
を含むことを特徴とする制御方法。
【請求項２】
前記撮像装置が、複数の光電変換素子と、前記複数の光電変換素子に蓄積された電荷を転送する遮光された複数のＣＣＤとを有するインターライン型のＣＣＤイメージセンサを用いて構成される場合に、
前記撮像ステップは、
前記特定の期間に、前記複数の光電変換素子が、前記被写体からの入射光量に応じた電荷を蓄積し、前記複数の光電変換素子から前記複数のＣＣＤのうちの１つへ前記蓄積された各電荷を移動させる電荷蓄積サブステップと、
前記特定の期間以外の期間に、前記複数のＣＣＤが、前記複数の光電変換素子から移動された前記各電荷を転送して順次出力する電荷転送および出力サブステップを含む
ことを特徴とする請求項１に記載の制御方法。
【請求項３】
前記表示装置が映像を表示する場合に、
前記消灯ステップで、
前記表示装置が、前記映像を構成する各フレームにおいて、前記複数の発光部を順次所定の期間消灯させ、前記開口の両側に位置する前記少なくとも２つの発光部が消灯状態に維持される期間は、前記特定の期間において重複している
ことを特徴とする請求項１に記載の制御方法。
【請求項４】
発光輝度を独立に制御可能な複数の発光部をマトリクス状に配列してなる表示装置と、前記表示装置の背後に配置され、前記表示装置の２つ以上の前記発光部の間に設けられた開口を通して被写体を撮像する撮像装置とを一体に備えた撮像装置付き表示装置であって、
前記表示装置は、前記開口の両側に位置する少なくとも２つの発光部を、特定の期間において消灯状態に維持し、かつ前記特定の期間を示す撮像指示信号を前記撮像装置へ供給するメインコントローラを有し、
前記撮像装置は、前記撮像指示信号に基づいて、前記特定の期間において前記被写体を撮像するように撮像素子を制御するカメラコントローラを有する
ことを特徴とする撮像装置付き表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置付き表示装置およびその制御方法に関する。
【背景技術】
【０００２】
従来、撮像装置と表示装置とを一体に備えた撮像装置付き表示装置が提案されている（例えば、特許文献１を参照）。
【０００３】
図９および図１０は、特許文献１に開示される撮像装置付き表示装置９の要部を抜粋して示した断面図および平面図である。
【０００４】
図９に示されるように、撮像装置付き表示装置９は、大まかに表示装置１０と、表示装置１０の背部に配置された撮像装置２０とからなり、撮像装置２０は、表示装置１０に設けられた開口１６を通して被写体（例えば、表示装置１０を見ているユーザ）を撮像する。
【０００５】
表示装置１０は、一例として、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置であり、基板１１上に、透明な導電体からなる陽極１２、遮光性の絶縁体からなるブラックマトリクス（本明細書では、隔壁とも言う）１３、電界発光機能を有する有機層を含む発光機能層１４、反射性の導電体からなる陰極１５をこの順に積層して構成される。
【０００６】
陽極１２が隔壁１３によって複数の部分に分離されることによって、画素ごとの発光部１４ａが形成されている。発光部１４ａで生じた光は紙面右方へ出射される。隔壁１３の一部に、被写体からの光を導入する開口１６が設けられている。
【０００７】
撮像装置２０は、レプリカ層２１、撮像素子パッケージユニット（本明細書では、撮像モジュールとも言う）２２、撮像素子２３から構成され、表示装置１０の開口１６を通して被写体を撮像する。レプリカ層２１は、表示装置１０の裏面封止、および開口１６から導入された光３０を集光するレンズとして機能する。
【０００８】
図１０に示されるように、発光部１４ａは表示面にマトリクス状に配置され、画素マトリクス１７を構成している。撮像モジュール２２は表示装置１０の背部に配置されている。
【０００９】
このように構成された撮像装置付き表示装置９によれば、表示装置１０と一体の撮像装置２０によって、表示装置１０を見ているユーザの視線方向からそのユーザを撮像できるので、例えばテレビ電話システムなどにおいて、相手と視線を一致させたユーザの自然な映像を撮像し表示することができる。
【００１０】
なお、特許文献１は、開口１６以外の隔壁１３が設けられていない領域（例えば、発光部１４ａ）から進入する外光によってゴーストやフレアが発生して撮像品質が悪化する懸念に対し、次のような対策を示している。
【００１１】
すなわち、隔壁１３を発光機能層１４が完全に分断されるように厚く形成すること、および陰極１５のレプリカ層２１側に低反射率の膜を形成することで、外光によるゴーストやフレアの発生を制御できるとしている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００５−０１０４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、従来技術の撮像装置付き表示装置９によれば、外光以外にも、表示装置１０から発せられた光が撮像装置２０に進入するため、フレアの発生による像性能の悪化が懸念される。
【００１４】
具体的に、隔壁１３や陰極１５は完全には光を遮断できないので、表示装置１０から発せられた光は隔壁１３や陰極１５を透過して撮像装置２０に進入する。また、表示装置１０から発せられた光は、基板１１と大気との界面で反射して開口１６から撮像装置２０に進入する。
【００１５】
この場合、光源である発光部１４ａが、撮像装置２０のすぐ近くにあること、および非常に高輝度（例えば、１０００ｎｉｔ以上）で発光することから、表示装置１０から発せられた光が撮像装置２０の撮像品質に与える悪影響は無視できない。このような問題に対し、特許文献１は、有効な解決策を示していない。
【００１６】
本発明は、上記の事情に鑑みてなされたものであり、表示装置から発せられた光による撮像装置の撮像品質の劣化を低減するために適した撮像装置付き表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
前記の目的を達成するため、本発明に係る制御方法の１つの態様は、撮像装置と表示装置とを一体に備えた撮像装置付き表示装置の制御方法であって、前記表示装置は、発光輝度を独立に制御可能な複数の発光部をマトリクス状に配列してなり、前記撮像装置は、前記表示装置の背後に配置され、前記表示装置の２つ以上の前記発光部の間に設けられた開口を通して被写体を撮像するように構成されており、前記表示装置が、前記開口の両側に位置する少なくとも２つの発光部を、特定の期間に消灯状態に維持する消灯ステップと、前記表示装置が、前記特定の期間を示す撮像指示信号を前記撮像装置へ供給する撮像指示ステップと、前記撮像装置が、前記撮像指示信号に基づいて、前記特定の期間に前記被写体を撮像する撮像ステップとを含む。
【００１８】
このような方法によれば、前記表示装置において、前記開口の両側に位置する発光部が消灯状態に維持されている前記特定の期間に、前記撮像装置において、被写体を撮像するので、撮像品質に最も悪い影響を与えると考えられる前記発光部から発せられた光の影響を回避して、良好な撮像品質を得ることができる。
【００１９】
また、前記撮像装置が、複数の光電変換素子と、前記複数の光電変換素子に蓄積された電荷を転送する遮光された複数のＣＣＤとを有するインターライン型のＣＣＤイメージセンサを用いて構成される場合に、前記制御方法における前記撮像ステップは、前記特定の期間に、前記複数の光電変換素子が、前記被写体からの入射光量に応じた電荷を蓄積し、前記複数の光電変換素子から前記複数のＣＣＤのうちの１つへ前記蓄積された各電荷を移動させる電荷蓄積サブステップと、前記特定の期間以外の期間に、前記複数のＣＣＤが、前記複数の光電変換素子から移動された前記各電荷を転送して順次出力する電荷転送および出力サブステップを含んでもよい。
【００２０】
このような方法によれば、前記撮像装置が、インターライン型のＣＣＤイメージセンサを用いて構成される場合に適した制御を行うことができる。
【００２１】
また、前記表示装置が映像を表示する場合に、前記制御方法における前記消灯ステップで、前記表示装置が、前記映像を構成する各フレームにおいて、前記複数の発光部を順次所定の期間消灯させてもよく、前記開口の両側に位置する前記少なくとも２つの発光部が消灯状態に維持される期間は、前記特定の期間において重複している。
【００２２】
このような方法によれば、前記表示装置において、前記複数の発光部をフレームごとに所定の期間消灯させる、いわゆる黒挿入と呼ばれる動作が行われる場合に、前記開口の両側に位置する発光部が黒挿入によって消灯状態に維持されている期間を利用して、撮像装置で被写体を撮像できる。
【００２３】
また、本発明に係る撮像装置付き表示装置の１つの態様は、発光輝度を独立に制御可能な複数の発光部をマトリクス状に配列してなる表示装置と、前記表示装置の背後に配置され、前記表示装置の２つ以上の前記発光部の間に設けられた開口を通して被写体を撮像する撮像装置とを一体に備えた撮像装置付き表示装置であって、前記表示装置は、前記開口の両側に位置する少なくとも２つの発光部を、特定の期間において消灯状態に維持し、かつ前記特定の期間を示す撮像指示信号を前記撮像装置へ供給するメインコントローラを有し、前記撮像装置は、前記撮像指示信号に基づいて、前記特定の期間において前記被写体を撮像するように撮像素子を制御するカメラコントローラを有する。
【００２４】
このような構成によれば、前記表示装置において、前記開口の両側に位置する発光部が消灯状態に維持されている前記特定の期間に、前記撮像装置において、被写体を撮像するので、撮像品質に最も悪い影響を与えると考えられる前記発光部から発せられた光の影響を回避して、良好な撮像品質を得ることができる。
【発明の効果】
【００２５】
上記説明したように、本発明によると、前記表示装置において、前記開口の両側に位置する発光部が消灯状態に維持されている前記特定の期間に、前記撮像装置において、被写体を撮像するので、撮像品質に最も悪い影響を与えると考えられる前記発光部から発せられた光の影響を回避して、良好な撮像品質を得ることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態に係る撮像装置付き表示装置の機能的な構成の一例を示すブロック図
【図２】本発明の実施の形態に係る撮像装置付き表示装置の大まかな動作を示すタイミングチャート
【図３】本発明の実施の形態に係る表示装置の機能的な構成の一例を示すブロック図
【図４】本発明の実施の形態に係る画素回路の要部の構造の一例を示す断面図
【図５】本発明の実施の形態に係る撮像装置の機能的な構成の一例を示すブロック図
【図６】本発明の実施の形態に係る撮像素子の要部の構造の一例を示す断面図
【図７】本発明の実施の形態に係る撮像装置付き表示装置の詳細な動作の一例を示すタイミングチャート
【図８】本発明の実施の形態に係る撮像装置付き表示装置を用いた携帯電話機の一例を示す外観図
【図９】従来の撮像装置付き表示装置の要部の構造を概念的に示す断面図
【図１０】従来の撮像装置付き表示装置の要部の構造を概念的に示す平面図
【発明を実施するための形態】
【００２７】
本発明の撮像装置付き表示装置は、撮像装置と表示装置とを一体に備えた装置であり、表示装置から発せられた光による撮像装置の撮像品質の劣化を低減するための特有の制御を行う点に特徴がある。
【００２８】
以下、本発明の実施の形態に係る撮像装置付き表示装置について、図面を参照しながら詳細に説明する。
【００２９】
図１は、本発明の実施の形態に係る撮像装置付き表示装置１の機能的な構成の一例を示すブロック図である。撮像装置付き表示装置１は、大まかには、表示装置１０ａおよび撮像装置２０ａからなる。
【００３０】
撮像装置付き表示装置１の基本的な構造は、図９および図１０に示される従来の撮像装置付き表示装置９と同様であり、表示装置１０および撮像装置２０が、それぞれ撮像装置付き表示装置１の表示装置１０ａおよび撮像装置２０ａに対応する。
【００３１】
以下の説明において、撮像装置付き表示装置１の構成要素のうち従来と共通するものには、撮像装置付き表示装置９の構成要素と共通する符号を用いて参照する。
【００３２】
表示装置１０ａは、入力される表示用のビデオ信号で表される映像を表示する表示装置であり、例えばアクティブマトリクス型の有機ＥＬ表示装置である。
【００３３】
表示装置１０ａは、発光部としての有機ＥＬ素子を含む複数の画素回路を例えばｍ行ｎ列のマトリクス状に配置してなる画素マトリクス１７、ならびに各画素回路を制御するメインコントローラ１８ａ、ゲートドライバ１８ｂ、およびソースドライバ１８ｃからなる。開口１６は、画素マトリクス１７のａ行とａ＋１行との間に設けられている。特に、メインコントローラ１８ａは、撮像を指示する撮像指示信号を、撮像装置２０ａへ供給する。
【００３４】
メインコントローラ１８ａ、ゲートドライバ１８ｂ、およびソースドライバ１８ｃは、例えば半導体集積回路装置によって実現されてもよい。そのような半導体集積回路装置は、慣用の構成に従って、例えば図９の画素マトリクス１７の外周部に配置されてもよい。
【００３５】
撮像装置２０ａは、表示装置１０ａから供給される信号によって指示されるタイミングで、表示装置１０ａの開口１６を通して被写体を撮像し、撮像結果であるビデオ信号を出力する撮像装置であり、例えばインターライン型のＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサを用いてもよい。ここで、インターライン型のＣＣＤとは、被写体からの入射光を光電変換した結果としての電荷を、遮光されたＣＣＤによって、非所望の外光の影響を受けずに転送できるイメージセンサを言う。
【００３６】
撮像装置２０ａは、半導体基板上に複数の光電変換素子および複数のＣＣＤを形成してなる撮像素子２３、撮像素子２３に対する駆動信号を生成するタイミング生成器２４、撮像素子２３から出力される画像信号を処理する信号処理部２５、および撮像装置２０ａの全体を制御するカメラコントローラ２６からなる。
【００３７】
タイミング生成器２４、信号処理部２５、およびカメラコントローラ２６は、例えば、撮像素子２３と同一の半導体基板上に形成された回路や、撮像素子２３とは別体のデジタル信号プロセッサ（図示せず）によって実現されてもよい。
【００３８】
次に、前述のように構成された撮像装置付き表示装置１の基本的な動作について説明する。
【００３９】
図２は、撮像装置付き表示装置１の動作の一例を示すタイミングチャートである。
【００４０】
なお、以下の説明では、理解の便宜のために具体的な数値を用いるが、これらの数値は本発明を限定するものではない。
【００４１】
表示装置１０ａは、入力される表示用のビデオ信号で表される映像を、例えば毎秒３０フレームのプログレシブスキャンで表示する。映像の表示は、映像の１フレームを構成する各ラインを、フレーム時間長である１／３０秒の間に、画素マトリクス１７の対応する行に順次表示することにより行われる。
【００４２】
表示装置１０ａは、画素マトリクス１７の各行の発光部をフレーム時間長の例えば４０％にあたる１／７５秒間消灯状態に維持する、黒挿入と呼ばれる動作を行う。このような黒挿入を行うことにより、表示された映像に対して人が感じる残像感を低減させることができる。黒挿入も、映像の表示と同様に、画素マトリクス１７の行ごとに順次行われる。
【００４３】
表示装置１０ａは、撮像指示信号を撮像装置２０ａに供給することにより、各フレームの画素マトリクス１７のａ行およびａ＋１行の両方の発光部が消灯状態に維持されている期間に被写体を撮像するように撮像装置２０ａを制御する。
【００４４】
撮像装置２０ａは、表示装置１０ａから供給される撮像指示信号に従って、画素マトリクス１７のａ行およびａ＋１行の両方の発光部が消灯状態に維持されている時刻Ｔ１から時刻Ｔ２までの期間に、電荷蓄積動作として、被写体からの入射光を光電変換し、光電変換により得られた電荷をＣＣＤへ移動させる。
【００４５】
その後、画素マトリクス１７のａ行およびａ＋１行の少なくとも一方で映像表示が行われる時刻Ｔ２から時刻Ｔ３までの期間に、電荷転送および出力動作として、光電変換素子から移動された電荷はＣＣＤ内で転送され、順次信号処理部２５へ出力され、信号処理部２５での処理を経て、撮像結果であるビデオ信号として出力される。
【００４６】
このような動作をインターライン型のＣＣＤイメージセンサを用いて行うことによって、開口１６の両側に隣接するａ行およびａ＋１行の両方の発光部が消灯状態に維持されている期間に、被写体からの入射光量に応じた電荷をＣＣＤへ移動し終えるので、撮像装置２０ａの撮像品質に最も悪い影響を与えると考えられるａ行およびａ＋１行の発光部１４ａから発せられた光の影響を回避することができる。
【００４７】
図２に示される動作を実現するための、表示装置１０ａおよび撮像装置２０ａの構成の具体例について、さらに説明を続ける。
【００４８】
図３は、表示装置１０ａの機能的な構成の一具体例を示すブロック図である。
【００４９】
メインコントローラ１８ａは、表示用のビデオ信号ＶＩＤＥＯinに含まれるフレーム同期信号ＶＳＹＮＣから行スキャン用の行クロック信号ＬＣＬＫを生成する行クロック生成器１０１、撮像指示信号ＣＡＰＴを生成する撮像指示部１０２、および表示用のビデオ信号ＶＩＤＥＯで表される画素ごとの輝度データを一時的に保持する映像バッファ１０６からなる。
【００５０】
行クロック生成器１０１は、表示用のビデオ信号ＶＩＤＥＯinに含まれるフレーム同期信号ＶＳＹＮＣに従って、各フレームにおいて、画素マトリクス１７のｍ行を２回スキャンするための２組のｍ個のパルス（つまり２ｍ個のパルス）を行クロック信号ＬＣＬＫとして生成する。
【００５１】
撮像指示部１０２は、所定の値（例えば、ａ＋１）を保持しているレジスタ１０３、行クロック信号ＬＣＬＫをカウントする２ｍ進のカウンタ１０４、カウンタ１０４のカウント値がレジスタ１０３に保持されている値と一致したときに撮像指示信号ＣＡＰＴを出力する比較器１０５からなる。
【００５２】
ゲートドライバ１８ｂは、例えばｍ段のシフトレジスタを用いて構成される。ゲートドライバ１８ｂは、行クロック信号ＬＣＬＫに従って、各行の選択線に順次、選択信号ＳＥＬ1・・・ＳＥＬmを出力する行スキャンを、各フレームにおいて２回行う。
【００５３】
ソースドライバ１８ｃは、１回目の行スキャンの間は、映像バッファ１０６の内容とは無関係に、各列のデータ線に黒（最低輝度）を表す輝度信号ＤＡＴＡ1・・・ＤＡＴＡnを出力し、２回目の行スキャンの間は、行ごとに各列の画素の輝度データを映像バッファ１０６から読み出し、列ごとに設けられたＤＡＣにて電圧信号に変換し、変換された電圧信号を、輝度信号ＤＡＴＡ1・・・ＤＡＴＡnとして各列のデータ線に出力する。
【００５４】
画素マトリクス１７に配置される各々の画素回路１７１は、選択トランジスタ１７２、キャパシタ１７３、駆動トランジスタ１７４、および発光部１４ａに対応する有機ＥＬ素子１７５から構成される。
【００５５】
画素回路１７１に接続されている選択線に選択信号ＳＥＬが出力されると、選択トランジスタ１７２がＯＮになり、データ線に出力されている輝度信号ＤＡＴＡに応じた電圧が、選択トランジスタ１７２を介してキャパシタ１７３に保持される。
【００５６】
駆動トランジスタ１７４は、キャパシタ１７３に保持された電圧に応じた電流で有機ＥＬ素子１７５を駆動することにより、有機ＥＬ素子１７５を輝度信号ＤＡＴＡに応じた輝度で発光させる。
【００５７】
なお、本発明では、画素回路１７１には特徴はなく、周知の画素回路が用いられる。ここでは、典型的な一例を示すために、アクティブマトリクス型の有機ＥＬ表示装置に適用される一般的な画素回路の要部の構造を用いて、画素回路１７１の構造を簡単に説明する。
【００５８】
図４は、画素回路１７１の要部の基板上における構造の一例を示す断面図である。図４には、３つの画素回路１７１に含まれる駆動トランジスタ１７４および有機ＥＬ素子１７５の断面構造が示されている。
【００５９】
図４に示されるように、ガラスまたは樹脂からなる透明基板１１１上に、多結晶シリコン膜１１５、ゲート絶縁膜１１２、ゲート電極１１６、層間絶縁膜１１３、ソース・ドレイン電極１１７、１１８、平坦化絶縁膜１１４が、この順に積層され、画素ごとの駆動回路を構成している。
【００６０】
多結晶シリコン膜１１５、ゲート絶縁膜１１２、ゲート電極１１６、層間絶縁膜１１３、およびソース・ドレイン電極１１７、１１８によって、薄膜トランジスタである駆動トランジスタ１７４が形成されている。
【００６１】
なお、このような薄膜トランジスタを用いた駆動回路の構成は周知であるため、詳細な説明を省略する。ここでは、便宜上、透明基板１１１から平坦化絶縁膜１１４までを基板１１と呼ぶ。
【００６２】
基板１１上には、従来技術の項で説明したように、画素ごとに分離された陽極１２、隔壁１３、発光機能層１４、および陰極１５が、この順に積層されている。
【００６３】
発光機能層１４は、一例として、正孔注入層１４１、正孔輸送層１４２、有機層１４３、電子輸送層１４４、および電子注入層１４５からなる積層構造体である。
【００６４】
基板１１の上方に設けられる各層の材料の一例を挙げると、陽極１２にはＩＴＯ（Ｉｎｄｉｕｍ  Ｔｉｎ  Ｏｘｉｄｅ）、隔壁１３には遮光性の絶縁樹脂、陰極１５にはＡＰＣ（銀、パラジウム、銅合金）を用いることができる。
【００６５】
また、正孔注入層１４１には銅フタロシアニン、正孔輸送層１４２にはα−ＮＰＤ（Ｂｉｓ［Ｎ−（１−Ｎａｐｈｔｈｙｌ）−Ｎ−Ｐｈｅｎｙｌ］ｂｅｎｚｉｄｉｎｅ）、有機層１４３にはＡｌｑ3（ｔｒｉｓ（８−ｈｙｄｒｏｘｙｑｕｉｎｏｌｉｎｅ）ａｌｕｍｉｎｕｍ）、電子輸送層１４４にはオキサゾール誘導体、電子注入層１４５にはＡｌｑ3を用いることができる。
【００６６】
なお、これらの材料は一例であって、それぞれの層への適性が知られた他の材料を用いてもよい。
【００６７】
図５は、撮像装置２０ａの機能的な構成の一具体例を示すブロック図である。
【００６８】
撮像素子２３は、基板上にマトリクス状に形成され、各々が入射光量に応じた量の電荷を蓄積する複数の光電変換素子２３１、基板に電気的に接続された基板バイアス端子２３２、駆動信号Ｖ１〜Ｖ４で駆動される複数のＶＣＣＤ（垂直ＣＣＤ）２３３、駆動信号Ｈ１、Ｈ２で駆動されるＨＣＣＤ（水平ＣＣＤ）２３４、および読み出しアンプ２３５から構成される。ＶＣＣＤ２３３およびＨＣＣＤ２３４は、遮光膜２３６で覆われており、非所望の外光の影響を受けずに電荷を転送できる。
【００６９】
カメラコントローラ２６は、表示装置１０ａのメインコントローラ１８ａから撮像指示信号ＣＡＰＴが与えられると、タイミング生成器２４から基板バイアス端子２３２へ所定の基板バイアス電圧Ｖｓｕｂを印加することにより光電変換素子２３１に蓄積されている電荷を基板へ排出させる、いわゆる電子シャッター動作を行う。そして、光電変換素子２３１が入射光量に応じた量の電荷を蓄積するための時間が経過するのを待ってから、タイミング生成器２４からＶＣＣＤ２３３およびＨＣＣＤ２３４へそれぞれ駆動信号Ｖ１〜Ｖ４および駆動信号Ｈ１、Ｈ２を供給する。
【００７０】
各光電変換素子２３１からの電荷は、ＶＣＣＤ２３３およびＨＣＣＤ２３４を通して読み出しアンプ２３５へ転送され、読み出しアンプ２３５は電荷量に応じた電圧信号を出力する。
【００７１】
信号処理部２５は、読み出しアンプ２３５からの電圧信号に、相関二重サンプリング（ＣＤＳ）、自動ゲイン調整（ＡＧＣ）、アナログデジタル変換（ＡＤＣ）といった各種の処理を施すことによって、撮像結果であるビデオ信号ＶＩＤＥＯoutを出力する。
【００７２】
なお、本発明では、撮像素子２３には特徴はなく、周知の撮像素子が用いられる。ここでは、典型的な一例を示すために、一般的なインターライン型のＣＣＤイメージセンサの要部の構造を用いて、撮像素子２３の構造を簡単に説明する。
【００７３】
図６は、撮像素子２３の要部である、光電変換素子２３１およびＶＣＣＤ２３３の一部分の半導体基板上における構造の一例を示す断面図である。
【００７４】
図６に示されるように、Ｎ型の半導体基板２７１にはＰ型ウェル領域２７２が形成され、Ｐ型ウェル領域２７２には、光電変換素子２３１を構成する高濃度のＮ型の半導体領域２７３、およびＶＣＣＤ２３３を構成するＮ型のチャネル領域２７４が形成されている。Ｎ型の半導体基板２７１には、基板バイアス端子２３２が電気的に接続されている。
【００７５】
半導体基板２７１上には、図示しない絶縁膜を介して電極２７５が形成され、電極２７５の上には遮光膜２３６が形成されている。電極２７５には、駆動信号Ｖ１が印加される。
【００７６】
被写体からの光は、紙面の左方から光電変換素子２３１へ入射する。
【００７７】
このように構成された撮像素子２３において、光電変換素子２３１が逆バイアスされ、かつ駆動信号Ｖ１を低い電圧にしている状態で、Ｎ型の半導体領域２７３には入射光量に応じた量の電荷が蓄積される。
【００７８】
Ｎ型の半導体領域２７３に蓄積された電荷は、駆動信号Ｖ１を高い電圧にすることによってＮ型のチャネル領域２７４へ移動する。Ｎ型のチャネル領域２７４へ移動した電荷は、遮光されたＶＣＣＤ２３３であるＮ型のチャネル領域２７４および遮光されたＨＣＣＤ２３４内を、非所望の外光による雑音電荷が混入することなく転送される。
【００７９】
また、Ｎ型の半導体領域２７３に蓄積された非所望の電荷は、基板バイアス端子２３２に高い電圧の基板バイアス電圧Ｖｓｕｂを印加して光電変換素子２３１を順バイアスにすることで、Ｎ型の半導体基板２７１へ排出される。この動作が前述の電子シャッター動作であり、全ての光電変換素子２３１で一斉に行われる。
【００８０】
次に、前述のように構成された表示装置１０ａおよび撮像装置２０ａの詳細な動作について説明する。
【００８１】
図７は、表示装置１０ａおよび撮像装置２０ａの動作の一具体例を示すタイミングチャートである。
【００８２】
表示装置１０ａにおいて、行クロック生成器１０１は、表示用のビデオ信号ＶＩＤＥＯinに含まれるフレーム同期信号ＶＳＹＮＣの２つのパルスの間（つまり１フレームの間）に、２組のｍ個のパルスを行クロック信号ＬＣＬＫとして生成する。各組のｍ個のパルスは、フレーム時間長１／３０秒の４０％にあたる１／７５秒の間に生成される。
【００８３】
ゲートドライバ１８ｂは、行クロック信号ＬＣＬＫに従って、各行の選択線に順次選択信号を出力する行スキャンを２回行う。図７には、開口１６の両側に隣接するａ行およびａ＋１行の選択線に出力される選択信号ＳＥＬa、ＳＥＬa+1が示されている。
【００８４】
ソースドライバ１８ｃは、１回目の行スキャンの間は、黒（最低輝度）を表す輝度信号ＤＡＴＡを出力する。
【００８５】
１回目の行スキャンにおける行クロック信号ＬＣＬＫのａ番目およびａ＋１番目のパルスに応じて、それぞれａ行およびａ＋１行の画素回路１７１で黒が表示される。その結果、時刻Ｔ１以降は、ａ行およびａ＋１行の両方の画素回路１７１の有機ＥＬ素子１７５が消灯する。
【００８６】
撮像指示部１０２において、レジスタ１０３に値ａ＋１が保持されているとして、時刻Ｔ１に、１回目の行スキャンにおける行クロック信号ＬＣＬＫのａ＋１番目のパルスでカウンタ１０４の値がａ＋１になると、比較器１０５は撮像指示信号ＣＡＰＴを出力する。
【００８７】
撮像装置２０ａにおいて、カメラコントローラ２６は、撮像指示信号ＣＡＰＴを受信すると、タイミング生成器２４から基板へ所定の基板バイアス電圧Ｖｓｕｂを印加する電子シャッター動作を行う。これにより、暗電流や、表示装置１０ａから発せられた非所望の光によって光電変換素子２３１に蓄積されている非所望の電荷が、一斉に排出される。
【００８８】
ソースドライバ１８ｃは、２回目の行スキャンの間は、表示用のビデオ信号に従って、選択信号ＳＥＬが出力される行１・・・ｍにおける画素の輝度を表わす輝度信号ＤＡＴＡを順次出力する。
【００８９】
２回目の行スキャンにおける行クロック信号ＬＣＬＫのａ番目およびａ＋１番目のパルスに応じて、それぞれａ行およびａ＋１行の画素回路１７１で映像を構成する画素が表示される。その結果、時刻Ｔ２以降は、ａ行およびａ＋１行の少なくとも一方の画素回路１７１の有機ＥＬ素子１７５が映像の内容に応じた輝度で発光する。
【００９０】
タイミング生成器２４は、時刻Ｔ２までに、駆動信号Ｖ１を高い電圧にすることにより、光電変換素子２３１からＶＣＣＤ２３３へ電荷の移動を完了させる。そして、タイミング生成器２４は、駆動信号Ｖ１〜Ｖ４、Ｈ１、Ｈ２をＶＣＣＤ２３３およびＨＣＣＤ２３４へ供給することにより、後続するフレームにおいて電子シャッター動作が行われる時刻Ｔ３までに、ＶＣＣＤ２３３およびＨＣＣＤ２３４内で電荷を転送し、電荷量に応じた電圧信号の信号処理部２５への出力を完了させる。
【００９１】
電荷量に応じた電圧信号は、信号処理部２５においてＣＤＳ、ＡＧＣ、ＡＤＣといった各種の処理を施され、撮像結果であるビデオ信号として出力される。
【００９２】
このような動作を行うことによって、前述したように、開口１６の両側に隣接するａ行およびａ＋１行の両方の有機ＥＬ素子１７５が消灯状態に維持されている期間に、被写体からの入射光量に応じた量の電荷を光電変換素子２３１からＶＣＣＤ２３３へ移動し終えるので、撮像装置２０ａの撮像品質に最も悪い影響を与えると考えられるａ行およびａ＋１行の有機ＥＬ素子１７５から発せられた光の影響が回避される。
【００９３】
本発明の撮像装置付き表示装置は、一例として、携帯電話機に組み込まれる。
【００９４】
図８は、撮像装置付き表示装置１を組み込んだ携帯電話機３００の外観の一例を示す外観図である。表示装置１０ａは、携帯電話機３００の主表示部として用いられ、撮像装置２０ａは、表示装置１０ａに設けられた開口１６を通して、表示装置１０ａを見ているユーザを撮像する。
【００９５】
このように構成された携帯電話機３００によれば、撮像装置２０は、表示装置１０ａを見ているユーザを、そのユーザの視線方向から撮影し、かつ、表示装置１０ａから発せられた光による撮像品質の劣化を低減することができる。そのため、携帯電話機３００を例えばテレビ電話機として使用する際に、相手と視線を一致させたユーザの自然な映像を、良好な画質で撮像し表示することができる。
【００９６】
撮像装置付き表示装置１は、携帯電話機の他にも、例えばパソコンのモニタ装置として好適である。
【００９７】
以上、本発明の撮像装置付き表示装置、およびその制御方法について、実施の形態に基づいて説明した。本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【００９８】
例えば、実施の形態では、レジスタ１０３に保持されている値とカウンタ１０４と行クロックＬＣＬＫをカウントして得られた値との一致信号を撮像指示信号ＣＡＰＴとして用いる例を説明したが、選択信号ＳＥＬa+1を撮像指示信号ＣＡＰＴとして用いてもよい。
【００９９】
この場合、１回目の行スキャンで出力される選択信号ＳＥＬa+1でカメラコントローラ２６は撮像の制御を開始し、２回目の行スキャンの間に出力される選択信号ＳＥＬa+1はカメラコントローラ２６にて無視すればよい。
【０１００】
また、実施の形態では、黒挿入を行うために、各画素回路に黒（最低輝度）を示す輝度信号を書き込む例を説明したが、これに限るものではない。例えば、有機ＥＬ素子１７５の駆動用の電圧を制御する構成、およびキャパシタ１７３の保持電圧を放電させるためのトランジスタを各画素回路に追加する構成など、他の構成を用いて黒挿入を行う場合も本発明に含まれる。
【０１０１】
また、発光部から発せられた光の影響をより確実に回避するために、表示装置１０ａが、開口１６の両側にあるａ−１行からａ＋２行までの４行全ての発光部を黒挿入で消灯状態に維持している期間や、ａ−２行からａ＋３行までの６行全ての発光部を黒挿入で消灯状態に維持している期間に、撮像装置２０ａが、被写体を撮像してもよい。
【０１０２】
また、開口１６の両側に隣接する画素回路１７１の有機ＥＬ素子１７５を消灯する動作は、実施の形態で説明したようなフレームごとの黒挿入の一部ではなく、黒挿入とは関係なく、例えば撮像のためだけに消灯する専用の動作であってもよい。
【０１０３】
また、実施の形態では、表示装置１０をアクティブマトリクス型の有機ＥＬ表示装置の例で説明したが、これに限るものではなく、表示装置１０が画素ごとに発光輝度を制御可能な画像表示装置である場合は、本発明に広く含まれる。
【産業上の利用可能性】
【０１０４】
本発明の撮像装置付き表示装置は、表示内容を見ているユーザをそのユーザの視線方向から良好な画質で撮像できる複合的な装置として、携帯電話機、パソコンのモニタ装置といった、撮像と表示との複合的な機能が要求される各種の応用装置に利用できる。
【符号の説明】
【０１０５】
１、９    撮像装置付き表示装置
１０、１０ａ    表示装置
１１    基板
１２    陽極
１３    隔壁
１４    発光機能層
１４ａ    発光部
１５    陰極
１６    開口
１７    画素マトリクス
１８ａ    メインコントローラ
１８ｂ    ゲートドライバ
１８ｃ    ソースドライバ
２０、２０ａ    撮像装置
２１    レプリカ層
２２    撮像モジュール
２３    撮像素子
２４    タイミング生成器
２５    信号処理部
２６    カメラコントローラ
３０    光
１０１    行クロック生成器
１０２    撮像指示部
１０３    レジスタ
１０４    カウンタ
１０５    比較器
１０６    映像バッファ
１１１    透明基板
１１２    ゲート絶縁膜
１１３    層間絶縁膜
１１４    平坦化絶縁膜
１１５    多結晶シリコン膜
１１６    ゲート電極
１１７    ドレイン電極
１４１    正孔注入層
１４２    正孔輸送層
１４３    有機層
１４４    電子輸送層
１４５    電子注入層
１７１    画素回路
１７２    選択トランジスタ
１７３    キャパシタ
１７４    駆動トランジスタ
１７５    有機ＥＬ素子
２３１    光電変換素子
２３２    基板バイアス端子
２３３    ＶＣＣＤ
２３４    ＨＣＣＤ
２３５    読み出しアンプ
２３６    遮光膜
２７１    半導体基板
２７２    Ｐ型ウェル領域
２７３    半導体領域
２７４    チャネル領域
２７５    電極
３００    携帯電話機
【図１】
2011044967.tif 000003
【図２】
2011044967.tif 000004
【図３】
2011044967.tif 000005
【図４】
2011044967.tif 000006
【図５】
2011044967.tif 000007
【図６】
2011044967.tif 000008
【図７】
2011044967.tif 000009
【図８】
2011044967.tif 000010
【図９】
2011044967.tif 000011
【図１０】
2011044967.tif 000012