(57)【要約】【課題】  利用者の顔を撮影しつつ相手画像の表示品位の低下をおさえた撮像装置付き表示装置を提供すること。【解決手段】  本発明の撮像装置付き表示装置は、波長の異なる光を発光する光源を有した照明装置と、発光波長毎に表示画像が制御される液晶表示装置と、照明装置と液晶表示装置を時系列に制御する第１の制御手段と、光学系及び光電変換信号を保持する信号保持部を有した撮像素子とからなる撮像装置と、撮像素子の撮像タイミングを制御する第２の制御手段と、からなり、第２の制御手段は照明装置の発光タイミングと同期して撮像素子の撮影タイミングを制御するとともに、液晶表示装置の表示周期と同期して撮像素子の画像が出力されるように撮像素子を制御することを特徴とした。【選択図】  図３
2018133636.tif 000002
【特許請求の範囲】
【請求項１】
波長の異なる光を発光する光源を有した照明装置と、
発光波長毎に表示画像が制御される液晶表示装置と、
前記照明装置と液晶表示装置を時系列に制御する第１の制御手段と、
光学系及び光電変換信号を保持する信号保持部を有した撮像素子とからなる撮像装置と、
前記撮像素子の撮像タイミングを制御する第２の制御手段と、
からなる撮像装置付き表示装置において、
前記第２の制御手段は前記照明装置の発光タイミングと同期して前記撮像素子の撮影タイミングを制御するとともに、前記液晶表示装置の表示周期と同期して前記撮像素子の画像が出力されるように前記撮像素子を制御することを特徴とする撮像装置付き表示装置。
【請求項２】
前記第１の制御手段は、前記照明装置の発光時間が前記液晶表示装置の表示時間よりも短くなるように制御を行うことを特徴とする請求項１に記載の撮像装置付き表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置付き表示装置に関する。
【背景技術】
【０００２】
近年、通信網の発展によりテレビ電話などのリアルタイム双方向通信が可能となった。テレビ電話は利用者の顔を電気的な画像信号に変換する撮像装置と電気的な画像信号を光信号に変換して表示する表示装置とから構成されている。テレビ電話の利用者は、表示装置の画面に映された相手の顔を見ながら会話をし、同時に利用者の顔は撮像装置により撮影され電気信号に変換されたのち相手側へ送られる。
【０００３】
テレビ電話を利用時に利用者間のコミュニケーションをより向上させるために、利用者間で視線を一致させるいわゆるアイコンタクトが可能な装置が特許文献１に開示されている。特許文献１の映像提示・撮像装置は、透過状態と表示状態とを制御可能な液晶ディスプレイパネルと、液晶ディスプレイパネルの非表示側に設けられた利用者を撮影するカメラと、液晶ディスプレイパネルとカメラとの間に配設された導光板及び光源とから構成されている。同装置は、Ｒ、Ｇ、ＢのＬＥＤが時分割に点灯しそれに同期して液晶ディスプレイが光源波長に対応した画像を時分割に表示している。このとき、カメラで利用者を撮影する際は、Ｒ、Ｇ、Ｂの光源を非点灯状態にすることによって不要な照明光の無い画像を取得している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−８８５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら特許文献１に開示された映像提示・撮像装置は、Ｒ、Ｇ、Ｂのそれぞれの画像を液晶ディスプレイ及び光源により時分割表示したのちに、Ｒ、Ｇ、Ｂの光源を非点灯状態にして利用者をカメラで撮影しているため、カメラで撮影中は表示画像が消えてしまい表示品位が低下するということがあった。
【０００６】
そこで本発明の目的は、利用者の顔を撮影しつつ相手画像の表示品位の低下をおさえた撮像装置付き表示装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明は、波長の異なる光を発光する光源を有した照明装置と、発光波長毎に表示画像が制御される液晶表示装置と、照明装置と液晶表示装置を時系列に制御する第１の制御手段と、光学系及び光電変換信号を保持する信号保持部を有した撮像素子とからなる撮像装置と、撮像素子の撮像タイミングを制御する第２の制御手段と、からなる撮像装置付き表示装置において、第２の制御手段は照明装置の発光タイミングと同期して撮像素子の撮影タイミングを制御するとともに、液晶表示装置の表示周期と同期して撮像素子の画像が出力されるように撮像素子を制御するようにしたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、利用者の顔を撮影しつつ相手画像の表示品位の低下をおさえた撮像装置付き表示装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】(a)  撮像装置付き表示装置の外観図  (b)  撮像装置付き表示装置の断面図
【図２】撮像装置付き表示装置のブロック図
【図３】タイミングチャート説明図
【図４】撮像素子の一部回路図
【発明を実施するための形態】
【００１０】
（実施形態）
図１〜図４は本発明の撮像装置付き表示装置の実施例を説明する図で、図１は撮像装置付き表示装置の外観図、図２は撮像装置付き表示装置のブロック図、図３は撮像装置付き表示装置のタイミングチャート説明図、図４は撮像素子の一部回路図である。
【００１１】
図１(a)は撮像装置付き表示装置１の正面図である。表示装置である表示パネル２０にはＴＶ電話等の相手画像αが表示される。表示パネル２０の周囲には、テレビ電話等の通信モードで利用者の音声を拾うマイク４０と相手側の音声を伝えるスピーカー６０が配設されている。また１０６は操作スイッチで、各種の制御モードを変更可能になっている。
【００１２】
図１(ｂ)は撮像装置付き表示装置１の主要部分の断面図である。表示パネル２０は光を透過可能な液晶表示素子で構成されている。表示パネル２０の背面（図中＋ｚ方向の面）には透明な導光板２１が配設されている。導光板２１は透明な基材に対して微小な屈折率差を有する微粒子が分散されていて、その屈折率差により一部の光を拡散するようになっている。その結果、導光板２１の端部に配設した照明装置であるＬＥＤ３０を点灯させると、照明光は導光板２１の微粒子で光拡散して表示パネル２０を照明することが可能となっている。
【００１３】
ここで、照明装置であるＬＥＤ３０は、発光中心波長が赤のＬＥＤ３０Ｒ、発光中心波長が緑のＬＥＤ３０Ｇ、発光中心波長が青のＬＥＤ３０Ｂから構成されている。その結果、表示パネル２０である液晶表示素子はカラーフィルタが配設されておらず、透過性を向上させている。
【００１４】
さらに、導光板２１の背面（図中＋ｚ方向の面）には、利用者を撮影するための撮像装置であるカメラ１０が配設されている。カメラ１０はレンズ１１と撮像素子５０とから構成されている。またカメラ１０は、表示パネル２０の画面中央よりやや上方（図中＋ｙ方向）に配設され、導光板２１及び表示パネル２０の表示画素部を通して利用者を撮影するようになっている。このとき、表示パネル２０である液晶表示素子はカラーフィルタが配設されておらず透過率が高いため、カメラ１０での利用者の撮影のためのシャッタースピードを短くすることが可能となっている。
【００１５】
図２は撮像装置付き表示装置１のブロック図で、同図を用いて本発明の撮像装置付き表示装置１の動作を説明する。
【００１６】
撮像装置付き表示装置１のシステム制御回路１００は、操作スイッチ１０６の設定状態からテレビ電話を行う通信モードか否かを確認し、操作スイッチ１０６が通信モードに設定されていれば送受信回路１０７を介して通信の接続を行う。送受信回路１０７によって相手側の撮像装置付き表示装置と通信を行い、受信された相手側からの顔画像は画像演算回路１０８によって器官認識が行われ、画面に対する相手画像の顔の位置が算出される。システム制御回路１００は、表示処理回路１０２を介して顔画像の目の位置がカメラ１０近傍になるように表示パネル２０に表示を行う。さらに、表示パネル２０での表示に同期して、発光回路１０３を介して照明装置であるＬＥＤ３０を点灯させる。このとき、表示周期中に異なる発光波長のＬＥＤ３０が時分割で点灯するように制御され、そのＬＥＤ３０点灯のタイミングと同期するように、表示パネル２０である液晶表示素子において発光波長に対応する画像が表示される。その結果、通信している利用者同士がアイコンコンタクトしている状態を実現することが可能となっている。
【００１７】
一方、システム制御回路１００は、撮像素子駆動回路１０１を介してカメラ１０を構成する撮像素子５０を撮像駆動することによって、表示パネル２０及び導光板２１を透過しレンズ１１で撮像素子５０上に集光した利用者の顔画像を撮影し出力する。システム制御回路１００は、カメラ１０で利用者を撮影する際、照明装置のＬＥＤ３０は点灯しないように制御する。カメラ１０での撮影と表示パネル２０での表示のタイミングの詳細は後述する。
【００１８】
表示パネル２０を通してカメラ１０にて撮影された画像データは、送受信回路１０７を介してテレビ電話等の相手側に送信される。記憶回路１０９には表示画像に関する情報が記憶されるようになっている。
【００１９】
次に図４の撮像素子５０の回路図を用いて、本発明の撮像装置の一部を構成するＣＭＯＳ型撮像素子５０の構成を説明する。撮像素子５０の１つの画素要素は、１つのフォトダイオード５００に対して１つの信号保持部５０７を有していることを特徴とする。信号保持部を有するＣＭＯＳ型撮像素子５０の基本構造は、本出願人により特開２０１３−１７２２１０号公報にて開示されているので説明は省略する。
【００２０】
図４の撮像素子５０の回路図において、１つの画素要素は、フォトダイオード５００と、第１の転送トランジスタ５０１と、信号保持部５０７と、第２の転送トランジスタ５０２、第３の転送トランジスタ５０３とを有している。さらに１つの画素要素は、フローティングディフュージョン領域５０８と、リセットトランジスタ５０４と、増幅トランジスタ５０５と、選択トランジスタ５０６とを有している。
【００２１】
また、第１の転送トランジスタ５０１は転送パルスφＴＸ１にて制御され、第２の転送トランジスタ５０２は転送パルスφＴＸ２にて制御される。また、リセットトランジスタ５０４はリセットパルスφＲＥＳで制御され、選択トランジスタ５０６は選択パルスφＳＥＬで制御される。さらに第３の転送トランジスタ５０３は転送パルスφＴＸ３にて制御される。ここで各制御パルスは、不図示の垂直走査回路から送出される。さらに５２０、５２１は電源線で、５２３は信号出力線である。
【００２２】
以下、図３の撮像装置付き表示装置のタイミングチャート説明図を用いて、本発明の撮像装置付き表示装置１の表示・撮影動作を説明する。カメラ１０で利用者を撮影する際所定の蓄積時間（シャッタースピード）が必要で、通常カメラ１０の撮像素子５０で画像蓄積中は表示パネル２０に表示ができない。本実施例の撮像装置付き表示装置１は、１表示周期中に波長の異なる３つの画像の表示を順次切り換え、その切り換えの際の画像の非表示状態の時に撮像素子５０で３回に分けて画像蓄積を行っている。
【００２３】
本実施例では、画像を表示するための照明装置であるＬＥＤ３０が消灯している時に撮像素子５０で画像蓄積を実施している。撮像素子５０では所定の蓄積時間を３回に分けて蓄積を行うため１回の蓄積時間が１／３となり、その結果１回の表示画像の消失時間を短くすることが可能となり表示品位を向上させていることを特徴とする。
【００２４】
第１の制御手段であるシステム制御回路１００は、表示処理回路１０２を介して表示パネル２０である液晶表示素子の表示制御を行う。このとき、システム制御回路１００は表示パネル２０にて、１表示周期中に赤の波長に対応するＲ画像、緑の波長に対応するＧ画像、青の波長に対応するＢ画像を時分割で表示する。本実施例では、表示パネル２０での赤の波長に対応するＲ画像、緑の波長に対応するＧ画像、青の波長に対応するＢ画像のそれぞれに切り換える際、時間Ｓ１はすべての画像を非表示（全透過）状態に設定している。
【００２５】
一方、第１の制御手段であるシステム制御回路１００は、発光回路１０３を介して照明装置３０であるＬＥＤの点灯制御を行う。このときシステム制御回路１００は、表示パネル２０にて表示される赤の波長に対応するＲ画像の表示と同期して赤のＬＥＤ３０Ｒを発光させる。同様に、システム制御回路１００は表示パネル２０にて表示される緑の波長に対応するＧ画像の表示と同期して緑のＬＥＤ３０Ｇを発光させ、青の波長に対応するＢ画像の表示と同期して青のＬＥＤ３０Ｂを発光させる。
【００２６】
本実施例のシステム制御回路１００は、表示周期中の各波長に対応する画像に対して、まず応答速度の遅い液晶表示素子からなる表示パネル２０の画像表示を先に開始し、その後に応答速度の速い照明装置であるＬＥＤ３０を点灯するように制御している。また本実施例のシステム制御回路１００は、表示周期中の各波長に対応する画像に対して、液晶表示素子からなる表示パネル２０の画像表示の終了と照明装置であるＬＥＤ３０の消灯を同じタイミングとなるように制御している。その結果、表示パネル２０での画像の非表示間隔Ｓ１よりも、発光波長の異なるＬＥＤ３０の切り換え時の非点灯時間（消灯時間）の方が長くなっている。
【００２７】
次に第２の制御手段を兼ねたシステム制御回路１００は、撮像素子駆動回路１０１を介して撮像素子５０の撮影動作を制御する。このときシステム制御回路１００は、照明装置であるＬＥＤ３０の点灯／消灯タイミングに同期して、撮像素子５０での画像の蓄積を行うように制御している。さらに撮像素子３０での撮影動作の詳細を、図３のタイミングチャート説明図を用いて説明する。
【００２８】
照明装置である赤のＬＥＤ３０Ｒが点灯中は導光板２１を介してカメラ１０に照明光が入射するため、撮像素子５０のフォトダイオード５００で発生する信号電荷をリセットする。第２の制御手段であるシステム制御回路１００は、赤のＬＥＤ３０Ｒが点灯中は転送パルスＴＸ３がハイレベルとなるように制御し、第３の転送トランジスタ５０３をオンすることによってフォトダイオード５００で発生した信号電荷を電源線５２１に流している。
【００２９】
液晶パネル２０でのＲ画像の表示終了と照明装置の赤のＬＥＤ３０Ｒの消灯タイミングに同期して、転送パルスＴＸ３がローレベルとなり、フォトダイオード５００での信号電荷の蓄積が開始される。また赤のＬＥＤ３０Ｒが消灯すると、第１の転送トランジスタ５０１をオンすることによって、フォトダイオード５００で発生した信号電荷を信号保持部５０７に１回目の転送をする。赤のＬＥＤ３０Ｒの消灯後、カメラ１０のシャッタースピードの略１／３に相当する時間Ｔ１経過後、第１の転送トランジスタ５０１をオフすることによってフォトダイオード５００で発生した信号電荷の信号保持部５０７への１回目の転送を終了する。本実施例では、第１の転送トランジスタ５０１がオン中に表示パネル２０でＧ画像の表示を開始している。
【００３０】
また、赤のＬＥＤ３０Ｒの消灯後、カメラ１０のシャッタースピードの略１／３に相当する時間Ｔ１経過後に、表示パネル２０で表示されるＧ画像に対応した緑のＬＥＤ３０Ｇが点灯する。システム制御回路１００は緑のＬＥＤ３０Ｇが点灯中は転送パルスＴＸ３がハイレベルとなるように制御し、第３の転送トランジスタ５０３をオンすることによってフォトダイオード５００で発生した信号電荷を電源線５２１に流す。
【００３１】
液晶パネル２０でのＧ画像の表示終了と照明装置の緑のＬＥＤ３０Ｇの消灯タイミングに同期して、転送パルスＴＸ３がローレベルとなり、フォトダイオード５００での信号電荷の蓄積が開始される。また緑のＬＥＤ３０Ｇが消灯すると、第１の転送トランジスタ５０１をオンすることによって、フォトダイオード５００で発生した信号電荷を信号保持部５０７に２回目の転送をする。緑のＬＥＤ３０Ｇの消灯後、カメラ１０のシャッタースピードの略１／３に相当する時間Ｔ２経過後、第１の転送トランジスタ５０１をオフすることによってフォトダイオード５００で発生した信号電荷の信号保持部５０７への２回目の転送を終了する。このとき、信号保持部５０７ではフォトダイオード５００で発生した時間Ｔ１、時間Ｔ２の信号電荷が加算されて保持されている。
【００３２】
本実施例では、第１の転送トランジスタ５０１がオン中に表示パネル２０でＢ画像の表示を開始している。また、緑のＬＥＤ３０Ｇの消灯後、カメラ１０のシャッタースピードの略１／３に相当する時間Ｔ２経過後に、表示パネル２０で表示されるＢ画像に対応した青のＬＥＤ３０Ｂが点灯する。システム制御回路１００は青のＬＥＤ３０Ｂが点灯中は転送パルスＴＸ３がハイレベルとなるように制御し、第３の転送トランジスタ５０３をオンすることによってフォトダイオード５００で発生した信号電荷を電源線５２１に流す。
【００３３】
液晶パネル２０でのＢ画像の表示終了と照明装置の青のＬＥＤ３０Ｂの消灯タイミングに同期して、転送パルスＴＸ３がローレベルとなり、フォトダイオード５００での信号電荷の蓄積が開始される。また青のＬＥＤ３０Ｂが消灯すると、第１の転送トランジスタ５０１をオンすることによって、フォトダイオード５００で発生した信号電荷を信号保持部５０７に３回目の転送をする。青のＬＥＤ３０Ｂの消灯後、カメラ１０のシャッタースピードの略１／３に相当する時間Ｔ３経過後、第１の転送トランジスタ５０１をオフすることによってフォトダイオード５００で発生した信号電荷の信号保持部５０７への３回目の転送を終了する。このとき、信号保持部５０７ではフォトダイオード５００で発生した時間Ｔ１、時間Ｔ２、時間Ｔ３の信号電荷が加算されて保持されている。
【００３４】
本実施例では、第１の転送トランジスタ５０１がオン中に表示パネル２０で次の表示周期のＲ画像の表示を開始している。
【００３５】
フォトダイオード５００で発生した信号電荷の信号保持部５０７への３回目の転送を終了すると、画像の読み出しが行われる。画像の読み出しを行うために、システム制御回路１００は転送パルスＴＸ２がハイレベルとなるように制御し、第２の転送トランジスタ５０２をオンすることによって信号保持部５０７に保持された信号電荷をローティングディフュージョン領域５０８に転送する。さらに、選択パルスφＳＥＬをハイレベルにすることによって選択トランジスタ５０６がオンとなり、増幅トランジスタ５０５で増幅された画像信号は撮像素子５０の外部に出力される。このとき、撮像素子５０で出力される画像は１撮影周期に３回に分割され蓄積された画像のため、撮影対象である利用者が動いてもぱらぱら感のない画像を得ることが可能となっている。
【００３６】
また本実施例では画像の読み出し周期Ｈ２は、表示装置の表示周期Ｈ１と同じである例を示した。しかしながら、利用者の使用環境が暗くてカメラ１０のシャッタースピードが長い場合は、撮像素子５０での１回の蓄積時間Ｔ１、Ｔ２、Ｔ３は変えずに、画像の読み出し周期Ｈ２を表示周期Ｈ１の整数倍（例えば、Ｈ２＝２×Ｈ１）にして制御するのが有効である。
【００３７】
本実施例では、表示パネル２０での各波長に対応する画像をそれぞれに切り換える際、所定の時間Ｓ１を設けているが、表示周期が短い場合などで時間Ｓ１をゼロにして時間間隔をおかずに各波長に対応する画像を切り換えるように制御してもかまわない。
【符号の説明】
【００３８】
１  撮像装置付き表示装置
１０  カメラ
１１  レンズ
２０  表示パネル
２１  導光板
３０  ＬＥＤ
５０  撮像素子
【図１】
2018133636.tif 000003
【図２】
2018133636.tif 000004
【図３】
2018133636.tif 000005
【図４】
2018133636.tif 000006