(57)【要約】【課題】露光時間を調整する際の負荷を低減することが可能な撮像表示システム及び撮像装置を提供することにある。【解決手段】実施形態によれば、画像を走査して画像信号を走査する撮像装置と当該画像信号に応じて表示パネルを走査して画像を表示する表示装置とが同期して駆動する撮像表示システムが提供される。撮像表示システムは、撮像装置によって画像が撮像される際の露光量を測定し予め定められた値より不足しているかを判定する判定部と、露光量が不足していると判定された場合、リフレッシュレートが低くなるように表示装置を制御するとともに、当該リフレッシュレートに応じて露光時間が長くなるように撮像装置を制御する制御部とを具備する。撮像装置において画像を走査するための第１の走査時間及び表示装置において当該画像を表示するための第２の走査時間は、リフレッシュレート及び露光時間に関わらず一定である。【選択図】図８
2017212533.tif 000002
【特許請求の範囲】
【請求項１】
撮像した画像を走査して当該画像を示す画像信号を生成する撮像装置と前記生成された画像信号に応じて表示パネルを走査して前記画像を当該表示パネルに表示する表示装置とが同期して駆動する撮像表示システムにおいて、
前記撮像装置によって画像が撮像される際の露光量を測定し予め定められた値より不足しているかを判定する判定部と、
前記露光量が不足していると判定された場合、前記表示装置におけるリフレッシュレートが低くなるように当該表示装置を制御するとともに、当該リフレッシュレートに応じて前記撮像装置における露光時間が長くなるように当該撮像装置を制御する制御部と
を具備し、
前記撮像装置において前記画像を走査するための第１の走査時間及び前記表示装置において前記表示パネルを走査するための第２の走査時間は、前記リフレッシュレート及び前記露光時間に関わらず一定である
撮像表示システム。
【請求項２】
前記判定部は、前記露光時間が長くなるように前記撮像装置が制御された後、前記露光量が過剰であるかを判定し、
前記制御部は、前記露光量が過剰であると判定された場合、前記表示装置におけるリフレッシュレートが高くなるように当該表示装置を制御するとともに、当該リフレッシュレートに応じて前記撮像装置における露光時間が短くなるように当該撮像装置を制御する
請求項１記載の撮像表示システム。
【請求項３】
前記制御部は、前記露光量が不足していると判定された場合、前記撮像装置による画像の撮像に必要な露光量に基づいて前記表示装置におけるリフレッシュレート及び前記撮像装置における露光時間を変更する
請求項１記載の撮像表示システム。
【請求項４】
撮像した画像を走査して当該画像を示す画像信号を生成する撮像装置と前記生成された画像信号に応じて表示パネルを走査して前記画像を当該表示パネルに表示する表示装置とが同期して駆動する撮像表示システムにおいて、
前記撮像装置によって画像が撮像される領域内に存在する物体の移動速度が予め定められた値以上であるかを判定する判定部と、
前記移動速度が予め定められた値以上でないと判定された場合、前記表示装置におけるリフレッシュレートが低くなるように当該表示装置を制御するとともに、当該リフレッシュレートに応じて前記撮像装置における露光時間が長くなるように当該撮像装置を制御する制御部と
を具備し、
前記撮像装置において前記画像を走査するための第１の走査時間及び前記表示装置において前記表示パネルを走査するための第２の走査時間は、前記リフレッシュレート及び前記露光時間に関わらず一定である
撮像表示システム。
【請求項５】
撮像した画像を走査して当該画像を示す画像信号を生成する撮像装置において、
前記撮像装置によって画像が撮像される際の露光量を測定し予め定められた値より不足しているかを判定する判定部と、
前記露光量が不足していると判定された場合、前記撮像装置における露光時間が長くなるように前記撮像装置を制御する制御部と
を具備し、
前記撮像装置において前記画像を走査するための走査時間は、前記露光時間に関わらず一定である
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、撮像表示システム及び撮像装置に関する。
【背景技術】
【０００２】
一般的に、例えば撮像装置（イメージセンサ）によって撮像された画像を表示装置に表示するシステム（以下、撮像表示システムと表記）においては、当該画像が撮像される環境の明暗（明るさ）によって画質にばらつきが生じる。
【０００３】
これに対して、静止画像を撮像する場合には、撮像装置における露光時間を調整することで画質を向上させることが可能である。例えば暗所においては、十分な光量を確保するために露光時間を長くすることによって、ノイズの少ない画像を撮像することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２１１５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、動画像を撮像する場合、リフレッシュレート（フレームレート）との関係から露光時間の調整には制限があり、例えば１フレームの画像が表示される１フレーム期間よりも露光時間を長くすることはできない。
【０００６】
このため、暗所においては、十分な光量（露光時間）を確保するために、リフレッシュレートを低くする（１フレーム期間を長くする）ことによって露光時間を長くすることが考えられる。
【０００７】
しかしながら、この場合には、１フレームの画像の画像信号を生成するために撮像装置において当該１フレームの画像を走査する時間（以下、走査時間と表記）も変更する必要があり、撮像表示システムの負荷が大きい。
【０００８】
そこで、本発明が解決しようとする課題は、露光時間を調整する際の負荷を低減することが可能な撮像表示システム及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
実施形態によれば、撮像した画像を走査して当該画像を示す画像信号を生成する撮像装置と前記生成された画像信号に応じて表示パネルを走査して前記画像を当該表示パネルに表示する表示装置とが同期して駆動する撮像表示システムが提供される。前記撮像表示システムは、判定部と、制御部とを具備する。前記判定部は、前記撮像装置によって画像が撮像される際の露光量を測定し予め定められた値よりが不足しているかを判定する。前記制御部は、前記露光量が不足していると判定された場合、前記表示装置におけるリフレッシュレートが低くなるように当該表示装置を制御するとともに、当該リフレッシュレートに応じて前記撮像装置における露光時間が長くなるように当該撮像装置を制御する。前記撮像装置において前記画像を走査するための第１の走査時間及び前記表示装置において前記表示パネルを走査するための第２の走査時間は、前記リフレッシュレート及び前記露光時間に関わらず一定である。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る撮像表示システムの構成の一例を示すブロック図。
【図２】表示装置の構成の一例を示すブロック図。
【図３】撮像表示システムの動作の一例を示すタイミングチャート。
【図４】撮像装置における露光時間を短くして露光量を低減させる場合の撮像表示システムの動作の一例を示すタイミングチャート。
【図５】リフレッシュレートを低くした場合の低遅延システムの動作の一例を示すタイミングチャート。
【図６】画像が撮像される環境の変化に応じて露光時間を調整する際の低遅延システムの動作の一例を示すタイミングチャート。
【図７】制御装置の機能構成の一例を示すブロック図。
【図８】本実施形態に係る撮像表示ステムにおける画像が撮像される環境の変化に応じて露光量を調整する際の動作の一例を示すタイミングチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態について説明する。  
図１は、本実施形態に係る撮像表示システムの構成の一例を示すブロック図である。図１に示すように、撮像表示システム１０は、撮像装置１１、表示装置１２及び制御装置１３を備える。
【００１２】
撮像装置１１は、例えばＣＣＤイメージセンサ及びＣＭＯＳイメージセンサ等のイメージセンサ（イメージャ）を含み、例えば当該撮像装置１１の前方の領域の画像を撮像する。この撮像装置１１においては例えばＣＣＤ及びＣＭＯＳ等の撮像素子が２次元状に配列されており、当該撮像素子の各々は、露光されることによって当該撮像素子に照射された光量を電気信号として蓄える。すなわち、撮像装置１１によって撮像された画像には撮像素子の各々に蓄えられた電気信号が含まれており、当該撮像装置１１は、撮像した画像を走査することによって当該画像を表す画像信号を生成する。
【００１３】
表示装置１２は、例えば表示パネルを有する液晶表示装置であり、撮像装置１１によって生成された画像信号に応じて表示パネルを走査して画像を表示パネルに表示する。
【００１４】
制御装置１３は、撮像表示システム１０（撮像装置１１及び表示装置１２）の動作を制御する。この制御装置１３による制御によって、撮像表示システム１０は、撮像装置１１によって撮像された画像を表示装置１２に表示することができる。
【００１５】
なお、図１においては省略されているが、撮像表示システム１０は、例えば撮像表示システム１０の処理の実行に必要なプログラム、撮像装置１１によって撮像された画像またはその他のデータを記憶する記憶装置等を更に備えているものとする。
【００１６】
図２は、図１に示す表示装置１２の構成の一例を示すブロック図である。図２に示すように、表示装置１２は、信号処理部１２１、表示パネル１２２、パネル駆動部（パネルドライバ）１２３、光源装置１２４及び光源駆動部１２５等を備える。
【００１７】
信号処理部１２１は、表示パネル１２２及び光源装置１２４の動作を制御する演算処理部である。信号処理部１２１は、表示パネル１２２を駆動するためのパネル駆動部１２３及び光源装置１２４を駆動するための光源駆動部１２５と接続されている。
【００１８】
ここで、撮像装置１１によって生成された画像信号は、例えばベイヤー配列と称される画素データの行列を含む。このような画像信号は、画像処理（ベイヤー変換）が実行されることによって、ＲＧＢ成分を含む画像信号に変換される。なお、この画像処理は、例えば制御装置１３内で実行されるものとする。
【００１９】
信号処理部１２１は、上記したように画像処理が実行された画像信号を入力する。信号処理部１２１は、入力された画像信号に対して必要な処理を実行し、パネル駆動部１２３（表示パネル１２２）に出力する。
【００２０】
また、信号処理部１２１は、入力された画像信号に基づいて光源制御信号を生成し、当該光源制御信号を光源駆動部１２５に出力する。
【００２１】
表示パネル１２２においては、複数の画素ＰＸが２次元のマトリクス状（行列状）に配列されている。
【００２２】
パネル駆動部１２３は、信号出力回路１２３ａ及び走査回路１２３ｂを備える。信号出力回路１２３ａは、信号線ＤＴＬによって表示パネル１２２と電気的に接続されている。信号出力回路１２３ａは、信号処理部１２１から出力された画像信号を保持し、当該画像信号を表示パネル１２２に順次出力する。
【００２３】
走査回路１２３ｂは、走査線ＳＣＬによって表示パネル１２２と電気的に接続されている。走査回路１２３ｂは、表示パネル１２２における画素を選択するためのスイッチング素子のオン及びオフを制御する。
【００２４】
光源装置１２４は、例えば表示パネル１２２の背面に配置され、当該表示パネル１２２に向けて光を照射する。
【００２５】
光源駆動部１２５は、例えば信号処理部１２１から出力される光源制御信号に基づいて光源装置１２４に供給される電流またはデューティ比を調整することにより、表示パネル１２２を照射する光の量（強度）を制御する。
【００２６】
このような表示装置１２においては、パネル駆動部１２３（信号出力回路１２３ａ及び走査回路１２３ｂ）及び光源駆動部１２５の動作に応じて、光源装置１２４からの光が照射される表示パネル１２２において行状に配列されている複数の画素ＰＸ（表示ライン）毎に信号処理部１２１から出力された画像信号（画素信号）が順次書き込まれることによって、撮像装置１１によって撮像された画像を表示することができる。
【００２７】
ここで、撮像装置１１によって撮像される画像が動画像であり、当該動画像を表示する表示装置１２が例えば６０Ｈｚのリフレッシュレートで駆動する（つまり、リフレッシュレートが６０Ｈｚである）場合について簡単に説明する。
【００２８】
上記したように表示装置１２が６０Ｈｚのリフレッシュレートで駆動する場合、撮像装置１１によって撮像される画像が１フレーム期間（１フレームの画像が表示される期間）、すなわち１／６０秒（約１６．７ｍｓｅｃ）毎に書き換えられることにより、表示装置１２（表示パネル１２２）に動画像が表示される。
【００２９】
具体的には、撮像装置１１においては１フレーム期間に相当する１／６０秒の間隔で１フレームの画像の画像信号が生成され、当該生成された画像信号が撮像装置１１内のフレームバッファに格納される。撮像装置１１内のフレームバッファに格納された画像信号は、制御装置１３において取得され、表示装置１２で表示可能な形式に画像処理される。制御装置１３において画像処理された画像信号は、当該制御装置１３内のフレームバッファに格納される。表示装置１２は、制御装置１３内のフレームバッファに格納された画像信号を取得し、当該画像信号に基づいて表示パネル１２２に画像を表示する処理（表示処理）を実行する。
【００３０】
上記したような撮像装置１１、制御装置１３及び表示装置１２の動作によれば、１フレームの画像単位で処理が実行されるため、例えば撮像装置１１によって撮像された画像が表示装置１２において表示されるまでに遅延が発生する。
【００３１】
これに対して、近年では撮像装置１１によって撮像された画像をより遅延の少ない状態で（すなわち、より低遅延で）表示装置１２（表示パネル１２２）に表示することが求められている。
【００３２】
そこで、本実施形態において、撮像表示システム１０は、低遅延システムとして動作するものとする。低遅延システムとして動作する撮像表示システム１０では、例えば表示装置１２を２４０Ｈｚのリフレッシュレートで駆動させるとともに、撮像装置１１と表示装置１２とが同期して駆動（動作）するように制御される。
【００３３】
このような撮像表示システム１０においては１フレームの画像の画像信号が１／２４０秒（約４ｍｓｅｃ）の間隔で撮像装置１１によって生成されるが、当該１フレームの画像の１ライン分の画像信号が生成される度に当該画像信号が撮像装置１１から出力される。このように撮像装置１１から出力される１ライン毎の画像信号は、フレームバッファ等に格納されることなく、制御装置１３及び表示装置１２において順次処理（画像処理及び表示処理）される。
【００３４】
すなわち、低遅延システムとして動作する撮像表示システム１０においては、フレームバッファを省略して、１ライン毎に画像処理及び表示処理が実行されるように撮像装置１１と表示装置１２とが同期して駆動することにより、遅延の発生を低減することが可能となる。
【００３５】
ここで、図３のタイミングチャートを参照して、撮像表示システム１０（低遅延システム）の動作について説明する。
【００３６】
図３に示す例では、表示装置１２が２４０Ｈｚのリフレッシュレートで駆動するものとし、撮像装置１１においては７６７ラインの撮像素子が配列されているものとして説明する。
【００３７】
この場合、垂直同期信号（ＶＳＹＮＣ）に応じて撮像装置(image sensor）１１が１フレームの画像の撮像を開始すると、当該撮像装置１１においては、７６７ラインの各々に対応する複数の撮像素子が当該ライン毎に少なくとも１フレーム期間（１／２４０秒）よりも短い露光時間で順次露光（Exposure）される。１ラインに対応する複数の撮像素子（以下、単に１ライン分の撮像素子と表記）に対する露光が終了すると、撮像装置１１は、当該１ライン分の撮像素子に蓄えられた電気信号に基づいて、当該１ライン分の画像信号を生成する。このように生成された１ライン分の画像信号は、制御装置１３に出力される（ステップＳ１）。
【００３８】
ステップＳ１において撮像装置１１から１ライン分の画像信号が出力された場合、制御装置１３では当該画像信号に対する画像処理が実行され、当該画像処理が実行された後の画像信号（１ライン分の画像信号）が表示装置１２に出力される（ステップＳ２）。
【００３９】
この場合、表示装置１２は、ステップＳ２において制御装置１３から出力された画像信号に基づいて表示処理（当該画像信号を表示パネル１２２に書き込む処理）を実行する。なお、表示装置１２における画像の表示は、１／２４０秒間（つまり、１フレーム期間）保持される。
【００４０】
このような処理が７６７ラインまでの各ラインについて順次実行されることによって、撮像表示システム１０においては、表示装置１２内の垂直同期信号（ＶＳＹＮＣ）に応じて開始される１フレーム期間（ここでは、１／２４０秒）に１フレームの画像を表示することができる。
【００４１】
なお、図３におけるＳ１及びＳ２は撮像装置１１によって撮像される動画像を構成する１フレーム目の画像における最初の１ライン分（１ライン目）の画像信号の出力を示しているが、Ｓ１１及びＳ１２は当該１フレーム目の画像における最終の１ライン分（７６７ライン目）の画像信号の出力を示している。
【００４２】
ここでは１フレーム目の画像（に関する処理）についてのみ説明したが、２フレーム目以降の画像についても同様に処理が実行される。なお、以下の図３と同様の図面においても、Ｓ１及びＳ２は１フレーム目の画像における最初の１ライン分の画像信号の出力を示し、Ｓ１１及びＳ１２は当該１フレーム目の画像における最終の１ライン分の画像信号の出力を示している。
【００４３】
上記した図３に示す例では、撮像装置１１において１／２４０秒毎に露光し、当該露光によって順次生成される１ライン毎の画像信号に基づいて画像が表示されるように撮像装置１１及び表示装置１２が同期して駆動することにより、表示装置１２の２４０Ｈｚのリフレッシュレートでの駆動（２４０ｆｐｓ）が実現される。
【００４４】
ここで、撮像装置１１によって画像（動画像）が撮像される際の露光量が適切でない場合には、表示装置１２に表示される画像の質が低下する場合がある。
【００４５】
具体的には、撮像表示システム１０（撮像装置１１）が非常に明るい場所（明所）で使用される際に図３と同様の露光時間で撮像装置１１によって画像が撮像された場合には、露光量が過剰となり、表示装置１２に表示される画像の質が低下する。
【００４６】
この場合には、図４に示すように、撮像装置１１における露光時間を短くして露光量を低減させることにより、表示装置１２に表示される画像の質の低下を抑制する（つまり、画質を向上させる）ことができる。
【００４７】
なお、撮像装置１１における露光時間を短くする点以外の動作については図３において説明した通りであるため、図４についてはその詳しい説明を省略する。
【００４８】
一方、撮像表示システム１０が比較的暗い場所（暗所）で使用される際に図３と同様の露光時間で撮像装置１１によって画像が撮像された場合には、露光量が不足し、表示装置１２に表示される画像の質が低下することが考えられる。
【００４９】
この場合には、上記した撮像装置１１によって画像が撮像される際の露光時間を長くして露光量を増加させることにより、表示装置１２に表示される画像の質の低下を抑制することができる。
【００５０】
しかしながら、上述したように撮像表示システム１０（低遅延システム）において撮像装置１１によって撮像された動画像を表示装置１２に表示する場合、１フレーム期間毎に１フレームの画像を順次表示する（つまり、書き換える）必要がある。このため、撮像装置１１によって画像が撮像される際の露光時間は１フレーム期間（例えば、１／２４０秒）よりも長くすることはできない。換言すれば、露光時間は１フレーム期間内に制約され、当該１フレーム期間以上の長い時間を露光時間とすることはできない。
【００５１】
したがって、１フレーム期間よりも露光時間を長くするためには、リフレッシュレート（フレームレート）を低くする（つまり、１フレーム期間を長くする）必要がある。
【００５２】
以下、本実施形態に係る撮像表示システム１０ではなく本実施形態に対する比較例としての撮像表示システムについて説明する場合には単に低遅延システムと称する。なお、低遅延システムは上述した図１において説明した撮像装置１１、表示装置１２及び制御装置１３を備えるものとして説明する。
【００５３】
ここで、図５のタイミングチャートを参照して、露光時間を長くするためにリフレッシュレートを低くした場合の低遅延システム（比較例）の動作について説明する。ここでは、リフレッシュレートが例えば６０Ｈｚであり、上記したように撮像装置１１と表示装置１２とが同期して駆動しているものとする。
【００５４】
図５に示すようにリフレッシュレートを６０Ｈｚとした場合には、図３に示す場合と比較して露光時間を長くすることができる。これによれば、撮像表示システム１０が比較的暗い場所で使用された場合であっても、十分な露光量を確保し、表示装置１２に表示される画像の質の低下を抑制することができる。
【００５５】
しかしながら、図５に示す例では、図３及び図４において説明した場合と比較して、撮像装置１１において１フレームの画像を走査するための走査時間（以下、撮像装置１１の走査時間と表記）及び表示装置１２において表示パネル１２２を走査するための走査時間（以下、表示装置１２の走査時間と表記）が長くなる。
【００５６】
なお、本実施形態において、撮像装置１１の走査時間とは、１ライン分の撮像素子において光量（電気信号）を蓄える時間（露光時間）等とは異なり、例えば図３〜図５等において撮像装置１１が１フレームの画像の最初のラインから最後のラインまでを走査する時間（すなわち、１フレームの画像の全てのラインを走査する時間）であるものとする。具体的には、図３及び図４における撮像装置１１の走査時間は、例えば当該図３及び図４に示すＳ１（１ライン目を走査して画像信号を出力した時点）からＳ１１（最後のラインを走査して画像信号を出力した時点）までの時間であり、概ね１／２４０ｓである。一方、図５における撮像装置１１の走査時間は、例えば当該図５に示すＳ１からＳ１１までの時間であり、概ね１／６０ｓである。
【００５７】
同様に、表示装置１２の走査時間とは、例えば図３〜図５等において表示パネル１２２に画像信号を書き込むために１フレームの画像の最初のラインから最後のラインまで表示パネル１２２を走査する時間であるものとする。なお、上述したように低遅延システムでは撮像装置１１及び表示装置１２は同期して駆動されるため、撮像装置１１及び表示装置１２の走査時間は例えば同一である。
【００５８】
ここで、例えば屋外等の画像が撮像される環境（の明暗）が比較的変化する場所で低遅延システムが使用される場合を想定する。この場合には、画像が撮像される環境の変化に応じて露光時間（露光量）を調整することが好ましい。
【００５９】
以下、図６のタイミングチャートを参照して、画像が撮像される環境の変化に応じて露光時間を調整する際の低遅延システム（比較例）の動作について説明する。
【００６０】
図６に示すように、撮像装置１１によって撮像される動画像を構成する１フレーム目の画像及び２フレーム目の画像を表示する際には、低遅延システムにおける表示装置１２が２４０Ｈｚのリフレッシュレートで駆動しているものとする。
【００６１】
ここで、例えば画像が撮像される環境が明所から暗所に変化した場合、低遅延システムにおいては、撮像装置１１における露光時間を長くするためにリフレッシュレートを低くする。ここでは、３フレーム目の画像を表示する際のリフレッシュレートを２４０Ｈｚから１２０Ｈｚに低下させている。
【００６２】
これによれば、リフレッシュレートが２４０Ｈｚである場合と比較して露光時間を長くすることができるため、暗所においても画像の質が低下しない程度の露光量を確保することができる。
【００６３】
また、画像が撮像される環境が更に暗所に変化した場合には、撮像装置１１における露光時間を更に長くするために４フレーム目の画像を表示する際のリフレッシュレートを例えば１２０Ｈｚから９０Ｈｚに低下させる。これによれば、更に露光量を確保することができる。
【００６４】
しかしながら、図６に示す低遅延システムの動作においては、リフレッシュレート（露光時間）を変更する度に上記した撮像装置１１の走査時間及び表示装置１２の走査時間も併せて変更されるため、システムが複雑となり、当該システムの負荷が大きくなる。
【００６５】
また、画像が撮像される環境が明所に変化したことに応じて、例えば５フレーム目の画像を表示する際のリフレッシュレートを高くする（例えばリフレッシュレートを２４０Ｈｚに戻す）場合を想定する。
【００６６】
この場合、４フレーム目の画像を撮像する撮像装置１１の走査時間は９０Ｈｚのリフレッシュレートに応じて長くなっており、各ラインの画像信号の出力タイミングも遅くなっている。このため、５フレーム目の画像を表示する際のリフレッシュレートを高くしようとしても、４フレーム目の画像を撮像する（画像信号を生成する）処理との関係から、即時にリフレッシュレートを高くすることができない（高いリフレッシュレートに応じた走査時間で撮像装置１１を動作させることができない）。すなわち、図６に示すように動作する低遅延システムでは、例えば４フレーム目の画像の画像信号の生成（出力）が完了するまで待機しなければ、リフレッシュレートを高くする（つまり、リフレッシュレートを戻す）ことができない。
【００６７】
更に、例えば３フレーム目の画像を表示する際のリフレッシュレートを２４０Ｈｚから１２０Ｈｚに低下させた場合、２フレーム目の画像の最初のライン分の画像信号が書き込まれた後に３フレーム目の画像の最初のライン分の画像信号が書き込まれるまでの時間Ｔ１と、２フレーム目の画像の最終のライン分の画像信号が書き込まれた後に３フレーム目の画像の最終のライン分の画像信号が書き込まれるまでの時間Ｔ２との差が大きくなる。
【００６８】
このように表示パネル１２２の上部と下部とで画像信号の保持時間（データ保持時間）が異なることは、例えばリーク電流の影響によって画質が低下する（つまり、表示パネル１２２の上部と下部とで色彩が変化する）原因となる。なお、４フレーム目の画像を表示する際のリフレッシュレートを更に低くする場合も同様である。
【００６９】
これに対して、本実施形態に係る撮像表示システム１０は、システムの負荷を大きくすることなく、露光時間（露光量）を調整するためにリフレッシュレートを変更することが可能であり、更に、画質の低下を抑制することが可能な構成を有する。
【００７０】
以下、図７を参照して、本実施形態に係る撮像表示システム１０に備えられる制御装置１３の機能構成の一例について説明する。
【００７１】
図７に示すように、制御装置１３は、取得部１３１、処理部１３２、判定部１３３及び制御部１３４を含む。
【００７２】
取得部１３１は、上記した撮像装置１１から出力される１フレームの画像の画像信号を取得する。具体的には、取得部１３１は、１フレームの画像のライン毎の画像信号を順次取得する。
【００７３】
処理部１３２は、取得部１３１によって取得されたライン毎の画像信号に対して画像処理を実行することによって、当該画像信号をＲＧＢ成分を含む画像信号（つまり、表示装置１２において表示可能な形式の信号）に変換する。なお、処理部１３２によって画像処理が実行された画像信号は、表示装置１２に出力され、当該表示装置１２に備えられる表示パネル１２２（画素ＰＸ）に書き込まれる。
【００７４】
判定部１３３は、例えば撮像装置１１によって画像が撮像される際の露光量測定し、当該露光量が予め定められた値よりが不足している（つまり、当該露光量が少ない）か否かを判定する。
【００７５】
なお、判定部１３３による判定処理は、例えば取得部１３１によって取得された画像信号（または処理部１３２によって画像処理された画像信号）から抽出される画像の輝度値（輝度信号）等に基づいて実行される。また、撮像表示システム１０が撮像装置１１の周囲の照度を計測する照度センサを備える構成の場合には、判定部１３３による判定処理は、当該照度センサによって計測される照度に基づいて実行されても構わない。
【００７６】
このような構成によれば、判定部１３３は、輝度値または照度が例えば予め定められた値以下である場合に、撮像装置１１によって画像が撮像される際の露光量が不足していると判定することができる。
【００７７】
制御部１３４は、判定部１３３によって露光量が不足していると判定された場合、表示装置１２におけるリフレッシュレートが低くなるように当該表示装置１２を制御するとともに、当該リフレッシュレートに応じて撮像装置１１における露光時間が長くなるように当該撮像装置１１を制御する。この制御部１３４による制御（つまり、露光時間を長くすること）によって、撮像装置１１によって画像が撮像される際に十分な露光量を得ることが可能となる。
【００７８】
ここで、上記したように、図５に示す低遅延システムの動作では、リフレッシュレートを低くした場合に撮像装置１１の走査時間（撮像装置１１において１フレームの画像を走査するための走査時間）及び表示装置１２の走査時間（表示装置１２において当該画像を表示するための走査時間）が長くなる。これに対して、本実施形態に係る撮像表示システム１０においては、撮像装置１１の走査時間及び表示装置１２の走査時間が上記したリフレッシュレート及び露光時間に関わらず一定となる（維持される）ように構成されている。
【００７９】
以下、図８のタイミングチャートを参照して、画像が撮像される環境の変化に応じて露光時間を調整する際の撮像表示システム１０の動作について説明する。
【００８０】
まず、撮像装置１１によって撮像される動画像を構成する１フレーム目の画像及び２フレーム目の画像を表示する際には、撮像表示システム１０における表示装置１２が２４０Ｈｚのリフレッシュレートで駆動しているものとする。
【００８１】
ここで、上記した判定部１３３によって露光量が不足していると判定された場合を想定する。この場合、制御部１３４は、３フレーム目の画像を表示するために、１２０Ｈｚのリフレッシュレートで駆動するように（つまり、リフレッシュレートが低くなるように）表示装置１２を制御するとともに、当該リフレッシュレートに応じて撮像装置１１における露光時間が長くなるように当該撮像装置１１を制御する。
【００８２】
これによれば、３フレーム目の画像を撮像する撮像装置１１における露光時間が長くなるとともに、表示装置１２において３フレーム目の画像が表示される期間（１フレーム期間）は１／２４０ｓから１／９０ｓとなる。
【００８３】
これに対して、撮像装置１１及び表示装置１２の走査時間は、３フレーム目の画像を表示する（つまり、リフレッシュレートが１２０Ｈｚである）場合においても１フレーム目及び２フレーム目の画像を表示する（つまり、リフレッシュレートが２４０Ｈｚである）場合と比較して長くならず一定（例えば、約１／２４０ｓ）である。この場合、制御装置１３（処理部１３２）において１フレームの画像の全てのラインの画像信号に対して画像処理が実行される時間（以下、画像処理時間と表記）もリフレッシュレート及び露光時間に関わらず一定である。
【００８４】
なお、上記した撮像装置１１の走査時間、表示装置１２の走査時間及び画像処理時間は、図８に示すように、例えば４フレーム目の画像を表示する際のリフレッシュレートを更に低下させた（つまり、リフレッシュレートを１２０Ｈｚから９０Ｈｚに変更した）場合であっても同様に一定である。
【００８５】
ここで、４フレーム目の画像を表示する際に表示装置１２が９０Ｈｚのリフレッシュレートで駆動している場合において、５フレーム目の画像を表示する際のリフレッシュレートを例えば１２０Ｈｚに変更する（つまり、リフレッシュレートを高くする）場合を想定する。
【００８６】
上述した図６において説明した低遅延システムの動作においては、このようなリフレッシュレートの変更は困難（煩雑）であったが、本実施形態においては、撮像装置１１及び表示装置１２の走査時間が一定であるため、図８に示すようにリフレッシュレートを高くするような場合であっても容易に変更する（つまり、低リフレッシュレートから高リフレッシュレートに容易に遷移する）ことができる。
【００８７】
なお、判定部１３３は、上述した露光量が不足しているか否かの判定処理に加えて、当該露光量が過剰であるか否かの判定処理を実行するものとする。これにより、判定部１３３によって露光量が過剰であると判定された場合には、制御部１３４は、リフレッシュレートが高くなるように表示装置１２を制御するとともに、当該リフレッシュレートに応じて撮像装置１１における露光時間が短くなるように当該撮像装置１１を制御することができる。
【００８８】
図８に示すように、このようにリフレッシュレートを高くする場合であっても、上記したように撮像装置１１の走査時間及び表示装置１２の走査時間（及び画像処理時間）は一定とする。
【００８９】
上記したように本実施形態においては、撮像装置１１によって画像が撮像される際の露光量が不足していると判定された場合に、表示装置１２におけるリフレッシュレートが低くなるように当該表示装置１２を制御するとともに、当該リフレッシュレートに応じて撮像装置１１における露光時間が長くなるように当該撮像装置１１を制御する。この場合、撮像装置１１において１フレームの画像を走査するための走査時間（第１の走査時間）及び当該画像を表示するために表示装置１２において表示パネル１２２を走査するための走査時間（第２の走査時間）は、リフレッシュレート及び露光時間に関わらず一定である。
【００９０】
本実施形態においては、このような構成により、十分な露光量を確保する（露光時間を長くする）ためにフレームレートを低くした場合であっても撮像装置１１及び表示装置１２の走査時間（ライン毎の走査タイミング）を変更しない（つまり、常に同じ走査時間である）ため、撮像表示システム１０において動作クロック等を変更する必要がなく、露光時間を調整する際の当該撮像表示システム１０の負荷を低減することが可能となる。
【００９１】
また、本実施形態においては、撮像装置１１及び表示装置１２の走査時間が一定であることにより、画像が撮像される環境の変化に応じてリフレッシュレートを低くした場合であっても、表示パネル１２２の上部と下部とで画像信号の保持時間を均一にすることができるため、リーク電流の影響による画質の低下を抑制することが可能となる。
【００９２】
更に、本実施形態においては、上記したように撮像装置１１及び表示装置１２の走査時間がリフレッシュレート及び露光時間に関わらず一定であるため、例えば十分な露光量を確保するためにリフレッシュレートを低くした後に露光量が過剰であると判定された場合に、表示装置１２におけるリフレッシュレートが高くなるように当該表示装置を制御するとともに、当該リフレッシュレートに応じて撮像装置１１における露光時間が短くなるように当該撮像装置１１を制御することができる。
【００９３】
すなわち、本実施形態においては、十分な露光量を確保するために一旦リフレッシュレートを低くした（露光時間を長くした）場合であっても、上述した図８において説明したように、不要な待ち時間を経ることなく当該リフレッシュレートを高くする（露光時間を短くする）ことが可能であるため、スムーズな露光量の変更（リフレッシュレートの変更）を実現することができる。
【００９４】
また、本実施形態においては、露光量の不足または過剰に基づいてリフレッシュレートを連続的に変更することができるため、例えば明所では高いリフレッシュレートでブレ及びボケの少ない画像を表示することができるとともに、暗所ではリフレッシュレートを低くすることによってノイズの少ない画像を表示することができる。
【００９５】
なお、本実施形態においてはリフレッシュレートが例えば２４０Ｈｚ、１２０Ｈｚ及び９０Ｈｚ等であるものとして説明したが、当該リフレッシュレートは、これら以外の任意の値に変更することができる。
【００９６】
この場合、例えば撮像装置１１による画像の撮像に必要な（十分な）露光量に基づいて表示装置１２におけるリフレッシュレート及び撮像装置１１における露光時間を変更（決定）するような構成とすることができる。具体的には、制御装置１３（に含まれる制御部１３４）は、露光量の不足または過剰によりリフレッシュレートが変更される場合に、例えば上述した画像信号から抽出される画像の輝度値または照度センサによって計測される撮像装置１１の周囲の照度に基づいて画像の撮像に必要な露光量を確保するための露光時間を算出し、１フレーム期間が当該算出された露光時間と同程度の長さとなるような（少なくとも算出された露光時間よりも１フレーム期間が長くなるような）リフレッシュレートを決定する。なお、必要な露光量を確保するための露光時間は、例えば制御装置１３内に予め用意されている関数等を用いて算出されてもよいし、他の手法により算出されても構わない。このような構成によれば、適切な露光時間（露光量）に応じたリフレッシュレートで表示装置１２を駆動させることが可能となる。
【００９７】
なお、例えば画像が撮像される環境が非常に暗い場所等である（つまり、画像の輝度値または撮像装置１１の周囲の照度が非常に低い）場合、必要な露光量を確保するための露光時間として画像の表示に影響を与える程度の長い時間が算出されることが懸念される。このため、制御装置１３内においては最長の露光時間を定めたレジスタが用意されているものとする。これによれば、レジスタに定められている最長の露光時間よりも長い時間が露光時間として算出されるような場合には、当該最長の露光時間が算出されたものとしてリフレッシュレートが決定される。このような構成によれば、例えば露光量を確保するために表示装置１２が必要以上に低いリフレッシュレートで駆動され、画質の劣化及びフリッカ（ちらつき現象）等の不具合が生じるような事態を回避することができる。
【００９８】
ここでは、画像の輝度値または撮像装置１１の周囲の照度に基づいて露光時間が算出されるものとして説明したが、例えば当該輝度値または照度に対して必要な露光量を確保するための露光時間を保持するテーブル等が予め制御装置１３内に用意されており、当該テーブルを参照することによって輝度値または照度に応じた適切な露光時間が取得されるような構成としても構わない。
【００９９】
また、本実施形態においては主に画像の明るさ（画像の輝度値または撮像装置１１の周囲の照度）に基づいて露光時間（リフレッシュレート）を調整するものとして説明したが、例えば高速で移動する物体を撮像する場合、露光時間が長い（リフレッシュレートが低い）とブレの多い画像が表示される。
【０１００】
このため、例えば撮像装置１１によって画像が撮像される領域内に存在する物体（以下、対象物と表記）の移動速度に応じて露光時間（リフレッシュレート）を調整するようにしてもよい。具体的には、対象物の移動速度が予め定められた値以上でない（つまり、対象物が低速で移動しているまたは停止している）と判定された場合には、表示装置１２におけるリフレッシュレートが低くなるように当該表示装置１２を制御するとともに、当該リフレッシュレートに応じて撮像装置１１における露光時間が長くなるように当該撮像装置１１を制御する構成としてもよい。一方、対象物の移動速度が予め定められた値以上である（つまり、対象物が高速で移動している）と判定された場合には、表示装置１２におけるリフレッシュレートが高くなるように当該表示装置１２を制御するとともに、当該リフレッシュレートに応じて撮像装置１１における露光時間が長くなるように当該撮像装置１１を制御する構成としてもよい。このような構成によれば、対象物の移動速度に応じた適切な露光時間で画像を撮像することができる。なお、このような構成の場合であっても、上述したように撮像装置１１及び表示装置１２の走査時間は一定であるものとする。
【０１０１】
上記した対象物の移動速度は、例えば撮像装置１１によって撮像される画像（の画像信号）から抽出される対象物の位置（情報）の変化に基づいて算出されてよいし、他のセンサ等を用いて計測されてもよい。また、対象物が人物である場合には、当該対象物は、例えば撮像装置１１によって撮像される画像に対する顔認証処理等によって特定されてもよい。
【０１０２】
また、このような構成の場合、表示装置１２におけるリフレッシュレート及び撮像装置１１における露光時間は、対象物の移動速度に応じた任意の値に変更されても構わない。
【０１０３】
なお、本実施形態においては撮像表示システム１０が低遅延システムである（つまり、フレームバッファを省略して、撮像装置１１と表示装置１２とが同期して駆動する）ものとして説明したが、例えばフレームバッファを省略しない（つまり、撮像装置１１と表示装置１２とが同期して駆動しない）場合であっても、露光時間の変更（表示装置１２におけるリフレッシュレートの変更）に関わらず撮像装置１１の走査時間を一定とすることにより、上述した露光時間を調整する際の負荷を低減することが可能である。
【０１０４】
また、本実施形態は、露光時間を調整する（リフレッシュレートを変更する）際に撮像装置１１（及び表示装置１２）の走査時間を一定とするものであれば適用可能である。このため、本実施形態は、上記した画像の明るさ及び対象物の移動速度の双方を考慮して露光時間を調整する場合に適用されてもよいし、他の条件に従って露光時間を調整する場合に適用されてもよい。また、例えば予め定められた期間（ユーザによって指定された期間等）にのみ撮像装置１１（及び表示装置１２）の走査時間が一定とされる（つまり、図８において説明したように動作する）ような構成としても構わない。
【０１０５】
また、本実施形態においては制御装置１３が撮像装置１１及び表示装置１２とは別個の装置であるものとして説明したが、当該制御装置１３は、撮像装置１１（または表示装置１２）に組み込まれていても構わない。また、本実施形態においては制御装置１３が機能部として取得部１３１、処理部１３２、判定部１３３及び制御部１３４を含むものとして説明したが、これらの各部１３１〜１３４のうちの少なくとも１つが例えば撮像装置１１（または表示装置１２）に含まれる構成であっても構わない。
【０１０６】
また、本実施形態においては表示装置１２が液晶表示装置であるものとして説明したが、当該表示装置１２は、例えば画像が書き換えられるまでの間（つまり、１フレーム期間中）、画像信号（データ）を保持し、画像を出力（表示）し続けることが可能な表示装置であればよく、例えば有機ＥＬ表示装置（ＯＬＥＤディスプレイ）等であっても構わない。
【０１０７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【０１０８】
以下、本実施形態に係る発明を付記する。  
［Ｃ１］  
撮像した画像を走査して当該画像を示す画像信号を生成する撮像装置と前記生成された画像信号に応じて表示パネルを走査して前記画像を当該表示パネルに表示する表示装置とが同期して駆動する撮像表示システムにおいて、  
前記撮像装置によって画像が撮像される際の露光量を測定し予め定められた値より不足しているかを判定する判定部と、  
前記露光量が不足していると判定された場合、前記幼児装置におけるリフレッシュレートが低くなるように当該表示装置を制御するとともに、当該リフレッシュレートに応じて前記撮像装置における露光時間が長くなるように当該撮像装置を制御する制御部と  
を具備し、  
前記撮像装置において前記画像を走査するための第１の走査時間及び前記表示装置において前記表示パネルを走査するための第２の走査時間は、前記リフレッシュレート及び前記露光時間に関わらず一定である  
撮像表示システム。  
［Ｃ２］  
前記判定部は、前記露光時間が長くなるように前記撮像装置が制御された後、前記露光量が過剰であるかを判定し、  
前記制御部は、前記露光量が過剰であると判定された場合、前記表示装置におけるリフレッシュレートが高くなるように当該表示装置を制御するとともに、当該リフレッシュレートに応じて前記撮像装置における露光時間が短くなるように当該撮像装置を制御する  
［Ｃ１］記載の撮像表示システム。  
［Ｃ３］  
前記制御部は、前記露光量が不足していると判定された場合、前記撮像装置による画像の撮像に必要な露光量に基づいて前記表示装置におけるリフレッシュレート及び前記撮像装置における露光時間を変更する［Ｃ１］記載の撮像表示システム。
［Ｃ４］  
撮像した画像を走査して当該画像を示す画像信号を生成する撮像装置と前記生成された画像信号に応じて表示パネルを走査して前記画像を当該表示パネルに表示する表示装置とが同期して駆動する撮像表示システムにおいて、  
前記撮像装置によって画像が撮像される領域内に存在する物体の移動速度が予め定められた値以上であるかを判定する判定部と、  
前記移動速度が予め定められた値以上で合ないと判定された場合、前記表示装置におけるリフレッシュレートが低くなるように当該表示装置を制御するとともに、当該リフレッシュレートに応じて前記撮像装置における露光時間が長くなるように当該撮像装置を制御する制御部と  
を具備し、  
前記撮像装置において前記画像を走査するための第１の操作時下の呼び前記表示装置において前記表示パネルを走査するための第２の走査時間は、前記リフレッシュレート及び前記露光時間に関わらず一定である  
撮像表示システム。  
［Ｃ５］  
前記制御部は、前記移動速度が予め定められた値以上であると判定された場合、前記表示装置におけるリフレッシュレートが高くなるように当該表示装置を制御するとともに、当該リフレッシュレートに応じて前記撮像装置における露光時間が短くなるように当該撮像装置を制御する［Ｃ４］記載の撮像表示システム。  
［Ｃ６］  
前記制御部は、前記移動速度に応じた露光量に基づいて前記表示装置におけるリフレッシュレート及び前記撮像装置における露光時間を変更する［Ｃ４］記載の撮像表示システム。  
［Ｃ７］  
撮像した画像を走査して当該画像を示す画像信号を生成する撮像装置において、  
前記撮像装置によって画像が撮像される際の露光量を測定し予め定められた値より不足しているかを判定する判定部と、  
前記露光量が不足していると判定された場合、前記撮像装置における露光時間が長くなるように前記撮像装置を制御する制御部と  
を具備し、  
前記撮像装置において前記画像を走査するための走査時間は、前記露光時間に関わらず一定である  
撮像装置。  
［Ｃ８］  
前記判定部は、前記露光時間が長くなるように前記撮像装置が制御された後、前記露光量が過剰であるかを判定し、  
前記制御部は、前記露光量が過剰であると判定された場合、前記撮像装置における露光時間が短くなるように当該撮像装置を制御する  
［Ｃ７］記載の撮像装置。  
［Ｃ９］  
前記制御部は、前記露光量が不足していると判定された場合、前記撮像装置による画像の撮像に必要な露光量に基づいて前記撮像装置における露光時間を変更する［Ｃ７］記載の撮像装置。  
［Ｃ１０］  
撮像した画像を走査して当該画像を示す画像信号を生成する撮像装置と前記生成された画像信号に応じて表示パネルを走査して前記画像を当該表示パネルに表示する表示装置とが同期して駆動する撮像表示システムが実行する撮像駆動方法であって、  
前記撮像装置によって画像が撮像される際の露光量を測定し予め定められた値より不足しているかを判定するステップと、  
前記露光量が不足していると判定された場合、前記表示装置におけるリフレッシュレートが低くなるように当該表示装置を制御するとともに、当該リフレッシュレートに応じて前記撮像装置における露光時間が長くなるように当該撮像装置を制御するステップと  
を具備し、  
前記撮像装置において前記画像を走査するための第１の走査時間及び前記表示装置において前記表示パネルを走査するための第２の走査時間は、前記リフレッシュレート及び前記露光時間に関わらず一定である  
撮像表示方法。  
［Ｃ１１］  
前記判定するステップは、前記露光時間が長くなるように前記撮像装置が制御された後、前記露光量が過剰であるかを判定するステップを含み、  
前記制御するステップは、前記露光量が過剰であると判定された場合、前記表示装置におけるリフレッシュレートが高くなるように当該表示装置を制御するとともに、当該リフレッシュレートに応じて前記撮像装置における露光時間が短くなるように当該撮像装置を制御するステップを含む  
［Ｃ１０］記載の撮像表示方法。  
［Ｃ１２］  
前記制御するステップは、前記露光量が不足していると判定された場合、前記撮像装置による画像の撮像に必要な露光量に基づいて前記表示装置におけるリフレッシュレート及び前記撮像装置における露光時間を変更するステップを含む［Ｃ１０］記載の撮像表示方法。
【符号の説明】
【０１０９】
１０…撮像表示システム、１１…撮像装置、１２…表示装置、１３…制御装置、１２１…信号処理部、１２２…表示パネル、１２３…パネル駆動部、１２３ａ…信号出力回路、１２３ｂ…走査回路、１２４…光源装置、１２５…光源駆動部、１３１…取得部、１３２…処理部、１３３…判定部、１３４…制御部。
【図１】
2017212533.tif 000003
【図２】
2017212533.tif 000004
【図３】
2017212533.tif 000005
【図４】
2017212533.tif 000006
【図５】
2017212533.tif 000007
【図６】
2017212533.tif 000008
【図７】
2017212533.tif 000009
【図８】
2017212533.tif 000010