(57)【要約】      （修正有）【課題】撮像素子による撮像からビューファインダによる表示までの遅延時間の短縮を簡単な回路構成で実現する。【解決手段】ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ）コントローラ４０は、１フレームの有効ライン数を含むコマンドを受信するシリアルＩ／Ｆと、画像信号Ｄｇｂが有効となるライン数をカウントするカウンタと、データイネーブル信号ＤＥに基づいて有効な画像信号Ｄｇｂを入力するデータ入力部と、入力した有効な画像信号ＤｇｂをＥＶＦ５０に出力するデータ出力部と、カウンタのカウント値と有効ライン数を比較し、比較結果に基づいてフレーム内の有効な画像信号Ｄｇｂの入力の終了を検知した後、次のフレームの準備のための処理を開始するタイミング生成部とを備える。【選択図】図１
2015186146.tif 000002
【特許請求の範囲】
【請求項１】
水平同期信号に同期した画像信号と、前記画像信号が有効又は無効であることを示す制御信号とに基づいて、表示部に表示させる画像を制御する表示制御装置であって、
１フレームの有効ライン数を含むコマンドを受信する受信部と、
前記画像信号が有効となるライン数をカウントするカウンタと、
前記制御信号に基づいて有効な前記画像信号を入力する入力部と、
入力した有効な前記画像信号を前記表示部に出力する出力部と、
前記カウンタのカウント値と前記有効ライン数を比較し、比較結果に基づいて、次のフレームの準備のための処理を開始する処理部と、
を備える表示制御装置。
【請求項２】
前記画像信号は、前記表示部で表示すべき画像を示す有効画像信号と、前記表示部で表示しない無効画像信号を備え、
前記制御信号は、前記画像信号が前記有効画像信号となる場合に、アクティブとなり、前記画像信号が前記無効画像信号となる場合に、非アクティブとなり、
前記水平同期信号は一定の周期である、
ことを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記画像信号が有効となるのは水平走査期間の一部の期間であり、
前記カウンタは、前記制御信号をカウントして、前記画像信号が有効となるライン数を示す前記カウント値を出力する、ことを特徴とする請求項１又は２に記載の表示制御装置。
【請求項４】
前記カウンタは、前記制御信号がアクティブとなるラインの前記水平同期信号をカウントして、前記画像信号が有効となるライン数を示す前記カウント値を出力する、ことを特徴とする請求項１又は２に記載の表示制御装置。
【請求項５】
前記コマンドは、垂直フロントポーチ期間のライン数を含み、
前記処理部は、前記カウンタのカウント値と前記有効ライン数とが一致した後、受信した垂直フロントポーチ期間のライン数が経過するまでに、次のフレームの準備のための処理を開始する、
ことを特徴とする請求項１乃至４のいずれかに記載の表示制御装置。
【請求項６】
前記コマンドを受信する受信部は、小電圧差動シリアルインタフェースを備えており、
前記画像信号は当該小電圧差動シリアルインタフェースを介して前記入力部に供給される、
ことを特徴とする請求項２に記載の表示制御装置。
【請求項７】
前記コマンドは、前記制御信号が非アクティブとなる期間のうち所定期間において前記画像信号の前記無効画像信号の替わりに送信され、
前記所定期間において受信した前記無効画像信号から前記コマンドを分離する分離部を備える、
ことを特徴とする請求項１乃至６のうちいずれか１項に記載の表示制御装置。
【請求項８】
前記画像信号は、撮像素子によって撮像された撮像信号に画像処理を施して得られたものであり、
前記表示部のフレームレートが、前記撮像信号のフレームレートより高い、
ことを特徴とする請求項７に記載の表示制御装置。
【請求項９】
請求項１乃至８のいずれかに記載の表示制御装置と、
画像を表示する表示部と、
を備えることを特徴とする表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像を表示させる表示制御装置及び表示装置に関する。
【背景技術】
【０００２】
いわゆるミラーレス一眼のデジタルカメラでは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等のイメージセンサで撮像した画像信号に応じた画像をリアルタイムで筐体裏面に設けられた液晶パネルや筐体上部に取り付けられた電子ビューファインダー（以下、ＥＶＦ[Electronic View Finder]と称する）等に表示するいわゆるライブビュー動作により、被写体の画像を確認することができるようになっている。
【０００３】
しかしながら、このライブビューでは、イメージセンサで被写体を撮像してからビューファインダ等に表示されるまでに顕著な遅延が生じている。このため、動きのある被写体にカメラを向けて追従させることが困難になる。さらに、表示されている被写体の画像に基づいて静止画像の撮像を指示すると、表示されていた被写体の画像と実際に撮像される静止画の画像とにタイミングのずれが生じ、特に動きの早い被写体の場合には、意図した静止画を撮像することが困難になる。
【０００４】
このため、ビューファインダ等に表示させる画像信号のイメージセンサによる撮像からの遅延を短くする技術が知られている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２４４１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の特許文献に記載された技術では、画像信号の水平走査期間のフロントポーチ時間の延長等により、水平走査期間を調整し、１フレーム単位で見たときに、イメージセンサで撮像してからＥＶＦ等に表示されるまでの遅延を短くしていた。このような動作では、水平同期信号のタイミングが変動するため、ＥＶＦ等の駆動回路側において、水平同期信号のタイミングの変動に追従して表示制御を行うための構成が必要となる。このため、回路構成が複雑化する。さらに、液晶パネル等の表示部のサイズが変更された場合に、サイズに応じた専用のＥＶＦコントローラを用いるのは、無駄が大きい。
【０００７】
本発明は、上述した事情に鑑みてなされたものであり、撮像素子による撮像から表示までの遅延時間の短縮を簡単な回路構成で実現すると共に、表示部のサイズが変更された場合にも柔軟に対応可能とすることを解決課題の一つとする。
【課題を解決するための手段】
【０００８】
本発明に係る表示制御装置の一態様は、水平同期信号に同期した画像信号と、前記画像信号が有効又は無効であることを示す制御信号とに基づいて、表示部に表示させる画像を制御するものであって、１フレームの有効ライン数を含むコマンドを受信する受信部と、前記画像信号が有効となるライン数をカウントするカウンタと、前記イネーブル信号に基づいて有効な前記画像信号を入力する入力部と、入力した有効な前記画像信号を前記表示部に出力する出力部と、前記カウンタのカウント値と前記有効ライン数を比較し、比較結果に基づいて、次のフレームの準備のための処理を開始する処理部と、を備える。
【０００９】
この態様によれば、カウンタは、受信部が受信した画像信号中の有効な画像信号のライン数をカウントし、処理部は、カウント値と有効ライン数の比較結果に応じてフレーム内の有効な画像信号の終了を検出する。有効でない画像信号を含む画像信号では、垂直走査期間内の画像信号のライン数が変動する。従って、単純に画像信号のライン数をカウントしても、有効な画像信号の受信の終了を検出することができないため、有効な画像信号のライン数と有効ライン数とを比較して有効な画像信号の受信の終了を検出している。これにより、次のフレームの準備のための処理を開始することが可能となる。なお、処理部は、
カウンタのカウント値と有効ライン数を比較し、比較結果に基づいて、次のフレームの準備のための処理を開始すればよい。例えば、比較結果に基づいて、フレーム内の有効な画像信号の入力の終了を検知した後、次のフレームの準備のための処理を開始してもよい。
あるいは、カウント値が有効ライン数未満であっても、次のフレームの準備のための処理を開始して良い程度に有効な画像信号の受信が終了している場合には、次のフレームの準備のための処理を実行してもよい。より具体的には、有効ライン数とカウント値との比較結果である差分（有効ライン数−カウント値）が所定数未満であれば、次のフレームの準備のための処理を開始してもよい。
さらに、撮像素子で撮像された撮像信号に画像処理を施して画像信号を生成する場合、撮像信号の生成から表示部に画像を表示するまでの遅延時間が問題となるが、無効な画像信号を含ませることによって、撮像信号と画像信号とが非同期で動作しても、画像信号の生成タイミングが撮像信号に次第に近づいていくので、最小の遅延時間で同期化されることになる。
くわえて、有効ライン数をコマンドとして伝送するので、表示部のサイズを変更しても柔軟に対応することができ、装置の汎用性を向上させることができる。
なお、処理部はカウントをリセットしてもよく、カウンタのカウント値と有効ライン数とが一致するとリセットしてもよいし、カウンタのカウント値と有効ライン数とが一致した後、垂直同期信号が有効になるとカウンタをリセットしてもよい。
また、処理部は、カウンタのカウント値と有効ライン数とが一致してから次のフレームが開始（次の垂直同期信号が有効になる）するまでに、次のフレームの準備のための処理を開始すればよく、必ずしもカウンタのカウント値と有効ライン数とが一致した際に当該処理を開始しなくてもよい。
【００１０】
上述した表示制御装置の一態様において、前記画像信号は、前記表示部で表示すべき画像を示す有効画像信号と、前記表示部で表示しない無効画像信号を備え、前記制御信号は、前記画像信号が前記有効画像信号となる場合に、アクティブとなり、前記画像信号が前記無効画像信号となる場合に、非アクティブとなり、前記水平同期信号は一定の周期であってもよい。
【００１１】
この態様によれば、画像信号に、水平同期信号に同期させた無効画像信号を挿入することができ、垂直走査期間を調整することができる。また、制御信号によって有効画像信号であるか無効画像信号かを判断することができるので、画像信号のうちの有効画像信号を表示部に表示させること可能となる。
【００１２】
上述した表示制御装置の一態様において、前記画像信号が有効となるのは水平走査期間の一部の期間であり、前記カウンタは、前記制御信号をカウントして、前記画像信号が有効となるライン数を示す前記カウント値を出力することが好ましい。制御信号は水平走査期間の一部の期間でアクティブとなるので、制御信号をカウントすることにより、画像信号が有効となるライン数を計数することが可能となる。
【００１３】
上述した表示制御装置の一態様において、前記制御信号がアクティブとなるラインの前記水平同期信号をカウントして、前記画像信号が有効となるライン数を示す前記カウント値を出力してもよい。
【００１４】
上述した表示制御装置の一態様において、前記コマンドは、垂直フロントポーチ期間のライン数を含み、前記処理部は、前記カウンタのカウント値と前記有効ライン数とが一致した後、受信した垂直フロントポーチ期間のライン数が経過するまでに、次のフレームの準備のための処理を開始してもよい。これにより、垂直フロントポーチ期間内のライン数を考慮して、次のフレームの準備を開始することができる。
【００１５】
上述した表示制御装置の一態様において、前記コマンドを受信する受信部は、小電圧差動シリアルインタフェースを備えており、前記画像信号は当該小電圧差動シリアルインタフェースを介して前記入力部に供給される。これにより、コマンドの伝送と画像信号の伝送を同一のインタフェースで行うことができ、装置全体の構成を簡素化することができる。
【００１６】
上述した表示制御装置の一態様において、前記コマンドは、前記制御信号が非アクティブとなる期間のうち所定期間において前記画像信号の前記無効画像信号の替わりに送信され、前記所定期間において受信した前記無効画像信号から前記コマンドを分離する分離部を備えることが好ましい。制御信号が非アクティブとなる期間は、画像信号は無効な期間であるところ、そのような期間のうち所定期間にコマンドを伝送するので、有効な画像信号とコマンドとを時分割多重して伝送することが可能となる。この結果、伝送系統を削減でき構成を簡素化することが可能となる。
【００１７】
上述した表示制御装置の一態様において、前記画像信号は、撮像素子によって撮像された撮像信号に画像処理を施して得られたものであり、前記表示部のフレームレートが、前記撮像信号のフレームレートより高くてもよい。これにより、画像処理に要する時間が変動する結果、無効な画像信号と有効な画像信号と混在して表示制御装置に供給されても、撮像信号が得られてから表示部に画像が表示されるまでの遅延時間を順次短縮して、表示部における表示を画像信号に同期化させることができる。
【００１８】
次に、本発明に係る表示装置の一態様は、本発明に係る表示制御装置と、画像を表示する表示部と、を備えることを特徴とする。
【図面の簡単な説明】
【００１９】
【図１】実施形態の撮像表示装置１の構成例を示すブロック図
【図２】画像処理と進捗情報Ｐとの関係の一例を示す概念図
【図３】有効な画像データＤｇｂを出力するときの１水平走査期間に画像出力回路３０からＥＶＦコントローラ４０に供給される信号の一例を示すタイミングチャート
【図４】有効な画像データＤｇｂを出力しないときの１水平走査期間に画像出力回路３０からＥＶＦコントローラ４０に供給される信号の一例を示すタイミングチャート
【図５】撮像表示装置１を構成するＥＶＦコントローラ４０のより詳細な構成例を示すブロック図
【図６】レジスタ４３ａに設定される値の一例を示す図
【図７】イメージセンサ１２の受光部の構成例を示す概念図
【図８】イメージセンサ１２の受光部の画素の配置の例を示す概念図
【図９】液晶パネル５１の表示領域と、垂直方向及び水平方向の駆動タイミングとの関係の一例を示す概念図
【図１０】画像出力回路３０における画像信号の出力処理の一例を示すフローチャート
【図１１】画像出力回路３０によるダミーデータの挿入による表示用画像の垂直走査期間の変化の一例を示すタイミングチャート
【図１２】垂直走査期間内における表示用画像の画像データのライン毎の画像処理と画像データの出力処理の一例を示すタイミングチャート
【図１３】ＥＶＦコントローラ４０によるＥＶＦ５０の駆動動作の一例を示すフローチャート
【図１４】撮像部１０による撮像信号の出力からＥＶＦ５０の駆動までの動作の一例を概念的に示す概念図
【図１５】変形例にかかる撮像表示装置１を構成するＥＶＦコントローラ４０等の構成例を示すブロック図
【図１６】ＬＶＤＳ信号における表示用画像の１画素分の画像信号（画像データ）の一例を示す図
【図１７】ＬＶＤＳ信号における表示用画像の１画素分の画像信号（画像データ）の他の例を示す図
【発明を実施するための形態】
【００２０】
以下、本発明の撮像装置の好適な実施形態を詳細に説明する。なお、この実施形態は例示として挙げるものであり、これにより本発明の内容を限定的に解釈すべきではない。なお、以下、各実施形態では、一例として、表示部の表示素子として電気光学装置の一例である液晶パネル等を用いた場合について説明する。
【００２１】
＜１．第１の実施形態＞
［Ａ．撮像表示装置の構成］
図１は、本実施形態の撮像表示装置１の構成を示すブロック図である。
この撮像表示装置１は、被写体を撮像して得た撮像データＤｓ[撮像信号]を第１水平同期信号ＳＨsyncと同期して出力する撮像部１０と、撮像データＤｓに対して画像処理を施して画像データＤｇａを生成する画像処理回路２０と、画像データＤｇａを第２水平同期信号ＤＨsyncと同期して画像処理回路２０から読み出して画像データＤｇｂ（Ｄ00〜Ｄ23）[画像信号]として出力する画像出力回路３０と、画像データＤｇｂに応じてＥＶＦ５０の動作を制御するＥＶＦコントローラ４０と、液晶パネル等の表示素子を有するＥＶＦ５０と、設定の変更，撮影の指示等を入力する操作入力部６０と、撮像表示装置１全体の動作を制御する制御部７０と、を備えている。ここで、ＥＶＦコントローラ４０及びＥＶＦ５０は、画像を表示する表示装置として機能する。
この撮像表示装置１は、いわゆるミラーレスデジタルカメラであり、イメージセンサ１２の全画素の撮像データＤｓを読み出し、フィルタ処理等の処理を行って、静止画格納用のメモリ２９に格納する撮影動作等の他、撮像部１０で撮像した画像をリアルタイムでＥＶＦ５０に表示するいわゆるライブビュー動作が可能になっている。
【００２２】
次に、撮像部１０は、被写体の像を結像させる撮像光学系１１と、マトリックス状に配列された受光素子からの信号を線順次に走査して被写体の像に応じた撮像データＤｓを出力するイメージセンサ１２と、イメージセンサ１２に対して各種のタイミング信号を出力するタイミングジェネレータ（ＴＧ）１３とを備えている。タイミングジェネレータ１３は、第１垂直同期信号ＳＶsync，第１水平同期信号ＳＨsync，第１ドットクロックＳCLKを生成し、イメージセンサ１２に出力する。また、第１垂直同期信号ＳＶsync，第１水平同期信号ＳＨsync，第１ドットクロックＳCLKは、画像処理回路２０にも出力してもよい。
【００２３】
画像処理回路２０は、撮像データＤｓを一時的に格納するラインバッファ２１と、ラインバッファ２１に格納された撮像データＤｓに対して補間処理を行う画像補間処理部２２と、補間された撮像データＤｓに対して色再現処理を行う色再現処理部２３と、色再現された撮像データＤｓに対してフィルタ処理を行うフィルタ処理部２４と、フィルタ処理された撮像データＤｓに対してガンマ処理を行うガンマ処理部２５と、ガンマ処理された撮像データＤｓを一時的に格納するラインバッファ２６と、ラインバッファに格納された撮像データＤｓに対してサイズを調整するリサイズ処理を行うリサイズ処理部２７と、リサイズ処理された撮像データＤｓを表示用の画像データＤｇａとして一時的に保持するＶＲＡＭ／ラインバッファ２８と、を備えている。
【００２４】
このＶＲＡＭ／ラインバッファ２８は、１ライン分の画像データＤｇａの処理が完了して出力が可能になると、表示用画像の１ライン分の書き込みが終了した際の書き込み完了信号を出力するが、この信号を便宜的に進捗情報Ｐとしている。この例では、進捗情報Ｐとして“出力可能”を示すハイレベルのパルスを出力する。このパルスは１ラインの処理が完了する度に出力されるので、フレームの始め（後述する第２垂直同期信号ＤＶsyncの立ち下がり）からパルス数をカウントすれば、どのラインの画像データＤｇａが出力可能になったかを知ることができる。
【００２５】
仮に、全てのラインの画像処理時間が一定であれば、一定周期で１ライン分の画像データＤｇの処理が完了するため、進捗情報Ｐは不要である。しかしながら、サイズの調整を行うリサイズ処理やフィルタ処理等では、アルゴリズム（処理法）によっては、表示用画像の画像データＤｇａの生成に要する処理時間が表示用画像のライン毎に異なる場合がある。そこで、本実施形態においては、後段の画像出力回路３０において、画像処理回路２０が１ライン分の画像データＤｇａが出力可能となったこと検知できるように進捗情報Ｐを生成している。
【００２６】
図２に、１番目乃至６番目のラインの画像処理と進捗情報Ｐとの関係の一例を示す。図中、網かけの部分は、１ラインの画像処理に要する時間を示している。この例では、１番目乃至３番目及び５番目のラインの画像データＤｇａを生成するのに要する画像処理時間はＴａであり、４番目及び６番目のラインの画像データＤｇａを生成するのに要する画像処理時間はＴｂである。また、画像処理時間Ｔｂは画像処理時間Ｔａよりも長い。このように画像処理に要する時間がラインによって相違すると、進捗情報Ｐのパルス間隔が画像処理時間に応じて変動する。
【００２７】
この例では、１番目乃至６番目のラインの画像処理が終了する時刻ｔ１〜ｔ６において、パルスｐ１〜ｐ６が各々生成される。ここで、パルスｐ１とパルスｐ２の間隔及びパルスｐ２とパルスｐ３の間隔は等しい。しかしながら、４番目のラインの画像処理に要する時間Ｔｂは、画像処理時間Ｔａと比較して長い。このため、時刻ｔ４で発生するパルスｐ４とパルスｐ３との間隔は、パルスｐ２とパルスｐ３の間隔と比較して長くなる。
この進捗情報Ｐを参照することによって、後段の画像出力回路３０はあるラインの画像データＤｇａを出力する準備が完了したことを検知できる。そして、画像出力回路３０から読み出し要求があると、ＶＲＡＭ／ラインバッファ２８は１ライン分の画像データＤｇａをデータ出力回路３０へ出力する。
【００２８】
図１に示す画像出力回路３０は、ＥＶＦコントローラ４０に対する画像データＤｇｂ（Ｄ００〜Ｄ２３）の出力を制御するデータ出力制御部３１と、ＥＶＦコントローラ４０のレジスタ４３ａの設定パラメータ等を送信するシリアルインタフェース（Ｉ／Ｆ）３３と、各種のタイミング信号を生成するタイミングジェネレータ３５と、シリアルＩ／Ｆ３３を介してＥＶＦコントローラ４０にコマンドを送信するコマンド送信部３６とを備えている。このタイミングジェネレータ３５は、第２垂直同期信号ＤＶsync，第２水平同期信号ＤＨsync，第２ドットクロックＤCLK，及びデータイネーブル信号ＤＥ［制御信号］を生成する。ここで、第２ドットクロックＤCLKは上述した第１ドットクロックＳCLKと非同期である。従って、同期化に必要なＰＬＬ回路や分周回路を用いることなく、タイミングジェネレータ３５を構成することができる。
【００２９】
データイネーブル信号ＤＥは、有効な画像データＤｇｂ（Ｄ00〜Ｄ23）を出力する期間にアクティブ（この例では、ハイレベル）となり、その他の期間では非アクティブ（この例では、ローレベル）となる信号である。
タイミングジェネレータ３５は、以下の条件を充足する場合にｎ番目のラインのデータイネーブル信号ＤＥをアクティブにする。
第１に、イメージセンサ１２からｎ番目のラインを生成するために必要な撮像データＤｓの読み込みが完了していることが必要である。リサイズ処理においてライン数の変換を実行する場合、例えば、ＥＶＦ５０のｎ番目のラインが、イメージセンサ１２のｍ番目のラインに相当するのであれば、イメージセンサ１２からｍ番目のラインの撮像データＤｓが画像処理回路２０に読み込まれていることが必要である（第１条件）。
第２に、ＥＶＦ５０に表示するべきｎ番目のラインの画像データＤｇａの生成が完了していることが必要である（第２条件）。
第３に、ｎ番目のラインにおいて、表示タイミングの準備が完了していることが必要である。具体的には、１水平走査期間１Ｈにおいて、画像データＤｇｂが有効となる水平表示アクティブ期間（水平有効画像期間）HDISP（図３参照）であることが必要である（第３条件）。
【００３０】
第２条件であるｎ番目のラインの画像データＤｇａの生成が完了するためには、第１条件を充足することが必要である。そして、第２条件が充足したか否かは、進捗情報Ｐによって特定することができる。但し、ｎ番目のラインについて進捗情報Ｐがアクティブになったとしてもこれは必要条件であって、それだけでは、データイネーブル信号ＤＥはアクティブとならない。即ち、タイミングジェネレータ３５は、進捗情報Ｐを監視しながら、現在出力中のｎ-１番目のラインの次に表示するべきｎ番目のラインが出力可能かを判断し、ｎ番目のラインの画像データＤｇａをＶＲＡＭ／ラインバッファ２８から読み込むようにデータ出力制御部３１を制御すると共に第２水平同期信号ＤＨsyncを発行し、更に、データイネーブル信号ＤＥをアクティブにして、ｎ番目のラインの画像データＤｇｂをＥＶＦコントローラ４０に出力する。
【００３１】
図３は、データイネーブル信号ＤＥがアクティブとなる１水平走査期間１Ｈにおけるデータイネーブル信号ＤＥと画像データＤｇｂとの関係を示すタイミングチャートである。この図に示すように１水平走査期間１Ｈは、第２水平走査信号ＤＨsyncがアクティブ（ローレベル）となる水平同期期間HS、水平バックポーチ期間HBP、水平表示アクティブ期間HDISP及び水平フロントポーチ期間HFPからなる。水平表示アクティブ期間HDISPは、有効な画像データＤｇｂを出力するための期間であり、データイネーブル信号ＤＥは水平表示アクティブ期間HDISPにおいてアクティブとなり、有効な画像データＤｇｂがデータ出力制御部３１からＥＶＦコントローラ４０に出力される。一方、データイネーブル信号ＤＥは、それ以外の水平同期期間HS、水平バックポーチ期間HBP、及び水平フロントポーチ期間HFPにおいて非アクティブ（ローレベル）となり、これらの期間において無効な画像データＤｇｂが出力される。ＥＶＦコントローラ４０では、データイネーブル信号ＤＥがアクティブとなる期間において、画像データＤｇｂを取り込み、非アクティブとなる期間では画像データＤｇｂを取り込まない。
【００３２】
ここで、水平同期期間HS、水平バックポーチ期間HBP、及び水平フロントポーチ期間HFPの第２ドットクロックＤCLKの数は予め定められている。上述した第３条件である表示タイミングの準備が完了していることとは、１水平走査期間１Ｈが開始し、水平バックポーチ期間HBPが終了する時刻ｔｘに至ることを意味する。
また、データイネーブル信号ＤＥの立ち上がりタイミング及び立ち下がりタイミングは、第２ドットクロックＤCLKの立ち下がりエッジに同期している。このため、ＥＶＦコントローラ４０において、画像データＤｇｂを第２ドットクロックＤCLKの立ち上がりでラッチすることによって、時間的なマージンを持たせることができる。
【００３３】
図４は、データイネーブル信号ＤＥが非アクティブとなる１水平走査期間１Ｈにおけるデータイネーブル信号ＤＥと画像データＤｇｂとの関係を示すタイミングチャートである。この図に示すようにデータイネーブル信号ＤＥは常に非アクティブとなるので、画像データＤｇｂは全て無効となる。この場合、ＥＶＦコントローラ４０において、当該ラインの画像データＤｇｂが取り込まれることはない。
【００３４】
説明を図１に戻す。ＥＶＦコントローラ４０は、ＥＶＦ５０へ各種のタイミング信号と画像データＤｇｃとを供給する。ＥＶＦ５０は、画素が走査線とデータ線の交差位置にマトリクス状に配列された液晶パネル５１と、液晶パネル５１の走査線を選択する走査線選択部５２と、データ線を駆動するデータ線駆動部５３と、液晶パネル５１の像を拡大して観察可能な接眼光学系５５とを備えている。
【００３５】
図５はＥＶＦコントローラ４０及びＥＶＦ５０の詳細な構成を示すブロック図である。同図に示すようにＥＶＦコントローラ４０は、データ出力制御部３１からの画像データＤｇｂを入力するデータ入力部４１と、垂直表示アクティブ期間VDISP（図１１参照）のデータイネーブル信号ＤＥがアクティブとなるライン（水平走査期間）の数をカウントするカウンタ４２と、ＥＶＦ５０の駆動タイミングを生成するタイミング生成部４３と、ＥＶＦ５０に画像データを出力するデータ出力部４４と、シリアルＩ／Ｆ３３からのコマンドの受信等を行うシリアルＩ／Ｆ４５とを備えている。ここで、図３に示すように有効な画像データＤｇｂを出力するライン（水平走査期間）を有効ラインと称し、垂直表示アクティブ期間VDISPにおいて図４に示すように無効な画像データＤｇｂを出力するラインを無効ラインと称する。また、１フレームの有効ライン数は、図９に示す表示領域の垂直画素数と一致する。カウンタ４２のリセット端子には第２垂直同期信号ＤＶsyncが供給され、第２垂直同期信号ＤＶsyncがアクティブになると、カウンタ４２のカウント値ＶＣがリセットされる。また、カウンタ４２は、データイネーブル信号ＤＥの立ち上がりエッジをカウントする。あるいは、カウンタ４２のイネーブル端子にデータイネーブル信号ＤＥを供給し、第２水平同期信号ＨＤsyncを反転した信号を水平バックポーチ期間HBPだけ遅延してカウンタ４２のクロック端子に供給してもよい。この場合、カウンタ４２は、データイネーブル信号ＤＥがアクティブとなるラインの第２水平同期信号ＨＤsyncをカウントすることになる。
【００３６】
タイミング生成部４３は、レジスタ４３ａを備えており、シリアルＩ／Ｆ４５を介して受信した画像出力回路３０からのコマンド等に応じてレジスタ４３ａの値を設定するようになっている。具体的には、シリアルＩ／Ｆ３３及びシリアルＩ／Ｆ４５は、Ｉ２Ｃ（Inter-Integrated Circuit）あるいはＳＰＩ（Serial Peripheral Interface）等のプロトコルに従って通信を行うようになっている。シリアルＩ／Ｆ３３は、設定パラメータを含むコマンドをデータ出力部４４に送信する。データ出力部４４は、受信した設定パラメータに応じて、レジスタ４３ａの値を設定するようになっている。
【００３７】
レジスタ４３ａに設定する設定パラメータ（設定項目）は、例えば図６に示すように、液晶パネル５１側の１水平同期期間（図９中の第２水平同期信号ＤＨsyncの間隔１Ｈ）、水平バックポーチ期間（図９中のHBP）、水平画素数（図９中のHDISPに対応する表示領域の水平方向の画素数）、水平フロントポーチ期間（図９中のHFP）、１垂直同期期間（図９中の垂直同期信号ＤＶsyncの間隔１Ｖ）、垂直バックポーチ期間（図９中のVBP）、垂直画素数（図９中のVDISPに対応する表示領域のライン数）、垂直フロントポーチ期間（図９中のVFP）等である。ここで、垂直画素数は、画像の表示に寄与するラインの数である有効ライン数と一致する。
このように画像出力回路３０から、ＥＶＦ５０の仕様に基づくタイミングを設定できるので、サイズの異なる液晶パネル５１やフレームレート等のＥＶＦ５０の仕様が変更された場合であってもＥＶＦコントローラ４０を変更する必要がない。よって、システムの汎用性を向上させることが可能となる。
【００３８】
また、液晶パネル５１は、より詳細には、例えば図９に示すように、表示領域が１０２４×７６８（全ライン数Ｎ＝７６８）画素の液晶（ＬＣＤ）パネル等の表示素子から構成することができる。なお、この図５は、液晶パネル５１の表示領域と、当該液晶パネル５１の制御に用いる第２垂直同期信号ＤＶsync、第２水平同期信号ＤＨsync、データイネーブル信号ＤＥ、及びドットクロックＤCLK等の信号との関係を概念的に示したものである。この液晶パネル５１は、イメージセンサ１２側のフレーム周期より短い周期で１フレームを表示することができるようになっている。具体的には、この液晶パネル５１は、例えば最速で、１６０Ｈｚ程度のフレームレート（１／フレーム周期）で画像データＤｇｃに応じた画像を表示することができるようになっている。
【００３９】
このように、撮像表示装置１では、ＥＶＦ５０で表示可能な１フレームの周期が、撮像部１０の１フレームの周期より短くなっているため、ＥＶＦ５０のタイミングで表示用の画像データＤｇａの出力を行おうとしても、撮像部１０からの撮像データＤｓの出力と画像処理回路２０における画像処理が間に合わない。このため、この撮像表示装置１では、後述のように、ライブビューモードにおいて、画像出力回路３０からの画像データＤｇｂの出力タイミングを、画像処理回路２０からの画像データＤｇａの出力に応じて調整することにより、ＥＶＦ５０側の表示を撮像部１０からの撮像データＤｓの出力タイミングに追従させるようにしている。
【００４０】
なお、イメージセンサ１２からの撮像データＤｓ（例えば１７６０×７０４画素分画素分）に応じた画像を液晶パネル５１（例えば撮影条件等の表示領域［ＯＳＤ（On Screen Display）領域］を除いた１０２４×６８２画素分）に表示させようとすると、画素数の違いに対応させて、例えば上述のリサイズ処理部２７によるサイズの調整（リサイズ）を行う必要がある。このリサイズ処理のアルゴリズム（処理法）によっては、表示用画像の画像データの生成に要する処理時間が表示用画像のライン毎に異なる場合がある。
【００４１】
また、レンズの歪補正処理、フィルタ処理等を行う場合には、処理の種類によっては、表示用の画像データの生成に要する処理時間がライン毎に異なる場合がある。このため、画像処理回路２０における画像処理に要する時間が、表示用画像のライン毎に異なる場合がある。即ち、生成した表示用画像の画像データＤｇが出力可能になるタイミングが、ライン毎に異なる場合がある。このため、表示用画像の画像データが出力可能になるタイミングの変動の最大量に安全率を見込んだ固定のタイミングで表示用画像の画像データを出力しようとすると、イメージセンサ１２によって撮像されてから液晶パネル５１に表示されるまでの遅延時間が大きくなってしまう。
【００４２】
このため、この撮像表示装置１では、画像出力回路３０からの表示用画像の画像データＤｇｂの出力タイミングを、ＥＶＦ５０側の水平走査期間（水平同期信号の周期）単位で調整することにより、画像処理回路２０から表示用画像の画像データが出力可能になるタイミングに対応して、イメージセンサ１２による撮像から液晶パネル５１に表示されるまでの遅延を最小にした状態を保つようになっている。
【００４３】
［Ｂ．動作］
次に、上述した撮像表示装置１の動作について説明する。撮像表示装置１は、少なくとも撮影モードとライブビューモードで動作する。使用者が操作入力部６０を操作して静止画像の撮影を指示すると、撮影モードに移行する。撮影モードでは画像処理回路２０が、イメージセンサ１２の全画素の撮像データＤｓを読み出し、フィルタ処理等の処理を行って、静止画格納用のメモリ２９に格納する。一方、使用者が操作入力部６０を操作してライブビューモードを選択すると、撮像表示装置１は、上述のように、イメージセンサ１２で撮像した撮像データＤｓをリアルタイムで液晶パネル５１に表示させるライブビュー動作を実行する。
【００４４】
ライブビューモードでは、画像処理回路２０は、液晶パネル５１の画素数との違いに応じた画素数の変換等の処理を行って表示用画像の画像データＤｇを生成し、ＶＲＡＭ／ラインバッファ２８に記録する。ＶＲＡＭ／ラインバッファ２８は、表示用画像の１ライン分の書き込みが終了した際の書き込み完了信号を出力するが、この信号を便宜的に進捗情報Ｐとしている。タイミングジェネレータ３５は、進捗情報Ｐに応じて、第２垂直同期信号ＤＶsync、第２水平同期信号ＤＨsync、及びデータイネーブル信号ＤＥ等のタイミング信号を生成する。データ出力制御部３１は、タイミングジェネレータ３５が生成するタイミング信号に応じてＶＲＡＭ／ラインバッファ２８に記録された表示用画像の画像データＤｇａをライン毎に読み出し、ＥＶＦコントローラ４０に供給する。ＥＶＦコントローラ４０は、データ出力制御部３１から供給された画像データＤｇｂに応じて液晶パネル５１を駆動して画像を表示する。
【００４５】
図１０は、ライブビューモードに関連する画像処理回路３０及び制御部７０の動作を示すフローチャートである。使用者が操作入力部６０を操作して、ライブビューモードを選択すると、初期設定処理が実行される（Ｓ１）。初期設定処理において制御部７０は、ライブビュー表示に対応する撮像データＤｓを出力するようにイメージセンサ１２を制御する。これにより、イメージセンサ１２からライブビューモードに最適な間引き読み出し動作によってライブビュー出力が実行される。また、初期設定処理において、画像処理回路３０のコマンド送信部３６は、シリアルＩ／Ｆ３３を介してＥＶＦコントローラ４０に設定パラメータを送信する。これにより、ＥＶＦコントローラ４０のレジスタ４３ａに設定パラメータがセットされるようになっている。初期設定処理では、ライブビュー動作のためのＥＶＦコントローラ４０の設定及びＥＶＦ５０のライブビュー表示のための一連の準備がなされ、イメージセンサ１２から取り込まれたライブビュー画像の表示を行う一連の準備が完了する。なお、電源投入の初期状態においてライブビューモードが選択される場合には、電源投入の後に初期設定処理を実行すればよい。
【００４６】
次に、画像出力回路３０のデータ出力制御部３１は、垂直フロントポーチ期間VFP、垂直同期期間VS、及び垂直バックポーチ期間VBPにおいて、画像データＤｇｂは無効となる。具体的には、画像データＤｇｂは「０」となり、ダミーデータがデータ出力制御部３１から出力される（Ｓ２）。また、タイミングジェネレータ３５は、垂直フロントポーチ期間VFP、垂直同期期間VS、及び垂直バックポーチ期間VBPにおいて、第２水平同期信号ＤＨsyncを出力すると共に、垂直同期期間VSにおいて第２垂直同期信号ＤＶsyncをアクティブにする（Ｓ２）。
【００４７】
次に、データ出力制御部３１は、第２垂直同期信号ＤＶsyncがアクティブになると内部のカウンタ（ｎ）をリセットし（Ｓ３）、次の第２水平同期信号ＤＨsyncがアクティブとなるタイミングまで待機する（Ｓ４）。次の第２水平同期信号ＤＨsyncがアクティブとなるタイミングになると、タイミングジェネレータ３５は、データ出力制御部３１からＥＶＦコントローラ４０へ有効な画像データＤｇｂが出力可能であるか否かを判定する（Ｓ５）。具体的には、上述した第１乃至第２条件を充足するか否かを判定する。即ち、次に出力すべき画像データＤｇｂがｎ番目のラインに相当する場合には、イメージセンサ１２からｎ番目のラインを生成するために必要な撮像データＤｓの読み込みが完了しており（第１条件）、ＶＲＡＭ／ラインバッファ２８にｎ番目のラインの画像データＤｇａが記録されているか（第２条件）を判定する。
【００４８】
ステップＳ５において、表示用画像の画像データＤｇｂのｎライン目が出力可能である場合には、タイミングジェネレータ３５は、例えば図３に示すように、有効な画像データＤｇｂを出力させる水平表示アクティブ期間HDISPの間、データイネーブル信号ＤＥをアクティブ（ハイレベル）とする（Ｓ６）。また、データ出力制御部３１は、ドットクロックＤCLKに同期させて１ライン分の表示用画像の画像データＤｇａをＶＲＡＭ／ラインバッファ２８から読み出し、画像データＤｇｂとしてＥＶＦコントローラ４０のデータ入力部４１に供給し（Ｓ７）、１ライン分の有効な画像データＤｇｂの出力が終了した後、データイネーブル信号ＤＥを非アクティブ（ローレベル）とする（Ｓ８）。
【００４９】
この後、タイミングジェネレータ３５は、上述のカウンタ（ｎ）の値に基づいて表示用画像の１フレーム内の全てのライン（Ｎライン分）の画像データＤｇｂの出力が終了したか否かを確認し（Ｓ１１）、終了していれば上述のステップＳ２に戻って次のフレームの表示用画像の画像データＤｇｂについての処理を開始する。終了していなければ、タイミングジェネレータ３５は、カウンタ（ｎ）の値をカウントアップさせて（Ｓ１２）、次の第２水平同期信号ＤＨsyncのタイミングを待機する（Ｓ４）。
【００５０】
一方、ステップＳ５において、表示用画像の画像データＤｇｂのｎライン目が出力不能である場合には、タイミングジェネレータ３５は、例えば図４に示すように、データイネーブル信号ＤＥを非アクティブ（ローレベル）のままとしておき（Ｓ９）、データ出力制御部３１に１ライン分の画像データＤｇｂ（無効データ（ダミーデータ））をＥＶＦコントローラ４０のデータ入力部４１に供給させ（Ｓ１０）、次の第２水平同期信号ＤＨsyncのタイミングを待機する（Ｓ４）。
【００５１】
このような処理を実行することによって、例えば図１１に示す１フレーム分の第２垂直同期信号ＤＶsync、第２水平同期信号ＤＨsync及びデータイネーブル信号ＤＥが得られる。同図（Ａ）は、表示用画像の１フレーム内の全てのラインの画像データＤｇｂがＥＶＦ５０側の第２水平同期信号ＤＨsyncに同期して出力可能な状態であり、１フレーム内の全てのラインについて、上述したステップＳ５の判定条件が肯定された場合である。この場合は、垂直表示アクティブ期間VDISPの全ての水平走査期間において、画像出力回路３０は有効な画像データＤｇｂを出力するから、ダミーＤＨsync期間を挿入しない。一方、同図（Ｂ）は、１フレーム内の一部のラインについて、上述したステップＳ５の判定条件が否定された場合である。この場合は、垂直表示アクティブ期間VDISPの一部の水平走査期間において、画像出力回路３０は無効な画像データＤｇｂ（ダミーデータ）を出力する。即ち、ステップＳ５において、有効な画像データＤｇｂを出力不能と判定された場合には、当該ラインにおいてデータイネーブル信号ＤＥが非アクティブとなる。以下、垂直表示アクティブ期間VDISPのうち無効な画像データＤｇｂ（ダミーデータ）を出力する水平走査期間をダミーＤＨsync期間と称する。
【００５２】
この図１１（Ｂ）に示す例では、期間Ｔｃ及び期間Ｔｄにおいて有効な画像データＤｇｂを出力不能と判定された結果、データイネーブル信号ＤＥが非アクティブとなっている。これらの期間は、ダミーＤＨsync期間に対応している。これにより、１フレームの垂直表示アクティブ期間VDISPは、図１１（Ａ）と比較して、ダミーＤＨsync期間が挿入された期間だけ長くなる。よって、１フレームの垂直表示アクティブ期間VDISPの長さは、水平走査期間単位で調整される。そして、出力可能なタイミングに調整した有効な画像データＤｇｂを画像出力回路３０からＥＶＦコントローラ４０に供給することができる。タイミング調整を行った表示用画像の画像データＤｇｂに応じてＥＶＦ５０を駆動することにより、イメージセンサ１２からの撮像データＤｓのタイミングに同期化（水平走査期間単位の精度で同期化）させた表示を行うことができる。また、上述のように、ダミーＤＨsync期間の挿入を最小限にすることができ、イメージセンサ１２からの撮像データＤｓの出力から液晶パネル５１に表示されるまでの遅延（位相差）を最小にすることができる。
【００５３】
図１２は、上述のようなタイミング調整により、画像出力回路３０からＥＶＦコントローラ４０に出力する表示用画像の画像データＤｇｂが、イメージセンサ１２からの撮像データＤｓに同期化される過程を示す図である。同図は、イメージセンサ１２の撮像データＤｓのフレームレートは１２０ＦＰＳ［フレーム／秒］（フレーム周期８．３３ｍＳ）であり、ＥＶＦ５０側で表示可能な画像データＤｇｂのフレームレートは１６０ＦＰＳ（フレーム周期６．２５ｍＳ）である場合について例示している。
【００５４】
また、同図に示すデータイネーブル信号ＤＥ’は、１垂直走査期間におけるデータイネーブル信号ＤＥを大まかに捉えたものである。即ち、データイネーブル信号ＤＥ’をハッチングで示した部分については、厳密には、常にハイレベルになっているのではなく、図１１に示すように１水平走査期間１Ｈのうち水平表示アクティブ期間HDISPにおいてハイレベルとなっている。
【００５５】
図１２に示すようにイメージセンサ１２から出力される撮像データＤｓ[1]は時刻ｔ10において終了する一方、画像データＤｇｂ[1]は時刻ｔ11において終了する。この場合、撮像データＤｓ[1]と画像データＤｇｂ[1]との遅延時間ΔＴ１（位相差）は比較的大きい。ここで、遅延時間ΔＴ１が大きいのは、画像処理回路２０における画像処理の終了から画像出力回路３０による表示用画像の画像データＤｇｂの出力の開始までの時間に余裕があることを意味する。このように時間的な余裕があると、ダミーＤＨsync期間は挿入されない。
【００５６】
この例では、センサ出力周期（8.33ms）よりもＥＶＦ表示周期（6.25ms）の方が短いので、次のフレームの撮像データＳＤ[2]の出力が時刻ｔ20で終了してから、画像出力回路３０から当該フレームに対応する表示用画像の画像データＤｇｂ[2]の出力が終了する時刻ｔ21までの遅延時間ΔＴ２は、ΔＴ１より短縮される。このように、出力タイミングの調整が進むと、遅延時間が短縮されていくが、ある程度短縮された段階で、画像処理回路２０による表示用画像の画像データＤｇｂの生成が間に合わなくなる。このようになると、画像出力回路３０において、第２水平同期信号ＤＨsyncに同期して出力できなくなる表示用画像の画像データＤｇｂのラインが発生して、ダミーＤＨsync期間が挿入されるようになる（例えば図１２中の画像データＤｇｂ[3]）。この結果、出力可能になるまで最小限のダミーＤＨsync期間が挿入されて、当該フレームの垂直表示アクティブ期間VDISPが延長されて出力タイミングの調整が進行する。最終的には、遅延（位相差）が最小となる一定の遅延時間ΔＴminまで収束して安定し、画像出力回路３０からの画像データの出力タイミングがイメージセンサ１２からの撮像信号の出力タイミングに同期化された状態となる（例えば図１２中の画像データＤｇｂ[3]以降）。
【００５７】
このように同期化された状態では、出力タイミングの調整は、ダミーＤＨsync期間の挿入によって行われるため、タイミングジェネレータ３５が生成する第２水平同期信号ＤＨsyncの周期で、遅延時間ΔＴminが変動する可能性がある。しかしながら、上述のように、表示用画像の画像データＤｇｂのライン毎に第２水平同期信号ＤＨsyncに同期した出力可否を判断し（図１０に示すスッテプＳ５）、ダミーＤＨsync期間の挿入は当該ラインの画像データＤｇｂの出力が可能になるまでの最小限の期間である。このため、同期化された状態において、画像処理回路２０における画像処理の状況等に応じた最小の遅延時間ΔＴminに調整される。即ち、この撮像表示装置１では、イメージセンサ１２からの撮像データＤｓの出力と液晶パネル５１における表示が行われるまでの遅延（位相差）を最小化される。従って、この撮像表示装置１では、イメージセンサ１２からの撮像データＤｓの出力タイミングに同期化させ、遅延時間を最小にしたＥＶＦ５０の表示を行うことができる。
【００５８】
次に、ＥＶＦコントローラ４０のライブビューモードに関連した動作について説明する。図１３にＥＶＦコントローラ４０が実行するライブビューモードの処理内容を示す。まず、ライブビューモードの動作を開始するに先立ち、ＥＶＦコントローラ４０は、シリアルＩ／Ｆ４５を介して供給される画像出力回路３０からのコマンド（レジスタの変数名と値を含む設定パラメータ等）の受信しかたか否かを判定し（Ｓ２１）、当該コマンドを受信すると、画像出力回路３０からのコマンドに応じてレジスタ４３ａの値を設定する（Ｓ２２）。
【００５９】
次に、タイミング生成部４３は、画像出力回路３０から供給される第２垂直同期信号ＤＶsyncがアクティブになるか否かを判定する（Ｓ２３）。第２垂直同期信号ＤＶsyncがアクティブになると、タイミング生成部４３は、カウンタ４２の計数値をリセットする（Ｓ２４）。この後、データ入力部４１は、第２水平同期信号ＤＨsyncがアクティブなるか否かを判定し（Ｓ２５）、第２水平同期信号ＤＨsyncがアクティブなると、データ入力部４１は、データ出力制御部３１から供給されるデータイネーブル信号ＤＥがアクティブであるか否かを判定する（Ｓ２６）。
【００６０】
データイネーブル信号ＤＥがアクティブであれば、データ入力部４１はデータ出力制御部３１からの表示用画像の画像データＤｇｂを１ライン分取り込む（Ｓ２７）。この際、カウンタ４２は、カウント値ＶＣの値をカウントアップさせる（Ｓ２８）。さらに、タイミング生成部４３は、走査線選択部５２にカウント値ＶＣの値に対応するライン（走査線）の選択を行わせ、データ出力部４４に、データ入力部４１が取り込んだ１ライン分の画像データをデータ線駆動部５３に供給させる。データ線駆動部５３は、供給された画像データを、データ線を介して、タイミング生成部４３が選択している走査線の画素に書き込む。これにより、選択されたラインの画像が液晶パネル５１に表示される。
【００６１】
この後、タイミング生成部４３は、カウンタ４２のカウント値ＶＣがＲＶ（レジスタ４３ａに設定された「垂直画素数（有効ライン数）」）になったか否かを判定し（Ｓ２９）、カウント値ＶＣが有効ライン数ＲＶと等しければ、１フレーム内の全てのラインの画像データＤｇｂの受信が終了しているため、データ入力部４１は、改フレーム処理を実行し（Ｓ３０）、ステップＳ２３に戻って、次のフレームの第２垂直同期信号ＤＶsyncを待機する。一方、カウント値ＶＣがＲＶと等しくなければ、１フレーム内の全てのラインの画像データＤｇｂの受信が終了していないため、データ入力部４１は、ステップＳ２５に戻って、第２水平同期信号ＤＨsyncがアクティブになるのを待つ。即ち、タイミング生成部４３は、カウンタ４２のカウント値ＶＣと有効ライン数を比較し、比較結果に基づいて、すなわち、カウント値ＶＣと有効ライン数が一致することにより、フレーム内の有効な画像データＤｇｂの入力の終了を検知した後、次のフレームの準備のための処理を開始する処理部として機能する。
【００６２】
また、上述のステップＳ２６において、データイネーブル信号ＤＥが非アクティブであれば、データ出力制御部３１からの画像データＤｇｂがダミーデータ（無効データ）であるため、画像データＤｇｂの取り込みを行わず、ステップＳ２５に戻って、第２水平同期信号ＤＨsyncがアクティブになるのを待つ。
【００６３】
以上の動作により、ＥＶＦコントローラ４０は、画像出力回路３０から供給された画像データＤｇの内、データイネーブル信号ＤＥがアクティブである期間の表示用画像の画像データＤｇｂに基づいて、液晶パネル５１の表示を制御することができる。
【００６４】
ところで、図１３中のステップＳ３０における改フレーム処理は、次のフレームの画像を表示するための準備のために実行される。この改フレーム処理には、具体的には、例えばＥＶＦコントローラ４０のデータ入力部４１及びデータ出力部４４が備えるバッファに記憶されたデータの消去や、次のフレームの有効な画像データＤｇｂの供給が開始可能となるまで（次のフレームの垂直バックポーチ期間VBPの終了まで）の間に供給される画像データＤｇｂの無効化等の処理が含まれる。
【００６５】
このような改フレーム処理は、有効ライン数分の画像データＤｇｂの供給が終了する垂直表示アクティブ期間VDISPの終了（垂直フロントポーチ期間VFPの開始）と共に開始される。垂直表示アクティブ期間VDISP内に上述のダミーＤＨsync期間を含まない場合には、この垂直フロントポーチ期間VFPが開始されるタイミングは、単純に、垂直表示アクティブ期間VDISP内の第２水平同期信号ＤＨsyncをカウントすれば特定することができる。
【００６６】
しかしながら、この撮像表示装置１では、垂直表示アクティブ期間VDISP内にダミーＤＨsync期間が挿入される場合があるため、垂直表示アクティブ期間VDISP内の第２水平同期信号ＤＨsyncには、データイネーブル信号ＤＥがアクティブでないラインも含まれる。そこで、撮像表示装置１では、ＥＶＦコントローラ４０側で、データイネーブル信号ＤＥがアクティブとなるラインをカウントしたカウント値ＶＣ（有効ラインのカウント値）と画像出力回路３０からのコマンドで設定された有効ライン数とを比較する。カウント値ＶＣと有効ライン数とが一致すれば、当該フレームにおける有効なライン数分の画像データＤｇｂの供給が終了したことになる。従って、カウント値ＶＣと有効ライン数との一致を検出した後に、改フレーム処理を開始させている。
【００６７】
なお、垂直フロントポーチ期間VFPを考慮して、カウンタ４２のカウント値ＶＣと有効ライン数とが一致してから次のフレームが開始される（次に第２垂直同期信号ＤＶsyncが有効になる）までに、改フレーム処理を実行すればよく、必ずしもカウンタ４２のカウント値と有効ライン数とが一致した直後に改フレーム処理を開始しなくてもよい。即ち、設定パラメータとして垂直フロントポーチ期間VFPのライン数（水平同期期間の数）がコマンドとして画像出力回路３０からＥＶＦコントローラ４０に送信されるところ、カウント値ＶＣと有効ライン数とが一致した後、垂直フロントポーチ期間VFPのライン数が経過するまでに、改フレーム処理を開始させればよい。
また、上述のカウンタ４２のリセットは、ステップＳ２４のタイミングで行う代わりに、この改フレーム処理において行うようにしてもよい。
【００６８】
図１４は、動作状態が異なるフレームについての、上述のイメージセンサ１２から撮像データＤｓの出力、画像出力回路３０からの表示用画像の画像データＤｇｂの出力、ＥＶＦ５０における表示までのタイミングを模式的に示す概念図であり、上述した図１２と対応している。イメージセンサ１２から出力された撮像データＤｓ[1]については、遅延時間ΔＴ１が比較的大きいので、画像出力回路３０の処理に余裕がある。このため、ダミーＤＨsync期間が挿入されることなく画像データＤｇｂ[1]が生成される。次のフレームの遅延時間ΔＴ２は遅延時間ΔＴ１よりも短いこれは、イメージセンサ１２のフレームレートよりもＥＶＦ５０のフレームレートが短いからである。その次のフレームにおいては、さらに遅延時間が短くなり最小の遅延時間ΔＴminとなるが、画像処理回路２０の処理が間に合わなくなり、ダミーＤＨsync期間が挿入される。この結果、画像データＤｇ[3]は無効データを含むことになり、有効データは間欠的になる。このように画像出力回路３０からの表示用画像の画像データＤｇｂの出力は、上述の画像処理回路２０からの進捗情報Ｐに応じて、水平走査期間（第２水平同期信号ＤＨsyncの間隔）単位で断続的になる場合がある。この場合には、ＥＶＦ５０における表示も水平走査期間単位で断続的になる。即ち、ＥＶＦ５０における１フレーム内の各ラインの駆動タイミングが水平走査期間（水平同期信号の間隔）単位で若干変動するが、この変動は、１フレームの表示期間（垂直走査期間）に対して十分小さいため、人には認識されない。
【００６９】
［Ｃ．効果］
上述のように、この撮像表示装置１では、画像出力回路３０が、画像処理回路２０からの進捗情報Ｐに応じて、表示用画像の画像データＤｇｂの１ライン分を第２水平同期信号ＤＨsyncに同期させて出力可能か否かを判断し、出力可能な場合には第２水平同期信号ＤＨsyncに同期させて１ライン分の表示用画像の画像データＤｇｂをＥＶＦコントローラ４０に出力し、出力可能でない場合には、ダミーデータを出力することにより、表示用画像の画像データＤｇｂを出力するタイミングを水平走査期間単位で調整することができる。このようなタイミングの調整を行うことにより、画像出力回路３０から出力する表示用画像の画像データＤｇｂの出力タイミングを、イメージセンサ１２からの撮像データＤｓの出力タイミングに同期化（水平走査期間単位の精度で同期化）させることができる。
【００７０】
また、上述の進捗情報Ｐは、イメージセンサ１２からの撮像データＤｓに対する画像処理を行って、表示用画像の画像データＤｇａの１ライン分の生成が終了し、ＶＲＡＭ／ラインバッファ２８に対する書き込みが終了したタイミングでハイレベルのパルスが出力される。このような進捗情報Ｐに応じて画像出力回路３０からの表示用画像の画像データＤｇｂの出力タイミングを調整することにより、最小の遅延時間で表示用画像の画像データＤｇｂを出力させることができる。従って、この撮像表示装置１では、イメージセンサ１２からの撮像データＤｓの出力タイミングに同期化させ、遅延時間の増加を抑制した表示用の画像データＤｇｂを出力することができる。この結果、この撮像表示装置１では、液晶パネル５１における画像の表示が、イメージセンサ１２からの撮像データＤｓの出力タイミングに同期されると共に、液晶パネル５１に表示されるまでの遅延時間が（水平走査期間単位で）最小化される。
【００７１】
ところで、液晶パネル５１における表示用画像の表示をイメージセンサ１２による撮像データＤｓの出力タイミングに同期化させるためには、表示用画像の画像データＤｇｂが出力可能になるタイミングに応じて、液晶パネル５１側のドットクロック周期の単位で水平走査期間の長さを調整し、結果的に、垂直走査期間のタイミング調整を行うことも考えられる。このようなタイミング調整を行う場合には、ＥＶＦ５０側に水平走査期間の変動（水平同期信号のタイミングの変動）に追従できる回路が必要になるため、回路の構成が複雑化する。
【００７２】
これに対し、この撮像表示装置１では、液晶パネル５１側の水平走査期間単位でタイミング調整を行い、結果的に、垂直走査期間のタイミング調整を行っているため、液晶パネル５１側の水平同期信号は一定のタイミングで出力される。このような水平同期信号に追従する回路は、一定のフレームレートで一定の水平同期信号の間隔で表示用画像の画像データが供給される場合と同程度の追従が可能であればよい。このため、この撮像表示装置１では、上述のデータイネーブル信号ＤＥに基づいて垂直走査期間内の有効な画像データＤｇｂのライン数をカウントするカウンタの追加程度は必要ではあるが、液晶パネル５１側のドットクロック単位でタイミングが変化する場合に比較して、構成が複雑化しない。従って、この撮像表示装置１では、イメージセンサ１２による撮像から液晶パネル５１に表示されるまでの遅延時間の短縮を、簡単な回路の構成で実現することができる。
【００７３】
＜２．変形例＞
本発明は、上述した各実施形態に限定されるものではなく、例えば、以下に述べる各種の変形例が可能である。また、各変形例は、変形例同士を適宜組み合わせてもよく、更に、上述の実施形態と適宜組み合わせてもよい。
【００７４】
（１）上述の説明では、液晶パネル５１の例として液晶パネルの例で説明したが、ＯＬＥＤ（organic light emitting diode）パネル、プラズマ表示パネル等の表示素子を用いた場合でも、上述と同様に、本発明を適用することができる。
【００７５】
（２）上述の説明では、画像処理回路２０が表示用画像の画像データの１ライン分が出力可能になった際に、進捗情報Ｐとしてハイレベルのパルスを出力する動作としていたが、表示用画像の所定の本数のライン（ブロック単位）分が出力可能になった際に、進捗情報Ｐとしてハイレベルのパルスを出力するようにしてもよい。この場合、画像出力回路３０側では、進捗情報Ｐに応じて、この後の所定の本数のライン（ブロック単位）分の表示用画像の画像データを水平同期信号に同期させてＥＶＦコントローラ４０に出力し、この後、次に進捗情報Ｐとしてハイレベルのパルスが供給されるのを待機する。更には、１ラインの半分毎又は所定領域毎等をブロック単位として、当該ブロック単位分の表示用画像の出力が可能になった際に、進捗情報Ｐとしてハイレベルのパルスを出力するようにしてもよい。
【００７６】
（３）上述した実施形態では、画像信号Ｄｇｂが、有効画像信号である場合にアクティブとなり、無効画像信号である場合に非アクティブとなるイネーブル信号ＤＥを制御信号の一例として説明したが、本発明は、これに限定されるものではない。例えば、画像信号Ｄｇｂが、無効画像信号である場合にアクティブとなり、有効画像信号である場合に非アクティブとなるディスエーブル信号を用いてもよい。すなわち、画像信号Ｄｇｂが有効又は無効を示す制御信号を用いてもよい。
また、上述した実施形態では。画像処理回路２０における画像処理の処理時間は可変であったが、本発明はこれに限定されるものではなく、処理時間が固定であってもよい。この場合にも、進捗情報Ｐを用いて、画像信号Ｄｇｂとともに、その有効又は無効を示すイネーブル信号ＤＥを画像出力回路３０から出力することによって、イメージセンサ１０の出力とＥＶＦ５０の表示との遅延時間が大きくずれていても、次第に遅延時間を短縮して、水平同期期間単位の精度で同期化することが可能となる。
【００７７】
（４）上述の説明では、カウンタ４２のカウント値ＶＣと有効ライン数を比較し、カウント値ＶＣと有効ライン数が一致することにより、フレーム内の有効な画像データＤｇｂの入力の終了を検知して、次のフレームの準備のための処理を開始する構成としたが、カウント値ＶＣが、有効ライン数未満のＬライン（Ｌは、有効ライン数未満であって、次のフレームの準備のための処理を開始して良い程度に有効な画像信号の受信が終了していると判断できるライン数）と一致していれば、次のフレームの準備のための処理を開始するように構成してもよい。すなわち、有効ライン数とカウント値との比較結果である差分（有効ライン数−カウント値）が所定数未満であれば、次のフレームの準備のための処理を開始してもよい。
【００７８】
（５）上述の説明では、画像出力回路３０とＥＶＦコントローラ４０との間のデータ伝送をパラレルＩ／Ｆ（Ｄ00〜Ｄ23）によって行っていたが、低電圧差動（ＬＶＤＳ）のシリアルＩ／Ｆによって行うようにしてもよい。この場合は、例えば図１５に示すように、画像出力回路３０とＥＶＦコントローラ４０に、各々ＬＤＶＳ Ｉ／Ｆ３４とＬＤＶＳ Ｉ／Ｆ４６を設ける。
【００７９】
ＬＤＶＳ Ｉ／Ｆ３４は、第２ドットクロックＤCLKを７逓倍する７逓倍ＰＬＬ回路３４ａと、データ出力制御部３１からの表示用画像の画像データ（パラレル）をシリアル信号に変換するシリアル変換器３４ｂと、シリアル変換された画像データを送信するデータ送信回路３４ｃとを備えている。また、ＬＤＶＳ Ｉ／Ｆ４６は、受信したクロックを７逓倍する７逓倍ＰＬＬ回路４６ａと、データ送信回路３４ｃからの画像データ（シリアル）を受信するデータ受信回路４６ｂと、受信した表示用画像の画像データ（シリアル）をパラレル信号に変換してデータ入力部４１に供給するパラレル変換器４６ｃとを備えている。
【００８０】
このようなＬＤＶＳ Ｉ／Ｆ３４，ＬＤＶＳ Ｉ／Ｆ４６間では、垂直同期信号ＤＶsync（ＶＳ），水平同期信号ＤＨsync（ＨＳ），データイネーブル信号ＤＥ，画像データＤｇｂ（Ｄ00〜Ｄ23：ＲＧＢ各色８ビット：Ｒ０〜Ｒ７，Ｇ０〜Ｇ７，Ｂ０〜Ｂ７）は、例えば図１６（ＪＥＩＤＡ方式）あるいは図１７（ＶＥＳＡ方式）のように、クロックＩＮＣＬＫに同期して、４差動入出力分のシリアル信号として伝送される。なお、図１５では、ＬＤＶＳ伝送後の信号及びデータを伝送前と区別するため、画像データＬＤ00〜ＬＤ23、データイネーブル信号ＬＤＥ、第２水平同期信号ＬＨsync、及び第２垂直同期信号ＬＶsyncと記載しているが、これらは、画像データＤ00〜ＬＤ23、データイネーブル信号ＤＥ、第２水平同期信号ＤＨsync、及び第２垂直同期信号ＤＶsyncに各々対応している。
【００８１】
このようなＬＤＶＳ Ｉ／Ｆを用いて、画像出力回路３０とＥＶＦコントローラ４０の間で表示用画像の画像データ等の伝送を行っても、上述の実施形態と同様の作用効果を発揮することができる。
【００８２】
（６）上述の説明では、レジスタ４３ａの値は、シリアルＩ／Ｆ３３とシリアルＩ／Ｆ４５の間で伝送していた。本発明はこれに限定されるものではなく、データイネーブル信号ＤＥが非アクティブとなる期間のうち所定期間において、ダミーとなる無効な画像データＤｇｂの替わりに設定パラメータを含むコマンドを伝送するようにしてもよい。図５に示す実施形態では、シリアルＩ／Ｆ４５の替わりに画像データＤｇｂが供給される分離部を設け、タイミング生成部４３から所定期間を指定する制御信号を出力し、分離部においてコマンドを分離してもよい。また、図１５に示す変形例では、パラレル変換器４６ｃからレジスタ４３ａに至る経路を削除し、画像データＬＤ00〜ＬＤ23を出力するパラレル変換器４６ｃとレジスタ４３ａとの間に分離部を設け、タイミング生成部４３から所定期間を指定する制御信号を出力し、分離部においてコマンドを分離してもよい。所定期間は、垂直フロントポーチ期間VFP、垂直同期期間VS、及び垂直バックポーチ期間VBPの一部又は全部に割り当てればよい。
【００８３】
（７）上述の説明では、撮像表示装置１にＥＶＦが内蔵されている場合について説明したが、ＥＶＦコントローラ４０及びＥＶＦ５０をデジタルカメラの外部に接続するファインダー（表示装置）等として構成してもよい。この場合、画像出力回路３０までを備えた撮像装置であってもよい。
【００８４】
（８）上述の説明では、撮像表示装置１として構成されている場合について説明したが、本発明はこれに限定されるものではなく、例えば、プロジェクター装置，ＨＵＤ（ヘッドアップディスプレイ），ＨＭＤ（ヘッドマウントディスプレイ）等の電子機器（表示装置）等として構成してもよい。また、ライブビューを行う表示装置であれば、例えば電子双眼鏡，電子めがね，電子顕微鏡，医療用電子めがねのファインダ，車載のバックモニタ，車載のサイドミラーのモニタ等にも適用することができ、撮像から表示までの遅延を低減させることができる。くわえて、表示装置の態様においては、撮像部１０を必ずしも備えてなくてもよい。すなわち、撮像データＤｓが供給される画像処理回路２０、画像出力回路３０、ＥＶＦコントローラ４０、及びＥＶＦ５０を表示装置として捉えてもよい。
【符号の説明】
【００８５】
１…撮像表示装置、１２…イメージセンサ、２０…画像処理回路、３０…画像出力回路、３１…データ出力制御部、４０…ＥＶＦコントローラ、４１…データ入力部、４２…カウンタ、４３…タイミング生成部、４４…データ出力部、５０…ＥＶＦ、５１…液晶パネル、５２…走査線選択部、５３…データ線駆動部。
【図１】
2015186146.tif 000003
【図２】
2015186146.tif 000004
【図３】
2015186146.tif 000005
【図４】
2015186146.tif 000006
【図５】
2015186146.tif 000007
【図６】
2015186146.tif 000008
【図７】
2015186146.tif 000009
【図８】
2015186146.tif 000010
【図９】
2015186146.tif 000011
【図１０】
2015186146.tif 000012
【図１１】
2015186146.tif 000013
【図１２】
2015186146.tif 000014
【図１３】
2015186146.tif 000015
【図１４】
2015186146.tif 000016
【図１５】
2015186146.tif 000017
【図１６】
2015186146.tif 000018
【図１７】
2015186146.tif 000019