(57)【特許請求の範囲】
【請求項１】
被写体を撮像して撮像信号を出力する撮像部と、
前記撮像信号に基づいて、表示部の各ラインで表示すべき画像を示す画像信号を生成し、生成した前記画像信号を前記表示部に出力する画像信号生成部と、
前記画像信号生成部から前記表示部に対する出力が完了した画像信号に対応するラインを示す表示出力ライン情報と、前記画像信号生成部が生成した画像信号に対応するラインを示す画像処理ライン情報と、に基づいて、前記画像信号生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、
を備え、
前記タイミング制御部は、
前記表示出力ライン情報が表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインにおいて画像を表示するタイミング以後に画像を表示するラインを示す場合に、
前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、
ことを特徴する撮像装置。
【請求項２】
被写体を撮像して撮像信号を出力する撮像部と、
前記撮像信号に基づいて、表示部の各ラインで表示すべき画像を示す画像信号を生成し、生成した前記画像信号を前記表示部に出力する画像信号生成部と、
前記画像信号生成部から前記表示部に対する出力が完了した画像信号に対応するラインを示す表示出力ライン情報と、前記画像信号生成部が生成した画像信号に対応するラインを示す画像処理ライン情報と、に基づいて、前記画像信号生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、
を備え、
前記表示部は、
一定周期で出力される水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、
前記画像信号生成部は、
前記水平同期パルスに同期して前記画像信号を出力し、
前記タイミング制御部は、
前記表示出力ライン情報が表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、
前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、
その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった後に出力される前記水平同期パルスに同期して、前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、
ことを特徴とする撮像装置。
【請求項３】
被写体を撮像して撮像信号を出力する撮像部と、
前記撮像信号に基づいて、表示部の各ラインで表示すべき画像を示す画像信号を生成し、生成した前記画像信号を前記表示部に出力する画像信号生成部と、
前記画像信号生成部から前記表示部に対する出力が完了した画像信号に対応するラインを示す表示出力ライン情報と、前記画像信号生成部が生成した画像信号に対応するラインを示す画像処理ライン情報と、に基づいて、前記画像信号生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、
を備え、
前記表示部は、
水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、
前記画像信号生成部は、
前記水平同期パルスに同期して前記画像信号を出力し、
前記タイミング制御部は、
前記水平同期パルスを可変な周期で出力可能であり、
前記表示出力ライン情報が表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、
前記水平同期パルスの出力を停止するとともに、前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、
その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった場合、
前記水平同期パルスを出力するとともに、当該出力される水平同期パルスに同期して前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、
ことを特徴とする撮像装置。
【請求項４】
前記表示部のフレームレートは、
前記撮像部のフレームレート以上である、
ことを特徴とする、請求項１乃至３のうち何れか１項に記載の撮像装置。
【請求項５】
被写体を撮像する撮像部が出力する撮像信号に基づいて、表示部の各ラインで表示すべき画像を示す画像信号を生成し、生成した前記画像信号を前記表示部に出力する画像信号生成部と、
前記画像信号生成部から前記表示部に対する出力が完了した画像信号に対応するラインを示す表示出力ライン情報と、前記画像信号生成部が生成した画像信号に対応するラインを示す画像処理ライン情報と、に基づいて、前記画像信号生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、
を備え、
前記タイミング制御部は、
前記表示出力ライン情報が表示対象ラインに先行して画像を表示するラインを示し、且
つ、前記画像処理ライン情報が前記表示対象ラインにおいて画像を表示するタイミング以
後に画像を表示するラインを示す場合に、
前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生
成部を制御する、
ことを特徴とする画像処理装置。
【請求項６】
前記表示部と、
請求項１乃至４のうち何れか１項に記載の撮像装置と、
を備える、
ことを特徴とする撮像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、及び、撮像表示装置に関する。
【背景技術】
【０００２】
いわゆるミラーレス一眼のデジタルカメラでは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等のイメージセンサで撮像した画像信号に応じた画像をリアルタイムで筐体裏面に設けられた液晶パネルや筐体上部に取り付けられた電子ビューファインダー（以下、ＥＶＦ[Electronic View Finder]と称する）等に表示するいわゆるライブビュー動作により、被写体の画像を確認することができるようになっている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１１７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このライブビュー動作では、イメージセンサで被写体を撮像してからビューファインダー等に画像が表示されるまでに顕著な遅延が生じている。このため、動きのある被写体にカメラを向けて追従させることが困難になる。さらに、表示されている被写体の画像に基づいて静止画像の撮像を指示すると、表示されていた被写体の画像と実際に撮像される静止画の画像とにタイミングのずれが生じ、特に動きの早い被写体の場合には、意図した静止画を撮像することが困難になる。
【０００５】
本発明は、上述した事情に鑑みてなされたものであり、その目的の一つは、撮像から表示までの遅延時間を短縮する技術を提供することである。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本発明に係る撮像装置は、被写体を撮像して撮像信号を出力する撮像部と、前記撮像信号に基づいて、表示部の各ラインで表示すべき画像を示す画像信号を生成し、生成した前記画像信号を前記表示部に出力する画像信号生成部と、前記画像信号生成部から前記表示部に対する出力が完了した画像信号に対応するラインを示す表示出力ライン情報と、前記画像信号生成部が生成した画像信号に対応するラインを示す画像処理ライン情報と、に基づいて、前記画像処理生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、を備える、ことを特徴とする。
【０００７】
この発明によれば、画像信号生成部が生成した画像信号に対応するラインを示す画像処理ライン情報に基づいて、各ラインの画像信号を表示部に出力するタイミングを制御する。このため、画像信号の生成に要する画像処理時間がライン毎に変動する場合であっても、ライン毎の画像処理が完了したタイミングで、各ラインの画像信号を表示部に対して出力することが可能となる。
また、この発明によれば、出力が完了した画像信号に対応するラインを示す表示出力ライン情報に基づいて、各ラインの画像信号を表示部に出力するタイミングを制御する。このため、各ラインの画像信号の出力順序が決まっている場合に、当該出力順序に応じたタイミングで画像信号を出力することが可能となる。
すなわち、この発明によれば、画像信号の出力タイミングを、ライン毎に制御することができ、換言すれば、各ラインの画像信号の出力が可能となったタイミングにおいて各ラインの画像信号を出力することが可能となる。このため、ライン毎の画像処理時間の変動を考慮せずに（ライン毎の画像処理時間の最大値等に基づいて）、各ラインの画像信号の出力タイミングを定める場合と比較して、撮像部による撮像から表示部における表示までの遅延を小さくすることができる。
【０００８】
また、上述した撮像装置において、前記タイミング制御部は、前記表示出力ライン情報が表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインにおいて画像を表示するタイミング以後に画像を表示するラインを示す場合に、前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、ことを特徴としてもよい。
この態様によれば、表示対象ラインの画像信号が生成されている場合には、表示対象ラインに先行して画像を表示する先行表示ラインの画像信号の出力が完了したときに、表示対象ラインの画像信号を出力することができる。逆に、先行表示ラインの画像信号の出力が完了したときに、表示対象ラインの画像信号の生成がされていない場合には、表示対象ラインの画像信号が生成されたタイミングにおいて、表示対象ラインの画像信号を出力することができる。
すなわち、この態様によれば、表示対象ラインの画像信号の出力が可能となったタイミングにおいて、表示対象ラインの画像信号を出力することが可能となる。このため、画像信号の生成に要する画像処理時間がライン毎に変動する場合であっても、ライン毎の画像処理時間に応じたタイミングで、各ラインの画像信号を表示部に対して出力することが可能となる。従って、ライン毎の画像処理時間の変動を考慮せずに各ラインの画像信号の出力タイミングを定める場合と比較して、撮像部による撮像から表示部における表示までの遅延を小さくすることができる。
【０００９】
また、上述した撮像装置において、前記表示部のフレームレートは、前記撮像部のフレームレート以上である、ことを特徴としてもよい。
この態様によれば、表示部のフレームレートが、撮像部のフレームレート以上である場合であっても、各ラインの画像信号の出力が可能となったタイミングにおいて、当該ラインの画像信号を出力することが可能であるため、撮像部のフレームレートと同期した表示が可能となる。
【００１０】
また、上述した撮像装置において、前記表示部は、一定周期で出力される水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、前記画像信号生成部は、前記水平同期パルスに同期して前記画像信号を出力し、前記タイミング制御部は、前記表示出力ライン情報が前記表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった後に出力される前記水平同期パルスに同期して、前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、ことを特徴としてもよい。
この態様によれば、水平同期パルスにより定められる水平走査期間の精度で、各ラインの画像信号の出力タイミングを制御することができる。このため、画像信号の生成に要する画像処理時間がライン毎に変動する場合であっても、ライン毎の画像処理時間に応じたタイミングで、各ラインの画像信号を表示部に対して出力することが可能となる。
【００１１】
また、上述した撮像装置において、前記表示部は、水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、前記画像信号生成部は、前記水平同期パルスに同期して前記画像信号を出力し、前記タイミング制御部は、前記水平同期パルスを可変な周期で出力可能であり、前記表示出力ライン情報が前記表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、前記水平同期パルスの出力を停止するとともに、前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった場合、前記水平同期パルスを出力するとともに、当該出力される水平同期パルスに同期して前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、ことを特徴としてもよい。
この態様によれば、水平同期パルスにより定められる水平走査期間の時間長が、各ラインの画像信号の出力が可能となるタイミングに応じて定められる。このため、画像信号の生成に要する画像処理時間がライン毎に変動する場合であっても、ライン毎の画像処理時間に応じたタイミングで、各ラインの画像信号を表示部に対して出力することが可能となる。
【００１２】
また、本発明に係る画像処理装置は、被写体を撮像する撮像部が出力する撮像信号に基づいて、表示部の各ラインで表示すべき画像を示す画像信号を生成し、生成した前記画像信号を前記表示部に出力する画像信号生成部と、前記画像信号生成部から前記表示部に対する出力が完了した画像信号に対応するラインを示す表示出力ライン情報と、前記画像信号生成部が生成した画像信号に対応するラインを示す画像処理ライン情報と、に基づいて、前記画像処理生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、を備える、ことを特徴とする。
この発明によれば、画像信号の出力タイミングをライン毎に制御することができる。すなわち、各ラインの画像信号の出力が可能となったタイミングにおいて、各ラインの画像信号を出力することが可能となる。このため、ライン毎の画像処理時間の変動を考慮せずに各ラインの画像信号の出力タイミングを定める場合と比較して、撮像部による撮像から表示部における表示までの遅延を小さくすることができる。
【００１３】
また、本発明に係る撮像表示装置は、上述した表示部と、上述した撮像装置と、を備える、ことを特徴とする。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態に係る撮像表示装置１の構成を示すブロック図である。
【図２】有効イメージセンサ領域ＡSと表示領域ＡDとの関係を説明するための説明図である。
【図３】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図４Ａ】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図４Ｂ】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図４Ｃ】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図４Ｄ】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図５】表示領域ＡDの説明と，表示部に表示領域ADを表示するためのタイミングチャートを示した説明図である。
【図６】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図７Ａ】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図７Ｂ】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図８】表示部４０の構成を示すブロック図である。
【図９】画像処理部２１の構成を示すブロック図である。
【図１０】間引き読出しを説明するための説明図である。
【図１１】歪曲補正処理を説明するための説明図である。
【図１２】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図１３】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図１４】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図１５】撮像表示装置１の動作を説明するためのタイミングチャートである。
【図１６】本発明の第２実施形態に係る撮像表示装置の動作を説明するためのタイミングチャートである。
【図１７】第２実施形態に係る撮像表示装置の動作を説明するためのタイミングチャートである。
【図１８】第２実施形態に係る撮像表示装置の動作を説明するためのタイミングチャートである。
【発明を実施するための形態】
【００１５】
本発明を実施するための形態について図面を参照して説明する。ただし、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【００１６】
＜Ａ．第１実施形態＞
以下、本発明の第１実施形態に係る撮像表示装置１について説明する。
【００１７】
＜１．撮像表示装置の構成＞
図１は、撮像表示装置１の機能を示すブロック図である。
図１に示すように、撮像表示装置１は、被写体を撮像し、撮像して得たデータを撮像信号ＤSとして出力する撮像部１０と、撮像信号ＤSに対して画像処理を施して画像信号Ｄを生成する画像処理回路１００と、画像信号Ｄに応じた画像を表示する表示部４０と、撮像表示装置１の設定の変更、撮像の指示等を入力するための操作部６０と、撮像表示装置１全体の動作を制御するＣＰＵ５０と、を備える。
【００１８】
この撮像表示装置１は、いわゆるミラーレスデジタルカメラであり、撮像表示装置１の利用者による操作部６０の操作により、撮像部１０で撮像した被写体に係る画像をほぼリアルタイムで表示部４０に表示するライブビューモードによる動作と、撮像部１０で撮像した被写体に係る画像を静止画格納用のメモリに静止画として格納する撮像モードによる動作と、を選択可能となっている。
なお、撮像表示装置１から表示部４０を除いた、撮像部１０、画像処理回路１００、操作部６０、及び、ＣＰＵ５０は「撮像装置」の一例である。
【００１９】
撮像部１０は、被写体の像を結像させる撮像光学系１１と、マトリックス状に配列された受光素子（撮像素子）からの信号を線順次に走査して被写体の像に応じた撮像信号ＤSを出力するイメージセンサ１２と、イメージセンサ１２に対して各種のタイミング信号を出力するタイミングジェネレータ１３と、を備える。
【００２０】
図２に示すように、イメージセンサ１２は、有効イメージセンサ領域ＡSにおいて、複数の受光素子がＸ軸方向（水平方向）にＱS列、Ｘ軸方向に交差するＹ軸方向（垂直方向）にＰS行（ＰSライン）となるようにマトリックス状に配列されている（ＰSびＱSは、２以上の自然数）。換言すれば、有効イメージセンサ領域ＡSには、Ｘ軸方向に配列されたＱS個の受光素子からなるラインが、Ｙ軸方向にＰS行並ぶように構成されている。各受光素子は、検出した光量に応じた画素データ信号Ｓigを生成する。
また、各受光素子に１対１に対応するように、赤色、緑色、または、青色のうちいずれか１色のカラーフィルターが設けられている。以下では、１つの受光素子と、当該１つの受光素子に対応して設けられるカラーフィルターとの組を、イメージセンサ１２の画素と称することがある。
【００２１】
イメージセンサ１２は、撮像表示装置１が撮像モードで動作する場合、有効イメージセンサ領域ＡSに設けられたＰS行×ＱS列の受光素子から出力される画素データ信号Ｓigの全部を静止画用撮像データとして出力することができる。そして、静止画用撮像データが出力されると、後述する画像処理部２１が、当該静止画用撮像データに対してフィルタ処理等の各種画像処理を施して静止画データを生成し、生成した静止画データを静止画格納用のメモリに格納する。
【００２２】
一方、イメージセンサ１２は、撮像表示装置１がライブビューモードで動作する場合、ＰS行×ＱS列の受光素子が出力する画素データ信号Ｓigに対して間引き読出しを施すことで画素データ信号Ｓigのデータサイズを小さくして、図２に示すようなＰ行×Ｑ列の画素に対応する撮像信号ＤSとして出力する（Ｐは、２≦Ｐ≦ＰSを満たす自然数。Ｑは、２≦Ｑ≦ＱSを満たす自然数）。
なお、イメージセンサ１２は、有効イメージセンサ領域ＡS以外の領域に画素を備えるものであってもよいが、本明細書では簡単のために有効イメージセンサ領域ＡSの画素についての説明は省略する。
【００２３】
タイミングジェネレータ１３は、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを生成し、これら生成した信号をイメージセンサ１２と、画像処理回路１００とに対して出力する。
図３は、タイミングジェネレータ１３が生成する、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを説明するためのタイミングチャートである。撮像垂直同期信号ＳＶsyncは、イメージセンサ１２の有効イメージセンサ領域ＡS全体（ＰSライン分）の受光素子から画素データ信号Ｓigを読み出すための撮像垂直走査期間Ｆsを規定する信号である。撮像水平同期信号ＳＨsyncは、有効イメージセンサ領域ＡSの１ライン分の受光素子から画素データ信号Ｓigを読み出すための水平走査期間Ｈsを規定する信号である。撮像ドットクロック信号ＳCLKは、有効イメージセンサ領域ＡSの１画素分の受光素子から画素データ信号Ｓigを読み出すためのタイミングを規定する信号である。
撮像垂直走査期間Ｆsの時間長は一定（固定長）であり、水平走査期間Ｈsの時間長も一定（固定長）である。また、撮像垂直走査期間Ｆsは、複数の水平走査期間Ｈsから構成される。
【００２４】
説明を図１に戻す。
表示部４０は、撮像対象となる被写体を示す画像を表示して撮像表示装置１の利用者に被写体の様子を把握させるためのＥＶＦ（Electronic View Finder）であり、画像処理回路１００が生成した画像信号Ｄに応じた画像を表示するための液晶パネル４２と、液晶パネル４２の動作を制御するＥＶＦコントローラ４１と、を備える。
【００２５】
図２に示すように、液晶パネル４２には、表示領域ＡDにおいて、複数の画素がＸ軸方向にＮ列、Ｙ軸方向にＭ行（Ｍライン）となるようにマトリックス状に配列されている（Ｍは、２≦Ｍ≦Ｐを満たす自然数。Ｎは、２≦Ｎ≦Ｑを満たす自然数）。換言すれば、表示領域ＡDは、Ｘ軸方向に配列されたＮ個の画素からなるラインが、Ｙ軸方向にＭ行並ぶように構成されている。これらＭ行×Ｎ列の画素は、赤色を表示するための画素、緑色を表示するための画素、及び、青色を表示するための画素を含む。当該表示領域ＡDには、画像処理回路１００が生成する画像信号Ｄに応じた画像が表示される。
上述のとおり、Ｍ≦Ｐであり、Ｎ≦Ｑである。つまり、有効イメージセンサ領域ＡSに設けられた有効画素数と、表示領域ＡDに設けられた画素数は、異なる場合がある。
なお、図２に示す座標系は、それぞれ、有効イメージセンサ領域ＡSに固定された座標系、撮像信号ＤSを表すための概念上の座標系、及び、表示領域ＡDに固定された座標系であり、これら３つの座標系の各軸の向きは互いに相違するものであってもよい。
【００２６】
表示部４０の表示領域ＡDが１画面分の画像を表示可能な時間長は、撮像部１０が１画面分の画像を撮像可能な時間長よりも短い。このため、液晶パネル４２が表示可能な周期で画像を表示しようとする場合、撮像部１０からの撮像信号ＤSの出力が追いつかない。そこで、本実施形態に係る撮像表示装置１では、画像処理回路１００により、画像処理回路１００からの画像信号Ｄの出力タイミングを調整することで、表示部４０の表示速度を、撮像部１０からの撮像信号ＤSの出力周期に追従させる。
【００２７】
図１に示すように、画像処理回路１００は、撮像信号ＤSに基づいて画像信号Ｄを生成し、生成した画像信号Ｄを表示部４０に対して出力する画像信号生成部２０と、画像信号生成部２０が画像信号Ｄを出力するタイミングを制御するタイミング制御部３０と、を備える。
画像信号生成部２０は、撮像信号ＤSに対して画像処理を施して画像信号Ｄを生成する画像処理部２１と、画像処理部２１が生成した画像信号Ｄを一時的に記憶するＶＲＡＭ／ラインバッファ２２（以下、「ラインバッファ２２」と称する）と、ラインバッファ２２から画像信号Ｄを取得して、取得した画像信号Ｄを表示部４０に対して出力する画像信号出力部２３と、を備える。
【００２８】
画像信号Ｄは、液晶パネル４２の表示領域ＡDに設けられるＭ行×Ｎ列の画素のそれぞれが表示すべき画像（階調）を規定する信号である。以下では、表示領域ＡDで表示すべき画像を示す画像信号Ｄのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す１ライン分の画像信号Ｄを、画像信号Ｄ[m]と表記する（ｍは、１≦ｍ≦Ｍを満たす自然数）。
画像処理部２１は、液晶パネル４２の表示領域ＡDで表示すべき画像を示す画像信号Ｄを、１ライン分の画素で表示すべき画像毎に生成する。より具体的には、画像処理部２１は、画像信号Ｄ[1]、画像信号Ｄ[2]、…、画像信号Ｄ[M]の順番で、画像信号Ｄを生成する。なお、画像処理部２１が実行する画像処理の詳細については後述する。
また、画像処理部２１は、画像信号Ｄ[m]を生成すると、生成した画像信号Ｄ[m]をラインバッファ２２に格納するとともに、画像信号Ｄ[m]のラインバッファ２２への格納が完了したことを示す書込完了信号ＰtAを、タイミング制御部３０に対して出力する。
【００２９】
本実施形態において、書込完了信号ＰtAは、画像処理部２１によるラインバッファ２２への書込が完了した画像信号Ｄに対応するラインの番号ｍを示す信号である。以下では、書込完了信号ＰtAの示すラインの番号ｍを、特に「ライン番号ｍa」と称する（ｍaは、１≦ｍa≦Ｍを満たす自然数）。書込完了信号ＰtAの示す値であるライン番号ｍaは、画像処理が完了したラインを表す「画像処理ライン情報」の一例である。
【００３０】
なお、書込完了信号ＰtAは、ラインの番号を示す信号に限定されるものではなく、画像処理部２１による画像信号Ｄ[m]の生成が完了した場合にハイレベルに立ち上がるようなパルス波形を含む２値の信号であってもよい。書込完了信号ＰtAが２値の信号である場合、タイミング制御部３０は、例えば、一の画面の表示が開始された後に書込完了信号ＰtAに含まれるパルスの個数をカウントすることで、画像処理部２１により生成が完了した画像信号Ｄ[m]のライン番号を演算すればよい。この場合は、書込完了信号ＰtAに含まれるパルス波形（または、パルス波形の個数）が、「画像処理ライン情報」に該当することになる。
【００３１】
画像信号出力部２３は、タイミング制御部３０の制御に応じて、ラインバッファ２２から１ライン毎に画像信号Ｄを読み出し、読み出した１ライン分の画像信号Ｄ[m]を表示部４０に対して出力する。
なお、以下では、説明の都合上区別が必要な場合には、画像処理部２１が生成してラインバッファ２２に格納する画像信号Ｄを画像信号ＤGAと称し、画像信号出力部２３がラインバッファ２２から取得して表示部４０に出力する画像信号Ｄを画像信号ＤGBと称する。また、画像処理部２１がラインバッファ２２に格納する画像信号ＤGAのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す画像信号ＤGAを画像信号ＤGA[m]と称し、画像信号出力部２３が表示部４０に出力する画像信号ＤGBのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す画像信号ＤGBを画像信号ＤGB[m]と称する。
【００３２】
画像信号出力部２３は、ラインバッファ２２から画像信号ＤGB[m]を読み出して当該画像信号ＤGB[m]を表示部４０に出力する処理が完了した場合、画像信号ＤGB[m]の表示部４０への出力が完了したことを示す出力完了信号ＰtBを、タイミング制御部３０に対して出力する。本実施形態において、出力完了信号ＰtBは、画像信号出力部２３による表示部４０への出力が完了した画像信号Ｄに対応するラインの番号ｍを示す信号である。以下では、出力完了信号ＰtBの示すラインの番号ｍを、特に「ライン番号ｍb」と称する（ｍbは、基本的には、０≦ｍb≦Ｍを満たす自然数である）。出力完了信号ＰtBの示す値であるライン番号ｍbは、表示部４０に対する出力が完了した画像信号Ｄ[m]のラインを示す「表示出力ライン情報」の一例である。
詳細は後述するが、画像信号出力部２３は、表示部４０に対して、画像信号ＤGB[m]を出力する代わりに、無効信号Ｄmyを出力する場合がある（図４Ｄ参照）。この場合は、画像信号出力部２３は、出力完了信号ＰtBを出力しない。
尚、ｍbは、１フレームの最終ラインを出力した直後ｍb＝Ｍになり以降ｍb＝Ｍを維持する。そして、次のフレーム用の画像出力準備が完了した時点（垂直同期信号の出力後の垂直バックポーチ期間完了後のタイミングにて）において、ｍb信号はリセットされて、ｍb＝０になるものとする。
【００３３】
なお、出力完了信号ＰtBは、ラインの番号を示す信号に限定されるものではなく、画像信号出力部２３による画像信号Ｄ[m]の出力が完了した場合にハイレベルに立ち上がるようなパルス波形を含む２値の信号であってもよい。
【００３４】
図１に示すように、タイミング制御部３０は、書込完了信号ＰtA及び出力完了信号ＰtBに基づいて出力制御信号ＣTR（正確には、ＣTR[m]）を生成する出力制御部３１と、各種のタイミング信号を生成して画像信号出力部２３が画像信号ＤGB[m]を出力するタイミングを制御するタイミングジェネレータ３２と、ＥＶＦコントローラ４１の動作を規定する設定パラメーターＰRMをＥＶＦコントローラ４１に対して送信するパラメーター送信部３３と、を備える。
【００３５】
出力制御部３１は、書込完了信号ＰtA及び出力完了信号ＰtBに基づいて、画像信号出力部２３が表示部４０に対して表示領域ＡDの第ｍ行で表示すべき画像を示す画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了したか否かを判定し、判定結果を示す出力制御信号ＣTR（正確には、ＣTR[m]）を生成する。
ここで、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」とは、以下の第１条件及び第２条件を充足したことをいう。
（第１条件）  画像処理部２１が、第ｍ行の画像信号Ｄ[m]（画像信号ＤGA[m]）の画像処理を完了し、ラインバッファ２２に画像信号ＤGA[m]の書き込みが完了していること。
（第２条件）  画像信号出力部２３が、第ｍ-1行の画像信号Ｄ[m-1]（画像信号ＤGB[m-1]）の出力を完了していること。
【００３６】
第１条件は、書込完了信号ＰtAの示すライン番号ｍaがライン番号ｍ以上である場合を示し、つまり、「ｍ≦ｍa」を満たす場合に充足される。第２条件は、出力完了信号ＰtBの示すライン番号ｍbが「ｍb＝ｍ-1」を満たす場合に充足される（厳密には、「ｍ＝１」の場合には、「ｍb＝０」(「ｍb＝Ｍ」後の垂直同期信号の出力後の垂直バックポーチ期間完了後のタイミング）において、ｍb信号はリセットされて、ｍb＝０になる)を満たす場合に充足される）。
本明細書では、出力制御部３１が判定の対象とする画像信号Ｄ[m]が示す画像を表示する表示領域ＡDのラインを、「表示対象ライン」と称する場合がある。
【００３７】
なお、厳密には、画像信号出力部２３が画像信号ＤGB[m]を出力するためには、以下の第３条件が充足される必要がある。
（第３条件）  画像信号出力部２３が第ｍ行の画像信号Ｄ[m]（画像信号ＤGB[m]）を出力するタイミングが、表示領域ＡDが画像を表示可能な期間（図４で後述する水平有効データ期間ＤＨＩ）に含まれること。
しかし、上述した第１条件及び第２条件が充足されている場合、画像信号出力部２３からの画像信号ＤGB[m]の出力タイミングをタイミングジェネレータ３２が制御することにより第３条件は必然的に充足される。このため、本実施形態では、出力制御部３１における判定において第３条件を考慮しない。
【００３８】
以下、出力制御部３１の制御方法の実現方法について、更に詳細に記載する。出力制御部３１は、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定を、例えば、以下の２つの態様により実行することができる。
【００３９】
第１の態様としては、第１条件が充足されているか否かの判定（第１の判定）と、第２条件が充足されているか否かの判定（第２の判定）の２つの判定を、出力制御部３１が直接に実行する態様である。
具体的には、出力制御部３１は、画像処理部２１が書込完了信号ＰtAを出力すると、書込完了信号ＰtAの示すライン番号ｍaをもとにｍについて「ｍ≦ｍa」を満たすか否かを判定し（第１の判定を実行し）、画像信号出力部２３が出力完了信号ＰtBを出力すると、出力完了信号ＰtBの示すライン番号ｍbが「ｍb＝ｍ-1」を満たすか否かを判定し（第２の判定を実行し）、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定である場合に、「画像信号Ｄ[m]を出力する準備が完了した」と判定する。
この場合、出力制御部３１は、第１の判定を実行することにより、表示対象ラインで表示すべき画像に対応する画像信号を生成したか否かを判定する「処理状況判定部」として機能し、第２の判定を実行することにより、表示対象ラインにおける画像の表示が可能であるか否かを判定する「表示判定部」として機能する。
なお、出力制御部３１は、第１の判定の判定結果、または、第２の判定の判定結果が否定である場合、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定となるまで、第１の判定及び第２の判定を繰り返す。具体的には、出力制御部３１は、例えば、第１の判定及び第２の判定の両方の判定結果が肯定となるまで、画像処理部２１から書込完了信号ＰtAが出力される毎に第１の判定を実行し、また、画像信号出力部２３から出力完了信号ＰtBが出力される毎に第２の判定を実行すればよい。また、例えば、出力制御部３１は、第１の判定及び第２の判定の両方の判定結果が肯定となるまで、後述する水平走査期間Ｈdの周期で、第１の判定及び第２の判定を繰り返してもよい。そして、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定となったときに、出力制御信号ＣTR（正確には，ＣTR[m]）を、判定結果が肯定であることを示す値に設定する。
【００４０】
次に、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定の第２の態様としては、出力制御部３１が前回の判定（画像信号Ｄ[m-1]を出力する準備が完了したか否かの判定）の結果が肯定となった後であって、画像信号出力部２３が出力完了信号ＰtBの示すライン番号ｍb＝m-1を出力したタイミングで、第１条件が充足されているか否かの判定（第１の判定）を実行する態様である。
この態様において、出力制御部３１は、第１の判定の判定結果が否定である場合、第１の判定の判定結果が肯定となるまで第１の判定を繰り返し、第１の判定の判定結果が肯定となったときに、出力制御信号ＣTRを、判定結果が肯定であることを示す値（ＣTR[m]）に設定する。具体的には、出力制御部３１は、例えば、出力完了信号ＰtBが出力されたタイミングで第１の判定の判定結果が否定である場合には、その後、画像処理部２１が書込完了信号ＰtAを出力する毎に、当該書込完了信号ＰtAの示すライン番号ｍaをもとにｍについて「ｍ≦ｍa」を満たすか否かを判定し、「ｍ≦ｍa」を満たしたときに、第１条件が充足されたと判定すればよい。
【００４１】
上述のとおり、画像処理部２１は、ライン番号順に画像信号Ｄ[m]（画像信号ＤGA[m]）を生成し、画像信号出力部２３は、ライン番号順に画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する。そして、本実施形態では、第ｍ-2行の画像信号Ｄ[m-2]の出力が完了し、出力制御部３１が「画像信号Ｄ[m-1]を出力する準備が完了した」と判定した後に、画像信号出力部２３が画像信号Ｄ[m-1]を出力する。よって、出力制御部３１が「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定を行うタイミングは、画像信号出力部２３から画像信号Ｄ[m-2]（画像信号ＤGB[m-2]）が出力された後のタイミングであって、且つ、出力制御部３１が「画像信号Ｄ[m-1]（画像信号ＤGB[m-1]）を出力する準備が完了した」と判定した後のタイミングである。つまり、出力制御部３１が、「画像信号Ｄ[m]を出力する準備が完了した」か否かの第１の判定を行うタイミングにおいて、画像信号出力部２３が出力する出力完了信号ＰtBの示すライン番号ｍbは「ｍ-1」となる。
このため、第２の態様において、出力制御部３１は、画像信号出力部２３からの出力完了信号ＰtBの出力をもって第２条件が充足されたとみなす。そして、出力制御部３１は、画像信号出力部２３から出力完了信号ＰtBが出力されたタイミングにおいて第１条件が充足されているか否かの判定（第１の判定）を実行することで、「画像信号Ｄ[m]（画像信号ＤGB[m]）の出力準備が完了した」か否かの判定を行う。
【００４２】
本実施形態では、上述した２つの態様のうち、第２の態様を採用することを前提として、以下の説明を行う。
【００４３】
タイミングジェネレータ３２は、表示垂直同期信号ＤＶsync、垂直有効データ信号ＤＶactive、表示水平同期信号ＤＨsync、表示ドットクロック信号ＤCLK、及び、イネーブル信号ＤＥnbを生成し、生成したこれらの信号を、画像信号出力部２３及び表示部４０に対して出力する。
図４Ａ及び図４Ｂは、タイミングジェネレータ３２が生成する、表示垂直同期信号ＤＶsync、垂直有効データ信号ＤＶactive、表示水平同期信号ＤＨsync、表示ドットクロック信号ＤCLK、及び、イネーブル信号ＤＥnbを説明するためのタイミングチャートである。
【００４４】
図４Ａ及び図４Ｂに示すように、表示垂直同期信号ＤＶsyncは、液晶パネル４２の表示領域ＡD全体（Ｍライン分）の画素で画像を表示するための表示垂直走査期間Ｆdを規定する信号である。表示水平同期信号ＤＨsyncは、表示領域ＡDの１ライン分の画素で画像を表示すための水平走査期間Ｈdを規定する信号である。表示ドットクロック信号ＤCLKは、表示領域ＡDの各画素で画像を表示するためのタイミングを規定する信号である。
【００４５】
本実施形態において、水平走査期間Ｈdは、予め定められた一定の時間長を有している。また、本実施形態において、表示垂直走査期間Ｆdは、複数の水平走査期間Ｈdから構成されており、撮像垂直走査期間Ｆsの時間長（周期）より短い時間の可変な時間長（周期）を有する。このため、各表示垂直走査期間Ｆdに含まれる水平走査期間Ｈdの個数は可変になっている。図４Ａに示す例では、図４Ａに示す複数の表示垂直走査期間Ｆdのうち、最初の表示垂直走査期間Ｆdである表示垂直走査期間Ｆd1は、表示垂直走査期間Ｆd1に後続する表示垂直走査期間Ｆd2よりも短く、表示垂直走査期間Ｆd2は、表示垂直走査期間Ｆd2に後続する表示垂直走査期間Ｆd3よりも短い場合を例示している。
なお、表示垂直同期信号ＤＶsyncの有する波形のうち、表示垂直走査期間Ｆdの開始及び終了のタイミングを規定するパルス状の波形を、垂直同期パルスＰlsＶと称する。また、表示水平同期信号ＤＨsyncの有する波形のうち、水平走査期間Ｈdの開始及び終了のタイミングを規定するパルス状の波形を、水平同期パルスＰlsＨと称する。
【００４６】
図４Ｂに示すように、表示垂直走査期間Ｆdは、垂直同期期間ＤＶpと、垂直バックポーチ期間ＤＶbと、垂直有効データ期間ＤＶＩと、垂直フロントポーチ期間ＤＶfと、からなる。
垂直同期期間ＤＶpは、表示垂直同期信号ＤＶsyncがアクティブ（この図の例ではローレベル）である期間であり、表示垂直走査期間Ｆdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。垂直バックポーチ期間ＤＶbは、垂直同期期間ＤＶpに後続する期間であり、予め定められた時間長を有する期間である。垂直有効データ期間ＤＶＩは、垂直バックポーチ期間ＤＶbに後続する、可変な時間長の期間である。当該垂直有効データ期間ＤＶＩにおいて、画像信号出力部２３から画像信号ＤGB（画像信号ＤGB[1]〜ＤGB[M]）が出力される。垂直フロントポーチ期間ＤＶfは、垂直有効データ期間ＤＶＩに後続する期間であり、表示垂直走査期間Ｆdの終了と同時に終了する、予め定められた時間長を有する期間である。
垂直有効データ期間ＤＶＩは、各表示垂直走査期間Ｆdにおいてイネーブル信号ＤＥnbが最初にアクティブとなる水平走査期間Ｈdの開始からイネーブル信号ＤＥnbがＭ回目にアクティブとなる水平走査期間Ｈdの終了までの期間である（イネーブル信号ＤＥnbがアクティブとなる場合については、後述する）。
当該垂直有効データ期間ＤＶＩは、例えば、イネーブル信号ＤＥnbがアクティブとなる回数をカウントするカウンタ（図示省略）が出力するカウント値に基づいて定めればよい。但し、本実施形態では、説明の便宜上、各表示垂直走査期間Ｆdにおいてイネーブル信号ＤＥnbが最初にアクティブとなる水平走査期間Ｈdの開始からイネーブル信号ＤＥnbがＭ回目にアクティブとなる水平走査期間Ｈdの終了までの期間においてアクティブ（この図の例ではハイレベル）となる垂直有効データ信号ＤＶactiveを導入する。すなわち、本実施形態では、垂直有効データ信号ＤＶactiveがアクティブである期間を垂直有効データ期間ＤＶＩとして説明する。なお、この垂直有効データ信号ＤＶactiveは、説明の便宜上導入した信号であり、出力制御部３１は、この垂直有効データ信号ＤＶactiveを出力しないものであってもよい。
【００４７】
図４Ｃ及び図４Ｄに示すように、水平走査期間Ｈdは、水平同期期間ＤＨpと、水平バックポーチ期間ＤＨbと、水平有効データ期間ＤＨＩと、水平フロントポーチ期間ＤＨfと、からなる。
水平同期期間ＤＨpは、表示水平同期信号ＤＨsyncがアクティブ（この図の例ではローレベル）である期間であり、水平走査期間Ｈdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。水平バックポーチ期間ＤＨbは、水平同期期間ＤＨpに後続する期間であり、予め定められた時間長を有する期間である。水平有効データ期間ＤＨＩは、水平バックポーチ期間ＤＨbに後続する、予め定められた時間長を有する期間である。水平フロントポーチ期間ＤＨfは、水平有効データ期間ＤＨＩに後続する期間であり、水平走査期間Ｈdの終了と同時に終了する、予め定められた時間長を有する期間である。
【００４８】
本実施形態では、水平走査期間Ｈdには、画像信号出力部２３が画像信号Ｄ[m]を出力するための有効水平走査期間Ｈd-Ａ（図４Ｃ参照）と、画像信号Ｄ[m]を出力する代わりに無効信号Ｄmy[m]を出力する無効水平走査期間Ｈd-Ｄ（図４Ｄ参照）と、が存在する。
図４Ｃは、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合を例示している。この図に示すように、イネーブル信号ＤＥnbは、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合には、水平有効データ期間ＤＨＩにおいてアクティブ（この図の例ではハイレベル）となる。そして、イネーブル信号ＤＥnbがアクティブとなる水平有効データ期間ＤＨＩにおいて、画像信号出力部２３から画像信号Ｄ[m]（画像信号ＤGB[m]）が出力される。一方、イネーブル信号ＤＥnbは、有効水平走査期間Ｈd-Ａのうち、水平有効データ期間ＤＨＩ以外の期間（水平同期期間ＤＨp、水平バックポーチ期間ＤＨb、水平フロントポーチ期間ＤＨf）において、非アクティブとなる。画像信号出力部２３は、有効水平走査期間Ｈd-Ａのうち、イネーブル信号ＤＥnbが非アクティブとなる、水平有効データ期間ＤＨＩ以外の期間において、画像信号Ｄ[m]（画像信号ＤGB[m]）のラインデータの画素毎の出力を停止して、無効ライン信号ＤGB-dmyを出力する。
上述した第３条件は、タイミングジェネレータ３２が水平有効データ期間ＤＨＩにおいてイネーブル信号ＤＥnbをアクティブとすることで充足される。すなわち、出力制御部３１及びタイミングジェネレータ３２を備えるタイミング制御部３０は、上述した第１条件〜第３条件の全てが充足されたタイミングで、表示対象ラインに対応する画像信号Ｄ[m]（画像信号ＤGB[m]）のラインデータについて画素毎に画像信号出力部２３から出力させる。
【００４９】
図４Ｄは、水平走査期間Ｈdが無効水平走査期間Ｈd-Ｄである場合を例示している。この図に示すように、イネーブル信号ＤＥnbは、水平走査期間Ｈdが無効水平走査期間Ｈd-Ｄである場合には、水平有効データ期間ＤＨＩにおいて非アクティブとなる。そして、画像信号出力部２３は、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[m]（画像信号ＤGB[m]）の代わりに、無効信号Ｄmyを出力する。一方、イネーブル信号ＤＥnbは、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩ以外の期間（水平同期期間ＤＨp、水平バックポーチ期間ＤＨb、水平フロントポーチ期間ＤＨf）においても非アクティブとなる。画像信号出力部２３は、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩ以外の期間において、画像信号Ｄ[m]（画像信号ＤGB[m]）の出力を停止して、無効ライン信号ＤGB-dmyを出力する。
なお、タイミングジェネレータ３２は、出力制御部３１が出力する出力制御信号ＣTRに基づいて、水平走査期間Ｈdを有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄのいずれにするか、換言すれば、水平有効データ期間ＤＨＩにおいてイネーブル信号ＤＥnbをアクティブとするか否かを決定する。この、出力制御信号ＣTR、イネーブル信号ＤＥnb、及び、水平走査期間Ｈdの種類の関係については、後述する。
【００５０】
図５は、タイミングジェネレータ３２が生成する各種信号と、液晶パネル４２の表示領域ＡDにおける画像の表示タイミングとの関係を説明するための説明図である。
この図に示すように、表示領域ＡDの有する第１行のラインから第Ｍ行のラインに至るＭ行×Ｎ列の画素は、表示垂直走査期間Ｆdのうち、垂直有効データ信号ＤＶactiveがアクティブとなる垂直有効データ期間ＤＶＩにおいて、画像信号Ｄ[1]〜Ｄ[M]の示す１画面分の画像を表示する。
また、表示領域ＡDのうち第ｍ行のラインを構成するＮ個の画素は、水平走査期間Ｈd（有効水平走査期間Ｈd-Ａ）のうち、イネーブル信号ＤＥnbがアクティブとなる水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[m]の示すラインデータの画素毎の画像を表示する。
なお、垂直有効データ期間ＤＶＩは、当該垂直有効データ期間ＤＶＩに含まれる無効水平走査期間Ｈd-Ｄの個数によって延長されるが、この図では、垂直有効データ期間ＤＶＩに含まれる水平走査期間Ｈdは全て有効水平走査期間Ｈd-Ａである場合を想定している。
【００５１】
図６は、出力制御信号ＣTRと、イネーブル信号ＤＥnbとを説明するための説明図である。
上述のとおり、出力制御部３１は、画像信号Ｄ[m]の出力準備が完了したと判定したとき、つまり、第１条件及び第２条件が充足されたときに、出力制御信号ＣTRに判定結果が肯定であることを示す値ＣTR[m]を設定する。ここでは便宜的に、本実施形態では、出力制御部３１は、画像信号Ｄ[m]の出力準備が完了したと判定したときに、出力制御信号ＣTRに一時的にハイレベルに立ち上がるパルス状の波形を出力することとし、図６に示すように、出力制御信号ＣTRに設定される画像信号Ｄ[m]を出力する準備が完了した旨の判定結果を示す出力パルス波形を、出力許可パルスＰL[m]と称することにする（＝ＣTR[m]）。
【００５２】
上述のとおり、本実施形態に係る出力制御部３１は、画像信号出力部２３から出力完了信号ＰtBが出力されたことをもって、第２条件が充足されたとみなす。そして、出力制御部３１は、出力完了信号ＰtBが出力されたときに画像信号Ｄ[m]の画像処理が完了しているか（第１条件が充足されているか）否かの判定（第１の判定）を実行することで、画像信号Ｄ[m]の出力準備が完了したか否かを判定する。
図６に示すように、出力制御部３１が画像信号Ｄ[m]の出力準備が完了したか否かの判定を行う場合において、出力制御部３１が画像信号Ｄ[m]の画像処理が完了したと判定（第１条件が充足されたと判定）するタイミング、つまり、第１の判定の結果が肯定となるタイミングを、画像処理判定時刻ＴA[m]と称する。
また、出力制御部３１に出力完了信号ＰtBが供給された（第２条件が充足されたとみなす）タイミングを、表示準備判定時刻ＴB[m]と称する。
また、以下では、説明の便宜上、画像処理部２１による画像信号Ｄ[m]の生成が実際に完了した時刻を、画像信号生成時刻ＴC[m]と定義する。つまり、画像信号生成時刻ＴC[m]は、画像処理部２１が書込完了信号ＰtAを出力する時刻と略同じ時刻である。
【００５３】
表示準備判定時刻ＴB[m]は、出力制御部３１からの画像信号Ｄ[m-1]の出力が完了した時刻と略同じ時刻であり、画像信号Ｄ[m-1]が出力される有効水平走査期間Ｈd-Ａ（有効水平走査期間Ｈd-Ａ[m-1]と称する）の水平有効データ期間ＤＨＩが終了する時刻と略同じ時刻である。
なお、本明細書において「略同じ時刻」とは、信号の送受信に起因するタイムラグや、各種処理に起因するタイムラグがある場合において、これらのタイムラグを無視した場合に同一の時刻であるとみなすことができる場合を含む概念である。
【００５４】
画像処理判定時刻ＴA[m]は、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]（画像信号ＤGA[m]）の生成が完了している場合、すなわち、表示準備判定時刻ＴB[m]までに画像信号生成時刻ＴC[m]が経過している場合（Ｃase-1と称する）には、表示準備判定時刻ＴB[m]と略同じ時刻となる。
なお、Ｃase-1の場合、表示準備判定時刻ＴB[m]のタイミング（＝第２条件が充足されたとみなすタイミング）において、出力制御部３１が、当該表示準備判定時刻ＴB[m]までに出力制御部３１に供給されている書込完了信号ＰtAの示すライン番号ｍaをもとにｍについて「ｍ≦ｍa」を満たす旨の判定をし、当該判定をしたタイミングが画像処理判定時刻ＴA[m]であるため、画像処理判定時刻ＴA[m]及び表示準備判定時刻ＴB[m]の間には実際にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じとみなす。
【００５５】
一方、画像処理判定時刻ＴA[m]については、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]（画像信号ＤGA[m]）の生成が完了していない場合においては（すなわち、表示準備判定時刻ＴB[m]までに画像信号生成時刻ＴC[m]が到来していない場合（Ｃase-2と称する））には、画像処理部２１が画像信号Ｄ[m]の生成を完了させた時刻（すなわち、画像信号生成時刻ＴC[m]と略同じ時刻）となる。
なお、Ｃase-2の場合、画像処理部２１が画像信号生成時刻ＴC[m]に画像信号Ｄ[m]の生成を完了させた後に、画像処理部２１が書込完了信号ＰtAを出力し、当該書込完了信号ＰtAの供給を受けた出力制御部３１が「ｍ≦ｍa」を満たす旨の判定をしたタイミングが画像処理判定時刻ＴA[m]であるため、画像処理判定時刻ＴA[m]及び画像信号生成時刻ＴC[m]の間にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じとみなす。
【００５６】
この様にＣase-1とＣase-2の場合があり得るため、両ケースをまとめると、出力制御部３１は、画像信号生成時刻ＴC[m]及び表示準備判定時刻ＴB[m]のうち遅い方の時刻において（すなわちこの時刻は、画像処理判定時刻ＴA[m]）、出力制御信号ＣTRに出力許可パルスＰL[m]を設定する。つまり、この出力許可パルスＰL[m]は、画像信号Ｄ[m]についての第１条件及び第２条件が充足されたときに出力される。そして、タイミングジェネレータ３２は、出力許可パルスＰL[m]が出力された後であって第３条件が充足されたとき、換言すれば、出力許可パルスＰL[m]が出力された後に最初にイネーブル信号ＤＥnbがアクティブになるときに、画像信号出力部２３から画像信号Ｄ[m]が出力されるように制御する。
以下、説明の都合上、画像信号Ｄ[m]について、第１条件〜第３条件の全てが充足された時刻を、出力条件充足時刻ＴJ[m]と称する。
【００５７】
本実施形態では、タイミングジェネレータ３２は、出力制御信号ＣTRに基づいて、タイミングジェネレータ３２の内部処理で用いるための内部処理信号ＩSのレベルを決定する。そして、タイミングジェネレータ３２は、内部処理信号ＩSに基づいて、イネーブル信号ＤＥnbをアクティブにするタイミング、及び、水平走査期間Ｈdの種別（有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄ）を決定する。
【００５８】
具体的には、タイミングジェネレータ３２は、図６に示すように、出力制御信号ＣTRに出力許可パルスＰL[m]が設定されると、内部処理信号ＩSをアクティブ（この図の例ではハイレベル）とする。
タイミングジェネレータ３２は、水平走査期間Ｈdが開始されるタイミングにおいて内部処理信号ＩSがアクティブである場合、当該水平走査期間Ｈdの種別を有効水平走査期間Ｈd-Ａ[m]に決定（分類）し、当該有効水平走査期間Ｈd-Ａ[m]の水平有効データ期間ＤＨＩが開始されるタイミングでイネーブル信号ＤＥnbをアクティブにする。このイネーブル信号ＤＥnbがアクティブとなるタイミングが、出力条件充足時刻ＴJ[m]に該当する。
そして、タイミングジェネレータ３２は、当該有効水平走査期間Ｈd-Ａ[m]の水平有効データ期間ＤＨＩが開始されてイネーブル信号ＤＥnbがアクティブとなるタイミング、つまり、出力条件充足時刻ＴJ[m]において、内部処理信号ＩSを非アクティブにする。
【００５９】
一方、タイミングジェネレータ３２は、水平走査期間Ｈdが開始されるタイミングにおいて内部処理信号ＩSが非アクティブである場合、当該水平走査期間Ｈdの種別を無効水平走査期間Ｈd-Ｄに決定（分類）し、当該無効水平走査期間Ｈd-Ｄの間はイネーブル信号ＤＥnbを非アクティブにする。
【００６０】
ここで、図６に示す例において、表示準備判定時刻ＴB[1]以前では、PtB信号のｍbは、１フレームの最終ラインを出力した直後よりｍb＝Ｍを維持している。そして、垂直同期信号の出力後の垂直バックポーチ期間が完了後のある時点で、次のフレームのデータ出力が可能になる。このため、表示準備判定時刻ＴB[1]の時点において、ｍb信号がリセットされて、ｍb＝０になる（Ｃase-0）。Ｃase-0は、１フレームの最初の1ライン目を表示開始するための特殊なタイミングであり、１フレームに１回のみ存在する。そしてその結果、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩが開始される。
次に，２ライン目以降の例を記載する。以下、図６に示す例において、出力制御部３１が、画像信号Ｄ[2]の出力準備が完了したか否かの判定を行い、出力制御信号ＣTRに出力許可パルスＰL[2]を設定する場合（Ｃase-1に相当）を説明する。
図６に示す例では、表示準備判定時刻ＴB[2]は、画像信号Ｄ[1]の出力が完了する水平走査期間Ｈd[1]（有効水平走査期間Ｈd-Ａ[1]）の水平有効データ期間ＤＨＩの終了時である。また、この例では、画像信号Ｄ[2]の画像処理が完了する画像信号生成時刻ＴC[2]が、表示準備判定時刻ＴB[2]よりも前に到来する場合を想定している。よって、この例では、画像処理判定時刻ＴA[2]は、表示準備判定時刻ＴB[2]と略同じ時刻となる。このため、出力制御部３１は、水平走査期間Ｈd[1]の水平有効データ期間ＤＨＩの終了時、つまり、表示準備判定時刻ＴB[2]に、出力制御信号ＣTRとして出力許可パルスＰL[2]を出力する。
タイミングジェネレータ３２は、出力制御信号ＣTRとして出力許可パルスＰL[2]が出力されるタイミング、つまり、水平走査期間Ｈd[1]の水平有効データ期間ＤＨＩの終了するタイミングにおいて、内部処理信号ＩSをアクティブにする。この場合、内部処理信号ＩSは、水平走査期間Ｈd[2]の開始時においてもアクティブとなっている。ここで、タイミングジェネレータ３２は、水平走査期間の開始タイミング（ＤＨsyncパルス）において、当該水平走査期間を有効水平走査期間Ｈd-Ａ[m]とするのか、無効水平走査期間Ｈd-Ｄとするのかを内部処理信号ＩSの状態に基づいて判断を行うものとする。上記の場合は、内部処理信号ＩSは、アクティブである。このため、タイミングジェネレータ３２は、水平走査期間Ｈd[2]を有効水平走査期間Ｈd-Ａ[2]とし、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbをアクティブにする。
すなわち、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩの開始時刻が、画像信号Ｄ[2]についての第１条件〜第３条件の全てが充足された出力条件充足時刻ＴJ[2]となる。このため、水平走査期間Ｈd[2]において、画像信号Ｄ[2]が出力されることになる。また、タイミングジェネレータ３２は、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩが開始されるタイミングにおいて、内部処理信号ＩSを非アクティブとする。
【００６１】
次に、図６に示す例において、出力制御部３１が、画像信号Ｄ[3]の出力準備が完了したか否かの判定を行い、出力制御信号ＣTRに出力許可パルスＰL[3]を設定する場合（Ｃase-2に相当）を説明する。
図６に示す例では、表示準備判定時刻ＴB[3]は、画像信号Ｄ[2]の出力が完了する水平走査期間Ｈd[2]（有効水平走査期間Ｈd-Ａ[2]）の水平有効データ期間ＤＨＩの終了時である。この例では、画像信号Ｄ[3]の画像処理が完了する画像信号生成時刻ＴC[3]が、表示準備判定時刻ＴB[3]よりも後となる場合を想定している。よって、画像処理判定時刻ＴA[3]は、表示準備判定時刻ＴB[3]よりも後の時刻となる。また、この例では、画像信号生成時刻ＴC[3]が、水平走査期間Ｈd[3]の開始時よりも後となる場合を想定している。このため、出力制御部３１は、水平走査期間Ｈd[3]の開始時よりも後の時刻に、出力許可パルスＰL[3]を出力する。
上述のとおり、タイミングジェネレータ３２は、内部処理信号ＩSを、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩの開始時に非アクティブとする。このため、内部処理信号ＩSは、水平走査期間Ｈd[3]の開始時に非アクティブとなっている。このため、水平走査期間の開始タイミング（ＤＨsyncパルス）において、内部処理信号ＩSの状態は非アクティブであるので、タイミングジェネレータ３２は、水平走査期間Ｈd[3]を無効水平走査期間Ｈd-Ｄとして分類し、水平走査期間Ｈd[3]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbを非アクティブにする。この場合、画像信号出力部２３は、水平走査期間Ｈd[3]の水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[3]を出力せずに、無効信号Ｄmyを出力する。
その後、タイミングジェネレータ３２は、出力制御信号ＣTRとして出力許可パルスＰL[3]が出力されタイミングにおいて、内部処理信号ＩSをアクティブにする。この例では、出力許可パルスＰL[3]が出力されるタイミングは、水平走査期間Ｈd[4]の開始前である。この場合、内部処理信号ＩSは、水平走査期間Ｈd[4]の開始時（ＤＨsyncパルス）においてもアクティブとなっている。このため、タイミングジェネレータ３２は、水平走査期間Ｈd[4]を有効水平走査期間Ｈd-Ａ[3]とし、水平走査期間Ｈd[4]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbをアクティブにする。
すなわち、水平走査期間Ｈd[4]の水平有効データ期間ＤＨＩの開始時刻が、画像信号Ｄ[3]についての第１条件〜第３条件の全てが充足された出力条件充足時刻ＴJ[3]となる。このため、水平走査期間Ｈd[4]において、画像信号Ｄ[3]が出力されることになる。
なお、この図に示す例では、出力制御部３１が、画像信号Ｄ[1]の出力準備が完了したか否かの判定を行い出力制御信号ＣTRに出力許可パルスＰL[1]を設定する場合、及び、画像信号Ｄ[1]の出力準備が完了したか否かの判定を行い出力制御信号ＣTRに出力許可パルスＰL[1]を設定する場合（Ｃase-0）については、Ｃase-1としての条件である場合を想定している。
【００６２】
このように本実施形態では、出力制御部３１は、第１条件及び第２条件が充足されときに、出力許可パルスＰL[m]を出力して、内部処理信号ＩSの状態をアクティブにし、水平走査期間の開始時（ＤＨsyncパルス）において、有効水平走査期間Ｈd-Ａ[m]とするのか、無効水平走査期間Ｈd-Ｄ[m]とするかを決定する。有効水平走査期間と決定された場合、画像信号出力部２３は、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈdにおいて、画像信号Ｄ[m]を出力する動作を行う。この様な動作により，画像処理部２１によるライン単位Ｄ[m]の画像処理結果の画像信号出力部２３からの画像信号Ｄ[m]の出力タイミングは，水平走査期間Ｈdの単位の精度で出力調整されることになる。
【００６３】
なお、図６に示す例では、タイミングジェネレータ３２は、水平走査期間Ｈdの種別を、水平走査期間Ｈdが開始されるタイミングで決定しているが、これは一例に過ぎず、例えば、出力許可パルスＰL[m]が出力される水平走査期間Ｈdの水平フロントポーチ期間ＤＨfの開始から、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈdの水平バックポーチ期間ＤＨbの終了までの間に決定すればよい。
また、図６に示す例では、内部処理信号ＩSを非アクティブとするタイミングを、イネーブル信号ＤＥnbがアクティブとなるタイミングとしているが、これは一例に過ぎず、タイミングジェネレータ３２が内部処理信号ＩSを非アクティブとするタイミングは、イネーブル信号ＤＥnbがアクティブとなってから非アクティブとなるまでの水平有効データ期間ＤＨＩの間であればいつでもよい。
【００６４】
また、本実施形態において、タイミングジェネレータ３２は、内部処理信号ＩSを用いて、イネーブル信号ＤＥnbの波形と、水平走査期間Ｈdの種別とを決定しているが、これは一例に過ぎず、内部処理信号ＩSを用いずに、出力制御信号ＣTRに基づいて、これらを決定してもよい。
また、本実施形態において、出力制御信号ＣTRは、出力許可パルスＰL[m]を含む波形となっているが、これは一例であり、出力制御信号ＣTRは、例えば、図６に示す内部処理信号ＩSの波形を有していてもよい。この場合、タイミングジェネレータ３２は、出力制御部３１が出力制御信号ＣTRの波形の決定をするために必要なイネーブル信号ＤＥnb等の各種信号を、出力制御部３１に供給すればよい。
【００６５】
図７Ａ及び図７Ｂは、有効水平走査期間Ｈd-Ａ及び無効水平走査期間Ｈd-Ｄと、表示垂直走査期間Ｆdとの関係を説明するための説明図である。
表示垂直走査期間Ｆdは、Ｍ行のラインに対応する画像信号Ｄ[1]〜Ｄ[M]を出力する期間である。このため、タイミングジェネレータ３２は、各表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩに、Ｍ個の有効水平走査期間Ｈd-Ａを設ける。
一方、本実施形態に係るタイミングジェネレータ３２は、水平走査期間Ｈdを、有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄの何れかに分類する。そして、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合にのみ、当該水平走査期間Ｈdにおいて画像信号Ｄ[m]が出力される。
このため、本実施形態に係るタイミングジェネレータ３２は、表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを設ける場合には、当該無効水平走査期間Ｈd-Ｄに相当する時間長だけ垂直有効データ期間ＤＶＩを延長し、各表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩにＭ個の有効水平走査期間Ｈd-Ａを設けるように、表示垂直同期信号ＤＶsync及び垂直有効データ信号ＤＶactiveを出力する。
【００６６】
例えば、タイミングジェネレータ３２は、図７Ａに示す表示垂直走査期間Ｆd1のように、垂直有効データ期間ＤＶＩの全ての水平走査期間Ｈdを有効水平走査期間Ｈd-Ａとする場合には、垂直有効データ期間ＤＶＩの時間長を、水平走査期間ＨdのＭ倍の時間長とする。ここで、表示垂直走査期間Ｆd1のうち、垂直同期フロントポーチ期間（ＤＶf）と垂直同期期間（ＤＶp）と垂直同期バックポーチ期間（ＤＶb）を除いた期間、すなわちＤＶＩを垂直有効データ期間ＤＶＩと呼び、ＤＶactive＝Ｈの期間とする。
一方、タイミングジェネレータ３２は、図７Ｂに示す表示垂直走査期間Ｆd2のように、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄを設ける場合には、垂直有効データ期間ＤＶＩの時間長（ＤＶactive＝Ｈの期間）が、水平走査期間ＨdのＭ倍の時間長と、垂直有効データ期間ＤＶＩに存在する１または複数の無効水平走査期間Ｈd-Ｄの合計の時間長と、を加算した時間長とする。
つまり、タイミングジェネレータ３２は、表示垂直走査期間Ｆdの時間長を、水平走査期間Ｈdの単位で調整することで、各表示垂直走査期間Ｆdにおいて画像信号出力部２３が画像信号Ｄ[1]〜Ｄ[M]を出力することを可能としている。
【００６７】
なお、図７Ａに示す表示垂直走査期間Ｆd1のように、垂直有効データ期間ＤＶＩの全ての水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合における、表示垂直走査期間Ｆdの時間長を、標準垂直走査時間Ｔdと称する。
また、図７Ｂに示す表示垂直走査期間Ｆd2のように、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄが設けられる場合における、当該１または複数の無効水平走査期間Ｈd-Ｄの時間長の合計値を、延長垂直走査時間Ｔexと称する。つまり、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄが設けられる場合の表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔdと延長垂直走査時間Ｔexとの合計である。
【００６８】
次に、図８を参照しつつ、表示部４０について説明する。
図８は、表示部４０の構成を示すブロック図である。上述のとおり、表示部４０は、液晶パネル４２の動作を制御するＥＶＦコントローラ４１と、画像信号Ｄに応じた画像を表示するための液晶パネル４２と、を備える。
液晶パネル４２には、上述のとおり、画像信号Ｄに応じた画像を表示するための表示領域ＡDが設けられている。表示領域ＡDは、図５においてＸ軸方向に延在するＭ行の走査線と、Ｙ軸方向に延在するＮ列のデータ線と、走査線及びデータ線の交差に対応しても受けられるＭ行×Ｎ列の画素と、を含んで構成されている。また、液晶パネル４２は、走査線を選択するための走査線駆動回路４２１と、データ線を駆動するためのデータ線駆動回路４２２と、表示領域ＡDに表示される画像を拡大して観察可能とするための光学系（図示省略）と、を備える。
【００６９】
ＥＶＦコントローラ４１は、画像信号出力部２３から画像信号Ｄ（画像信号ＤGB）が入力されるデータ入力部４１１と、各垂直有効データ期間ＤＶＩにおいて有効水平走査期間Ｈd-Ａの個数（イネーブル信号ＤＥnbがアクティブとなる回数）をカウントするカウンタ４１２と、液晶パネル４２の駆動タイミングを規定する各種タイミング信号を生成するタイミング生成部４１３と、液晶パネル４２に対して画像信号Ｄ（画像信号ＤGC）を出力するデータ出力部４１４と、ＥＶＦコントローラ４１の動作を規定する設定パラメーターＰRMを格納するためのレジスタ４１５と、を備える。
なお、本実施形態において、画像処理回路１００（画像信号生成部２０、及び、タイミング制御部３０）とＥＶＦコントローラ４１との間のデータ伝送は、パラレルインタフェース（図示省略）によって行う。
【００７０】
撮像表示装置１の利用者が操作部６０によりライブビューモードによる動作を選択する等して、撮像表示装置１がライブビューモードで動作する場合、撮像表示装置１がライブビューモードによる動作を開始するに先立ち、パラメーター送信部３３から設定パラメーターＰRMがタイミング生成部４１３に供給される。そして、タイミング生成部４１３は、送信された設定パラメーターＰRMを、レジスタ４１５に格納（設定）する。
【００７１】
レジスタ４１５に設定される設定パラメーターＰRMは、液晶パネル４２の仕様に応じてＥＶＦコントローラ４１を動作させるための、ＥＶＦコントローラ４１の動作を規定する値である。
設定パラメーターＰRMとしては、例えば、水平走査期間Ｈdの時間長（または、水平走査期間Ｈdに含まれる表示ドットクロック信号ＤCLKのクロック数。以下、表示ドットクロック信号ＤCLKのクロック数を、単に「クロック数」と称する）、水平有効データ期間ＤＨＩの時間長（または、表示領域ＡDにおけるＸ軸方向の画素数（Ｎ））、水平同期期間ＤＨpの時間長（または、クロック数）、水平バックポーチ期間ＤＨbの時間長（または、クロック数）、水平フロントポーチ期間ＤＨfの時間長（または、クロック数）、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄが含まれない場合の垂直有効データ期間ＤＶＩの時間長（または、表示領域ＡDにおけるＹ軸方向のライン数（Ｍ）。すなわち、垂直有効データ期間ＤＶＩに含まれる有効水平走査期間Ｈd-Ａの個数）、垂直同期期間ＤＶpの時間長（または、クロック数）、垂直バックポーチ期間ＤＶbの時間長（または、クロック数）、垂直フロントポーチ期間ＤＶfの時間長（または、クロック数）、等を含むものであればよい。
本実施形態に係る撮像表示装置１では、画像処理回路１００から、液晶パネル４２の仕様に応じたＥＶＦコントローラ４１の動作タイミングを設定できるので、液晶パネル４２のサイズを変更する場合や、フレームレート等の液晶パネル４２の仕様を変更する場合であっても、ＥＶＦコントローラ４１を変更する必要がない。このため、システムの汎用性を向上させることが可能となる。
【００７２】
データ入力部４１１には、画像処理回路１００から、表示ドットクロック信号ＤCLKと、画像信号Ｄ（画像信号ＤGB）及び無効信号Ｄmyを含む画像信号出力部２３からの出力信号と、イネーブル信号ＤＥnbと、が供給される。
データ入力部４１１は、イネーブル信号ＤＥnbがアクティブとなると、当該イネーブル信号ＤＥnbがアクティブの間に表示ドットクロック信号ＤCLKに同期して画像信号出力部２３から供給される１ライン分の画像信号Ｄ[m]を取り込み、取り込んだ画像信号Ｄ[m]をデータ出力部４１４に対して出力する。一方、データ入力部４１１は、イネーブル信号ＤＥnbが非アクティブの場合、画像信号出力部２３から供給される無効信号Ｄmyを取り込まずに破棄する。
【００７３】
カウンタ４１２には、画像処理回路１００から、イネーブル信号ＤＥnbと、表示垂直同期信号ＤＶsyncとが供給される。
カウンタ４１２は、イネーブル信号ＤＥnbの立ち上がりエッジをカウントし、カウント結果を示すカウント値Ｃntを、タイミング生成部４１３に対して出力する。また、カウンタ４１２は、表示垂直同期信号ＤＶsyncがアクティブになり、表示垂直同期信号ＤＶsyncとして垂直同期パルスＰlsＶが供給されると、カウント値Ｃntを「０」にリセットする。このため、カウンタ４１２は、各表示垂直走査期間Ｆdに含まれる有効水平走査期間Ｈd-Ａの個数をカウントすることができる。すなわち、カウント値Ｃntは、データ入力部４１１が第ｍ行のラインで表示すべき画像を指定する画像信号Ｄ[m]を取り込む場合には、当該画像信号Ｄ[m]に対応するライン番号（ｍ）を示す。
【００７４】
タイミング生成部４１３には、画像処理回路１００から、表示垂直同期信号ＤＶsyncと、表示水平同期信号ＤＨsyncと、設定パラメーターＰRMと、が供給され、また、カウンタ４１２から、カウント値Ｃntが供給される。
上述のとおり、タイミング生成部４１３は、画像処理回路１００から設定パラメーターＰRMが供給されると、供給された設定パラメーターＰRMをレジスタ４１５に設定する。
【００７５】
タイミング生成部４１３は、カウント値Ｃntが「ｍ」を示す場合には、走査線駆動回路４２１に対して、カウント値Ｃntに対応する第ｍ行のライン（走査線）の選択を行わせる。また、タイミング生成部４１３は、カウント値Ｃntが「ｍ」を示す場合には、データ出力部４１４に対して、データ入力部４１１が取り込んだ１ライン分の画像信号Ｄ[m]を画像信号ＤGC[m]としてデータ線駆動回路４２２に供給させる。この場合、データ線駆動回路４２２は、走査線駆動回路４２１が選択している第ｍ行の走査線に対応して設けられるＮ個の画素（第ｍ行のライン）に対し、データ出力部４１４から供給された画像信号ＤGC[m]を、データ線を介して書き込む。これにより、選択されたラインの画像が表示領域ＡDに表示される。なお、本実施形態では、画像信号ＤGA及びＤGBはデジタルの信号であるが、画像信号ＤGCは、デジタルの信号であってもアナログの信号であってもよい。
このように、ＥＶＦコントローラ４１は、画像信号出力部２３から供給された画像信号Ｄの示す画像を、液晶パネル４２の表示領域ＡDに表示させる。
【００７６】
なお、ＥＶＦコントローラ４１は、カウント値Ｃntが、レジスタ４１５に設定された表示領域ＡDのライン数「Ｍ」と等しくなったことを検出した場合、検出後に最初に表示水平同期信号ＤＨsyncが供給されるタイミング、つまり、垂直フロントポーチ期間ＤＶfが開始されるタイミングで、改フレーム処理の準備に入る。そして、垂直フロントポーチ期間ＤＶfが開始された後、タイミング生成部４１３は、データ入力部４１１及びデータ出力部４１４に対して、改フレーム処理の実行を指令するための改フレーム処理開始信号Ｃngを出力する。
ここで、改フレーム処理とは、次の表示垂直走査期間Ｆdにおいて画像を表示する準備のための処理であり、例えば、データ入力部４１１及びデータ出力部４１４が備えるバッファに記憶されたデータの消去を実行する処理等が含まれる。改フレーム処理は、垂直フロントポーチ期間ＤＶfの開始以後に開始される。また、改フレーム処理は、垂直フロントポーチ期間ＤＶfの終了までに終了することが好ましい。
【００７７】
＜２．画像処理＞
次に、図９乃至図１１を参照しつつ、画像処理部２１の詳細と、画像処理部２１で実行される画像処理と、について説明する。
【００７８】
図９は、画像処理部２１の構成を示すブロック図である。
この図に示すように、画像処理部２１は、イメージセンサ１２から出力される撮像信号ＤSを一時的に格納するラインバッファ２１１と、ラインバッファ２１１に格納された撮像信号ＤSに対して補間処理を行う画素補間処理部２１２と、補間された撮像信号ＤSに対して色再現処理を行う色再現処理部２１３と、色再現された撮像信号ＤSに対してフィルタ処理を行うフィルタ処理部２１４と、フィルタ処理された撮像信号ＤSに対してガンマ補正を施すガンマ補正部２１５と、ガンマ補正された撮像信号ＤSを一時的に格納するラインバッファ２１６と、ラインバッファ２１６に格納された撮像信号ＤSを表示領域ＡDの備える画素数の画像信号Ｄに変換するリサイズ処理を行うリサイズ処理部２１７と、を備える。
【００７９】
図１０は、イメージセンサ１２が備える受光素子が出力する画素データ信号Ｓigと、撮像信号ＤSとの関係を説明するための説明図である。上述のとおり、撮像表示装置１が撮像モードで動作する場合、イメージセンサ１２は、図１０に示す画素データ信号Ｓigの全部を静止画用撮像データとして出力する。一方、撮像表示装置１がライブビューモードで動作する場合、イメージセンサ１２は、画素データ信号Ｓigを間引きして、図１０に示す撮像信号ＤSを出力する。
図１０に示す画素データ信号Ｓigのうち、「Ｒ」が付された四角形の各々は、赤色の画素に対応する（赤色光を検出するための）受光素子から出力される画素データ信号Ｓigを示し、「Ｇ」が付された四角形の各々は、緑色の画素の受光素子から出力される画素データ信号Ｓigを示し、「Ｂ」が付された四角形の各々は、青色の画素の受光素子から出力される画素データ信号Ｓigを示す。
また、図１０に示す画像信号Ｄのうち、「Ｒ」が付された四角形の各々は、赤色の画素に対応する（赤色の画素で表示すべき階調を指定する）画像信号Ｄを生成するための撮像信号ＤSを示し、「Ｇ」が付された四角形の各々は、緑色の画素に対応する画像信号Ｄを生成するための撮像信号ＤSを示し、「Ｂ」が付された四角形の各々は、青色の画素に対応する画像信号Ｄを生成するための撮像信号ＤSを示す。
なお、本実施形態では、イメージセンサ１２の有効イメージセンサ領域ＡSにおいて、赤色、緑色、及び、青色の画素がベイヤー配列されている場合を想定する。
【００８０】
上述のとおり、イメージセンサ１２は、ＰS行×ＱS列の受光素子が出力する画素データ信号Ｓigに対して間引き読出しを施すことで、Ｐ行×Ｑ列の画素に対応する撮像信号ＤSを出力する。
【００８１】
間引き読出しにおいて、イメージセンサ１２は、Ｙ軸方向について、ＰS行の受光素子が出力する画素データ信号Ｓigを、Ｐ行の画素に対応する信号に間引きする。
具体的には、イメージセンサ１２は、ＰS行の中から読み出し対象ラインを選択し、読み出し対象ラインに位置する受光素子が出力する画素データ信号Ｓigを読み出す一方で、読み出し対象ライン以外のラインに位置する受光素子が出力する画素データ信号Ｓigを読み飛ばすことで、Ｙ軸方向の間引きを行う。
【００８２】
本実施形態では、イメージセンサ１２の有効イメージセンサ領域ＡSに設けられる画素の配列がベイヤー配列であるため、奇数ラインに１ラインの割合で読み出し対象ラインを定める。
画素がベイヤー配列されている場合、赤色画素及び緑色画素からなるラインと、緑色画素及び青色画素からなるラインとが、Ｙ軸方向において交互に並んでいる。このため、奇数ラインに１ラインの割合で読み出し対象ラインを定めることで、読み出し後の画素を、赤色画素及び緑色画素からなるラインと、緑色画素及び青色画素からなるラインとが、Ｙ軸方向において交互に並ぶように配列することができ、同色の画素が隣り合うことを防止することができる。
図１０に示す例では、Ｙ軸方向において、３ラインに１ラインの割合で読み出し対象ラインを定めている。具体的には、ライン１〜９のうち、ライン１、ライン４、及び、ライン７を読み出し対象ラインとしている。この場合、図１０に示すように、画素データ信号ＳigをＹ軸方向に３分の１に間引いた撮像信号ＤSを得ることができる。
【００８３】
また、イメージセンサ１２は、水平方向の縮小読出し処理として、Ｘ軸方向の画素の相加平均読出し動作を行い、ＱS列の受光素子が出力する画素データ信号Ｓigを、Ｑ列の画素に対応する信号（撮像信号ＤS）とする。
具体的には、イメージセンサ１２は、各読み出し対象ラインに位置するＱS個の受光素子を、所定数個の受光素子が１つの組となるようにグループ分けし、各組を構成する所定数個の受光素子が出力する画素データ信号Ｓigの示す値を読出し後相加平均処理することで、ＱS個の受光素子が出力する画素データ信号Ｓigを、「所定数分の１」に縮小する。
【００８４】
イメージセンサ１２の画素がベイヤー配列の場合、各ラインには２色の画素が交互に配列されているため、Ｘ軸方向に１個おきに所定数個の受光素子を１組とするグループ分けを行う。そして、各組を構成する所定数個の受光素子が出力する画素データ信号Ｓigの示す値を相加平均する。
図１０に示す例では、Ｘ軸方向において、１個おきに３個の受光素子を１組としてグループ分けし、各組を構成する同色の３個の受光素子が出力する画素データ信号Ｓigの示す値を相加平均読出ししている。具体的には、例えば、ライン１及びライン７において、第１列、第３列、第５列の赤色画素を１組として、当該３個の画素に対応する３個の受光素子が出力する画素データ信号Ｓigの値を加算器Ａve1によって相加平均し、得られた平均値を第１列の赤色画素に対応する撮像信号ＤSの値として設定する。同様に、ライン１及びライン７において、第２列、第４列、第６列の緑色画素に対応する受光素子が出力する画素データ信号Ｓigの値を加算器Ａve2によって相加平均し、得られた平均値を第２列の緑色画素に対応する撮像信号ＤSの値として設定する。この場合、図１０に示すように、画素データ信号ＳigをＸ軸方向に３分の１にリサイズ（縮小）した撮像信号ＤSを得ることができる。
【００８５】
図１１は、リサイズ処理部２１７が撮像信号ＤSから表示領域ＡDに表示する表示画素を生成するリサイズ処理を説明するための説明図である。ここでは、通常の縦横縮小リサイズ変換処理に加えて、撮像レンズによって発生する歪曲収差の補正画像処理を含めたリサイズ画像処理としての実施例を説明する。
上述のとおり、撮像信号ＤSの示す画像の画素数と、画像信号Ｄの示す画像の画素数（表示領域ＡDの画素数）とは異なる。このため、リサイズ処理部２１７では、撮像信号ＤSを、表示領域ＡDの画素数に対応した画像信号Ｄに変換するリサイズ処理を実行する。尚，リサイズ処理部２１７は，単純な縦方向，横方向の縮小・拡大処理もリサイズ画像処理として実施する。縦横縮小・拡大処理は，一般的な縮小・拡大処理であるため，下記の実施例では詳細な記述は省略する。
【００８６】
なお、撮像信号ＤSの示す画像は、撮像光学系１１が備えるレンズの光学特性に起因する歪曲収差を有する場合がある。具体的には、被写体を撮像した際の撮像結果を示す画像が、表示領域ＡDにおいて本来表示すべき画像に比べて外側に向かって膨張する樽型収差や、または、本来表示すべき画像に比べて内側に向かって収縮する糸巻形収差を有することがある。このため、リサイズ処理部２１７では、リサイズ処理において、樽型収差や糸巻型収差等の歪曲収差を補正する歪曲補正処理を実行する。
【００８７】
以下、図１１を参照しつつ、リサイズ処理の中で実行される歪曲補正処理について説明する。なお、図１１では、撮像信号ＤSの示す画像のライン数が１６ライン（Ｐ＝１６）であり、画像信号Ｄ示す画像のライン数が１２ライン（Ｍ＝１２）である場合を想定している。
【００８８】
図１１において、樽型収差が生じている場合に撮像信号ＤSの示す画像を符号Ｐｃ１で表し、画像Ｐｃ１を示す撮像信号ＤSに基づいて被写体を撮像した際に表示領域ＡDに表示されるべき画像信号Ｄの示す画像を符号Ｐｃ２で表し、糸巻型収差が生じている場合に撮像信号ＤSの示す画像を符号Ｐｃ３で表し、画像Ｐｃ３を示す撮像信号ＤSに基づいて被写体を撮像した際に表示領域ＡDに表示されるべき画像信号Ｄの示す画像を符号Ｐｃ４で表す。
画像Ｐｃ１は、表示領域ＡDに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤSが、樽型収差によって四角形ＳQが膨張した閉曲線ＣV1を示す。また、画像Ｐｃ３は、表示領域ＡDに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤSが、糸巻型収差によって四角形ＳQが収縮した閉曲線ＣV2を示す。
【００８９】
リサイズ処理部２１７は、樽型収差が生じた場合、歪曲補正処理において、閉曲線ＣV1を示す画像Ｐｃ１を、四角形ＳQを示す画像Ｐｃ２へと補正する。同様に、リサイズ処理部２１７は、樽型収差が生じた場合、歪曲補正処理において、閉曲線ＣV2を示す画像Ｐｃ３を、四角形ＳQを示す画像Ｐｃ４へと補正する。
これらの場合、リサイズ処理部２１７は、補正前の画像における画素と補正後の画像における画素とを対応付け、補正後の画素に対応する補正前の画素を中心画素とし、中心画素とその周辺の画素である周辺画素とを含む参照領域内の画素の各々で表示する階調に基づいて、補正後の画素の表示すべき階調を決定する。
【００９０】
例えば、リサイズ処理部２１７は、画像Ｐｃ２または画像Ｐｃ４を構成する、補正後の画素ＰxS1の階調を決定する場合、画像Ｐｃ１または画像Ｐｃ３を構成する、補正前の画素ＰxC1を中心画素と定める。そして、リサイズ処理部２１７は、中心画素である画素ＰxC1を含む参照領域Ａrea1内の各画素で表示すべき階調に基づいて、画素ＰxS1で表示すべき階調を定める。
同様に、リサイズ処理部２１７は、画像Ｐｃ２または画像Ｐｃ４を構成する、補正後の画素ＰxS2の階調を決定する場合、画像Ｐｃ１または画像Ｐｃ３を構成する、補正前の画素ＰxC2を中心画素と定める。そして、リサイズ処理部２１７は、中心画素である画素ＰxC2を含む参照領域Ａrea2内の各画素で表示すべき階調に基づいて、画素ＰxS2で表示すべき階調を定める。
【００９１】
なお、画像Ｐｃ２及び画像Ｐｃ４において濃いハッチングを付した画素は、画像信号Ｄにおける第１行、第７行、及び、第１２行に位置する補正後の画素を示し、画像Ｐｃ１及び画像Ｐｃ３において濃いハッチングを付した画素は、補正後の画素のそれぞれに対応する補正前の画素（中心画素）を示し、画像Ｐｃ１及び画像Ｐｃ３において淡いハッチングを付した画素は、中心画素のそれぞれに対応する周辺画素を示す。
【００９２】
図１１に示す例からも明らかなように、樽型収差が生じている場合の画像の膨張の程度は、画面のラインの位置によって変動し、垂直方向（Ｙ軸方向）の位置が端部に近づくにつれて、画像の膨張の程度は大きくなる。また、糸巻型収差が生じる場合における画像の収縮の程度は、画面のラインの位置によって変動し、垂直方向（Ｙ軸方向）の位置が端部に近づくにつれて、画像の収縮の程度は大きくなる。
よって、リサイズ処理部２１７が画像信号Ｄ[m]を生成する場合に必要となる撮像信号ＤSのライン数は、画像信号Ｄ[m]に対応するラインの位置（ｍの値）により変動する。このため、リサイズ処理部２１７がリサイズ処理に要する時間長は、ラインの位置により変動することになる。
【００９３】
ここで、第ｐ行のラインに対応する撮像信号ＤSを、撮像信号ＤS[p]と表す（ｐは、１≦ｐ≦Ｐを満たす自然数）。
このとき、例えば、図１１に示す例では、リサイズ処理部２１７が、第１行のラインに対応する画像信号Ｄ[1]を生成するためには、第１行〜第５行のラインに対応する撮像信号ＤS[1]〜ＤS[5]が必要となる。これに対して、リサイズ処理部２１７が、第７行のラインに対応する画像信号Ｄ[7]を生成するためには、第８行〜第１０行のラインに対応する撮像信号ＤS[8]〜ＤS[10]が必要となる。つまり、リサイズ処理部２１７が、画像信号Ｄ[1]を生成するために要する時間長は、画像信号Ｄ[7]を生成するために要する時間長よりも長くなる。
【００９４】
以下では、画像信号Ｄ[m]を生成するために必要となる、１または複数ラインの撮像信号ＤS[p]を、撮像信号ＤGS[m]と総称する。
例えば、図１１に示す例では、画像信号Ｄ[1]を生成するために必要となる撮像信号ＤGS[1]は、撮像信号ＤS[1]〜ＤS[5]の５ライン分の撮像信号ＤS[p]であり、画像信号Ｄ[7]を生成するために必要となる撮像信号ＤGS[7]は、撮像信号ＤS[8]〜ＤS[10]の３ライン分の撮像信号ＤS[p]であり、画像信号Ｄ[12]を生成するために必要となる撮像信号ＤGS[12]は、撮像信号ＤS[12]〜ＤS[16]の５ライン分の撮像信号ＤS[p]である。
【００９５】
上述の通り、リサイズ処理部２１７は撮像信号ＤSの示すＰ行×Ｑ列の画像データを元に、表示領域ＡDに表示するＭ行×Ｎ列の表示画像を生成する。なお、リサイズ処理部２１７は、リサイズ処理が完了し、画像信号Ｄをライン毎に生成すると、生成した１ライン分の画像信号Ｄ[m]（画像信号ＤGA[m]）をラインバッファ２２に格納すると共に、画像信号Ｄ[m]のラインバッファ２２への格納が完了したことを示す書込完了信号ＰtAを出力する。
【００９６】
＜３．画像信号の出力＞
次に、撮像部１０からの撮像信号ＤS[p]の出力タイミングと、画像信号生成部２０からの画像信号Ｄ[m]の出力タイミングとの関係について説明する。
図１２は、連続する複数の撮像垂直走査期間Ｆs（Ｆs0〜Ｆs3）のうち、撮像垂直走査期間Ｆs1〜Ｆs3のそれぞれにおいて、撮像部１０が撮像信号ＤS（ＤS[1]〜ＤS[P]）を出力するタイミングと、当該撮像信号ＤSに基づいて、画像処理部２１が画像信号Ｄ（Ｄ[1]〜Ｄ[M]）つまり画像信号ＤGA（ＤGA[1]〜ＤGA[M]）を生成し、生成した画像信号ＤGAをラインバッファ２２に格納タイミングと、連続する複数の表示垂直走査期間Ｆd（Ｆd0〜Ｆd3）のうち、表示垂直走査期間Ｆd1〜Ｆd3のそれぞれにおいて、画像信号出力部２３が、ラインバッファ２２から画像信号Ｄつまり画像信号ＤGB（ＤGB[1]〜ＤGB[M]）を取得してこれを表示部４０に対して出力するタイミングと、の関係を、概略的に示すタイミングチャートである。
なお、撮像垂直走査期間Ｆsのうち、撮像信号ＤSが出力される期間を、「撮像信号ＤSのフレーム」と称する。また、表示垂直走査期間Ｆdのうち、画像信号Ｄが出力されうる期間である垂直有効データ期間ＤＶＩを「画像信号Ｄのフレーム」と称する。そして、図１２に示すように、撮像信号ＤSのフレームの開始から、画像信号Ｄの開始までの時間を、位相差ＰDと称する。
【００９７】
図１２では、説明の都合上、撮像垂直走査期間Ｆs0〜Ｆs3において出力される撮像信号ＤS[p]を、それぞれ、撮像信号ＤS0[p]〜ＤS3[p]と区別して表現することがある。
また、図１１において説明したとおり、画像処理部２１における画像信号Ｄ[1]〜Ｄ[M]の生成という視点から見れば、撮像部１０から出力される撮像信号ＤS[1]〜ＤS[P]は、撮像信号ＤGS[1]〜ＤGS[M]である。以下では、説明の都合上、撮像垂直走査期間Ｆs0〜Ｆs3において出力される撮像信号ＤGS[m]を、それぞれ、撮像信号ＤGS0[m]〜ＤGS3[m]として区別して表現することがある。
同様に、撮像信号ＤGS0[m]〜ＤGS3[m]に基づいて生成される画像信号Ｄ[m]（ＤGA[m]、ＤGA[m]）を、それぞれ、画像信号Ｄ0[m]〜Ｄ3[m]（ＤGA0[m]〜ＤGA3[m]、ＤGB0[m]〜ＤGB3[m]）として区別して表現することがある。
【００９８】
上述のとおり、撮像部１０は、撮像水平同期信号ＳＨsync毎に撮像信号ＤS[1]〜ＤS[P]をライン単位に順次出力する。また、画像処理部２１は、撮像信号ＤGS[m]に対応する撮像信号ＤS[p]の供給が開始されると、画像信号ＤGA[m]を生成するための画像処理を開始する。つまり、画像処理部２１が、画像信号ＤGA[m]を生成するための画像処理を開始する垂直同期期間におけるタイミングは、生成するＤGA[m]の処理ライン位置によって異なる。
図１２では、撮像部１０が撮像信号ＤGS[1]〜ＤGS[M]を画像処理部２１に供給する１ライン単位の入力タイミングを線Ｌ1で表す。つまり、画像処理部２１が、画像信号ＤGA[1]〜ＤGA[M]のそれぞれを生成するための画像処理をライン毎に順番に開始する時刻方向での様子（タイミング）を、線Ｌ1で表す。
また、画像処理部２１による画像信号ＤGA[1]〜ＤGA[M]の生成が完了し、これらがライン毎に順番にラインバッファ２２に格納される時刻方向での様子（タイミング）を、線Ｌ2で表す。画像信号出力部２３は、画像信号ＤGA[m]の生成が完了した後に画像信号ＤGB[m]を出力する。よって、画像信号ＤGB[m]が、線Ｌ2の示す時刻よりも前の時刻に出力されることはない。なお、線Ｌ2は、図６で説明した画像信号生成時刻ＴC[1]〜ＴC[M]を結んだ線である。
【００９９】
また、画像信号出力部２３が、表示部４０にとって理想的なタイミングで画像信号ＤGB[1]〜ＤGB[M]を供給する場合、すなわち、表示部４０が表示可能な最高のフレームレート（表示垂直走査期間Ｆdの時間長が標準垂直走査時間Ｔdである場合のフレームレート）で表示するように画像信号ＤGB[1]〜ＤGB[M]を供給する場合の、画像信号出力部２３が画像信号ＤGB[1]〜ＤGB[M]をライン毎に順番に読み出されて出力するタイミングを、線Ｌ3で表す。つまり、線Ｌ3は、表示部４０が１ライン分の画像を表示可能な水平走査期間Ｈd毎に、画像信号出力部２３が１ライン分の画像信号ＤGB[m]を出力すると仮定した場合に、表示部４０が画像信号ＤGB[1]〜ＤGB[M]の示す画像を水平走査期間Ｈd毎にライン順に読み出されて表示するタイミングを示す線であり、水平走査期間Ｈd毎に１ライン増加するような傾きを有する。すなわち、線Ｌ3は、垂直有効データ期間ＤＶＩに含まれる水平走査期間Ｈdの全てが有効水平走査期間Ｈd-Ａである場合を想定したものであり、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄが含まれる場合も想定したうえで、第ｍ-1行の画像信号Ｄ[m-1]の出力の完了（第２条件の充足）を前提とした画像信号Ｄ[m]の出力時刻を示す表示準備判定時刻ＴB[m]とは、必ずしも一致しない。
画像信号出力部２３は、表示部４０が表示可能であるときに画像信号ＤGB[m]を出力する。よって、画像信号ＤGB[m]は、線Ｌ3の示す時刻よりも前の時刻に画像信号が読み出されて出力されることはない。
【０１００】
また、図１２では、ライン毎の画像信号ＤGA[m]を生成するための画像処理に要する時間を、画像処理時間ＵAとしている。以下では、説明の都合上、画像信号ＤGA0[m]〜ＤGA3[m]のそれぞれに対応する画像処理時間ＵAを、画像処理時間ＵA0〜ＵA3として区別して表現することがある。
また、図１２では、画像信号ＤGA[m]がラインバッファ２２に格納されてから、画像信号出力部２３により表示部４０に対して出力されるまでの時間を待機時間ＵBとしている。以下では、説明の都合上、画像信号ＤGB1[m]〜ＤGB3[m]のそれぞれに対応する待機時間ＵBを、待機時間ＵB1〜ＵB3として区別して表現することがある。
【０１０１】
上述のとおり、撮像信号ＤS[1]〜ＤS[P]と、撮像信号ＤGS[1]〜ＤGS[M]とは１対１に対応するものではなく、各ラインに対応する画像信号Ｄ[m]を生成する画像処理の開始間隔は変動することがある。このため、線Ｌ1は通常は直線とはならずに折れ線となるが、図１２では、図示の都合上直線として描いている。
また、上述のとおり、撮像信号ＤGS[1]〜ＤGS[M]のそれぞれに含まれる撮像信号ＤS[p]のライン数は、ラインの位置によって異なる場合がある。つまり、画像処理部２１は、図１１で説明したように、３ライン分の撮像信号ＤS[p]からなる撮像信号ＤGS[m]に基づいて画像信号ＤGA[m]を生成する場合もあれば、５ライン分の撮像信号ＤS[p]からなる撮像信号ＤGS[m]に基づいて画像信号ＤGA[m]を生成する場合もあり、後者の場合は前者の場合と比較して画像処理時間ＵAは長くなる。すなわち、画像処理部２１が、画像信号ＤGA[1]〜ＤGA[M]を生成するための画像処理時間ＵAは、通常、ラインの位置に応じて変動する。このため、線Ｌ2は通常は直線とはならずに折れ線となるが、図１２では、図示の都合上直線として描いている。
【０１０２】
図１２に示すように、撮像垂直走査期間Ｆs1において撮像部１０から出力される撮像信号ＤS1[p]（ＤGS1[m]）に基づいて画像処理部２１が画像信号Ｄ1[m]（ＤGA1[m]）を生成する時刻を示す線Ｌ2は、表示垂直走査期間Ｆd1において表示部４０が画像信号Ｄ1[m]（ＤGA1[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4（前述の線Ｌ3の定義とは異なる仮想的なタイミングを線Ｌ4として説明する）よりも時間的に先行している。このような、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行している状態を「第１の状態」と称する。
すなわち、第１の状態とは、画像処理部２１が撮像信号ＤS[p]に基づいて画像信号Ｄ[m]を生成したときに、表示部４０において当該画像信号Ｄ[m]の示す画像を表示する準備ができていない、という状態である。ここで、表示部４０において画像信号Ｄ[m]を表示する準備ができていない場合とは、例えば、画像信号Ｄ1[m]が生成されたときに、表示部４０が画像信号Ｄ1の前に表示すべき画像信号Ｄ0の示す画像を表示中であり、表示部４０が画像信号Ｄ1[m]の示す画像を表示できない場合等である。
つまり、第１の状態においては、画像処理部２１が画像信号Ｄ[m]を生成しても、画像信号Ｄ[m]を表示するための表示部４０側の準備が間に合っていないため、表示部４０における画像の表示が、表示部４０側の表示準備がボトルネックとなって、遅延する状態である。換言すれば、第１の状態は、表示部４０が画像信号Ｄ[m]を表示可能となったタイミングにおいて、遅延することなく速やかに画像信号Ｄ[m]を表示することができる、という状態である。
【０１０３】
ところで、表示部４０で１つの画面を表示するために必要な時間（周期）は、撮像部１０で１つの画面を撮像するために必要な時間（周期）よりも短いため、表示部４０側における表示準備がボトルネックとなる表示の遅延は、徐々に縮小されて解消されるに至る。
図１２では、図示の都合上、第１の状態として、１つの撮像垂直走査期間Ｆs（Ｆs1）及び１つの表示垂直走査期間Ｆd（Ｆd1）の１組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する場合がある。この場合、第１の状態における、位相差ＰD1（第１の状態における位相差ＰDとして、図１２に示すように符号ＰD1を付する）は、表示垂直走査期間Ｆdと撮像垂直走査期間Ｆsの差分に相当する時間ずつ短くなる。換言すれば、垂直走査期間の組毎に線Ｌ3と線Ｌ2との距離は、概ね、表示垂直走査期間Ｆdと撮像垂直走査期間Ｆsの差分に相当する時間ずつ短くなる。
表示部４０側における表示準備がボトルネックとなる表示の遅延が解消される前は、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行する。一方、表示準備がボトルネックとなる表示の遅延が解消される様な状態になった場合は、実際にはその様な事にはならないものの、表示部４０側で画像を表示可能となる最早の時刻を示す線Ｌ4が、仮想的な状態として線Ｌ2よりも時間的に先行するタイミングになりえることが想定される。すなわち、表示準備がボトルネックとなる表示の遅延が解消されるタイミングにおいて、仮想的な状態では、最速な状態において線Ｌ2と線Ｌ4がクロスするタイミングになりえることが判る。
なお、上述のとおり、線Ｌ2は直線とはならず、折れ線となる場合が存在する。この場合、線Ｌ2及び仮想的な線Ｌ4のクロスは、複数回生じることがありえることが解る。
【０１０４】
図１２に示す例では、撮像垂直走査期間Ｆs2において撮像部１０が出力する撮像信号ＤS2[p]（ＤGS2[m]）に基づいて、画像処理部２１が画像信号Ｄ2[m]（ＤGA2[m]）を生成する時刻を示す線Ｌ2は、表示垂直走査期間Ｆd2において表示部４０が画像信号Ｄ2[m]（ＤGA2[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4とクロスしている。このような、線Ｌ2と線Ｌ4がクロスする状態を、「第２の状態」と称する。なお、線Ｌ2及び線Ｌ4のクロスが複数回生じる場合には、このようなクロスが最初に生じる状態を、「第２の状態」と称する。また、線Ｌ2と線Ｌ4がクロスする時刻を、時刻Ｔthと称する。なお、線Ｌ2及び線Ｌ4のクロスが複数回生じる場合には、最初にクロスが生じる時刻を時刻Ｔthとする。
すなわち、第２の状態とは、画像処理部２１が撮像信号ＤS[p]に基づいて画像信号Ｄ[m]を生成したときに表示部４０において当該画像信号Ｄ[m]の示す画像を表示する準備ができていないという状態（常に線Ｌ2が線Ｌ3よりも時間的に先行する状態）から、表示部４０において画像信号Ｄ[m]の示す画像を表示可能となったときに画像処理部２１が画像信号Ｄ[m]を生成するための画像処理を完了していない場合が存在するという状態（線Ｌ4が線Ｌ2よりも時間的に先行する場合が存在するという状態）へと遷移することをいう。
つまり、第２の状態は、時刻Ｔth以前においては、表示部４０が画像信号Ｄ[m]の示す画像を表示することが可能となるタイミングにおいて、遅延することなく画像信号Ｄ[m]の示す画像を表示されるという状態であり、一方、時刻Ｔth以後においては、表示部４０側において画像信号Ｄ[m]を表示することが可能となる時刻に至っても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合っていないため、表示部４０における画像の表示が、画像処理部２１の画像処理がボトルネックとなって遅延する場合が存在する、という状態である。
この、第２の状態における、位相差ＰD2（第２の状態における位相差ＰDとして、図１２に示すように符号ＰD2を付する）は、図１２に示すように位相差ＰD1よりも短くなる。
【０１０５】
なお、時刻Ｔth以降においては、タイミングジェネレータ３２が、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを１回挿入して、画像信号出力部２３からの画像信号Ｄ[m]の出力タイミング（表示部４０における画像信号Ｄ[m]の示す画像の表示タイミング）を調整する。但し、１回の無効水平走査期間Ｈd-Ｄの挿入を行っても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合わなかった場合は、更に次の無効水平走査期間Ｈd-Ｄの挿入を繰り返す。そして、画像信号Ｄ[m]を生成するための画像処理の完了を待って、画像信号Ｄ[m]が生成された場合は、水平走査期間Ｈd以下の時間以内に、当該画像信号Ｄ[m]の示す画像を表示する。すなわち、時刻Ｔth以降は、無効水平走査期間Ｈd-Ｄの挿入により、画像信号出力部２３からの画像信号Ｄ[m]（ＤGB[m]）の出力タイミングを調整することで、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させる。
【０１０６】
図１２に示すように、表示垂直走査期間Ｆd3において表示部４０が画像信号Ｄ3[m]（ＤGA3[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4は、撮像垂直走査期間Ｆs3において出力される撮像信号ＤS3[p]（ＤGS3[m]）に基づいて画像処理部２１が画像信号Ｄ3[m]（ＤGA3[m]）を生成する時刻を示す線Ｌ2よりも時間的に先行している。このような、線Ｌ4が線Ｌ2よりも時間的に先行している状態を、「第３の状態」と称する。換言すれば、時刻Ｔth以降に開始される撮像垂直走査期間Ｆs及び表示垂直走査期間Ｆdにおける状態が、第３の状態である。
すなわち、第３の状態とは、表示部４０において画像信号Ｄ[m]の示す画像を表示する準備が完了したときに、画像処理部２１が画像信号Ｄ[m]を生成するための画像処理を完了していないという、状態である。
つまり、第３の状態においては、画像信号Ｄ[m]を表示するための表示部４０側の準備が完了しても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合っていないため、表示部４０における画像の表示が、画像処理部２１の画像処理がボトルネックとなって、遅延する状態である。
この、第３の状態における、位相差ＰD3（第３の状態における位相差ＰDとして、図１２に示すように符号ＰD3を付する）は、図１２に示すように、位相差ＰD2以下の長さとなる。なお、第１の状態における位相差ＰD1は、画像処理時間ＵA（より具体的には、画像処理時間ＵA[1]〜ＵA[M]の最大値）よりも大きく、第３の状態における位相差ＰD3は、画像処理時間ＵA[1]〜ＵA[M]の最大値以下となる。
【０１０７】
なお、第３の状態においても、タイミングジェネレータ３２が、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入して、表示部４０における画像信号Ｄ[m]の示す画像の表示タイミングを調整する。これにより、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させることが可能となる。
上述のとおり、画像処理時間ＵAはライン毎に変動する。しかし、その変動幅は、撮像垂直走査期間Ｆsに比べれば十分に小さい。このため、画像信号Ｄ[m]の出力のタイミング（表示部４０側の表示タイミング）を、画像処理部２１における画像処理の完了タイミングに追従させている状態においては、撮像部１０が撮像信号ＤS3を出力している期間の時間長と、画像信号出力部２３が画像信号ＤGB3を出力している期間の時間長とは、略同じとなる。換言すれば、第３の状態においては、タイミング制御部３０は、表示部４０のフレームレートを撮像部１０のフレームレートとなるように、画像信号Ｄ[m]が出力されるタイミングを調整していることになる。
なお、図１２では、図示の都合上、第３の状態として、１つの撮像垂直走査期間Ｆs（Ｆs3）及び１つの表示垂直走査期間Ｆd（Ｆd3）の１組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する。第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、撮像部１０が撮像信号ＤS3を出力している期間の時間長と、画像信号出力部２３が画像信号ＤGB3を出力している期間の時間長とが、略同じとなるように、画像信号Ｄ[m]が出力されるタイミングが調整される。すなわち、第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、表示部４０のフレームレートが撮像部１０のフレームレートとなるように、画像信号Ｄ[m]が出力されるタイミングが調整される。このため、第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、位相差ＰD3が略同じ時間長となる。
【０１０８】
以下、図１２及び図１３を参照しつつ、撮像垂直走査期間Ｆs1において撮像部１０が出力する撮像信号ＤS1（ＤGS1）と、表示垂直走査期間Ｆd1において画像信号生成部２０が表示部４０に出力する画像信号Ｄ1（ＤGB1）との関係を例にとって、第１の状態について説明する。
【０１０９】
図１３は、撮像信号ＤS1[p]（撮像信号ＤGS1[m]）と、画像信号Ｄ1[m]（画像信号ＤGA1[m]及び画像信号ＤGB1[m]）との関係を説明するためのタイミングチャートである。
なお、図１３と、後述する図１４及び図１５では、簡単のために、撮像信号ＤSの示す画像のライン数が５ライン（Ｐ＝５）であり、画像信号Ｄ示す画像のライン数が４ライン（Ｍ＝４）である場合を想定する。また、図１３乃至図１５に示す例では、撮像信号ＤGS[1]が、撮像信号ＤS[1]及びＤS[2]を含み、撮像信号ＤGS[2]が、撮像信号ＤS[2]及びＤS[3]を含み、撮像信号ＤGS[3]が、撮像信号ＤS[3]及びＤS[4]を含み、撮像信号ＤGS[4]が、撮像信号ＤS[4]及びＤS[5]を含む場合を想定する。すなわち、図１３乃至図１５に示す例では、画像信号Ｄ[1]が、撮像信号ＤS[1]及びＤS[2]に基づいて生成され、画像信号Ｄ[2]が、撮像信号ＤS[2]及びＤS[3]に基づいて生成され、画像信号Ｄ[3]が、撮像信号ＤS[3]及びＤS[4]に基づいて生成され、画像信号Ｄ[4]が、撮像信号ＤS[4]及びＤS[5]に基づいて生成される場合を想定する。
【０１１０】
図１３に示すように、撮像部１０から、撮像信号ＤS1[m]及びＤS1[m+1]が出力される（便宜的に撮像信号ＤGS1[m]の出力が開始される）と、画像処理部２１は、当該撮像信号ＤGS1[m]に基づいて画像信号ＤGA1[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA1[m]の経過後に画像信号ＤGA1[m]の生成を完了し、これをラインバッファ２２に格納する。
一方、図１３に示す例は、上述した第１の状態を例示するものであり、線Ｌ2が線Ｌ3よりも時間的に先行する。つまり、図１３に示す例では、画像処理部２１による画像信号ＤGA1[m]の生成が完了したタイミングでは、表示部４０において画像信号ＤGB1[m]の示す画像を表示する準備ができていない。換言すれば、画像処理部２１による画像信号ＤGA1[m]の生成が完了したタイミングでは、出力制御部３１から出力許可パルスＰL[m]が出力されていない。
このため、画像信号出力部２３は、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈd1[m]まで、待機時間ＵB1[m]だけ画像信号ＤGB1[m]の出力を待ち、その後、水平走査期間Ｈd1[m]において画像信号ＤGB1[m]を出力する。
【０１１１】
また、図１３に例示する第１の状態は、画像処理部２１による画像処理の完了までに表示部４０による表示準備が間に合わない場合である。換言すれば、水平走査期間Ｈd1[m]が開始されるまでに、画像処理部２１による画像信号ＤGA1[m]の生成が完了し、画像信号出力部２３から画像信号ＤGB1[m]を出力可能な状態となっている。このため、図１３に例示する第１の状態では、表示垂直走査期間Ｆd1の垂直有効データ期間ＤＶＩに含まれる全ての水平走査期間Ｈdが、有効水平走査期間Ｈd-Ａとなる。すなわち、第１の状態において、表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔdとなる。
【０１１２】
このように、図１３に例示する第１の状態では、画像信号Ｄ1を生成するための画像処理は十分に余裕を持って完了しているものの、表示部４０側の表示準備がボトルネックとなって、表示部４０における表示が遅延する。
このため、撮像部１０が撮像信号ＤS1を出力してから、表示部４０が画像信号Ｄ1の示す画像を表示するまでの遅延時間ΔＴ1は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と、画像処理の完了後に表示部４０における表示準備を待つための時間（待機時間ＵB）との合計時間となる。
【０１１３】
次に、図１２及び図１４を参照しつつ、撮像垂直走査期間Ｆs2において撮像部１０が出力する撮像信号ＤS2（ＤGS2）と、表示垂直走査期間Ｆd2において画像信号生成部２０が表示部４０に出力する画像信号Ｄ2（ＤGB2）との関係を例にとって、第２の状態について説明する。
図１４は、撮像信号ＤS2[p]（撮像信号ＤGS2[m]）と、画像信号Ｄ2[m]（画像信号ＤGA2[m]及び画像信号ＤGB2[m]）との関係を説明するためのタイミングチャートである。
【０１１４】
図１４に示すように、撮像部１０から、撮像信号ＤS2[m]及びＤS2[m+1]からなる撮像信号が出力される（便宜的にＤGS2[m]の出力が開始されると）、画像処理部２１は、当該撮像信号ＤGS2[m]に基づいて画像信号ＤGA2[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA2[m]の経過後に画像信号ＤGA2[m]の生成を完了し、これをラインバッファ２２に格納する。
【０１１５】
なお、図１４に示す例では、画像信号Ｄ2[1]、Ｄ2[2]、及び、Ｄ2[3]が、時刻Ｔth以前に画像信号出力部２３が出力する画像信号Ｄ[m]であり、画像信号Ｄ2[4]が、時刻Ｔth以後に画像信号出力部２３が出力する画像信号Ｄ[m]である場合を想定している。
【０１１６】
時刻Ｔth以前においては、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行する。つまり、時刻Ｔth以前においては、画像処理部２１による画像信号ＤGA2[m]の生成が完了したタイミングでは、出力制御部３１から出力許可パルスＰL[m]が出力されていない。
このため、画像信号出力部２３は、時刻Ｔth以前においては、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈd2[m]まで、待機時間ＵB2[m]だけ画像信号ＤGB2[m]の出力を待ち、その後、水平走査期間Ｈd2[m]において画像信号ＤGB2[m]を出力する。
図１４に示す例では、画像信号出力部２３は、画像信号ＤGA2[1]が生成された後、待機時間ＵB2[1]だけ画像信号ＤGB2[1]の出力を待ち、その後、水平走査期間Ｈd2[1]において、画像信号ＤGB2[1]を出力する。同様に、画像信号出力部２３は、画像信号ＤGA2[2]が生成された後、待機時間ＵB2[2]だけ画像信号ＤGB2[2]の出力を待ち、その後、水平走査期間Ｈd2[2]において、画像信号ＤGB2[2]を出力する。
【０１１７】
一方、時刻Ｔth以後においては、通常、線Ｌ4が線Ｌ2よりも時間的に先行する。線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号ＤGA2[m]を生成すると、表示部４０は、すぐに（直後の水平走査期間Ｈdにおいて）、当該画像信号ＤGB2[m]の示す画像を表示することができる。よって、線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１による画像信号ＤGA2[m]の生成が完了したタイミングに、出力制御部３１から出力許可パルスＰL[m]が出力される。
図１４に示す例では、画像信号出力部２３は、画像信号ＤGA2[3]が生成され、出力許可パルスＰL[3]が出力された後の最初の水平走査期間Ｈd2[3]において、画像信号ＤGB2[3]を出力する。
また、この図に示す例では、画像信号ＤGA2[4]が生成されるのは、水平走査期間Ｈd2[4]の開始後である。このため、画像信号出力部２３は、画像信号ＤGA2[4]が生成され、出力許可パルスＰL[4]が出力された後の最初の水平走査期間Ｈd2[5]において、画像信号ＤGB2[4]を出力する。そして、タイミングジェネレータ３２は、水平走査期間Ｈd2[4]を無効水平走査期間Ｈd-Ｄとする。
【０１１８】
このように、図１４に例示する第２の状態では、時刻Ｔth以降において、画像処理に起因する表示の遅延が生じるため、表示垂直走査期間Ｆd2の垂直有効データ期間ＤＶＩには、無効水平走査期間Ｈd-Ｄが挿入される。つまり、第２の状態において、表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔd及び延長垂直走査時間Ｔexの合計となる。
また、撮像部１０が撮像信号ＤS2を出力してから、表示部４０が画像信号Ｄ2の示す画像を表示するまでの遅延時間ΔＴ2は、時刻Ｔth以前は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と、表示部４０における表示準備を待つための時間（待機時間ＵB）との合計時間であるが、時刻Ｔth以後において、線Ｌ4が線Ｌ2よりも時間的に先行する場合には、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）のみとなる。このため、第２の状態に係る遅延時間ΔＴ2は、第１の状態に係る遅延時間ΔＴ1よりも短くなる。
【０１１９】
次に、図１２及び図１５を参照しつつ、撮像垂直走査期間Ｆs3において撮像部１０が出力する撮像信号ＤS3（ＤGS3）と、表示垂直走査期間Ｆd3において画像信号生成部２０が表示部４０に出力する画像信号Ｄ3（ＤGB3）との関係を例にとって、第３の状態について説明する。
図１５は、撮像信号ＤS3[p]（撮像信号ＤGS3[m]）と、画像信号Ｄ3[m]（画像信号ＤGA3[m]及び画像信号ＤGB3[m]）との関係を説明するためのタイミングチャートである。
【０１２０】
図１５に示すように、撮像部１０から、撮像信号ＤS3[m]及びＤS3[m+1]からなる撮像信号が出力される（便宜的にＤGS3[m]の出力が開始される）と、画像処理部２１は、当該撮像信号ＤGS3[m]に基づいて画像信号ＤGA3[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA3[m]の経過後に画像信号ＤGA3[m]の生成を完了し、これをラインバッファ２２に格納する。
【０１２１】
第３の状態においては、通常、線Ｌ4が線Ｌ2よりも時間的に先行する。線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号ＤGA3[m]を生成すると、表示部４０は、すぐに（直後の水平走査期間Ｈdにおいて）、当該画像信号ＤGB3[m]の示す画像を表示することができる。よって、この場合、画像処理部２１による画像信号ＤGA3[m]の生成が完了したタイミングに、出力制御部３１から出力許可パルスＰL[m]が出力される。
具体的には、図１５に示す例では、画像信号出力部２３は、画像信号ＤGA3[1]が生成され、出力許可パルスＰL[1]が出力された後の最初の水平走査期間Ｈd3[3]において、画像信号ＤGB3[1]を出力し、画像信号ＤGA3[2]が生成され、出力許可パルスＰL[2]が出力された後の最初の水平走査期間Ｈd3[5]において、画像信号ＤGB3[2]を出力し、画像信号ＤGA3[3]が生成され、出力許可パルスＰL[3]が出力された後の最初の水平走査期間Ｈd3[7]において、画像信号ＤGB3[3]を出力し、画像信号ＤGA3[4]が生成され、出力許可パルスＰL[4]が出力された後の最初の水平走査期間Ｈd3[9]において、画像信号ＤGB3[4]を出力する。なお、この場合、タイミングジェネレータ３２は、表示垂直走査期間Ｆd1の垂直有効データ期間ＤＶＩが開始されているが、出力許可パルスＰL[1]が出力されていないため、水平走査期間Ｈd3[1]、Ｈd3[2]では、無効水平走査期間Ｈd-Ｄを出力し、同様に、Ｈd3[4]、Ｈd3[6]、及び、Ｈd3[8]では、無効水平走査期間Ｈd-Ｄを出力する処理を行う。
【０１２２】
このように、図１５に例示する第３の状態では、画像処理に起因する表示の遅延が生じているため、表示垂直走査期間Ｆd3の垂直有効データ期間ＤＶＩには、無効水平走査期間Ｈd-Ｄが挿入される。この結果、第３の状態では、表示部４０が、撮像垂直走査期間Ｆsに出力される撮像信号ＤSに同期した表示を行うことができるように、表示垂直走査期間Ｆdの時間長が水平走査期間Ｈdの精度で調整される。つまり、第３の状態では、概略的に見れば、表示垂直走査期間Ｆdは、撮像垂直走査期間Ｆsと略同じ時間となるように調整される。
【０１２３】
また、第３の状態では、線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号Ｄ[m]を生成した後の最初の水平走査期間Ｈdにおいて、表示部４０が画像信号Ｄ[m]の示す画像を表示する。このため、撮像部１０が撮像信号ＤS3を出力してから、表示部４０が画像信号Ｄ3の示す画像を表示するまでの遅延時間ΔＴ3は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と略同じになる。具体的には、第３の状態では、撮像部１０が撮像信号ＤS[p]の出力を開始してから表示部４０が画像信号Ｄ[m]の示す画像の表示を開始するまでの遅延時間ΔＴ3と、画像処理部２１が画像信号Ｄ[m]の生成に要する画像処理時間ＵAと、を水平走査期間Ｈdの精度で等しくする。
このため、第３の状態では、撮像部１０による撮像から表示部４０による表示までの遅延を、水平走査期間Ｈdの精度で最小化することができる。この場合、遅延時間ΔＴ3は、第１の状態に係る遅延時間ΔＴ1よりも短くなり、且つ、第２の状態に係る遅延時間ΔＴ2以下となる。
【０１２４】
また、上述のとおり、表示部４０で１つの画面を表示するために必要な時間（周期）は、撮像部１０で１つの画面を撮像するために必要な時間（周期）よりも短い。このため、撮像表示装置１が第１の状態で動作して、表示部４０側における表示準備がボトルネックとなる表示の遅延が生じている場合であっても、撮像垂直走査期間Ｆs毎に当該表示の遅延は徐々に縮小する。
つまり、撮像表示装置１は、当初、第１の状態で動作する場合であっても、最終的には第３の状態での動作に移行し、第３の状態での動作が開始された後は、第３の状態での動作を維持することができる。この結果、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させることができる。
このため、撮像表示装置１がライブビューモードでの動作を開始すると、ライブビューモードでの動作を開始した直後を除き、撮像部１０による撮像から表示部４０での画像表示までの遅延時間を最小化した状態を維持することができる。
【０１２５】
＜４．第１実施形態の効果＞
本実施形態に係る撮像表示装置１では、第１条件及び第２条件が充足された場合に画像信号出力部２３から画像信号Ｄ[m]を出力し、第１条件または第２条件が充足されない場合には、無効水平走査期間Ｈd-Ｄを挿入することで、画像信号出力部２３からの画像信号Ｄ[m]の出力タイミングを水平走査期間Ｈdの精度で調整する。すなわち、本実施形態に係る撮像表示装置１では、画像処理部２１が画像信号Ｄ[m]を生成した後の最初の水平走査期間Ｈdにおいて、表示部４０が画像信号Ｄ[m]の示す画像を表示することができる。これにより、撮像部１０による撮像から表示部４０による表示までの遅延を、水平走査期間Ｈdの精度で最小化することができる。
また、本実施形態に係る撮像表示装置１では、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入することで、表示垂直走査期間Ｆdの時間長を可変とするとともに、撮像垂直走査期間Ｆsの時間長と略同じとなる状態を維持することができる。このため、表示のちらつき等を抑えた、高品位な表示を実現できる。
＜Ｂ．第２実施形態＞
【０１２６】
上述した第１実施形態では、図６に示すように、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入することにより、画像信号Ｄ[m]の出力タイミングを、水平走査期間Ｈdの精度で調整し、水平走査期間Ｈdの時間長は固定長としていた。
これに対して、第２実施形態に係る撮像表示装置では、水平走査期間Ｈdの時間長を可変長として、画像信号Ｄ[m]の出力タイミングを、例えば表示ドットクロック信号ＤCLKの周期で調整する点において、第１実施形態に係る撮像表示装置１と相違する。
以下、図１６乃至図１８を参照しつつ、第２実施形態に係る撮像表示装置について説明する。なお、以下に例示する第２実施形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する（以下で説明する変形例についても同様）。
【０１２７】
図１６は、第２実施形態に係る撮像表示装置が備えるタイミング制御部３０（出力制御部３１及びタイミングジェネレータ３２）が生成する、出力制御信号ＣTRと、イネーブル信号ＤＥnbと、表示水平同期信号ＤＨsync2との関係を説明するための説明図である。
第２実施形態に係る撮像表示装置が備えるタイミング制御部３０は、タイミングジェネレータ３２が、表示水平同期信号ＤＨsyncの代わりに、可変な周期の水平同期パルスＰlsＨを有する表示水平同期信号ＤＨsync2を生成し、表示垂直同期信号ＤＶsyncの変わりに、可変な周期の垂直同期パルスＰlsＶを有する表示垂直同期信号ＤＶsync2を生成する点を除き、第１実施形態に係る撮像表示装置１（図６参照）と同様に構成されている。
【０１２８】
図１６に示すように、第２実施形態に係る出力制御部３１は、第１実施形態と同様に、画像処理判定時刻ＴA[m]及び表示準備判定時刻ＴB[m]のうち遅い方の時刻（この図では、上述した第２の態様を採用しているため、画像処理判定時刻ＴA[m]）において、出力制御信号ＣTRに出力許可パルスＰL[m]を設定する。
また、図１６に示すように、第２実施形態に係るタイミングジェネレータ３２は、出力制御部３１が出力する出力制御信号ＣTRに出力許可パルスＰL[m]が設定されたタイミングから、固定の時間長である基準フロントポーチ時間ＴPの経過後に、表示水平同期信号ＤＨsync2として水平同期パルスＰlsＨを出力する。
【０１２９】
このため、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]の生成が完了し、画像信号生成時刻ＴC[m]が経過している場合（Ｃase-1）には、水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPとなる。
一方、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]の生成が完了していない場合、すなわち、表示準備判定時刻ＴB[m]よりも後に画像信号生成時刻ＴC[m]が到来する場合（Ｃase-2）には、水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、表示準備判定時刻ＴB[m]から画像信号生成時刻ＴC[m]（画像処理判定時刻ＴA[m]）までの時間長である延長フロントポーチ時間ＴPXとの合計となる。
【０１３０】
このように、第２実施形態に係るタイミングジェネレータ３２は、出力制御部３１が、画像信号Ｄ[m]の出力準備が完了したと判定し、出力制御信号ＣTRとして出力許可パルスＰL[m]を出力するのを待ち、出力許可パルスＰL[m]が出力されてから基準フロントポーチ時間ＴPだけ後に、水平走査期間Ｈd[m]を開始させる。換言すれば、第２実施形態に係るタイミングジェネレータ３２は、画像信号Ｄ[m]の出力準備が完了するまで、水平フロントポーチ期間ＤＨfを延長する。
このため、画像信号出力部２３は、たとえ画像処理部２１における画像信号Ｄ[m]の画像処理が遅延した場合であっても、水平走査期間Ｈd[m]において画像信号Ｄ[m]を出力することが可能となる。この場合、撮像部１０が撮像信号ＤGS[m]を出力してから、表示部４０が画像信号Ｄ[m]に基づく画像を表示するまでの遅延時間は、表示ドットクロック信号ＤCLKの精度で最小化されることになる。
【０１３１】
図１７は、表示部４０における表示準備がボトルネックとなる表示の遅延が解消されるに至る状態（すなわち、図１４で説明した第２の状態）における、第２実施形態に係る撮像表示装置の動作を説明するためのタイミングチャートである。また、図１８は、画像処理部２１の画像処理がボトルネックとなって表示に遅延が生じている状態（すなわち、図１５で説明した第３の状態）における、第２実施形態に係る撮像表示装置の動作を説明するためのタイミングチャートである。なお、図１７及び図１８では、図１２乃至図１５で説明した符号を流用する。
【０１３２】
図１７では、例えば、水平走査期間Ｈd2[2]におけるイネーブル信号ＤＥnbの立下りのタイミングまでに、画像信号ＤGA2[3]が生成される。このため、水平走査期間Ｈd2[2]におけるイネーブル信号ＤＥnbの立下りのタイミングにおいて、出力許可パルスＰL[3]が出力される。この場合、水平走査期間Ｈd2[2]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPとなる。
一方、この図に示す例では、画像信号ＤGA2[4]が生成されるタイミングは、水平走査期間Ｈd2[3]におけるイネーブル信号ＤＥnbの立下りのタイミングよりも後である。このため、画像信号ＤGA2[4]が生成されるタイミングにおいて、出力許可パルスＰL[4]が出力される。この場合、水平走査期間Ｈd2[3]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、延長フロントポーチ時間ＴPX（水平走査期間Ｈd2[3]におけるイネーブル信号ＤＥnbの立下りのタイミングから、出力許可パルスＰL[4]が出力されまでの時間）との、合計の時間長となる。すなわち、表示部４０における表示準備がボトルネックとなる表示の遅延が解消される時刻Ｔth以降は、画像処理の状況に応じて水平走査期間Ｈdが延長されることになる。
【０１３３】
また、図１８では、画像信号ＤGA3[m]が生成されるタイミングは、水平走査期間Ｈd3[m-1]におけるイネーブル信号ＤＥnbの立下りのタイミングよりも後である。このため、画像信号ＤGA3[m]が生成されるタイミングにおいて、出力許可パルスＰL[m]が出力される。この場合、水平走査期間Ｈd3[m]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、延長フロントポーチ時間ＴPX（水平走査期間Ｈd3[m]におけるイネーブル信号ＤＥnbの立下りのタイミングから、出力許可パルスＰL[m]が出力されまでの時間）との、合計の時間長となる。すなわち、画像処理部２１の画像処理がボトルネックとなって表示に遅延が生じている状態（第３の状態）においては、画像処理の状況に応じて水平走査期間Ｈdが延長されることになる。
【０１３４】
なお、図１７及び図１８からも明らかなように、第２実施形態においては、無効水平走査期間Ｈd-Ｄは存在せず、全ての水平走査期間Ｈdは有効水平走査期間Ｈd-Ａとなる。
また、第２実施形態では、水平走査期間Ｈdが例えば表示ドットクロック信号ＤCLKの単位で可変となるため、表示垂直走査期間Ｆdも可変の時間長を有することとなる。
【０１３５】
＜Ｃ．変形例＞  
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下において説明する変形例では、説明の重複を避けるため、上述した本発明の実施形態との共通点については説明を省略する。
【０１３６】
＜変形例１＞
上述した実施形態では、表示部４０が液晶パネル４２を備える場合を例示したが、本発明はこのような態様に限定されるものではなく、ＯＬＥＤ（organic light emitting diode）パネル、プラズマ表示パネル等の表示素子を用いてもよい。
【０１３７】
＜変形例２＞
上述した実施形態及び変形例では、画像処理回路１００と表示部４０との間のデータ伝送をパラレルインタフェースによって行うが、低電圧差動（ＬＶＤＳ）のシリアルインタフェースによって行うようにしてもよい。
【０１３８】
＜変形例３＞
上述した実施形態及び変形例では、撮像垂直同期信号ＳＶsyncにより規定される撮像垂直走査期間Ｆsが、表示垂直同期信号ＤＶsync（またはＤＶsync2）により規定される表示垂直走査期間Ｆd以上の時間長を有しているが、本発明はこのような態様に限定されるものではなく、撮像垂直走査期間Ｆsは、表示垂直走査期間Ｆdよりも短い時間長を有していてもよい。
【０１３９】
＜変形例４＞
上述した実施形態及び変形例では、出力制御部３１は、画像処理部２１が出力する書込完了信号ＰtAと、画像信号出力部２３が出力する出力完了信号ＰtBと、に基づいて、画像信号Ｄ[m]を出力する準備が完了したか否かを判定するが、本発明はこのような態様に限定されるものではなく、出力制御部３１がラインバッファ２２を周期的に参照することで、ラインバッファ２２に画像信号Ｄ[m]が記録されていること、及び、ラインバッファ２２から画像信号Ｄ[m-1]が読み出されたことを判定することにより、画像信号Ｄ[m]を出力する準備が完了したか否かを判定してもよい。
【０１４０】
＜変形例５＞
上述した実施形態及び変形例では、撮像表示装置１に表示部４０が内蔵されているが、本発明はこのような態様に限定されるものではなく、表示部４０をデジタルカメラの外部に接続するファインダー（表示装置）等として構成してもよい。
【０１４１】
＜Ｄ．応用例＞  
以上の各形態に例示した撮像表示装置１は、各種の電子機器に利用されうる。例えば、撮像表示装置１は、プロジェクター装置、ＨＵＤ（ヘッドアップディスプレイ）、ＨＭＤ（ヘッドマウントディスプレイ）等の電子機器（表示装置）等として構成してもよい。また、ライブビューを行う表示装置であれば、例えば電子双眼鏡、電子めがね、電子顕微鏡、医療用電子めがねのファインダ、車載のバックモニタ、車載のサイドミラーのモニタ等にも適用することができ、撮像から表示までの遅延を低減させることができる。くわえて、表示装置の態様においては、撮像部１０を必ずしも備えてなくてもよい。すなわち、撮像信号ＤSが供給される画像処理回路１００、及び、表示部４０を表示装置として捉えてもよい。
【符号の説明】
【０１４２】
１……撮像表示装置、１０……撮像部、１１……撮像光学系、１２……イメージセンサ、１３……タイミングジェネレータ、２０……画像信号生成部、２１……画像処理部、２２……ラインバッファ、２３……画像信号出力部、３０……タイミング制御部、３１……出力制御部、３２……タイミングジェネレータ、３３……パラメーター送信部、４０……表示部、４１……ＥＶＦコントローラ、４２……液晶パネル、５０……ＣＰＵ、６０……操作部、１００……画像処理回路。
【図１】
0006645047.tif 000002
【図２】
0006645047.tif 000003
【図３】
0006645047.tif 000004
【図４Ａ】
0006645047.tif 000005
【図４Ｂ】
0006645047.tif 000006
【図４Ｃ】
0006645047.tif 000007
【図４Ｄ】
0006645047.tif 000008
【図５】
0006645047.tif 000009
【図６】
0006645047.tif 000010
【図７Ａ】
0006645047.tif 000011
【図７Ｂ】
0006645047.tif 000012
【図８】
0006645047.tif 000013
【図９】
0006645047.tif 000014
【図１０】
0006645047.tif 000015
【図１１】
0006645047.tif 000016
【図１２】
0006645047.tif 000017
【図１３】
0006645047.tif 000018
【図１４】
0006645047.tif 000019
【図１５】
0006645047.tif 000020
【図１６】
0006645047.tif 000021
【図１７】
0006645047.tif 000022
【図１８】
0006645047.tif 000023