(57)【特許請求の範囲】
【請求項１】
所定のセンサー周期で撮影を行う撮影センサーと、
前記撮影センサーの出力データに基づいて画像データを生成する画像データ生成部と、
前記センサー周期のＮ倍（Ｎは２以上の整数）の表示周期において表示開始ラインから表示終了ラインまで表示する際の第１の表示走査期間よりも短い第２の表示走査期間に前記画像データが示す画像を表示する表示部と、
前記画像データに基づいて前記表示部の所定のラインの前記画像を表示可能になった場合に前記表示部に１フレーム分の前記画像の表示を開始させる制御を、前記撮影センサーによるＮ回の撮影に１回の割合で実行する表示制御部と、
を備える撮影装置。
【請求項２】
前記表示部は、
前記センサー周期の（Ｎ−１）倍の表示周期における第３の表示走査期間から前記センサー周期のＮ倍の表示周期における前記第１の表示走査期間までの長さの前記第２の表示走査期間に前記画像データが示す画像を表示する、
請求項１に記載の撮影装置。
【請求項３】
前記表示制御部は、
前記所定のラインの前記画像を示す前記画像データが生成された場合に、前記表示部に垂直同期信号を出力し、
前記表示部は、
前記垂直同期信号に応じて１フレーム分の前記画像の表示を開始する、
請求項１または請求項２のいずれかに記載の撮影装置。
【請求項４】
前記表示制御部は、
ラインごとの前記画像データの生成処理の進捗を示すライン進捗情報を取得し、前記ライン進捗情報によって前記画像データの生成処理が終了したことが特定された前記ラインを前記表示部に表示させる、
請求項１〜請求項３のいずれかに記載の撮影装置。
【請求項５】
所定のセンサー周期で被写体を撮影する撮影センサーと、
前記撮影センサーの出力データに基づいて画像を表示する表示部と、を備える撮影装置であって、
前記表示部における前記画像の表示周期は、
前記センサー周期のＮ倍（Ｎは２以上の整数）の表示周期おいて、表示開始ラインから表示終了ラインまで表示する際の第1の表示走査期間よりも短く、
前記センサー周期の（Ｎ−１）倍の表示周期において、表示開始ラインから表示終了ラインまで表示する際の第３の表示走査期間よりも長い、
撮影装置。
【請求項６】
所定のセンサー周期で被写体を撮影する撮影センサーと、
前記撮影センサーの出力データに基づいて画像を表示する表示部と、を備える撮影装置であって、
利用者によって所定の操作が行われた場合、前記表示部は前記センサー周期のＮ倍（Ｎは２以上の整数）よりも短い表示周期で前記画像を表示し、その後、前記センサー周期のＮ倍の表示周期で前記画像を表示する、
撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示部に画像を表示する撮影装置に関する。
【背景技術】
【０００２】
近年は、ＡＦの高速化や動画の円滑表示、車載カメラにおけるフレーム分解能の向上等のため、短い周期（１２０ｆｐｓ（frames per second）や２４０ｆｐｓ等）で撮影可能な撮影装置に対するニーズが高まっている。一方、短い周期で撮影が行われた場合に撮影装置における表示まで短い周期とすると、伝送帯域を過度に必要とし、また、過度に電力を消費してしまう。このため、撮影センサーの駆動周期が表示部の駆動周期よりも短い撮影装置が開発されている。例えば、特許文献１には、撮影センサーの整数倍の周期で表示部が駆動され、表示部における表示遅延Δｔが一定である構成が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２６８３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術において、一定の表示遅延Δｔで適正に画像を表示し続けるためには、表示部による表示よりも早期に表示の準備（撮影および撮影後の画像処理）が完了している必要がある。従って、表示の準備が完了していることを確実に担保するためには、表示が先行しないように充分に余裕のある大きいΔｔを設定する必要がある。このため、表示の準備が早期に完了している場合であっても一定のΔｔだけ表示遅延が設けられることになり、表示遅延を最小化することができない。
本発明は上記課題にかんがみてなされたもので、表示部における被写体の表示遅延を短縮することを目的の１つとする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明において表示部は、センサー周期のＮ倍（Ｎは２以上の整数）の表示周期において表示開始ラインから表示終了ラインまで表示する際の表示走査期間（第１の表示走査期間）よりも短い表示走査期間（第２の表示走査期間）に画像データが示す画像を表示する。そして、表示制御部は、所定のラインの画像を表示可能になった場合に表示部に１フレーム分の画像の表示を開始させる制御を、撮影センサーによるＮ回の撮影に１回の割合で実行する。
【０００６】
すなわち、表示制御部は、表示部の所定のラインの画像が表示可能になった場合に１フレーム分の画像の表示を開始させる。このため、表示部においては、所定のラインの画像が表示可能になった場合に即座に１ライン目から１フレーム分の画像の表示を開始することになる。従って、所定のラインの画像が表示可能になるまでの期間が偶発的な要因等によって通常よりも長くなったとしても、表示部は当該所定のラインの画像を表示可能になるまで待機するが、所定のラインの表示の準備が完了すれば、表示部は遅滞なく表示を開始する。このため、少なくとも所定のラインについては、表示の準備が完了する前にどのような画像データの生成処理が行われ、どのように遅延が発生したとしても、当該所定のラインの表示の準備が完了するとともに表示が開始される。従って、少なくとも所定のラインについては、表示の準備が可能になってから表示開始までのタイムラグが最小化される。この結果、余裕のある大きいΔｔだけ待機した後に表示を開始する構成と比較して、表示部における被写体の表示遅延を短縮することができる。
【０００７】
さらに、一般的には、撮影センサーと表示部が同期しない（表示周期がセンサー周期のＮ倍でない）状態で撮影および表示を継続すると、表示遅延の量が安定化せず表示部の画像が不自然になるため、撮影センサーと表示部とは同期している状態で安定化することが好ましい。しかし、表示周期をセンサー周期のＮ倍にすることを想定した場合、当該表示周期で表示部を駆動するためにバックポーチと表示走査期間（第１の表示走査期間）とフロントポーチとが既定の長さに設定されると、偶発的な表示の準備の遅れに追従して表示開始タイミングを待つための時間的なマージンが存在しない。このため、破綻なく表示を行うためには、例えば、従来技術のように一定の表示遅延Δｔを設けるとともに、偶発的な表示の準備の遅れが表示遅延Δｔを超えることがないように、すなわち、画像データの生成処理が確実に終了していることを保証するために、充分に余裕のある大きいΔｔを設定する必要があった。
【０００８】
しかし、表示制御部においては、センサー周期のＮ倍の表示周期における表示走査期間（第１の表示走査期間）よりも短い表示走査期間（第２の表示走査期間）で表示開始ラインから表示終了ラインまで表示する。従って、バックポーチとフロントポーチとが既定の長さ（センサー周期のＮ倍の表示周期または当該表示周期より短い表示周期での既定の長さ）に設定されたとしても、バックポーチと表示走査期間とフロントポーチとの長さは、センサー周期のＮ倍の表示周期の長さよりも短くなる。すなわち、両者の差異をΔＭとすると、ΔＭだけマージンを設けることができる。
【０００９】
そして、以上のようにΔＭのマージンを有し得る表示部において、表示制御部は、表示部の所定のラインの画像が表示可能になった場合に１フレーム分の画像の表示を開始させる。この構成においては、偶発的な要因等によって所定のラインの画像を示す画像データの生成が遅れたことにより、表示部における表示の開始が遅れる場合（例えば最小の処理速度で処理された状態や平均的な速度で処理された状態よりも遅れる場合）があるが、この遅れはΔＭのマージンによって吸収することが可能である。例えば、表示部における表示の開始前に発生した表示の準備の遅れがΔＭ以内であれば、表示部が１回の表示周期の表示を行う過程で当該表示の準備の遅れを吸収することができる。また、表示の準備の遅れがΔＭより大きい場合であっても、表示部が複数回の表示周期の表示を行う過程で当該表示の準備の遅れを吸収することができる。従って、表示の準備の遅れが一時的に発生したとしても徐々に遅れが短縮化され、複数回の表示周期という実感的には一瞬の期間で遅れが解消される。
【００１０】
以上のように、１回の表示周期で表示の遅れを吸収できない場合であっても、複数回の表示周期が経過すれば表示の遅れを吸収できるため、ΔＭは過度に大きく設定する必要はなく、わずかな時間で充分である（例えば、数ｍｓｅｃ）。従って、センサー周期のＮ倍の表示周期における表示走査期間（第１の表示走査期間）よりも短い表示走査期間（第２の表示走査期間）として、過度に短い期間を設定する必要はなく、ΔＭをわずかな時間とすれば、低速で表示部を駆動可能であり表示部の電力消費を抑制することができる。
【００１１】
ΔＭがわずかな時間である構成において、Ｎは２以上の整数であるため、撮影センサーは表示部のほぼ２倍または２倍以上の速度で駆動していることになり、撮影センサーは表示部と比較して充分に高速である。このように、撮影センサーが表示部よりも高速に駆動する構成、すなわち、表示部が、センサー周期のＮ倍の表示周期における表示走査期間（第１の表示走査期間）よりも短く、センサー周期のＮ−１倍の表示周期における表示走査期間（第３の表示走査期間）よりも長い、表示走査期間（第２の表示走査期間）に画像を表示する構成とすれば、画像データの生成を表示よりも先行させることができる。より具体的には、一般的には、全表示ライン分の画像データを生成する処理は、撮影センサーにおけるセンサー周期以内に終了するように構成される（撮影センサーにおけるセンサー周期で撮影した動画を表示可能にするため）。従って、撮影センサーの方が表示部よりも高速に駆動する構成において、全ライン分の画像処理も撮影センサーにおけるセンサー周期程度で終了する。
【００１２】
このため、撮影センサーが表示部よりも高速に駆動する場合において、表示部における表示速度は各ラインの表示準備が終了する速度よりも圧倒的に低速である。従って、偶発的な要因等によって例外的に長期に渡る表示の準備の遅れが発生しない限り、ほとんどの場合、各ラインの表示の準備が先行し、表示の準備が完了した状態で表示を行うことができる。そして、各ラインで表示の準備が先行する度合いは表示終了ラインに近づくほど大きくなる。このため、表示周期の終盤に近づくほど表示の準備の遅れを吸収する余力が大きくなり、センサー周期のＮ倍の表示周期における表示走査期間（第１の表示走査期間）よりも短い表示走査期間（第２の表示走査期間）で表示部が表示を行う構成と組み合わされることで、表示の準備の遅れを吸収する余力が非常に大きい撮影装置を提供することができる。
【００１３】
なお、偶発的な要因で過度に表示の準備が遅れた状態ではなく、表示の準備の遅れを吸収する余力（ΔＭのマージンや撮影センサーと表示部の駆動速度の差異で生成される余力）で表示の準備の遅れが吸収できる状態で安定化している場合、表示部による画像データの表示周期は結果としてセンサー周期のＮ倍に同期する。すなわち、偶発的な要因で過度に表示の準備が遅れた状態ではなく、安定的に画像処理が行われている場合、１ラインに要する平均的な画像処理の期間は一定となる。従って、所定のラインの画像を表示可能になるタイミングは、１回のセンサー周期の特定のタイミングに同期する。
【００１４】
そして、表示制御部は、所定のラインの画像の表示の準備が完了したことをトリガとして表示部に画像を表示させる制御を、撮影センサーによるＮ回の撮影に１回の割合で実行する。従って、安定的に画像処理が行われている場合、表示部は、センサー周期のＮ回に１回の割合で特定のタイミングに同期して画像を表示する。この結果、表示部による画像データの表示周期は結果としてセンサー周期のＮ倍に同期する。
【００１５】
ここで、撮影センサーは、所定のセンサー周期で撮影を行うことができればよく、例えば、被写体の像を示す出力データを出力するエリアイメージセンサー等で構成可能である。画像データ生成部は、撮影センサーの出力データに基づいて画像データを生成することができればよい。画像データの生成処理は、任意の種類の画像処理によって構成可能であり、撮影センサーの出力データや撮影装置におけるモード、撮影条件等に応じて処理に要する期間が変動してもよい。いずれにしても、画像処理の結果、表示部のライン毎の画像を示す画像データが生成され、当該画像データによって表示部に被写体を示す画像が表示可能であればよい。
【００１６】
表示部は、センサー周期のＮ倍の表示周期において表示開始ラインから表示終了ラインまで表示する際の表示走査期間（第１の表示走査期間）よりも短い表示走査期間（第２の表示走査期間）に画像データが示す画像を表示することができればよい。すなわち、１フレーム分の静止画を所定のフレームレート（ｆｐｓ）で順次書き換えることによって動画を表示する表示部においては、１表示周期内に表示開始ラインから表示終了ラインまでの各ラインに画像を表示するが、当該表示周期には、実際に表示を行う表示走査期間とその前後のバックポーチおよびフロントポーチが含まれる。すなわち、ある表示周期において当該表示周期に応じた既定の長さのバックポーチおよびフロントポーチを確保することが必須であり、通常はこれらのバックポーチおよびフロントポーチを除いた期間が表示走査期間となる。そして、表示部における表示開始ラインから表示終了ラインまでの表示を表示走査期間内に実行できるように、各ラインの表示期間（水平同期期間）が設定される。
【００１７】
以上のように、通常は、表示部の表示周期を特定すると、当該表示周期に対応する表示走査期間の長さが確定するため、センサー周期のＮ倍の表示周期における表示走査期間（第１の表示走査期間）よりも短い表示走査期間（第２の表示走査期間）は、センサー周期のＮ倍よりも短い表示周期での表示走査期間と表現することもできる。ただし、表示部においては、センサー周期のＮ倍よりも短い表示周期での表示走査期間で表示を行うことができればよく、当該表示走査期間の前後のバックポーチおよびフロントポーチの長さは、既定の長さでなくてもよい。すなわち、表示制御部の処理によってセンサー周期のＮ倍の周期に同期して表示を実行できるようにするため、センサー周期のＮ倍よりも短い表示走査期間で表示を行う構成において、バックポーチおよびフロントポーチの少なくとも一方の長さは可変であってよい。
【００１８】
なお、表示走査期間は、少なくとも、表示開始ラインから表示終了ラインまでの表示を行う期間であればよく、これらのラインの表示を行う期間に所定のマージンが加えられた期間が表示走査期間となってもよい。所定のマージンとは、例えば、表示部において実効表示領域に含まれないラインについての水平同期期間等が挙げられる。表示部におけるラインは、表示の走査方向に垂直な方向に並ぶ複数の画素によって構成されていれば良く、表示の走査はライン順に画素を表示する動作である。表示開始ラインは、表示の走査において最初に画像が表示されるラインであり、表示終了ラインは最後に画像が表示されるラインである。
【００１９】
表示制御部は、画像データに基づいて表示部の所定のラインの画像を表示可能になった場合に表示部に１フレーム分の画像の表示を開始させる制御を、撮影センサーによるＮ回の撮影に１回の割合で実行することができればよい。すなわち、表示制御部は、所定のラインの表示の準備の完了をトリガにして表示部における１フレーム分の画像の表示を開始させることで、所定のラインの表示の準備の完了タイミングに表示部の表示周期が同期（表示遅れが発生している場合には徐々に同期）するように表示部を制御することができればよい。また、表示制御部は、当該表示部の制御を撮影センサーによるＮ回の撮影に１回の割合で実行することにより、センサー周期よりも長いセンサー周期のＮ倍の周期に表示周期を同期させ、過度に高速に表示が行われないようにして電力消費を抑制することができればよい。従って、Ｎは２以上の整数であればよいが、むろん３以上であってもよく、撮影装置の表示部において要求される仕様に応じてＮを決定してよい。
【００２０】
さらに、所定のラインは、画像データが生成されてから表示が開始されるまでのタイムラグが最小化されるラインとして設定されていればよく、例えば、表示部における表示開始ラインであっても良いし、任意のラインであってもよい。また、所定のラインは、少なくとも表示開始後に固定されればよく、表示開始前であれば可変としてもよい。なお、所定のラインが表示開始ラインである場合、表示開始ラインの表示の準備が完了すると、表示部が即座に１フレーム分の画像の表示が開始する構成となるため、表示遅れが最小化される。
【００２１】
一方、表示部の上部（１ライン目〜ｍライン目（ｍは２以上の整数）に被写体の像以外の画像（例えば、ＯＳＤ表示の画像）等が表示される場合においては、所定のラインを（ｍ＋１）ライン目とする構成が好ましい。すなわち、ＯＳＤ表示の画像は撮影センサーにおける撮影に依存することなく予め生成可能である一方で、（ｍ＋１）ライン目以降に表示すべき被写体の像は撮影および画像処理を経て表示可能になるため、（ｍ＋１）ライン目を所定のラインとすれば、被写体の像の表示の準備が完了してから表示されるまでの表示遅れを最小化することができる。また、表示部の上部に被写体の像以外の画像が表示される状態と表示されない状態とが切り替えられる場合、当該切り替えに応じて所定のラインが可変である構成が好ましい。
【００２２】
表示部においては、所定のラインの表示の準備の完了をトリガにして１フレーム分の画像の表示走査を開始すればよく、表示の準備が完了した任意のラインから表示走査を開始してよい。従って、表示開始ラインから表示走査を開始してもよいし、所定のラインから表示走査を開始してもよい。後者においてｍライン目（ｍは２以上の整数）が所定のラインである場合、ｍライン目から表示が開始されるが、この場合、次のトリガが発生する前に（ｍ−１）ラインまで表示走査が行われる。
【００２３】
撮影センサーによるＮ回の撮影に１回の割合で表示部に表示を実行させるための構成としては、種々の構成を採用可能であり、例えば、撮影センサーにおける撮影走査が行われた回数の進捗を示す撮影進捗情報を記録媒体に記録し、表示制御部が当該撮影進捗情報に基づいてＮ回の撮影走査中で表示を開始すべき１回を特定する構成等を採用可能である。Ｎ回の撮影に１回の割合が特定されると、表示制御部は、Ｎ回の撮影に１回の割合で所定ラインの画像の表示準備をトリガにして表示を開始する制御を有効化し、他の場合には当該制御を無効化すればよい。撮影進捗情報は、撮影センサーの動作に応じて生成されてもよいし、撮影センサーの出力データに対する画像処理の進捗に応じて生成されてもよい。
【００２４】
さらに、表示部が、センサー周期の（Ｎ−１）倍の表示周期における表示走査期間（第３の表示走査期間）からセンサー周期のＮ倍の表示周期における表示走査期間（第１の表示走査期間）までの長さの表示走査期間（第２の表示走査期間）に画像データが示す画像を表示する構成が採用されてもよい。すなわち、表示制御部は、撮影センサーによるＮ回の撮影に１回の割合で表示部における表示が開始される構成であるため、センサー周期の（Ｎ−１）倍の表示周期における表示走査期間（第３の表示走査期間）より短い表示走査期間（第２の表示走査期間）にするのであれば、撮影センサーによる（Ｎ−１）回以下の撮影に１回の割合で表示部における表示が開始される構成とした方が効率的（撮影されたが表示されない回数を最小化して同期化を測ることができる）である。
【００２５】
例えば、Ｎが３の場合において、センサー周期の（Ｎ−１）倍である２倍の表示周期における表示走査期間より短い表示走査期間で表示が行われる場合、撮影センサーによる３回の撮影に１回の割合で表示部において表示が開始される構成と、２回の撮影に１回の割合で表示部における表示が開始される構成との双方を採用可能である。しかし、前者においては、撮影回数の３回に２回の割合で撮影された像が表示されないが、後者においては、撮影回数の２回に１回の割合で撮影された像が表示されないことになり、後者の方が効率がよい。従って、撮影センサーによるＮ回の撮影に１回の割合で表示部における表示が開始される構成においては、センサー周期の（Ｎ−１）倍の表示周期における表示走査期間（第３の表示走査期間）からセンサー周期のＮ倍の表示周期における表示走査期間（第１の表示走査期間）までの長さの表示走査期間（第２の表示走査期間）に画像データが示す画像を表示する構成が効率的である。
【００２６】
さらに、表示制御部は、所定のラインの画像を示す画像データが生成された場合に、表示部に垂直同期信号を出力し、表示部は、垂直同期信号に応じて１フレーム分の画像の表示を開始する構成であってもよい。すなわち、一般的な表示部は、垂直同期信号に応じて１フレーム分の画像の表示を開始するため、垂直同期信号を表示部に出力することによって表示制御部が表示部に表示を開始させる構成とすれば、汎用的な構成を流用して表示部を構成することができる。
【００２７】
さらに、表示制御部が、ラインごとの画像データの生成処理の進捗を示すライン進捗情報を取得し、ライン進捗情報によって画像データの生成処理が終了したことが特定されたラインを表示部に表示させる構成としてもよい。すなわち、表示制御部は、あるラインを示す画像データの生成処理が終了していなければ当該ラインについては表示することなく待機させ、画像データの生成処理が終了した場合に表示部に当該ラインの表示を開始させる。この構成によれば、各ラインの画像の表示の準備が完了した後に各ラインの表示が行われるため、表示部における表示開始後にあるラインで表示の準備の遅れが発生した場合において、表示の準備の遅れが長期にわたっても表示の破綻を発生させないように構成することができる。
【００２８】
ライン進捗情報は、任意のラインについて、画像データの生成処理が終了したことを直接的に示す情報であっても良いし、間接的に示す情報であっても良い。前者は、例えば、１ライン分の画像データの生成処理を終了したことを示す情報や、１ラインの端に位置するとともに最後に処理される画素を示す画像データの生成処理を終了したことを示す情報や、画像データの生成処理の処理対象となっているラインのライン番号を示す情報等によって構成可能である。後者は、例えば、画像データの生成処理が複数の画像処理工程によって構成される場合であって、画像処理工程に要する所要期間が動的に変動し得る工程と所要期間が一定の工程とがある場合に、画像処理工程に要する期間が動的に変動し得る工程の全てが終了したことを示す情報によって構成可能である。すなわち、画像処理工程に要する期間が動的に変動し得る工程以外の工程については所要期間が一定であるため、あるラインについて画像処理工程に要する期間が動的に変動し得る工程が終了したか否かを特定することができれば、当該ラインについての画像データの生成処理が終了するタイミングを特定することが可能である。
【００２９】
さらに、所定のセンサー周期で被写体を撮影する撮影センサーと、撮影センサーの出力データに基づいて画像を表示する表示部と、を備える撮影装置であって、表示部における画像の表示周期はセンサー周期のＮ倍（Ｎは２以上の整数）であり、表示開始ラインから表示終了ラインまで表示する際の表示走査期間はセンサー周期のＮ倍の表示周期における表示走査期間（第１の表示走査期間）よりも短い撮影装置が構成されても良い。すなわち、センサー周期のＮ倍の表示周期における表示走査期間（第１の表示走査期間）よりも短い表示走査期間（第２の表示走査期間）で表示を行う表示部を利用すると、当該短い表示走査期間によって得られたΔＭのマージンで表示の準備の遅れを吸収することができる。この結果、表示部における画像の表示周期はセンサー周期のＮ倍に同期する撮影装置を構成することが可能になる。
【００３０】
さらに、所定のセンサー周期で被写体を撮影する撮影センサーと、撮影センサーの出力データに基づいて画像を表示する表示部と、を備える撮影装置であって、利用者によって所定の操作が行われた場合、表示部はセンサー周期のＮ倍（Ｎは２以上の整数）よりも短い表示周期で画像を表示し、その後、センサー周期のＮ倍の表示周期で画像を表示する、撮影装置が構成されても良い。
【００３１】
すなわち、表示の準備の遅れは種々の要因で発生し、例えば、歪曲収差補正やオートフォーカス調整、ホワイトバランス調整など、特定の画像処理が要因となって発生する場合がある。そして、各画像処理は利用者が所定の操作を行った場合に実行されやすい。例えば、歪曲収差補正は、利用者が撮影装置のズームレンズを利用して焦点距離の変更操作を行った場合に実行されやすい。すなわち、焦点距離が変わると歪曲の程度が変わるため、歪曲収差補正を行って１表示ラインの画像データを生成するために使用される撮影ライン数が変化し、焦点距離の変更前後で１ライン当たりの画像処理の速度が変化し得る。
【００３２】
オートフォーカス調整が行われる場合、撮影センサーの出力データまたは当該出力データから生成された画像データがオートフォーカス調整のために取得され、合焦しているか否かの判定が行われる。従って、オートフォーカス調整が行われると、一時的に撮影装置内のリソース（メモリ間の伝送帯域や演算能力）がオートフォーカス調整のために多く使用される。この結果、画像データを生成するための処理が遅れ、表示の準備の遅れが発生し得る。ホワイトバランス調整など、他の画像処理も同様であり、特定の画像処理が行われる場合に表示の準備の遅れが発生し得る。
【００３３】
歪曲収差補正は利用者が焦点距離の変更指示部で焦点距離の変更を指示する操作を行った場合に実行されやすく、オートフォーカス調整は利用者が合焦支持部で合焦を指示する操作を行った場合に実行され、ホワイトバランス調整は撮影装置の向きを急変させる操作を行った場合に実行されやすい。そして、これらの画像処理に起因して表示の準備の遅れが発生したとしても、表示部が、一時的に、センサー周期のＮ倍よりも短い表示周期で画像を表示すると、やがて当該遅れが吸収される。従って、その後、表示の準備の遅れが発生せずに安定化すると、表示部はセンサー周期のＮ倍の表示周期で画像を表示することができる。
【００３４】
さらに、本発明のように、所定のラインの画像を表示可能になった場合に１フレーム分の画像の表示を開始する手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態にかかるブロック図である。
【図２】信号のタイミングチャートである。
【図３】信号のタイミングチャートである。
【図４】信号のタイミングチャートである。
【図５】信号のタイミングチャートである。
【発明を実施するための形態】
【００３６】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）撮影装置の構成：
（２）遅延の最小化：
（３）表示遅延の解消：
（４）撮影センサーと表示部の同期：
（５）他の実施形態：
【００３７】
（１）撮影装置の構成：
図１は本発明の一実施形態にかかる撮影装置１を示すブロック図である。撮影装置１には、光学系１０、撮影センサー１５（エリアイメージセンサー）、画像データ生成部２０、タイミングジェネレーター（表示部タイミングジェネレーター３０，センサータイミングジェネレーター３１）、表示部４０、ＣＰＵ５０、ＶＲＡＭ５１、ＳＤ−ＲＡＭ５２、ＲＯＭ５３、ＲＡＭ５４、操作部５５が備えられている。ＣＰＵ５０は、ＶＲＡＭ５１、ＳＤ−ＲＡＭ５２、ＲＡＭ５４を適宜利用してＲＯＭ５３に記録されたプログラムを実行可能であり、当該プログラムによりＣＰＵ５０は、操作部５５に対する操作に応じて撮影センサー１５にて撮影された被写体を示す画像データを生成する機能や撮影した被写体を表示する機能等を実行する。なお、操作部５５はシャッターボタンと、モードを切り換えるためのモード切換手段としてのダイヤルスイッチと、絞りとシャッター速度を切り換えるためのダイヤルスイッチと、各種の設定メニューを操作するためのプッシュボタンとを備えており、利用者は当該操作部５５に対する操作によって撮影装置１に対して各種の指示を与えることができる。
【００３８】
表示部４０は、撮影対象となる被写体を示す画像を表示して利用者に撮影前の被写体の様子および撮影条件等の情報を把握させるＥＶＦ（Electronic View Finder）であり、本実施形態にかかる撮影装置１はＥＶＦを備えたミラーレスデジタルカメラである。表示部４０は、図示しないインターフェース回路、液晶パネルドライバー４１、液晶パネル４２、図示しない接眼レンズ等を備えている。本実施形態において液晶パネル４２は、画素ごとに３色のカラーフィルターに対応する３つのサブピクセルを備える高温ポリシリコンＴＦＴ（Thin Film Transistor）であり、画素の位置は直交座標系における座標で規定される。また、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼び、液晶パネル４２の全画素によって構成される１画面を１フレームと呼ぶ。
【００３９】
液晶パネルドライバー４１は、各サブピクセルに電圧を印加して液晶を駆動するための信号を液晶パネル４２に対して出力する。液晶パネル４２は、図示しないゲートドライバおよびソースドライバを備えており、液晶パネルドライバー４１から出力される信号に応じてゲートドライバが各ラインの各画素における表示タイミングを制御し、ソースドライバが表示タイミングとされているラインの各画素に対して各画素の画像データに対応した電圧を印加することによって表示を行う。すなわち、液晶パネルドライバー４１は、液晶パネル４２における表示を行うための各種信号、例えば、１フレーム分の表示を行うための期間を規定する垂直同期信号（DVsync）、１ライン分の表示を行うための期間を規定する水平同期信号（DHsync）、１フレーム内での画像の表示期間を規定するデータアクティブ信号（DDactive）、各画素の画像データの取り込みタイミング等を規定するデータクロック信号（DDotclock）、各画素の画像データ（Data）を出力するように構成されている。
【００４０】
ただし、本実施形態においては、表示部タイミングジェネレーター３０が出力する垂直同期信号DVsync、水平同期信号DHsync、データアクティブ信号DDactive、データクロック信号DDotclockが表示部４０の液晶パネルドライバー４１に入力されるように構成されている。従って、各信号において電圧が変化するタイミングは表示部タイミングジェネレーター３０の出力に依存しており、各信号を表示部タイミングジェネレーター３０が制御することが可能である。具体的には、本実施形態において表示部タイミングジェネレーター３０は、予めＣＰＵ５０から設定を指示されることにより、データアクティブ信号DDactiveがアクティブ状態である表示走査期間を変化させることができる。
【００４１】
さらに、表示部タイミングジェネレーター３０は、当該データアクティブ信号DDactiveがアクティブ状態である期間に液晶パネル４２における垂直方向の１ライン目（表示開始ライン）から垂直方向の最終ライン（表示終了ライン）までの表示が行われるように、データアクティブ信号DDactiveがアクティブ状態である期間内に液晶パネル４２の全ライン数分の水平同期信号DHsyncを出力する。表示部４０の液晶パネルドライバー４１は、データアクティブ信号DDactiveがアクティブ状態である期間において水平同期信号DHsyncを液晶パネル４２に対して出力し、液晶パネル４２は水平同期信号DHsyncに同期して各画素の画像データDataを取得して各ラインの画像を表示する。
【００４２】
なお、本実施形態にかかる撮影装置１は、表示部タイミングジェネレーター３０を備えており、上述の垂直同期信号DVsync、水平同期信号DHsync、データアクティブ信号DDactive、データクロック信号DDotclockは当該表示部タイミングジェネレーター３０によって生成される。すなわち、表示部タイミングジェネレーター３０は、クロック信号発生手段から出力される所定周期のクロック信号の変化タイミングに同期して信号レベルが変化する信号を生成する分周回路等を備えた表示制御部３０ａを備えている。そして、表示部タイミングジェネレーター３０は、表示制御部３０ａの制御により、液晶パネル４２の１ライン目のライン進捗情報（詳細は後述）に応じて垂直同期信号DVsyncを出力し、１／６０sec（撮影センサー１５のセンサー周期の２倍）の表示周期における表示走査期間よりも短い１／７０secの表示周期における表示走査期間の間、データアクティブ信号DDactiveをアクティブ状態とする。さらに、本実施形態において水平同期信号DHsyncの出力タイミングは可変であり、後述するようにライン進捗情報に依存して出力タイミングが決定される。なお、ここで、表示周期は、垂直同期信号DVsyncの発生周期である。通常、表示周期は、既定の長さのフロントポーチ、バックポーチおよび垂直同期信号DVsyncで構成されるため、ある表示周期から当該表示周期における既定の長さのフロントポーチ、バックポーチを除いた期間が表示走査期間となる。従って、本実施形態のように１／７０secの表示周期における表示走査期間を採用し、既定の長さのフロントポーチ、バックポーチを確保し、垂直同期信号DVsyncが１／６０secで出力され得る構成とすれば、１／６０secの表示周期における表示走査期間よりも短い表示走査期間で表示部４０が駆動されることになる。なお、本実施形態において既定の長さのフロントポーチ、バックポーチは１／７０secの表示周期における長さであるが、１／６０secの表示周期における長さであってもよい。
【００４３】
図２は、本実施形態における主な信号や処理等のタイミングを時系列で示す図である。すなわち、図２においては、横方向に時間軸を定義し、縦方向に信号や処理を並べて信号や処理の時系列の変化を示している。同図２の下部には表示部４０の垂直同期信号DVsyncおよび表示走査期間（DDactive）を示している。本実施形態において、表示部４０の表示走査期間は、表示周期が１／７０secである場合の表示走査期間の長さとして予め決められた長さの期間である。また、垂直同期信号DVsyncから表示走査期間の開始点までの期間であるバックポーチDBの期間は、表示周期が１／７０secである場合のバックポーチDBとして予め決められた長さの期間となるように設定される。一方、本実施形態において表示走査期間の終了点から垂直同期信号DVsyncまでの期間は可変である。従って、図２に示すように、表示周期が１／７０secである場合のフロントポーチDFとして予め決められた長さである場合において、垂直同期信号DVsyncの周期ＴDVが１／６０secである場合、表示走査期間は、図２で実線の矩形で示す期間となり、破線で示す期間は、表示走査期間でもフロントポーチDFの期間でもない余りの期間となる。なお、各図においては、バックポーチDBおよびフロントポーチDFの期間を図において視認可能にするため実際の長さより強調して（長く見えるように）示している。
【００４４】
本実施形態における液晶パネル４２としては任意の画素数のパネルを採用可能である。本実施形態においては、液晶パネル４２の予め決められた被写体像表示領域に撮影センサー１５の出力データに基づいて生成された画像データが示す被写体の画像を表示し、また、当該被写体像表示領域以外の情報表示領域に撮影条件等の情報を示す文字を表示することが可能である。すなわち、液晶パネル４２には、被写体の画像とともに撮影条件等の情報を示す文字をＯＳＤ（On Screen Display）表示することが可能である。なお、ＯＳＤ表示が行われる情報表示領域の位置や大きさは可変であり、情報表示領域が存在しない状態で被写体の画像を表示することも可能である。本実施形態においては、簡単のため、情報表示領域が存在しない状態について説明する。また、液晶パネル４２は水平方向および垂直方向に有効画素よりも多数の画素を備えていてもよいが、本明細書では簡単のため有効画素以外の画素に関する処理は省略して説明する。
【００４５】
光学系１０は、撮影センサー１５に被写体画像を結像させるレンズ１１、絞り１２、シャッター１３およびローパスフィルター（赤外カットフィルタ）１４を備える。このうち、レンズ１１と絞り１２とは図示しない筐体に交換可能に取り付けられる。撮影センサー１５としては、ベイヤー配列されたカラーフィルターと、光量に応じた電荷を光電変換によって画素ごとに蓄積する複数のフォトダイオードとを備えるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等の固体撮像素子が用いられる。撮影センサー１５の画素の位置は直交座標系における座標で規定され、一方の座標軸に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように構成されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼ぶ。撮影センサー１５の全画素によって構成される１画面を１フレームと呼ぶ。尚、当該１フレームには、全画素でなく、垂直方向間引き読出しや、水平方向加算読出しするドラフトモードと呼ばれる読出で構成される１画面も含むこととする。
【００４６】
本実施形態において撮影センサー１５は、センサータイミングジェネレーター３１が出力する各種信号に同期した動作を行う。すなわち、センサータイミングジェネレーター３１は、１フレーム分のフォトダイオードの検出結果を読み出すための期間を規定する垂直同期信号（SVsync）、１ライン分のフォトダイオードの検出結果を読み出すための期間を規定する水平同期信号（SHsync）、各画素の画像データの読み出しタイミング等を規定するデータクロック信号（SDotclock）を出力する。撮影センサー１５は、垂直同期信号SVsyncに応じて１フレーム分の出力データの出力を開始し、センサー走査期間において出力される水平同期信号SHsyncに応じて各ラインの出力データを出力する。すなわち、撮影センサー１５は、水平同期信号SHsyncにて規定される期間内にデータクロック信号SDotclockに応じたタイミングで撮影センサー１５の画素に対応するフォトダイオードの検出結果を示す出力データを出力する。
【００４７】
本実施形態において、撮影センサー１５は１２０ｆｐｓで駆動される。すなわち、撮影センサー１５の垂直同期信号SVsyncのセンサー周期は１／１２０secであり、表示部４０の表示走査期間は、センサー周期の２倍である１／６０secより短い表示周期（１／７０sec）での表示走査期間と同一になるように設定される。図２においては、撮影センサー１５の垂直同期信号SVsyncとセンサー走査期間とを示しており、時間軸の直下に１／１２０secであるセンサー周期ＴSVを示している。
【００４８】
なお、撮影センサー１５は、各種の処理を実行可能に構成されていても良い。例えば、垂直方向に並ぶラインのうちｎ個に１個の割合でフォトダイオードの検出結果を読み出す飛び越し走査を実行可能な回路が設けられていてもよい。さらに、同色のカラーフィルターを介して光電変換を行うフォトダイオードのうち水平方向に並ぶｍ個（ｍは自然数）の検出結果を加算し、和のｍ分の１（相加平均）を出力するための加算器が設けられていてもよい。このようなモードは、高速間引き読出しモードと呼ばれ、全画素を読出すモードよりも高速に１フレームが読み出されるため、しばしば、ライブビューモードで使用される。
【００４９】
画像データ生成部２０は、ＳＤ−ＲＡＭ５２に予め確保された複数ライン分のラインバッファを利用し、表示部４０にて被写体の像を表示するための画像データをパイプライン処理によって生成する処理を行う。なお、複数ライン分のラインバッファは画像データ生成部２０などに設けられていても良い。表示部４０は生成された画像データに基づいて被写体を液晶パネル４２に対して表示する。すなわち、利用者は、表示部４０をＥＶＦとして利用しながら被写体を確認することが可能である。
【００５０】
画像データ生成部２０は、種々の画像処理を実行可能である。例えば、撮影センサー１５が備える画素数と表示部４０が備える画素数が異なっている場合、撮影センサー１５の出力データの画素数を調整し、表示部４０で表示可能な画素数に変換するための画素数変換処理を行う。他にも、画像データ生成部２０が、ベイヤー配列において各画素で欠落している２チャネルの色を生成する補間処理や、カラーマッチングのための色変換処理や、ホワイトバランス調整処理、レンズ構成に起因する歪曲収差の補正処理、シャープネス調整やノイズ除去処理などのフィルター処理、撮影センサー１５の出力データが示す色と表示部４０で扱う画像データの色との特性差を補償するガンマ補正処理、自動で焦点距離を調整するためのオートフォーカス調整処理等を実行するように構成可能である。
【００５１】
さらに、利用者が操作部５５を操作して撮影指示を行った場合には、撮影指示に応じて撮影センサー１５は、垂直同期信号SVsyncに応じて１フレーム分の出力データの出力を開始し、水平同期信号SHsyncにて規定される期間内にデータクロック信号SDotclockに応じたタイミングで撮影センサー１５の全有効画素に対応するフォトダイオードの検出結果を示す出力データを逐次読み出す。そして画像データ生成部２０は、ＳＤ−ＲＡＭ５２等を利用しＪＰＥＧ等の形式の画像データを生成して図示しないリムーバブルメモリ等に記録される。すなわち、利用者は、被写体を示す画像データを生成することが可能である。尚、全有効画素に対応するフォトダイオードの検出結果を示す出力データを読み出すためには、１０ｆｐｓ程度の読み出し速度になる。
【００５２】
（２）遅延の最小化：
本実施形態においては、表示制御部３０ａが表示部４０における１フレーム分の画像の表示開始タイミングを制御することにより、撮影センサー１５における撮影が完了した後、表示部４０で表示が開始されるまでの表示遅延が最小になるように構成されている。すなわち、本実施形態においては、液晶パネル４２の各ラインに対して表示を行うための画像データが準備された時点（表示可能になった時点）で水平同期信号DHsync（１ライン目は垂直同期信号DVsyncおよび水平同期信号DHsync）が出力されるように構成されている。
【００５３】
具体的には、画像データ生成部２０は、１ライン分の画像データを生成するたびに当該画像データをＳＤ−ＲＡＭ５２に出力するとともに、当該ラインの画像データの生成が完了したことを示すライン進捗情報（垂直方向のＸライン目（Ｘは自然数）の完了を示す情報）を表示部タイミングジェネレーター３０に出力する。表示部タイミングジェネレーター３０は、当該ライン進捗情報を取得して記録する図示しない記録部（例えば、レジスタ等）を備えており、ライン進捗情報を４フレーム分（ＶＲＡＭ５１に記録可能なフレーム数と同一のフレーム数分）保持しておくことが可能である。
【００５４】
表示制御部３０ａは、当該記録部を参照することにより、画像データ生成部２０によって表示の準備が完了したラインを特定することが可能である。なお、各ラインの画像データはＳＤ−ＲＡＭ５２のＶＲＡＭ５１に記録されていく。ＶＲＡＭ５１には上述のように４フレーム分の画像データを記録することが可能であり、４フレーム分の画像データが記録されると、最も早く記録されたフレームの画像データが最も遅く生成されたフレームの画像データで順次書き換えられる。従って、表示部タイミングジェネレーター３０においても、記録部において４フレーム分のライン進捗情報を記録しながら、４フレーム分のライン進捗情報が記録されると、最も早く記録されたフレームのライン進捗情報が最も遅く生成されたフレームのライン進捗情報で順次書き換える。
【００５５】
なお、本実施形態においては、撮影センサー１５で撮影が行われるたびに画像データ生成部２０が撮影センサー１５の出力データを処理し、画像データを生成してＶＲＡＭ５１に順次記録する。従って、ＶＲＡＭ５１においては、撮影センサー１５の各フレームで撮影された被写体を示す画像データが記録され、表示部タイミングジェネレーター３０における記録部には、撮影センサー１５の各フレームのライン進捗情報が記録される。そして、ライン進捗情報は、４フレーム分記録可能であるとともにＦＩＦＯの規則で更新されるため、表示部タイミングジェネレーター３０の記録部に記録されたライン進捗情報が、撮影センサーにおける撮影走査が行われた回数の進捗を示す撮影進捗情報であると見なすことも可能である。すなわち、ライン進捗情報は、表示部４０の１ライン目から最終ラインまでの各ラインを表示するための画像データの生成の進捗を示す情報であるとともに、各ラインの画像データの生成元の撮影回数（撮影センサー１５におけるフレーム）を示す情報である。
【００５６】
従って、表示制御部３０ａが、１フレーム目と３フレーム目のライン進捗情報が記録される記録領域を監視し、これらのフレームのライン進捗情報が書き換えられていることを特定することで、奇数フレーム目の出力データが撮影センサー１５から出力され、画像データ生成部２０で処理中であることを特定することができる。以上の構成において、表示制御部３０ａは、撮影センサー１５による２回の撮影に１回の割合でライン進捗情報の監視および垂直同期信号DVsyncを出力させる制御を実行する。
【００５７】
すなわち、表示制御部３０ａは、表示部タイミングジェネレーター３０にデータクロック信号DDotclockを出力させ、データクロック信号DDotclockが継続的に出力されている状態において、表示制御部３０ａは、撮影センサー１５の１フレーム目の出力データに基づいて生成される画像データの進捗を示すライン進捗情報を監視する。１ライン目の画像データが生成されたことを示すライン進捗情報が表示部タイミングジェネレーター３０の記録部に記録されると、表示制御部３０ａは、表示部タイミングジェネレーター３０に垂直同期信号DVsyncを出力させる。
【００５８】
垂直同期信号DVsyncが出力されると、表示制御部３０ａは、表示部タイミングジェネレーター３０に水平同期信号DHsyncを出力させる。水平同期信号DHsyncに応じて１ライン分の表示が行われると、表示制御部３０ａは、表示部タイミングジェネレーター３０の記録部に２ライン目の画像データが生成されたことを示すライン進捗情報が記録されたか否かを監視する。２ライン目の画像データが生成されたことを示すライン進捗情報が記録されると、表示制御部３０ａは、表示部タイミングジェネレーター３０に水平同期信号DHsyncを出力させる。
【００５９】
表示制御部３０ａは、以上の制御を表示部４０の最終ラインまで続けることにより、各ラインにおける画像データの生成の進捗に応じて各ラインの表示を行うための信号を表示部タイミングジェネレーター３０に出力させる。そして、最終ラインの表示が行われると、表示制御部３０ａは、１フレーム目の最後の水平同期信号DHsyncを表示部タイミングジェネレーター３０に出力させ、撮影センサー１５の３フレーム目の出力データに基づいて生成される画像データの進捗を示すライン進捗情報を監視する。従って、当該３フレーム目の出力データに基づいて１ライン目の画像データが生成されたことを示すライン進捗情報が表示部タイミングジェネレーター３０の記録部に記録されると、表示制御部３０ａは、表示部タイミングジェネレーター３０に垂直同期信号DVsyncを出力させる。また、表示制御部３０ａは、ライン進捗情報に応じて順次ライン毎の表示を行わせるための各信号を出力する。
【００６０】
なお、本実施形態において表示制御部３０ａは、垂直同期信号DVsyncおよび水平同期信号DHsyncの前後に、それぞれの信号において予め決められた長さのバックポーチ期間とフロントポーチ期間とを確保する。すなわち、バックポーチ期間とフロントポーチ期間は、データクロック信号DDotclockの数によって予め長さが決められており、表示制御部３０ａは、データクロック信号DDotclockをカウントすることによってフロントポーチ期間長およびバックポーチ期間長を決定し、各期間を確保した上で表示部タイミングジェネレーター３０に垂直同期信号DVsyncや水平同期信号DHsyncを出力させる。例えば、表示制御部３０ａは、垂直同期信号DVsyncの出力後に出力されたデータクロック信号DDotclockの数が垂直同期信号のバックポーチ期間分の数に達したら、データアクティブ信号DDactiveがアクティブであることを示す信号と、１ライン目の表示を行わせるための水平同期信号DHsyncを表示部タイミングジェネレーター３０に出力させる。また、表示制御部３０ａは、水平同期信号DHsyncの出力後に出力されたデータクロック信号DDotclockの数が水平同期信号のバックポーチ期間分の数に達したら、水平方向の表示走査期間（１ライン内での画像データの取り込み期間）を示す信号がアクティブであることを示す信号（図示せず）を表示部タイミングジェネレーター３０に出力させる。
【００６１】
一方、水平同期信号DHsyncに応じて１ライン分の表示が行われた後に出力されたデータクロック信号DDotclockの数が水平同期信号のフロントポーチ期間分の数に達したら、表示制御部３０ａは、表示部タイミングジェネレーター３０の記録部に２ライン目の画像データが生成されたことを示すライン進捗情報が記録されたか否かを監視する。表示制御部３０ａは、各ラインについて同様に、ライン進捗情報の監視と水平同期信号DHsyncの出力を行う。この構成によれば、各ラインの画像の表示の準備が完了した後に各ラインの表示が行われるため、表示部４０における表示開始後にあるラインで表示の準備の遅れが発生した場合において、表示の準備の遅れが長期にわたっても表示の破綻を発生させないように構成することができる。さらに、水平同期信号DHsyncに応じて最終ラインの表示が行われた後に出力されたデータクロック信号DDotclockの数が垂直同期信号のフロントポーチ期間分の数に達したら、表示制御部３０ａは、表示部タイミングジェネレーター３０の記録部に３フレーム目の出力データに基づいて生成される画像データの進捗を示すライン進捗情報を監視する。
【００６２】
なお、本実施形態において、任意のラインの表示完了後に次のラインの水平同期信号DHsyncが出力されるまでの期間と、最終ラインの表示完了後に次のフレームの垂直同期信号DVsyncが出力されるまでの期間は、ライン進捗情報の状態に応じて変動し得る可変の期間である。本実施形態においてフロントポーチ期間は最低限必要な期間であるため、当該可変の期間内に既定の長さのフロントポーチ期間が確保されていればよく、上述のように、表示の修了後、即座にフロントポーチ期間が確保されてもよいし、次の水平同期信号DHsyncや垂直同期信号DVsyncの直前に当該フロントポーチ期間が確保されてもよく、種々の構成が採用可能である。また、可変の期間がフロントポーチ期間より長くなる場合、表示制御部３０ａは、水平同期信号DHsyncとして予め決められた長さの期間が経過するたびに、表示部タイミングジェネレーター３０にダミーの水平同期信号DHsyncを出力させる。
【００６３】
本実施形態において表示制御部３０ａは、以上の制御を、撮影センサー１５による２回の撮影に１回の割合で実行する。すなわち、表示制御部３０ａは、表示部４０のｊフレーム目（ｊは自然数）（例えば、図３のｘフレーム目）における最終ラインの表示が終了した後に、撮影センサー１５の（２ｊ＋１）フレーム目（例えば、図３の(ｙ＋２)フレーム目）のライン進捗情報を監視し、各ラインのライン進捗情報に基づいて表示部タイミングジェネレーター３０に各種の信号を出力させる。
【００６４】
表示部タイミングジェネレーター３０から垂直同期信号DVsync等の各種信号が出力されると、当該垂直同期信号DVsync等の各種信号は液晶パネルドライバー４１を経て液晶パネル４２に供給される。液晶パネル４２においては、当該垂直同期信号DVsync等の各種信号に応じて表示を行う。従って、液晶パネル４２は、撮影センサー１５による２回の撮影に１回の割合で１ライン目の画像データの生成処理が終了した場合に１フレーム分の画像の表示を開始する。図２においては、センサー走査期間の直下に撮影センサー１５におけるライン毎の電荷蓄積期間を模式的に示している。同図においては、撮影センサー１５に対する電荷の蓄積が行われる順にラインを上方から下方に並べて模式的に示している。従って、最も上方に示された撮影開始ラインにおいて電荷蓄積期間が終了するとセンサー走査期間が開始され、最も下方に示された撮影終了ラインにおいて電荷蓄積期間が終了するとセンサー走査期間が終了する。
【００６５】
各ラインの電荷蓄積期間が終了すると、当該ラインの蓄積電荷量を示す出力データが画像データ生成部２０に受け渡されるため、画像データ生成部２０は順次画像処理を実行する。図２においては、電荷蓄積期間の直下に画像データ生成部における画像処理期間を模式的に示している。同図においては、画像処理が行われる順（すなわち、撮影された順）にラインを上方から下方に並べて模式的に示している。従って、最も上方に示された画像処理開始ラインにおいて画像処理期間が終了すると、当該ライン（１ライン目）の画像を示す画像データがＳＤ−ＲＡＭ５２、ＶＲＡＭ５１に記録され、表示部タイミングジェネレーター３０の記録部にライン進捗情報が記録される。以下、順次各ラインについて画像処理が進行すると、画像データの記録とライン進捗情報の記録とが各ラインについて実行され、最も下方に示された処理終了ラインにおいて画像処理が終了すると、最終ラインについての画像データの記録とライン進捗情報の記録とが終了する。
【００６６】
以上のように、１ライン目から最終ラインまでの画像処理が進行する過程において、表示制御部３０ａは、１ライン目の画像データの生成処理を示すライン進捗情報をトリガにして表示部タイミングジェネレーター３０に垂直同期信号DVsyncを出力させる制御を実行する。従って、例えば、図２に示す時刻ｔ1において垂直同期信号DVsyncが出力され、既定のバックポーチDBを経た後に表示走査期間が開始される。
【００６７】
当該表示走査期間においては、液晶パネル４２においてライン毎の画像を表示する表示処理が行われる。すなわち、撮影装置１は画像データ出力部２１を備えており、画像データ出力部２１は、液晶パネル４２の１ライン目から最終ラインまでの各ラインの画像データをＶＲＡＭ５１から順次取得し、液晶パネルドライバー４１に受け渡す処理を行う。このために、表示制御部３０ａは、表示走査期間において、水平同期信号DHsyncに同期してＶＲＡＭ５１に記録されたデータを各ラインの画像データ（Data）として表示部４０に対して出力する。従って、表示部タイミングジェネレーター３０から出力された水平同期信号DHsyncに応じて液晶パネル４２が動作することで、１ライン目から最終ラインまで順次画像が表示されていく。
【００６８】
図２においては、表示走査期間の直下に液晶パネル４２において各ラインの画像を表示する表示処理期間を模式的に示している。同図においては、液晶パネル４２において表示が行われる順にラインを上方から下方に並べて模式的に示している。すなわち、表示走査期間が開始されると、最も上方に示された１ライン目において表示処理が行われ、以下、ライン順次に表示処理が行われ、最も下方に示された最終ラインにおいて表示処理が終了すると表示処理期間が終了する。
【００６９】
以上のように、本実施形態において表示制御部３０ａは、表示部４０の１ライン目（所定のライン）の画像が表示可能になった場合に１フレーム分の画像の表示を開始させる。このため、表示部４０においては、１ライン目の画像が表示可能になった場合に、最低限必要なバックポーチDBの期間を確保した上で、即座に１ライン目から１フレーム分の画像の表示を開始することになる。この結果、余裕のある大きいΔｔだけ待機した後に表示を開始する従来の構成と比較して、撮影センサー１５における撮影の終了から表示部４０における被写体の表示開始までに要する表示遅延（図２に示すΔＴ）を短縮し、かつ、表示遅延を最小化することができる。
【００７０】
なお、上述の従来の構成においては、画像データ生成部２０における画像処理に要する期間が偶発的な要因等によって通常よりも長くなっても表示を破綻させないためにΔｔを充分に大きく確保する必要があった。しかし、本実施形態の構成によれば、画像処理に要する期間が偶発的な要因等によって通常よりも長くなったとしても、表示制御部３０ａは、表示の準備の遅れ量に追従して表示部４０における表示の開始タイミングを調整するため、任意の遅れ量においても表示遅延を最小化することができる。
【００７１】
図３は、図１に示す構成において、画像データ生成部２０による１ライン目の画像処理が偶発的な要因（例えば、急激にレンズのズームを行う事で、歪曲収差補正をする必要が生じた場合等）によって通常よりも長くなった場合のタイミングチャートである。同図においては、画像処理期間の最上部に位置する１ライン目の画像処理期間が図２に示す画像処理期間よりもＴ1だけ長くなった場合の例を示している。このように、１ライン目の表示の準備がＴ1だけ遅れると、当該１ライン目の表示の準備が完了し、ライン進捗情報が表示部タイミングジェネレーター３０に対して出力されるタイミングがＴ1だけ遅れる。
【００７２】
従って、１ライン目のライン進捗情報が表示部タイミングジェネレーター３０の記録部に記録されるまで表示制御部３０ａが待機することにより、図３に示す例においては、図２に示す例と比較してＴ1だけ遅れたタイミングｔ2で表示部タイミングジェネレーター３０から垂直同期信号DVsyncが出力される。表示部４０においては、表示部タイミングジェネレーター３０から垂直同期信号DVsyncが出力されたことをトリガにして１フレーム分の画像の表示を開始する。このように、本実施形態において表示部４０は、１ライン目の画像を表示可能になるまで待機するが、１ライン目の表示の準備が完了すれば、表示部４０は遅滞なく表示を開始する。このため、少なくとも１ライン目については、表示の準備が完了する前にどのような画像データの生成処理が行われ、どのように遅延が発生したとしても、当該１ライン目の表示の準備が完了するとともに表示が開始される。従って、本実施形態においては、表示の準備が完了するまで不可避的に待機が必要な期間だけ表示の開始が遅くなり、図３に示すように表示遅延がΔＴ+になるものの、当該不可避的に待機が必要な期間が経過した後には表示が開始されることになり、任意の遅れ量においても表示遅延を最小化することができる。
【００７３】
（３）表示遅延の解消：
本実施形態において、表示制御部３０ａは、１／６０secよりも短い表示周期である１／７０secにおける表示走査期間においてデータアクティブ信号DDactiveがアクティブになるようにデータアクティブ信号DDactiveを制御する。従って、表示周期が１／７０secである場合の既定の長さになるようにバックポーチDBとフロントポーチDFとが設定されたと仮定した場合、図２に示すように、バックポーチDBと表示走査期間とフロントポーチDFとからなる長さＴDは、センサー周期の２倍の表示周期である１／６０secの長さＴDVよりも、ΔＭだけ短くなる。従って、本実施形態においては、マージンΔＭだけ垂直同期信号DVsyncの間の期間を短くしたとしても、既定のフロントポーチDFを確保することができる。このため、本実施形態においては、偶発的な要因等によって１ライン目の画像を示す画像データの準備が遅れ、図３に示すように、表示部４０における表示の開始が遅れた場合であっても、この遅れをΔＭのマージンによって吸収することができる。
【００７４】
具体的には、図３に示す例のように、表示部４０における表示の開始前に発生した１ライン目の表示の準備の遅れＴ1がΔＭ以内であれば、表示部４０が１回の表示周期の表示を行う過程で当該表示の準備の遅れを吸収することができる。すなわち、撮影センサー１５におけるｙフレーム目の撮影結果に基づく画像処理において、１ライン目で表示の準備の遅れＴ1が経過した場合、表示制御部３０ａは、当該表示の準備の遅れＴ1を経た後に出力されるライン進捗情報に応じて垂直同期信号DVsyncを出力する。そして、表示部４０は、当該垂直同期信号DVsyncに応じて、図３に示す表示部４０のｘフレーム目についての表示処理期間を開始する。当該ｘフレーム目について１ライン目から最終ラインまでの表示が行われると、表示制御部３０ａは、撮影センサー１５の（ｙ＋２）フレーム目の撮影内容の表示を行うために、既定の長さのフロントポーチDFの期間が経過した後に（ｙ＋２）フレーム目の出力データに基づいて１ライン目の画像データが生成されたことを示すライン進捗情報を監視する。
【００７５】
画像データ生成部２０において画像処理の遅れが解消し、撮影センサー１５の（ｙ＋２）フレーム目についての出力データが出力された場合に、画像データ生成部２０は、図２に示す例と同様に、通常通りの期間で１ライン目の画像データを生成し、表示部タイミングジェネレーター３０に当該１ライン目の画像データが生成されたことを示すライン進捗情報を出力する。当該ライン進捗情報が記録されると、表示制御部３０ａは、タイミングｔ3において表示部タイミングジェネレーター３０に垂直同期信号DVsyncを出力させる。この結果、垂直同期信号DVsyncの後のバックポーチを経て、表示部４０が（ｘ＋１）フレーム目の表示を開始することになる。
【００７６】
ここで、図３に示すように、撮影センサー１５は、一定のセンサー周期ＴSVで撮影を行っており、表示部４０の１ライン目の画像データを生成するために必要な出力データを出力する周期も一定のセンサー周期ＴSVである。このため、撮影センサー１５の（ｙ＋２）フレーム目の出力データに基づいて、図３の矢印Ａに示すように、通常通りの期間で１ライン目の画像データが生成された場合、垂直同期信号DVsyncが出力されるタイミングｔ3は、１ライン目の画像データの生成が遅れていない図２に示す例における（ｘ＋１）フレーム目の垂直同期信号DVsyncの出力タイミングｔ4と同一になる。
【００７７】
すなわち、表示部４０のｘフレーム目の表示走査期間およびフロントポーチDFの後には、ΔＭのマージンが設けられているため、当該ΔＭのマージン内の任意のタイミングで（ｙ＋２）フレーム目の出力データに基づいて１ライン目の画像データが生成されたことを示すライン進捗情報が出力されると、表示制御部３０ａは、ΔＭのマージンが経過する前に、垂直同期信号DVsyncを表示部タイミングジェネレーター３０に出力させる。そして、表示の準備の遅れＴ1がΔＭ以内であれば、ΔＭのマージンが経過する前に遅れＴ1に相当する期間が経過し、垂直同期信号DVsyncが出力されるため、ΔＭのマージンは図３に示すΔＭ-のように遅れＴ1に相当する期間だけ短縮されることになる。従って、ｘフレーム目の表示周期である垂直同期信号DVsync間の期間ＴDV-は、１／６０secである期間ＴDVよりも短くなり、表示部４０が１回の表示周期の表示を行う過程で表示の準備の遅れが吸収される。
【００７８】
さらに、表示の準備の遅れがΔＭより大きい場合、表示部４０が複数回の表示周期の表示を行う過程で当該表示の準備の遅れを吸収することができる。例えば、図３に示す例において表示の準備の遅れＴ1がΔＭの１．５倍の長さであり、この結果、表示遅延が図２における表示遅延よりも大きいΔＴ++である場合を想定する。ここでは、この場合において、さらに撮影センサー１５の（ｙ＋２）フレーム目の出力データに基づいて通常通りの期間で１ライン目の画像データが生成された場合を想定する。図４は、この場合におけるタイミングチャートを示している。すなわち、図４に示す表示の準備の遅れＴ3は図２に示すΔＭの３／２倍の長さである。
【００７９】
この場合において、表示部４０がｘフレーム目の最終ラインまで表示を行った場合、既に（ｘ＋１）フレーム目における１ライン目のライン進捗情報（（ｙ＋２）フレーム目の出力データから生成される画像データのライン進捗情報））が表示部タイミングジェネレーター３０に記録されているため、表示制御部３０ａは、フロントポーチDFの期間を確保した後、即座に、表示部タイミングジェネレーター３０に垂直同期信号DVsyncを出力させる。すなわち、図４に示されるように、（ｘ＋１）フレーム目の垂直同期信号DVsyncは、マージンΔＭが設けられることなくタイミングｔ5において出力される。この結果、（ｘ＋１）フレーム目においては、表示の準備の遅れＴ3の中のΔＭに相当する期間が解消され、残りのΔＭ／２の期間が遅れとして残存している状態となる。従って、ｘフレーム目においてΔＴ++であった表示遅延は、（ｘ＋１）フレーム目においてはΔＭだけ短縮化され、ΔＴ++-となっている。
【００８０】
さらに、表示部４０が（ｘ＋１）フレーム目の最終ラインまで表示を行った時点において、（ｘ＋２）フレーム目における１ライン目のライン進捗情報（（ｙ＋４）フレーム目の出力データから生成される画像データのライン進捗情報））は表示部タイミングジェネレーター３０に記録されていない。そこで、表示制御部３０ａは、フロントポーチDFの期間を確保した後、（ｘ＋２）フレーム目における１ライン目のライン進捗情報が表示部タイミングジェネレーター３０の記録部に記録されるまで待機する。（ｘ＋２）フレーム目における１ライン目のライン進捗情報が表示部タイミングジェネレーター３０の記録部に記録されると、表示制御部３０ａは、タイミングｔ6において、表示部タイミングジェネレーター３０に垂直同期信号DVsyncを出力させる。
【００８１】
すなわち、表示遅延として残存していたΔＭ／２の期間がマージンΔＭによって吸収され、表示制御部３０ａは、図４に示すΔＭ--の長さ（＝ΔＭ／２の長さ）だけライン進捗情報を待った後、表示部タイミングジェネレーター３０に垂直同期信号DVsyncを出力させる。この結果、（ｘ＋２）フレーム目においては、（ｘ＋１）フレーム目の表示開始時点で残存していたΔＭ／２に相当する期間の遅れが解消され、表示遅延が残存しない状態（表示遅延が図２同等のΔＴである状態）となる。従って、本実施形態においては、ΔＭよりも大きい表示の準備の遅れが一時的に発生したとしても、表示部４０における複数回の表示の過程で徐々に表示遅延が短縮化される。そして、表示部４０における表示周期は１／６０sec程度のオーダーであるため、複数回の表示周期であっても実感的には一瞬である。従って、ΔＭよりも大きい表示の準備の遅れが一時的に発生したとしても、実感的には一瞬の期間で遅れが解消される。
【００８２】
本実施形態においては、１回の表示周期で表示の遅れを吸収できない場合であっても、複数回の表示周期が経過すれば表示の遅れを吸収できるため、ΔＭは過度に大きく設定する必要はなく、わずかな時間で充分である（例えば、数ｍｓｅｃ）。従って、センサー周期の２倍の表示周期における表示走査期間よりも短い表示走査期間として、過度に短い期間（例えば、センサー周期と同等の期間）を設定する必要はない。そして、ΔＭをわずかな時間とすれば、センサー周期の２倍の表示周期における表示走査期間に近い表示走査期間で表示部４０を駆動することができる。従って、過度に短い期間（例えば、センサー周期と同等の期間）の表示走査期間で表示部４０を駆動する構成と比較して、表示部４０の電力消費を抑制することができる。
【００８３】
さらに、本実施形態のように、ΔＭがわずかな時間である場合、表示走査期間とセンサー走査期間に着目すると撮影センサー１５は表示部４０のほぼ２倍の速度（周期がほぼ１／２）で駆動していることになり、撮影センサー１５は表示部４０と比較して充分に高速である。このように、撮影センサー１５が表示部４０よりも高速に駆動する構成、すなわち、表示部４０が、センサー周期の２倍の表示周期における表示走査期間よりも短く、センサー周期と同一の表示周期における表示走査期間よりも長い表示走査期間に画像を表示する構成とすれば、画像データの生成を表示よりも先行させることができる。
【００８４】
より具体的には、一般的には、全表示ライン分の画像データを生成する処理は、撮影センサー１５におけるセンサー周期で撮影した動画を表示可能にするなどのために、撮影センサー１５におけるセンサー周期以内に終了するように構成される。例えば、本実施形態において図２に示す画像処理期間は、電荷蓄積期間以内に終了する。一方、表示部４０における表示速度は各ラインの表示準備が終了する通常の速度よりも圧倒的に低速である。
【００８５】
従って、偶発的な要因等によって例外的に長期に渡る表示の準備の遅れが発生しない限り、ほとんどの場合、各ラインの表示の準備が先行し、表示の準備が完了した状態で表示を行うことができる。そして、各ラインで表示の準備が先行する度合いは最終ラインに近づくほど大きくなる。このため、表示周期の終盤に近づくほど表示の準備の遅れを吸収する余力が大きくなり、センサー周期の２倍の表示周期における表示走査期間よりも短い表示走査期間で表示部４０が表示を行う構成と組み合わされることで、表示の準備の遅れを吸収する余力が非常に大きい撮影装置を提供することができる。
【００８６】
図５は、以上のような撮影センサー１５と表示部４０との速度差から生じる遅れの吸収の余力を示すためのタイミングチャートである。同図５においては、ｘフレーム目の表示を行うための画像データの１ライン目の生成は遅れていないが、Ｌ1ライン目の画像処理が通常よりＴ2だけ遅れ、その後、徐々に遅れが減少してＬ2ライン目において通常通りの処理速度に移行する場合の例を示している。
【００８７】
以上の例において、Ｌ1ライン目の画像処理はタイミングｔ7で終了し、Ｌ2ライン目の画像処理はタイミングｔ8で終了する。表示部４０においては、１ライン目以降の画像処理の進捗に応じて順次各ラインの画像データに基づく表示を行うが、本実施形態においては、上述のように、表示部４０における表示速度は各ラインの表示準備が終了する通常の速度よりも圧倒的に低速である。従って、表示部４０においてＬ1ライン目の表示を開始するタイミングｔ9は遥かに遅く、Ｌ1ライン目の画像処理が通常より時刻Ｔ2だけ遅れたとしても、表示部４０は、当該遅れの影響を全く受けずにＬ1ライン目の表示を開始することができる。Ｌ2ラインにおいても同様であり、表示部４０は、表示の準備の遅れの影響を全く受けずにＬ2ライン目の表示を開始することができる。
【００８８】
さらに、Ｌ1ライン目とＬ2ライン目とで比較すると、Ｌ2ライン目における画像処理の終了から表示の終了までのタイムラグ（ｔ10−ｔ8）は、Ｌ1ライン目における画像処理の終了から表示の終了までのタイムラグ（ｔ9−ｔ7）よりも大きい。このように、各ラインで表示の準備が先行する度合いは最終ラインに近づくほど大きくなる。このため、表示周期の終盤に近づくほど表示の準備の遅れを吸収する余力が大きくなり、本実施形態においては、このようにして生成された余力を表示の準備の遅れの吸収に利用しながら表示部４０における表示を行うことが可能である。
【００８９】
なお、撮影センサー１５が表示部４０よりも高速である構成において、前者が後者のほぼ２倍である構成には限定されず、Ｎが３以上であってもよい。そして、任意のＮにおいて、表示制御部３０ａが、センサー周期の（Ｎ−１）倍の表示周期における表示走査期間からセンサー周期のＮ倍の表示周期における表示走査期間までの長さの表示走査期間に画像データが示す画像を表示し、撮影センサー１５によるＮ回の撮影に１回の割合で表示を行うように表示部タイミングジェネレーター３０からの出力信号を制御することで効率的に表示を行うことができる。
【００９０】
例えば、Ｎが３の場合において、センサー周期の（Ｎ−１）倍である２倍の表示周期における表示走査期間より短い表示走査期間で表示が行われる場合、撮影センサー１５による３回の撮影に１回の割合で表示部４０において表示が開始される構成と、２回の撮影に１回の割合で表示部４０における表示が開始される構成との双方を採用可能である。しかし、前者においては、撮影回数の３回に２回の割合で撮影された像が表示されないが、後者においては、撮影回数の２回に１回の割合で撮影された像が表示されないことになり、後者の方が効率がよく、また、欠落するフレームが少ないためより滑らかに見える。従って、表示走査期間は、センサー周期の（Ｎ−１）倍の表示周期における表示走査期間からセンサー周期のＮ倍の表示周期における表示走査期間までの長さに設定されることが好ましい。
【００９１】
（４）撮影センサーと表示部の同期：
本実施形態においては、上述の遅延の最小化と表示遅延の解消とが行われる結果、表示の準備の遅れが通常の状態に安定化することで、表示部４０による画像データの表示周期が結果としてセンサー周期の２倍に同期する。すなわち、本実施形態においては、偶発的な要因で過度に表示の準備が遅れた状態が継続しておらず、安定的に画像処理が行われている状態である場合（準備の遅れが１回の表示の過程で解消できる場合）、あるフレームの次のフレームの１ライン目の画像を表示可能になると表示を開始することができる。従って、１ライン目の画像を表示可能になるタイミングは、センサー周期内の１ライン目の準備完了タイミングに同期する。そして、表示制御部３０ａは、１ライン目の画像の表示の準備が完了したことをトリガとして表示部４０に画像を表示させる制御を、撮影センサー１５による２回の撮影に１回の割合で実行する。従って、安定的に画像処理が行われている場合、表示部４０は、センサー周期の２回に１回の割合で特定のタイミングに同期して画像を表示する。この結果、表示部４０による画像データの表示周期は結果としてセンサー周期の２倍に同期する。
【００９２】
具体的には、本実施形態において表示の準備の遅れが存在しないのであれば、表示部４０は図２に示すように動作し、垂直同期信号DVsyncが出力されるタイミングｔ1からタイミングｔ4までの期間ＴDVは１／６０secである。従って、この状態において、表示部４０の表示周期は期間ＴDVであり、撮影センサー１５のセンサー周期ＴSV（１／１２０sec）の２倍の周期で同期している。
【００９３】
一方、例えば図４において示されたように、偶発的な要因等で表示の準備の遅れが発生すると、通常の状態でｘフレーム目の表示の開始のために垂直同期信号DVsyncが出力されるべきタイミングｔ1で垂直同期信号DVsyncは出力されない。そして、図４に示すように、表示部４０が複数回の表示周期の表示を行う過程で徐々に表示の準備の遅れを吸収する場合においては、次の（ｘ＋１）フレーム目の表示のために垂直同期信号DVsyncが出力されるべきタイミングｔ4（図２参照）で垂直同期信号DVsyncは出力されず、タイミングｔ5で垂直同期信号DVsyncが出力される。また、ｘフレーム目の表示開始および表示終了の際に出力される垂直同期信号DVsyncの期間ＴASは、センサー周期ＴSVの２倍である１／６０secの期間ＴDVより短い。従って、（ｘ＋１）フレーム目の表示のために垂直同期信号DVsyncに着目すると、撮影センサー１５のセンサー周期と表示部４０の表示周期とは同期していない。
【００９４】
しかし、さらに次の（ｘ＋２）フレーム目の表示のために垂直同期信号DVsyncが出力されるタイミングｔ6に着目すると、タイミングｔ1からｔ6までの期間がちょうど２×ＴDVとなっている。従って、（ｘ＋２）フレーム目の表示のために出力される垂直同期信号DVsyncに着目すると、撮影センサー１５のセンサー周期と表示部４０の表示周期とは同期している。
【００９５】
なお、図３や図５に示されるように、表示部４０が１回の表示周期の表示を行う過程で表示の準備の遅れを吸収する場合においては、同期していない期間が発生することなく撮影センサー１５のセンサー周期と表示部４０の表示周期とが同期する。すなわち、図３に示す例において、ｘフレーム目の垂直同期信号DVsyncが出力されるべき出力タイミングｔ1と（ｘ＋１）フレーム目の垂直同期信号DVsyncの出力タイミングｔ3との間の期間は、センサー周期ＴSVの２倍である１／６０secの期間ＴDVと同一である。また、図５に示す例において、ｘフレーム目の垂直同期信号DVsyncが出力されるべき出力タイミングｔ1と（ｘ＋１）フレーム目の垂直同期信号DVsyncの出力タイミングｔ4との間の期間は、センサー周期ＴSVの２倍である１／６０secの期間ＴDVと同一である。従って、これらの例においては、同期していない期間が発生することなく撮影センサー１５のセンサー周期と表示部４０の表示周期とが同期する。
【００９６】
さらに、本実施形態にかかる撮影装置１は、所定のセンサー周期で被写体を撮影する撮影センサー１５と、撮影センサー１５の出力データに基づいて画像を表示する表示部４０と、を備える撮影装置であって、表示部４０における画像の表示周期はセンサー周期のＮ倍（Ｎは２以上の整数）であり、表示開始ラインから表示終了ラインまで表示する際の表示走査期間はセンサー周期のＮ倍の表示周期における表示走査期間よりも短い撮影装置であると見なすことができる。例えば、図２に示すように、表示部４０における画像の表示周期ＴDVはセンサー周期ＴSVの２倍であるが、本実施形態においてはΔＭのマージンが設けられているため、データアクティブ信号DDactiveがアクティブになっている表示走査期間は、センサー周期ＴSVの２倍の表示周期での表示走査期間よりも短い。このため、本実施形態において、少なくとも同期化後は、表示部４０における画像の表示周期がセンサー周期の２倍であり、表示走査期間はセンサー周期の２倍の表示周期における表示走査期間よりも短い撮影装置の例である。
【００９７】
さらに、本実施形態にかかる撮影装置１は、所定のセンサー周期で被写体を撮影する撮影センサー１５と、撮影センサー１５の出力データに基づいて画像を表示する表示部４０と、を備える撮影装置であって、利用者によって所定の操作が行われた場合、表示部４０はセンサー周期のＮ倍（Ｎは２以上の整数）よりも短い表示周期で画像を表示し、その後、センサー周期のＮ倍の表示周期で画像を表示する、撮影装置であると見なすことができる。
【００９８】
すなわち、表示の準備の遅れは画像データ生成部２０における画像処理が遅れることによって生じるが、当該画像処理の遅れは種々の要因で発生する。例えば、歪曲収差補正やオートフォーカス調整、ホワイトバランス調整など、特定の画像処理が要因となって発生する場合がある。そして、これらの表示の遅れの原因となる画像処理は利用者が所定の操作を行った場合に実行されやすい。例えば、歪曲収差補正は、利用者が撮影装置１のズームリングを利用してレンズ１１を駆動し、焦点距離の変更操作を行った場合に実行されやすい。すなわち、焦点距離が変わると撮影センサー１５に結像する被写体の像の範囲が変化するため、歪曲の程度が変化する。このように歪曲の程度が変化すると、画像データ生成部２０において歪曲収差補正を行って１表示ラインの画像データを生成するために使用される撮影ライン数が変化し、焦点距離の変更前後で１ライン当たりの画像処理の速度が変化し得る。
【００９９】
オートフォーカス調整が行われる場合、撮影センサー１５の出力データまたは当該出力データから生成された画像データがオートフォーカス調整のために取得され、合焦しているか否かの判定が行われる。従って、オートフォーカス調整が行われると、一時的に撮影装置１内のリソース（メモリ間の伝送帯域や演算能力）がオートフォーカス調整のために多く使用される。この結果、画像データ生成部２０において画像データを生成するための処理が遅れ、表示の準備の遅れが発生し得る。ホワイトバランス調整など、他の画像処理も同様であり、特定の画像処理が行われる場合に表示の準備の遅れが発生し得る。
【０１００】
歪曲収差補正は、利用者が撮影装置１のズームリングを利用してレンズ１１を駆動し、焦点距離の変更指示部で焦点距離の変更を指示する操作を行った場合に実行されやすい。また、オートフォーカス調整は、利用者が操作部５５のシャッターボタンを半押しすることによって合焦を指示する操作を行った場合に実行される。さらに、ホワイトバランス調整は、撮影装置１の向きを急変させる操作を行った場合に実行されやすい。そして、これらの画像処理に起因して表示の準備の遅れが発生すると、表示部４０が、一時的に、センサー周期のＮ倍よりも短い表示周期で画像を表示するが、やがて当該遅れが吸収される。従って、その後、表示の準備の遅れが発生せずに安定化すると、表示部４０はセンサー周期のＮ倍の表示周期で画像を表示することができる。
【０１０１】
例えば、利用者によるズームリングの操作等によって、図４に示すように、ｘフレーム目において表示周期が期間ＴASとなり、撮影センサー１５のセンサー周期ＴSVと表示部４０の表示周期とが同期していない状態が生じたとしても、（ｘ＋１）フレーム目まで考慮すると、次の垂直同期信号DVsyncの出力タイミングｔ6は、撮影センサー１５のセンサー周期ＴSVと表示部４０の表示周期とが同期していていると見なすことができる。従って、本実施形態にかかる撮影装置１は、利用者によって所定の操作が行われた場合に、初期のフレームにおいては表示部４０の表示周期が短くなり、徐々にセンサー周期のＮ倍の表示周期に収束する撮影装置であると見なすことができる。
【０１０２】
なお、本実施形態は、所定のセンサー周期で被写体を撮影する撮影センサー１５と、撮影センサー１５の出力データから生成された画像データに基づいて画像を表示する表示部４０と、を備える撮影装置であって、画像データの生成速度が通常の速度よりも遅れた場合に、表示部４０はセンサー周期のＮ倍（Ｎは２以上の整数）よりも短い表示周期で画像を表示し、画像データの生成速度が通常の速度である場合に、センサー周期のＮ倍の表示周期で画像を表示する、撮影装置であると見なすこともできる。
【０１０３】
（５）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、所定のラインの画像を表示可能になった場合に１フレーム分の画像の表示を開始する限りにおいて、他にも種々の実施形態を採用可能である。例えば、所定のラインは１ライン目に限定されず、他のラインであってもよい。
【０１０４】
また、マージンΔＭを垂直同期信号DVsyncより前のフロントポーチの前後に設ける構成以外にも種々の構成を採用可能である。例えば、マージンΔＭを垂直同期信号DVsyncより後のバックポーチの前後に設けてもよいし、水平同期信号DHsyncにおけるフロントポーチまたはバックポーチの前後に設けてもよい。一定のタイミングで水平同期期間が形成される構成において、任意のタイミングの水平同期期間を有効化または無効化することでマージンΔＭの長さを可変にする構成としてもよい。この構成は、例えば、任意の垂直同期期間内における表示をデータイネーブル信号のオンまたはオフによって有効化または無効化する構成等によって実現可能である。
【０１０５】
さらに、画像データ生成部２０が実行する画像処理としては、種々の処理を想定可能であり、上述の補間処理等の一部が実行される構成であってもよいし、他の処理が実行される構成であってもよい。さらに、同期後の表示部４０の表示周期は、撮影センサー１５のセンサー周期のＮ倍であればよく、１／６０secと１／１２０secとに限定されない。
【０１０６】
さらに、上述の実施形態においては、ＶＲＡＭ５１に４フレーム分の画像データが蓄積可能であったが、むろん、より少ないフレームまたはより多くのフレームについての画像データが蓄積可能であってもよい。さらに、ライン進捗情報の態様としては、種々の態様を採用可能であり、１フレーム内でのライン数を示す情報と撮影済のフレーム数を示す情報とによってライン進捗情報が定義されてもよいし、１フレーム内でのライン数を示す情報とフレーム数をＮで除した余りの数を示す情報でライン進捗情報が定義されてもよい。
【０１０７】
さらに、上述の実施形態においては、撮影センサー１５は、垂直同期信号SVsyncに応じて１フレーム分の出力データの出力を開始しているが、出力データの出力を、垂直同期信号SVsyncのＮ回に１回にしてもよい。
さらに、表示部４０はＥＶＦに限定されず、撮影装置１の背面に取り付けられた液晶ディスプレイ等であってもよい。また、本発明にかかる撮影装置は、スチルカメラに限定されず、ムービーカメラであっても良いし、他の装置、例えば、車両等に取り付けられる撮影装置やＨＵＤ（Head-Up Display）等であってもよい。むろん、双眼鏡や望遠鏡、顕微鏡等として使用される撮影装置であっても良い。また、表示部４０は液晶ディスプレイの他、ＯＬＥＤ（Organic Light-Emitting Diode）やプロジェクターにおける表示部であっても良い。
【符号の説明】
【０１０８】
１…撮影装置、１０…光学系、１１…レンズ、１２…絞り、１３…シャッター、１４…ローパスフィルター、１５…撮影センサー、２０…画像データ生成部、２１…画像データ出力部、３０…表示部タイミングジェネレーター、３０…表示部タイミングジェネレーター、３０ａ…表示制御部、３１…センサータイミングジェネレーター、４０…表示部、４１…液晶パネルドライバー、４２…液晶パネル、５０…ＣＰＵ、５１…ＶＲＡＭ、５２…ＳＤ−ＲＡＭ、５３…ＲＯＭ、５４…ＲＡＭ、５５…操作部
【図１】
0006578677.tif 000002
【図２】
0006578677.tif 000003
【図３】
0006578677.tif 000004
【図４】
0006578677.tif 000005
【図５】
0006578677.tif 000006