(57)【要約】【課題】電子ズーム時における表示遅延を低減し、かつ安定して表示することを可能にした撮像装置を提供する。【解決手段】撮影した画像の画像データを出力する撮像部と、撮像部から出力された画像データを記憶するメモリと、メモリに記憶した画像データに拡大処理を施す変倍部と、変倍部により拡大処理された画像データを表示する表示部とを有する撮像装置において、変倍部により変倍される領域の画像データのメモリへの書き込みが、当該領域の画像データのメモリからの読み出しに追い越されないように、撮像部から画像データを出力するための同期信号を生成する。【選択図】図１
2017092734.tif 000002
【特許請求の範囲】
【請求項１】
撮像した画像の画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データを記憶する記憶手段と、
前記記憶手段に記憶した画像データに拡大処理を施す変倍手段と、
前記変倍手段により拡大処理された画像データを表示する表示手段と、
前記変倍手段により変倍される領域の画像データの前記記憶手段への書き込みが、当該領域の画像データの前記記憶手段からの読み出しに追い越されないように、前記撮像手段から画像データを出力するための同期信号を生成する同期信号生成手段と
を有することを特徴とする撮像装置。
【請求項２】
前記同期信号生成手段は、表示のために前記記憶手段から読み出される画像データの読み出し速度を前記表示手段の画面のサイズに応じて変更し、前記撮像手段からの画像データの書き込みを開始するための同期信号と、前記変倍手段への画像データの読み出しを開始するための同期信号との位相差が、前記変倍手段により変倍される領域の画像データの前記記憶手段への書き込みが、当該領域の画像データの前記記憶手段からの読み出しに追い越されない位相差となるよう前記同期信号を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記同期信号生成手段は、前記位相差のために、前記撮像手段からの画像データの書き込みを開始するための同期信号を早めることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記同期信号生成手段は、前記位相差のために、前記変倍手段への画像データの読み出しを開始するための同期信号を遅らせることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記同期信号生成手段は、表示のために前記記憶手段から読み出される画像データの読み出し速度を前記表示手段の画面のサイズに応じて変更し、前記撮像手段からの画像データの書き込みを開始するための同期信号と、前記変倍手段への画像データの読み出しを開始するための同期信号との位相差を一定に保ち、前記変倍手段により変倍される領域の画像データの前記記憶手段への書き込みが、当該領域の画像データの前記記憶手段からの読み出しに追い越されないよう、前記撮像手段からの前記記憶手段への画像データの書き込み速度を上げることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記撮像手段はフレームの単位で前記画像データを出力し、
前記領域の中心は前記フレームの中心と一致していることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像手段はフレームの単位で前記画像データを出力し、
前記領域の中心は前記フレームの中心と一致しているとは限らないことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項８】
前記画像データはラスター走査の順序で前記撮像手段から出力され、かつ前記表示手段により表示され、前記同期信号生成手段は、前記画像データの少なくとも副走査方向の同期信号を、前記変倍手段により変倍される領域に応じて生成することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記同期信号生成手段は、前記画像データの少なくとも主走査方向の同期信号も、前記変倍手段により変倍される領域に応じて生成することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
撮像した画像の画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データを記憶する記憶手段と、
前記記憶手段に記憶した画像データに拡大処理を施す変倍手段と、
前記変倍手段により拡大処理された画像データを表示する表示手段とを有する撮像装置において、
前記変倍手段により変倍される領域の画像データの前記記憶手段への書き込みが、当該領域の画像データの前記記憶手段からの読み出しに追い越されないように、前記撮像手段から画像データを出力するための同期信号を生成することを特徴とする撮像装置の制御方法。
【請求項１１】
撮像した画像の画像データを出力する撮像手段を有するコンピュータを、
前記撮像手段から出力された前記画像データを記憶する記憶手段と、
前記記憶手段に記憶した画像データに拡大処理を施す変倍手段と、
前記変倍手段により拡大処理された画像データを表示する表示手段と、
前記変倍手段により変倍される領域の画像データの前記記憶手段への書き込みが、当該領域の画像データの前記記憶手段からの読み出しに追い越されないように、前記撮像手段から画像データを出力するための同期信号を生成する同期信号生成手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に電子ズームを行う撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
従来、撮像した画像や外部から伝送された画像をリアルタイムで表示する場合に、撮像のタイミングに対して表示のタイミングが遅いと、素早い被写体の動きに追従して記録することが困難になる等の課題があった。上記の課題に対し、画像の入力に対して表示のタイミングの遅れ（表示遅延）を低減する技術が開示されている。
【０００３】
例えば、特許文献１では伝送された画像を低遅延で表示する技術が開示されている。特許文献１において、第１の算出部が、画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出し、第２の算出部が、許容遅延時間以下の遅延時間で書き込まれた画像の書込み開始時刻から、画像の表示を開始する表示タイミングまでに少なくとも要する必要時間を算出し、比較部が、許容遅延時間と必要時間とを比較し、表示調整部が、比較部の比較結果に基づいて表示タイミングを調整し、表示制御部が、調整後の表示タイミングに同期して画像を表示させることにより、表示遅延を低減している。
【０００４】
また、表示遅延を低減するメモリアクセスの方法に関して、追い越し制御に関する技術が開示されている。追い越し制御では、同じメモリ領域に対してデータの読み出しが書き込みを追い越さないように所定の遅延量を持たせてメモリアクセス制御を行うことにより、メモリアクセスによる遅延量を低減することが可能になる。
【０００５】
例えば、特許文献２では、同じメモリ領域に対してデータの読み出しが書き込みを追い越さないように所定の遅延量を持たせ、遅延量が所定の範囲にない場合にアクセスアラームを出力し、読み出しを一時的に停止することで、読み出しが書き込みを追い越さないように制御を行っている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−２２２６４３号公報
【特許文献２】特開２００３−３２３３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
撮像装置における撮像および表示を行う場合、表示のフレームレートを一定に保つ必要がある。例えば時間的に大きさ、位置等が変化する物体を撮影していた場合に表示のフレームレートが変わってしまうと撮影された画像における被写体のスムーズな変化が阻害されてしまい、表示画像の見え方に違和感が出てしまう可能性がある。また、標準規格に基づく表示装置に接続されている場合など、表示フレームレートを変更することができない場合がある。特許文献１は表示のタイミングを調整することで表示遅延の低減を図っているが、上記の理由により撮像装置においては開示された従来技術を適応させることは困難である。
【０００８】
電子ズーム時は、画像の一部を拡大して表示する場合、読み出しの領域は書き込みの領域を一部切り出す形になる。よって電子ズーム時に同じメモリ領域に対してデータの書き込みと読み出しを行う場合は、電子ズームが無い場合よりも読み出しが可能になるタイミングが遅くなる場合がある。この遅くなる量が、通常の追い越し制御の技術で設定している書き込みと読み出し間の所定の遅延量を超えた場合、表示遅延量が不安定になる場合があった。これにより画像の一部でフレームの更新が間に合わず、以前のフレームで読み出した画像が表示されることにより、電子ズームを用いていない時の所定の遅延量では表示画像が破綻する可能性があった。一方、電子ズーム時に表示画像を破綻させないためには必要以上の遅延量を設ける必要があるため表示遅延が増大する問題があった。
【０００９】
本発明の目的は、電子ズーム時における表示遅延を低減し、かつ安定して表示することを可能にした撮像装置及びその制御方法を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明は以下の構成を有する。
撮影した画像の画像データを出力する撮像手段と、
前記撮像手段から出力された前記画像データを記憶する記憶手段と、
前記記憶手段に記憶した画像データに拡大処理を施す変倍手段と、
前記変倍手段により拡大処理された画像データを表示する表示手段と、
前記変倍手段により変倍される領域の画像データの前記記憶手段への書き込みが、当該領域の画像データの前記記憶手段からの読み出しに追い越されないように、前記撮像手段から画像データを出力するための同期信号を生成する同期信号生成手段と
を有することを特徴とする撮像装置。
【発明の効果】
【００１１】
本発明によれば電子ズーム時における表示遅延を低減し、かつ安定して表示することを可能にした。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態の画像の読み書きのタイミングを表す図
【図２】第１の実施形態の機能ブロック図
【図３】第１の実施形態の通常時の画像の読み書きの領域と表示領域を説明する図
【図４】第１の実施形態の拡大時の画像の読み書きの領域と表示領域を説明する図
【図５】第２の実施形態の通常時の画像の読み書きのタイミングを表す図
【図６】第３の実施形態の通常時の画像の読み書きのタイミングを表す図
【図７】第４の実施形態の通常時の画像の読み書きのタイミングを表す図
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる画像の読み書きのタイミングを表す図である。
【００１４】
［実施形態１］
＜撮像装置の構成＞
以下、図１〜図５を参照して、本発明の第1の実施形態による、撮像装置について説明する。図２は、第１の実施形態の機能ブロック図である。図２において、撮像センサー２００は、不図示の光学レンズ、絞り等を通過した光学像を電気信号に変換し、画像を生成する。画像処理手段２０１は、撮像センサー２００から画像を入力し、ノイズ除去、ガンマ処理、補間処理、マトリクス変換、合成処理等の各種画像処理を施す。メモリ書き込み部２０２は画像処理部２０１により画像処理されたデータをメモリに書き込む。ＶＲＡＭ２０３Ａ、２０３Ｂは、メモリ書き込み部２０２により、それぞれ画像データが書き込まれる画像メモリである。メモリ書き込み部２０２はメモリ内に複数フレーム分のＶＲＡＭを生成することが出来る。本実施形態では説明の簡潔さのため、メモリ書き込み部２０２はそれぞれ１フレーム分の画像データをＶＲＡＭ２０３Ａ、２０３Ｂに交互に書き込む。メモリは本実施形態では画像信号を一時的に記憶する記憶部であり、揮発性メモリであるダイナミック・ランダム・アクセス・メモリ（DRAM）を使用するが、不揮発性メモリ等の他一時記憶手段を使用しても構わない。メモリ読み出し部２０４は、メモリ書き込み部２０２がＶＲＡＭ２０３Ａ、２０３Ｂに書き出された画像データを交互に読み出す。画像変倍部２０５は、メモリ読み出し部２０４により読み出された画像データの特定の領域に対して拡大処理を行う。表示部２０６は画像変倍部２０５により変倍された画像を不図示の表示デバイスに表示する。表示デバイスは液晶ディスプレイ、TVモニタ等既存のものを使用する。変倍部２０５による変倍は、本実施形態においては、拡大対象の領域のサイズを、表示デバイスの画面サイズに拡大するように実施される。
【００１５】
同期信号生成部２０７は、撮像及びライブビュー表示、再生表示のフレームレートを規定する同期信号を生成し、撮像センサー２００、表示部２０６、後述する変倍制御部２０８に同期信号を送る。なお本実施形態では、同期信号生成部２０７により、撮像センサー２００の画像読み出し速度も、画像変倍部２０５に入力される画像データの読み出し速度も制御される。またメモリ書き込みタイミング（メモリ書き込み速度）は、撮像センサー２００からの画像データの読み出し速度に同期し、メモリ読み出しタイミング（メモリ読み出し速度）は、表示のための画像データの出力に同期している。したがって撮像センサー２００の画像読み出し速度およびメモリ書き込み速度は、同期信号生成部２０７により生成される、撮像センサー２００の画像読み出しのための同期信号（たとえば画素単位の同期信号）のレートを上げることで達成される。これは他の実施形態も同様である。撮像センサー２００から画像処理部２０１に送られる画像信号の読み出しタイミングは同期信号生成部２０７によって制御される。具体的には画像読み出し開始タイミングや画像１フレームの読み出し期間などが制御できる。表示フレームレートは３０ｆｐｓ、６０ｆｐｓ等の規格等で規定される一定のレートである。変倍制御部２０８は、ユーザーが電子ズームを指定した場合に、同期信号生成部２０７から送られる同期信号を受けてフレームレート単位で拡大率と拡大領域を決定する。また本実施形態では、撮像部２００の走査順序と表示部２０６の走査順序とは一致しているものとし、たとえばいずれもラスター走査順である。
【００１６】
図３を参照して、電子ズームを用いない場合のメモリの読み書きとレート制御について説明する。画像領域３００は撮像センサー２００から入力されメモリ書き込み部２０２により書き出される画像領域を表している。書き込み走査３０１はメモリ書き込み部２０２による書き込みの走査を表しており、ラスター処理により上端から下端方向に書き込みを行う。画像領域３１０はメモリ読み出し部２０４により読み出される画像領域を表している。読み出し走査３１１はメモリ読み出し部２０４による読み出しの走査を表しており、書き込みの走査３１１と同様にラスター走査である。表示３２０は表示部２０６による表示を表している。本実施形態では表示３２０のサイズは読み出しの画像領域３１０と同じサイズとする。表示走査３２１は表示部２０６による表示の走査を表しており、書き込みの走査３１１と同様にラスター走査により表示処理を行う。
【００１７】
図３において、表示の走査３２１は表示デバイスで規定された画像サイズおよびレートで処理を行う必要がある。書き込みの走査３０１は、表示の走査３２１のレート処理を満たすようにタイミング合わせて各処理を行う。電子ズームを行っておらず、表示３２０と読み出しの画像サイズ３１０とが同じ場合は、読み出しの走査３０１と表示の走査３２１は同じレートで処理することができる。一方書き込みのレートに関しては、後述の図１で述べるように撮像センサー同期信号に合わせたレートで書き込みを行う。上記のように書き込みと読み出しそれぞれを一定のレートで処理する場合、書き込みの走査３０１と読み出し走査３１１は所定の遅延時間を持って少しタイミングをずらし、同じメモリ領域に対して読み出しと書き込みのアクセスを同時に行う制御が可能となる。
【００１８】
＜画像データの読み書きタイミング＞
本実施形態におけるメモリ書き込み部２０２とメモリ読み出し部２０４による画像の読み書きのタイミングについて、図１を参照して説明する。図１において、（ａ）は電子ズームを用いない場合、（ｂ）は電子ズームを用いた場合の読み書きのタイミングを表している。またそれぞれにおいて横軸は時刻、縦軸は画像の水平ラインの垂直位置を表しており、矢印の方向に下端から上端のラインを表している。図１（ａ）において、撮像センサー同期信号１００は一定間隔で発生される撮像センサー２００の同期信号を表しており、同期信号生成部２０７によって生成される。メモリ書き込みタイミング１０１は、メモリ書き込み部２０２によるメモリ書き込みタイミングを表している。メモリ書き込み部２０２は、撮像センサー同期信号１００のタイミングに従って、画像の上端から下端に向けてライン単位でメモリへ書き込む。一定の間隔で存在している表示同期信号１０２は、同期信号生成部２０７によって生成される表示部２０６の同期信号を表している。メモリ読み出しタイミング１０３は、メモリ読み出し部２０４によるメモリ読み出しタイミングを表している。メモリ読み出し部２０４は、表示同期信号２０２に従って、画像の上端から下端に向けてライン単位でメモリから読み出す。領域１０４はメモリ読み出し部２０４が読み出す垂直方向の画像の領域を表している。図１（ａ）では読み出し、書き込み共に画像の上端から下端までアクセスしている。
【００１９】
周期１０５は撮像センサー同期信号１００の周期を示している。周期１０６は表示同期信号１０２の周期を示している。図１（ａ）においては撮像センサー同期信号１００の周期１０５と表示同期信号１０２の周期１０６とは同じだが、整数比で異なっていても構わない。例えば撮像センサー同期信号１００が表示同期信号１０２に対して２倍のフレームレートの場合は、表示同期信号１０２は撮像センサー同期信号１００に対して２倍の間隔で同期信号が生成されることになる。上記の場合は、メモリ読み出し部２０４はメモリ書き込み部２０２が書き込むフレームに対して、１フレームずつ間引いて読み出せばよい。
【００２０】
位相差１０７は撮像センサー同期信号１００と表示同期信号１０２の位相差であり、同期信号生成部２０７における所定の遅延量を示す。図１（ａ）においては、遅延量１０７を持たせることで、画像の読み出しタイミング１０３が書き込みタイミング１０１を追い越さないようにすることができる。所定の遅延量１０７は同期信号生成部２０７によって制御される。
【００２１】
図１（ｂ）は電子ズームを用いて画像を拡大した場合を示している。電子ズームによって生じる拡大処理により画像全体ではなく画像の一部の領域を読み出す。領域１１８はメモリ読み出し部２０４が読み出す垂直方向の画像の領域を表している。中心１１９は拡大の中心である。図１（ｂ）では拡大の中心１１９は画像の中心と同じ位置を示している。このとき、表示部２０６が表示する画像は拡大画像のため、読み出す領域は画像の全体ではなく一部となる。メモリ読み出し部２０４は、電子ズームを用いない場合には図１（ａ）の画像領域１０４を、電子ズームで拡大した場合は図１（ｂ）の１１９を中心として画像領域１１８を読み出す。読み出しタイミング１１３は、拡大対象の部分領域を、全体画像と同じサイズ及びフレームレートで表示するために、（画像の拡大対象の部分領域）／（全体画像）の比で、電子ズームを用いない場合の読み出しタイミング１０３を低下させたものである。なお図１で示すタイミングは画面の副走査方向について示しているが、電子ズームでは通常主走査方向についても拡大されるため、主走査方向についてもその読み出しレートは副走査方向の読み出しレートと同様に低下されている。
【００２２】
電子ズームで最大に拡大した状態が図１（ｂ）に示す状態であるとした場合、図１（ｂ）における画像の読み出しタイミング１１３が書き込みタイミング１１１を追い越さないことを保証するための、撮像センサー同期信号１１０に対する表示同期信号１１２の遅延量を位相差１１７とする。この位相差１１７を確保するため同期信号生成部２０７は撮像センサー同期信号１００のタイミングを繰り上げ時間１２０だけ早め、タイミング１１０とする。繰り上げ時間１２０は、電子ズームを用いない場合の、撮像センサー同期信号１００に対する表示同期信号１０２の位相差１０７を、確保したい位相差１１７から差し引いた値である。換言すると、電子ズームを用いた場合に、表示のために最初に読み出す画像上の位置に相当する画像信号が、その読み出しタイミングの一定時間（たとえば位相差１１７）前に書き込まれているように、繰り上げ時間１２０は決められる。これにより読み出しタイミング１１３が書き込みタイミング１１１を追い越さないことを保証することができる。
【００２３】
電子ズームの倍率が最大でない場合、図１（ｂ）の画像読み出し領域１１８は広くなり、メモリ読み出しタイミング１０３より傾きは大きくなる。そのため、その場合の繰り上げ時間１２０は、電子ズームの倍率が最大の場合の繰り上げ時間１２０よりも小さくてよい。ただし、これは拡大の中心１１９が画像の中心と一致している場合に限る。通常の電子ズームは光学ズームと同様に画像の中心と拡大の中心１１９とが一致している。しかし例えば拡大の中心を選択できる場合など、より一般的に拡張すると、繰り上げ時間１２０は、電子ズームを用いた表示の範囲の先頭の位置に応じて決定される。たとえば、表示の範囲の先頭位置が、その位置のメモリ読み出しタイミングよりも所定時間（例えば位相差１０７）だけ早いタイミングで書き込まれるよう、繰り上げ時間１２０は決定される。この場合、たとえば電子ズームを用いた表示の範囲の先頭の位置を書き込むタイミングが、そのフレームの先頭を書き込むタイミングから時間ｔｒ遅延しているものとすると、繰り上げ時間１２０は時間ｔｒに設定することができる。時間ｔｒは、例えば、書き込みタイミング１１１の傾き（すなわち書き込み速度）と、表示の範囲の先頭ラインの位置とから決めることができる。
【００２４】
以上により、表示同期信号１０２、１１２のタイミングは一定周期となるため表示のフレームレートは一定となり、かつ遅延時間を最小限に低減させることができる。
【００２５】
＜メモリの読み出し及び書き込みのレート制御＞
図４を参照して、電子ズームを用いた場合のメモリの読み書きとレート制御について説明する。画像領域４００は撮像センサー２００から入力されメモリ書き込み部２０２により書き出される画像領域を表している。書き込み走査４０１はメモリ書き込み部２０２による書き込みの走査を表しており、ラスター処理により上端から下端方向に書き込みを行う。画像領域４１０はメモリ書き込みと同じメモリにおける、読み出し画像領域を表している。読み出し領域４１０は電子ズームを行う場合の読み出し領域、読み出し走査４１１は読み出しの走査を表している。表示４４０は表示部２０６による表示を表している。表示走査４４１は表示部２０６による表示の走査を表しており、ラスター走査により表示処理を行う。画像変倍部２０５は画像領域４１０の画像サイズを表示画像領域４４０の画像サイズに拡大する。
【００２６】
先に述べた通り、表示の走査４４１は表示デバイスで指定された（あるいは表示デバイスについて所定の）領域およびレートで処理を行う必要がある。図４で示す通り、読み出し画像領域４１０のサイズと表示画像領域４４０のサイズとが異なっているため、読み出しの走査レート、および表示の走査レートはそれぞれ異なる。図１（ｂ）で示されるように、読み出しの走査は表示の走査に対して開始のタイミングは同じだが、読み出しの走査のほうが低速度となる。ここで速度とは例えば時間当たり読み出される或いは表示される原画像データの画素数あるいはライン数で表される。一方で読み出しのタイミングは走査のタイミングの開始とほぼ同じであるため、図４の読み出し画像領域４１０において、読み出しタイミングが書き込みの走査４０１を追い越すことが無いだけの位相差１１７が必要となる。
【００２７】
上述したように、電子ズームの倍率によって保障すべき撮像センサー同期信号１００と表示同期信号１０２の位相差１０７を、撮像センサー同期信号１００のタイミングを同期信号１１０のタイミングに早めて、撮像センサー同期信号１００と表示同期信号１０２と位相差を位相差１１７とする。こうすることで、電子ズーム倍率が変わった場合においても画像の読み出しタイミング１０３、１１３が書き込みタイミング１０１、１１１を追い越さないことを保証でき、また表示同期信号１０２、１１２のタイミングは電子ズーム倍率によらず一定とすることができるため、表示フレームレートを一定にして安定させ、かつ遅延時間を短縮することが可能となる。
【００２８】
なお本実施形態では、撮像センサー同期信号１００を表示同期信号１０２に対して早めるとして説明したが、両者の間のタイミングは相対的なものであり、表示同期信号１０２を撮像センサー同期信号１００のタイミングに対して遅らせるということもできる。
【００２９】
主走査方向に関しては、図３の副走査方向のタイミング制御を、主走査方向についても同様に適用することで、拡大対象の領域への画像データの書き込みが、その領域の画像データの読み出しにより追い越されることを防止できる。この場合には「ライン」は例えば「ピクセル」に読み替えられ、副走査方向についての同期信号は主走査方向の対応する同期信号に、読み出し・書き込みのタイミングも副走査方向のタイミングから主走査方向のタイミングに読み替えられるべきである。あるいは、主走査方向については、副走査方向のような制御をおこなわなくとも、たとえば1ライン分のラインバッファを用意しておき、ＶＲＡＭに書き込まれた画像データを表示する際にはいったんＶＲＡＭから表示対象のラインを読み出してラインバッファに格納し、そのラインバッファから拡大対象の領域を主走査方向の同期信号に同期して読み出して表示する構成としてもよい。このような構成とすれば、読み出しタイミングが書き込みタイミングに追い越されることを防止できる。これは第１実施形態ほか、他の実施形態についても適用できる。もちろんこれは一例にすぎず、他の方法方を適用して主走査方向の画像データのメモリへの書き込みタイミングと表示タイミングとを調整してもよい。これは他の実施形態についても同様である。
【００３０】
［実施形態２］
以下、図５を用いて、本発明の第２の実施形態による撮像装置について説明する。第１の実施形態との違いは、第１の実施形態では、電子ズーム倍率に応じて撮像センサー同期信号のタイミングを早めることを特徴としていたが、第２の実施形態では、電子ズーム倍率に応じて撮像センサー同期信号のタイミングは固定とし撮像読み出し速度を速める点が特徴である。実施形態２では、電子ズーム拡大の場合でも撮像センサーの読み出し開始タイミングは一定周期とするという視点で制御を行う。
【００３１】
本実施形態におけるメモリ書き込み部２０２とメモリ読み出し部２０４による画像の読み書きのタイミングについて、図５を参照して説明する。図５において、（ａ）は電子ズームを用いない場合、（ｂ）は電子ズームを用いた場合の読み書きのタイミングを表している。またそれぞれにおいて横軸は時刻、縦軸は画像の水平ラインの垂直位置を表している。縦軸は、矢印の方向に下端から上端のラインを表している。図５（ａ）において、一定間隔で存在している撮像センサー同期信号５００は、同期信号生成部２０７によって生成される撮像センサー２００の同期信号を表している。メモリ書き込みタイミング５０１は、メモリ書き込み部２０２によるメモリ書き込みタイミングを表している。メモリ書き込み部２０２は、撮像センサー同期信号５００のタイミングに従って、画像の上端から下端に向けてライン単位でメモリへ書き込む。一定の間隔で存在している表示同期信号５０２は、同期信号生成部２０７によって生成される表示部２０６の同期信号を表している。メモリ読み出し部２０４は、表示同期信号２０２に従ってメモリからの画像データの読み出しを開始し、メモリ読み出しタイミング５０３に従って画像の上端から下端に向けてライン単位でメモリから読み出す。領域５０４はメモリ読み出し部２０４が読み出す垂直方向の画像の領域を表している。図５（ａ）では読み出し、書き込み共に画像の上端から下端までアクセスされている。書込み期間５０７は、撮像センサー同期信号５００から開始した書き込みタイミング５０１が画像の下端のラインまで到達して１フレームの書き込みが終了するまでの書き込み期間である。また書き込み期間５０７は撮像センサー２００からの画像データ読み出し期間でもある。つまり、書き込みタイミング５０１の傾きがメモリ書き込み速度、および撮像センサー２００からの画像読み出し速度を表しており、速度が速い場合に傾きは急となり期間５０７は短期間となる。逆にメモリ書き込み速度、および撮像センサー２００からの画像読み出し速度が遅い場合は、傾きは緩やかとなり期間５０７は長くなる。
【００３２】
図５（ａ）においては、所定遅延量を持たせることで、画像の読み出し５０３が書き込み５０１を追い越さないようにしている。所定の遅延量は同期信号生成部２０７によって制御される。図５（ａ）の電子ズーム無しの場合の実施形態は第１の実施形態の図１（ａ）と同じである。
【００３３】
次に図５（ｂ）について説明する。図５（ｂ）は電子ズームで拡大した場合を示している。電子ズームによって生じる拡大処理により画像全体ではなく一部の領域を読み出す。領域５１８はメモリ読み出し部２０４が読み出す垂直方向の画像の領域を表している。中心５１９は拡大の中心である。図５（ｂ）では画像の中心と同じ位置の場合を示している。このとき、表示部２０６が表示する画像は拡大画像のため、読み出す領域は画像の全体ではなく一部となる。メモリ読み出し部２０４は、電子ズームを用いない場合には図５（ａ）の画像領域５０４を、電子ズームで拡大した場合は図５（ｂ）の中心５１９を中心として画像領域５１８を読み出す。
【００３４】
電子ズームで拡大したときが図５（ｂ）とした場合、図５（ｂ）における画像の読み出しタイミング５１３が書き込みタイミング５１１を追い越さないことを保証できる分だけ、同期信号生成部２０７は撮像センサー２００の画像読み出し速度を速め画像読み出し期間５１７を短縮する。メモリへの書き込みタイミング５１１も撮像センサー２００の画像読み出し速度に同期して早める。これにより画像書き込み処理５０１の書き込み期間５０７は、書き込み処理５１１において５１７に期間短縮され、読み出しタイミング５１３が書き込みタイミング５１１を追い越さないことを保証することができる。
【００３５】
電子ズームの倍率が最大でない場合、図５（ｂ）の画像読み出し領域５１８は広くなり、メモリ読み出しタイミング５０３の傾きはより大きくなる（急になる）ため、書き込み期間は書き込み期間５０７より短くなり、書き込み期間５１７よりは長くなる。
【００３６】
以上により、電子ズーム倍率に従って同期信号生成部２０７による撮像センサー２００からの画像読み出し速度及びメモリへの画像データの書き込みタイミング（すなわち書き込みレート）を速めて撮像センサーからの画像読み出し期間およびメモリへの書き込み期間５０１、５１１を短縮する。こうすることで、画像の読み出しタイミング５０３、５１３が書き込みタイミング５０１、５１１を追い越さないように保障できるため、撮像センサー同期信号１００と表示同期信号１０２のタイミングは電子ズーム倍率によらず一定とすることができ、撮像から表示までの遅延時間を安定させ、かつ遅延時間を最小限に低減させることが可能となる。
【００３７】
ただし、本実施形態の方法には制限がある。たとえば図５（ｂ）の領域５１８の上端のラインを読み出すタイミング（すなわち表示同期信号のタイミング）が、そのラインの表示対象部分の画像データを書き込むタイミングよりも後である必要がある。撮像センサー２００からの画像読み出し速度及びメモリへの画像データの書き込み速度にはおのずと限界があり、その限界まで速度を高めても上記条件が満たされるように、電子ズーム倍率すなわち拡大対象の領域が決定されるか、あるいは位相差７０７が決定される必要がある。
【００３８】
主走査方向に関しては、図５の副走査方向のタイミング制御を、主走査方向についても同様に適用することで、拡大対象の領域への画像データの書き込みが、その領域の画像データの読み出しにより追い越されることを防止できる。この場合には「ライン」は例えば「ピクセル」に読み替えられ、副走査方向についての同期信号は主走査方向の対応する同期信号に、読み出し・書き込みのタイミングも副走査方向のタイミングから主走査方向のタイミングに読み替えられるべきである。
【００３９】
［実施形態３］
以下、図６を用いて、本発明の第３の実施形態による撮像装置について説明する。第１の実施形態との違いは、第１の実施形態では、電子ズームの中心が画像の中心であるとしていたが、第３の実施形態では、電子ズームの中心が画像の中心以外であってもよいことにある。第１の実施形態では電子ズームの倍率に応じ撮像センサー同期信号１００のタイミングを早める時間を決めたが、第３の実施形態では電子ズームの倍率のみでなく電子ズームの中心位置についても考慮した遅延量に従い撮像センサー同期信号のタイミングを決める点が特徴である。図６（ａ）（ｂ）（ｃ）は電子ズームの中心位置がことなる場合のメモリ書き込み部２０２とメモリ読み出し部２０４による画像の読み書きのタイミングを説明した図である。図６（ａ）は電子ズームの中心が画像の中心の場合、図６（ｂ）は電子ズームの中心が画像の中心より上にある場合、図６（ｃ）は電子ズームの中心が画像の中心より下にある場合の例を示す。
【００４０】
図６（ａ）において、撮像センサー同期信号６００は一定間隔で存在している。書き込みタイミング６０１はメモリ書き込み部２０２による書き込みタイミングを表している。表示同期信号６０２は一定間隔で存在している。メモリ読み出しタイミング６０３はメモリ読み出し部２０４によるメモリ読み出しタイミングを表している。領域６０４は書き込み部２０２によって書き込まれる垂直方向の画像の領域を表している。書き込みタイミング６０１で画像の上端から下端までメモリに書き込んでいる。
【００４１】
図６（ａ）の画像領域６０８はメモリ読み出し部２０４による読み出される垂直方向の画像領域を表している。中心６０９は電子ズームの中心であり、図６（ａ）では書き込まれた画像領域６０４の中心と一致している。この場合、同期信号生成部２０２は繰り上げ時間６０５だけ撮像センサー同期信号６００を早める制御を行い、メモリ読み出しタイミング６０３がメモリ書き込みタイミング６０１を追い越さないことを保証する。このとき、撮像センサー同期信号６００に対する表示同期信号６０２の位相差は遅延量６０７である。
【００４２】
図６（ｂ）の画像領域６１８はメモリ読み出し部２０４により読み出される垂直方向の画像領域を表している。中心６１９は電子ズームの中心である。読み出し領域６１８は図６（ａ）の読み出し領域６０８より画像領域６０４の上端側に寄っている。また電子ズームの中心６１９も画像領域６０４の中心および図６（ａ）の電子ズームの中心６０９より上に位置している。つまり電子ズームの中心、および領域が画像の上端側に寄っているケースを示している。この場合、同期信号生成部２０２は繰り上げ時間６１５だけ撮像センサー同期信号６１０を早める制御を行い、メモリ読み出しタイミング６１３がメモリ書き込みタイミング６１１を追い越さないことを保証する。このとき、撮像センサー同期信号６１０に対する表示同期信号６１２の位相差は遅延量６１７である。
【００４３】
図６（ｃ）の画像領域６２８はメモリ読み出し部２０４により読み出される垂直方向の画像領域を表している。中心６２９は電子ズームの中心である。読み出し領域６２８は図６（ａ）の読み出し領域６０８より画像領域６０４の下端側に寄っている。また電子ズームの中心６２９も画像領域６０４の中心および図６（ａ）の電子ズームの中心６０９より下に位置している。つまり電子ズームの中心、および領域が画像の下端側に寄っているケースを示している。この場合、同期信号生成部２０２は繰り上げ時間６２５だけ撮像センサー同期信号６２０を早める制御を行い、メモリ読み出しタイミング６２３がメモリ書き込みタイミング６２１を追い越さないよう保証する。このとき、撮像センサー同期信号６２０に対する表示同期信号６２２の位相差は遅延量６２７である。
【００４４】
以上のように、電子ズーム領域すなわち電子ズームの倍率および電子ズーム中心位置によって、同期信号生成部２０２は撮像センサー同期信号６００のタイミングを適宜必要な時間だけ早めることにより、画像の読み出し６０３が書き込み６０１を追い越さないよう制御することができ、かつ撮像センサー同期信号６００に対する表示同期信号６０２の遅延量を最小限に制御することができる。
【００４５】
以上のように、電子ズームで拡大する画像領域が元の画像のどの部分であっても、その電子ズーム対象の画像領域のうち最も早く読み出される部分が、その読み出しタイミングよりも早いタイミングで書き込まれているよう、撮像センサー同期信号を早めて、画像信号のメモリへの書き込みを行う。撮像センサー同期信号の繰り上げ時間は、たとえば元の撮像センサー同期信号のタイミングから、表示対象の領域の先頭のラインの書き込みが完了するまでの時間を推定し、その時間を繰り上げ時間とすればよい。画像データの書き込みレートをＷ（ライン／単位時間）とし、表示対象の先頭のラインを元画像の先頭ラインからｎ番目のラインとすれば、ｎ／Ｗが繰り上げ時間となる。逆に、電子ズームで拡大する画像領域が元の画像のどの部分であっても、その電子ズーム対象の画像領域のうち最も早く読み出される部分が、その読み出しタイミングよりも早いタイミングで書き込まれているよう、表示同期信号を遅らせて、画像信号のメモリからの読み出しを行う。この場合の読み出しタイミングの繰り延べ時間もｎ／Ｗとなる。
【００４６】
主走査方向に関しては、図６の副走査方向のタイミング制御を、主走査方向についても同様に適用することで、拡大対象の領域への画像データの書き込みが、その領域の画像データの読み出しにより追い越されることを防止できる。この場合には「ライン」は例えば「ピクセル」に読み替えられ、副走査方向についての同期信号は主走査方向の対応する同期信号に、読み出し・書き込みのタイミングも副走査方向のタイミングから主走査方向のタイミングに読み替えられるべきである。
【００４７】
なお、実施形態３は、画像の上端から下端方向に走査した場合であり下端から上端に走査した場合はこれと逆となるが同様に撮像センサー同期信号６００のタイミングを決定することができる。
【００４８】
［実施形態４］
以下、図７を用いて、本発明の第４の実施形態による、撮像装置について説明する。第２の実施形態との違いは、第２の実施形態では、電子ズームの中心が画像の中心であることを例としていたが、第４の実施形態では、電子ズームの中心が画像の中心以外もある点にある。第２の実施形態では電子ズームの倍率に応じ撮像センサー２００からの画像読み出し速度をどれだけ速め画像読み出し期間を短縮するか決めたが、第４の実施形態では電子ズームの倍率のみでなく電子ズームの中心位置を考慮し撮像センサーの画像読み出し速度、画像読み出し期間を決める点が特徴である。図７（ａ）（ｂ）（ｃ）は電子ズームの中心位置がことなる場合のメモリ書き込み部２０２とメモリ読み出し部２０４による画像の読み書きのタイミングを説明した図である。図７（ａ）は電子ズームの中心が画像の中心の場合、図７（ｂ）は電子ズームの中心が画像の中心より上にある場合、図７（ｃ）は電子ズームの中心が画像の中心より下にある場合の例を示す。
【００４９】
図７（ａ）の撮像センサー同期信号７００は一定間隔で存在している。書き込みタイミング７０１はメモリ書き込み部２０２による書き込みタイミングを表している。表示同期信号７０２は一定間隔で存在している。メモリ読み出しタイミング７０３はメモリ読み出し部２０４によるメモリ読み出しタイミングを表している。領域７０４は書き込み部２０２によって書き込まれる垂直方向の画像の領域を表している。書き込みタイミング７０１で画像の上端から下端までアクセスしている。
【００５０】
図７（ａ）の画像領域７０８はメモリ読み出し部２０４による読み出される垂直方向の画像領域を表している。中心７０９は電子ズームの中心であり、図７（ａ）では書き込まれた画像領域７０４の中心である。この場合、同期信号生成部２０２は撮像センサー２００からの画像読み出し速度を制御し、撮像センサー２００からの画像読み出し期間すなわち読み出した画像データのメモリ書き込み期間を期間７０５とし、メモリ読み出し７０３がメモリ書き込み７０１を追い越さないことを保証する。このとき、撮像センサー同期信号７００に対する表示同期信号７０２の位相差は位相差７０７であり、電子ズーム倍率、電子ズーム中心位置によらず一定にすることができる。
【００５１】
図７（ｂ）の画像領域７１８はメモリ読み出し部２０４による読み出される垂直方向の画像領域を表している。中心７１９は電子ズームの中心である。読み出し領域７１８は図７（ａ）の読み出し領域７０８より画像領域７０４の上端側に寄っている。また電子ズームの中心７１９も画像領域７０４の中心および図７（ａ）の電子ズームの中心７０９より上に位置している。つまり電子ズームの中心、および領域が画像の上端側に寄っているケースを示している。この場合、同期信号生成部２０２は撮像センサー２００からの画像読み出し速度を制御し、画像読み出し期間すなわちメモリ書き込み期間を期間７１５とし、メモリ読み出しタイミング７１３がメモリ書き込みタイミング７１１を追い越さないことを保証する。このとき、撮像センサー同期信号７１０に対する表示同期信号７１２の位相差は位相差７１７であり、電子ズーム倍率、電子ズーム中心位置によらず一定にすることができる。
【００５２】
図７（ｃ）の画像領域７２８はメモリ読み出し部２０４により読み出される垂直方向の画像領域を表している。中心７２９は電子ズームの中心である。読み出し領域７２８は図６（ａ）の読み出し領域７０８より画像領域７０４の下端側に寄っている。また電子ズームの中心７２９も画像領域７０４の中心および図７（ａ）の電子ズームの中心７０９より下に位置している。つまり電子ズームの中心、および領域が画像の下端側に寄っているケースを示している。この場合、同期信号生成部２０２は撮像センサー２００からの画像読み出し速度を制御し、画像読み出し期間すなわちメモリ書き込み期間を期間７２５とし、メモリ読み出し７２３がメモリ書き込み７２１を追い越さないことを保証する。このとき、撮像センサー同期信号７２０に対する表示同期信号７２２の位相差は位相差７２７であり、電子ズーム倍率、電子ズーム中心位置によらず一定にすることができる。
【００５３】
以上のように、電子ズームで拡大する画像領域が元の画像のどの部分であっても、その電子ズーム対象の画像領域のうち最も早く読み出される部分が、その読み出しタイミングよりも早いタイミングで書き込まれているよう、撮像センサー２００からの画像信号の読み出しレートおよびメモリ書き込みレートを上げて、画像信号のメモリへの書き込みを行う。なおこれらレートは同一の値として、以下の説明ではメモリ書き込みレートと呼ぶ。メモリ書き込みレートを上げる程度は、たとえば元の撮像センサー同期信号のタイミングと元のメモリ書き込みレートとから、表示対象の領域の先頭のラインの書き込みが完了するまでの書き込み完了タイミングを推定する。そして、その書き込み完了タイミングが表示同期信号よりも遅れているならば、少なくともその遅れ時間分だけ書き込み完了タイミングが繰り上がるように、メモリ書き込みレートを上げればよい。たとえば、元の画像データの書き込みレートをＷ（ライン／単位時間）とし、表示対象の先頭のラインを元画像の先頭ラインからｎ番目のラインとする。この場合、ｎ／Ｗが、撮像センサー同期信号からｎ番目のラインを書き込むまでの所要時間となる。撮像センサー同期信号と表示同期信号との初期の位相差７０７の値をＴｐとすれば、ｎ／Ｗ≦ＴｐとなるようにＷを決めればよい。すなわちＷ≧ｎ／Ｔｐとすればよい。なお、メモリ書き込みレートには上限があるので、拡大率を最大とし、拡大対象の領域をもっとも下の位置とした場合（すなわちｎを最大とした場合）のＷmax≧ｎ／Ｔｐが、メモリ書き込みレートの上限を超えないようにＴｐを決めておく必要がある。
【００５４】
主走査方向に関しては、図７の副走査方向のタイミング制御を、主走査方向についても同様に適用することで、拡大対象の領域への画像データの書き込みが、その領域の画像データの読み出しにより追い越されることを防止できる。この場合には「ライン」は例えば「ピクセル」に読み替えられ、副走査方向についての同期信号は主走査方向の対応する同期信号に、読み出し・書き込みのタイミングも副走査方向のタイミングから主走査方向のタイミングに読み替えられるべきである。
【００５５】
以上のように、電子ズーム領域すなわち電子ズームの倍率および電子ズーム中心位置によって、同期信号生成部２０２は撮像センサー２００からの画像読み出し速度（及びメモリへの画像データの書き込み速度）を制御することで、画像の読み出しタイミング７０３が書き込みタイミング７０１を追い越さないよう制御することができ、かつ撮像センサー同期信号７００に対する表示同期信号７０２の遅延量を一定でかつ最小限に低減することができる。
【００５６】
なお、実施形態４は、画像の上端から下端方向に走査した場合であり下端から上端に走査した場合はこれと逆となるが同様に撮像センサー２００からの画像読み出し速度を制御することができる。これにより画像の読み出し７０３が書き込み７０１を追い越さないよう制御し撮像センサー同期信号７００に対する表示同期信号７０２の遅延量を一定かつ最小限に低減することができる。
【００５７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００５８】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
１００  撮像センサー同期信号、１０１  メモリ書き込みタイミング、１０２  表示同期信号、１０３  メモリ読み出しタイミング、１０４  画像の垂直方向の読み出し領域（通常時）、１０５  撮像センサー同期信号の周期、１０６  表示同期信号の周期、１０７  撮像センサー同期信号と表示同期信号の位相差（遅延量）、１１８  画像の垂直方向の読み出し領域（拡大時）、１１９  拡大の中心
【図１】
2017092734.tif 000003
【図２】
2017092734.tif 000004
【図３】
2017092734.tif 000005
【図４】
2017092734.tif 000006
【図５】
2017092734.tif 000007
【図６】
2017092734.tif 000008
【図７】
2017092734.tif 000009