(57)【要約】【課題】  撮像画像をその場で表示する際に、画質の劣化を抑制することと、表示のタイミングの遅延を抑制することとの双方を実現する。【解決手段】  ＤＲＡＭ１１１に対する１フレーム分の画像データの書き込みを終了するタイミングと当該１フレーム分の画像データのＤＲＡＭ１１１からの読み出しを終了するタイミングとの時間差分ｍが閾値ｎよりも大きい場合には、イメージセンサ１０２から読み出された全画素の画像データを用いる。一方、この時間差分ｍが閾値ｎよりも小さい場合には、イメージセンサ１０２から間引いて読み出された画像データを用いる。【選択図】  図１
2017005538.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像された画像データの、前記撮像手段からの読み出しの方法を制御する制御手段と、
前記撮像手段により撮像された画像データを処理する処理手段と、
前記処理手段により処理された画像データを記憶手段に書き込む書き込み手段と、
前記書き込み手段により前記記憶手段に書き込まれた画像データを読み出す読み出し手段と、
前記読み出し手段により読み出された画像データに基づく画像を表示手段に表示させる表示処理手段と、を有し、
前記制御は、前記撮像手段により撮像された画像データを前記記憶手段に書き込むタイミングから、当該画像データを前記記憶手段から読み出すタイミングまでの時間が、前記撮像手段からの読み出しの方法を変更する前よりも大きくなるように、前記撮像手段からの読み出しの方法を変更する制御を含むことを特徴とする画像処理装置。
【請求項２】
前記撮像手段により撮像された画像データを前記記憶手段に書き込むタイミングから、当該画像データを前記記憶手段から読み出すタイミングまでの時間と閾値とを比較する比較手段をさらに有し、
前記制御手段は、前記時間が閾値よりも小さい場合には、前記時間が閾値よりも大きい場合よりも少ない画素のデータが前記読み出し手段により読み出される方法を、前記撮像手段からの読み出しの方法として選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像手段からの読み出しの方法は、前記撮像手段により撮像された画像データのうち、一部の画素のデータのみを読み出す方法を含み、
前記制御手段は、前記時間が閾値よりも小さい場合には、前記一部の画素のデータのみを読み出す方法を、前記撮像手段からの読み出しの方法として選択することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像手段からの読み出しの方法は、前記撮像手段により撮像された画像データのうち、複数の画素のデータを加算したデータを当該複数の画素を代表する１つの画素のデータとして読み出す方法を含み、
前記制御手段は、前記時間が閾値よりも小さい場合には、前記複数の画素のデータを加算したデータを当該複数の画素を代表する１つの画素のデータとして読み出す方法を、前記撮像手段からの読み出しの方法として選択することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記撮像手段からの読み出しの方法は、さらに、前記撮像手段により撮像された画像データのうち、全ての画素のデータを読み出す方法を含み、
前記制御手段は、前記時間が閾値よりも大きい場合には、前記全ての画素のデータを読み出す方法を、前記撮像手段からの読み出しの方法として選択する請求項２〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記比較手段は、前記撮像手段により撮像された１フレーム分の画像データの前記記憶手段への書き込みが終了したタイミングから、当該１フレーム分の画像データの前記記憶手段からの読み出しが終了したタイミングまでの時間と閾値とを比較することを特徴とする請求項２〜５の何れか１項に記載の画像処理装置。
【請求項７】
撮像手段により撮像された画像データの、前記撮像手段からの読み出しの方法を制御する制御工程と、
前記撮像手段により撮像された画像データを処理する処理工程と、
前記処理工程により処理された画像データを記憶手段に書き込む書き込み工程と、
前記書き込み工程により前記記憶手段に書き込まれた画像データを読み出す読み出し工程と、
前記読み出し工程により読み出された画像データに基づく画像を表示手段に表示させる表示処理工程と、を有し、
前記制御は、前記撮像手段により撮像された画像データを前記記憶手段に書き込むタイミングから、当該画像データを前記記憶手段から読み出すタイミングまでの時間が、前記撮像手段からの読み出しの方法を変更する前よりも大きくなるように、前記撮像手段からの読み出しの方法を変更する制御を含むことを特徴とする画像処理方法。
【請求項８】
請求項１〜６の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、撮像画像を表示するために用いて好適なものである。
【背景技術】
【０００２】
現在、ミラーレス等の撮像装置の種類が増えるに伴い、ファインダーに用いる方式として、それまで主流であったＯＶＦ（Ｏｐｔｉｃａｌ  Ｖｉｅｗ  Ｆｉｎｄｅｒ）から、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ）に変わりつつある。ＯＶＦを用いる場合には、レンズから入ってきた光をレフレックスミラーで反射させた後、ペンタミラーやペンタプリズム等で反射（屈折）させ、ＯＶＦに表示させる。一方、ＥＶＦを用いる場合には、レンズから入ってきた光の情報をイメージセンサで読み取り、小型のＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等に像として表示させる。また、ＥＶＦでは、イメージセンサからの直接の信号が表示されるため、１００％の視野率が確保される。また、ＥＶＦを用いる場合には、表示用の画像処理が行われるため、暗い被写体を補正したり、マニュアルピント調整の時に被写体を拡大して表示したりすることも可能になる。その反面、ＥＶＦを用いる場合には、表示用の画像処理の影響で、表示に遅延が発生する。このような表示の遅延が生じると、特に早く動作する被写体の撮影時に、ＥＶＦに表示される画像と、撮像された画像とが大きく乖離する虞がある。
【０００３】
このような表示の遅延を抑制する技術として、特許文献１に記載の技術がある。特許文献１では、画像データを撮像するフレームレートよりも高速なフレームレートでイメージセンサを駆動する。そして、記録用の画像データを生成する際には、全画素をイメージセンサから読み出し、ＥＶＦへの表示用の画像データを生成する際には、複数画素を加算してイメージセンサから読み出す。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−６５３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、ＥＶＦへの表示用の画像データを生成する際には、常に複数の画素を加算して読み出す。したがって、加算して読み出された画素の信号を用いて後段の画像処理を行うことになる。よって、解像度の低い画像で画像処理を行うことになる。その結果、ＥＶＦに表示される画像の画質の劣化を伴う。
本発明は、このような問題点に鑑みてなされたものであり、撮像画像をその場で表示する際に、画質の劣化を抑制することと、表示のタイミングの遅延を抑制することとの双方を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、撮像手段により撮像された画像データの、前記撮像手段からの読み出しの方法を制御する制御手段と、前記撮像手段により撮像された画像データを処理する処理手段と、前記処理手段により処理された画像データを記憶手段に書き込む書き込み手段と、前記書き込み手段により前記記憶手段に書き込まれた画像データを読み出す読み出し手段と、前記読み出し手段により読み出された画像データに基づく画像を表示手段に表示させる表示処理手段と、を有し、前記制御は、前記撮像手段により撮像された画像データを前記記憶手段に書き込むタイミングから、当該画像データを前記記憶手段から読み出すタイミングまでの時間が、前記撮像手段からの読み出しの方法を変更する前よりも大きくなるように、前記撮像手段からの読み出しの方法を変更する制御を含むことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像画像をその場で表示する際に、画質の劣化を抑制することと、表示のタイミングの遅延を抑制することとの双方を実現することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成の第１の例を示す図である。
【図２】画像データを読み出す方法の第１の例を説明する図である。
【図３】画像データの書き込みと読み出しのタイミングの第１の例を示す図である。
【図４】画像データの書き込みと読み出しのタイミングの第２の例を示す図である。
【図５】撮像装置の処理の第１の例を説明するフローチャートである。
【図６】撮像装置の構成の第２の例を示す図である。
【図７】画像データを読み出す方法の第２の例を説明する図である。
【図８】撮像装置の処理の第２の例を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施形態を、添付の図面に基づいて詳細に説明する。
（第１の実施形態）
まず、第１の実施形態を説明する。
図１は、撮像装置１００の構成の一例を示すブロック図である。尚、撮像装置１００は、例えば、デジタルカメラまたはデジタルビデオカメラである。また、図１では、撮像装置１００の構成のうち、本実施形態の説明に必要な構成のみを示す。撮像装置１００は、図１に示す構成要素以外にも、撮像装置が備える公知の構成要素を備える。
【００１０】
図１において、撮像装置１００は、レンズ１０１、イメージセンサ１０２、センサー間引き部１０３、選択部１０４、およびＣＰＵ１０５を有する。さらに撮像装置１００は、現像処理部１０６、１１０、ＤＲＡＭ１０７、１１１、記録処理部１０８、表示処理部１１２、記録メディア１０９、および表示装置１１３を有する。
【００１１】
現像処理部１０６〜記録メディア１０９のパスは、撮像された画像を記録するための信号処理を行う記録パスである。一方、現像処理部１１０〜表示装置１１３のパスは、撮像された画像をその場で表示するための信号処理を行う表示パスである。
【００１２】
以下に、撮像装置１００の処理の一例を説明する。
レンズ１０１から入力された画像は、イメージセンサ１０２で結像され、光電変換される。さらにイメージセンサ１０２は、光電変換された画像信号をＡ／Ｄ変換してデジタルの画像データにする。画像データをイメージセンサ１０２から読み出す方法には、データを通常通りに読み出す方法と、間引いてデータを読み出す方法がある。図２は、画像データをイメージセンサ１０２から読み出す方法の一例を説明する図である。図２（ａ）は、データを通常通りに読み出す方法の一例を説明する図である。図２（ｂ）は、間引いてデータを読み出す方法の一例を説明する図である。尚、撮像装置の本体に対し鏡筒レンズを取り外し可能とし、レンズ１００およびイメージセンサ１０２を鏡筒レンズに配置してもよい。
【００１３】
データを通常通りに読み出す方法では、図２（ａ）に示すように、イメージセンサ１０２のライン２０１〜２１０の全ての画素の画像データを読み出す。イメージセンサ１０２から出力される全画素の画像データは、不図示のバッファに格納されると共に選択部１０４に出力される。
【００１４】
一方、間引いてデータを読み出す方法では、センサー間引き部１０３は、例えば、図２（ｂ）に示すように、奇数ラインのみの画像データを読み出す。すなわち、センサー間引き部１０３は、図２（ａ）においてライン２０１、２０３、２０５、２０７、２０９に相当する、ライン２０１´、２０３´、２０５´、２０７´、２０９´の奇数ラインのみの画像データを読み出す。このようにデータを通常通りに読み出す方法から間引いてデータを読み出す方法に画像データの読み出し方法を変更することにより、画像の垂直方向の画素を１／２に圧縮して画像データを読み出すことができる。図２（ｂ）では、垂直方向の画素を１／２に圧縮して画像データを読み出す方法を例に挙げて示す。しかしながら、画像データのうちの一部のデータを読み出していれば、圧縮率は１／２に限定されない。例えば、４ラインにつき１ラインの画像データを読み出すことで、垂直方向の画素を１／４に圧縮して画像データを読み出すこともできる。また、垂直方向に加えてまたは代えて、水平方向についても、以上の手法と同様の手法で画素を圧縮することができる。センサー間引き部１０３により間引かれて読み出された画像データは、選択部１０４に出力される。尚、センサー間引き部１０３の機能をイメージセンサ１０２が有していてもよい。
【００１５】
選択部１０４は、ＣＰＵ１０５からの指示に基づいて、データを通常通りに読み出す方法と、間引いてデータを読み出す方法との何れを採用するのかを選択する。データを通常通りに読み出す方法を選択した場合、選択部１０４は、イメージセンサ１０２から出力された全画素の画像データを現像処理部１０６と現像処理部１１０の双方に出力する。一方、間引いてデータを読み出す方法を選択した場合、選択部１０４は、まず、センサー間引き部１０３から出力された間引き後の画像データを現像処理部１１０に出力する。その後、選択部１０４は、イメージセンサ１０２から出力された全画素の画像データを現像処理部１０６に出力する。このように本実施形態では、例えば、選択部１０４とＣＰＵ１０５を用いることにより制御手段が実現される。
【００１６】
現像処理部１０６〜記録メディア１０９のパス（記録パス）における処理の一例を説明する。現像処理部１０６は、歪曲補正およびホワイトバランスの調整など、記録する画像データに対して画像処理を行う。ＤＲＡＭ１０７は、現像処理部１０６で画像処理が行われた画像データを一時的に保存する。記録処理部１０８は、必要なタイミングでＤＲＡＭ１０７に保存されている画像データを読み出す。記録処理部１０８は、読み出した画像データを圧縮するなど、記録メディア１０９に保存するために適したフォーマットに変換する。記録メディア１０９は、ＳＤカードなどにより構成される記憶媒体の一例であり、撮像画像を保存する。
【００１７】
次に、現像処理部１１０〜表示装置１１３のパス（表示パス）における処理の一例を説明する。現像処理部１１０は、歪曲補正およびホワイトバランスの調整など、表示する画像データに対して画像処理を行う。ＤＲＡＭ１１１は、記憶手段の一例であり、現像処理部１１０で画像処理が行われた画像データを一時的に保存する。表示処理部１１２は、必要なタイミングでＤＲＡＭ１１１に保存されている画像データを読み出す。そして、表示処理部１１２は、読み出した画像データに対し、表示装置１１３の解像度に合わせるための拡大縮小処理や表示用のガンマ補正などを実施し、表示装置１１３に表示する。尚、表示装置１１３は、例えば、ＥＶＦ（電子ビューファインダー）またはＬＣＤである。また、本実施形態では、現像処理部１１０を用いることにより処理手段が実現される。さらに、現像処理部１１０を用いることにより書き込み手段が実現され、表示処理部１１２を用いることにより読み出し手段および表示処理手段が実現される。
【００１８】
現像処理部１１０における処理時間は、画像サイズや画柄などによって変化する。一方、表示処理部１１２における処理時間は、最終出力先である表示装置１１３の表示更新タイミングにより定まる。例えば、表示装置１１３がリフレッシュレート６０Ｈｚの表示装置である場合、表示処理部１１２は、１秒間に６０枚の画像を等間隔に出力できるように処理しなければならない。つまり、ＤＲＡＭ１１１へ１フレームの画像データを書き込む時間（ライト時間）は変化するが、ＤＲＡＭ１１１から１フレームの画像データを読み出す時間（リード時間）は一定に定まる。
【００１９】
図３は、ＤＲＡＭ１１１に対する画像データの書き込み（ライト）と読み出し（リード）のタイミングの第１の例を示す図である。図３の縦軸は、画像の垂直方向の位置（画像の水平方向のライン）を示す。図３の横軸は、時刻である。グラフ３０１は、現像処理部１１０によってＤＲＡＭ１１１に書き込まれる画像データの、画像上の位置と書き込みタイミングとの関係の一例を示す。図３に示す例では、画像の上端から下端に向けて順に画像データが書き込まれる。
【００２０】
グラフ３０２は、表示処理部１１２によってＤＲＡＭ１１１から読み出される画像データの、画像上の位置と読み出しタイミングとの関係の一例を示す。図３に示す例では、画像の上端から下端に向けて順に画像データが読み出される。つまり、グラフ３０１、３０２の傾きが大きいほど、画像データの書き込み（ライト）と読み出し（リード）を短い時間で行っていることを示す。垂直同期信号（ＶＤ）３１０がハイレベル（Ｈ）３１１になった時点でフレームが更新される。また、矢印線３２０は、イメージセンサ１０２から画像信号を読み出している時間を示す。尚、図３に示す状態では、全画素の画像データの読み出しが行われる。
【００２１】
前述のとおり現像処理部１１０がＤＲＡＭ１１１へ画像データを書き込み、表示処理部１１２がＤＲＡＭ１１１から画像データを読み出す。この手順が逆転、つまり、画像データの書き込みを画像データの読み出しが追い越すようなことがあれば、表示装置１１３には正常な画像が表示されなくなり、表示は破たんする。従来は、画像データの書き込み時の処理時間の変化の影響を受けないように時間差分３０３を十分に確保し、且つ、各フレームにおいて固定の時間にする。この時間差分は、ＤＲＡＭ１１１に対する１フレーム分の画像データの書き込みを終了するタイミングから、当該当該１フレーム分の画像データのＤＲＡＭ１１１からの読み出しを終了するタイミングまでの時間を意味する。これにより、表示の破たんは避けられるが、表示装置１１３における画像データの表示の遅延は大きくなる。
【００２２】
そこで、本実施形態では、以下のようにして、時間差分３０３を小さくしても、表示の破たんを抑制できるようにする。図４は、ＤＲＡＭ１１１に対する画像データの書き込み（ライト）と読み出し（リード）のタイミングの第２の例を示す図である。図４の縦軸および横軸は、図３と同じである。また、図４でも、図３と同様に、画像の上端から下端に向けて順に画像データの書き込みと読み出しが行われる場合を例に挙げて示す。
【００２３】
グラフ４０１は、現像処理部１１０によってＤＲＡＭ１１１に書き込まれる画像データの、画像上の位置と書き込みタイミングとの関係の一例を示す。グラフ４０２は、表示処理部１１２によってＤＲＡＭ１１１から読み出される画像データの、画像上の位置と読み出しタイミングとの関係の一例を示す。図４に示す例では、時間差分４０３、４０４、４０５、４０６がフレーム毎に異なる。その他、図３と同様に、垂直同期信号（ＶＤ）４１０がハイレベル（Ｈ）になった時点でフレームが更新される。また、矢印線４２０、４２１、４２２、４２３は、イメージセンサ１０２から画像信号を読み出している時間を示す。
【００２４】
まず、時間差分４０３（の設定値）を、図３に示す余裕を見て設定される時間差分３０３（の設定値）よりも小さい値に予め設定する。前述のとおり、表示処理部１１２によってＤＲＡＭ１１１から画像データを読み出す時間（リード時間）は表示装置１１３に依存する。このため、グラフ４０２は一定の傾きである。一方、現像処理部１１０によってＤＲＡＭ１１１に画像データを書き込む時間は、画像サイズや画柄などによって変化する。したがって、グラフ４１０の傾きは、フレーム毎（垂直同期信号（ＶＤ）がハイレベルになるまでの期間）毎に変化する。このため、時間差分は、フレーム毎に変化し得る。
【００２５】
そこで、本実施形態では、時間差分に対する閾値ｎを撮像装置１００に予め設定する。ＣＰＵ１０５は、垂直同期信号（ＶＤ）がハイレベルになる毎に時間差分ｍを監視する。
【００２６】
ＣＰＵ１０５は、時間差分ｍと閾値ｎとを比較し、時間差分ｍが閾値ｎよりも小さいと判定すると、イメージセンサ１０２からの画像データの読み出し方法の切り替えを選択部１０４に指示する。すなわち、ＣＰＵ１０５は、次のフレーム処理において、イメージセンサ１０２からの画像データの読み出し方法を、データを通常通りに読み出す方法から間引いてデータを読み出す方法に切り替えることを選択部１０４に指示する。図４においては、時間差分４０５は閾値ｎよりも小さいとする。
【００２７】
これにより、選択部１０４は、センサー間引き部１０３により間引かれた画像データを現像処理部１１０に出力する。したがって、イメージセンサ１０２から読み出す１フレーム当たりの画像データのデータ量が小さくなる。よって、イメージセンサ１０２からの画像データの読み出し時間は短くなり、現像処理部１１０での処理時間も短くなる（図４の矢印線４２３を参照）。このため、ＤＲＡＭ１１１へ１フレームの画像データを書き込む時間が短くなる（グラフ４０７を参照）。その結果、時間差分４０５が閾値ｎよりも小さくなったフレームの次のフレームでは、時間差分４０６がデータを読み出す方法を変更する前よりも大きくなる。よって、時間差分の設定値を従来よりも小さくしても、画像データの書き込みを画像データの読み出しが追い越すことを防止することができる。
【００２８】
次に、図５のフローチャートを参照しながら、表示装置１１３に対する画像の表示の遅延を低減するための撮像装置１００の制御処理の一例を説明する。
ステップＳ５０１において、ＣＰＵ１０５は、時間差分ｍに対する閾値ｎを設定する。尚、前述したように時間差分ｍは、ＤＲＡＭ１１１に対する１フレーム分の画像データの書き込みを終了するタイミングから、当該当該１フレーム分の画像データのＤＲＡＭ１１１からの読み出しを終了するタイミングまでの時間である。
【００２９】
次に、ステップＳ５０２において、ＣＰＵ１０５は、垂直同期信号（ＶＤ）がハイレベル（Ｈ）になるまで待機する。垂直同期信号（ＶＤ）がハイレベル（Ｈ）になると、ステップＳ５０３へ遷移する。ステップＳ５０３に遷移すると、ＣＰＵ１０５は、時間差分ｍを監視する。
【００３０】
次に、ステップＳ５０４において、ＣＰＵ１０５は、時間差分ｍが閾値ｎ未満であるか否かを判定する。この判定の結果、時間差分ｍが閾値ｎ未満である場合には、ステップＳ５０５に遷移する。ステップＳ５０５に遷移すると、ＣＰＵ１０５は、次のフレーム処理において、イメージセンサ１０２からの画像データの読み出し方法を、間引いてデータを読み出す方法にすることを選択部１０４に指示する。選択部１０４は、この指示に基づいて、センサー間引き部１０３により間引かれて読み出された画像データを現像処理部１１０に出力する。そして、後述するステップＳ５０７に遷移する。
【００３１】
ステップＳ５０４の判定の結果、時間差分ｍが閾値ｎ未満でない場合には、ステップＳ５０６に遷移する。ステップＳ５０６に遷移すると、ＣＰＵ１０５は、次のフレーム処理において、イメージセンサ１０２からの画像データの読み出し方法を、データを通常通りに読み出す方法にすることを選択部１０４に指示する。選択部１０４は、この指示に基づいて、イメージセンサ１０２から読み出された全画素の画像データを現像処理部１１０に出力する。そして、ステップＳ５０７に遷移する。
【００３２】
ステップＳ５０７に遷移すると、現像処理部１１０は、ステップＳ５０５またはＳ５０６で出力された画像データに対して画像処理を行い、ＤＲＡＭ１１１に一時的に保存する。そして、表示処理部１１２は、ＤＲＡＭ１１１に保存された画像データを所定のタイミングで読み出し、読み出した画像データに対して表示用の処理を行い、表示装置１１３に表示させる。
次に、ステップＳ５０８において、ＣＰＵ１０５は、表示装置１１３への表示を終了するか否かを判定する。この判定は、例えば、撮像装置１００に対するユーザの操作の結果に基づいて行われる。この判定の結果、表示装置１１３への表示を終了しない場合には、ステップＳ５０２に戻り、表示装置１１３への表示を終了するまでステップＳ５０２〜Ｓ５０８の処理を繰り返し行う。そして、表示装置１１３への表示を終了すると判定すると、図５のフローチャートによる処理を終了する。
【００３３】
以上のように本実施形態では、時間差分ｍが閾値ｎよりも大きい場合には、イメージセンサ１０２から読み出された全画素のデータを用いる。これにより、高い解像度の画像に対し現像処理を行うことで画質を保つことができる。一方、時間差分ｍが閾値ｎよりも小さい場合には、イメージセンサ１０２から間引いて読み出されたデータを用いる。これにより、低い解像度の画像に対し現像処理を行うため、画像データの書き込みを画像データの読み出しが追い越すことを抑制することができる。この場合、全画素の画像データを読み出す場合よりも、画像処理の負荷は軽くなるが、画質が低下する。しかし、時間差分ｍを小さくしつつ、間引いて読み出された画像データを用いる頻度が少なくなるような閾値ｎを設定することで、特許文献１のように常に複数画素を加算してイメージセンサから読み出す場合よりも画質が良くなる。以上のことから、撮像装置が備える画面にその場で表示される撮像画像の画質の劣化を抑制することと、その撮像画像の表示のタイミングの遅延を抑制することとの双方を実現することができる。これにより、例えは、ライブビューモード時の静止画撮影などにおいて撮影者が被写体を撮像装置で追いやすくなり、撮像装置の使い勝手が向上する。
【００３４】
尚、本実施形態では、ＤＲＡＭ１１１に対する１フレーム分の画像データの書き込みを終了するタイミングから、当該当該１フレーム分の画像データのＤＲＡＭ１１１からの読み出しを終了するタイミングまでの時間を時間差分として導出する場合を例に挙げた。しかしながら、時間差分は、ＤＲＡＭ１１１に対する、同一のデータの書き込みと読み出しのタイミングでの時間差であれば、書き込みおよび読み出しが終了するタイミングでの時間差に限定されない。
また、本実施形態では、時間差分ｍが閾値ｎよりも大きい場合には、全画素のデータを現像処理部１１０に出力する場合を例に挙げた。しかしながら、時間差分が閾値ｎよりも小さい場合の方が大きい場合よりも少ない画素のデータを現像処理部１１０に出力していれば、必ずしも全画素のデータを現像処理部１１０に出力しなくてもよい。
【００３５】
（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態では、画像データを間引いて読み出す場合を例に挙げて説明した。これに対し、本実施形態では、複数の画素のデータを加算して読み出す場合を例に挙げて説明する。このように本実施形態と第１の実施形態とは、画素を圧縮する手法が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付すなどして詳細な説明を省略する。
【００３６】
図６は、撮像装置６００の構成の一例を示すブロック図である。本実施形態の撮像装置６００は、第１の実施形態の撮像装置１００のセンサー間引き部１０３をセンサー加算部６０１に置き換えたものとなり、それ以外の撮像装置１００、６００の構成は同じもので実現できる。
【００３７】
本実施形態では、画像データをイメージセンサ１０２から読み出す方法には、データを通常通りに読み出す方法と、加算してデータを読み出す方法がある。図７は、画像データをイメージセンサ１０２から読み出す方法の一例を説明する図である。図７（ａ）は、データを通常通りに読み出す方法の一例を説明する図である。図７（ｂ）は、加算してデータを読み出す方法の一例を説明する図である。
【００３８】
データを通常通りに読み出す方法では、図７（ａ）に示すように、イメージセンサ１０２のライン７０１〜７１０の全ての画素の画像データを読み出す。イメージセンサ１０２から出力される全画素の画像データは、不図示のバッファに格納されると共に選択部１０４に出力される。データを通常通りに読み出す方法は、第１の実施形態（図２（ａ））と同じである。
【００３９】
一方、加算してデータを読み出す方法では、センサー加算部６０１は、例えば、図７（ａ）に示すライン７０１、７０２の縦に並んだ２つ画素のデータ７２０をアナログ的に加算し、図７（ｂ）に示すライン７０１´の画素のデータ７２０´として出力する。これを画面全体で実施する。これにより、ライン７０３、７０４に相当するライン７０３´、ライン７０５、７０６に相当するライン７０５´、ライン７０７、７０８に相当するライン７０７´、およびライン７０９、７０１に相当するライン７０９´の画像データが得られる。すなわち、第１の実施形態で説明した、間引いてデータを読み出す方法と同様に、画像の垂直方向を１／２に圧縮して画像データを読み出すことができる。
【００４０】
図７（ｂ）では、垂直方向の画素を１／２に圧縮して画像データを読み出す方法を例に挙げて示す。しかしながら、複数の画素のデータを加算し、それら複数の画素を代表する画素のデータとして読み出すようにしていれば、圧縮率は１／２に限定されない。例えば、４つのラインの縦に並んだ４つの画素のデータをアナログ的に加算することにより、垂直方向の画素を１／４に圧縮して画像データを読み出すこともできる。また、垂直方向に加えてまたは代えて、水平方向についても、以上の手法と同様の手法で圧縮することができる。センサー加算部６０１により、縦方向に並ぶ複数の画素のデータが加算されて読み出された画像データは、選択部１０４に出力される。尚、センサー加算部６０１の機能をイメージセンサ１０２が有していてもよい。また、本実施形態では、例えば、イメージセンサ１０２およびセンサー加算部６０１を用いることにより読み出し手段が実現される。
【００４１】
選択部１０４は、ＣＰＵ１０５からの指示に基づいて、データを通常通りに読み出す方法と、加算してデータを読み出す方法との何れを採用するのかを選択する。データを通常通りに読み出す方法を選択した場合、選択部１０４は、イメージセンサ１０２から出力された全画素の画像データを現像処理部１０６と現像処理部１１０の双方に出力する。一方、加算してデータを読み出す方法を選択した場合、選択部１０４は、まず、センサー加算部６０１から出力された加算後の画像データを現像処理部１１０に出力する。その後、選択部１０４は、イメージセンサ１０２から出力された全画素の画像データを現像処理部１０６に出力する。このように本実施形態では、例えば、ＣＰＵ１０５を用いることにより制御手段が実現される。
現像処理部１０６〜記録メディア１０９のパス（記録パス）は、第１の実施形態と同じである。現像処理部１１０〜表示装置１１３のパスは、第１の実施形態の説明において、間引いてデータを読み出す方法を、加算してデータを読み出す方法に置き換えることにより実現できる。したがって、これらの構成の詳細な説明を省略する。
【００４２】
図８は、表示装置１１３に対する画像の表示の遅延を低減するための撮像装置１００の制御処理の一例を説明するフローチャートである。
図８のフローチャートは、図５のフローチャートに対し、図５のフローチャートのステップＳ５０５をステップＳ８００に置き換えることにより実現され、その他のステップは、図５のフローチャートと同じステップで実現できる。したがって、ここでは、ステップＳ８００以外の詳細な説明を省略する。
【００４３】
ステップＳ５０４の判定の結果、時間差分ｍが閾値ｎ未満であると判定されると、ステップＳ８００に遷移する。尚、第１の実施形態で説明したように、時間差分ｍは、ＤＲＡＭ１１１に対する１フレーム分の画像データの書き込みを終了するタイミングから、当該当該１フレーム分の画像データのＤＲＡＭ１１１からの読み出しを終了するタイミングまでの時間である。
【００４４】
ステップＳ８００に遷移すると、ＣＰＵ１０５は、次のフレーム処理において、イメージセンサ１０２からの画像データの読み出し方法を、加算してデータを読み出す方法にすることを選択部１０４に指示する。選択部１０４は、この指示に基づいて、センサー加算部６０１により、複数の画素のデータが加算されて読み出された画像データを現像処理部１１０に出力する。そして、ステップＳ５０７に遷移する。
【００４５】
以上のように、複数の画素のデータを加算して読み出すことによっても、第１の実施形態で説明したのと同様の効果を得ることができる。
【００４６】
（第３の実施形態）
次に、第３の実施形態を説明する。第１、第２の実施形態では、時間差分ｍが閾値ｎ未満である場合に、間引き・加算を行い、そうでない場合に、間引き・加算を行わない場合を例に挙げて説明した。これに対し、本実施形態では、カメラ制御モードに応じて、間引き・加算を行うか否かを制御する場合について説明する。このように本実施形態と第１、第２の実施形態は、間引き・加算を行うか否かを判定する基準が主として異なる。したがって、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００４７】
本実施形態では、カメラ制御モードとして、画質重視モードと低表示遅延モードの２種類を選択することができる。画質重視モードは、表示される画像の画質を高めることを目的とするモードである。低表示遅延モードは、時間差分ｍが小さくなることを抑制することを目的とするモードである。
【００４８】
ＣＰＵ１０５は、カメラ制御モードが、画質重視モードおよび低表示遅延モードの何れであるかを判定する。この判定の結果、カメラ制御モードが低表示遅延モードである場合、ＣＰＵ１０５は、イメージセンサ１０２からの画像データの読み出し方法を、間引いてデータを読み出す方法にすることを選択部１０４に指示する。一方、カメラ制御モードが画質重視モードである場合には、ＣＰＵ１０５は、次のフレーム処理において、イメージセンサ１０２からの画像データの読み出し方法を、データを通常通りに読み出す方法にすることを選択部１０４に指示する。
【００４９】
以上のようにすれば、第１の実施形態で説明した効果に加え、ユーザの要望を反映させた記録・表示を行うことができる。
尚、第２の実施形態の手法を本実施形態に適用することもできる。この場合、前述した説明において、「間引いてデータを読み出す方法」を「加算してデータを読み出す方法」に置き換えればよい。
【００５０】
（第４の実施形態）
次に、第４の実施形態を説明する。第１〜第３の実施形態では、１フレームの画像の全ての領域について、間引き・加算を行う場合を例に挙げて説明した。これに対し、本実施形態では、１フレームの画像において、間引き・加算を行う領域と行わない領域とを設定する場合について説明する。このように、本実施形態と第１〜第３の実施形態とは、間引き・加算を行う領域が主として異なる。したがって、本実施形態の説明において、第１〜第３の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００５１】
前述したように、時間差分ｍが閾値ｎ未満である場合やカメラ制御モードが低表示遅延モードである場合、ＣＰＵ１０５は、イメージセンサ１０２からの画像データの読み出し方法を、間引いてデータを読み出す方法または加算してデータを読み出す方法にする。この際、例えば、１フレームの画像の垂直方向の相対的に中央の領域については、間引き・加算を行わず、そのままデータを読み出す。一方、１フレームの画像のその他の領域については、間引き・加算を行う。このようにするのは、一般的に画角の端の方が中央に比較して画質の低下が目立ちにくいためである。
以上のようにすれば、第１の実施形態で説明した効果に加え、１フレームの画像を複数のブロックに分けてブロックの単位で処理する場合においても、画質を出来るだけ維持しつつ表示の遅延を小さくすることができる。
【００５２】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００５３】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００５４】
１０２：イメージセンサ、１０３：センサー間引き部、１０４：選択部
【図１】
2017005538.tif 000003
【図２】
2017005538.tif 000004
【図５】
2017005538.tif 000005
【図６】
2017005538.tif 000006
【図７】
2017005538.tif 000007
【図８】
2017005538.tif 000008
【図３】
2017005538.tif 000009
【図４】
2017005538.tif 000010