(57)【要約】【課題】撮像素子が撮像した撮像データに基づく表示と記録との遅延を抑制する画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記憶媒体を提供する。【解決手段】画像処理装置は、撮像素子から取得した撮像データを、ビット深度に応じて第１データと第２データとに分割する分割手段と、第１データを記憶する第１メモリから読み出した第１データを、表示部に画像を表示させる表示制御手段に出力し、第１メモリから読み出した第１データと前記第２データを記憶する第２メモリから読み出した第２データとを結合したデータを記録媒体に記録させる記録制御手段に出力する出力手段と、を備える。【選択図】図２
2020005097.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から取得した撮像データを、ビット深度に応じて第１データと第２データとに分割する分割手段と、
前記第１データを記憶する第１メモリから読み出した前記第１データを、表示部に画像を表示させる表示制御手段に出力し、前記第１メモリから読み出した前記第１データと前記第２データを記憶する第２メモリから読み出した前記第２データとを結合したデータを記録媒体に記録させる記録制御手段に出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１メモリは前記第２メモリよりも伝送帯域が大きく、
前記第１データは、前記撮像データの上位ビットに対応するデータであり、前記第２データは、前記撮像データの下位ビットに対応するデータであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記上位ビットのビット数は、前記下位ビットのビット数よりも多いことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記分割手段は、前記撮像素子から所定の周期ごとに撮像データを取得し、
前記出力手段は、前記所定の周期において、前記第１データを２以上の所定回数で読み出し、前記第２データを前記所定回数よりも少ない回数読み出すことを特徴とする請求項１乃至３のうち何れか１項に記載の画像処理装置。
【請求項５】
前記出力手段が前記第１メモリから読み出した前記第１データを表示部に画像を表示させる表示制御手段に出力する期間と、前記出力手段が前記第１メモリから読み出した前記第１データと前記第２メモリから読み出した前記第２データとを結合したデータを前記記録制御手段に出力する期間との和が前記所定の周期以下になるように、前記出力手段は、前記第１データおよび前記第２データの一部を読み出し対象から削除することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記分割手段は、前記第１データを前記第１メモリに格納し、かつ、前記第２データを前記第２メモリに格納し、
前記出力手段が前記第１メモリから読み出した前記第１データを表示部に画像を表示させる表示制御手段に出力する期間と、前記出力手段が前記第１メモリから読み出した前記第１データと前記第２メモリから読み出した前記第２データとを結合したデータを前記記録制御手段に出力する期間との和が前記所定の周期以下になるように、前記分割手段は、前記第１データおよび前記第２データの一部を記憶対象から削除することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記表示制御手段による前記表示部への前記画像の表示が完了した後に、前記結合したデータの前記記録媒体への記録を開始させる制御を前記記録制御手段に対して行う、
ことを特徴とする請求項１乃至４のうち何れか１項に記載の画像処理装置。
【請求項８】
請求項１乃至請求項７のうち何れか１項に記載の画像処理装置と、
前記撮像素子と、
前記表示制御手段と、
前記表示部と、
前記記録制御手段と、
を備える撮像装置。
【請求項９】
前記撮像素子は、前記出力手段が前記第１メモリから読み出した前記第１データを表示部に画像を表示させる表示制御手段に出力する期間と、前記出力手段が前記第１メモリから読み出した前記第１データと前記第２メモリから読み出した前記第２データとを結合したデータを前記記録制御手段に出力する期間との和が所定の周期以下になるように、前記撮像データのデータサイズを調整することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
画像処理装置の制御方法であって、
撮像素子から取得した撮像データを、ビット深度に応じて第１データと第２データとに分割する工程と、
前記第１データを記憶する第１メモリから読み出した前記第１データを、表示部に画像を表示させる表示制御手段に出力し、前記第１メモリから読み出した前記第１データと前記第２データを記憶する第２メモリから読み出した前記第２データとを結合したデータを記録媒体に記録させる記録制御手段に出力する工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１１】
前記第１メモリは前記第２メモリよりも伝送帯域が大きく、
前記第１データは、前記撮像データの上位ビットに対応するデータであり、前記第２データは、前記撮像データの下位ビットに対応するデータであることを特徴とする請求項１０に記載の画像処理装置の制御方法。
【請求項１２】
前記上位ビットのビット数は、前記下位ビットのビット数よりも多いことを特徴とする請求項１１記載の画像処理装置の制御方法。
【請求項１３】
前記撮像素子から所定の周期ごとに撮像データを取得し、
前記所定の周期において、前記第１データを２以上の所定回数で読み出し、前記第２データを前記所定回数よりも少ない回数読み出すことを特徴とする請求項１０乃至１２のうち何れか１項に記載の画像処理装置の制御方法。
【請求項１４】
前記第１メモリから読み出された前記第１データを表示部に画像の表示にかかる期間と、前記第１メモリから読み出された前記第１データと前記第２メモリから読み出した前記第２データとを結合したデータの記録にかかる期間との和が前記所定の周期以下になるように、前記第１データおよび前記第２データの一部を読み出し対象から削除することを特徴とする請求項１３記載の画像処理装置の制御方法。
【請求項１５】
前記第１データを前記第１メモリに格納し、かつ、前記第２データを前記第２メモリに格納し、
前記第１メモリから読み出した前記第１データを表示部に画像を表示させる表示制御手段に出力する期間と、前記第１メモリから読み出した前記第１データと前記第２メモリから読み出した前記第２データとを結合したデータを前記記録制御手段に出力する期間との和が前記所定の周期以下になるように、前記第１データおよび前記第２データの一部を記憶対象から削除することを特徴とする請求項１３に記載の画像処理装置の制御方法。
【請求項１６】
前記表示制御手段による前記表示部への前記画像の表示が完了した後に、前記結合したデータの前記記録媒体への記録を開始させる制御を行う、
ことを特徴とする請求項１０乃至１３のうち何れか１項に記載の画像処理装置の制御方法。
【請求項１７】
請求項１０乃至１６のうち何れか１項に記載の画像処理装置の制御方法をコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１０乃至１６のうち何れか１項に記載の画像処理装置の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子が撮像した撮像データの表示および記録を行う画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
近年のデジタルカメラ等の撮像装置は、画素数の増加や静止画の連写コマ速度の高速化、動画フレームレートの向上が著しく、単位時間あたりのデータの処理量は増加している。デジタルカメラ等の撮像装置の内部の画像処理装置は、撮像素子が撮像したデータをＤＲＡＭ等のメモリに書き込む処理（キャプチャ）を行う。そして、画像処理装置は、メモリに書き込まれたデータを読み出して画像処理を行い、画像処理した画像をメディア等に記録するとともに、現時点でメモリに記憶している画像を、撮像装置の背面液晶ディスプレイに表示する。また、近年のミラーレスカメラ等においては、光学ビューファインダーに代わって、撮像装置は、現時点でメモリに記憶しているデータを電子ビューファインダーで表示している。
【０００３】
例えば、静止画の連写コマ速度が高速になると、撮像素子が撮像データを出力する出力速度は高速になる。撮像データの出力速度が高速になると、上述したキャプチャ時における単位時間あたりのデータの処理量は多くなり、ＤＲＡＭへのアクセス可能なデータ量（以下、伝送帯域）が、限界に近づく。ＤＲＡＭの伝送帯域が限界に近づくと、ＤＲＡＭにキャプチャされたデータを同時に読み出することができなくなり、表示出力ができなくなる。キャプチャされたデータが表示出力できなくなると、ディスプレイ表示がブラックアウトすることがあり、直近のキャプチャ画像の表示が継続表示されることもある。このため、撮影時において、撮影者がフレーミングし続けることに支障をきたしていた。以上のような問題に対し、特許文献１の技術が提案されている。この技術における画像処理装置は、複数フィールドの画像データに対して縮小処理を施して、表示処理用のデータを静止画記録中に生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２４３８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術では、撮像手段が出力した画像データをキャプチャすることなく、縮小処理を行い、表示用の画像データを静止画記録中に生成することが可能な構成（オンザフライ処理が可能な構成）となっている。しかしながら、例えば、撮像手段が高速に画像データを出力する場合、縮小処理回路は、撮像手段が出力した撮像データを高速に縮小処理する必要がある。縮小処理回路による処理速度が、撮像手段が撮像データを出力する速度に間に合わない場合、画像データの表示および記録に遅延を生じることになる。
【０００６】
本発明の目的は、撮像素子が撮像した画像データに基づく表示と記録との遅延を抑制する画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記憶媒体を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、撮像素子から取得した撮像データを、ビット深度に応じて第１データと第２データとに分割する分割手段と、前記第１データを記憶する第１メモリから読み出した前記第１データを、表示部に画像を表示させる表示制御手段に出力し、前記第１メモリから読み出した前記第１データと前記第２データを記憶する第２メモリから読み出した前記第２データとを結合したデータを記録媒体に記録させる記録制御手段に出力する出力手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮像した画像データに基づく表示と記録との遅延を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置としてのデジタルカメラの斜視図である。
【図２】第１実施形態に係る撮像装置の構成を示すブロック図である。
【図３】撮像制御部を含む撮像装置の一部を示す図である。
【図４】撮像データを分割する方式の一例を示す図である。
【図５】第１実施形態の処理の流れの一例を示すフローチャートである。
【図６】撮像素子の撮像シーケンスを示すタイミングチャートである。
【図７】第１実施形態を適用した場合における表示データと記録データの制御タイミングを示すタイミングチャートである。
【図８】１フレーム期間の間に、記録データの読み出しおよび記録メディアへの書き込みが完了しない場合のタイミングチャートである。
【図９】第２実施形態を適用した場合における表示データと記録データの制御タイミングを示すタイミングチャートである。
【図１０】クロップ出力画像データの例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。
【００１１】
＜第１実施形態＞
図１は、各実施形態に係る撮像装置（撮像装置２００）の一例としてのデジタルカメラ１０の斜視図である。デジタルカメラ１０には、背面側にＬＣＤ等の背面液晶ディスプレイ１２が設けられている。背面液晶ディスプレイ１２は、以下の表示デバイス２１０である。本実施形態の撮像装置は、デジタルカメラには限定されない。図２は、本実施形態に係る撮像装置２００の構成を示すブロック図である。撮像装置２００は、撮像素子２０１、撮像制御部２０４、バス２０５、ＤＲＡＭ２０６−１〜２０６−Ｎ、記録制御部２０７、記録メディア２０８、表示制御部２０９、表示デバイス２１０、ＣＰＵ２１１および操作ボタン２１２を有する。
【００１２】
撮像素子２０１は、ＣＯＭＳセンサ等の撮像素子である。撮像制御部２０４は、撮像素子２０１が出力した撮像データに対して、センサ起因による画像劣化の補正処理や欠陥画素補正等を行い、所定のフォーマットに変換した画像データを生成する画像処理装置である。撮像制御部２０４は、生成した画像データをバス２０５に出力する。撮像制御部２０４は、ＣＰＵ２１１の指示に従い、撮像データの露光から読み出しの同期を制御する撮像制御信号を生成し、撮像制御信号伝送路２０２を介して、撮像素子２０１に出力する。撮像素子２０１は、撮像した撮像データを、撮像伝送路２０３を介して、撮像制御部２０４に対して出力する。複数のＤＲＡＭ２０６−１〜２０６−Ｎ（Ｎは２以上の整数）は、バス２０５を介して、各種データを格納または保持するメモリである。以下、ＤＲＡＭ２０６−１〜２０６−Ｎを、ＤＲＡＭ２０６と総称することがある。例えば、ＣＰＵ２１１や撮像制御部２０４は、ＤＲＡＭ２０６に格納されたデータをリードし、ＤＲＡＭ２０６にデータをライトする。
【００１３】
記録制御部２０７は、撮像制御部２０４が出力したデータに対して、ＹＵＶ等の画像データに現像する処理や、光学系の補正処理を行い、記録メディア２０８に応じた記録フォーマットのデータ（記録データ）を生成する記録制御手段である。記録制御部２０７は、例えば、撮像制御部２０４から出力された画像データに対して所定の圧縮処理（ＪＰＥＧ圧縮等）を行い、記録メディア２０８に記録する制御を行う。記録メディア２０８は、記録制御部２０７が出力した記録データを最終的に格納する記録媒体であり、例えば、ＳＤカード等が適用される。
【００１４】
表示制御部２０９は、撮像制御部２０４が出力したデータを、表示デバイス２１０に応じたフォーマットに現像する処理や、表示デバイス２１０の出力サイズに合わせるためのリサイズ処理を行う。表示デバイス２１０は、表示制御部２０９が出力したデータを、一定の同期タイミングで表示する表示部であり、例えば、上述した背面液晶ディスプレイ１２が適用される。ＣＰＵ２１１は、撮像制御部２０４、各ＤＲＡＭ２０６、記録制御部２０７および表示制御部２０９に対して、制御指示を出力する。また、ＣＰＵ２１１は、操作ボタン２１２が押下されたことを検出する。操作ボタン２１２は、撮像装置２００の撮影ボタンである。
【００１５】
図３は、撮像制御部２０４を含む撮像装置２００の一部を示す図である。図３において、撮像制御部２０４の内部の一部のサブブロック、および当該サブブロックと周辺の各部との関係が示されている。撮像制御部２０４は、分割部２２０および出力部２２１を有する。分割部２２０は、撮像伝送路２０３から取得した撮像データを分割する分割手段である。図４は、分割部２２０が、撮像データを分割する方式の一例を示す図である。図４の例では、撮像素子２０１から取得した撮像データの中の各画素データのビット深度は１２ビットである。各画素データのビット深度は、１２ビット以外のビット深度であってもよい。分割部２２０は、１２ビットの画素データを、上位８ビットと下位４ビットとに分割する。分割部２２０が分割するビット数は、８ビットおよび４ビットには限定されない。分割された上位８ビットのデータ（上位ビットデータ）と下位４ビットのデータ（下位ビットデータ）とは、それぞれ異なるＤＲＡＭ２０６に格納される。図３に示されるように、分割部２２０は、分割した上位ビットデータを、データ経路１０１−１を介して、バス２０５に出力する。バス２０５に出力された上位８ビットのデータは、データ経路１０１−２を介して、ＤＲＡＭ２０６−１に格納される。また、分割部２２０は、分割した下位ビットデータを、データ経路１０２−１を介して、バス２０５に出力する。バス２０５に出力された下位ビットデータは、データ経路１０２−２を介して、ＤＲＡＭ２０６−２に格納される。
【００１６】
ＤＲＡＭ２０６−１は、例えば、３２ビットのデータ幅を採用した高帯域対応の第１のメモリである。ＤＲＡＭ２０６−１に、ビット数が多い上位８ビットのデータ（高帯域のビットデータ）が格納される。ＤＲＡＭ２０６−２は、例えば、１６ビットのデータ幅を採用した低帯域対応の第２のメモリである。ＤＲＡＭ２０６−２に、ビット数が少ない下位４ビットのデータ（低帯域のビットデータ）が格納される。ＤＲＡＭ２０６−１は、ＤＲＡＭ２０６−２よりも伝送帯域が広い。従って、分割部２２０は、各画素データのビット深度に応じて、ビット数の多い上位ビットデータである第１のデータと、上位ビットデータよりビット数が少ない下位ビットデータである第２のデータとに分割する。分割部２２０は、第１のデータ（上位ビットデータ）を、高帯域のＤＲＡＭ２０６−１に格納し、第２のデータ（下位ビットデータ）を、低帯域のＤＲＡＭ２０６−２に格納する。
【００１７】
ＤＲＡＭ２０６−１から読み出されたデータは、データ経路１０１−３、バス２０５およびデータ経路１０１−４を介して、出力部２２１に入力される。ＤＲＡＭ２０６−２から読み出されたデータは、データ経路１０２−３、バス２０５およびデータ経路１０２−４を介して、出力部２２１に入力される。出力部２２１は、入力されたデータに対して補正処理等を施し、補正処理後のデータを、データ経路１０５を介してバス２０５に出力する。図３のデータ経路１０１−１および１０２−１は、異なるデータ経路として示したが、例えば、時分割によるデータ伝送の場合は、データ経路１０１−１および１０２−１は、１つのデータ経路であってもよい。データ経路１０１−２および１０２−２も同様であり、データ経路１０１−３および１０２−３も同様である。
【００１８】
次に、図５のフローチャート、図６および図７のタイミングチャートを用いて、本実施例の処理の流れについて説明する。図６は、撮像素子２０１の撮像シーケンスを示すタイミングチャートである。図７は、表示データと記録データの制御タイミングを示すタイミングチャートである。撮像制御部２０４は、連写待機時のライブビューモード（ＬＶモード）で撮像素子２０１を駆動する（ステップＳ４０１）。図６のタイミングチャートでは、ＬＶモードの期間は、Ｔ１の期間に相当する。図６のタイミングチャートに示されるように、撮像ステートがＬＶモードのときに、同期信号が所定間隔で出力され、表示制御部２０９は、同期信号に応じて、表示デバイス２１０に画像データを表示する。
【００１９】
ＣＰＵ２１１は、撮像装置２００（カメラ）の撮影スタートの契機となる操作ボタン２１２が押下されたか否かを判定する（ステップＳ４０２）。ステップＳ４０２でＮＯと判定された場合、撮影スタートの指示がないため、ステップＳ４０２が繰り返される。ステップＳ４０２でＹＥＳと判定された場合、撮像制御部２０４は、撮像制御信号伝送路２０２を介して、撮像素子２０１を一旦ＩＤＬＥモードに遷移させ、静止画撮影モードに遷移させる（ステップＳ４０３）。図６のタイミングチャートでは、Ｔ１とＴ２の間の期間がＩＤＬＥモードの期間である。ＣＰＵ２１１は、ＩＤＬＥモードの期間の間に、静止画の記録および表示の設定を行う（ステップＳ４０４）。そして、撮像制御部２０４は、撮像制御信号伝送路２０２を介して、撮像素子２０１に静止画駆動の同期信号を出力し、撮像素子２０１を静止画駆動モード（静止画連写モード）に遷移させる（ステップＳ４０５）。ステップＳ４０５により、静止画駆動での撮像データが、撮像伝送路２０３を介して、撮像制御部２０４に入力される。ステップＳ４０５以降の動作シーケンスを、図７のタイミングチャートを参照して、説明する。期間Ｔ６０１は、１フレーム期間（所定の周期）における撮像素子２０１からの撮像データの出力期間を示している。ハッチングが施された期間以外の期間は、Ｖブランキング期間であり、次のフレームまでの待機時間である。Ｖブランキング期間では、撮像素子２０１からの撮像データの入力はない。
【００２０】
期間Ｔ６０２は、分割部２２０が、撮像素子２０１が出力した撮像データの各画素データ（１２ビット）を分割して生成される上位ビットデータが、高帯域のメモリであるＤＲＡＭ２０６−１に格納されるまでの期間を示す。期間Ｔ６０３は、分割部２２０が、撮像素子２０１が出力した撮像データの各画素データ（１２ビット）を分割して生成される下位ビットデータが、低帯域のメモリであるＤＲＡＭ２０６−２に格納されるまでの期間を示す。出力部２２１は、期間Ｔ６０４において、高帯域のメモリであるＤＲＡＭ２０６−１に格納されている上位ビットデータの読み出しを開始する。この際、出力部２２１は、ＤＲＡＭ２０６−１に格納されている上位ビットデータを追い越さないように、十分なマージンのオフセット時間経過後、データ経路１０１−３を介して、読み出しを開始する。
【００２１】
図７の例では、ＤＲＡＭ２０６−１および２０６−２へのデータ格納である書き込み時間に対して、読み出し時間が長くなっている。書き込み時間に対して、読み出し時間が長くなっている理由は、撮像素子２０１からの撮像データの入力スピードと同等のスピードで、表示や記録を行う必要がないためである。例えば、電子シャッター時の場合、撮像素子２０１からの撮像データの入力は、ローリングシャッター歪みの軽減処理等が行われることがある。従って、書き込み時間に対して、読み出し時間が長くなっている。
【００２２】
出力部２２１は、期間Ｔ６０５において、期間Ｔ６０４で読み出されたデータ（ＤＲＡＭ２０６−１から読み出されたデータ）に、センサ補正等を実施した後、当該データをデータ経路１０５からバス２０５に出力する。バス２０５に出力されたデータは、ＤＲＡＭ２０６に格納されるとともに、表示制御部２０９に入力される。表示制御部２０９は、表示デバイス２１０に表示するための所定の処理を表示データに施し、当該表示データを、表示デバイス２１０に出力する。
【００２３】
このとき、表示デバイス２１０に表示される画像は、撮像素子２０１から入力された撮像データの１画素のビット深度である１２ビットに対して８ビット相当であるが、連写中の構図確認用のフレーミング画像の画質としては十分のビット深度である。ＣＰＵ２１１は、表示デバイス２１０に対する表示データ出力が完了したかを判定する（ステップＳ４０６）。表示データ出力が完了したかは、表示制御部２０９が、ＣＰＵ２１１に対して、表示データ出力が完了したことを示す割込みを発生することにより、検知されてもよい。ステップＳ４０６の判定でＮＯの場合、表示データ出力が完了していないため、ステップＳ４０６が繰り返される。ステップＳ４０６の判定でＹＥＳの場合、表示データ出力が完了している。この場合、ＣＰＵ２１１は、ＤＲＡＭ２０６−１から読み出すデータ（記録データ）とＤＲＡＭ２０６−２から読み出すデータ（記録データ）とを結合させる設定を行う（ステップＳ４０７）。
【００２４】
上記の設定に基づいて、期間Ｔ６０６で、出力部２２１は、ＤＲＡＭ２０６−１に既に格納されている上位ビットデータを、データ経路１０１−３を介して、読み出す。同様に、期間Ｔ６０７で、出力部２２１は、ＤＲＡＭ２０６−２に既に格納された下位ビットデータを、データ経路１０２−３を介して、読み出す。データ経路１０１−３からのデータは、バス２０５およびデータ経路１０１−４を介して、出力部２２１に入力される。データ経路１０２−３からのデータは、バス２０５およびデータ経路１０２−４を介して、出力部２２１に入力される。出力部２２１は、期間Ｔ６０８において、ＤＲＡＭ２０６−１から入力した上位ビットデータとＤＲＡＭ２０６−２から入力した下位ビットデータとを結合して、１２ビットのデータ（結合データ）を生成する。
【００２５】
従って、図７に示されるように、出力部２２１は、期間Ｔ６０４において上位ビットデータを読み出して、表示制御部２０９に出力した後に、期間Ｔ６０６および期間Ｔ６０７において、結合したデータを記録制御部２０７に出力する。これにより、表示デバイス２１０に画像データ（上位ビットデータにより構成される画像データ）を表示し、記録メディア２０８に画像データ（結合データにより構成される画像データ）を記録することができる。出力部２２１は、期間Ｔ６０４および期間Ｔ６０６において、ＤＲＡＭ２０６−１から上位ビットデータを読み出しているため、１フレーム期間の間における上位ビットデータの読み出し回数は２回である。一方、出力部２２１は、期間Ｔ６０７において、ＤＲＡＭ−２から下位ビットデータを読み出しているため、１フレーム期間の間における上位ビットの読み出し回数は１回であり、上位ビットデータの読み出し回数より少ない。上位ビットデータは、表示および記録の両方に使用される。下位ビットデータは、表示には使用されず、記録に使用される。従って、１フレーム期間の間における下位ビットデータの読み出し回数は、上位ビットの読み出し回数より少なくなっている。例えば、上位ビットデータが他の用途に用いられる場合、１フレーム期間の間に、上位ビットデータが３回以上の所定回数読み出されてもよい。
【００２６】
出力部２２１は、生成した１２ビットのデータに対して、表示時の処理と同様に、補正処理等を実施した後、データ経路１０５に出力する。バス２０５に出力されたデータ（記録データ）は、ＤＲＡＭ２０６に格納されるとともに、記録制御部２０７に出力される。記録制御部２０７は、記録データに対して、記録メディア２０８に応じた処理を施し、記録メディア２０８に出力する。これにより、１２ビットの画素データにより構成される画像データが生成される。
【００２７】
ＣＰＵ２１１は、記録データの出力が完了したか、つまり記録データの記録メディア２０８への書き込みが完了したかを判定する（ステップＳ４０８）。記録制御部２０７は、記録データの記録メディア２０８への書き込み状況を検知しており、書き込み完了を検知すると、ＣＰＵ２１１に割込みを発生させる。これにより、ＣＰＵ２１１は、ステップＳ４０８の判定を行うことができる。ステップＳ４０８の判定でＮＯの場合、記録データの書き込みが完了していないため、ステップＳ４０８が繰り返される。ステップＳ４０８の判定でＹＥＳの場合、記録データの書き込みが完了している。この場合、ＣＰＵ２１１は、次の撮影コマの記録を実施するかの判定（連写終了であるかの判定）を行う（ステップＳ４０９）。連写終了でない場合、ステップＳ４０９の判定はＮＯとなる。この場合、フローはステップＳ４０４に移行する。連写終了である場合、ステップＳ４０９の判定はＹＥＳとなる。この場合、フローはステップＳ４０１に移行し、撮像ステートは、再びＬＶモード（待機中）に遷移する。図７のタイミングチャートでは、Ｔ３の期間に相当する。
【００２８】
以上説明したように、本実施形態では、分割部２２０は、撮像素子２０１から入力した撮像データの中の画素データのビット深度に応じて、上位ビットと下位ビットとに分割する。ビット数が多い上位ビットデータは、伝送帯域が広い高帯域のＤＲＡＭ２０６−１に格納され、ビット数が少ない下位ビットデータは、ＤＲＡＭ２０６−１よりも伝送帯域が狭い低帯域のＤＲＡＭ２０６−２に格納される。そして、出力部２２１は、高帯域のＤＲＡＭ２０６−１に格納されている上位ビットデータを読み出して、表示制御部２０９に出力する。これにより、表示デバイス２１０には、上位ビットデータにより構成される画像データが表示される。一方、出力部２２１は、高帯域のＤＲＡＭ２０６−１に格納されている上位ビットデータと低帯域のＤＲＡＭ２０６−２に格納されている下位ビットデータとを読み出して、結合する。結合されたデータは、記録制御部２０７に出力されて、記録制御部２０７が、結合されたデータを記録メディア２０８に記録する。
【００２９】
表示デバイス２１０に表示される画像データの各画素データのビット深度は、撮像素子２０１から入力した撮像データのビットデータを分割した一部のビットデータある。従って、表示デバイス２１０に表示される画像データの各画素データのビット深度は、記録メディア２０８に記録される画像データの各画素データのビット深度よりも低い。このため、表示デバイス２１０に表示される画像データの画質は、記録メディア２０８に記録される画像データの画質よりも低くなる。しかしながら、連写中の構図確認用のフレーミング画像には、記録メディア２０８に記録される画像データの画質ほど、高い画質が要求されることはない。このため、分割された一部のビットデータにより構成される画像データであっても、連写中の構図確認用のフレーミング画像としては十分である。
【００３０】
そして、出力部２２１は、高帯域のＤＲＡＭ２０６−１に格納された上位ビットデータを読み出して、表示制御部２０９に出力し、表示制御部２０９は、上位ビットデータにより構成される画像データを表示デバイス２１０に表示する。撮像素子２０１から入力した撮像データの画素データの全てのビットではなく、分割された一部の上位ビットデータにより構成される画像データが表示デバイス２１０に表示される。表示デバイス２１０に表示される画像データは、上位ビットデータにより構成される画像データである。従って、表示のために読み出される画像データ（上位ビットデータにより構成される画像データ）のデータ量は、上位ビットデータと下位ビットデータとを結合した結合データのデータ量より小さい。このため、画像データの表示と記録とが行われる際に、データ量が大きい結合データが複数回読み出されることがなくなる。従って、撮像素子２０１が画素数の多い撮像データを高速に出力した場合でも、画像データの表示の高速化を図ることができる。特に、出力部２２１は、伝送帯域が広い高帯域のＤＲＡＭ２０６−１に上位ビットデータを格納し、表示を行う際には、当該ＤＲＡＭ２０６−１から上位ビットデータを読み出しているため、画像データの表示のさらなる高速化を実現できる。
【００３１】
出力部２２１は、上記の表示制御の後、高帯域のＤＲＡＭ２０６−１に格納された上位ビットデータおよび低帯域のＤＲＡＭ２０６−２に格納された下位ビットデータを読み出して結合し、結合されたデータを記録制御部２０７に出力している。上記の表示制御の高速化が図れるため、出力部２２１が、上位ビットデータおよび下位ビットデータの読み出しを開始するタイミングも早くなる。このため、記録メディア２０８へのデータの書き込み完了タイミングも早くなる。従って、撮像した画像データに基づく表示と記録との遅延を抑制することができる。
【００３２】
ここで、撮像素子２０１が出力した撮像データに対して、撮像制御部２０４が所定の処理を施した画像データを生成し、撮像制御部２０４が、ＤＲＡＭ２０６に画像データを格納することなく、表示制御部２０９に出力することが考えられる。この場合、オンザフライで画像データの表示処理が行われる。この場合において、撮像素子２０１が高速に撮像データを出力すると、オンザフライで画像データを表示処理する回路の動作速度が低速であると、画像データに基づく表示および記録の遅延が大きくなる。一方、オンザフライで画像データを表示処理する速度が高速な回路を用いることにより、上記の遅延を低減できるが、オンザフライで画像データを表示処理する回路は高速に動作する必要がある。これにより、上記回路に高度なハードウェアを適用する必要があり、ハードウェアコストが増大する。第１実施形態では、画像データをオンザフライで処理していないため、ハードウェアコストを低減しつつ、撮像した画像データに基づく表示と記録との遅延を抑制することができる。
【００３３】
第１実施形態では、第１のメモリおよび第２のメモリとして、ＤＲＡＭを用いた例を説明したが、第１のメモリおよび第２のメモリとしては、ＳＲＡＭ（スタティックＲＡＭ）や、その他の記録媒体が適用されてもよい。また、ＤＲＡＭ２０６−１に高帯域のＤＲＡＭが適用され、ＤＲＡＭ２０６−２に低帯域のＤＲＡＭが適用された例を説明したが、ＤＲＡＭ２０６−１およびＤＲＡＭ２０６−２の伝送帯域は同じであってもよい。ただし、分割部２２０が分割した上位ビットデータが、高帯域のＤＲＡＭ２０６−１に格納されることで、表示制御の高速化をより図ることができる。このため、分割部２２０が分割した上位ビットデータは、高帯域のＤＲＡＭ２０６−１に格納され、下位ビットデータは、低帯域のＤＲＡＭ２０６−２に格納されることが好ましい。
【００３４】
＜第２実施形態＞
次に、第２実施形態について説明する。図１〜図４は、第１実施形態と同様であるため、説明を省略する。図８は、１フレーム期間の間に、記録データの読み出しおよび記録メディア２０８への書き込みが完了しない場合のタイミングチャートである。第２実施形態でも、第１実施形態と同様の制御を行っている。しかし、撮像素子２０１が出力した撮像データの画素数が多い場合や、撮像データの出力速度が高速である場合等においては、記録データの読み出しおよび記録メディア２０８への書き込みが１フレーム期間の間に完了しない可能性がある。
【００３５】
期間Ｔ７０６の上位８ビットのデータの読み出し、および期間Ｔ７０７の下位４ビットのデータの読み出しが、１フレーム期間の間に完了しないと、期間Ｔ７０６および期間Ｔ７０７が、次のフレーム期間に掛かる。この場合、出力部２２１は、次のフレームの上位ビットデータを、ＤＲＡＭ２０６−１から読み出すことができない。このため、表示制御部２０９は、表示の読み出しができないフレームについては、前のフレームを表示デバイス２１０に表示する制御、またはブラックアウト制御を行う。これにより、期間Ｔ７０４およびＴ７０５において、表示デバイス２１０に画像を表示することができなくなる。
【００３６】
図９は、第２実施形態を適用した場合における表示データと記録データの制御タイミングを示すタイミングチャートである。第２実施形態では、出力部２２１が、１フレーム期間の間（所定周期以下の間）に、記録データの読み出しおよび記録メディア２０８への書き込みを完了させる。このため、分割部２２０は、期間Ｔ８０２および期間Ｔ８０３において、期間Ｔ８０１で撮像素子２０１から入力した撮像データの一部を削除（読み出し対象から削除）するクロップ処理を行う。この場合、分割部２２０は、許容範囲内で撮像データの上下左右画像をカットするクロップ処理を行う。図１０は、クロップ処理された画像データ（撮像素子２０１の全画角の撮像データによる画像データ）の例を示す。上記許容範囲は、出力部２２１が、上位ビットデータを表示制御部２０９に出力する期間Ｔ８０５と、上位ビットデータと下位ビットデータとを結合して記録制御部２０７に出力する期間Ｔ８０８との和が１フレーム期間の間に収まる範囲である。これにより、撮像データの画角は狭くなるが、キャプチャするデータのデータ量は少なくなる。従って、データ量が削減された上位ビットデータがＤＲＡＭ１２０６−１に格納され、同じくデータ量が削減された下位ビットデータがＤＲＡＭ２０６−２に格納される。
【００３７】
なお、データの削減は、撮像データを上位ビットデータと下位ビットデータとに分割したのちに、期間Ｔ８０５と期間Ｔ８０８との和が１フレーム期間に収まるように、それぞれのデータを削減する処理を実行してもよい。
【００３８】
撮像データのデータ量が削減されて少なくなることで、その後の表示データを出力する時間および記録データを出力する時間を削減でき、記録データの読み出しおよび記録メディア２０８への書き込みを、１フレーム期間に収めることが可能となる。これにより、次のフレームの表示に支障をきたすことがなくなる。以上において、分割部２２０がクロップ処理を行っていたが、撮像素子２０１が、撮像データの一部を削除して、撮像データのデータサイズを調整し、調整された撮像データを、分割部２２０に出力してもよい。撮像素子２０１は、上位ビットデータを表示制御部２０９に出力する期間Ｔ８０５と、上位ビットデータと下位ビットデータとを結合して記録制御部２０７に出力する期間Ｔ８０８との和が１フレーム期間の間に収まる範囲にデータサイズを調整する。
【００３９】
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４０】
２００  撮像装置
２０１  撮像素子
２０４  撮像制御部
２０６  ＤＲＡＭ
２０７  記録制御部
２０８  記録メディア
２０９  表示制御部
２１０  表示デバイス
２１１  ＣＰＵ
２２０  分割部
２２１  出力部
【図１】
2020005097.tif 000003
【図２】
2020005097.tif 000004
【図３】
2020005097.tif 000005
【図４】
2020005097.tif 000006
【図５】
2020005097.tif 000007
【図６】
2020005097.tif 000008
【図７】
2020005097.tif 000009
【図８】
2020005097.tif 000010
【図９】
2020005097.tif 000011
【図１０】
2020005097.tif 000012