(57)【要約】【課題】撮像データレートが高い場合において、画質を劣化させることなく高速にデータを処理可能な画像処理装置を提供する。【解決手段】撮像素子から読み出されるデータレートに疎密がある画像データを一時的に記憶するバッファメモリと、データレートの疎密に応じて、画像データを記録する記録メモリへ画像データを転送する第１のデータレートを設定する設定部と、撮像素子から読み出される画像データのデータレートである第２のデータレートが第１のデータレートを超えているときに、超えた分の画像データをバッファメモリに一時的に記憶させ、第２のデータレートが第１のデータレートを下回るときに、一時的に記憶させた画像データをバッファメモリから出力させることによりデータレートを調整する調整部とを備える。【選択図】  図２
2019153885.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から読み出されるデータレートに疎密がある画像データを一時的に記憶するバッファメモリと、
前記データレートの疎密に応じて、前記画像データを記録する記録メモリへ前記画像データを転送する第１のデータレートを設定する設定手段と、
前記撮像素子から読み出される画像データのデータレートである第２のデータレートが前記第１のデータレートを超えているときに、超えた分の画像データを前記バッファメモリに一時的に記憶させ、前記第２のデータレートが前記第１のデータレートを下回るときに、前記一時的に記憶させた画像データを前記バッファメモリから出力させることによりデータレートを調整する調整手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮像素子の複数行の画像データを同時に読み出す読み出し制御手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像素子から読み出された複数行の画像データを行の順を整えるように並べ替える並べ替え手段をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記調整手段は、前記撮像素子から同時に読みだされる画像データの行数と行の位置とに応じて、前記第１のデータレートを設定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記画像データは、データを有する有効データ期間と、データを有さない無効データ期間とを有し、前記調整手段は、前記バッファメモリに一時的に記憶させた画像データを、前記無効データ期間に前記バッファメモリから出力させることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記撮像素子から読み出される画像データが１行の画像データである場合、前記並べ替え手段は、画像データの並び替えを行わないことを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮像素子は、行ごとに複数種類の画像データを出力可能であり、前記撮像素子から出力される画像データをその種類ごとに分離する分離手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記調整手段は、前記分離手段により分離された画像データに対してデータレートを調整することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記複数種類の画像データは、撮像光学系の瞳を通過する光束を２つ以上に分割して得られる、視差を有する画像データであることを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記撮像素子から読み出す画像データの種類と種類の数とを行ごとに設定する読み出し制御手段をさらに備え、前記読み出し制御手段は、前記並び替え手段が出力する第１の種類の画像データが連続して出力される期間が所定の長さ以上の場合は、その直後に読み出すデータとして第１の種類の画像データとは異なる種類の画像データを選択することを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記読み出し制御手段は、１つ以上の行の読み出しを開始してから、次に１つ以上の行の読み出しを開始するまでの時間を行ごとに制御可能であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記調整手段は、前記撮像素子の複数の領域から読み出す画像データに対して、領域ごとに異なる値にデータレートを調整することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記撮像素子から読み出す画像の複数の領域の画像データのうちの一部の領域のデータのみを、前記記録メモリに記録することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
撮像素子から読み出されるデータレートに疎密がある画像データを一時的に記憶するバッファメモリを備える画像処理装置を制御する方法であって、
前記データレートの疎密に応じて、前記画像データを記録する記録メモリへ前記画像データを転送する第１のデータレートを設定する設定工程と、
前記撮像素子から読み出される画像データのデータレートである第２のデータレートが前記第１のデータレートを超えているときに、超えた分の画像データを前記バッファメモリに一時的に記憶させ、前記第２のデータレートが前記第１のデータレートを下回るときに、前記一時的に記憶させた画像データを前記バッファメモリから出力させることによりデータレートを調整する調整工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１５】
請求項１４に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１６】
請求項１４に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像データをメモリへ書き込んで画像処理する画像処理装置に関するものである。
【背景技術】
【０００２】
近年のデジタルカメラ等の撮像装置は、画素数、静止画連写コマ速、動画フレームレートの向上が著しく、単位時間当たりに処理するデータ量は増大している。一般的にデジタルカメラ等の撮像装置は、撮像素子で撮像したデータをＤＲＡＭ等のメモリに書込み、書き込んだデータを読み出して画像処理し、画像処理したデータをメディア等に記録する。ここで、単位時間当たりの処理データ量の増大によってメモリバス帯域を圧迫してしまうと、画像処理のデータ処理レートが低下し、静止画連写コマ速、動画フレームレート性能が低下してしまう。
【０００３】
このような問題に対し、メモリバスの処理周波数やデータ幅を増やして帯域を増やすことも考えられるが、その場合、デジタルカメラ等における画像処理装置のコストや消費電力が増大してしまう。このように近年のデジタルカメラ等の撮像装置は、メモリバス帯域を圧迫せずに、より高速にデータを処理することの重要性が高くなってきている。
【０００４】
従来このような問題に対し、メモリバス帯域を圧迫せずに、より高速にデータを処理する様々な技術が提案されている。
【０００５】
特許文献１は、メモリへの書込み、読み出しを行う際、撮像データを圧縮伸長することによりメモリバス帯域を圧迫せずに高速にデータを処理している。また、特許文献２では、撮像データレートが高い場合、撮像データを縮小して処理することによりメモリバス帯域を圧迫せず高速にデータを処理している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−４２８１号公報
【特許文献２】特開２０１５−９７３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の従来の技術では、処理可能なデータレートになるように撮像データを圧縮、縮小して撮像データの情報量を削減しているため、記録画像の画質が劣化してしまう可能性がある。
【０００８】
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像データレートが高い場合において、画質を劣化させることなく高速にデータを処理可能な画像処理装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明に係わる画像処理装置は、撮像素子から読み出されるデータレートに疎密がある画像データを一時的に記憶するバッファメモリと、前記データレートの疎密に応じて、前記画像データを記録する記録メモリへ前記画像データを転送する第１のデータレートを設定する設定手段と、前記撮像素子から読み出される画像データのデータレートである第２のデータレートが前記第１のデータレートを超えているときに、超えた分の画像データを前記バッファメモリに一時的に記憶させ、前記第２のデータレートが前記第１のデータレートを下回るときに、前記一時的に記憶させた画像データを前記バッファメモリから出力させることによりデータレートを調整する調整手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像データレートが高い場合において、画質を劣化させることなく高速にデータを処理することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の画像処理装置の第１の実施形態である撮像装置の構成を示すブロック図。
【図２】第１の実施形態における撮像処理部の構成を示すブロック図。
【図３】第１の実施形態におけるデータレート調整部の構成を示すブロック図。
【図４Ａ】第１の実施形態における同時読み出し行数によるデータレート調整の違いを示す図。
【図４Ｂ】第１の実施形態における同時読み出し行数によるデータレート調整の違いを示す図。
【図４Ｃ】第１の実施形態における同時読み出し行数によるデータレート調整の違いを示す図。
【図４Ｄ】第１の実施形態における同時読み出し行数によるデータレート調整の違いを示す図。
【図４Ｅ】第１の実施形態における同時読み出し行数によるデータレート調整の違いを示す図。
【図５】第１の実施形態における画像データの撮影シーケンスを示す図。
【図６】第２の実施形態における撮像素子の構成を説明する図。
【図７】第２の実施形態における撮像処理部の構成を示すブロック図。
【図８】第２の実施形態における行並び替え部の無効データ入力期間の違いによる出力データレートを示す図。
【図９】第２の実施形態におけるデータレート調整を説明する図。
【図１０】第２の実施形態における画像データの撮影シーケンスを示す図。
【図１１】第３の実施形態における撮像処理部の構成を示すブロック図。
【図１２Ａ】第３の実施形態におけるデータレート調整を示す図。
【図１２Ｂ】第３の実施形態におけるデータレート調整を示す図。
【図１２Ｃ】第３の実施形態におけるデータレート調整を示す図。
【図１３】第３の実施形態における画像データの撮影シーケンスを示す図。
【図１４】第４の実施形態におけるデータレート調整部の構成を示すブロック図。
【図１５】第４の実施形態におけるデータレート調整を説明する図。
【図１６】第４の実施形態における画像データの撮影シーケンスを示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１３】
（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態である撮像装置２００の構成を示すブロック図である。
【００１４】
図１において、結像光学部２０１は、レンズや絞り等からなり、被写体像を結像させる。光学駆動制御部２０８は、フォーカス調節や露出調節の動作を制御する。撮像素子２０２は、光学像を電気信号に変換するＣＣＤ等の画像センサである。読み出し制御部２０７は、撮像素子２０２からの信号の読み出しを制御し、撮像素子２０２の一画面中における複数行を同時に読み出すことが可能である。本実施形態における複数行の同時読み出しバリエーションについては図４Ａ〜図４Ｅを用いて後述する。
【００１５】
Ａ／Ｄ変換回路２０３は、撮像素子２０２から出力されるアナログ画像信号をデジタル画像データに変換する。撮像処理部２４０は、画像データに対して、データレート制御やセンサ傷補正等の補正処理を行う。データ転送制御部２２０は、ＤＲＡＭ（記録メモリ）２３０への画像データの書き込み／読み出しを制御する。信号処理部２１０は、画像データに対してノイズ低減処理等の各種画像処理を施す。ＣＰＵ２０４は、マイクロコンピュータからなり、不図示の不揮発性メモリに記憶されたプログラムを実行することにより、バスを介して撮像装置２００全体の各種制御を司る。また、後述するバッファ部２４０２に対するデータの記憶やバッファ部２４０２からのデータの出力を制御する。表示部２０５は、液晶モニター等からなり、信号処理された画像データを表示する。記録部２０６は、信号処理された画像データを記録媒体へ記録する。
【００１６】
図２は、撮像処理部２４０の構成を示すブロック図である。
【００１７】
図２において、行並び替え部２４０１は、同時に読み出した複数行を行単位で並び替える。行並び替え部２４０１の入出力データの有効データを示す信号（以降、ＶＡＬと記す）は、疎密期間が存在し、入力データには、有効データが入力される有効期間と、有効データが入力されない無効データ期間（ブランキング）が存在する。本実施形態における並び替え方法については図４Ａ〜図４Ｅを用いて後述する。
【００１８】
バッファ部（バッファメモリ）２４０２は、データを蓄積可能であり、入力データレートと出力データレートの局所的な差分を吸収する。データレート調整部２４０３は、ＣＰＵ２０４から設定されたデータレートを超えないように出力データレートを制御する。本実施形態におけるデータレート調整部２４０３は、入力レートが設定レートより高い場合、データ入力を禁止する信号（以降、「ＳＴＯＰ」と記す）をバッファ部２４０２に出力する。バッファ部２４０２は、「ＳＴＯＰ」が入力されると内部バッファにデータを保持し、「ＳＴＯＰ」が解除されると保持していたデータを出力する。センサ補正部２４０４は、撮像素子２０２の画素の傷補正等の補正処理を行う。
【００１９】
本実施形態では、有効データが入力されないブランキング期間を利用して、有効データのピークレートを平均化している。データのピークレートを平均化しない場合、有効データ期間中は、ＤＲＡＭ２３０に対してピークレートの帯域がかかり、多くのＤＲＡＭ帯域を使用してしまう。これにより、有効データ期間中は、他の処理のＤＲＡＭ２３０へのアクセスが制限されてシステム全体のデータ処理性能が劣化してしまう。他の処理のＤＲＡＭ２３０へのアクセスが、ブランキング期間中に全ての処理が完了するような高速処理であればピークレートを平均化せずともシステム性能は劣化しないが、そのような高速処理を実現するとコストや消費電力が増大してしまう。データのピークレートを平均化すれば、ＤＲＡＭ２３０にかかるピークレートの帯域が下がり、他の処理のＤＲＡＭ２３０へのアクセスも可能になる。これにより、他の処理のＤＲＡＭ２３０へのアクセスが制限されることによるシステム全体のデータ処理性能の劣化を防ぐことができる。
【００２０】
図３は、本実施形態におけるデータレート調整部２４０３の構成を示すブロック図である。データレート調整部２４０３には、不図示の水晶発振器等からクロックが入力されており、各ブロックはクロックに同期して動作する。入力ＶＡＬカウンタ２４０３１は、入力されるＶＡＬ数をクロックに同期してカウントする。ＣＹＣＬＥカウンタ２４０３２は、初めにＶＡＬが入力されると、以降クロックに同期して経過時間（クロックの経過サイクル数）をカウントする。
【００２１】
ＳＴＯＰ生成部２４０３３は、現在のデータレートがＣＰＵ２０４から設定されたレート調整値より大きくならないように「ＳＴＯＰ」を出力してデータレートを制御する。例えば、データレートを５０％にするための設定レート調整値として、設定ＣＹＣＬＥ＝１０、設定ＶＡＬ＝５を設定したとする。ＶＡＬが入力されると、入力ＶＡＬカウンタ２４０３１と、ＣＹＣＬＥカウンタ２４０３２はそれぞれカウントを開始する。ここで、ＣＹＣＬＥカウンタ値＝７（７ＣＹＣＬＥ経過）の時に、入力ＶＡＬカウンタ＝５（５ＶＡＬ目入力）になったとする。この時、ＳＴＯＰ生成部２４０３３は、ＣＹＣＬＥカウンタ値＝１０（１０ＣＹＣＬＥ経過）になるまで「ＳＴＯＰ」を出力して入力ＶＡＬを止める。ＣＹＣＬＥカウンタ値＝１０になると、ＣＹＣＬＥカウンタ値と入力ＶＡＬカウンタ値は初期化され、上記動作を繰り返す。これにより、データレート調整部２４０３は、１０ＣＹＣＬＥ中に５ＶＡＬより大きいレートでデータを出力することはなく、データレートは５０％以下となる。
【００２２】
図４Ａ〜図４Ｅは、撮像素子２０２の同時読み出し行数によるデータレート調整の違いを示す図である。図４Ａは１行読み、図４Ｂは２行同時読みのパターン１、図４Ｃは２行同時読みのパターン２、図４Ｄは４行同時読みのパターン１、図４Ｅは４行同時読みのパターン２におけるデータレート調整を説明する図である。
【００２３】
図４Ａの１行読みにおけるデータレート調整について説明する。撮像処理部２４０には、１行目（Ｌ１）→２行目（Ｌ２）→…の順で１行ずつデータが入力される。入力データレートは疎密があり、データが入力されている有効データ期間と、データが入力されていない無効データ期間がある。３行目以降の入力データも上記の繰り返しである。１行読みの場合、行並び替え部２４０１は、並び替えを行わない。データレート調整部２４０３は、無効データ期間を使用してデータのピークレートを平均化する。
【００２４】
本実施形態では、１行読みの場合、データレートが５０％以下になるようにレート調整値を設定している。バッファ部２４０２は、有効データ期間中にデータレート調整部２４０３から出力される「ＳＴＯＰ」の分のデータを内部に保持し、保持したデータは無効データ期間中（言い換えれば、行並び替え部２４０１から出力されるデータのデータレートが５０％を下回る期間中）に出力する。出力データレートの設定を低くし過ぎると、データレート調整部２４０３が出力する「ＳＴＯＰ」の量が増え、バッファ部２４０２の保持すべきデータ量がバッファ部２４０２のデータ容量を超えてしまう。よって、本実施形態の１行読みでは、バッファ部２４０２が溢れることのないデータレートを設定している。
【００２５】
図４Ｂの２行同時読みパターン１におけるデータレート調整について説明する。撮像処理部２４０には、１行目（Ｌ１）と２行目（Ｌ２）→３行目（Ｌ３）と４行目（Ｌ４）→…の順で２行ずつデータが入力される。入力データレートは疎密があり、データが入力されている有効データ期間と、データが入力されていない無効データ期間がある。行並び替え部２４０１は、１行目（Ｌ１）→２行目（Ｌ２）→…の順で１行ずつ昇順にデータが出力されるようにデータを並び替える。行並び替え部２４０１は、１行目と２行目が入力されている時は、２行目データを内部に保持しており、１行目を出力する。行並び替え部２４０１は、入力データレートと同じレートで出力可能な処理能力を有しており、２行のデータを同時に出力可能である。そのため、入力される１行目入力データを内部で保持せずそのままのレートで出力すると、出力データレートは５０％となる。行並び替え部２４０１は、１行目データを出力後、内部に保持していた２行目データをデータレート１００％で出力する。３行目以降の処理も上記の繰り返しである。
【００２６】
データレート調整部２４０３は、無効データ期間を使用してデータのピークレートを平均化する。本実施形態では、２行同時読みパターン１の場合、データレートが５０％以下になるようにレート調整値を設定している。バッファ部２４０２は、有効データ期間中にデータレート調整部２４０３から出力される「ＳＴＯＰ」の分のデータを内部に保持し、保持したデータは無効データ期間中に出力する。行並び替え部２４０１が出力する１行目のデータレートは５０％であり、データレート調整部２４０３の設定データレートも５０％であるため、１行目の処理時はバッファ部２４０２にデータは溜まらない。行並び替え部２４０１が出力する２行目のデータレートは１００％であり、データレート調整部の設定データレートは５０％であるため、２行目の処理時は１行分データ×５０％のデータ量がバッファ部２４０２に溜まる。溜まったデータ量は、無効データ期間に出力する。本実施形態における２行同時読みパターン１おいて、設定データレートを低くし過ぎると、データレート調整部２４０３が出力する「ＳＴＯＰ」の量が増え、バッファ部２４０２の保持すべきデータ量がバッファ部２４０２のデータ容量を超えてしまう。よって、本実施形態の２行同時読みパターン１では、バッファ部２４０２が溢れることのないデータレートを設定している。
【００２７】
図４Ｃの２行同時読みのパターン２におけるデータレート調整について説明する。撮像処理部２４０には、１行目（Ｌ１）と３行目（Ｌ３）→２行目（Ｌ２）と４行目（Ｌ４）→…の順で２行ずつデータが入力される。入力データレートは疎密があり、データが入力されている有効データ期間と、データが入力されていない無効データ期間がある。行並び替え部２４０１は、１行目（Ｌ１）→２行目（Ｌ２）→…の順で１行ずつ昇順にデータが出力されるようにデータを並び替える。行並び替え部２４０１は、１行目と３行目が入力されている時は、３行目データを内部に保持しており、１行目を出力する。行並び替え部２４０１は、入力データレートと同じレートで出力可能な処理能力を有しており、２行のデータを同時に出力可能である。そのため、入力される１行目入力データを内部で保持せずそのままのレートで出力すると、出力データレートは５０％となる。
【００２８】
行並び替え部２４０１は、１行目データを出力しても内部に保持していた３行目データは出力しない。２行目と４行目が入力されると、４行目データを内部に保持しながら２行目を出力する。２行目データの出力データレートは５０％になる。２行目データ出力後、内部に保持していた３行目と４行目のデータをデータレート１００％で出力する。５行目以降の処理も上記の繰り返しである。データレート調整部２４０３は、無効データ期間を使用してデータのピークレートを平均化する。本実施形態では、２行同時読みパターン２の場合、データレートが６０％以下になるようにデータレート調整値を設定している。
【００２９】
バッファ部２４０２は、有効データ期間中にデータレート調整部２４０３から出力される「ＳＴＯＰ」の分のデータを内部に保持し、保持したデータは無効データ期間中に出力する。行並び替え部２４０１が出力する１行目、２行目のデータレートは５０％であり、データレート調整部の設定データレートは６０％であるため、１行目、２行目処理時はバッファ部２４０２にデータは溜まらない。行並び替え部２４０１が出力する３行目、４行目のデータレートは１００％であり、データレート調整部の設定データレートは６０％であるため、３行目、４行目処理時は２行分データ×４０％のデータ量がバッファ部２４０２に溜まる。溜まったデータ量は、無効データ期間に出力する。
【００３０】
バッファ部２４０２の出力レートが１００％でない場合、バッファ部２４０２に一時的に溜まるデータ量は、行並び替え部２４０１が出力するデータレート１００％の期間が長い程、多く溜まることになる。本実施形態のバッファ部２４０２の容量の場合、２行同時読みパターン２において、２行同時読みパターン１と同じレート調整値５０％を設定するとバッファ部２４０２が溢れてしまうため、６０％を設定している。
【００３１】
図４Ｄの４行同時読みのパターン１におけるデータレート調整について説明する。撮像処理部２４０には、１行目（Ｌ１）、２行目（Ｌ２）、３行目（Ｌ３）、４行目（Ｌ４）→５行目（Ｌ５）、６行目（Ｌ６）、７行目（Ｌ７）、８行目（Ｌ８）→…の順で４行ずつデータが入力される。入力データレートは疎密があり、データが入力されている有効データ期間と、データが入力されていない無効データ期間がある。行並び替え部２４０１は、１行目（Ｌ１）→２行目（Ｌ２）→…の順で１行ずつ昇順にデータが出力されるようにデータを並び替える。
【００３２】
行並び替え部２４０１は、１〜４行目が入力されている時は、２〜４行目データを内部に保持しており、１行目を出力する。行並び替え部２４０１は、入力データレートと同じレートで出力可能な処理能力を有しており、４行のデータを同時に出力可能である。そのため、入力される１行目入力データを内部で保持せずそのままのレートで出力すると、出力データレートは２５％となる。行並び替え部２４０１は、１行目データを出力後、内部に保持していた２〜４行目データをデータレート１００％で出力する。５行目以降の処理も上記の繰り返しである。
【００３３】
データレート調整部２４０３は、無効データ期間を使用してデータのピークレートを平均化する。本実施形態では、４行同時読みパターン１の場合、データレートが７０％以下になるようにレート調整値を設定している。バッファ部２４０２は、有効データ期間中にデータレート調整部２４０３から出力される「ＳＴＯＰ」の分のデータを内部に保持し、保持したデータは無効データ期間中に出力する。行並び替え部２４０１が出力する１行目のデータレートは２５％であり、データレート調整部の設定データレートは７０％であるため、１行目処理時はバッファ部２４０２にデータは溜まらない。行並び替え部２４０１が出力する２〜４行目のデータレートは１００％であり、データレート調整部の設定データレートは７０％であるため、２〜４行目処理時は３行分データ×３０％のデータ量がバッファ部２４０２に溜まる。溜まったデータ量は、無効データ期間に出力する。
【００３４】
バッファ部２４０２の出力レートが１００％でない場合、バッファ部２４０２に一時的に溜まるデータ量は、行並び替え部２４０１が出力するデータレート１００％の期間が長い程、多くのデータが溜まることになる。本実施形態のバッファ部２４０２の容量の場合、４行同時読みパターン１において、２行同時読みパターン２と同じレート調整値６０％を設定するとバッファ部２４０２が溢れてしまうため、７０％を設定している。
【００３５】
図４Ｅの４行同時読みのパターン２におけるデータレート調整について説明する。撮像処理部２４０には、１行目（Ｌ１）、５行目（Ｌ５）、６行目（Ｌ６）、２行目（Ｌ２）→７行目（Ｌ７）、３行目（Ｌ３）、８行目（Ｌ８）、４行目（Ｌ４）→…の順で４行ずつデータが入力される。入力データレートは疎密があり、データが入力さていれる有効データ期間と、データが入力されていない無効データ期間がある。行並び替え部２４０１は、１行目（Ｌ１）→２行目（Ｌ２）→…の順で１行ずつ昇順にデータが出力されるようにデータを並び替える。行並び替え部２４０１は、１行目、５行目、６行目、２行目が入力されている時は、５行目、６行目、２行目データを内部に保持しており、１行目を出力する。行並び替え部２４０１は、入力データレートと同じレートで出力可能な処理能力を有しており、４行のデータを同時に出力可能である。そのため、入力される１行目入力データを内部で保持せずそのままのレートで出力すると、出力データレートは２５％となる。
【００３６】
行並び替え部２４０１は、１行目データを出力後に内部に保持していた２行目データをデータレート１００％で出力する。行並び替え部２４０１は、２行目データを出力しても内部に保持していた５行目、６行目データは出力しない。７行目、３行目、８行目、４行目が入力されると、４行目、７行目、８行目データを内部に保持しながら３行目を出力する。３行目データの出力データレートは２５％になる。
【００３７】
３行目データの出力後、内部に保持していた４〜８行目のデータをデータレート１００％で出力する。９行目以降の処理も上記の繰り返しである。データレート調整部２４０３は、無効データ期間を使用してデータのピークレートを平均化する。本実施形態では、４行同時読みパターン２の場合、データレートが８０％以下になるようにレート調整値を設定している。バッファ部２４０２は、有効データ期間中にデータレート調整部２４０３から出力される「ＳＴＯＰ」の分のデータを内部に保持し、保持したデータは無効データ期間中に出力する。行並び替え部２４０１が出力する１行目のデータレートは２５％であり、データレート調整部の設定データレートは８０％であるため、１行目処理時はバッファ部２４０２にデータは溜まらない。行並び替え部２４０１が出力する２行目のデータレートは１００％であり、データレート調整部の設定データレートは８０％であるため、２行目処理時は１行分データ×２０％のデータ量がバッファ部２４０２に溜まる。
【００３８】
行並び替え部２４０１が出力する３行目のデータレートは２５％であり、データレート調整部の設定データレートは８０％であるため、３行目処理時においてバッファ部２４０２は、内部に保持した２行目データの残りと３行目データを出力する。行並び替え部２４０１が出力する４〜８行目のデータレートは１００％であり、データレート調整部の設定データレートは８０％であるため、４〜８行目処理時は５行分データ×２０％のデータ量がバッファ部２４０２に溜まる。溜まったデータ量は、無効データ期間に出力する。
【００３９】
バッファ部２４０２の出力レートが１００％でない場合、バッファ部２４０２に一時的に溜まるデータ量は、行並び替え部２４０１が出力するデータレート１００％の期間が長い程、多く溜まることになる。本実施形態のバッファ部２４０２の容量の場合、４行同時読みパターン２において、４行同時読みパターン１と同じレート調整値７０％を設定するとバッファ部２４０２が溢れてしまうため、８０％を設定している。
【００４０】
図５は、本実施形態における、画像データの撮影シーケンスを示す図である。
【００４１】
図５において、Ｓ５０１では、ＣＰＵ２０４は、ユーザーから撮影モードが設定され、撮影開始が指示されたか否かを判定する。撮影開始が指示されたらＳ５０２に進み、指示されなければそのまま待機する。
【００４２】
Ｓ５０２では、撮像素子２０２の同時読み出し行数、読み出す行の位置等を規定する読み出しモードを読み出し制御部２０７、行並び替え部２４０１に設定する。Ｓ５０３では、ＣＰＵ２０４は、ユーザーにより設定された撮影モードに基づいて、データレート調整部２４０３にレート調整値を設定する。
【００４３】
Ｓ５０４では、ＣＰＵ２０４は、読み出し制御部２０７、撮像処理部２４０、信号処理部２１０に撮影処理の開始を指示する。Ｓ５０５では、ＣＰＵ２０４は、撮影処理が完了したか否かを判定する。撮影処理が完了すれば、Ｓ５０６に進み、完了していなければ完了するまで待機する。Ｓ５０６では、ＣＰＵ２０４は、読み出し制御部２０７、撮像処理部２４０、信号処理部２１０に撮影処理の終了を指示する。
【００４４】
以上説明したように、上記の実施形態によれば、メモリバス帯域を圧迫しないように撮像ピークレートを制御することで、高速にデータを処理することが出来る。本実施形態の制御では、メモリバス帯域を減らすために撮像データの情報量を落とす制御は実施していないため、記録画像の画質が劣化してしまうことはない。
【００４５】
本実施形態では、撮像素子２０２の同時読み出し行数、読み出す行の位置等を規定する読み出しモードとして、１行読み、２行同時読みのパターン１、パターン２、４行同時読みのパターン１、パターン２を説明したが、他の読み出しモードでもよい。また、データレート調整部２４０３に設定するレート調整値は、本実施形態とは異なる値でもよい。
【００４６】
また、本実施形態のデータレート調整部２４０３は、入力ＶＡＬカウンタ２４０３１とＣＹＣＬＥカウンタ２４０３２のカウント値に基づいて、ＳＴＯＰ生成部２４０３３から「ＳＴＯＰ」を出力する構成とした。しかし、データレートを調整できれば他の構成でもよい。また、本実施形態では、メモリとしてＤＲＡＭを使用したが、ＤＲＡＭ以外のメモリを使用してもよい。
【００４７】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。この第２の実施形態における撮像装置の構成、データレート調整部の構成は第１の実施形態と同様であるため、説明を省略する。本実施形態では、読み出し制御部２０７によるデータ読み出し制御、撮像処理部の構成、画像データの撮影シーケンスが第１の実施形態と異なる。
【００４８】
図６は、撮像素子２０２の構成を説明する図である。図６（ａ）に、撮像素子２０２の構成を示す。図６（ａ）において、撮像素子２０２は、画素が二次元に配列された画素アレイ６００と、画素アレイ６００の画素の行を選択する垂直走査部６０３と、画素アレイ６００の画素の列を選択する水平走査部６０２とを有する。また、撮像素子２０２はさらに、画素アレイ６００の画素のうち、垂直走査部６０３及び水平走査部６０２によって選択される画素の信号を読み出すための読み出し部６０１を備える。垂直走査部６０３は、画素アレイ６００の行を選択する。読み出し部６０１は列毎に設けられたアンプやメモリを有し、走査行の画素信号を、アンプを介してメモリに格納する。メモリに格納された１行分の画素信号は、水平走査部６０２によって列方向に順に選択され、出力部６０４を介して外部に出力される。この動作を繰り返し、全ての画素の信号を外部に出力する。
【００４９】
撮像素子２０２の画素アレイ６００の構造を図６（ｂ）に示す。図６（ｂ）において、マイクロレンズ６０５はマイクロレンズアレイを構成する。フォトダイオード（ＰＤ）６０６、６０７は光電変換を行う光電変換手段である。ここではＰＤ６０６をＡ像用光電変換部、ＰＤ６０７をＢ像用光電変換部とする。各画素は、ＰＤ２つに対して１つのマイクロレンズ０６０５が上部に配置されて構成されている。ＰＤ６０６とＰＤ６０７は、瞳分割構成となっており、撮像光学系の瞳を通過する光束を２つ以上に分割して得られる、互いに視差を持った別々の像が入射される。図６（ｂ）では、マイクロレンズ１つに対してＰＤが２つ配置される構成を示したが、１つのマイクロレンズに３つ以上のＰＤを配置して瞳分割する構成にしてもよい。
【００５０】
撮像素子２０２は、３つの読み出しモードを有しており、行毎に３つの読み出しモードを変更することが可能である。１つ目のモードは、ＰＤ６０６とＰＤ６０７の其々で蓄積された信号を加算したＡ＋Ｂ像を出力するモードである。Ａ＋Ｂ像は、画像処理してメディア等に記録される記録画像として使用される。２つ目のモードは、ＰＤ６０６とＰＤ６０７で蓄積されたＡ像信号、Ｂ像信号（複数種類の信号）をそれぞれ別々に出力するモードである。このＡ像信号とＢ像信号は、後段の処理で既知の手法による相関演算処理が行われ、その結果を用いてフォーカスレンズの駆動量などを計算することができる。また、後段の処理でＡ像信号とＢ像信号を加算してＡ＋Ｂ像を生成することにより、記録画像としても使用できる。３つ目のモードは、Ａ像信号と、Ａ＋Ｂ像信号を出力するモードである。Ａ像信号とＡ＋Ｂ像信号から、後段の処理で既知の手法による相関演算処理が行われ、その結果を用いてフォーカスレンズの駆動量などを計算することができる。Ａ＋Ｂ像は、記録画像として使用する。また、Ａ像信号は出力データ量を制御可能であり、Ａ＋Ｂ像より少ないデータ量を出力することも可能である。
【００５１】
図７は、本実施形態における撮像処理部２５０の構成を示す図である。行並び替え部２４０１、バッファ部２４０２、データレート調整部２４０３、センサ補正部２４０４の構成は第１の実施形態と同じである。本実施形態は、視差画像分離部２５０１、視差画像処理部２５０２によって視差画像を処理する点が第１の実施形態と異なる。図７は、撮像素子２０２からＡ像とＡ＋Ｂ像を１行読みで読み出した場合の図である。視差画像処理部２５０２は、フォーカスレンズを駆動するために既知の手法で相関演算処理を行う。視差画像分離部２５０１は、入力されるＡ像を分離してＡ＋Ｂ像のみを出力する。視差画像分離部２５０１に入力されるデータレートは１００％であっても、Ａ像を分離することで出力データには無効データ期間（ブランキング）が発生する。この無効データ期間（ブランキング）を利用して、データレート調整部２４０３は、データのピークレートを平均化する。なお、撮像素子２０２は行毎に読み出しモードを選択できるため、Ａ像とＡ＋Ｂ像を読み出した行はＡ像分離後に無効データ期間が発生するが、Ａ＋Ｂ像のみを読み出した行は無効データ期間が発生しない。よって、行毎に読み出しモードを変えた場合、行毎に無効データ期間（ブランキング）の長さも異なる。
【００５２】
図８は、行並び替え部２４０１への入力無効データ期間（ブランキング）の長さが行毎に同じ場合と、異なる場合の行並び替え部２４０１の出力データレートを示す図である。図８は、第１の実施形態で既に説明した４行同時読みパターン２の場合を示している。
【００５３】
図８（ａ）は、行並び替え部２４０１の入力無効データ期間（ブランキング）の長さが同じ場合における、行並び替え部２４０１の出力データレートを示す図である。４行同時読みなので、４行毎に同じ長さの無効データ期間（ブランキング）が入力される。行並び替え部２４０１へは、１行目（Ｌ１）、５行目（Ｌ５）、６行目（Ｌ６）、２行目（Ｌ２）→７行目（Ｌ７）、３行目（Ｌ３）、８行目（Ｌ８）、４行目（Ｌ４）→…の順で４行ずつデータが入力される。入力無効データ期間（ブランキング）は、４行毎に同じ長さである。行並び替え部２４０１は、１行目（Ｌ１）→２行目（Ｌ２）→…の順で１行ずつ昇順にデータが出力されるように並び替える。行並び替え部２４０１は、１行目、５行目、６行目、２行目が入力されている時は、５行目、６行目、２行目データを内部に保持しており、１行目を出力する。行並び替え部２４０１は、入力データレートと同じデータレートで出力可能な処理能力を有しており、４行のデータを同時に出力可能である。そのため、入力される１行目データをそのまま出力する場合の出力データレートは２５％となる。行並び替え部２４０１は、１行目データを出力後に内部に保持していた２行目データをデータレート１００％で出力する。行並び替え部２４０１は、２行目データを出力しても内部に保持していた５行目、６行目データは出力しない。７行目、３行目、８行目、４行目が入力されると、４行目、７行目、８行目データを内部に保持しながら３行目を出力する。３行目データの出力データレートは２５％になる。３行目データの出力後、内部に保持していた４〜８行目のデータをデータレート１００％で出力する。
【００５４】
本実施形態では、４〜８行目データ出力中に９行目、１３行目、１０行目、１４行目データが入力され、行並び替え部２４０１は入力されたデータを保持する。行並び替え部２４０１は、８行目データ出力後、内部に保持していた９〜１０行目のデータをデータレート１００％で出力する。本実施形態の場合、入力無効データ期間（ブランキング）が短いので、行並び替え部２４０１は８行目と９行目データの間も途切れることなくデータを連続して出力する。これにより、行並び替え部２４０１は、４〜１０行目の７行分のデータをデータレート１００％で出力する。行並び替え部２４０１は、１１行目、１５行目、１６行目、１２行目が入力されると、１２行目、１５行目、１６行目データを内部に保持しながら１１行目を出力する。１１行目データの出力データレートは２５％になる。１１行目データ出力後、内部に保持していた１２〜１６行目のデータをデータレート１００％で出力する。
【００５５】
図８（ｂ）は、行並び替え部２４０１の入力無効データ期間（ブランキング）の長さが異なる場合における、行並び替え部２４０１の出力データレートを示す図である。４行同時読みなので、４行毎に無効データ期間（ブランキング）が入力される。図８（ｂ）は、４行毎に、無効データ期間（ブランキング）の長さが、短い→長い→短い→長い→…を繰り返し入力される場合の例を示している。
【００５６】
本実施形態では、図８（ａ）と図８（ｂ）の画像一画面中の無効データ期間（ブランキング）の長さの合計値は同じにしているため、画像一画面読み出し時間は同じである。行並び替え部２４０１は、１行目、５行目、６行目、２行目が入力されている時は、５行目、６行目、２行目データを内部に保持しており、１行目データをデータレート２５％で出力する。行並び替え部２４０１は、１行目データを出力後に内部に保持していた２行目データをデータレート１００％で出力する。７行目、３行目、８行目、４行目が入力されると、４行目、７行目、８行目データを内部に保持しながら３行目を出力し、３行目データ出力後、内部に保持していた４〜８行目のデータをデータレート１００％で出力する。９行目、１３行目、１０行目、１４行目が入力されると、１３行目、１０行目、１４行目データを内部に保持しながら９行目を出力し、９行目データ出力後、内部に保持していた１０行目のデータをデータレート１００％で出力する。本実施形態の場合、８行目と９行目の間の入力無効データ期間（ブランキング）は長いので、行並び替え部２４０１が出力する９行目データのデータレートは１００％にはならず、４〜８行目の５行分のデータをデータレート１００％で出力する。１１行目、１５行目、１６行目、１２行目が入力されると、１２行目、１５行目、１６行目データを内部に保持しながら１１行目を出力し、１１行目データ出力後、内部に保持していた１２〜１６行目のデータをデータレート１００％で出力する。
【００５７】
このように、入力無効データ期間（ブランキング）の長さを行毎に変えると、行並び替え部２４０１の出力データレートの疎密も変わる。データレート調整によりバッファ部２４０２の出力レートが１００％でない場合、行並び替え部２４０１が出力するデータレート１００％の期間が短い程、バッファ部２４０２に一時的に溜まるデータ量は少なくなる。よって、行並び替え部２４０１が出力するデータレート１００％の期間が短くなるように、入力無効データ期間（ブランキング）の長さを行毎に変えることで、バッファ部２４０２に一時的に溜まるデータ量を少なくすることができる。行並び替え部２４０１が出力するデータレート１００％の最大期間は、図８（ａ）が７行分であり、図８（ｂ）が５行分であるため、図８（ｂ）の方がバッファ部２４０２に一時的に溜まるデータ量を少なくすることができる。
【００５８】
図９は、本実施形態における４行同時読みパターン２のデータレート調整を説明する図である。本実施形態では、Ａ＋Ｂ像のみ読み出す行と、Ａ像とＡ＋Ｂ像の両方を読み出す行を選択しながら撮像素子２０２からデータを読み出しており、８行分のＡ＋Ｂ像を読み出した後は４行分のＡ像を読み出している。視差画像分離部２５０１は、入力されるＡ像を分離してＡ＋Ｂ像のみを出力するため、出力データにはＡ像分離分の無効データ期間（ブランキング）が発生する。この無効データ期間（ブランキング）を利用して、データレート調整部２４０３は、データのピークレートを平均化する。行並び替え部２４０１の入出力データレートは図８（ｂ）で前述した通りであり、本実施形態では、行並び替え部２４０１の出力データレート１００％の期間が短くなるように、Ａ像を読み出す行を選択している。本実施形態では、行並び替え部２４０１が出力するＡ＋Ｂ像の連続出力データ期間が６行以上の場合は、その直後に読み出す行はＡ像を選択している。これにより、バッファ部２４０２に一時的に溜まるデータ量を少なくすることができるため、出力データレートをより低くすることができる。本実施形態では、データレートが７５％以下になるようにレート調整値を設定している。
【００５９】
図１０は、本実施形態における、画像データの撮影シーケンスを示す図である。Ｓ１００１では、ＣＰＵ２０４は、ユーザーにより撮影モードが設定され、撮影開始が指示されたか否かを判定する。撮影開始が指示されたら、Ｓ１００２に進み、指示されなければそのまま待機する。
【００６０】
Ｓ１００２では、読み出し制御部２０７に各行の視差画像読み出しモードを設定する。この視差画像読み出しモードによって、Ａ＋Ｂ像のみ読み出す行と、Ａ像とＡ＋Ｂ像の両方を読み出す行が決定される。本実施形態では、行並び替え部２４０１が出力するＡ＋Ｂ像の連続出力データ期間が６行以上の場合は、その直後に読み出す行はＡ像が選択される。Ｓ１００３では、ＣＰＵ２０４は、同時読み出し行数等を規定する読み出しモードを読み出し制御部２０７、行並び替え部２４０１に設定する。Ｓ１００４では、ＣＰＵ２０４は、ユーザーにより設定された撮影モードに基づいて、データレート調整部２４０３にデータレート調整値を設定する。Ｓ１００５では、ＣＰＵ２０４は、読み出し制御部２０７、撮像処理部２５０、信号処理部２１０に撮影処理開始を指示する。Ｓ１００６では、ＣＰＵ２０４は撮影処理が完了したか否かを判定する。撮影処理が完了すれば、Ｓ１００７に進み、ＣＰＵ２０４は、読み出し制御部２０７、撮像処理部２５０、信号処理部２１０に撮影処理終了を指示する。
【００６１】
以上説明したように、本実施形態の制御により、無効データ期間（ブランキング）の長さを行毎に変えることで、メモリバス帯域を圧迫しないように撮像ピークレートを制御することができ、高速にデータを処理することが出来る。本実施形態の制御では、メモリバス帯域を減らすために撮像データの情報量を落とす制御は実施していないため、記録画像の画質が劣化してしまうことはない。
【００６２】
本実施形態では、視差画像の読み出しモードを行毎に変更することで、無効データ期間（ブランキング）の長さを行毎に変えたが、他の手段で無効データ期間（ブランキング）の長さを行毎に変えてもよい。例えば、全ての行でＡ＋Ｂ像しか読み出さないモードにおいて、読み出し制御部２０７の制御で、無効データ期間の長さを行毎に変更してもよい。この時、行並び替え部２４０１が出力するＡ＋Ｂ像の連続出力データ期間が所定以上（例えば、６行以上）の場合は、無効データ期間を長くするように制御してもよい。
【００６３】
本実施形態では、読み出しモードとして、４行同時読みのパターン２を説明したが、他の読み出しモードでもよい。また、データレート調整部２４０３に設定するデータレート調整値は、本実施形態とは異なる値でもよい。
【００６４】
また、本実施形態のデータレート調整部２４０３は、入力ＶＡＬカウンタ２４０３１とＣＹＣＬＥカウンタ２４０３２のカウント値に基づいて、ＳＴＯＰ生成部２４０３３から「ＳＴＯＰ」を出力する構成としたが、データレートを調整できれば他の構成でもよい。
【００６５】
また、本実施形態では、メモリとしてＤＲＡＭを使用したが、ＤＲＡＭ以外のメモリを使用してもよい。
【００６６】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。この第３の実施形態における撮像装置の構成、データレート調整部の構成は第１の実施形態と同様であり、撮像素子の構成も図６に示した第２の実施形態の構成と同様であるため、説明を省略する。本実施形態では、読み出し制御部２０７によるデータ読み出し制御、撮像処理部の構成、画像データの撮影シーケンスが第１及び第２の実施形態と異なる。
【００６７】
図１１は、本実施形態における撮像処理部２６０の構成を示す図である。図１１は、撮像素子２０２からＡ像とＡ＋Ｂ像を読み出した場合の図である。入力データは、有効データが入力される有効期間（以降、ＶＡＬと記す）と、有効データが入力されない無効データ期間（ブランキング）が存在する。視差画像処理部２６０２は、フォーカスレンズを駆動するために既知の手法で相関演算処理を行う。視差画像分離部２６０１は、入力されるＡ像を分離してＡ＋Ｂ像のみを出力する。これにより、視差画像分離部２６０１に入力されるデータレートが例え１００％だったとしても、Ａ像を分離することで出力データには無効データ期間（ブランキング）が発生するようになる。この無効データ期間（ブランキング）を利用して、データレート調整部２４０３は、データピークレートを平均化する。
【００６８】
バッファ部２４０２は、データを蓄積可能であり、入力データレートと出力データレートの局所的な差分を吸収する。データレート調整部２４０３は、ＣＰＵ２０４から設定されたデータレートを超えないように出力データレートを制御する。本実施形態におけるデータレート調整部２４０３は、入力レートが設定レートより速い場合、データ入力を禁止する信号（以降、「ＳＴＯＰ」と記す）をバッファ部２４０２に出力する。バッファ部２４０２は、「ＳＴＯＰ」が入力されると内部バッファにデータを保持し、「ＳＴＯＰ」が解除されると保持していたデータを出力する。センサ補正部２４０４は、撮像素子２０２の画素の傷補正等の補正処理を行う。
【００６９】
本実施形態では、有効データが入力されないブランキング期間を利用して、有効データのピークレートを平均化している。データのピークレートを平均化しない場合、有効データ期間中は、ＤＲＡＭ２３０に対してピークレートの帯域がかかり、多くのＤＲＡＭ帯域を使用してしまう。これにより、有効データ期間中は、他の処理のＤＲＡＭ２３０へのアクセスが制限されてシステム全体のデータ処理性能が劣化してしまう。他の処理のＤＲＡＭ２３０へのアクセスが、ブランキング期間中に全ての処理が完了するような高速処理であればピークレートを平均化せずともシステム性能は劣化しないが、そのような高速処理を実現するとコストや消費電力が増大してしまう。データピークレートを平均化すれば、ＤＲＡＭ２３０にかかるピークレートの帯域が下がり、他の処理のＤＲＡＭ２３０へのアクセスも可能になる。これにより、他の処理のＤＲＡＭ２３０へのアクセスが制限されることによるシステム全体のデータ処理性能の劣化を防ぐことができる。
【００７０】
図１２Ａ〜図１２Ｃは、第３の実施形態におけるデータレート調整を示す図である。図１２Ａは、撮像素子２０２の全行でＡ像とＡ＋Ｂ像の両方を読み出す場合の図である。図１２Ｂは、撮像素子のＡ＋Ｂ像行に対し、Ａ像行を一定の比率で読み出す場合の図である。図１２Ｃは、Ａ＋Ｂ像行に対し、領域毎に異なる比率でＡ像行を読み出す場合の図である。
【００７１】
図１２Ａの撮像素子２０２の全行でＡ像とＡ＋Ｂ像の両方を読み出す場合におけるデータレート調整について説明する。撮像処理部２６０には、１行目から順にＡ像とＡ＋Ｂ像が交互に入力され、データが入力されている有効データ期間と、データが入力されていない無効データ期間がある。本実施形態では、Ａ像の読み出しデータ量は、Ａ＋Ｂ像に対して８０％のデータ量を読み出している。視差画像分離部２６０１は、入力されるＡ像を分離してＡ＋Ｂ像のみを出力する。これにより、視差画像分離部２６０１の出力データにはＡ像を分離した分の無効データ期間（ブランキング）が生成される。データレート調整部２４０３は、無効データ期間を使用してデータのピークレートを平均化する。この無効データ期間が長い方がデータのピークレートをより下げることが出来る。本実施形態では、データレートが６０％以下になるようにデータレート調整値を設定している。バッファ部２４０２は、有効データ期間中にデータレート調整部２４０３から出力される「ＳＴＯＰ」の分のデータを内部に保持し、保持したデータは無効データ期間中に出力する。視差画像分離部２５０１が出力する１行目のＡ＋Ｂ像のデータレートは１００％であり、データレート調整部の設定データレートは６０％であるため、１行目処理時はバッファ部２４０２に１行分データ量の約４０％のデータが溜まる。溜まったデータ量は、無効データ期間に出力する。出力データレートの設定を低くし過ぎると、データレート調整部２４０３が出力する「ＳＴＯＰ」の量が増え、バッファ部２４０２の保持すべきデータ量がバッファ部２４０２のデータ容量を超えてしまう。よって、本実施形態では、バッファ部２４０２が溢れることのないデータレートを設定している。
【００７２】
図１２ＢのＡ＋Ｂ像行に対してＡ像行を一定比率で読み出す場合におけるデータレート調整について説明する。撮像処理部２６０には、１行目から順に撮像素子２０２のデータが入力され、データが入力されている有効データ期間と、データが入力されていない無効データ期間がある。本実施形態では、Ａ像とＡ＋Ｂ像の１行分の読み出しデータ量は同じであるが、２行分のＡ＋Ｂ像を読み出す間に１行分のＡ像を読み出している。つまり、読み出し全データ量に対するＡ像のデータ量の比率は、３３．３３％（＝１／３）である。視差画像分離部２６０１は、入力されるＡ像を分離してＡ＋Ｂ像のみを出力する。これにより、視差画像分離部２６０１の出力データにはＡ像を分離した分の無効データ期間（ブランキング）が生成される。データレート調整部２４０３は、無効データ期間を使用してデータのピークレートを平均化する。この無効データ期間が長い方がデータレートを下げることが出来るが、この例のように有効データ期間が長いとその間バッファ部２４０２でデータを溜める必要があるため、データレートを下げにくくなる。
【００７３】
本実施形態では、Ａ＋Ｂ像２行を連続して読み出しているので、その間バッファ部２４０２でデータを溜める必要がある。本実施形態では、データレートが７０％以下になるようにデータレート調整値を設定している。バッファ部２４０２は、有効データ期間中にデータレート調整部２４０３から出力される「ＳＴＯＰ」の分のデータを内部に保持し、保持したデータは無効データ期間中に出力する。視差画像分離部２６０１が出力する１行目と２行目のＡ＋Ｂ像のデータレートは１００％であり、データレート調整部の設定データレートは７０％であるため、１行目、２行目処理時はバッファ部２４０２に１行分データ量の約６０％（＝３０％×２行）のデータが溜まる。溜まったデータ量は、無効データ期間に出力する。出力データレートの設定を低くし過ぎると、データレート調整部２４０３が出力する「ＳＴＯＰ」の量が増え、バッファ部２４０２の保持すべきデータ量がバッファ部２４０２のデータ容量を超えてしまう。よって、本実施形態では、バッファ部２４０２が溢れることのないデータレートを設定している。
【００７４】
図１２ＣのＡ＋Ｂ像行に対して領域毎に異なる比率でＡ像行を読み出す場合におけるデータレート調整について説明する。撮像処理部２６０には、１行目から順に撮像素子２０２のデータが入力され、データが入力されている有効データ期間と、データが入力されていない無効データ期間がある。本実施形態では、Ａ像とＡ＋Ｂ像の１行分の読み出しデータ量は同じであるが、２つの領域でＡ＋Ｂ像に対するＡ像の読み出し比率が異なる。領域１では、２行分のＡ＋Ｂ像を読み出す間に１行分のＡ像を読み出している。つまり、読み出し全データ量に対するＡ像のデータ量の比率は、３３．３３％（＝１／３）である。領域２では、３行分のＡ＋Ｂ像を読み出す間に１行分のＡ像を読み出している。つまり、読み出し全データ量に対するＡ像のデータ量の比率は、２５％（＝１／４）である。視差画像分離部２６０１は、入力されるＡ像を分離してＡ＋Ｂ像のみを出力する。これにより、視差画像分離部２６０１の出力データにはＡ像を分離した分の無効データ期間（ブランキング）が生成される。データレート調整部２４０３は、無効データ期間を使用してデータのピークレートを平均化する。この無効データ期間が長い方がデータレートを下げることが出来るが、この例のように有効データ期間が長いとその間バッファ部２４０２でデータを溜める必要があるため、データレートを下げにくくなる。本実施形態では、領域１はＡ＋Ｂ像２行を連続して読み出し、領域２はＡ＋Ｂ像３行を連続して読み出している。よって、条件の悪い方であるＡ＋Ｂ像３行を連続して読み出している間、バッファ部２４０２がデータを溜められるようなデータレートをデータレート調整部２４０３に設定する必要がある。
【００７５】
本実施形態では、データレートが８０％以下になるようにデータレート調整値を設定している。バッファ部２４０２は、有効データ期間中にデータレート調整部２４０３から出力される「ＳＴＯＰ」の分のデータを内部に保持し、保持したデータは無効データ期間中に出力する。領域１において、視差画像分離部２６０１が出力する１行目と２行目のＡ＋Ｂ像のデータレートは１００％であり、データレート調整部の設定データレートは８０％である。そのため、１行目、２行目の処理時はバッファ部２４０２に１行分データ量の約４０％（＝２０％×２行）のデータが溜まる。溜まったデータ量は、無効データ期間に出力する。領域２において、視差画像分離部２６０１が出力する１行目と２行目と３行目のＡ＋Ｂ像のデータレートは１００％であり、データレート調整部の設定データレートは８０％である。そのため、１行目、２行目、３行目の処理時はバッファ部２４０２に約６０％（＝２０％×３行）のデータが溜まる。溜まったデータ量は、無効データ期間に出力する。出力データレート設定を低くし過ぎると、データレート調整部２４０３が出力する「ＳＴＯＰ」の量が増え、バッファ部２４０２の保持すべきデータ量がバッファ部２４０２のデータ容量を超えてしまう。よって、本実施形態では、バッファ部２４０２が溢れることのないデータレートを設定している。
【００７６】
図１３は、本実施形態における、画像データの撮影シーケンスを示す図である。
【００７７】
図１３において、Ｓ１００１では、ＣＰＵ２０４は、ユーザーから撮影モードが設定され、撮影開始が指示されたか否かを判定する。撮影開始が指示されたらＳ１００２に進み、指示されなければそのまま待機する。
【００７８】
Ｓ１００２では、読み出し制御部２０７に各行の視差画像読み出しモードを設定する。この視差画像読み出しモードによって、視差画像の読み出し配置、読み出しデータ量が決定される。Ｓ１００４では、ＣＰＵ２０４は、ユーザーにより設定された撮影モードに基づいて、データレート調整部２４０３にデータレート調整値を設定する。
【００７９】
Ｓ１００５では、ＣＰＵ２０４は、読み出し制御部２０７、撮像処理部２６０、信号処理部２１０に撮影処理の開始を指示する。Ｓ１００６では、ＣＰＵ２０４は、撮影処理が完了したか否かを判定する。撮影処理が完了すれば、Ｓ１００７に進み、完了していなければ完了するまで待機する。Ｓ１００７では、ＣＰＵ２０４は、読み出し制御部２０７、撮像処理部２６０、信号処理部２１０に撮影処理の終了を指示する。
【００８０】
以上説明したように、本実施形態によれば、メモリバス帯域を圧迫しないように撮像ピークレートを制御することにより、高速にデータを処理することが出来る。本実施形態の制御では、メモリバス帯域を減らすために撮像データの情報量を落とす制御は実施していないため、記録画像の画質が劣化してしまうことはない。
【００８１】
なお、視差画像の読み出し配置、読み出しデータ量は、本実施形態と異なる値でもよい。また、データレート調整部２４０３に設定するデータレート調整値は、本実施形態と異なる値でもよい。
【００８２】
また、本実施形態のデータレート調整部２４０３は、入力ＶＡＬカウンタ２４０３１とＣＹＣＬＥカウンタ２４０３２のカウント値に基づいて、ＳＴＯＰ生成部２４０３３から「ＳＴＯＰ」を出力する構成としたが、データレートを調整できれば他の構成でもよい。また、本実施形態では、メモリとしてＤＲＡＭを使用したが、ＤＲＡＭ以外のメモリを使用してもよい。
【００８３】
（第４の実施形態）
以下、本発明の第４の実施の形態について説明する。本実施形態の撮像装置の構成、撮像素子の構成、撮像処理部の構成は第３の実施形態と同様であるため、説明を省略する。本実施形態では、データレート調整部の構成、画像データの撮影シーケンスが第３の実施形態と異なる。本実施形態では、撮像素子から読み出す画像１画面の複数の領域のデータに対して、異なるレートでデータレートを調整する点が第３の実施形態と異なる。
【００８４】
図１４は、本実施形態におけるデータレート調整部７４０３の構成を示す図である。入力ＶＡＬカウンタ２４０３１、ＣＹＣＬＥカウンタ２４０３２、ＳＴＯＰ生成部２４０３３は第１実施形態と同じであるため、説明を省略する。本実施形態では、画像１画面の２つの領域（領域１、領域２）のデータに対して、異なるレートでデータレートを調整する。領域判別部７４０３４は、入力ＶＡＬカウンタ２４０３１の出力するＶＡＬをカウントし、ＣＰＵ２０４から設定される領域境界値とＶＡＬカウンタ値を比較することで、現在、領域１と領域２のどちらのデータを処理しているかを判別している。領域判別部７４０３４には、ＣＰＵ２０４から領域１、領域２それぞれのデータレート調整値が設定されており、領域判別した結果に応じて選択したデータレート調整値をＳＴＯＰ生成部２４０３３へ出力する。ＳＴＯＰ生成部２４０３３は、領域判別部７４０３４から入力されたデータレート調整値に基づいてデータレート制御を行う。
【００８５】
図１５は、本発明の第４の実施形態におけるデータレート調整を示す図である。撮像素子２０２の出力画像は、撮像素子２０２の領域１と領域２とでＡ像行の位置、比率が異なる。本実施形態の領域１のＡ像行は、Ａ＋Ｂ像行に対して１箇所に集中して配置されている。領域１には、Ａ像行が存在しない領域１＿１と領域１＿３、Ａ像行が存在する領域１＿２が存在する。領域１のＡ＋Ｂ像は、センサ補正部２４０４が使用するデータであり、センサ補正以外では使用しないため、ＤＲＡＭ２３０には書き込まない。本実施形態の領域２のＡ像行は、Ａ＋Ｂ像行に対して均等間隔で配置されている。領域２のＡ＋Ｂ像（一部の領域のデータ）は、信号処理部２１０が使用するデータであり、ＤＲＡＭ２３０に書き込まれる。
【００８６】
撮像処理部２７０には、１行目から順に撮像素子２０２のデータが入力され、データが入力されている有効データ期間と、データが入力されていない無効データ期間がある。視差画像分離部２７０１は、入力されるＡ像を分離してＡ＋Ｂ像のみを出力する。これにより、視差画像分離部２７０１の出力データにはＡ像を分離した分の無効データ期間（ブランキング）が生成される。
【００８７】
データレート調整部２４０３は、無効データ期間を使用してデータのピークレートを平均化する。本実施形態において、データレート調整部２４０３は、領域１、領域２それぞれに異なる値のデータレートを設定することが可能である。本実施形態において、領域１はＤＲＡＭ２３０に書き込まないデータであり、領域１のデータレートが高くてもメモリバス帯域を圧迫することがないため、領域１はデータレート調整を行わない。領域２は、Ａ像を分離した分の無効データ期間が生成されるため、その無効データ期間を利用してデータレートを平均化する。本実施形態では、領域２のデータピークレートが７０％以下となるように設定している。出力データレート設定を低くし過ぎると、データレート調整部２４０３が出力する「ＳＴＯＰ」の量が増え、バッファ部２４０２の保持すべきデータ量がバッファ部２４０２のデータ容量を超えてしまう。よって、本実施形態ではバッファ部２４０２にデータが溢れることのないデータレートを設定している。
【００８８】
上記の本実施形態の制御によれば、領域毎に異なるレートでデータレートを制御することにより、ＤＲＡＭに書き込むピークデータレートをより平均化することが出来る。第３の実施形態のように複数のデータレートで制御出来ない場合、１画面中で１番ピークレートの高い領域でバッファ部２４０２のデータが溢れないようなレート調整をする必要がある。データレート調整部２４０３へ入力されるデータのピークレートが一番高い領域は、領域１＿１、領域１＿３である。本実施形態では、領域１＿１、領域１＿３でバッファ部２４０２のデータが溢れないようなレートは９５％である。この時、領域２のデータレートも領域１＿１、領域１＿３と同じデータレート９５％で制御する必要がある。第３の実施形態の制御でなく、本実施形態の制御では、ＤＲＡＭに書き込むピークデータレートを７０％まで下げることが出来る。本実施形態のように、領域毎に異なるレートで制御すれば、よりＤＲＡＭに書き込むピークデータレートを下げることが出来る。
【００８９】
図１６は、本実施形態における、画像データの撮影シーケンスを示す図である。図１６において、Ｓ２００１では、ＣＰＵ２０４は、ユーザーから撮影モードが設定され、撮影開始が指示されたか否かを判定する。撮影開始が指示されたらＳ２００２に進み、指示されなければそのまま待機する。
【００９０】
Ｓ２００２では、読み出し制御部２０７に各行の視差画像読み出しモードを設定する。この視差画像読み出しモードによって、Ａ像の読み出し配置、読み出しデータ量が決定される。Ｓ２００４では、ＣＰＵ２０４は、ユーザーにより設定された撮影モードに基づいて、データレート調整部２４０３に、領域境界値、領域ごとのデータレート調整値を設定する。
【００９１】
Ｓ２００５では、ＣＰＵ２０４は、読み出し制御部２０７、撮像処理部２７０、信号処理部２１０に撮影処理の開始を指示する。Ｓ２００６では、ＣＰＵ２０４は、撮影処理が完了したか否かを判定する。撮影処理が完了すれば、Ｓ２００７に進み、完了していなければ完了するまで待機する。Ｓ２００７では、ＣＰＵ２０４は、読み出し制御部２０７、撮像処理部２７０、信号処理部２１０に撮影処理の終了を指示する。
【００９２】
以上説明したように、上記の実施形態によれば、領域ごとに異なるデータレートを設定可能になり、メモリバス帯域を圧迫しないように撮像ピークレートを制御することができ、高速にデータを処理することが出来る。本実施形態の制御では、メモリバス帯域を減らすために撮像データの情報量を落とす制御は実施していないため、記録画像の画質が劣化してしまうことはない。
【００９３】
本実施形態では、１画面中の２つの領域で異なるデータレートを設定したが、３つ以上の複数の領域に対して、それぞれ異なるデータレートを設定してもよい。また、本実施形態では、領域１においてＡ像行を１箇所に集中して配置したが、Ａ像行を均等間隔で配置してもよい。その場合、Ａ像行を均等間隔に配置しても、読み出し制御部２０７がＡ像行の読み出し順を１箇所に集中するように読み出した場合は、Ａ像行を１箇所に集中配置した本実施形態と同じ制御になる。例えば、撮像素子の奇数行にＡ像とＡ＋Ｂ像、偶数行にＡ＋Ｂ像を配置してＡ像を均等間隔で配置しても、撮像素子から奇数行のみを先に読み出し、その後偶数行を読み出す場合、撮像処理部２７０にとっては、Ａ像が１つの領域に集中して配置された場合と同じ制御になる。
【００９４】
また、本実施形態では、領域２においてＡ像行を均等間隔に配置したが、Ａ像行を１箇所に集中して配置してもよい。また、本実施形態では、２つの領域のうちの１つの領域のデータはＤＲＡＭに書き込まなかったが、書き込むシステムに適用してもよい。また、データレート調整部２４０３に設定するレート調整値は、本実施形態とは異なる値でもよい。
【００９５】
また、本実施形態のデータレート調整部２４０３は、入力ＶＡＬカウンタ２４０３１とＣＹＣＬＥカウンタ２４０３２のカウント値に基づいて、ＳＴＯＰ生成部２４０３３から「ＳＴＯＰ」を出力する構成としたが、データレートを調整できれば他の構成でもよい。また、本実施形態では、メモリとしてＤＲＡＭを使用したが、ＤＲＡＭ以外のメモリを使用してもよい。
【００９６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９７】
２０１：結像光学部、２０２：撮像素子、２０４：ＣＰＵ、２０７：読み出し制御部、２０８：光学駆動制御部、２１０：信号処理部、２３０：ＤＲＡＭ、２４０：撮像処理部
【図１】
2019153885.tif 000003
【図２】
2019153885.tif 000004
【図３】
2019153885.tif 000005
【図４Ａ】
2019153885.tif 000006
【図４Ｂ】
2019153885.tif 000007
【図４Ｃ】
2019153885.tif 000008
【図４Ｄ】
2019153885.tif 000009
【図４Ｅ】
2019153885.tif 000010
【図５】
2019153885.tif 000011
【図６】
2019153885.tif 000012
【図７】
2019153885.tif 000013
【図８】
2019153885.tif 000014
【図９】
2019153885.tif 000015
【図１０】
2019153885.tif 000016
【図１１】
2019153885.tif 000017
【図１２Ａ】
2019153885.tif 000018
【図１２Ｂ】
2019153885.tif 000019
【図１２Ｃ】
2019153885.tif 000020
【図１３】
2019153885.tif 000021
【図１４】
2019153885.tif 000022
【図１５】
2019153885.tif 000023
【図１６】
2019153885.tif 000024