(57)【要約】【課題】カメラシステムにおいて、記録部へのアクセスを低減させ、処理速度を向上させる。【解決手段】画像データを取得する撮像部であって、撮影領域上を、長辺が画像データの読み出し方向に直交するとともに、短辺の幅が圧縮処理単位の読み出し方向の幅の整数倍である短冊状の、複数の互いに隣接するブロックに分割するように、短冊状の複数のブロックが撮影領域上に設定された撮像部１２から得られた画像データをDRAM１７に記録する。信号処理部１９が、ブロック毎に、そのブロックから得られた画像データを信号処理するために必要な領域の画像データをDRAM１７から読み出し、そのブロックから得られた画像データを信号処理し、処理済画像データを圧縮処理部２０に出力し、圧縮処理部において処理済画像データを圧縮処理単位で圧縮処理し、圧縮データを生成する。生成された全ブロックの圧縮データを圧縮処理単位で並べ替えて、圧縮画像データを生成する。【選択図】図４
2009088776.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子が二次元的に配列されてなり、被写体像を光電変換して画像データを取得する撮像部であって、撮影領域上を、長辺が前記画像データの読み出し方向に直交するとともに、短辺の幅が圧縮処理単位の前記読み出し方向の幅の整数倍である短冊状の、複数の互いに隣接するブロックに分割するように、該短冊状の複数のブロックが前記撮影領域上に設定された撮像部と、
前記撮像部から得られた画像データを記録する記録部と、
前記ブロック毎に、該ブロックから得られた画像データを信号処理するために必要な領域の画像データを前記記録部から読み出し、該読み出した画像データを用いて前記ブロックから得られた画像データを信号処理し、該信号処理した処理済画像データを圧縮処理部に出力する信号処理部と、
前記ブロック毎に、前記信号処理部から入力された処理済画像データを前記圧縮処理単位で圧縮処理し、圧縮データを生成する前記圧縮処理部と、
該圧縮処理部により生成された全ブロックの圧縮データを前記圧縮処理単位で並べ替えて、前記被写体像の圧縮画像データを生成する結合部と
を備えたカメラシステム。
【請求項２】
撮像素子が二次元的に配列されてなり、被写体像を光電変換して画像データを取得する撮像部であって、撮影領域上を、長辺が前記画像データの読み出し方向に直交するとともに、短辺の幅が圧縮処理単位の前記読み出し方向の幅の整数倍である短冊状の、複数の互いに隣接するブロックに分割するように、該短冊状の複数のブロックが前記撮影領域上に設定された撮像部と、
前記撮像部から得られた画像データを記録する記録部と、
前記ブロック毎に、該ブロックから得られた画像データを信号処理するために必要な領域の画像データを前記記録部から読み出し、該読み出した画像データを用いて前記ブロックから得られた画像データを信号処理し、該信号処理した処理済画像データを前記記録部または圧縮処理部に出力する信号処理部と、
前記ブロック毎に、前記信号処理部から入力された処理済画像データまたは前記記録部から読み出した前記処理済画像データを、前記圧縮処理単位で圧縮処理し、圧縮データを生成する前記圧縮処理部と、
該圧縮処理部により生成された全ブロックの圧縮データを前記圧縮処理単位で並べ替えて、前記被写体像の圧縮画像データを生成する結合部と、
前記信号処理部に前記処理済画像データを前記記録部および前記圧縮処理部のいずれかに出力させると共に、前記記録部に出力させた場合、前記圧縮処理部に前記記録部から前記処理済画像データを読み出して前記圧縮処理を行わせる制御部と
を備えたカメラシステム。
【請求項３】
前記処理済画像データに加工処理を施すか否かを設定する設定部と、
前記処理済画像データを前記記録部から読み出し、該読み出した画像データに前記加工処理を施し、該加工処理を施した加工済画像データを前記記録部に出力する加工部とをさらに備え、
前記制御部が、前記設定部により前記加工処理を施すとの設定がなされた場合、前記信号処理部に、前記処理済画像データを前記記録部に出力させて該記録部に記録させると共に、前記加工部に、前記記録部に記録されている前記処理済画像データを読み出して前記加工処理を行わせ、加工済の前記処理済画像データを前記記録部に出力させて該記録部に記録させ、前記圧縮処理部に、前記記録部に記録されている前記加工済の処理済画像データを読み出して圧縮処理を行わせるものであることを特徴とする請求項２記載のカメラシステム。
【請求項４】
前記信号処理部による信号処理が、前記各ブロックから得られた画像データの画像を拡大または縮小する拡大縮小処理と、
前記画像の見出し用の小画像を生成するために、該画像を縮小する見出し用縮小処理と
を含むものであることを特徴とする請求項１から３のいずれか１項記載のカメラシステム。
【請求項５】
撮像素子が二次元的に配列されてなり、被写体像を光電変換して画像データを取得する撮像部であって、撮影領域上を、長辺が前記画像データの読み出し方向に直交するとともに、短辺の幅が圧縮処理単位の前記読み出し方向の幅の整数倍である短冊状の、複数の互いに隣接するブロックに分割するように、該短冊状の複数のブロックが前記撮影領域上に設定された撮像部から得られた画像データを記録部に記録する手順と、
前記ブロック毎に、該ブロックから得られた画像データを信号処理するために必要な領域の画像データを前記記録部から読み出し、該読み出した画像データを用いて前記ブロックから得られた画像データを信号処理し、該信号処理した処理済画像データを圧縮処理部に出力し、該出力された処理済画像データを前記圧縮処理部において前記圧縮処理単位で圧縮処理し、圧縮データを生成する手順と、
前記生成された全ブロックの圧縮データを前記圧縮処理単位で並べ替えて、前記被写体像の圧縮画像データを生成する手順と
を実行することを特徴とする画像データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影部から得られた画像データに対して信号処理、圧縮処理等の処理を行うカメラシステム及びその画像データ処理方法に関するものである。
【背景技術】
【０００２】
撮像部から得られた画像データに対して信号処理、圧縮処理を施し、アプリケーションにおいて再生可能な画像ファイルとして記録するデジタルカメラが広く知られている。
【０００３】
従来のデジタルカメラは、例えば、図１３に示すように、撮影部３２、アナログ信号処理部３３、画像入力コントローラ３５、バス３６、DRAM３７、DMAコントローラ３８、信号処理部３９、圧縮処理部４０等を備えている。
【０００４】
このデジタルカメラでは、まず、撮像部３２から得られた画像データは、アナログ信号処理部３３においてサンプリング、信号増幅、及びA/D変換された後、そのデジタル化された画像データ（RAWデータ）が画像入力コントローラ３５を介してDRAM３７に書き込まれる。
【０００５】
そして、信号処理部３９が、DRAM３７に格納されたRAWデータを読み出し、そのRAWデータに対してホワイトバランス処理、階調処理、ＹＣ変換、輪郭強調、ノイズ低減処理、リサイズ等の信号処理を施し、信号処理済の画像データ（YCデータ）をDRAM３７に出力する。次に、圧縮処理部４０が、DRAM３７に格納されたYCデータを読み出し、そのYCデータを圧縮処理してJPEG等の画像ファイルを生成し、生成した画像ファイルをDRAMに出力する。この生成された画像ファイルは記録メディア４５に記録される。
【０００６】
このようなデジタルカメラでは、画像データを取り込み、信号処理と圧縮処理を施し、記録するまでの処理が行われるが、図１４に示すように、それらの処理の各段階を独立させて並列的に動作させることによって、処理速度を向上させることが考えられる。しかし、処理の各段階を並列的に動作させるためには、例えば図１４に破線で示すように、画像入力コントローラ３５、信号処理部３９、圧縮処理部４０、及び記録メディア４５がそれぞれバスを介してDRAM３７にアクセスする場合であっても処理の遅延を招くことのないよう、充分なバス帯域が必要となる。
【０００７】
これに対して、例えば、特許文献１〜４では、図１５及び図１６に示すように、信号処理部３９が圧縮処理単位MCU(例えば、水平方向１６画素×垂直方向８画素）B1、B2、B3、…毎に、その圧縮処理単位の画像データを信号処理するために必要な領域の画像データをDRAM３７から読み出し、その読み出した画像データを用いてその圧縮処理単位を信号処理し、信号処理した処理済画像データを圧縮処理部４０に出力し、圧縮処理部４０において圧縮処理するデジタルカメラが開示されており、これにより、信号処理済画像データを、DRAM３７を経由せずに直接圧縮処理部に出力させることを実現させ、DRAM３７へのアクセス回数を低減させる方法が開示されている。
【０００８】
なお、一般的に信号処理を行う際には、高画質化を図る上で、１つの画素の信号に対してその上下左右の周辺画素（リングピクセル）の信号が参照される。上記特許文献１〜４のデジタルカメラでは、例えば、圧縮処理の処理基本単位MCUが１６画素×８画素であり、１つの画素の信号に対する信号処理にその上下左右の２画素分のリングピクセルの信号が必要である場合、信号処理部３９が、圧縮基本単位のブロックとその左右上下に２画素ずつのリングピクセルとを含む２０画素×１２画素分の画像データをDRAM３７から読み出して信号処理を施した後、圧縮処理の処理基本単位である１６画素×８画素の処理済画像データを圧縮処理部４０に出力する。
【特許文献１】特開平１１−２５９６４６号公報
【特許文献２】特開２０００−２３０８３号公報
【特許文献３】特開２０００−３５４１９３号公報
【特許文献４】特開２００６−１４３５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、近年の信号処理の高度化、複雑化に従って、１つの画素の信号に対する信号処理に参照されるリングピクセルの数が非常に多くなっており、例えば、１つの画素の信号に対する信号処理にその上下左右の２０画素分のリングピクセルの信号が必要である場合がある。
【００１０】
このような場合、圧縮処理の処理基本単位MCU、例えば１６画素×８画素毎に信号処理と圧縮処理を行う上記特許文献１〜４のデジタルカメラにでは、１６画素×８画素の各ブロックに対して信号処理を行う度に、その左右上下に２０画素ずつのリングピクセルを含む５６画素×４８画素分の画像データを読み出すこととなる。それにより、記録部から読み出すリングピクセルの処理対象画素数に対する割合が増大し、DRAMへのアクセスが増加してしまうとともに、処理速度が低下するという問題がある。
【００１１】
本発明は、上記事情に鑑み、記録部へのアクセスを低減させるとともに、処理速度を向上させるカメラシステム及びその画像データ処理方法を提供することを目的とするものである。
【課題を解決するための手段】
【００１２】
本発明のカメラシステムは、撮像素子が二次元的に配列されてなり、被写体像を光電変換して画像データを取得する撮像部であって、撮影領域上を、長辺が画像データの読み出し方向に直交するとともに、短辺の幅が圧縮処理単位の上記読み出し方向の幅の整数倍である短冊状の、複数の互いに隣接するブロックに分割するように、その短冊状の複数のブロックが撮影領域上に設定された撮像部と、その撮像部から得られた画像データを記録する記録部と、上記ブロック毎に、そのブロックから得られた画像データを信号処理するために必要な領域の画像データを記録部から読み出し、その読み出した画像データを用いてそのブロックから得られた画像データを信号処理し、信号処理した処理済画像データを圧縮処理部に出力する信号処理部と、上記ブロック毎に、信号処理部から入力された処理済画像データを圧縮処理単位で圧縮処理し、圧縮データを生成する圧縮処理部と、その圧縮処理部により生成された全ブロックの圧縮データを圧縮処理単位で並べ替えて、被写体像の圧縮画像データを生成する結合部とを備えたことを特徴とするものである（第１のカメラシステム）。
【００１３】
本発明のカメラシステムは、撮像素子が二次元的に配列されてなり、被写体像を光電変換して画像データを取得する撮像部であって、撮影領域上を、長辺が画像データの読み出し方向に直交するとともに、短辺の幅が圧縮処理単位の上記読み出し方向の幅の整数倍である短冊状の、複数の互いに隣接するブロックに分割するように、その短冊状の複数のブロックが撮影領域上に設定された撮像部と、その撮像部から得られた画像データを記録する記録部と、上記ブロック毎に、そのブロックから得られた画像データを信号処理するために必要な領域の画像データを記録部から読み出し、その読み出した画像データを用いてそのブロックから得られた画像データを信号処理し、信号処理した処理済画像データを録部または圧縮処理部に出力する信号処理部と、上記ブロック毎に、信号処理部から入力された処理済画像データまたは記録部から読み出した処理済画像データを、圧縮処理単位で圧縮処理し、圧縮データを生成する圧縮処理部と、その圧縮処理部により生成された全ブロックの圧縮データを圧縮処理単位で並べ替えて、被写体像の圧縮画像データを生成する結合部と、信号処理部に処理済画像データを記録部および圧縮処理部のいずれかに出力させると共に、記録部に出力させた場合、圧縮処理部に記録部から処理済画像データを読み出して圧縮処理を行わせる制御部とを備えたことを特徴とするものである（第２のカメラシステム）。
【００１４】
ここで、圧縮処理部において記録部から読み出す「処理済画像データ」とは、既に信号処理が施された画像データを広く意味し、加工処理等の他の画像処理がさらに施されている信号処理済画像データも含む。
【００１５】
上記第２のカメラシステムにおいては、処理済画像データに加工処理を施すか否かを設定する設定部と、処理済画像データを記録部から読み出し、その読み出した画像データに加工処理を施し、その加工処理を施した加工済画像データを記録部に出力する加工部とをさらに備え、上記制御部が、設定部により加工処理を施すとの設定がなされた場合、信号処理部に、処理済画像データを記録部に出力させて該記録部に記録させると共に、加工部に、記録部に記録されている処理済画像データを読み出して加工処理を行わせ、加工済の処理済画像データを記録部に出力させて該記録部に記録させ、圧縮処理部に、記録部に記録されている加工済の処理済画像データを読み出して圧縮処理を行わせるものであってもよい。
【００１６】
また、上記第１または第２のカメラシステムにおいては、信号処理部による信号処理が、上記各ブロックから得られた画像データの画像を拡大または縮小する拡大縮小処理と、その画像の見出し用の小画像を生成するために、その画像を縮小する見出し用縮小処理とを含むものであってもよい。
【００１７】
本発明の画像データ処理方法は、撮像素子が二次元的に配列されてなり、被写体像を光電変換して画像データを取得する撮像部であって、撮影領域上を、長辺が画像データの読み出し方向に直交するとともに、短辺の幅が圧縮処理単位の上記読み出し方向の幅の整数倍である短冊状の、複数の互いに隣接するブロックに分割するように、その短冊状の複数のブロックが撮影領域上に設定された撮像部から得られた画像データを記録部に記録する手順と、上記ブロック毎に、そのブロックから得られた画像データを信号処理するために必要な領域の画像データを記録部から読み出し、その読み出した画像データを用いてそのブロックから得られた画像データを信号処理し、その信号処理した処理済画像データを圧縮処理部に出力し、その出力された処理済画像データを圧縮処理部において圧縮処理単位で圧縮処理し、圧縮データを生成する手順と、その生成された全ブロックの圧縮データを圧縮処理単位で並べ替えて、被写体像の圧縮画像データを生成する手順とを実行することを特徴とする。
【００１８】
なお、「圧縮処理単位で並べ替える」とは、１つの圧縮処理単位毎に並べ替えるものであってもよいし、複数個の圧縮処理単位を１グループとし、そのグループ毎に並べ替えるものであってもよい。
【発明の効果】
【００１９】
本発明の第１のカメラシステム及び画像データ処理方法によれば、撮影部の撮影領域上に設定された、長辺が画像データの読み出し方向に直交するとともに、短辺の幅が圧縮処理単位の上記読み出し方向の幅の整数倍である短冊状のブロック毎に、そのブロックから得られた画像データを信号処理するために必要な領域の画像データを記録部から読み出すようにしているので、圧縮処理単位毎に、その圧縮処理単位の画像データを信号処理するために必要な領域の画像データを記録部から読み出すようにしている特許文献１〜４のデジタルカメラに比べ、記録部から読み出すリングピクセルの処理対象画素数に対する割合を低減でき、その分記録部へのアクセスが低減し、処理速度が向上する。
【００２０】
また、信号処理した処理済画像データを、記録部を経由せずに直接圧縮処理部に出力させているので、記録部へのアクセス回数が低減できる。
【００２１】
本発明の第２のカメラシステムによれば、信号処理部に処理済画像データを直接圧縮処理部出力させると共に、圧縮処理部において圧縮処理を行わせる処理と、信号処理部に処理済画像データを記録部に出力させて該記録部に記録させると共に、圧縮処理部に記録部から処理済画像データを読み出して圧縮処理を行わせる処理とを適宜切り替えて行うことができ、より柔軟なカメラシステムを構成できる。
【００２２】
また、上記第２のカメラシステムにおいて、加工処理を施すとの設定がなされた場合、信号処理部に、処理済画像データを記録部に出力させて該記録部に記録させると共に、加工部に、記録部に記録させている処理済画像データを読み出して加工処理を行わせ、加工済の処理済画像データを記録部に出力させて該記録部に記録させ、圧縮処理部に、記録部に記録されている加工済の処理済画像データを読み出して圧縮処理を行わせるようにした場合、加工処理を施す場合に柔軟に対応することができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明によるカメラシステム及びその画像データ処理方法の実施の形態について説明する。図１は、本発明によるカメラシステムの機能構成を示すブロック図である。
【００２４】
図１に示すカメラシステム１は、撮影部１２、アナログ信号処理部１３、画像入力コントローラ１５、バス１６、DRAM１７、DMAコントローラ１８、信号処理部１９、圧縮処理部２０、CPU２１、結合部２３、加工処理部２６、操作系２７等を備えている。なお、信号処理部１９、圧縮処理部２０、結合部２３、加工処理部２６等の処理部は信号処理LSI２２上に設けられている。
【００２５】
撮影部１２は、CCDやCMOS等の多数の撮像素子がマトリクス状に二次元配列されてなり、被写体像を光電変換して画像データとして出力する。また、撮影領域上を、長辺がその画像データの読み出し方向に直交するとともに、短辺の幅が圧縮処理単位のその読み出し方向の幅の整数倍である短冊状の、複数の互いに隣接するブロックに分割するように、その短冊状の複数のブロックが撮影領域上に設定されている。ここで、撮影領域とは、撮影部１２により撮影して得られる全範囲の画像データのうち、主たるデータとして記録される主画像が撮影される領域を意味する。
【００２６】
なお、ここでは、画像データの読み出し方向を水平方向とし、水平方向1280画素×垂直方向960画素の撮像領域上に５つの互いに隣接する短冊状のブロック（水平方向256画素×垂直方向960画素）が設定されたものを例示して説明する。この短冊状のブロックの水平方向の幅は、圧縮処理単位の水平方向の幅（例えば１６画素）の整数倍（１６倍）である。
【００２７】
撮影部１２から出力された画像データは、アナログ信号処理部１３に入力される。このアナログ信号処理部１３は、画像信号のノイズ除去を行う相関２重サンプリング回路（CDS）と、画像信号のゲイン調整を行うオートゲインコントローラ（AGC）と、画像信号をデジタル画像データに変換するA/Dコンバータ（ADC）とからなり、画素毎にRGBの濃度値を持つRAWデータを出力する。
【００２８】
画像入力コントローラ１５は、上記アナログ信号処理部１３から入力されたRAWデータをDRAM（記録手段）１７に書き込む。このDRAM１７は、画像データに対して後述の各種デジタル画像処理を行う際に使用する作業用メモリである。
【００２９】
DMAコントローラ（DMAC）１８は、信号処理部１９、圧縮処理部２０等の各種の処理部やDRAM１７間で直接データ転送を行なう転送において、通信の制御を行なう。
【００３０】
例えば、信号処理部１９の入力制御部５２又は出力制御部５３からの入／出力のリクエスト信号に対して、DRAM１７におけるデータの書込み／読出しが可能であれば、入力制御部５２又は出力制御部５３にアクノリッジ（応答確認）信号を返すとともに、信号処理部１９とDRAM１７間で直接データ転送が行われるよう、通信の制御を行う。また、圧縮処理部２０の入力制御部６２又は出力制御部６３からの入／出力のリクエスト信号に応じて、DRAM１７におけるデータ書込み／読出しが可能であれば、入力制御部６２又は出力制御部６３にアクノリッジ（応答確認）信号を返すとともに、圧縮処理部２０とDRAM１７間で直接データ転送が行われるよう、通信の制御を行う。これにより、図２に示すように、信号処理部１９又は圧縮処理部２０とDRAM１７との間にDMA転送によるデータのやり取りが行われる。
【００３１】
なお、信号処理部１９から圧縮処理部２０に直接データを転送する場合には、まず、信号処理部の出力制御部５３が圧縮処理部の入力制御部６２にデータの転送リクエスト信号を送信する。それに対して、圧縮処理部２０におけるデータの書き込みが可能であれば、圧縮処理部の入力制御部６２が信号処理部の出力制御部５３にアクノリッジ信号及びデータイネーブル信号を返す。信号処理部の出力制御部５３は、このデータイネーブル信号に応じて、圧縮処理部に直接データを転送する。
【００３２】
信号処理部１９は、図２に示すように、信号処理コア部５１、DMA入力制御部５２、及びDMA出力制御部５３を備える。
【００３３】
DMA入力制御部５２は、撮影領域上に設定されている短冊状のブロック毎に、そのブロックから得られた画像データRa、Rb、…、Reを信号処理するために必要な領域の画像データIa、Iｂ、…、Ieを、図５に示すように、画像データIa、Iｂ、…、Ieの順に、かつ各行毎に順次DRAM１７から読み出し、その読み出した信号処理部１９の内部バッファに格納する。これにより、DRAM１７から読み出された画像データの行数が、少なくとも１つの画素の信号に対して信号処理が可能な行数になった時点で、信号処理コア部５１により信号処理を開始する。
【００３４】
信号処理コア部５１は、図３および図４に示すように、ホワイトバランス処理部（WB処理部）５４、階調処理部５５、YC変換処理部５６、輪郭強調処理部５７、拡大・縮小処理部５８、簡易縮小処理部（見出し用縮小処理部）５９等から構成され、DMA入力制御部５２により読み出された画像データIa、Iｂ、…、Ieを用いて、上記各ブロックから得られた画像データRa、Rb、…、Reに対してホワイトバランス処理、階調処理、輪郭強調、ノイズ低減処理、リサイズ等の処理を施すとともに、RAWデータを輝度信号であるＹデータと、青色色差信号であるCbデータ及び赤色色差信号であるCrデータとからなるYCデータに変換するYC処理を施す。そして、これらの信号処理が施された主画像の処理済画像データ（YCデータ）Ya、Yb、…、Yeを第2のDMA出力制御部５３ｂに出力する。なお、これらの処理済画像データYa、Yb、…、Yeの水平方向の幅は、画像データRa、Rb、…、Reの水平方向の幅と同じ２５６画素であり、圧縮処理単位の水平方向の幅１６画素の１６倍である。また、信号処理コア部５１は、見出し用の小画像（サムネイル等）を生成するために、簡易縮小処理部５９において上記主画像をさらに縮小処理し、見出し用の処理済画像データを第1のDMA出力制御部５３ａに出力する。
【００３５】
第２のDMA出力制御部５３ｂは、選択部（制御部）５３ｃを有し、その選択部５３ｃにより、処理コア部５１から出力された主画像の処理済画像データYa、Yb、…、YeをDRAM１７または圧縮処理部２０に出力する。例えば、後述する操作系２７において、信号処理部１９による信号処理済の画像データにさらに加工処理を施すとの設定がなされた場合、選択部５３ｃが処理済画像データYa、Yb、…、YeをDRAM１７に出力させて該DRAM１７に記録させる。一方、信号処理済の画像データに圧縮処理を行う前に、加工処理等他の特殊処理を行うとの設定がなされてない場合には、選択部５３ｃが処理済画像データYa、Yb、…、Yeを直接圧縮処理部２０出力する。
【００３６】
第１のDMA出力制御部５３ａは、信号処理コア部５１から出力された見出し用の処理済画像データ（YCデータ）をDRAMに出力する。
【００３７】
圧縮処理部２０は、図２に示すように、圧縮処理コア部６１、DMA入力制御部６２、及びDMA出力制御部６３を備える。
【００３８】
DMA入力制御部６２は、選択部（制御部）６１cを有し、その選択部６１cにより、信号処理部１９またはDRAM１７から信号処理済の画像データを入力する。例えば、後述する操作系２７において、信号処理部１９による信号処理済の画像データにさらに加工処理を施すとの設定がなされた場合、選択部（制御部）６３ｃがDRAM１７に記録されている加工済の処理済画像データを読み出して圧縮処理を行わせる。一方、信号処理済の画像データに圧縮処理を行う前に、加工処理等他の特殊処理を行うとの設定がなされてない場合には、選択部６３ｃが信号処理部１９から直接入力された処理済画像データYa、Yb、…、Yeを圧縮処理させる。
【００３９】
ここで、圧縮処理部２０の内部バッファは、例えば図６に示すように、圧縮処理単位の水平方向の幅の整数倍、ここでは少なくとも処理済画像データYa、Yb、…、Yeの水平方向の幅分のバッファを圧縮処理単位の垂直方向の行数有し、DMA入力制御部６２により入力された処理済画像データの行数が圧縮処理単位の垂直方向の行数になった時点で、圧縮処理コア部６１による圧縮処理を開始する。
【００４０】
圧縮処理コア部６１は、図４に示すように、処理済画像データYa、Yb、…、Yeを圧縮処理単位（MCU）でラスタ走査順に圧縮処理し、圧縮データA、B、…、Eを生成する。この圧縮処理においては、リスタートインターバルに応じて、JPEGストリーム中にリスタートマーカ（RST）を挿入する。例えば、色差サンプリングが4:2:2、リスタートインターバルが４である場合、４つの圧縮処理単位（4MCU）、すなわち64画素単位毎にリスタートマーカ（RST）を挿入する。図７は、各処理済画像データYa、Yb、…、Yeを圧縮処理した圧縮データ（JPEGストリーム）A、B、…、Eを示す図である。各圧縮データA、B、…、EはDMA出力制御部６３によりDRAM１７に出力される。
【００４１】
また、圧縮処理部２０は、主画像の全ブロックの画像データに対する圧縮処理が終了した後、DRAM１７から見出し用の処理済画像データ（YCデータ）を読み出し、圧縮処理を行い、再びDRAM１７に出力して記録させる。
【００４２】
結合部２３は、圧縮処理部２０により生成された全ブロックの圧縮データA、B、…、Eを圧縮処理単位で並べ替えて、被写体像の圧縮画像データを生成する。
【００４３】
例えば図８に示すように、図７の圧縮処理部２０により生成された全ブロックの圧縮データA、B、…、Eを、それらの圧縮データに挿入されているリスタートマーカ（RST）を例えば4個ずつカウントすることによりグループ分けし、そのグループ毎に並べ替えを行う。
【００４４】
ここで、リスタートマーカ（RST）は、４つの圧縮処理単位（4MCU単位）、すなわち64画素単位毎に挿入されており、リスタートマーカ（RST）を4個ずつカウントしてなる各グループは、それぞれ256画素の幅を有し、撮影領域上に設定されている短冊状のブロックの水平方向の幅と一致する。
【００４５】
これにより生成された圧縮画像データは、圧縮処理部２０により圧縮処理された見出し用の小画像（サムネイル等）を含むヘッダデータと結合され、メディア制御部２４を介して記録メディア２５に書き込まれる。
【００４６】
メディア制御部２４は、結合部２３により生成された圧縮画像データの記録メディア２５への書き込み、又は記録メディア２５に記憶された画像ファイル等の読み出しを行う。
【００４７】
バス１６は、画像入力コントローラ１５、DRAM１７、DMAコントローラ１８、信号処理部１９、圧縮処理部２０、CPU２１、結合部２３、加工処理部２６等に接続されており、このデータバス１６を介して各種信号、データの送受信が行われる。
【００４８】
操作系（設定手段）２７は、カメラシステムの本体に設けられているレリーズボタン、十字ボタン、メニューボタン等を有し、ユーザーからの各種設定の入力手段を構成する。例えば、ユーザーは、操作系２７を操作することにより、信号処理部１９による信号処理済の画像データにさらに所定の加工処理を施すか否かの設定を行うことができる。
【００４９】
ＣＰＵ４０は、操作系２７や各種処理部からの信号に応じてカメラシステム１の本体各部を制御する。信号処理部１９による信号処理済の画像データにさらに所定の加工処理を施すか否かの設定を操作系２７から受け付け、設定結果を不図示の内部メモリに記憶させる。
【００５０】
加工処理部２６は、操作系２７により受け付けた、信号処理部１９による信号処理済の画像データにさらに加工処理を施すか否かの設定に応じて、信号処理部１９による信号処理済の画像データをDRAM１７から読み出し、赤目補正、テンプレート合成、電子手振れ補正、超高感度用のノイズ低減処理等の加工処理を施し、DRAM１７に出力する。
【００５１】
次に、図９のフローチャートを参照して、本発明のカメラシステム１による画像データ処理方法について説明する。
【００５２】
まず、撮像部１２から得られた画像データのDRAM１７への記録を開始する（ステップＳＴ１）。信号処理部１９が、撮影部１２の撮影領域上に設定されているブロック毎に、そのブロックから得られた画像データを信号処理するために必要な領域の画像データの先頭アドレス取得し（ステップＳＴ２）、その取得した先頭アドレスを参照して、その信号処理に必要な領域の画像データをDRAM１７から読み出し、その読み出した画像データを用いてブロックから得られた画像データを信号処理し、その信号処理した処理済画像データを圧縮処理部２０に出力する（ステップＳＴ３）。そして、圧縮処理部２０が、上記ブロック毎に、信号処理部１９から入力された処理済画像データを圧縮処理単位MCUで圧縮処理し、圧縮データを生成する（ステップＳＴ４）。
【００５３】
次に、撮影領域上に設定されている全ブロックについて、上記信号処理や圧縮処理が終了しているか否かを判断し（ステップＳＴ５）、全ブロックについて、それらの処理が終了するまでステップＳＴ２以降の処理を繰り返す。そして、結合部が、圧縮処理部２０により生成された全ブロックの圧縮データを圧縮処理単位で並べ替えて、被写体像の圧縮画像データを生成する（ステップＳＴ６）。
【００５４】
この方法では、信号処理した処理済の画像データを常にDRAM１７を経由せず直接圧縮処理部に出力させ、圧縮処理も一括して行わせているので、DRAM１７へのアクセス回数を低減させることができる。
【００５５】
次に、図１０のフローチャートを参照して、信号処理部１９による信号処理済の画像データにさらに所定の加工処理を施すか否かに応じて、処理のフローを適宜に切り替えることができる画像データ処理方法について説明する。
【００５６】
まず、操作系２７により受け付けた、信号処理部１９による信号処理済の画像データにさらに加工処理を施すか否かの設定を確認する（ステップＳＴ１１）。さらに加工処理を施すとの設定がなされてない場合、図９のフローチャートと同様に、信号処理部１９が、撮影部１２の撮影領域上に設定されているブロック毎に信号処理した処理済の画像データを常にDRAM１７を経由せず直接圧縮処理部２０に出力させ、圧縮処理までを一括して行わせる（ステップＳＴ１２）。そして、結合部２３が圧縮処理部２０において生成された全ブロックの圧縮データを圧縮処理単位で並べ替えて被写体像の圧縮画像データを生成し（ステップＳＴ１３）、生成された圧縮画像データを、メディア制御部２４を介して記録メディア２５に書き込む（ステップＳＴ１７）。
【００５７】
一方、加工処理を施すとの設定がなされた場合、信号処理部１９が、DRAM１７から画像データ（RAWデータ）を読み出して信号処理を行い、処理済画像データをDRAM１７に出力する（ステップＳＴ１４）。次に、加工処理部２６が、DRAM１７に記録させている処理済画像データを読み出して赤目補正、テンプレート合成、電子手振れ補正、超高感度用のノイズ低減処理等の加工処理を行い、加工済の処理済画像データをDRAM１７に出力する（ステップＳＴ１５）。そして、圧縮処理部２０が、DRAM１７に記録させている加工済の処理済画像データを読み出して圧縮処理を行い、圧縮画像データを生成し（ステップＳＴ１６）、生成された圧縮画像データを、メディア制御部２４を介して記録メディア２５に書き込む（ステップＳＴ１７）。
【００５８】
なお、以上の処理では、水平方向にのみ互いに隣接する複数の短冊状のブロックを撮影領域上に設定し、そのブロック毎に各種処理を行わせる場合について説明したが、例えば、図１１に示すように、撮影領域上を垂直方向に互いに隣接する複数の部分撮影領域、ここでは２つの部分撮影領域R1、R2を設定し、各部分領域R1、R2上を、長辺がその画像データの読み出し方向に直交するとともに、短辺の幅が圧縮処理単位のその読み出し方向の幅の整数倍である短冊状の、複数の互いに隣接するブロックにさらに分割するように、その短冊状の複数のブロックを各部分撮影領域R1、R2上に設定し、そのブロック毎に各種処理を行わせることもできる。
【００５９】
以下、図１１を参照して、撮影領域上に垂直方向及び水平方向に互いに隣接する複数の短冊状のブロックを設定し、そのブロック毎に各種処理を行わせる画像データ処理方法について説明する。
【００６０】
まず、撮像部１２から得られた画像データをDRAM１７に記録する。
【００６１】
次に、信号処理部１９が、部分撮影領域R1、R2上に設定されているブロック毎に、そのブロックから得られた各画像データRa1〜Re1、Ra2〜Re2を信号処理するために必要な領域の画像データIa1〜Ie1、Ia2〜Ie2をDRAM１７から読み出し、その読み出した画像データを用いて画像データRa1〜Re1、Ra2〜Re2を信号処理し、処理済画像データYa1〜Ye1、Ya2〜Ye2を圧縮処理部２０に出力する。
【００６２】
次に、圧縮処理部２０が、信号処理部１９から入力された各処理済画像データYa1〜Ye1、Ya2〜Ye2を圧縮処理単位（MCU）でラスタ走査順に圧縮処理し、生成した圧縮データA1〜E1、A2〜E2をDRAM１７に出力する。
【００６３】
次に、結合部２３が、圧縮処理部２０により生成された圧縮データA１〜E１を、所定数のリスタートマーカ（RST）でグループ分けされた複数の圧縮処理単位グループ毎に並べ替えて、被写体像の部分圧縮画像データU1を生成すると共に、圧縮処理部２０により生成された圧縮データA2〜E2を、所定数のリスタートマーカ（RST）でグループ分けされた複数の圧縮処理単位グループ毎に並べ替えて、被写体像の部分圧縮画像データU２を生成する。なお、図１２（a）は、結合部２３により生成された部分圧縮画像データU1を示す図であり、図１２（ｂ）は、結合部２３により生成された部分圧縮画像データU2を示す図である。
【００６４】
この部分圧縮画像データの生成においては、後述するそれらの部分圧縮画像データU1、U2の結合処理を容易にするために、例えば、図１２（a）に示すように、部分圧縮画像データU1の最初のRSTマーカ値（81）をFFD0とし、最終コードをRSTマーカとする。また、その最終コードの手前にオプショナル0xFF（82）を挿入することにより、符号データの長さがDMA転送単位の整数倍となるように調整する。
【００６５】
また、図１２（ｂ）に示すように、部分圧縮画像データU2の最初のRSTマーカ値（83）が、画像圧縮データU１の最終RSTマーカ値の次の値となるように設定する。例えば、図１２（ｂ）においては、画像圧縮データU2の最初のRSTマーカがFFD0となる。また、部分圧縮画像データU2の最終コード（84）は圧縮データの終了を示すEOI（End of Image）マーカとする。
【００６６】
そして、結合部２３が、ヘッダデータＨと上記生成された部分圧縮画像データU1、U2とを繋ぎ合せて形成した画像ファイルを記録メディア２５に書き込む。
【００６７】
上述した方法によれば、撮影領域上に設定した垂直方向に互いに隣接する複数の部分撮影領域毎に、各種処理を施した画像データを高速に結合しながら記録メディア２５に書き込むことができる。また、各部分撮影領域毎に得られた画像データを複数のプロセッサーにより並列的に処理を行わせる場合、処理速度をより向上させることができる。
【００６８】
なお、上記カメラシステム１及びその画像データ処理方法の実施の形態によれば、信号処理部１９において、長辺が画像データの読み出し方向に直交するとともに、短辺の幅が圧縮処理単位の上記読み出し方向の幅の整数倍である短冊状のブロック毎に、そのブロックから得られた画像データを信号処理するために必要な領域の画像データをDRAM１７から読み出すようにしているので、圧縮処理単位毎に、その圧縮処理単位の画像データを信号処理するために必要な領域の画像データをDRAM１７から読み出すようにしている特許文献１〜４のデジタルカメラに比べ、DRAM１７から読み出すリングピクセルの処理対象画素数に対する割合を低減でき、その分記録部１７へのアクセスが低減し、処理速度が向上する。
【００６９】
また、信号処理した処理済画像データを、DRAM１７を経由せずに直接圧縮処理部２０に出力させることにより、DRAM１７へのアクセス回数を低減できる。
【００７０】
また、信号処理部に処理済画像データを直接圧縮処理部出力させると共に、圧縮処理部において圧縮処理を行わせる処理と、信号処理部に処理済画像データを記録部に出力させて該記録部に記録させると共に、圧縮処理部に記録部から処理済画像データを読み出して圧縮処理を行わせる処理とを、信号済画像データに加工処理を施すか否かの設定に応じて適宜切り替えて行うようにしているので、柔軟なカメラシステムを構成する。
【００７１】
また、信号処理部１９に、見出し用の小画像（サムネイル等）を生成する簡易縮小器５９を設けているので、記録メディア２５記録された画像ファイルのヘッダ部にその画像の見出し用の小画像を記録したり、カメラシステム１に設けられている液晶モニター等の表示部に表示したりすることができる。
【図面の簡単な説明】
【００７２】
【図１】本発明によるカメラシステムの機能構成を示すブロック図
【図２】信号処理部、圧縮処理部、及びDRAM間のデータのやり取りを示す図
【図３】信号処理部の機能構成を示すブロック図
【図４】図１のカメラシステムにおいて行われる処理を説明するための図
【図５】信号処理部がDRAMから画像データを読み出す順序を示す図
【図６】圧縮処理部の内部バッファについて説明するための図
【図７】圧縮処理部が生成した各圧縮データを示す図
【図８】図７の全圧縮データを並べ替えて圧縮画像データを生成する処理を示す図
【図９】図１のカメラシステムによる画像データ処理方法を示すフローチャート
【図１０】図１のカメラシステムによる画像データ処理方法を示すフローチャート
【図１１】図１のカメラシステムによる画像データ処理方法の他の実施の形態を示す図
【図１２】図１１の画像データ処理方法による結合部の結合処理を説明するための図
【図１３】従来の技術によるデジタルカメラの機能構成を示すブロック図
【図１４】図１３のデジタルカメラにおいて行われるパイプライン処理を示す図
【図１５】従来の技術によるデジタルカメラの機能構成を示すブロック図
【図１６】図１５の信号処理部によるDRAMからの画像データの読出しを示す図
【符号の説明】
【００７３】
１      カメラシステム
１２    撮像部
１７    DRAM(記録部）
１８    DMAコントローラ
１９    信号処理部
２０    圧縮処理部
２３    結合部
２５    記録メディア
２７    操作系（設定部）
２６    加工処理部（加工部）
５３ｃ、６３ｃ  選択部（制御部）
５８    拡大縮小処理部
５９    簡易縮小処理部
【図１】
2009088776.tif 000003
【図２】
2009088776.tif 000004
【図３】
2009088776.tif 000005
【図４】
2009088776.tif 000006
【図５】
2009088776.tif 000007
【図６】
2009088776.tif 000008
【図７】
2009088776.tif 000009
【図８】
2009088776.tif 000010
【図９】
2009088776.tif 000011
【図１０】
2009088776.tif 000012
【図１１】
2009088776.tif 000013
【図１２】
2009088776.tif 000014
【図１３】
2009088776.tif 000015
【図１４】
2009088776.tif 000016
【図１５】
2009088776.tif 000017
【図１６】
2009088776.tif 000018