"入力画像データに対して、ローパスフィルタ処理及びダウンサンプリング処理を含むダウン処理を第1~第nnは2以上の整数層にわたって階層的に行った後、アップサンプリング処理を第n~第1層にわたって階層的に行って、前記入力画像データから低周波成分を抽出する画像処理装置であって、前記入力画像データに対する前記ダウン処理である第1層ダウン処理を実行する第1層ダウン処理回路と、第2~第n層の各層の前記ダウン処理である第ii=2~n層ダウン処理を実行する第2層以降ダウン処理回路とを備え、前記第2層以降ダウン処理回路は、前記第i層ダウン処理を時分割で実行し、かつ、前記第1層ダウン処理と並列して前記第i層ダウン処理を実行する画像処理装置。前記ダウンサンプリング処理は、前記入力画像データの水平方向及び垂直方向の画素数をそれぞれ1/ffは2以上の整数にダウンサンプリングする処理であり、前記第1層ダウン処理回路は、fラインの前記入力画像データを取得する都度、1ラインの第1層ダウン処理データを算出し、前記第2層以降ダウン処理回路は、fラインの前記第1層ダウン処理データが算出される都度、1ラインの第2層ダウン処理データを算出し、かつ、第3層以降のダウン処理データについては、fラインの第i-1層ダウン処理データを算出する都度、1ラインの第i層ダウン処理データを算出する請求項1記載の画像処理装置。前記第1層ダウン処理回路は、1ラインの前記入力画像データを取得する都度、水平方向の前記ダウン処理を行って第1層水平ダウンサンプリングデータを算出し、前記第2層以降ダウン処理回路は、fラインの前記第1層水平ダウンサンプリングデータが算出される都度、垂直方向の前記ダウン処理を実行して1ラインの第1層ダウン処理データを算出し、fラインの前記第1層ダウン処理データを算出する都度、1ラインの第2層ダウン処理データを算出し、第3層以降のダウン処理データについては、fラインの第i-1層ダウン処理データを算出する都度、1ラインの第i層ダウン処理データを算出する請求項1記載の画像処理装置。前記第1層ダウン処理回路は、前記第1層水平ダウンサンプリングデータを算出する第1層水平ダウンサンプリング部と、前記第1層水平ダウンサンプリングデータを保持する第1層ラインバッファとを備え、前記第2層以降ダウン処理回路は、前記第i-1層ダウン処理データに対し、水平方向の前記ダウン処理を実行し、第i層水平ダウンサンプリングデータを算出する第2層以降水平ダウンサンプリング部と、前記第i層水平ダウンサンプリングデータを保持する第2層以降ラインバッファと、前記第1層水平ダウンサンプリングデータを前記第1層ラインバッファから読み出して垂直方向の前記ダウン処理を実行し、前記第1層ダウン処理データを算出し、かつ、前記第2層以降ラインバッファから前記第i層水平ダウンサンプリングデータを読み出し、垂直方向の前記ダウン処理を実行し、前記第i層ダウン処理データを算出する垂直ダウンサンプリング部と、前記第1層ラインバッファと前記第2層以降ラインバッファとを切り替えて前記垂直ダウンサンプリング部に接続させるマルチプレクサとを備える請求項3記載の画像処理装置。前記入力画像データ及び前記第1~第n層ダウン処理データを保持する遅延バッファと、前記遅延バッファに保持されている前記第1~第n層ダウン処理データに基づいて、前記第1~第n層ダウン処理データのエッジ部分が保持されるように、前記第n層ダウン処理データを順次にアップサンプリングし、前記低周波成分を算出するアップ処理回路とを更に備える請求項1~4のいずれかに記載の画像処理装置。前記第1層ダウン処理回路及び前記第2層以降ダウン処理回路を制御する制御部を更に備え、前記制御部は、CPUにより構成されている請求項1~5のいずれかに記載の画像処理装置。しかしながら、図6に示すように従来の画像処理装置では、階層ごとに1つのダウン処理回路が設けられていた。したがって、階層数が多くなれば、それだけ回路規模が増大するという問題があった。また、下の階層に行くごとにダウン処理回路の処理するデータ量が小さくなるため、下の階層のダウン処理回路の稼働率が低下するという問題があった。また、階層ごとに1つのダウン処理回路が設けられているため、遅延バッファ3000のポート数を階層数分設けなければならず、階層数が増えるとポート数が増え、遅延バッファ3000の周辺回路の回路規模が増大し、制御が困難になるという問題があった。また、階層ごとにダウン処理回路の動作シーケンスが異なるため、階層数の変更等に対して各層のダウン処理回路の個数を変更する必要があり、画像処理回路のIP資産化が困難であるという問題があった。本発明の目的は、回路規模を縮小し、下位の階層の回路の稼働率の低下を防止することができる画像処理装置を提供することである。1本発明による画像処理装置は、入力画像データに対して、ローパスフィルタ処理及びダウンサンプリング処理を含むダウン処理を第1~第nnは2以上の整数層にわたって階層的に行った後、アップサンプリング処理を第n~第1層にわたって階層的に行って、前記入力画像データから低周波成分を抽出する画像処理装置であって、前記入力画像データに対する前記ダウン処理である第1層ダウン処理を実行する第1層ダウン処理回路と、第2~第n層の各層の前記ダウン処理である第ii=2~n層ダウン処理を実行する第2層以降ダウン処理回路とを備え、前記第2層以降ダウン処理回路は、前記第i層ダウン処理を時分割で実行し、かつ、前記第1層ダウン処理と並列して前記第i層ダウン処理を実行する。この構成によれば、第1層ダウン処理は第1層ダウン処理回路で行われ、第ii=2~n層ダウン処理は第2層以降ダウン処理回路で行われている。そのため、階層毎に専用の処理回路を設ける必要のあった従来の画像処理装置に比べ、回路規模を縮小させることができる。そして、第2層以降ダウン処理回路は、第1層ダウン処理に並列して第i層ダウン処理を行い、かつ、第i層ダウン処理を時分割で実行している。したがって、階層毎に専用の処理回路を設けた場合に問題となっていた、下位の階層の回路の稼働率の低下を解消することができる。2前記ダウンサンプリング処理は、前記入力画像データの水平方向及び垂直方向の画素数をそれぞれ1/ffは2以上の整数にダウンサンプリングする処理であり、前記第1層ダウン処理回路は、fラインの前記入力画像データを取得する都度、1ラインの第1層ダウン処理データを算出し、前記第2層以降ダウン処理回路は、fラインの前記第1層ダウン処理データが算出される都度、1ラインの第2層ダウン処理データを算出し、かつ、第3層以降のダウン処理データについては、fラインの第i-1層ダウン処理データを算出する都度、1ラインの第i層ダウン処理データを算出することが好ましい。この構成によれば、入力画像データは各階層でダウン処理される毎に水平方向及び垂直方向にそれぞれ、1/fでダウンサンプリングされることになる。3前記第1層ダウン処理回路は、1ラインの前記入力画像データを取得する都度、水平方向の前記ダウン処理を行って第1層水平ダウンサンプリングデータを算出し、前記第2層以降ダウン処理回路は、fラインの前記第1層水平ダウンサンプリングデータが算出される都度、垂直方向の前記ダウン処理を実行して1ラインの第1層ダウン処理データを算出し、fラインの前記第1層ダウン処理データを算出する都度、1ラインの第2層ダウン処理データを算出し、第3層以降のダウン処理データについては、fラインの第i-1層ダウン処理データを算出する都度、1ラインの第i層ダウン処理データを算出することが好ましい。この構成によれば、第1層ダウン処理回路の垂直方向のダウン処理を行う回路と、第2層以降ダウン処理回路の垂直方向のダウン処理を行う回路とを共用化することができ、更なる回路規模の縮小を図ることができる。4前記第1層ダウン処理回路は、前記第1層水平ダウンサンプリングデータを算出する第1層水平ダウンサンプリング部と、前記第1層水平ダウンサンプリングデータを保持する第1層ラインバッファとを備え、前記第2層以降ダウン処理回路は、前記第i-1層ダウン処理データに対し、水平方向の前記ダウン処理を実行し、第i層水平ダウンサンプリングデータを算出する第2層以降水平ダウンサンプリング部と、前記第i層水平ダウンサンプリングデータを保持する第2層以降ラインバッファと、前記第1層水平ダウンサンプリングデータを前記第1層ラインバッファから読み出して垂直方向の前記ダウン処理を実行し、前記第1層ダウン処理データを算出し、かつ、前記第2層以降ラインバッファから前記第i層水平ダウンサンプリングデータを読み出し、垂直方向の前記ダウン処理を実行し、前記第i層ダウン処理データを算出する垂直ダウンサンプリング部と、前記第1層ラインバッファと前記第2層以降ラインバッファとを切り替えて前記垂直ダウンサンプリング部に接続させるマルチプレクサとを備えることが好ましい。この構成によれば、第1層ダウン処理回路において、垂直ダウンサンプリング部が不要となり、第1層ダウン処理回路の回路規模を縮小することができる。5前記入力画像データ及び前記第1~第n層ダウン処理データを保持する遅延バッファと、前記遅延バッファに保持されている前記第1~第n層ダウン処理データに基づいて、前記第1~第n層ダウン処理データのエッジ部分が保持されるように、前記第n層ダウン処理データを順次にアップサンプリングし、前記低周波成分を算出するアップ処理回路とを更に備えることが好ましい。この構成によれば、入力画像データからエッジ部分が維持されるように低周波成分を抽出することができる。6前記第1層ダウン処理回路及び前記第2層以降ダウン処理回路を制御する制御部を更に備え、前記制御部は、CPUにより構成されていることが好ましい。この構成によれば、CPUが実行するプログラムを書き換えることで階層数を変更することができ、汎用性の高い画像処理装置を構成することができる。本発明によれば、回路規模を縮小させ、かつ、下位の階層の回路の稼働率の低下を解消することができる。実施の形態1<実施の形態1の構成>図1は、本発明の実施の形態1による画像処理装置の回路図である。本画像処理装置は、第1層ダウン処理回路110、第2層以降ダウン処理回路120、第1層アップ処理回路210、及び第2層以降アップ処理回路220を備えている。また、本画像処理装置は図略の制御部を備え、この制御部により各回路素子の動作が制御される。本画像処理装置は、入力画像データVinに対してダウン処理とアップサンプリング処理とを第1~第n層にわたって階層的に行う階層化フィルタを実現する画像処理装置である。ダウン処理とは、ローパスフィルタ処理以下、LPF処理と記述する及びダウンサンプリング処理以下、DS処理と記述する。を第1~第n層にわたって階層的に行い、入力画像データを階層的にダウンサンプリングする処理である。アップサンプリング処理は、ダウン処理によってダウンサンプリングされた画像データを階層的にアップサンプリングする処理である。このように、階層的にダウン処理とアップサンプリング処理とを行うことで、サイズの小さなフィルタを用いても、サイズの大きなフィルタを用いた場合と同様の効果が得られ、入力画像データVinから低周波成分ベース成分を精度良く抽出することができる。ここで、入力画像データVinからベース成分を抽出することで、入力画像データVinに含まれる高周波の反射率成分が除去され、被写体を広ダイナミックレンジで再現することができる。以下の説明では、階層数を第1~第5層とした場合を例に挙げて説明する。但し、これは一例であり、2層以上であれば、階層数を5層以外の数にしてもよい。また、LPF処理としては、水平方向のサイズが3、垂直方向のサイズが3の3×3のローパスフィルタを用いた処理を採用する。但し、これは一例であり、3×3以外の例えば、5×5、7×7等のサイズのローパスフィルタを用いても良い。また、DS処理としては、水平方向の画素数を1/2、垂直方向の画素数を1/2にダウンサンプリングする、つまり、トータルの画素数を1/4にダウンサンプリングする処理を採用する。但し、これは一例であり、水平方向の画素数を1/3、1/4、垂直方向の画素数を1/3、1/4にダウンサンプリングするというように、水平及び垂直方向の画素数をそれぞれ1/fにダウンサンプリングしてもよい。但し、fは2以上の整数である。また、水平方向の画素数を1/f1、垂直方向の画素数を1/f2というように、水平方向と垂直方向とを異なる値でダウンサンプリングしてもよい。但し、f1、f2は2以上の整数である。よって、入力画像データVinは、ダウン処理が1階層行われる都度、画素数が1/4にダウンサンプリングされる。したがって、第1~第5層に向けてダウン処理が行われることで得られた第5層ダウン処理データD5は入力画像データVinに対して1/45にダウンサンプリングされる。一方、第5層ダウン処理データD5はアップサンプリング処理が1階層行われる都度、4倍にアップサンプリングされる。したがって、上の階層に向けて順次にアップサンプリング処理が行われることで得られたベース成分は、第5層ダウン処理データD5に対して45倍にアップサンプリングされる。第1層ダウン処理回路110は、図1に示すように、入力画像データVinが1ライン単位で入力され、入力画像データVinに対して第1層ダウン処理を行う。本画像処理装置は、撮像センサを用いて被写体を撮像する撮像装置に適用される。よって、入力画像データVinとしては、例えば撮像センサにより撮像された1枚の画像データを採用することができる。なお、これは一例であり、例えば、複写機等に本画像処理装置を適用してもよく、この場合、ラインセンサで読み取られた原稿の画像データが入力画像データVinとして採用される。ここで、入力画像データVinは、複数の画素データが水平方向に所定数、垂直方向に所定数でマトリックス状に配列されたデータ構造を持っている。よって、1ラインの入力画像データVinは、入力画像データVinの水平方向の1行分の画素データから構成される。第1層ダウン処理回路110は、図2に示すように2ラインの入力画像データVinを取得する都度、第1層ダウン処理を行い、第1層ダウン処理データD1を算出し、遅延バッファ300に書き込む。そして、第1層ダウン処理回路110は、水平ダウンサンプリング部以下、水平DS部と記述する。101、ラインバッファ102、垂直ローパスフィルタ部以下、垂直LPF部と記述する。103、及び垂直ダウンサンプリング部以下、垂直DS部と記述する。104を備えている。水平DS部101は、入力画像データVinが1ライン単位で順次に入力され、入力された入力画像データVinに対し、水平LPF処理水平方向のLPF処理及び水平DS処理水平方向のDS処理を実行する。そして、水平DS部101は、1ラインの水平ダウンサンプリングデータ以下、水平DSデータと記述するS11を出力する。ここで、水平LPF処理としては、1行×3列で所定のフィルタ値が配列された水平LPFを用い、この水平LPFを1ラインの入力画像データVinにおいて、例えば左端から右端にずらしながら、この1ラインの各画素データの水平LPF値を順次に求める処理が採用される。水平DS処理としては、例えば、水平LPF処理された1ラインの入力画像データVinの画素数を1/2にダウンサンプリングする処理が採用される。この場合、水平DS部101は、水平LPF処理された1ラインの各画素データを1画素ずつ間引くことで、1/2にダウンサンプリングしてもよいし、隣接する画素データ同士の平均値を求めて、1/2にダウンサンプリングしてもよい。ラインバッファ102は、水平DS部101から出力される水平DSデータS11を保持する。図1の回路図では、ラインバッファ102は、5×5のLPF処理を実現するために5段のラインバッファ102が設けられているが、本実施の形態では、3×3のLPF処理を行うため、そのうち3段のラインバッファ102が使用される。ここで、各段のラインバッファは、FIFO形式でデータを保持し、1段目のラインバッファ102の後端は水平DS部101に接続され、先端は2段目のラインバッファ102の後端に接続されている。また、2段目のラインバッファ102の先端は3段目のラインバッファ102の後端に接続されている。そして、1~3段目のラインバッファ102は、先端の1画素の水平DSデータS11を垂直LPF部103に同時に出力し、かつ、1~2段目のラインバッファ102は、垂直LPF部103に出力した水平DSデータS11を次段のラインバッファ102の後端にも出力する。これにより、ラインバッファ102は、垂直方向に連続する3画素の水平DSデータS11を同時に垂直LPF部103に出力することができる。また、1~3段目のラインバッファ102は、2ラインの水平DSデータS11が書き込まれる毎に、垂直LPF部103への水平DSデータS11の出力を開始する。これにより、ラインバッファ102は、水平DSデータS11を2ライン毎に注目ラインとする垂直LPF処理垂直方向のLPF処理を垂直LPF部103に行わせることができる。垂直LPF部103は、ラインバッファ102に保持された水平DSデータS11に対し、垂直LPF処理を実行し、垂直LPFデータS12を算出し、垂直DS部104に出力する。ここで、垂直LPF処理に用いられるLPFとしては、3行×1列でフィルタ値が配列された垂直LPFが採用される。上述したように、1段目~3段目のラインバッファ102からは垂直方向に連続する3画素の水平DSデータS11が同時に出力される。したがって、垂直LPF部103は、ラインバッファ102に保持されている3ラインの水平DSデータS11に対して、垂直LPFを例えば左端から右端にずらしながら、中央の1ラインを注目ラインとし、注目ラインの各画素の垂直LPF値を順次に求めることができる。また、ラインバッファ102からは2ラインの水平DSデータS11が格納される毎に水平DSデータS11の出力が開始される。そのため、垂直LPF部103からは、垂直方向に1/2にダウンサンプリングされた垂直LPFデータS12が出力される。垂直DS部104は、垂直LPF部103から出力される垂直LPFデータS12を第1層ダウン処理データD1として遅延バッファ300に書き込む。以上の処理が入力画像データVinの各ラインに対して適用され、入力画像データVinは、画素数が1/4にダウンサンプリングされる。遅延バッファ300は、例えば、RAMにより構成され、第1~第5層に対応する第1~第5層記憶領域を備えている。また、第1~第5層記憶領域は、それぞれ、1枚の第1~第5層ダウン処理データD1~D5が保持可能な容量を持っている。また、第1~第5層記憶領域は、それぞれ、第1~第5層ダウン処理データD1~D5をそれぞれ、ライン毎に予め定められたアドレスに記憶する。したがって、垂直DS部104は、1ラインの第1層ダウン処理データD1を算出すると、その1ラインに対応する第1層記憶領域のアドレスに、算出した第1層ダウン処理データD1を書き込む。これにより、各ラインの第1層ダウン処理データD1は、何ライン目の第1層ダウン処理データD1であるかが区別可能に第1層記憶領域に記憶される。なお、第2~第5層ダウン処理データD2~D5も第1層ダウン処理データD1と同様、第2~第5層記憶領域に何ライン目の第2~第5層ダウン処理データD2~D5であるかが区別可能に記憶される。なお、第1~第5層記憶領域は、必ずしも1枚分の容量を持つ必要はなく、各層の遅延領分の容量を持ち、リングバッファとして動作させることでもよい。第2層以降ダウン処理回路120は、第2~第5層の各層のダウン処理である第ii=2~5層ダウン処理を時分割で実行し、かつ、第1層ダウン処理と並列して第i層ダウン処理を実行する。具体的には、第2層以降ダウン処理回路120は、2ラインの第1層ダウン処理データD1が算出される都度、1ラインの第2層ダウン処理データD2を算出し、かつ、第3~第5層については、2ラインの第i-1層ダウン処理データDi-1を算出する都度、1ラインの第i層ダウン処理データDiを算出する。第2層以降ダウン処理回路120は、第1層ダウン処理回路110と同様、水平DS部111、ラインバッファ112、垂直LPF部113、及び垂直DS部114を備えている。水平DS部111は、遅延バッファ300から第1~第4層ダウン処理データD1~D4をそれぞれ読み出し、水平DS部101と同様、第2~第5層の水平DSデータS11を算出する。ラインバッファ112は、ラインバッファ102と同様、第2~第5層の水平DSデータS11を保持する。垂直LPF部113は、垂直LPF部113と同様、第2~第5層の水平DSデータS11に対して垂直LPF処理を行い、第2~第5層の垂直LPFデータS12を算出する。垂直DS部114は、垂直DS部104と同様、第2~第5層の垂直LPFデータS12を第2~第5層ダウン処理データD2~D5として遅延バッファ300の第2~第5層記憶領域に書き込む。第2層以降アップ処理回路220は、第5層ダウン処理データD5に対し、第5層アップサンプリング処理を行い、第4層アップ処理データU4を算出し、第5層ダウン処理データD5の画素数を水平方向に2倍、垂直方向に2倍にアップサンプリングする。以後、第2層以降アップ処理回路220は、第4~第2層アップ処理データU4~U2に対して、それぞれ第4~第2層アップサンプリング処理を行い、第1層アップ処理データU3~U1を算出する。これにより、第5層ダウン処理データD5は1層を経るごとに4倍ずつアップサンプリングされる。具体的には、第2層以降アップ処理回路220は、水平垂直UP部211及びMIX部212を備えている。水平垂直UP部211は、遅延バッファ300から第5層ダウン処理データD5を読み出し、第5層ダウン処理データD5を水平方向に2倍、垂直方向に2倍でアップサンプリングし、第4層の水平垂直UPデータU4 ́を算出する。ここで、水平垂直UP部211は、隣接する2ラインの第5層ダウン処理データD5を垂直方向に線形補間して垂直方向のアップサンプリングを行い、1ラインの第5層ダウン処理データD5において隣接する画素データ同士を線形補間して水平方向のアップサンプリングを行えばよい。MIX部212は、第4層の水平垂直UPデータU4 ́に対し、例えばハイパスフィルタを用いてエッジ抽出処理を行い、水平垂直UPデータU4 ́の各画素のエッジ値を算出する。そして、MIX部212は、算出したエッジ値が所定の閾値以上であれば、第4層ダウン処理データD4の対応する画素の画素値を採用し、算出したエッジ値が閾値未満であれば、水平垂直UPデータU4 ́の画素値をそのまま採用することで、第4層アップ処理データU4を算出し、遅延バッファ300に書き込む。また、水平垂直UP部211は、第4層の水平垂直UPデータU4 ́を求めた場合と同様に、第4~第2層アップ処理データU4~U2を用いて、第3~第1層の水平垂直UPデータU3 ́~U1 ́を算出し、MIX部212に出力する。MIX部212は、第4層アップ処理データU4を求めた場合と同様、第3~第1層の水平垂直UPデータU3 ́~U1 ́と、第3~第1層ダウン処理データD3~D1とを比較し、第3~第1層アップ処理データU3~U1を算出し、遅延バッファ300に書き込む。このように、第2層以降アップ処理回路220は、処理対象となる入力データ第5層ダウン処理データD5、第4~第2層アップ処理データU4~U2のエッジ部分については1つ上の階層のダウン処理データを採用することで、エッジ部分を保持したアップサンプリングを行うことができる。第1層アップ処理回路210は、第1層アップ処理データU1に対し、第1層アップサンプリング処理を行い、第0層アップ処理データU0を算出する。この第0層アップ処理データU0が、入力画像データVinのベース成分となる。<実施の形態1の動作>図2は、図1に示す画像処理装置のタイミングチャートである。図2において1段目は、1枚の画像データが入力される有効期間を示し、Hiの期間が有効期間である。2段目は1ラインの入力画像データVinの入力タイミングを示している。3段目は水平DS部101の動作期間を示している。4段目は第1層ダウン処理回路110から出力される第1層ダウン処理データD1の処理期間を示し、5段目は第2層以降ダウン処理回路120から出力される第2~第5層ダウン処理データD2~D5の処理期間を示している。入力画像データVinは、Vinの入力同期信号に同期して1ラインずつ第1層ダウン処理回路110に入力される。なお、入力画像データVinは、遅延バッファ300にも書き込まれる。これにより、第1層アップ処理回路210は入力画像データVinを用いた第1層アップサンプリング処理を行うことができる。水平DS部101は、1ラインの入力画像データVinが入力される都度、動作して水平DSデータS11を算出する。また、第2層以降ダウン処理回路120は、入力画像データVinの入力タイミングとは独立したタイミングで第2~第5層ダウン処理を行う。また、第1~第5層に向かうにつれて第1~第5層ダウン処理データD1~D5の処理期間が順次に短くなっている。これは、ダウン処理データは階層が1つ下がるにつれて画素数が1/4に減るからである。また、第2層以降ダウン処理回路120は、Vinの入力同期信号に同期することなく、第2~第5ダウン処理データD1~D5を算出することができる。以下、具体的に説明する。<期間T1>1ライン目の入力画像データVin1が第1層ダウン処理回路110に入力され、水平DS部101は、入力画像データVin1から水平DSデータS111を算出し、ラインバッファ102に書き込む。データの符号の後の括弧内の数値はライン番号を示している。<期間T2>2ライン目の入力画像データVin2が第1層ダウン処理回路110に入力され、水平DS部101は、入力画像データVin2から水平DSデータS112を算出し、ラインバッファ102に書き込む。<期間T3>3ライン目の入力画像データVin3が第1層ダウン処理回路110に入力され、水平DS部101は、入力画像データVin3から水平DSデータS113を算出し、ラインバッファ102に書き込む。これと並列して、垂直LPF部103は、水平DSデータS111,S112をラインバッファ102から読み出し、垂直LPF処理を行い、垂直LPFデータS121を算出する。この場合、1~2段目のラインバッファ102に水平DSデータS112,S111が保持され、3段目のラインバッファ102には水平DSデータS11が保持されていない。そこで、垂直LPF部103は、水平DSデータS112を水平DSデータS111に対して折り返し、水平DSデータS112,S111,S112に対し、注目ラインを水平DSデータS111とする垂直LPF処理を行い、垂直LPFデータS121を算出する。次に、垂直DS部104は、垂直LPF部103で算出された垂直LPFデータS121を第1層ダウン処理データD11として遅延バッファ300に書き込む。以後、第1層ダウン処理回路110は、2ラインの入力画像データVinが入力される都度、1ラインの第1層ダウン処理データD1を算出する。<期間T5>第1層ダウン処理回路110は、期間T3と同様に、第1層ダウン処理データD12を算出し、遅延バッファ300に書き込む。次に、水平DS部111は、第1層ダウン処理データD11、D12を遅延バッファ300から読み出し、第2層の水平DSデータS111、S112を算出し、ラインバッファ112に書き込む。次に、垂直LPF部103は、ラインバッファ112から第2層の水平DSデータS111、S112を読み出し、第2層の水平DSデータS111を注目ラインとする垂直LPF処理を実行し、第2層の垂直LPFデータS121を算出する。次に、垂直DS部104は、第2層の垂直LPFデータS121を第2層ダウン処理データD1として、遅延バッファ300に書き込む。以後、第2層以降ダウン処理回路120は、2ラインの第1層ダウン処理データD1が算出される都度、1ラインの第2層ダウン処理データD2を算出する。<期間T9>第1層ダウン処理回路110が第1層ダウン処理データD14を算出する処理、第2層以降ダウン処理回路120が第2層ダウン処理データD22を算出する処理は、期間T5と同じである。水平DS部111は、遅延バッファ300から第2層ダウン処理データD21,D22を読み出し、第3層の水平DSデータS111,S112を算出し、ラインバッファ112に書き込む。次に、垂直LPF部103は、第3層の水平DSデータS111,S112をラインバッファ112から読み出し、第3層の垂直LPFデータS121を算出する。次に、垂直DS部114は、第3層の垂直LPFデータS121を第3層ダウン処理データD31として遅延バッファ300に書き込む。以後、第2層以降ダウン処理回路120は、2ラインの第2層ダウン処理データD2が算出される都度、1ラインの第3層ダウン処理データD3を算出する。<期間T17>第1層ダウン処理回路110が第1層ダウン処理データD18、第2層以降ダウン処理回路120が第2~第3層ダウン処理データD24、D32を算出する処理は期間T9と同じである。水平DS部111は、第3層ダウン処理データD31、D32を遅延バッファ300から読み出し、第4層の水平DSデータS111,S112を算出し、ラインバッファ112に書き込む。次に、垂直LPF部113は、ラインバッファ112から第4層の水平DSデータS111、S112を読み出し、第4層の垂直LPFデータS121を算出する。次に、垂直DS部114は、第4層の垂直LPFデータS121を第4ダウン処理データD41として遅延バッファ300に書き込む。以後、第2層以降ダウン処理回路120は、2ラインの第3層ダウン処理データD3が算出される都度、1ラインの第4層ダウン処理データD4を算出する。なお、図2では、第5層ダウン処理データD5については図示を省略しているが、2ラインの第4層ダウン処理データD4が算出される都度、1ラインの第5層ダウン処理データD5が算出される。このように、本画像処理装置によれば、第1層ダウン処理は第1層ダウン処理回路110で行われ、第ii=2~5層ダウン処理は第2層以降ダウン処理回路120で行われている。そのため、階層毎に専用の処理回路を設ける必要のあった従来の画像処理装置に比べ、回路規模を縮小させることができる。そして、第2層以降ダウン処理回路120は、第1層ダウン処理に並列して第i層ダウン処理を行い、かつ、第i層ダウン処理を時分割で実行している。したがって、階層毎に専用の処理回路を設けた場合に問題となっていた、下位の階層の回路の稼働率の低下を解消することができる。また、階層毎に小容量のメモリを設けるのではなく、ダウン処理データ等を階層別の記憶領域に分けて記憶する大容量の遅延バッファ300を採用している。そのため、小容量のメモリを用いる場合に比べて回路素子を効率よく配置することができる。また、従来のように階層毎に専用の回路を設けた従来の画像処理装置において、遅延バッファ300として1つのメモリを使用した場合、遅延バッファ300のポート数を階層数分設ける必要があった。そのため、メモリ制御が複雑になるという問題があった。一方、本画像処理装置では、2つのダウン処理回路を用いているため、遅延バッファ300のポート数が2つで済み、メモリ制御の簡略化を図ることができる。実施の形態2<実施の形態2の構成>実施の形態2による画像処理装置は、図1に示す第1層ダウン処理回路110の垂直LPF部103及び垂直DS部104と、第2層以降ダウン処理回路120の垂直LPF部113及び垂直DS部114と共用化させたことを特徴とする。図3は、本発明の実施の形態2による画像処理装置の回路図である。なお、実施の形態2において実施の形態1と同じものは説明を省略する。第1層ダウン処理回路110は、水平DS部101及びラインバッファ102を備えている。水平DS部101は、1ラインの入力画像データVinを取得する都度、水平LPF処理及び水平DS処理を行い、第1層の水平DSデータS11を算出する。ラインバッファ102は、第1層の水平DSデータS11を保持する。第2層以降ダウン処理回路120は、2ラインの第1層の水平DSデータS11が算出される都度、垂直LPF処理及び垂直DS処理を実行して、第1層ダウン処理データD1を算出し、遅延バッファ300に書き込む。また、第2層以降ダウン処理回路120は、2ラインの第1層ダウン処理データD1を算出する都度、1ラインの第2層ダウン処理データD2を算出し、遅延バッファ300に書き込む。また、第2層以降ダウン処理回路120は、第3層以降のダウン処理データについては、2ラインの第i-1層ダウン処理データDi-1を算出する都度、1ラインの第i層ダウン処理データDiを算出する。具体的には、第2層以降ダウン処理回路120は、水平DS部111第2層以降水平ダウンサンプリング部の一例、ラインバッファ112第2層以降ラインバッファの一例、垂直LPF部113垂直ダウンサンプリング部の一例、垂直DS部114垂直ダウンサンプリング部の一例、及びマルチプレクサ115を備えている。水平DS部111は、垂直DS部114により出力された第1~第4層ダウン処理データD1~D4がフィードバックされ、第2~第5層の水平DSデータS11を生成し、ラインバッファ112a~112dに書き込む。ラインバッファ112a~112dはそれぞれ、実施の形態1と同様、3段のラインバッファから構成されている。ラインバッファ112は、第2~第5層の水平DSデータS11を保持するための4つのラインバッファ112a~112dを備えている。垂直LPF部113は、ラインバッファ102からマルチプレクサ115を介して第1層の水平DSデータS11を読み出し、垂直LPF処理を実行して、第1層の垂直LPFデータS12を算出する。また、垂直LPF部113は、ラインバッファ112a~dからマルチプレクサ115を介して第2~第5層の水平DSデータS11を読み出し、垂直LPF処理を実行し、第2~第5層の垂直LPFデータS12を算出する。垂直DS部114は、垂直LPF部113から出力される第1~第5層の垂直LPFデータS12を第1~第5層ダウン処理データD1~D5として、遅延バッファ300に書き込み、かつ、第1~第4層ダウン処理データD1~D4を水平DS部111にフィードバックする。マルチプレクサ115は、入力側にラインバッファ102及びラインバッファ112が接続され、出力側に垂直LPF部113が接続されている。そして、マルチプレクサ115は、ラインバッファ102に2ラインの水平DSデータS11が書き込まれる都度、ラインバッファ102を垂直LPF部113に接続し、垂直LPF部113及び垂直DS部114に第1層ダウン処理データD1を算出させる。また、マルチプレクサ115は、必要に応じて第1層ダウン処理データD1の算出処理が終了すると、ラインバッファ112を垂直LPF部113に接続し、第2~第5層の垂直DSデータS11を適宜読み出し、垂直LPF部113及び垂直DS部114に、第2層ダウン処理データD2~D5に算出させる。<実施の形態2の動作>図4は、図3に示す画像処理装置のタイミングチャートである。1~3段目は、図2と同様、有効期間、1ラインの入力画像データVinの入力タイミング、水平DS部101の動作期間を示している。4段目は、第2層以降ダウン処理回路120から出力される第1~第5層ダウン処理データD1~D5の処理期間を示している。期間T1,T2の処理は図2と同じであり、ラインバッファ102に水平DSデータS111,S112が書き込まれる。<期間T3>マルチプレクサ115はラインバッファ102を垂直LPF部113に接続させる。次に、垂直LPF部113は、ラインバッファ102から水平DSデータS111,S112を読み出し、水平DSデータS111を注目ラインとして、垂直LPFデータS121を算出する。次に、垂直DS部114は、垂直LPFデータS121を第1層ダウン処理データD11として遅延バッファ300に書き込み、かつ、第1層ダウン処理データD11を水平DS部111にフィードバックする。次に、水平DS部111は、フィードバックされた第1層ダウン処理データD11から第2層の水平DSデータS111を生成し、ラインバッファ112aに書き込む。以後、第2層以降ダウン処理回路120は、第1層ダウン処理回路110に2ラインの入力画像データVinが入力される都度、第1層ダウン処理データD1を算出し、遅延バッファ300に書き込み、かつ、第1層ダウン処理データD1をフィードバックさせて、第2層の水平DSデータS11を算出し、ラインバッファ112aに書き込む。<期間T5>第2層以降ダウン処理回路120は、期間T3と同様に、第1層ダウン処理データD12を算出し、第1層ダウン処理データD12をフィードバックさせて、第2層の水平DSデータS112を算出し、ラインバッファ112aに書き込む。次に、2ラインの第2層の水平DSデータDS111、DS112が得られたため、マルチプレクサ115は、ラインバッファ112を垂直LPF部113に接続させる。次に、垂直LPF部113は、ラインバッファ112aから第2層の水平DSデータS111,S112を読み出し、第2層の水平DSデータS111を注目ラインとする垂直LPF処理を実行し、第2層の垂直LPFデータS121を算出する。次に、垂直DS部114は、第2層の垂直LPFデータS121を第2層ダウン処理データD21として遅延バッファ300に書き込み、かつ、第2層ダウン処理データD21を水平DS部101にフィードバックさせる。次に、水平DS部101は、第2層ダウン処理データD21から第3層の水平DSデータS111を生成し、ラインバッファ112bに書き込む。次に、マルチプレクサ115は、ラインバッファ102を垂直LPF部113に接続させる。以後、第2層以降ダウン処理回路120は、2ラインの第1層ダウン処理データD1が算出される都度、1ラインの第2層ダウン処理データD2を遅延バッファ300に書き込み、かつ、第2層ダウン処理データD2をフィードバックさせて、第3層の水平DSデータS11を算出し、ラインバッファ112bに書き込む。<期間T9>第2層以降ダウン処理回路120が第1層ダウン処理データD14、第2層ダウン処理データD22を算出する処理は期間T5と同じである。次に、ラインバッファ112bに2ライン分の第3層の水平DSデータS111,S112が蓄積されたため、垂直LPF部113は、第3層の水平DSデータS111,S112をラインバッファ112bから読み出し、第3層の垂直LPFデータS121を算出する。次に、垂直DS部114は、第3層の垂直LPFデータS121を第3層ダウン処理データD31として、遅延バッファ300に書き込み、かつ、第3層ダウン処理データD31を水平DS部111にフィードバックする。次に、水平DS部111は、フィードバックされた第3層ダウン処理データD31から第4層の水平DSデータS111を算出し、ラインバッファ112cに書き込む。以後、第2層以降ダウン処理回路120は、2ラインの第2層ダウン処理データD2を算出する都度、1ラインの第3層ダウン処理データD3を遅延バッファ300に書き込み、かつ、第3層ダウン処理データD3をフィードバックさせて、第4層の水平DSデータS11を算出し、ラインバッファ112cに書き込む。<期間T17>第2層以降ダウン処理回路120が第1層ダウン処理データD18、第2層ダウン処理データD24、第3層ダウン処理データD32を算出する処理は期間T9と同じである。次に、ラインバッファ112cに2ライン分の第4層の水平DSデータS111,S112が蓄積されたため、垂直LPF部113は、第4層の水平DSデータS111,S112をラインバッファ112cから読み出し、第4層の垂直LPFデータS121を算出する。次に、垂直DS部114は、第4層の垂直LPFデータS121を第4層ダウン処理データD41として、遅延バッファ300に書き込み、かつ、第4層ダウン処理データD41を水平DS部111にフィードバックする。次に、水平DS部111は、フィードバックされた第4層ダウン処理データD41から第5層の水平DSデータS111を算出し、ラインバッファ112dに書き込む。以後、第2層以降ダウン処理回路120は、2ラインの第3層ダウン処理データD3を算出する都度、1ラインの第4層ダウン処理データD4を遅延バッファ300に書き込み、かつ、第4層ダウン処理データD4をフィードバックさせて、第5層の水平DSデータS11を算出し、ラインバッファ112dに書き込む。なお、第2層以降ダウン処理回路120の処理は、第1層ダウン処理回路110の処理と同期をとる必要がないため、第1~第4層ダウン処理データD18,D24,D32,D41の算出期間は、期間T17内に収まる必要はない。このように実施の形態2による画像処理装置によれば、第1層ダウン処理と第2層以降処理において、垂直LPF部113及び垂直DS部114が共有化されているため、更に回路規模を縮小することができる。実施の形態3実施の形態3は、制御部をCPU400で構成したことを特徴とする。図5は、本発明の実施の形態3による画像処理装置の回路図である。図5の例では、実施の形態2による画像処理装置が採用されている。但し、これに限定されず、実施の形態1の画像処理装置をCPU400で制御してもよい。CPU400は、水平DS部101,111、ラインバッファ102,112、垂直LPF部103、垂直DS部104、遅延バッファ300、MIX部212,202等の各回路素子と接続されている。そして、CPU400は各回路素子から処理完了割り込みが入力されると、各回路素子に動作開始指示を出力し、各回路素子を動作させる。このように、制御部をCPU400で構成することで、階層数の変更に対して柔軟に対応することができる。特に本画像処理装置を撮像装置に適用させる場合、撮像装置の仕様により階層数が適宜設定される。この場合、制御部として専用のハードウェア回路を用いると、このような変更に柔軟に対応することができない。一方、制御部をCPU400で構成すると、プログラムを書き換えることで階層数を変更することができ、汎用性の高い画像処理装置を構成することができる。"