(57)【要約】【課題】  ディジタルスチルカメラに用いられる画像処理装置において、ＬＳＩ内部に配置されるメモリの使用量を抑えることにより、回路規模や開発コストを抑えると共に、画像の画素数の増加に対して柔軟に対応できるようにする。【解決手段】  カメラからの画像データを大容量メモリ１１に取り込み、この大容量メモリ１１の画像データを、１フレームの画像データを水平方向にＭ個の小フレームが並んだ画像データとみなし、小フレーム毎に読み出して、画像処理を実行する。小フレーム毎の符号化データを、大容量メモリ１１に書き込み、読み出しを行う。画像処理装置内の補間処理やブロック変換処理に用いるラインメモリの容量が小フレームのラインに対応したものとなり、メモリの使用量を抑えることできる。【選択図】        図１
2006211323.tif 000002
【特許請求の範囲】
【請求項１】
画像データを格納するメモリと、
前記メモリに格納された１フレーム分の画像データを水平方向にＭ個（Ｍは正の整数）の小フレームが並んだ画像データとみなし、前記小フレームをそれぞれラスタ走査順に読み出すデータ読出部と、
前記データ読出部により読み出された画像データを、所定のライン数を処理ラインとして符号化する符号化部と、
前記符号化部から出力される符号化データの符号量を順次格納する符号量記憶部と、
前記符号量記憶部に記憶された各小フレームの対応する処理ラインに係る符号量に基づき、前記メモリに前記符号化データを格納するためのアドレスを算定し、前記メモリのその算定されたアドレスに前記符号化データを格納する符号化データ書込部と、
前記符号量記憶部に記憶された各小フレームの対応する処理ラインに係る符号量に基づき、前記メモリに格納された符号化データを読み出すためのアドレスを算定し、前記メモリのその算定されたアドレスから符号化データを読み出す符号化データ読出部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記符号量記憶部は、各小フレームの対応する前記処理ラインに係る符号量を加算した符号量を、前記処理ライン毎に格納することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記符号量記憶部は、各小フレームの前記処理ライン毎に前記符号量を格納することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルスチルカメラ等に用いて好適な画像処理装置に関し、特に、画像の画素数の増加した場合のハードウェア規模の縮小及び開発コストの低減に係わる。
【背景技術】
【０００２】
従来、画像データを効率的に符号化する可変長符号化方式として、例えば、ＪＰＥＧ(Joint Photographic Experts Group)規格に基づく符号化、復号化方式が知られている。この方式においては、画像データを符号化する場合と、復号化する場合の何れの場合においても、（８×８）画素のブロックを入出力の単位としている。
【０００３】
例えば、この方式を備えた画像処理装置により画像データの符号化を行う場合、画像データを（８×８）画素のブロック単位でＪＰＥＧの符号化部に入力し、符号化を行う。そして符号化された画像データは、順次、記録媒体に格納される。また、この画像処理装置により画像データの復号化を行う場合、記録媒体に格納された画像データを読み出し、ＪＰＥＧの復号部により復号化を行い、画像データを（８×８）画素のブロック単位で出力している。
【０００４】
これに対して、カメラのような画像入力装置やディスプレイのような画像出力装置には、ラスタ単位で画像データが入出力される装置が多い。ラスタ走査では、左から右に走査し、１ラインの走査が終了したら、下のラインに移り、左から右に走査していき、以下、左から右、上から下の順に繰り返し走査が行われる。ラスタ単位の画像データは、ラスタ走査の順に画像データが入出力される。
【０００５】
したがって、このような処理単位がラスタ単位である装置と、ＪＰＥＧ規格に基づく画像処理のような処理単位がブロック単位である装置との間でデータの送受信を行う場合、特許文献１に示されるように、ラスタ単位（又はブロック単位）のデータをメモリに一旦格納し、ブロック単位（又はラスタ単位）でメモリから出力するデータ転送単位の変換（以下、ラスタ−ブロック変換と称する）を行う必要がある。
【０００６】
図２４は、従来の画像処理装置１００の一例を示すものである。図２４において、図示していないカメラなどの画像データ入力装置により、画像データが入力される。入力される画像データは、ベイヤー配列に並んだ単一色（Ｒ（赤）、Ｇ（緑）、又はＢ（青））の画像データであり、１フレームの画像は例えば（２５６４（水平方向）×１９２４（垂直方向））画素である。入力された画像データは、バス１１０を介して、大容量メモリ１０１に格納される。入力された画像データは、大容量メモリ１０１に、ラスタ走査順に書き込まれる。
【０００７】
大容量メモリ１０１に一旦蓄積された画像データは、書き込み時と同様に、ラスタ走査の順に読み出され、バス１１０を介して、データ読出部１０３に読み出される。データ読出部１０３により読み出された画像データは、前処理部１０４に送られる。前処理部１０４では、色補間処理や輪郭強調処理など、好適な画像を生成するための画像処理が行われる。前処理部１０４により、単一色の画像データが補間処理によりＲＧＢの画像データに変換され、更に、ＲＧＢの画像データがＹＵＶ（輝度信号Ｙ及び色差信号Ｕ、Ｖ）の画像データに変換される。
【０００８】
前処理部１０４からのＹＵＶの画像データは、ブロック変換部１０５に送られる。ブロック変換部１０５では、ラスタ単位の画像データ形式をブロック単位のデータ形式に変換する処理（ラスタ−ブロック変換）が行われる。例えば、前処理部１０４からラスタ単位で出力されるＹ，Ｕ，Ｖそれぞれの画像データは、ブロック変換メモリに８ライン分格納され、後段に対して（８×８）画素のブロック単位毎に出力される。
【０００９】
ブロック変換部１０５でブロック変換された画像データは、符号化部１０６に送られる。符号化部１０６で、ブロック変換部１０５から入力されるブロック単位の画像データが符号化される。例えばＪＰＥＧ方式で圧縮符号化を行う場合には、ブロック毎にＤＣＴ(Discrete Cosine Transform)演算が行われ、時間領域のデータから周波数領域のデータに変換される。ＤＣＴ変換により周波数領域に変換されたデータは、量子化器で量子化され、ハフマン符号により可変長符号化される。符号化部１０６からの符号化データは、符号化データ書込部１０８により、大容量メモリ１０１に送られる。大容量メモリ１０１には、符号化データが蓄積される。大容量メモリ１０１に蓄積された符号化データは、符号化データ読出部１０９により読み出され、後段に出力される。
【特許文献１】特開平１１−４１５０３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述のような画像処理装置１００がディジタルスチルカメラに搭載される場合、画像処理装置１００の電装系ユニットはＬＳＩ(Large Scale Integration)により実現されることが多い。また、画像処理装置１００の大容量メモリ１０１としては例えばＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が用いられ、この大容量メモリ１０１は、ＬＳＩ外部に配置することが一般的である。
【００１１】
これに対して、前処理部１０４の色補間処理やブロック変換部１０５において使用されるメモリは、画像処理過程の途中に配置される場合が多いことや、ＬＳＩ外部に配置すると処理速度の低下やＬＳＩの端子数の増加を招くことから、一般的に、ＬＳＩ内部に備えられる。
【００１２】
前処理部１０４やブロック変換部１０５において使用されるメモリとしては、以下のようなメモリ量が必要とされる。
【００１３】
前処理部１０４では、補間処理により、各画素の単色の画像データから、各画素がＲ，Ｇ，Ｂの３種類の色情報を有する画像データへの変換が行われる。補間処理には、例えば、着目画素に存在しない色を、着目画素の近傍の画素より補間する例えば（５×５）のフィルタが用いられる。（５×５）のフィルタ処理を行うためには、４個のラインモリ量が必要である。
【００１４】
ブロック変換部１０５においては、例えば、符号化部１０６に搭載しているＪＰＥＧ符号化処理がＹＵＶ（４：２：０）を要求している場合、色差の画像データＵ及びＶは１ラインあたりの画素数が半分になるため、輝度の画像データＹ用として８個のラインメモリが必要であり、色差の画像データＵ及びＶ用としてそれぞれ４ライン分のラインメモリが必要である。さらに、これらのブロック変換メモリはスループットを低下させないように書き込み用と読み出し用にその２倍のメモリ量が必要とされる。したがって、画像処理装置１００においては、大容量メモリ１０１以外に、３６個のラインメモリが必要である。
【００１５】
しかしながら、画像の画素数の増大に伴い、１ラインあたりの画素数が数千画素を越える画像が増加している。このため、このような多数のラインメモリをＬＳＩ内部に備えると、ＬＳＩの回路規模や開発コストが増大するという問題がある。
【００１６】
また、従来の画像処理装置１００では、ＬＳＩ内部に備えられたラインメモリが１ラインあたりの画素数に依存しているため、ラインメモリに格納できる画素数を越える画像に対応できず、画素数が変わると、設計変更が必要である。
【００１７】
本発明は、上述の課題を鑑み、ＬＳＩ内部に配置されるメモリの使用量を抑えることにより回路規模や開発コストを抑えると共に、画像の画素数の増加に対して柔軟に対応できるようにした画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上述の課題を解決するために、請求項１に係わる本発明の画像処理装置は、画像データを格納するメモリと、メモリに格納された１フレーム分の画像データを水平方向にＭ個（Ｍは正の整数）の小フレームが並んだ画像データとみなし、小フレームをそれぞれラスタ走査順に読み出すデータ読出部と、データ読出部により読み出された画像データを、所定のライン数を処理ラインとして符号化する符号化部と、符号化部から出力される符号化データの符号量を順次格納する符号量記憶部と、符号量記憶部に記憶された各小フレームの対応する処理ラインに係る符号量に基づき、メモリに符号化データを格納するためのアドレスを算定し、メモリのその算定されたアドレスに符号化データを格納する符号化データ書込部と、符号量記憶部に記憶された各小フレームの対応する処理ラインに係る符号量に基づき、メモリに格納された符号化データを読み出すためのアドレスを算定し、メモリのその算定されたアドレスから符号化データを読み出す符号化データ読出部とを備えることを特徴とする。
【００１９】
請求項２に係る本発明の画像処理装置は、請求項１の発明において、符号量記憶部は、各小フレームの対応する処理ラインに係る符号量を加算した符号量を、処理ライン毎に格納することを特徴とする。
【００２０】
請求項３に係る本発明の画像処理装置は、請求項１の発明において、符号量記憶部は、各小フレームの処理ライン毎に符号量を格納することを特徴とする。
【発明の効果】
【００２１】
請求項１に係る本発明の画像処理装置によれば、１フレームの画像データを水平方向にＭ個の小フレームが並んだ画像データとみなし、小フレーム毎に画像処理を実行することにより、画像処理装置内のメモリの使用量を抑えることできる。そのため、画像処理装置の規模や開発コストを削減することができる。また、画像の画素数が増大しても小フレームの数を調整することにより、画像処理装置内部のメモリ構成に大きな影響を与えることなく対応することができる。したがって、画像の画素数の増大に対して柔軟に対応可能な画像処理装置を提供することができる。
【００２２】
また、請求項２に係る本発明の画像処理装置によれば、各小フレームの対応する処理ラインに係る符号量を加算した符号量を、処理ライン毎に格納することにより、各処理ラインの符号化データを連続して読み出すことができる。
【００２３】
また、請求項３に係る本発明の画像処理装置によれば、１フレーム分の符号量を小フレーム内の処理ライン毎に記憶する符号量メモリを備えることにより、画像１フレーム分の符号化データを復号せずに、画像の一部分を抽出して符号化データを保存することと、画像の一部分をのみを高速に表示することが可能になる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明が適用された画像処理装置の一例の主要部を示すブロック図である。図１に示すように、本発明が適用された画像処理装置１は、大容量メモリ１１と、アドレス記憶部１２と、データ読出部１３と、前処理部１４と、ブロック変換部１５と、符号化部１６と、符号量記憶部１７と、符号化データ書込部１８と、符号化データ読出部１９とを備える。
【００２５】
大容量メモリ１１は、入力画像データを一時的に蓄積すると共に、符号化データを一時的に蓄積する。大容量メモリ１１は、入力画像データを蓄積するための入力画像格納領域２１と、符号化データを蓄積するための符号化データ格納領域２２とを有している。
【００２６】
大容量メモリ１１の入力画像格納領域２１は、少なくとも１フレーム分の画像領域を有する。大容量メモリ１１の入力画像格納領域２１に画像データを書き込む際には、ラスタ走査の順に書き込みが行われる。大容量メモリ１１から画像データを読み出す際には、大容量メモリ１１の１フレームの画像データを水平方向にＭ個の小フレームが並んだ画像データとみなし、各小フレーム毎にラスタ走査順に読み出しを行う。
【００２７】
アドレス記憶部１２は、大容量メモリ１１に記憶される符号化データのアドレスを記憶するレジスタを備える。このレジスタはメモリで実現しても構わない。また、アドレス記憶部１２そのものを画像処理装置１の外部に備えても良い。
【００２８】
データ読出部１３は、大容量メモリ１１の入力画像格納領域２１に格納された１フレームの画像データを、水平方向にＭ個（Ｍは正の整数）の小フレームが並んだ画像データとみなし、大容量メモリ１１から、各小フレーム毎に画像データをラスタ走査順に読み出す。このとき、大容量メモリ１１の入力画像格納領域２１に格納された画像データを読み出すためのアドレスは、アドレス記憶部１２に記憶された該当レジスタ値に基づいて算出される。
【００２９】
前処理部１４は、色補間処理や輪郭強調処理など、好適な画像を生成するための画像処理を行う。前処理部１４により、単一色（Ｒ、Ｇ、又はＢ）の画像データは、補間処理によりＲＧＢの画像データに変換され、更に、ＹＵＶの画像データに変換される。
【００３０】
ブロック変換部１５は、ラスタ−ブロック変換を行うためのブロック変換メモリを備え、前段から入力されるラスタ単位の画像データ形式をブロック単位のデータ形式に変換して後段に出力する。例えば、ＪＰＥＧ符号化処理を行う画像処理装置１では、前処理部１４からラスタ単位で出力されるＹ，Ｕ，Ｖそれぞれの画像データをブロック変換メモリに８ライン分格納し、後段に対して（８×８）画素のブロック単位毎にＹＵＶの画像データを出力する。また、ブロック変換部１５は、ラスタ−ブロック変換によるスループットの低下を発生させないように、書き込み用と読み出し用の２通りのブロック変換メモリを備える。
【００３１】
符号化部１６は、ブロック変換部１５から入力されるブロック単位の画像データを例えばＪＰＥＧ方式で符号化し、符号化データを後段に出力する。ＪＰＥＧ方式の符号化では、画像データをブロック単位でＤＣＴ変換し、時間領域の画像データを周波数領域に変換する。そして、ＤＣＴ変換された画像データを量子化し、ハフマン符号により可変長符号化する。
【００３２】
符号量記憶部１７は符号量メモリ３１を備えており、符号化部１６で画像データを符号化する際に、符号化部１６から符号量を取得し、符号量記憶部１７の符号量メモリ３１に、各処理ライン毎の符号量を記憶する。
【００３３】
符号化データ書込部１８は、符号化部１６で符号化された画像データを大容量メモリ１１に送り、大容量メモリ１１の符号化データ格納領域２２に記憶させる。大容量メモリ１１の符号化データ格納領域２２は処理ライン毎に記憶領域が区切られており、符号化された画像データは、大容量メモリ１１の符号化データ格納領域２２に、処理ライン毎に格納されていく。このとき、大容量メモリ１１の符号化データ格納領域２２に符号化データを格納するためのアドレスは、アドレス記憶部１２に記憶されたアドレスと、符号量記憶部１７に記憶された符号量に基づいて算出される。
【００３４】
符号化データ読出部１９は、大容量メモリ１１の符号化データ格納領域２２に格納された符号化データを、処理ライン毎に連続して、各処理ラインの有効な符号化データを読み出し、後段に出力する。このとき、大容量メモリ１１の符号化データ格納領域２２から符号化データを読み出すためのアドレスは、アドレス記憶部１２に記憶されたアドレスと、符号量記憶部１７に記憶された符号量に基づいて算出される。
【００３５】
次に、上述のように構成される画像処理装置の動作について説明する。図１において、図示していないカメラなどの画像データ入力装置により、画像データが入力される。入力された画像データは、バス１０を介して、大容量メモリ１１に送られる。入力画像データは、大容量メモリ１１の入力画像格納領域２１に、ラスタ走査順に書き込まれる。画像データは、図２に示すように、Ｒ，Ｇ，Ｂの画素がベイヤー配列で並んだ単一色の画像データであり、１フレームの画素数は、例えば（２５６４（水平方向）×１９２４（垂直方向））である。
【００３６】
大容量メモリ１１の入力画像格納領域２１に一旦蓄積された画像データは、バス１０を介して、データ読出部１３に読み出される。このとき、大容量メモリ１１の入力画像格納領域２１に格納された１フレームの画像データは、水平方向にＭ個の小フレームが並んだ画像データとみなされ、各小フレーム毎にラスタ走査順に画像データが読み出される。
【００３７】
つまり、図３及び図４は、大容量メモリ１１の入力画像格納領域２１からのデータの転送を説明するものである。図３に示すように、大容量メモリ１１の入力画像格納領域２１には、ラスタ走査の順に、（２５６４画素×１９２４画素）の画像データが書き込まれる。
【００３８】
すなわち、１フレームの最上のライン「１」の画像データが水平方向に２５６４画素分、左から右に書き込まれる。以下、ライン「１」からライン「１９２４」まで、各ライン毎に、ラスタ走査の順に画像データが書き込まれる。
【００３９】
大容量メモリ１１の入力画像格納領域２１から画像データを読み出す際には、図４に示すように、１フレームがＭ個の小フレームに分割される。この例では、１フレームが４つの小フレームＡ、Ｂ、Ｃ、Ｄに分割される。そして、各小フレームＡ〜Ｄ毎に、ラスタ走査の順に、画像データが読み出される。
【００４０】
すなわち、先ず、小フレームＡのライン「１」の画像データが水平方向に６４４画素分、左から右に読み出される。以下、ライン「１」からライン「１９２４」まで、各ライン毎に、ラスタ走査の順に画像データが読み出される。
【００４１】
小フレームＡの読み出しが終了したら、次に、小フレームＢの画像データがライン「１」からライン「１９２４」までラスタ走査の順に読み出される。小フレームＢの読み出しが終了したら、次に、小フレームＣの画像データがライン「１」からライン「１９２４」までラスタ走査の順に読み出され、小フレームＣの読み出しが終了したら、小フレームＤの画像データがライン「１」からライン「１９２４」までラスタ走査の順に読み出される。
【００４２】
このとき、大容量メモリ１１の入力画像格納領域２１に格納された画像データを読み出すためのアドレスは、アドレス記憶部１２に記憶された該当レジスタ値に基づいて算出される。
【００４３】
なお、このように画像を読み出す際、図４に示すように、隣り合う小フレームに重複して読み出される画素の部分Ｐａ〜Ｐｃが存在する。このように、重複して読み出される画素の部分Ｐａ〜Ｐｃが存在する理由については、後に説明する。
【００４４】
また、この例では、１フレームを等分に分割し、全ての小フレームＡ〜Ｄの水平方向の画素数を６４４画素としているが、その画素数は小フレーム毎に異なっていても良い。また、ここでは、１フレームを４個の小フレームに分割しているが、これに限られるものではない。
【００４５】
図１において、データ読出部１３により、小フレームＡ〜Ｄの順に読み出された画像データは、前処理部１４に送られる。前処理部１４では、色補間処理や輪郭強調処理など、好適な画像を生成するための画像処理が行われる。色補間処理を施された画像データは、１画素がＲ、Ｇ、又はＢの単一色の画像データから、１画素がＲ，Ｇ，Ｂの３種類の色情報を有する画像データになる。補間処理には、例えば、着目画素に存在しない色を、着目画素の近傍の画素より補間する例えば（５×５）の補間フィルタが用いられる。補間処理により各画素毎にＲＧＢの情報を持った画素データは、マトリクス演算により、Ｙ，Ｕ，Ｖの３種類の画像データに変換される。
【００４６】
このような補間処理を行うときのフィルタ処理では、フィルタ処理後の画像サイズがフィルタ処理前の画像サイズより小さくなるという性質がある。なぜなら、図５（Ａ）に示すように、着目画素Ｐｘの周辺に有効な参照画素のデータがある場合には、着目画素Ｐｘの周辺の画像データを用いて、フィルタ演算が行えるが、図５（Ｂ）に示すように、フィルタ演算を行う着目画素Ｐｙが画像の端部付近の場合は、（５×５）フィルタの参照画素に有効ではない画像データが含まれるため、その画素の演算結果が無効なデータとなるためである。
【００４７】
例えば、本実施の形態のように（６４４画素×１９２４画素）の画像サイズの小フレームに対して（５×５）のフィルタ処理を施すと、フィルタ処理後の有効画像サイズは（６４０画素×１９２０画素）となる。そのため、フィルタ処理により減少する画像サイズを考慮して、小フレームの画像サイズを決定しなければならない。また、このことが、図４に示したように、隣り合う小フレームに重複して読み出される画素の部分Ｐａ〜Ｐｃが存在する理由である。
【００４８】
図１において、前処理部１４からのＹＵＶの画像データは、ブロック変換部１５に送られる。ブロック変換部１５では、ラスタ単位の画像データ形式をブロック単位のデータ形式に変換する処理が行われる。例えば、ＪＰＥＧ符号化処理を行う場合には、前処理部１４からラスタ単位で出力されるＹ，Ｕ，Ｖそれぞれの画像データは、ブロック変換メモリに８ライン分格納され、後段に対して（８×８）画素のブロック単位毎に出力される。
【００４９】
ブロック変換部１５でブロック変換された画像データは、符号化部１６に送られる。符号化部１６で、ブロック変換部１５から入力されるブロック単位の画像データが符号化される。例えばＪＰＥＧ方式で圧縮符号化を行う場合には、ブロック毎にＤＣＴ演算が行われ、時間領域のデータから周波数領域のデータに変換される。ＤＣＴ変換により周波数領域に変換されたデータは、量子化器で量子化され、ハフマン符号を用いて可変長符号化される。
【００５０】
符号化部１６で符号化された符号化データの符号量は、符号量記憶部１７で取得される。符号量記憶部１７には、各処理ライン毎の符号量を記憶する符号量メモリ３１が設けられている。符号量メモリ３１には、図６に示すように、処理ライン毎の符号量を格納するための領域ＡＲＡ＿Ｍ１〜ＡＲＡ＿Ｍ２４０が設けられている。
【００５１】
符号量記憶部１７では、符号化部１６により符号化された小フレームが画像左端を含む場合は、小フレーム内の処理ライン（以下、ドメインと称する）の符号量が各処理ラインの毎に符号量メモリ３１の領域ＡＲＡ＿Ｍ１〜ＡＲＡ＿Ｍ２４０にそれぞれ記憶される。符号化部１６により符号化された小フレームが画像左端を含まない場合は、該当ドメインの符号量と、符号量メモリ３１の領域ＡＲＡ＿Ｍ１〜ＡＲＡ＿Ｍ２４０に既に格納されている該当処理ラインの符号量とが加算され、加算結果が新たな該当処理ラインの符号量として、各処理ライン毎に符号量メモリ３１の領域ＡＲＡ＿Ｍ１〜ＡＲＡ＿Ｍ２４０にそれぞれ格納される。これにより、符号量記憶部１７の符号量メモリ３１の領域ＡＲＡ＿Ｍ１〜ＡＲＡ＿Ｍ２４０には、各処理ライン毎の符号量がそれぞれ記憶される。
【００５２】
この例では、可変長符号であるＪＰＥＧ方式で符号化を行っているため、このような符号量記憶部１７が必要になるが、符号化部１６における符号化処理が固定長符号化処理の場合は、符号量を予め見積もることができるため、符号量記憶部１７を備える必要はない。また、符号量を記憶する代わりに、大容量メモリ１１におけるアドレスのステップ幅、又はアドレスそのものを符号量から算出して符号量記憶部１７に記憶しても構わない。
【００５３】
なお、符号量記憶部１７に格納する符号量は、大容量メモリ１１に格納された符号化データが不必要になるまで、例えば、後述する符号化データ読出部１９により大容量メモリ１１から符号化データが読み出され外部記憶媒体（図示せず）に保存されるまで、記憶しておけば良い。また、本実施の形態において複数フレームの画像処理を連続的に実行して、大容量メモリ１１に複数フレーム分の符号化データを格納する場合は、そのフレーム数と同数の符号量メモリ３１を備えれば良い。この符号量記憶部１７の詳細な説明は、以下の符号化データ書込部１８の説明と共に行う。
【００５４】
図１において、符号化部１６からの符号化データは、符号化データ書込部１８により、大容量メモリ１１に送られる。大容量メモリ１１の符号化データ格納領域２２は、図７に示すように、各処理ライン毎の格納領域に区切られており、処理ライン毎のメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０を備えている。符号化データ書込部１８により、小フレームを構成する少なくとも１つ以上のドメインの符号化データは、そのドメインが属する処理ラインのメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０にそれぞれ格納される。
【００５５】
このとき、格納される符号化データに対応するドメインが画像左端を含む場合は、該当ドメインが属する処理ラインのメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０の先頭から、その符号化データが格納される。一方、格納される符号化データに対応するドメインが画像左端を含まない場合は、各メモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０において、直前に符号量を格納した小フレームの同一処理ラインに対応する符号化データの直後から、符号化データが格納される。
【００５６】
すなわち、アドレス記憶部１２には、メモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０の先頭アドレスＡＤＤＲ１〜ＡＤＤＲ２４０が記憶されている。格納される符号化データに対応するドメインが画像左端を含む場合は、アドレス記憶部１２に記憶されている先頭アドレスＡＤＤＲ１〜ＡＤＤＲ２４０を参照して、各メモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０の先頭から符号化データが格納される。
【００５７】
また、符号化データ書込部１８の符号量メモリ３１には、それまで格納した同一処理ラインの符号化データの符号量が記憶されている。格納される符号化データに対応するドメインが画像左端を含まない場合は、メモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０の先頭アドレスＡＤＤＲ１〜ＡＤＤＲ２４０に、符号化データ書込部１８の符号量メモリ３１からの符号量に相当するアドレスを加算する。このようにして算定されたアドレスから符号化データを格納することで、各メモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０において、直前に符号量を格納した小フレームの同一処理ラインに対応する符号化データの直後から、符号化データが格納される。
【００５８】
図８は、符号化処理を行う際の小フレーム、処理ライン及びドメインの構成を説明するものである。符号化部１６で符号化処理を行う際には、図８において、先ず、小フレームＡの処理ライン「１」（ドメインＡ１）の符号化処理が行われる。なお、（８×８）のブロック化を行った場合、処理ラインは、８ライン分の画素データに相当する。次に、小フレームＡの処理ライン「２」（ドメインＡ２）の符号化処理が行われ、小フレームＡの処理ライン「３」（ドメインＡ３）の符号化処理が行われ、以下、小フレームＡの処理ライン「２４０」（ドメインＡ２４０）まで、順に、符号化処理が行われる。
【００５９】
図７に示したように、大容量メモリ１１の符号化データ格納領域２２は、各ライン毎のメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０に区切られており、各ドメインの符号化データは、そのドメインが属する処理ラインのメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０にそれぞれ格納される。このとき、格納される符号化データに対応するドメインが画像左端を含む場合は、該当ドメインが属する処理ラインのメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０の先頭から、その符号化データが格納される。小フレームＡの画像は左端を含んでいるので、各ドメインＡ１〜Ａ２４０の符号化データＥＮＣ＿Ａ１〜ＥＮＣ＿Ａ２４０は、そのドメインが属する処理ラインのメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０の先頭から格納される。メモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０の先頭アドレスＡＤＤＲ１〜ＡＤＤＲ２４０は、アドレス記憶部１２から参照される。
【００６０】
このように、小フレームＡの各処理ライン「１」、「２」、「３」、…、「２４０」（ドメインＡ１、Ａ２、Ａ３、…、Ａ２４０）の符号化を行っていく際に、その符号量が符号量記憶部１７で取得される。前述したように、符号量記憶部１７では、符号化部１６により符号化された小フレームが画像左端を含む場合は、小フレーム内の処理ライン（ドメイン）の符号量が各処理ラインの領域毎に符号量メモリ３１に記憶される。小フレームＡの画像は左端を含んでいるので、小フレームＡ内の各処理ライン（ドメイン）の符号量は、各処理ラインの領域毎に、符号量記憶部１７の符号量メモリ３１に記憶される。
【００６１】
すなわち、符号化部１６で符号化されたドメインＡ１の符号化データＥＮＣ＿Ａ１は、図９に示すように、符号化データ格納領域２２のメモリ領域ＡＲＡ＿Ｎ１の先頭から記憶される。ドメインＡ１の符号化が終了すると、ドメインＡ１の符号量ＡＭＴ＿Ａ１が符号量記憶部１７で取得される。この符号量ＡＭＴ＿Ａ１は、図１０に示すように、処理ライン「１」の符号量ＳＵＭ１（ＳＵＭ１＝ＡＭＴ＿Ａ１）として、符号量メモリ３１の領域ＡＲＡ＿Ｍ１に記憶される。
【００６２】
次に、ドメインＡ２の符号化データＥＮＣ＿Ａ２は、図９に示すように、符号化データ格納領域２２のメモリ領域ＡＲＡ＿Ｎ２の先頭から記憶される。ドメインＡ２の符号化が終了すると、ドメインＡ２の符号量ＡＭＴ＿Ａ２が符号量記憶部１７で取得される。この符号量ＡＭＴ＿Ａ２は、図１０に示すように、処理ライン「２」の符号量ＳＵＭ２（ＳＵＭ２＝ＡＭＴ＿Ａ２）として、符号量メモリ３１の領域ＡＲＡ＿Ｍ２に記憶される。
【００６３】
以下、小フレームＡの各ドメインＡ１〜Ａ２４０の符号化データＥＮＣ＿Ａ１〜ＥＮＣ＿Ａ２４０は、図９に示すように、符号化データ格納領域２２のメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０の先頭からそれぞれ記憶される。小フレームＡの各ドメインＡ１〜Ａ２４０の符号化が終了すると、そのドメインの符号量ＡＭＴ＿Ａ１〜ＡＭＴ＿Ａ２４０が符号量記憶部１７で取得され、この符号量ＡＭＴ＿Ａ１〜ＡＭＴ＿Ａ２４０が各処理ラインの符号量として、図１０に示すように、符号量メモリ３１の領域ＡＲＡ＿Ｍ１〜ＡＲＡ＿Ｍ２４０にそれぞれ記憶される。
【００６４】
小フレームＡの符号化が終了すると、次に、小フレームＢの処理ライン「１」（ドメインＢ１）の符号化処理が行われ、以下、小フレームＢの処理ライン「２４０」（ドメインＢ２４０）まで、順に、符号化処理が行われる。小フレームＢの画像は左端を含んでいないので、各ドメインの符号化データは、各メモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０において、直前に符号量を格納した小フレームの同一処理ラインに対応する符号化データの直後から、符号化データが格納される。このときのアドレスは、アドレス記憶部１２に記憶されているメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０の先頭アドレスＡＤＤＲ１〜ＡＤＤＲ２４０に、符号量記憶部１７の符号量メモリ３１の各処理ライン毎の符号量ＳＵＭ１〜ＳＵＭ２４０を加算することにより求めることができる。
【００６５】
このように、小フレームＢの各処理ライン「１」、「２」、「３」、…、「２４０」（ドメインＢ１、Ｂ２、Ｂ３、…、Ｂ２４０）で符号化を行っていく際に、その符号量が符号量記憶部１７で取得される。小フレームＢは画像左端を含まないので、該当ドメインの符号量と、符号量メモリ３１に既に格納されている該当処理ラインの符号量とが加算され、加算結果が新たな該当処理ラインの符号量として各処理ライン毎に符号量メモリ３１に格納される。
【００６６】
すなわち、符号化部１６で符号化されたドメインＢ１の符号化データＥＮＣ＿Ｂ１は、図１１に示すように、符号化データ格納領域２２のメモリ領域ＡＲＡ＿Ｎ１において、符号化データＥＮＣ＿Ａ１に続いて記憶される。ドメインＢ１の符号化が終了すると、ドメインＢ１の符号量ＡＭＴ＿Ｂ１が符号量記憶部１７で取得される。この符号量ＡＭＴ＿Ｂ１が処理ライン「１」のそれまでの符号量ＳＵＭ１に加算され、加算結果が処理ライン「１」の新たな符号量として、図１２に示すように、符号量メモリ３１の領域ＡＲＡ＿Ｍ１に記憶される（ＳＵＭ１＝ＳＵＭ１＋ＡＭＴ＿Ｂ１）。なお、領域ＡＲＡ＿Ｍ１には、それまで、ドメインＡ１での符号量ＡＭＴ＿Ａ１が記憶されているので、処理ライン「１」の符号量ＳＵＭ１は、（ＳＵＭ１＝ＡＭＴ＿Ａ１＋ＡＭＴ＿Ｂ１）となる。
【００６７】
符号化部１６で符号化されたドメインＢ２の符号化データＥＮＣ＿Ｂ２は、図１１に示すように、符号化データ格納領域２２のメモリ領域ＡＲＡ＿Ｎ２において、符号化データＥＮＣ＿Ａ２に続いて記憶される。ドメインＢ２の符号化が終了すると、ドメインＢ２の符号量ＡＭＴ＿Ｂ２が符号量記憶部１７で取得される。この符号量ＡＭＴ＿Ｂ２が処理ライン「２」のそれまでの符号量ＳＵＭ２に加算され、加算結果が処理ライン「２」の新たな符号量として、図１２に示すように、符号量メモリ３１の領域ＡＲＡ＿Ｍ２に記憶される（ＳＵＭ２＝ＳＵＭ２＋ＡＭＴ＿Ｂ２）。なお、領域ＡＲＡ＿Ｍ２には、それまで、ドメインＡ２での符号量ＡＭＴ＿Ａ２が記憶されているので、処理ライン「２」の符号量ＳＵＭ２は、（ＳＵＭ２＝ＡＭＴ＿Ａ２＋ＡＭＴ＿Ｂ２）となる。
【００６８】
以下、小フレームＢの各ドメインＢ１〜Ｂ２４０の符号化データＥＮＣ＿Ｂ１〜ＥＮＣ＿Ｂ２４０は、図１１に示すように、符号化データ格納領域２２のメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０に、符号化データＥＮＣ＿Ａ１〜ＥＮＣ＿Ａ２４０に続いてそれぞれ記憶される。小フレームＢの各ドメインＢ１〜Ｂ２４０の符号化が終了すると、そのドメインの符号量ＡＭＴ＿Ｂ１〜ＡＭＴ＿Ｂ２４０が符号量記憶部１７で取得され、この符号量ＡＭＴ＿Ｂ１〜ＡＭＴ＿Ｂ２４０が各処理ラインの符号量として、図１２に示すように、符号量メモリ３１の領域ＡＲＡ＿Ｍ１〜ＡＲＡ＿Ｍ２４０にそれぞれ記憶される。
【００６９】
小フレームＢの符号化が終了すると、次に、小フレームＣの符号化処理が行われる。小フレームＣの各ドメインＣ１〜Ｃ２４０の符号化データＥＮＣ＿Ｃ１〜ＥＮＣ＿Ｃ２４０は、図１３に示すように、符号化データ格納領域２２のメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０に、符号化データＥＮＣ＿Ｂ１〜ＥＮＣ＿Ｂ２４０に続いてそれぞれ記憶される。小フレームＣの各ドメインＣ１〜Ｃ２４０の符号化が終了すると、そのドメインの符号量ＡＭＴ＿Ｃ１〜ＡＭＴ＿Ｃ２４０が符号量記憶部１７で取得され、この符号量ＡＭＴ＿Ｃ１〜ＡＭＴ＿Ｃ２４０が各処理ラインの符号量として、図１４に示すように、符号量メモリ３１の領域ＡＲＡ＿Ｃ１〜ＡＲＡ＿Ｃ２４０にそれぞれ記憶される。
【００７０】
小フレームＣの符号化が終了すると、次に、小フレームＤの符号化処理が行われる。小フレームＤの各ドメインＤ１〜Ｄ２４０の符号化データＥＮＣ＿Ｄ１〜ＥＮＣ＿Ｄ２４０は、図１５に示すように、符号化データ格納領域２２のメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０に、符号化データＥＮＣ＿Ｃ１〜ＥＮＣ＿Ｃ２４０に続いて記憶される。小フレームＤの各ドメインＤ１〜Ｄ２４０の符号化が終了すると、そのドメインの符号量ＡＭＴ＿Ｄ１〜ＡＭＴ＿Ｄ２４０が符号量記憶部１７で取得され、この符号量ＡＭＴ＿Ｄ１〜ＡＭＴ＿Ｄ２４０が各処理ラインの符号量として、図１６に示すように、符号量メモリ３１の領域ＡＲＡ＿Ｃ１〜ＡＲＡ＿Ｃ２４０にそれぞれ記憶される。
【００７１】
以上のようにして、小フレームＡからＤまでの符号化処理が完了すると、図１５に示すように、大容量メモリ１１の符号化データ格納領域２２の領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０には、各処理ライン毎の符号化データＥＮＣ＿Ａ１〜ＥＮＣ＿Ｄ１、ＥＮＣ＿Ａ２〜ＥＮＣ＿Ｄ２、…、ＥＮＣ＿Ａ２４０〜ＥＮＣ＿Ｄ２４０がそれぞれ格納される。また、符号量記憶部１７には、図１６に示すように、各処理ライン毎の符号量ＳＵＭ１〜ＳＵＭ２４０が記憶される。
【００７２】
図１において、上述のようにして大容量メモリ１１の符号化データ格納領域２２に一旦格納された符号化データは、符号化データ読出部１９により、処理ライン毎に読み出される。このとき符号化データ読出部１９が大容量メモリ１１に対して発行するアドレスは、アドレス記憶部１２に記憶された各処理ラインのメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０の先頭アドレスと、符号量記憶部１７に記憶された各処理ラインの符号量ＳＵＭ１〜ＳＵＭ２４０とから算出される。
【００７３】
つまり、先ず、図１５における大容量メモリ１１のメモリ空間における処理ライン「１」のメモリ領域ＡＲＡ＿Ｎ１の先頭アドレスＡＤＤＲ１がアドレス記憶部１２より参照され、そのアドレスＡＤＤＲ１を用いて、処理ライン「１」の符号化データの符号化データの読み出し開始位置が設定される。そして、図１６における符号量記憶部１７の領域ＡＲＡ＿Ｍ１から処理ライン「１」の符号量ＳＵＭ１が参照され、アドレスＡＤＤＲ１から、符号量ＳＵＭ１に相当する符号量に相当するアドレスが算出され、算出されたアドレスの分だけ、データが読み出される。これにより、大容量メモリ１１の符号化データ格納領域２２のメモリ領域ＡＲＡ＿Ｎ１から、処理ライン「１」の符号化データ（ＥＮＣ＿Ａ１、ＥＮＣ＿Ｂ１、ＥＮＣ＿Ｃ１、ＥＮＣ＿Ｄ１）が読み出され、読み出された符号化データが後段に出力される。
【００７４】
処理ライン「１」の符号化データの読み出しが終了したら、連続的に、処理ライン「２」の符号化データの読み出しが行われ、読み出された符号化データが後段に出力される。処理ライン「２」の符号化データの読み出しは、処理ライン「１」と同様に行われる。
【００７５】
このようにして、処理ライン「２４０」まで、大容量メモリ１１の符号化データ格納領域２２のメモリ領域ＡＲＡ＿Ｎ１〜ＡＲＡ＿Ｎ２４０から、符号化データの読み出しと、後段への符号化データの出力とが繰り返し行われる。
【００７６】
なお、本実施の形態では符号化データ読出部１９において、先頭の処理ラインから符号化データを読み出したが、これに限らず、任意の処理ラインからデータを読み出すことも可能である。
【００７７】
以上のようにして、図１７に示すように、符号化データ読出部１９からは、各処理ライン「１」、「２」、「３」、…の符号化データが連続して出力される。符号化データ読出部１９から出力される符号化データは、一般的なＪＰＥＧ符号化処理により生成された符号化データの順序と差異がない。そのため、符号化データの復号にあたって特殊な復号化方法は必要なく、一般的なＪＰＥＧ復号化方法で符号化データを復号することができる。
【００７８】
なお、復号する符号化データの転送を本発明の画像処理装置において実行する場合においては、必ずしも図１７のようにデータを隙間なく転送する必要はない。この場合、転送された符号化データを復号するために再度転送する際、各処理ラインの符号量を参照して、復号化装置にデータを隙間なく転送すれば良い。そのため、この場合は各処理ラインの符号量は符号化データを復号するまで保持しておくか、符号化データと共に符号量を転送しておく必要がある。
【００７９】
また、符号化データ読出部１９の後段に備えられる装置としては、例えば、外部記憶装置や通信装置が考えられるが、これに限られるものではない。また、これらの装置は符号化データ読出部１９を排他的に使用するように備えても良いし、複数の符号化データ読出部１９を備えることにより並列に備えても構わない。
【００８０】
なお、上述の実施形態では、符号化方式としてＪＰＥＧを用いたが、本発明はＪＰＥＧ方式に限定されず、他の符号化方式の場合でも同様に適用できる。また、上述の例では、画素数を（２５６４×１９２４）画素としているが、本発明は、どのような画素数の場合でも、適用できる。
【００８１】
本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８２】
例えば、上述の実施の形態では、図６に示したように、符号量記憶部１７に１フレームの処理ライン毎の符号量を記憶させるようにしているが、図１８に示すように、ドメイン毎の符号量を記憶させるようにしても良い。すなわち、符号量記憶部１７において、１フレーム分の符号量をドメイン毎に記憶する符号量メモリを備え、各ドメインの符号量を符号量メモリの対応する領域に格納するように構成する。この場合、大容量メモリ１１、符号化データ書込部１８及び符号化データ読出部１９を、以下のように変形する。
【００８３】
大容量メモリ１１では、少なくとも１フレーム分の符号化データ格納領域を、１フレームを構成するドメイン数に分割する。
【００８４】
符号化データ書込部１８では、各ドメインの符号化データを、大容量メモリ１１における対応するメモリ領域毎に格納する。このとき、符号化データ書込部１８が大容量メモリ１１に対して発行するアドレスは、アドレス記憶部１２に記憶された各ドメインのメモリ領域の先頭アドレスと、符号量記憶部１７に記憶された各ブロックの符号量とから算出する。
【００８５】
例えば、前述の実施の形態のように、１フレームを４つの小フレームに分割し、処理ラインの単位を８ラインとした場合、符号量記憶部１７においては、図１８のように各ドメイン毎に符号量を格納し、また、符号化データ書込部１８は、図１９に示すように、大容量メモリ１１の符号化データ格納領域２２に各ドメイン毎に符号化データを格納する。
【００８６】
符号化データ読出部１９では、大容量メモリ１１に格納された符号化データをドメイン毎に連続的に読み出し、各ドメインの有効な符号化データのみを後段に出力する。このとき、符号化データ読出部１９が大容量メモリ１１に対して発行するアドレスは、アドレス記憶部１２に記憶された各ドメインのメモリ領域の先頭アドレスと、符号量記憶部１７に記憶された各ドメインの符号量とから算出する。なお、符号化データの転送方法は変形前の転送方法と同様である。
【００８７】
このような変形例では、例えば、画像１フレーム分の符号化データを復号せずに、画像の一部分を抽出して符号化データを保存することと、画像の一部分をのみを高速に表示することが可能になる。
【００８８】
以上に説明したように、本発明の実施の形態によれば、１フレームの画像データを水平方向にＭ個の小フレームが並んだ画像データとみなし、小フレーム毎に画像処理を実行するようにしている。これにより、画像処理装置のＬＳＩ内のメモリの使用量を抑えることでき、画像処理装置のハードウェア規模や開発コストを削減することができる。このことについて詳述する。
【００８９】
前述したように、図１における前処理部１４では、補間フィルタを用いて、着目画素に存在しない色を、着目画素近傍の画素により補間している。補間には、例えば（５×５）の補間フィルタが用いられるが、ここでは、説明を簡単にするために、（３×３）の補間フィルタを用いて説明する。
【００９０】
例えば、図２０において、画素Ｐ５が着目画素であるとすると、着目画素Ｐ５の画像データは、Ｂの色情報のみを持っており、Ｒの色情報やＧの色情報は持っていない。このため、着目画素Ｐ５の周辺の画素を用いて、Ｒの色情報とＧの色情報を補間により形成する。
【００９１】
すなわち、着目画素Ｐ５のＲの色情報は、着目画素Ｐ５の周辺の画素Ｒの画素Ｐ１、Ｐ３、Ｐ７、Ｐ９により、
Ｈ１×Ｐ１＋Ｈ２×Ｐ３＋Ｈ３×Ｐ７＋Ｈ４×Ｐ９
なるフィルタ演算で求められる。また、着目画素Ｐ５のＧの色情報は、着目画素Ｐ５の周辺の画素Ｇの画素Ｐ２、Ｐ４、Ｐ６、Ｐ８により、
Ｈ１×Ｐ２＋Ｈ２×Ｐ４＋Ｈ３×Ｐ６＋Ｈ４×Ｐ８
なるフィルタ演算で求められる。但しＨ１〜Ｈ４はフィルタ係数である。
【００９２】
上述のフィルタ演算を行う補間フィルタは、一般的には、図２１に示すように、各タップの出力を得るための１サンプル遅延回路５１ａ〜５１ｆ及び１ライン遅延回路５２ａ及び５２ｂと、フィルタ係数を乗じるための乗算器５３ａ〜５３ｉと、加算器５４とから構成できる。なお、図２１において、不要なタップの出力は、乗算器５３ａ〜５３ｉに係数「０」を与えれば良い。
【００９３】
ここで、１ライン遅延回路５２ａ及び５２ｂは、ラインメモリから構成される。従来では、ラスタ走査に従って画像データを処理していたため、画素数が（２５６４×１９２４）の場合、１ライン遅延回路５２ａ及び５２ｂを構成するラインメモリとして、図２２（Ａ）に示すように、２５６４画素分の容量が必要になる。これに対して、本発明の実施形態では、１フレームの画像データを水平方向に例えば４個の小フレームが並んだ画像データとみなし、小フレーム毎に画像データを処理している。このため、１ライン遅延回路５２ａ及び５２ｂを構成するラインメモリとして、図２２（Ｂ）に示すように、６４０画素分の容量があれば良い。したがって、前処理部１４の色補間処理におけるメモリの容量は、従来に比べて、約１／４に削減することが可能になる。
【００９４】
また、図１におけるブロック変換部１５では、ラスタ−ブロック変換により、（８×８）画素のブロックデータを形成しているが、ここでは、説明を簡単とするために、（４×４）のブロックを形成する場合について説明する。
【００９５】
ラスタ走査の順の画像データから、（４×４）のブロックデータへの変換は、図２３に示すように、４個のラインメモリ６１ａ〜６１ｄにより構成できる。
【００９６】
ここで、従来では、ラスタ走査に従って画像データを処理していたため、画素数が（２５６４×１９２４）の場合、ラインメモリ６１ａ〜６１ｄとして、図２２（Ａ）に示すように、２５６４画素分の容量が必要になる。これに対して、本発明の実施形態では、１フレームの画像データを水平方向に例えば４個の小フレームが並んだ画像データとみなし、小フレーム毎に画像データを処理している。このため、ラインメモリ６１ａ〜６１ｄとして、図２２（Ｂ）に示すように、６４０画素分の容量があれば良い。したがって、ブロック変換部１５におけるメモリの容量は、従来に比べて、約１／４に削減することが可能になる。
【００９７】
また、本発明の実施形態では、画像の画素数が増大しても、小フレームの数を調整することにより、画像処理装置内部のメモリ構成に大きな影響を与えることなく対応することができる。したがって、画像の画素数の増大に対して柔軟に対応可能な画像処理装置を提供することができる。
【００９８】
さらに、本実施の形態を変形させ、１フレーム分の符号量を小フレーム内の処理ライン毎に記憶する符号量メモリを備えることにより、画像１フレーム分の符号化データを復号せずに、画像の一部分を抽出して符号化データを保存することと、画像の一部分をのみを高速に表示することが可能になる。
【産業上の利用可能性】
【００９９】
本発明は、ディジタルスチルカメラ等、ラスタ単位の画像データをブロック単位の画像データに変換して処理する、又は、ブロック単位の画像データをラスタ単位の画像データに変換して処理する画像処理装置に用いることができる。
【図面の簡単な説明】
【０１００】
【図１】本発明が適用された画像処理装置の一例の主要部を示したブロック図である。
【図２】ベイヤー配列の画像データの説明図である。
【図３】本発明が適用された画像処理装置における画像データの転送の説明図である。
【図４】本発明が適用された画像処理装置における画像データの転送の説明図である。
【図５】本発明が適用された画像処理装置におけるフィルタ処理の説明図である。
【図６】本発明が適用された画像処理装置における符号量記憶部の説明図である。
【図７】本発明が適用された画像処理装置における大容量メモリの符号化データ格納領域の説明図である。
【図８】本発明が適用された画像処理装置における小フレーム、処理ライン及びドメインの説明図である。
【図９】本発明が適用された画像処理装置の動作説明図である。
【図１０】本発明が適用された画像処理装置の動作説明図である。
【図１１】本発明が適用された画像処理装置の動作説明図である。
【図１２】本発明が適用された画像処理装置の動作説明図である。
【図１３】本発明が適用された画像処理装置の動作説明図である。
【図１４】本発明が適用された画像処理装置の動作説明図である。
【図１５】本発明が適用された画像処理装置の動作説明図である。
【図１６】本発明が適用された画像処理装置の動作説明図である。
【図１７】本発明が適用された画像処理装置におけるデータ転送の説明図である。
【図１８】本発明が適用された画像処理装置の変形例の説明図である。
【図１９】本発明が適用された画像処理装置の変形例の説明図である。
【図２０】本発明が適用された画像処理装置における前処理部の補間処理の説明図である。
【図２１】本発明が適用された画像処理装置におけるメモリの削減の説明に用いるブロック図である。
【図２２】本発明が適用された画像処理装置におけるメモリの削減の説明に用いるブロック図である。
【図２３】本発明が適用された画像処理装置におけるブロック変換部の説明図である。
【図２４】従来の画像処理装置の一例のブロック図である。
【符号の説明】
【０１０１】
１  画像処理装置
１０  バス
１１  大容量メモリ
１２  アドレス記憶部
１３  データ読出部
１４  前処理部
１５  ブロック変換部
１６  符号化部
１７  符号量記憶部
１８  符号化データ書込部
１９  符号化データ読出部
【図１】
2006211323.tif 000003
【図２】
2006211323.tif 000004
【図３】
2006211323.tif 000005
【図４】
2006211323.tif 000006
【図５】
2006211323.tif 000007
【図６】
2006211323.tif 000008
【図７】
2006211323.tif 000009
【図８】
2006211323.tif 000010
【図９】
2006211323.tif 000011
【図１０】
2006211323.tif 000012
【図１１】
2006211323.tif 000013
【図１２】
2006211323.tif 000014
【図１３】
2006211323.tif 000015
【図１４】
2006211323.tif 000016
【図１５】
2006211323.tif 000017
【図１６】
2006211323.tif 000018
【図１７】
2006211323.tif 000019
【図１８】
2006211323.tif 000020
【図１９】
2006211323.tif 000021
【図２０】
2006211323.tif 000022
【図２１】
2006211323.tif 000023
【図２２】
2006211323.tif 000024
【図２３】
2006211323.tif 000025
【図２４】
2006211323.tif 000026