"フレームメモリにアクセス可能な画像処理装置であって,原画像データを入力する入力部と,前記原画像データを符号化処理して符号化データを生成すると共に,前記符号化データを復号処理して復号画像データを生成し前記フレームメモリに格納する符号化処理部と,前記フレームメモリ内の復号画像データの一部を参照画像データとして格納するプリフェッチメモリと,前記フェッチメモリ内の参照画像データを出力する出力部とを有し,前記符号化処理部は,前記出力部の前記参照画像データの出力タイミングに対応して,前記フレームメモリ内の復号画像データの一部を読み出して前記プリフェッチメモリ内の参照画像データを更新しながら,前記原画像データと前記プリフェッチメモリから読み出した参照画像データとに基づいて前記符号化処理を行う画像処理装置。請求項1において,前記原画像データは,後方参照画像データを参照しないで符号化される第1のピクチャと,前記後方参照画像データを参照して符号化される第2のピクチャとを有し,前記出力部は,前記第1のピクチャに対応する第1の復号画像データとして前記プリフェッチメモリ内の参照画像データを出力し,前記第2のピクチャに対応する第2の復号画像データとして前記符号化処理部が生成する復号画像データを出力する画像処理装置。請求項2において,さらに,前記符号化処理部が生成する第2の復号画像データを一時的に格納するバッファメモリを有し,前記符号化処理部は,前記第2の復号画像データを前記バッファメモリに格納し,前記第1の復号画像データを前記フレームバッファに格納し,前記出力部は,前記第2の復号画像データを前記バッファメモリから読み出して出力する画像処理装置。請求項3において,前記符号化処理部は,複数の画素を有するブロックの単位で前記符号化処理を行い,復号画像データのブロックの周縁画素データを隣接するブロックの周縁画素データとでインループフィルタ処理を行い,前記バッファメモリは,前記第2の復号画像データに加えて,前記インループフィルタ処理の対象となる前記隣接するブロックの復号画像データも格納し,前記符号化処理部は,前記バッファメモリから前記復号画像データを読み出して,インループフィルタ処理を行う画像処理装置。フレームメモリにアクセス可能な画像処理装置であって,原画像データを符号化した符号化データを入力する入力部と,前記符号化データを復号処理して復号画像データを生成すると共に,前記復号画像データを前記フレームメモリに格納する復号処理部と,前記フレームメモリ内の復号画像データの一部を参照画像データとして格納するプリフェッチメモリと,前記フェッチメモリ内の参照画像データを出力する出力部とを有し,前記復号処理部は,前記出力部の出力タイミングに対応して,前記フレームメモリ内の復号画像データの一部を読み出して前記プリフェッチメモリ内の参照画像データを更新しながら,前記入力した符号化データと前記プリフェッチメモリから読み出した参照画像データとに基づいて前記復号処理を行う画像処理装置。請求項5において,前記原画像データは,後方参照画像データを参照しないで符号化される第1のピクチャと,前記後方参照画像データを参照して符号化される第2のピクチャとを有し,前記出力部は,前記第1のピクチャに対応する第1の復号画像データとして前記プリフェッチメモリ内の参照画像データを出力し,前記第2のピクチャに対応する第2の復号画像データとして前記符号化処理部が生成する復号画像データを出力する画像処理装置。請求項6において,さらに,前記復号処理部が生成する前記第2の復号画像データを一時的に格納するバッファメモリを有し,前記復号処理部は,前記第2の復号画像データを前記バッファメモリに格納し,前記第1の復号画像データを前記フレームバッファに格納し,前記出力部は,前記第2の復号画像データを前記バッファメモリから読み出して出力する画像処理装置。請求項7において,前記復号処理部は,複数の画素を有するブロックの単位で前記復号処理を行い,復号画像データのブロックの周縁画素データを隣接するブロックの周縁画素データとでインループフィルタ処理を行い,前記バッファメモリは,前記第2の復号画像データに加えて,前記インループフィルタ処理の対象となる復号画像データも格納し,前記符号化処理部は,前記バッファメモリから復号画像データを読み出して,インループフィルタ処理を行う画像処理装置。請求項2または6において,前記原画像データは,少なくとも時間的に前後する前方及び後方の前記第1のピクチャと,当該前方及び後方の第1のピクチャの間の時間に位置する前記第2のピクチャとを有し,前記出力部は,前方の第1のピクチャを参照して前記後方の第1のピクチャを符号化または復号する時に,前記プリフェッチメモリ内の前記前方の第1のピクチャに対応する第1の復号画像データを出力し,その後,前記後方の第1のピクチャを参照して前記第2のピクチャを符号化または復号する時に,前記符号化または復号処理部が生成する前記復号画像データを出力する画像処理装置。請求項2または6において,前記符号化または復号処理部は,処理対象ブロック毎に順番に前記符号化処理または復号処理を行い,前記プリフェッチメモリは,前記処理対象ブロックが前記符号化処理または復号処理されるブロック処理時間中,少なくとも,前記符号化処理または復号処理中に前記処理対象ブロックについて参照される参照ブロックの第1の復号画像データと,フレーム内の前記処理対象ブロックと同じ行内に位置する同行ブロックであって前記出力部により読み出される同行ブロックの第2の復号画像データとを格納し,前記プリフェッチメモリは,前記ブロック処理時間に同期して,前記参照ブロックの第1の復号画像データと前記同行ブロックの第2の復号画像データとを更新し,1つのフレーム内の複数の処理対象ブロックが前記符号化処理または復号処理されるフレーム処理時間中に参照される前記プリフェッチメモリ内の参照画像データは,前記フレームメモリから前記プリフェッチメモリへの前記復号画像データのプリフェッチにより,前記プリフェッチメモリに読み込まれる画像処理装置。上記の通り,画像データの容量の増大に伴い,フレームメモリには大容量の外部メモリ,例えばSDRAMが使用される。そして,上述のとおり,符号化装置では,原画や参照画をフレームメモリから読み出しながら符号化処理を行うとともに,原画をフレームメモリから読み出して表示装置に出力する。また,復号装置では,参照画をフレームメモリから読み出しながら復号処理を行って復号画を生成するとともに,その復号画をフレームメモリから読み出して表示装置に出力する。しかしながら,フレームメモリをSDRAMなどの外部メモリで構成した場合,外部メモリからの大容量の画像データの読み出しまたは読み込み動作が頻繁に発生する。したがって,外部メモリであるSDRAMの帯域の増大を招く。さらに,外部メモリは,一般にメインメモリとして使用されて画像データ以外のデータも記憶しているので,符号化装置や復号装置以外からもアクセスもあり,動画像の画像処理装置により,ますますSDRAMの帯域の増大を招く。SDRAMの帯域の増大は,SDRAMの個数を増加させたり,同期クロックの周波数を高くしたりすることにつながり,マザーボードの大規模化や消費電力の増大といった問題を招く。そこで,本発明の目的は,フレームメモリの帯域を抑制した画像処理装置を提供することにある。実施の形態の第1の側面は,フレームメモリにアクセス可能な画像処理装置であって,原画像データを入力する入力部と,前記原画像データを符号化処理して符号化データを生成すると共に,前記符号化データを復号処理して復号画像データを生成し前記フレームメモリに格納する符号化処理部と,前記フレームメモリ内の復号画像データの一部を参照画像データとして格納するプリフェッチメモリと,前記フェッチメモリ内の参照画像データを出力する出力部とを有し,前記符号化処理部は,前記出力部の前記参照画像データの出力タイミングに対応して,前記フレームメモリ内の復号画像データの一部を読み出して前記プリフェッチメモリ内の参照画像データを更新しながら,前記原画像データと前記プリフェッチメモリから読み出した参照画像データとに基づいて前記符号化処理を行う。第1の側面によれば,符号化処理または復号処理の過程でプリフェッチメモリに格納した復号画を出力するので,フレームメモリからの画像データの読み出し頻度が抑制される。[第1の実施の形態符号化用画像処理装置]図1は,第1の実施の形態における符号化用の画像処理装置の構成図である。画像処理装置100は,例えばワンチップのLSIで構成され,SDRAMなどの外部メモリ200にアクセス可能である。また,第1の実施の形態では,画像圧縮されたストリームデータは,時間的に前のピクチャを参照し後のピクチャは参照しないIピクチャとPピクチャを有し,時間的に後のピクチャも参照するBピクチャは有しない例である。符号化用の画像処理装置100は,イメージセンサなどで取得した原画の入力信号10を入力する入力部102と,原画を符号化して符号化データであるストリームデータ20を生成する符号化処理部104と,符号化処理中に参照される参照画16を外部メモリ200からプリフェッチして格納するプリフェッチメモリ110と,LCD等の出力装置用端子や,HDM端子に出力画28を出力する出力部106と,ストリームデータ30をメモリカード等に出力するストリーム出力部112とを有する。更に、画像処理装置100は,外部バス114を介して外部メモリ200へのメモリアクセスを制御するメモリコントローラ108と,装置内の全体の制御を行う制御部111とを有する。画像処理装置100内のプリフェッチメモリ110は,例えば,SRAM等のアクセス時間は高速ではあるが,記憶容量に一定の限りがあるメモリである。従って、符号化処理部104は,外部メモリ200に比較すると,プリフェッチメモリ110内の画像データを高速に読み出すことができる。一方,外部メモリ200は,SDRAM等の大容量のメモリであり,入力された原画原画像データを格納する原画用フレームメモリと,符号化処理部104が生成したIピクチャやPピクチャなどの復号画復号画像データ18を格納する復号画用フレームメモリと,ストリームデータ20を格納するストリームバッファとを有する。外部メモリ200は,システム内の他の装置からもアクセスされるので,画像処理装置100からのアクセス時間はそれほど高速ではない。画像処理装置100の概略的な動作は次の通りである。入力部102は,入力した原画12を,メモリコントローラ108を介して外部メモリ200内の原画用フレームメモリに格納する。符号化処理部104は,外部メモリ200内の原画14をメモリコントローラ108経由で読み出して,原画について符号化処理を行い,符号化データであるストリームデータ20を生成する。この符号化処理は,符号化処理のタイミングに合わせてフレームメモリからプリフェッチメモリ110に読み込んでいた復号画19を,プリフェッチメモリ110から参照画16として読み出しながら,行われる。そして,符号化処理部104は,生成したストリームデータを,外部メモリ200内のストリームバッファに格納する。さらに,ストリーム出力部112は,ストリームバッファ内のストリームデータ22を読み出して,そのストリームデータ30を外部に出力する。一方,符号化処理部104は,生成した符号化データを復号して復号画を生成し,IピクチャやPピクチャの復号画18を外部メモリ200内の復号画用フレームメモリに格納する。この復号画は,ローカルデコード画像と呼ばれるもので,MPEGやH264の画像圧縮規格で定められている参照画として,他のピクチャの符号化処理で参照される。つまり,復号処理で参照する参照画も復号画であるので,符号化処理でも復号画を参照画として参照している。従って,符号化処理で生成された復号画は,一旦,復号画用フレームメモリ200に格納され,その後の符号化処理のために,プリフェッチメモリ110にプリフェッチされる。つまり,復号画と参照画は同じ画像データである。そして,符号化処理部104は,ピクチャ内の複数のブロック例えば規格上のマクロブロックの符号化処理を順番に行う。符号化処理部104は,さらに,各ブロックの符号化処理の開始時までに,インター予測モードで動きベクトルを検出するときに参照される参照画として,外部メモリ200の復号画用フレームメモリ内の復号画をプリフェッチメモリ110に読み込む。つまり,符号化処理部104は,復号画用フレームメモリから復号画をプリフェッチする。そして,符号化処理部104は,各処理ブロックの符号化処理中に,高速のプリフェッチメモリ110から復号画を参照画として読み出す。プリフェッチメモリを利用することで,外部メモリへの読み出し動作の頻度を抑制している。本実施の形態では,符号化処理部104は,外部メモリ200内の復号画フレームメモリからの復号画の読み出しの回数をできるだけ少なくして,外部メモリの帯域を抑制する。望ましくは,後述する方法により,プリフェッチメモリ110の容量を最小限にしつつ,1つのピクチャの復号処理中に,復号画の各画素の復号画フレームメモリからプリフェッチメモリへのフェッチ回数を1回に限定する。更に,第1の実施の形態における符号化用の画像処理装置110では,出力部106が,原画の代わりに,プリフェッチメモリ110内にプリフェッチされている復号画を出力画24として読み出して,外部のLCDやHDMI等の表示装置に出力する。つまり,出力部106による出力画28の出力の為に,外部メモリ内の原画フレームメモリや復号画フレームメモリから原画または復号画を読み出すことは行わない。その代わりに,符号化処理の過程でプリフェッチメモリにプリフェッチした復号画を出力部が出力する。それにより,外部メモリ200の帯域の増大を抑制することができる。したがって,外部メモリ200からの復号画の読み出しは,プリフェッチメモリ110へのプリフェッチの時しか行われず,符号化処理中にプリフェッチメモリ110にプリフェッチされる復号画は,符号化処理中に符号化処理部104からアクセスされると共に,出力部106による出力画の出力中にもアクセスされる。そして,プリフェッチメモリ110は,SRAMなどの高速メモリであるので,アクセス頻度が高くても問題は少ない。上記の通り,符号化処理中にプリフェッチメモリ110にプリフェッチされる復号画は,符号化処理中に符号化処理部104からアクセスされると共に,出力部106による出力画の出力中にもアクセスされる。一方,出力部106は,出力先の装置やインターフェイスのタイミングに応じてリアルタイムでプリフェッチメモリ内の復号画を出力しなければならない。そこで,出力部106は,出力中の出力画の位置情報26を符号化処理部104に出力し,符号化処理部104による符号化処理のタイミングに対応してプリフェッチメモリ110にプリフェッチされた復号画の保持状態が,出力部106によるプリフェッチメモリ内の復号画の出力のタイミングと整合するようにしている。図1中の原画12,14,参照画16,復号画18,19,ストリーム20,22,出力画24は,いずれもデータバスで転送され,望ましくは専用バスで転送される。さらに,符号化処理部104が,外部メモリ200内の画像データにアクセスするよりも,プリフェッチメモリ110に予め読み込まれた画像データにアクセスするほうがより高速である。また,上記のデータバスは,汎用のデータバスで構成されてもよい。そして,符号化処理部104は,復号画データを外部メモリ20からプリフェッチメモリ110にプリフェッチするために,例えばDMACと同様のアクセス制御機能を有する。図2は,第1の実施の形態におけるプリフェッチメモリに保持される復号画を示す図である。動画像の符号化では,動き予測処理のために,フレームFMを分割した1ブロックの原画の符号化処理において,1ブロックの画像よりもはるかに多くの参照画像をフレームメモリから読み出す必要がある。例えば,図2Bに示されるように,原画の処理対象ブロックと同じ位置のブロックXを中心として5×5ブロックの探索範囲BXの復号画が,探索範囲として必要されるものとする。つまり,探索範囲BXは,処理対象の1ブロックの25倍のデータ量になる。1ブロックの処理毎にその25倍の復号画をフレームメモリから読み出すとすると,1ピクチャの符号化処理のための復号画のアクセスに要する外部メモリの帯域は,1ピクチャの復号画を読み出すのに要する帯域をbとすれば,25bにもなる。あるいは,図2Cに示されるように,ブロックXを符号化処理した後,それと右隣のブロックYを符号化処理する時に,探索範囲はBXからBYに移るので,新たに必要となる探索範囲BYの右端の5ブロックの復号画をフレームメモリから読み出し,それ以外のブロックの復号画はブロックXを処理する時に読み出したものをそのまま使用すると,参照画のアクセスに要する外部メモリの帯域は,5bになる。復号処理においては以下のような問題が存在する。H264の動画圧縮規格では,1マクロブロックが16個の4×4画素のブロックに分割され,動きベクトルが小数をとることができる。H264のインター予測画像生成では,各4×4画素のブロックの処理のために,最大で9×9画素の参照画が探索範囲になる。その結果,1ピクチャの処理のための参照画をフレームメモリから読み出すのに要する帯域は,最大でb約5bになる。これらの問題を解決するために,本実施の形態では,符号化用の画像処理装置内に高速のプリフェッチメモリ110が設けられ,処理対象ブロックが参照する可能性の或る参照画が,そのブロックの処理開始までに,復号画用フレームメモリからプリフェッチメモリにプリフェッチされる。そして,そのブロックの処理中はプリフェッチメモリ内にその参照画が保持され,符号化処理部または後述する復号処理部からの参照画アクセス要求に対する参照画データは,プリフェッチメモリ110から読み出される。つまり,外部メモリ内の復号画用フレームメモリからの復号画即ち参照画の読み出しは,プリフェッチメモリ110への復号画データの充填のみに制限する。そして,プリフェッチメモリ110には,ブロックの処理時間に同期して復号画参照画を更新する。しかも,一旦復号画用フレームメモリからプリフェッチした復号画参照画は,その後のブロックの処理で参照される可能性がある間はプリフェッチメモリに保持し,新たなブロックの処理で新たに必要になる復号画参照画だけをフレームメモリからプリフェッチする。それにより,1つのピクチャの処理において,フレームメモリからプリフェッチメモリへの復号画参照画の読み出しの回数は1回に抑えられ,フレームメモリの帯域はbに抑制される。さらに,出力部106は外部装置に復号画をラスタスキャンの順番で出力する。そこで,プリフェッチメモリ内には,符号化処理や復号処理で参照される復号画参照画に加えて,処理対象のブロックに対応する復号画のブロックが属する行の全てのブロックの復号画も保持する。このようにすることで,符号化処理または復号処理の処理対象ブロックのブロック行と,出力部が出力する出力対象画素ラインのブロック行とを一致させることができる。したがって,出力部106は,符号化や復号処理中に参照されるプリフェッチメモリ内の復号画を,ラスタスキャンの画素の順番で出力することができる。特に,ピクチャがない場合には,その符号化処理や復号処理の順番と,出力部の出力の順番とが同じであるので,出力部は,符号化処理部がプリフェッチしたプリフェッチメモリ内のIピクチャやPピクチャの復号画を順番に出力することができる。この場合,出力部によるIピクチャやPピクチャの画像の出力の為に,フレームメモリの帯域を消費することはない。また,プリフェッチメモリが,符号化処理と復号処理の処理単位であるブロックと,出力部によるラスタスキャンの処理単位である画素ラインとの違い縦方向の画素数の違いを吸収しているので,出力部のためのバッファメモリを必要としない。図2Aは,上記のようにフレームメモリからプリフェッチメモリへの読み出し回数を1回に抑制するためのプリフェッチメモリに保持される復号画の例を示す。フレームピクチャFM内の複数のブロックのうち,プリフェッチメモリ110内に保持される復号画のブロックは,次の通りである。A処理対象ブロックと同じ位置のブロックXと同じ行の全てのブロックと,BX処理対象ブロックの符号化で参照される可能性のあるブロック例えば5×5ブロック,以下参照ブロック群と称すると,C参照ブロックBX内のうちブロックXより上にあるブロック群Uが属する行のブロックで且つブロック群Uより右側の全ブロックと,Dブロック群Uが属する行のブロックで且つブロック群Uより左側のブロックのうち,上から処理ブロックの高さ分を除いた領域と,E参照ブロックBX内のうちブロックXより下にあるブロック群Lが属する行のブロックで且つブロック群Lより左側の全ブロックと,Fブロック群Lが属する行のブロックで且つブロック群Lより右側のブロックのうち,下から処理ブロックの高さ分を除いた領域と,である。そして,処理対象ブロックが行方向右側に移動するたびに,参照される可能性のあるブロックBXも行方向右側に移動し,新たにブロックHがプリフェッチメモリにプリフェッチされ,ブロックGが削除される。さらに,処理対象ブロックの行が下に移動するたびに,参照される可能性のあるブロックBXも下に移動するので,新たにブロックEの下の3つのブロックがプリフェッチメモリにプリフェッチされ,ブロックCの最も右上の3つのブロックが削除される。ただし,一旦プリフェッチしたブロックABXCDEFは,その後の符号化処理で参照される可能性があるので,処理対象ブロックが移動してもプリフェッチメモリから削除されず,そのピクチャの処理中にもはや参照される可能性がなくなるまで保持され,参照の可能性がなくなったとき初めてプリフェッチメモリから削除される。つまり,上記の領域ABXCDEFは,外部メモリ200内の復号画フレームメモリからの読み出しを1回に制限できる最小のプリフェッチメモリの領域である。但し、隣接する処理ブロック間でのプリフェッチメモリ内のブロックの更新の為に,更新されるブロックHと削除されるブロックGのために,それぞれ少なくとも1ブロックまたは数ブロック分のメモリ領域が,プリフェッチメモリ内に確保されていることが好ましい。プリフェッチメモリ内への必要な参照画のプリフェッチは,処理ブロックの処理開始までに完了しておくことが求められる。したがって,プリフェッチメモリは,現在の処理ブロックの符号化処理で参照中のブロックに加えて,次の処理ブロックの符号化処理のための新たな参照ブロックを読み込むための余分のメモリ領域が必要である。削除の為のブロックも同様である。図3は,符号化処理部104の構成図である。符号化処理部104は,符号化制御部120と,原画14と参照画16とを入力してインター予測モードや動きベクトル44を生成する動き検出部122と,原画からイントラ予測モード48を決定するイントラ予測決定部124とを有する。動き検出部122は,原画の処理対象ブロックと最も類似する参照画ブロックを検出し,どのピクチャのどの位置の参照画に決定したかを示す予測モード及び動きベクトル44と,その場合の圧縮度コスト42を出力する。一方,イントラ予測決定部124は,原画の処理対象ブロックを隣接ブロックからの補間演算で求める場合の予測モード48と,その場合の圧縮度コスト42とを出力する。符号化制御部120は,インター予測モードとイントラ予測モードのコスト圧縮度を比較して,より有利なモードを決定する。そして,インター予測部123が参照画46と予測モード及び動きベクトル44に基づいて生成した予測画と,イントラ予測部125が予測モード48に基づいて生成した予測画のいずれかが,符号化制御部120が出力するイントラ/インター切替制御信号50により選択される。選択された予測画54は,減算器126により,原画14との差分を検出され,その差分データが直交変換部128により直交変換され,量子化部130で量子化され,最後に,量子化された差分データと,予測モード/ベクトル44又は予測モード48と,イントラ/インター判定結果やその他のヘッダ情報52とが,エントロピ符号部132で符号化圧縮されストリーム20が生成される。また,量子化されたデータは,逆量子化部134により逆量子化され,逆直交変換部136で逆直交変換されて差分データとなり,加算器138で,差分データと予測画54とが加算され,インループフィルタ部140によりフィルタ処理されて,復号画18が生成される。この復号画18は,後に符号化される他のピクチャのブロックの符号化処理のときに参照画として参照される。したがって,復号画18は,フレームメモリ210内に格納される。符号化制御部120は,前述したとおり,図1内の出力部106から出力位置情報26を供給され,出力位置のタイミングに整合させて,処理対象ブロックの符号化処理を行うように制御して,出力位置の復号画がプリフェッチメモリ110内に保持されるようにする。そして,プリフェッチメモリ110内にプリフェッチされた復号画が,出力画24として出力部106に出力される。図4は,第1の実施の形態における原画の入力順とその符号化処理順と復号画の出力順との関係を示す図である。本実施の形態では,IピクチャとPピクチャだけを有しBピクチャは含まれていない。原画の入力順は,IピクチャI0より時間的に前のPピクチャP2P1,それより時間的に後のPピクチャP1P6の順番である。図1で説明したとおり,符号化用の画像処理装置に入力された原画は,一旦原画用フレームメモリに格納される。そして,その原画は,1フレーム時間後または数フレーム時間後に,原画の入力順と同じ順番で符号化処理される。Iピクチャは時間的に前のピクチャを参照することなく符号化され,Pピクチャは時間的に前のPピクチャまたはIピクチャを参照して符号化される。IPピクチャの符号化処理で,時間的に後のピクチャを参照されることはない。図4内の処理順に示される矢印は参照先のピクチャの例を示している。例えば、PピクチャP1の符号化処理中には,時間的に前のIピクチャI0の復号画が参照される。この参照されるIピクチャI0の復号画はプリフェッチメモリ110内にプリフェッチされている。つまり,プリフェッチメモリ110内には,図2に示したブロックの復号画がフレームメモリからプリフェッチされ保持されている。そこで,出力部106は,そのプリフェッチメモリ内に保持されているIピクチャI0の処理対象ブロックと同じ行のブロック群図2内のブロックA内の画素データを,ラスタスキャンの順番で出力する。同様に,PピクチャP2の符号化処理中は,プリフェッチメモリ110内に保持されているPピクチャP1の復号画の画素データが出力される。IピクチャとPピクチャを有しBピクチャを有しないので,符号化処理の順番と,復号画の出力の順番とが一致しているので,出力部は,全てのIピクチャとPピクチャについて,プリフェッチメモリからそこに保持されている復号画の画素データを出力することができる。図5は,図1の符号化用の画像処理装置の動作タイミングを示す図である。横軸が時間に対応し,入力部の入力処理対象,符号化処理部の処理対象とプリフェッチメモリ内の参照画,出力部の出力対象,復号画用フレームメモリ内のプリフェッチメモリへのプリフェッチ対象,符号化処理部から復号画用フレームメモリへの書込み対象のピクチャがそれぞれ示されている。図4と同様に,入力部102の入力処理対象ピクチャは,1フレーム時間F0F6において,ピクチャI0P1P6である。そして,符号化処理部での処理対象ピクチャは,入力処理対象ピクチャより1フレーム時間遅れていて,さらに,プリフェッチメモリにプリフェッチされる参照画は,符号処理対象ピクチャより1フレーム時間遅れている。そして,出力部の出力処理対象のピクチャは,プリフェッチされる参照画のピクチャと同じである。また,プリフェッチメモリにはフレームメモリのプリフェッチ対象ピクチャがプリフェッチされ,符号化処理部で生成された復号画のピクチャはフレームメモリに書込まれる。そして,プリフェッチメモリ内にプリフェッチされている参照画が,出力部による処理対象ピクチャになる。[第1の実施の形態復号用画像処理装置]図6は,第1の実施の形態における復号用の画像処理装置の構成図である。第1の実施の形態では,ストリームデータは,IピクチャとPピクチャとで構成され,Bピクチャを有していない。したがって,図4の符号化と同様の順番で,ストリームの入力処理,復号処理,参照画のプリフェッチ処理,プリフェッチ処理内の復号画の出力処理が行われる。図6の復号用の画像処理装置300は,フレームメモリとストリームバッファを有する外部メモリ200に接続可能であり,その構成は,図1の符号化用の画像処理装置100とは,符号化処理部104に代えて復号処理部304が設けられている点で異なる。それ以外の入力部302,出力部306,プリフェッチメモリ310,メモリコントローラ308などは符号化用の画像処理装置100と同様である。復号用の画像処理装置300の動作は次の通りである。入力部302が記録媒体などからのストリームデータ60を入力し,一旦,その入力したデータ61を外部メモリ200内のストリームバッファに書込む。そして,復号処理部304は,ストリームバッファからストリームデータ62を読み出しながら,且つ,参照されるピクチャの復号画を復号画用フレームメモリからプリフェッチメモリ310にプリフェッチするとともに,プリフェッチメモリ内の復号画を参照画63として読み出し,ストリームデータを復号処理する。また,復号処理部304は,出力部306が供給する出力位置情報66に対応するブロックの符号化処理を行い,且つ,それに対応する行のブロックの復号画をプリフェッチメモリ310内に保持する様にプリフェッチメモリへのプリフェッチ動作を制御する。そして,復号処理部304は,復号したIPピクチャの復号画64を外部メモリ200内の復号画用フレームメモリに格納する。この復号画は,後で復号処理されるブロックを復号するための参照画としてプリフェッチメモリにプリフェッチされ保持される。さらに,出力部306は,プリフェッチメモリ310に保持されているピクチャの復号画を,出力画67,68として外部の表示装置などに出力する。プリフェッチメモリ内には処理対象ブロックと同じ行の全ブロックの復号画が保持されているので,出力部は,その行の復号画をラスタスキャンで出力する。図7は,復号処理部304の構成図である。復号処理部304は,図3の符号化処理部104内の符号化処理に必要な動き検出部122,イントラ予測モード決定部124,減算器126,直交変換部128,量子化部130を除いた構成図3と同じ引用文献番号を有する。また,符号化制御部120に代えて復号制御部121を,エントロピ符号化部132に代えてエントロピ復号部133をそれぞれ有する。復号処理部304は,符号化されたストリームデータ60を入力し,エントロピ復号部133は,ストリームデータをエントロピ復号し,逆量子化部134が逆量子化し,逆直交変換部136が逆直交変換して,誤差信号を生成する。一方,エントロピ復号されたストリームデータ内には予測モードと動きベクトル情報44,48と,イントラ/インター判定結果52などが含まれている。復号制御部121は,画像処理装置内の制御部からピクチャタイプ情報67を供給され,イントラ/インター判定結果52に基づき,イントラ/インター切替制御信号50により,インター予測部123が生成する予測画か,イントラ予測部125が生成する予測画かのいずれかを選択する。そして,加算器138が,選択された予測画54と誤差信号とを加算して復号画を生成する。最後にインループフィルタ部140によりインループフィルタ処理が行われて,復号画18が生成され,フレームメモリ210に書込まれる。符号化制御部121は,復号対象ピクチャと復号対象ブロックとに応じて,フレームメモリ210から参照される可能性のある復号画をプリフェッチメモリ110にプリフェッチしながら,インター予測部123がプリフェッチメモリ110内の復号画から動きベクトルに対応した参照画を読み出して,予測画を生成する。また,イントラ予測部125は,復号対象ピクチャの復号対象ブロック内の予測画を,周囲の画素データの補間処理により生成して予測画を生成する。上記の復号画を生成する処理は,符号化処理部104の処理と同様である。図8は,図6の復号用画像処理装置の動作タイミングを示す図である。横軸が時間に対応し,入力部の入力処理対象,復号処理部の処理対象とプリフェッチメモリ内の参照画,出力部の出力対象,復号画用フレームメモリ内のプリフェッチメモリへのプリフェッチ対象,復号処理部から復号画用フレームメモリへの書込み対象のピクチャがそれぞれ示されている。図4と同様に,入力部102の入力処理対象ピクチャは,1フレーム時間F0F6において,ピクチャI0P1P6である。そして,復号処理部での処理対象ピクチャは,入力処理対象ピクチャより1フレーム時間遅れていて,さらに,プリフェッチメモリにプリフェッチされる参照画は,符号処理対象ピクチャより1フレーム時間遅れている。そして,出力部の出力処理対象のピクチャは,プリフェッチされる参照画のピクチャと同じである。また,プリフェッチメモリにはフレームメモリのプリフェッチ対象ピクチャの復号画がプリフェッチされ,復号処理部で生成された復号画のピクチャはフレームメモリに書込まれる。そして,プリフェッチメモリ内にプリフェッチされている参照画復号画が,出力部による処理対象ピクチャになる。図6の復号用画像処理装置300においても,符号化用画像処理装置と同様に,プリフェッチメモリ310にプリフェッチされ保持される復号画のブロックは,復号画用フレームメモリからの読み出し回数が1回だけであり,且つ,プリフェッチメモリの容量を最小限にできるように,図2に示されたブロックの復号画がプリフェッチされ保持され,更新される。そして,出力部の出力位置に対応して,復号処理部が復号対象ブロックとプリフェッチメモリ内の復号画を制御することで,出力部は,フレームメモリからではなく,プリフェッチメモリから復号画を出力することができる。これにより,フレームメモリの読み出し回数を抑制し,外部メモリの帯域を抑制することができる。[第2の実施の形態符号化用画像処理装置]第2の実施の形態では,IPピクチャに加えて時間的に後のピクチャを参照するBピクチャを有する符号化モードに対応する。Bピクチャが含まれる場合は,後述するとおり,Bピクチャの符号化処理を時間的に後のIPピクチャの処理の後で行うため,符号化処理のピクチャの順番が,表示装置に出力される画像のピクチャ順と異なる。そこで,第2の実施の形態の符号化用画像処理装置は,IPピクチャの出力画は,プリフェッチメモリ内の復号画を出力し,Bピクチャの出力画は,符号化処理部が生成する復号画を出力する。このようにすることで,復号画用フレームメモリからの読み出し回数を1回に制限しながら,出力先の表示装置に対応したピクチャ順に復号画を出力することができる。図9は,第2の実施の形態における符号化用の画像処理装置の構成図である。図1の符号化用の画像処理装置と同じ引用番号が与えられている。図9において,図1の構成と異なる構成は,符号化処理部104がBピクチャの符号化処理においてストリームデータを復号してBピクチャの復号画を生成し,出力部106が,その生成されるBピクチャの復号画をバッファメモリ114を介して外部に出力画として出力することである。また,IピクチャとPピクチャについては,図1と同様に,出力部106がプリフェッチメモリ110内に保持されている参照画復号画を出力する。このように,出力部106は,IPピクチャが符号化処理中はプリフェッチメモリ110内にプリフェッチされて保持されている参照画復号画を出力し,Bピクチャが符号化処理中は符号化処理部104が生成するBピクチャの復号画を出力する。したがって,制御部111は,符号化処理部104に対してどのピクチャタイプを符号化すべきかのピクチャタイプ情報を与えるとともに,スイッチSW1に対してどちらのピクチャタイプの復号画をプリフェッチメモリ内のIPピクチャか,バッファメモリ114内のBピクチャか出力すべきかのピクチャタイプ情報28を与える。また,符号化処理部104は,バッファメモリ114を有し,符号化処理部104が符号化処理の過程で生成するBピクチャの復号画17は,バッファメモリ114を介して出力部106から出力される。このバッファメモリ114は,出力部106のラスタスキャンの出力タイミングと符号化処理部104のBピクチャの復号画の生成タイミングとの間をバッファリングする。それ以外の構成は,図1と同様である。また,符号化処理部104は,図3と同じ構成である。図10は,第2の実施の形態における原画の入力順とその符号化処理順と復号画の出力順との関係を示す図である。本実施の形態では,IピクチャとPピクチャとBピクチャが含まれている。原画の入力順は,IピクチャI2より時間的に前のBピクチャB0B1,そしてIピクチャI2それより時間的に後のBピクチャB3B4PピクチャP5,BピクチャB6B7そしてPピクチャP8の順番である。図1と同様に,符号化用の画像処理装置に入力された原画は,一旦原画用フレームメモリに格納される。そして,次の1フレーム時間後に,IピクチャとPピクチャとは原画の入力順と同じ順番で符号化処理が行われるが,Bピクチャは,時間的に後のIピクチャやPピクチャを参照するので,参照する可能性のある時間的に後のIPピクチャの処理の後に符号化処理が行われる。図10内の処理順に示される矢印は参照先のピクチャの例を示している。例えば,BピクチャB3,B4は時間的に前のIピクチャI2と時間的に後のPピクチャP5を参照している。しかし,処理の順番は,PピクチャP5が符号化された後に,BピクチャB3B4がIピクチャI2とPピクチャP5とを参照して符号化処理される。一方,PピクチャP5,P8は,時間的に前のIPピクチャI2P5をそれぞれ参照して符号化処理される。このように,符号化モードにBピクチャが含まれると,符号化処理の順番が画像の出力順とは異なる。そこで,第2の実施の形態では,IPピクチャについては,それを参照するIPピクチャの符号化処理中に,プリフェッチメモリにプリフェッチされ保持される復号画を出力画として出力し,Bピクチャについては,それの符号化処理中に符号化と同時に生成される復号画を出力画として出力する。なお,本実施の形態では,Bピクチャは参照されることはないので,Bピクチャの復号画はフレームメモリに書込まれない。図10の例では,出力順に示されるとおり,IピクチャI2については,PピクチャP5が符号化処理中にプリフェッチメモリ内のプリフェッチされている復号画を出力画とし,次のBピクチャB3B4については,それらが符号化処理中に生成される復号画を出力画とする。さらに,次のIピクチャP5については,PピクチャP8が符号化処理中にプリフェッチメモリにプリフェッチされている復号画を出力画とする。その結果,出力順I2B3B4P5は,入力順と同じである。図11は,第2の実施の形態における符号化用の画像処理装置の動作タイミングを示す図である。図中,入力部による入力対象ピクチャの順番と,符号化処理部の処理対象ピクチャの順番と,出力部の出力対象ピクチャの順番は,図10と同じである。図11には,さらに,各ピクチャの符号化処理中に参照されるプリフェッチメモリ内のピクチャ参照画1,2と,フレームメモリからプリフェッチメモリへの復号画のプリフェッチ動作上向き矢印と,符号化処理部からフレームメモリへの復号画の書込み動作下向き矢印と,出力部によるピクチャの出力下向き矢印とが示されている。例えば、1フレーム時間F4において,PピクチャP5が符号化処理対象となるとき,フレームメモリからIピクチャI2の復号画がプリフェッチメモリ参照画1にプリフェッチされ,符号化処理で生成されたPピクチャP5の復号画はフレームメモリに書込まれると共に,そのIピクチャI2の復号画が出力対象ピクチャとなる。次の1フレーム時間F5において,BピクチャB3が符号化処理対象となるとき,フレームメモリからはIピクチャI2とPピクチャP5の復号画が参照画1,2としてプリフェッチメモリにプリフェッチされる。そして,符号化処理されているBピクチャB3が出力対象ピクチャとなり,符号化処理で生成されたBピクチャB3の復号画はバッファメモリ114を経由して出力部から出力される。BピクチャB3の復号画は,後に参照されないので,フレームバッファには書込まれない。上記のBピクチャB3が符号化処理される1ピクチャ期間F5と,そのBピクチャB3の復号画が出力される1ピクチャ時間F5とは同じである。ただし,符号化処理はブロック順に行われるが,出力処理は画素のラスタスキャン順である。したがって,前述のとおり,それらのタイミングの違いを吸収する為に,バッファメモリ114が設けられている。次の1フレーム時間F6においては,BピクチャB4が符号化処理対象となり,BピクチャB3と同様に処理される。図示していないが,次の1フレーム時間では,PピクチャP8が符号化処理対象となり,フレームメモリからプリフェッチメモリにプリフェッチされるPピクチャP5が出力対象となる。以上の通り,第2の実施の形態では,符号化用の画像処理装置において,IPピクチャについてはプリフェッチメモリにプリフェッチされる復号画を出力画として出力し,IPピクチャの間のBピクチャについては,符号化処理中に生成される復号画を出力画として出力する。それにより,表示装置などの表示の順でIPピクチャとBピクチャとを出力することができる。しかも,出力部の出力動作のためにフレームメモリから画像データを読み出す必要はなく,符号化処理中に行われるフレームメモリからプリフェッチメモリへの復号画の読み出しを利用して,復号画を出力することができる。その結果,フレームメモリからの読み出し回数を抑制し,外部メモリの帯域を抑制することができる。[第2の実施の形態復号用画像処理装置]第2の実施の形態では,復号用の画像処理装置も,IPピクチャとBピクチャの復号処理順と,出力順とが異なるので,IPピクチャの出力画として,参照画としてプリフェッチメモリにプリフェッチして保持されている復号画を利用し,Bピクチャの出力画は,復号処理で生成される復号画を利用する。図12は,第2の実施の形態における復号用の画像処理装置の構成図である。図6の復号用の画像処理装置と同じ引用番号が与えられている。図12において,図6の構成と異なる構成は,復号処理部304がBピクチャのストリームデータを復号してBピクチャの復号画を生成し,出力部106が,その生成されたBピクチャの復号画をバッファメモリ314を介して外部に出力画として出力することである。また,IピクチャとPピクチャのストリームデータについては,図6と同様に,出力部306が,時間的に後のIPピクチャを復号するときにプリフェッチメモリ110内に保持されているIPピクチャの参照画復号画を出力する。このように,出力部306は,IPピクチャが復号処理中はプリフェッチメモリ310内にプリフェッチされて保持されているIPピクチャの参照画復号画を出力し,Bピクチャが符号化処理中は復号処理部304が生成するBピクチャの復号画を出力する。したがって,制御部311は,復号処理部304に対してどのピクチャタイプを符号化すべきかのピクチャタイプ情報67を与えるとともに,スイッチSW3に対してどちらのピクチャタイプの復号画をプリフェッチメモリ310内のIPピクチャか,バッファメモリ314内のBピクチャか出力すべきかのピクチャタイプ情報68を与える。それ以外の構成は,図1と同様である。また,復号処理部304は,図7と同じ構成である。復号処理の場合において,入力されるピクチャの順番と,復号処理の順番と,復号処理中の参照先ピクチャと,出力の順番とは,符号化処理について示した図10と同じである。図13は,第2の実施の形態における復号用の画像処理装置の動作タイミングを示す図である。図中,入力部による入力対象ピクチャの順番と,復号処理部の処理対象ピクチャの順番と,出力部の出力対象ピクチャの順番は,図10と同じである。図13には,さらに,各ピクチャの復号処理中に参照されるプリフェッチメモリ内のピクチャ参照画1,2と,フレームメモリからプリフェッチメモリへのプリフェッチ動作上向き矢印と,復号処理部からフレームメモリへの書込み動作下向き矢印と,出力部によるピクチャの出力下向き矢印とが示されている。例えば、1フレーム時間F4において,PピクチャP5が復号処理対象となるとき,フレームメモリからIピクチャI2の復号画がプリフェッチメモリ参照画1にプリフェッチされ,そのIピクチャI2が出力対象ピクチャとなり,復号処理で生成されたPピクチャP5の復号画はフレームメモリに書込まれる。次の1フレーム時間F5において,BピクチャB3が符号化処理対象となるとき,フレームメモリ内のIピクチャI2とPピクチャP5の復号画が,参照画1,2としてプリフェッチメモリにプリフェッチされる。そして,復号処理されているBピクチャB3の復号画が出力対象ピクチャとなり,復号処理で生成されたBピクチャB3の復号画はバッファメモリ114を経由して出力部から出力される。BピクチャB3の復号画は,後に参照されないので,フレームバッファには書込まれない。上記のBピクチャB3が復号処理される1ピクチャ期間F5と,そのBピクチャB3の復号画が出力される1ピクチャ時間F5とは同じである。ただし,復号処理はブロック順に行われるが,出力処理は画素のラスタスキャン順である。したがって,それらのタイミングの違いを吸収する為に,バッファメモリ314が設けられている。次の1フレーム時間F6においては,BピクチャB4が復号処理対象となり,BピクチャB3と同様に処理される。図示していないが,次の1フレーム時間では,PピクチャP8が復号処理対象となり,フレームメモリからプリフェッチメモリにプリフェッチされるPピクチャP5が出力対象となる。以上の通り,第2の実施の形態では,復号用の画像処理装置において,IPピクチャについてはプリフェッチメモリにプリフェッチされる復号画を出力画として出力し,IPピクチャの間のBピクチャについては,復号処理中に生成される復号画を出力画として出力する。それにより,表示装置などの表示の順でIPピクチャとBピクチャとを出力することができる。しかも,出力部の出力動作のためにフレームメモリから画像データを読み出す必要はなく,復号処理中に行われるフレームメモリからプリフェッチメモリへの復号画の読み出しを利用して,復号画を出力することができる。その結果,フレームメモリからの読み出し回数を抑制し,外部メモリの帯域を抑制することができる。[第3の実施の形態インループフィルタ処理を改良した符号化用画像処理装置]第3の実施の形態では,符号化処理部が,複数の画素を有するブロックの単位で符号化処理を行い,符号化処理の時に生成した復号画像データのブロックの周縁画素データを隣接するブロックの周縁画素データとでインループフィルタ処理を行う。このインループフィルタ処理を行う理由は,ブロック毎に符号化することで,ブロック毎の符号化の違いに起因するブロックノイズが復号画に生成されるので,それをフィルタ処理により除去するためである。そこで,第2の実施の形態でBピクチャの復号画をバッファリングするバッファメモリ114内に,インループフィルタ処理に使用する隣接ブロックの周縁画素データを一時的に格納し,符号化処理部内のインループフィルタ処理部がバッファメモリ114に一時的に格納した隣接ブロックの周縁画素データを読み出してインループフィルタ処理を行う。そして,フィルタ処理で必要がなくなって初めて復号画をフレームメモリに格納する。これにより,フレームメモリからの再読込を行わなくすることができる。図14は,第3の実施の形態における符号化用の画像処理装置の構成図である。図9の画像処理装置と異なる構成は,バッファメモリ114には,符号化処理部104からの書込信号線wに加えて読み出し信号線rが設けられている点である。それ以外の構成は,図9と同じである。図15は,第3の実施の形態における符号化処理部とバッファメモリとの構成を示す図である。図15において図3の構成と異なる点は,インループフィルタ部140とバッファメモリ114との間に,書込信号線wに加えて読み出し信号線rが設けられている点である。それ以外の構成は,図3と同様である。インループフィルタ部140では,加算器138が,逆直交変換部136が生成する差分信号136Eと,インター予測部またはイントラ予測部が生成する予測画像54とを加算して,復号画138Dを生成する。ただし,この復号画138Dにはブロックノイズが含まれているので,インループフィルタ部140が,復号画138Dとすでに復号されてバッファメモリ114に一時的に格納していた隣接ブロックの復号画18Cを読み出し線r経由で読み出し,フィルタ処理を行う。インループフィルタ部140でフィルタ処理された復号画18のうち,再度フィルタ処理に利用される復号画18Bを除いた復号画18Aがフレームメモリ210に格納され,再度フィルタ処理に利用される復号画18Bはバッファメモリ114に一時的に格納する。再度フィルタ処理に利用されることがなくなれば,バッファメモリ114内の復号画はフレームメモリ210に格納される。図16,図17は,H264におけるインループフィルタ処理を説明する図である。また以降の説明もH264のインループフィルタ処理についてである。H264の1ピクチャに対するインループフィルタ処理は,マクロブロック縦横各々16画素の矩形領域毎に定義された処理をラスタスキャン順に行うものとして定義されている。ラスタスキャン順とは,図16Aに示されるとおり,行方向にマクロブロックMBKを0からn1まで処理し,次に,次の行のマクロブロックMBKをnから2n1まで処理し,その後の同様の順番で処理順である。一方,1マクロブロックの処理は,各ブロックエッジに対する処理を規定のブロックエッジ順序で行うものとして定義されている。このブロックエッジ順序を図17のステップ1~8で示す。SASBに示したステップ1~4はマクロブロック内の垂直エッジ群1マクロブロックで64個に対する処理であり,太線はそのステップで処理対象となる16個の垂直エッジを,斜線部はそのステップの処理によって上書きされる画素横8画素,縦16画素の領域を示す。同様にSCSDに示したステップ5~8はマクロブロック内の水平エッジ群1マクロブロックで64個に対する処理であり,太線はそのステップで処理対象となる16個の水平エッジを,斜線部はそのステップの処理によって上書きされる画素横16画素,縦8画素の領域を示す。図16Bは,ある垂直エッジVEに対するフィルタ処理,及び,ある水平エッジHEに対するフィルタ処理をそれぞれ示す。垂直エッジに対するフィルタ処理では,処理対象エッジの左側4画素PX斜線の画素と,右側の4画素PX斜線の画素を入力としたフィルタ処理が行われ,これらの8画素の値が上書きされる。一方,水平エッジに対するフィルタ処理では,処理対象エッジの上側4画素PX斜線の画素と,下側の4画素PX斜線の画素を入力としたフィルタ処理が行われ,これらの8画素の値が上書きされる。このように1マクロブロックにおけるインループフィルタでは処理対象マクロブロックの左に隣接するインループフィルタ処理済みマクロブロックの右端から4画素,高さ16画素の領域がSAのステップ1で使用され,上側に隣接するインループフィルタ処理済みマクロブロックの下端から4画素,幅16画素の領域の領域がSCのステップ5で使用される。つまり,あるマクロブロックに対するインループフィルタ処理後,右端から4画素は,右隣のマクロブロックにおけるインループフィルタ処理で使用される。この領域はデータ量が少なく,かつ次のマクロブロック処理において使用されるためインループフィルタ部内で保持されることが一般的である。同様に下端から4画素は下隣のマクロブロックにおけるインループフィルタ処理で使用される。この画素を下のマクロブロックで処理されるまで保持する場合,保持される領域の高さは4画素であるが,幅は画面の横幅と等しくなるため大きなデータ量となる。このため,インループフィルタ部では保持されず,バッファメモリ114に保持され,再度インループフィルタ処理で使用される際はバッファメモリからインループフィルタ処理部へ読みだされて使用される。このように,インループフィルタ部140において,フィルタ処理された復号画のうち,再度フィルタ処理で読み出される必要のある復号画18Bはバッファメモリ114に格納され,必要のない復号画18Aはフレームメモリ210に格納される。そして,後続のフィルタ処理のために,バッファメモリ114に一旦格納された復号画18Bが,再度インループフィルタ処理部140により読み出され,フィルタ処理に利用される。[第3の実施の形態インループフィルタ処理を改良した復号用画像処理装置]図18は,第3の実施の形態における復号用の画像処理装置の構成図である。図12の画像処理装置と異なる構成は,バッファメモリ314には,復号処理部304からの書込信号線wに加えて読み出し信号線rが設けられている点である。それ以外の構成は,図12と同じである。図19は,第3の実施の形態における復号処理部とバッファメモリとの構成を示す図である。図19において図7の構成と異なる点は,インループフィルタ部140とバッファメモリ314との間に,書込信号線wに加えて読み出し信号線rが設けられている点である。それ以外の構成は,図7と同様である。そして,上記の符号化用の画像処理装置と同様に,この復号用の画像処理装置においても,インループフィルタ部140でフィルタ処理された復号画のうち,再度フィルタ処理で読み出される必要のある復号画18Bはバッファメモリ314に格納され,必要のない復号画18Aはフレームメモリ210に格納される。そして,後続のフィルタ処理のために,バッファメモリ314に一旦格納された復号画18Bが,再度インループフィルタ処理部140により読み出され,フィルタ処理に利用される。これにより,フレームメモリからの読み出し回数を減らすことができる。[第4の実施の形態]図20は,第4の実施の形態における符号化用の画像処理装置の構成図である。この画像処理装置は,第3の実施の形態の符号化用画像処理装置を例にして,上記の第1,第2,第3の実施の形態の変形例を示している。図20の画像処理装置では,プリフェッチメモリ110には,参照される全ての参照画を格納するのではなく,参照される可能性の高い領域のブロックと出力部によりラスタスキャンされる処理対象ブロックの属する行ブロックを格納する。したがって,符号化処理部104による符号化処理で参照される参照画が必ずしもプリフェッチメモリ110内に格納されていない場合が想定され,その場合は,符号化処理部104は,メモリコントローラ108を介して外部メモリ200内の復号画のフレームメモリから参照画17をフェッチする。そのために,図14の構成と異なり,参照画17の専用バスを有する。以上のとおり,本実施の形態の画像処理装置では,出力部から外部に出力する画像をプリフェッチメモリ内に格納され参照画として符号化処理部や復号処理部により参照される復号画から出力することで,出力のために外部メモリ内のフレームメモリへの読み出し動作を抑制することができる。以上の実施の形態をまとめると,次の付記のとおりである。付記1フレームメモリにアクセス可能な画像処理装置であって,原画像データを入力する入力部と,前記原画像データを符号化処理して符号化データを生成すると共に,前記符号化データを復号処理して復号画像データを生成し前記フレームメモリに格納する符号化処理部と,前記フレームメモリ内の復号画像データの一部を参照画像データとして格納するプリフェッチメモリと,前記フェッチメモリ内の参照画像データを出力する出力部とを有し,前記符号化処理部は,前記出力部の前記参照画像データの出力タイミングに対応して,前記フレームメモリ内の復号画像データの一部を読み出して前記プリフェッチメモリ内の参照画像データを更新しながら,前記原画像データと前記プリフェッチメモリから読み出した参照画像データとに基づいて前記符号化処理を行う画像処理装置。付記2付記1において,前記原画像データは,後方参照画像データを参照しないで符号化される第1のピクチャと,前記後方参照画像データを参照して符号化される第2のピクチャとを有し,前記出力部は,前記第1のピクチャに対応する第1の復号画像データとして前記プリフェッチメモリ内の参照画像データを出力し,前記第2のピクチャに対応する第2の復号画像データとして前記符号化処理部が生成する復号画像データを出力する画像処理装置。付記3付記2において,さらに,前記符号化処理部が生成する第2の復号画像データを一時的に格納するバッファメモリを有し,前記符号化処理部は,前記第2の復号画像データを前記バッファメモリに格納し,前記第1の復号画像データを前記フレームバッファに格納し,前記出力部は,前記第2の復号画像データを前記バッファメモリから読み出して出力する画像処理装置。付記4付記3において,前記符号化処理部は,複数の画素を有するブロックの単位で前記符号化処理を行い,復号画像データのブロックの周縁画素データを隣接するブロックの周縁画素データとでインループフィルタ処理を行い,前記バッファメモリは,前記第2の復号画像データに加えて,前記インループフィルタ処理の対象となる前記隣接するブロックの復号画像データも格納し,前記符号化処理部は,前記バッファメモリから前記復号画像データを読み出して,インループフィルタ処理を行う画像処理装置。付記5フレームメモリにアクセス可能な画像処理装置であって,原画像データを符号化した符号化データを入力する入力部と,前記符号化データを復号処理して復号画像データを生成すると共に,前記復号画像データを前記フレームメモリに格納する復号処理部と,前記フレームメモリ内の復号画像データの一部を参照画像データとして格納するプリフェッチメモリと,前記フェッチメモリ内の参照画像データを出力する出力部とを有し,前記復号処理部は,前記出力部の出力タイミングに対応して,前記フレームメモリ内の復号画像データの一部を読み出して前記プリフェッチメモリ内の参照画像データを更新しながら,前記入力した符号化データと前記プリフェッチメモリから読み出した参照画像データとに基づいて前記復号処理を行う画像処理装置。付記6付記5において,前記原画像データは,後方参照画像データを参照しないで符号化される第1のピクチャと,前記後方参照画像データを参照して符号化される第2のピクチャとを有し,前記出力部は,前記第1のピクチャに対応する第1の復号画像データとして前記プリフェッチメモリ内の参照画像データを出力し,前記第2のピクチャに対応する第2の復号画像データとして前記符号化処理部が生成する復号画像データを出力する画像処理装置。付記7付記6において,さらに,前記復号処理部が生成する前記第2の復号画像データを一時的に格納するバッファメモリを有し,前記復号処理部は,前記第2の復号画像データを前記バッファメモリに格納し,前記第1の復号画像データを前記フレームバッファに格納し,前記出力部は,前記第2の復号画像データを前記バッファメモリから読み出して出力する画像処理装置。付記8付記7において,前記復号処理部は,複数の画素を有するブロックの単位で前記復号処理を行い,復号画像データのブロックの周縁画素データを隣接するブロックの周縁画素データとでインループフィルタ処理を行い,前記バッファメモリは,前記第2の復号画像データに加えて,前記インループフィルタ処理の対象となる復号画像データも格納し,前記符号化処理部は,前記バッファメモリから復号画像データを読み出して,インループフィルタ処理を行う画像処理装置。付記9付記2または6において,前記原画像データは,少なくとも時間的に前後する前方及び後方の前記第1のピクチャと,当該前方及び後方の第1のピクチャの間の時間に位置する前記第2のピクチャとを有し,前記出力部は,前方の第1のピクチャを参照して前記後方の第1のピクチャを符号化または復号する時に,前記プリフェッチメモリ内の前記前方の第1のピクチャに対応する第1の復号画像データを出力し,その後,前記後方の第1のピクチャを参照して前記第2のピクチャを符号化または復号する時に,前記符号化または復号処理部が生成する前記復号画像データを出力する画像処理装置。付記10付記2または6において,前記符号化または復号処理部は,処理対象ブロック毎に順番に前記符号化処理または復号処理を行い,前記プリフェッチメモリは,前記処理対象ブロックが前記符号化処理または復号処理されるブロック処理時間中,少なくとも,前記符号化処理または復号処理中に前記処理対象ブロックについて参照される参照ブロックの第1の復号画像データと,フレーム内の前記処理対象ブロックと同じ行内に位置する同行ブロックであって前記出力部により読み出される同行ブロックの第2の復号画像データとを格納し,前記プリフェッチメモリは,前記ブロック処理時間に同期して,前記参照ブロックの第1の復号画像データと前記同行ブロックの第2の復号画像データとを更新し,1つのフレーム内の複数の処理対象ブロックが前記符号化処理または復号処理されるフレーム処理時間中に参照される前記プリフェッチメモリ内の参照画像データは,前記フレームメモリから前記プリフェッチメモリへの前記復号画像データのプリフェッチにより,前記プリフェッチメモリに読み込まれる画像処理装置。付記11付記10において,前記プリフェッチメモリ内に読み込まれた前記第1及び第2の復号画像データは,後続の前記符号化処理または復号処理で参照される間は保持され,参照されなくなると破棄される画像処理装置。付記12付記10において,前記フレームメモリから前記プリフェッチメモリへの前記復号画像データのプリフェッチは,1フレームの処理時間の間に1回のみ行われる画像処理装置。"