(57)【特許請求の範囲】
【請求項１】
入力画像が分割され振り分けられた分割画像に対し、細分化した処理単位で、並列して符号化処理を行い、且つ当該符号化処理のフレーム内予測及びフレーム間予測で用いる分割局部復号画像を生成する複数の符号化処理部を備えた画像符号化装置において、
前記符号化処理部は、
隣接する前記分割局部復号画像を生成する他の前記符号化処理部のうち、隣接する境界面間においてフィルタ処理が自身が設けられた前記符号化処理部よりも遅くに実施される前記符号化処理部へ、当該自身が設けられた前記符号化処理部の当該境界面における特定領域の画素である境界面画素のフィルタ処理に関するデータを送信し、他の前記符号化処理部からの前記データを受信するデータ送受信部と、
前記データ送受信部により受信されたデータを用い、前記分割局部復号画像及び前記境界面画素のフィルタ処理を行うループフィルタ部と、
フィルタ処理後の前記境界面画素を示すデータを、当該境界面画素の送信元の前記符号化処理部間で再送受信し、再受信したデータを用いてフィルタ処理後の前記分割局部復号画像の画素を置き換えてフレーム間予測で用いる画像とするデータ再送受信部とを備えた
ことを特徴とする画像符号化装置。
【請求項２】
前記入力画像は垂直方向に分割され、
前記データ送受信部は、フィルタ処理前の前記分割局部復号画像の上端の前記境界面画素、当該境界面画素のフィルタ処理を行う際に用いる参照画素及び符号化パラメータを示すデータを、上側の前記分割局部復号画像を生成する前記符号化処理部に送信する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記入力画像は水平方向に分割され、
前記データ送受信部は、フィルタ処理前の前記分割局部復号画像の左端の前記境界面画素、当該境界面画素のフィルタ処理を行う際に用いる参照画素及び符号化パラメータを示すデータを、左側の前記分割局部復号画像を生成する前記符号化処理部に送信する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記画像は格子状に分割され、
前記データ送受信部は、フィルタ処理前の前記分割局部復号画像の上端、左端及び左上の前記境界面画素、当該境界面画素のフィルタ処理を行う際に用いる参照画素及び符号化パラメータを示すデータを、上側、左側及び左上側の前記分割局部復号画像を生成する前記符号化処理部にそれぞれ送信する
ことを特徴とする請求項１記載の画像符号化装置。
【請求項５】
入力画像が分割され振り分けられた分割画像に対して細分化された処理単位で並列に符号化され多重化された符号化データが分割されて振り分けられた分割符号化データに対し、並列して復号処理を行い、且つ当該復号処理のフレーム内予測及びフレーム間予測で用いる分割復号画像を生成する複数の復号処理部を備えた画像復号装置において、
前記復号処理部は、
隣接する前記分割復号画像を生成する他の前記復号処理部のうち、隣接する境界面間においてフィルタ処理が自身が設けられた前記復号処理部よりも遅くに実施される前記復号処理部へ、当該自身が設けられた前記復号処理部の当該境界面における特定領域の画素である境界面画素のフィルタ処理に関するデータを送信し、他の前記復号処理部からの前記データを受信するデータ送受信部と、
前記データ送受信部により受信されたデータを用い、前記分割復号画像及び前記境界面画素のフィルタ処理を行うループフィルタ部と、
フィルタ処理後の前記境界面画素を示すデータを、当該境界面画素の送信元の前記復号処理部間で再送受信し、再受信したデータを用いてフィルタ処理後の前記分割復号画像の画素を置き換えてフレーム間予測で用いる画像とするデータ再送受信部とを備えた
ことを特徴とする画像復号装置。
【請求項６】
前記入力画像は垂直方向に分割され、
前記データ送受信部は、フィルタ処理前の前記分割復号画像の上端の前記境界面画素、当該境界面画素のフィルタ処理を行う際に用いる参照画素及び符号化パラメータを示すデータを、上側の前記分割復号画像を生成する前記復号処理部に送信する
ことを特徴とする請求項５記載の画像復号装置。
【請求項７】
前記入力画像は水平方向に分割され、
前記データ送受信部は、フィルタ処理前の前記分割復号画像の左端の前記境界面画素、当該境界面画素のフィルタ処理を行う際に用いる参照画素及び符号化パラメータを示すデータを、左側の前記分割復号画像を生成する前記復号処理部に送信する
ことを特徴とする請求項５記載の画像復号装置。
【請求項８】
前記入力画像は格子状に分割され、
前記データ送受信部は、フィルタ処理前の前記分割復号画像の上端、左端及び左上の前記境界面画素、当該境界面画素のフィルタ処理を行う際に用いる参照画素及び符号化パラメータを示すデータを、上側、左側及び左上側の前記分割復号画像を生成する前記復号処理部にそれぞれ送信する
ことを特徴とする請求項５記載の画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力画像を符号化して符号化データを出力する画像符号化装置及び符号化データを復号して復号画像を出力する画像復号装置に関するものである。
【背景技術】
【０００２】
近年のＴＶ放送の高解像度化により、画像の実時間符号化、復号に掛かる装置における処理能力の向上は必須の事項となっている。そこで、これを実現するために、画像を空間方向に分割し、複数の処理モジュール（符号化処理部、復号処理部）によって並列に処理することで実時間動作を実現する方法が採られることが多い。
【０００３】
画像符号化の方式として近年多く用いられる国際標準化方式Ｈ．２６４や新しい符号化方式であるＨ．２６５では、ブロック歪軽減や画質向上のため、周囲の画素を用いたフィルタ処理を行う。しかしながら、画像を分割し別々の処理モジュールで処理する方式では、境界面に対するフィルタ処理を行うことができない。
そこで、各処理モジュールに対して境界面を跨いだデータを供給し、処理する方法が考えられている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１２４７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１による方法では、フィルタ処理を行う画像が予め得られている場合には効率よく境界面のフィルタ処理を実施することができる。一方、それぞれの処理モジュールで分割画像を符号化又は復号する場合、フィルタ処理の対象となる画素は各処理モジュール内で逐次処理される。そのため、境界面を超えた画素データについては、処理モジュール間で送受しなければならないという課題があった。
【０００６】
また、フィルタ処理対象の画素が逐次生成されるため、処理モジュール間で境界面を超えた画素データを送受する構成であっても、データの生成順を考慮した時間制御やフィルタ処理の順序制御を行わなくてはならないという課題があった。
すなわち、各処理モジュールによる処理は並列に実行され、また、この処理は画像の左上から水平方向に走査する形で行われる。そのため、ある処理モジュールで境界面の画素をフィルタ処理する際に、当該境界面を超えた画素がまだ生成されていない場合が存在する。この場合、その境界面を超えた画素が生成され転送されるのを待ってフィルタ処理を行ったり、境界面の画素に対するフィルタ処理を後回しにする必要がある。よって、処理に時間がかかり、また、煩雑である。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、複数の処理モジュールでフィルタ処理対象画素が逐次処理される状況において、従来装置に対して効率的に境界面のフィルタ処理を行うことができる画像符号化装置及び画像復号装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
この発明に係る画像符号化装置は、入力画像が分割され振り分けられた分割画像に対し、細分化した処理単位で、並列して符号化処理を行い、且つ当該符号化処理のフレーム内予測及びフレーム間予測で用いる分割局部復号画像を生成する複数の符号化処理部を備え、符号化処理部は、隣接する分割局部復号画像を生成する他の符号化処理部のうち、隣接する境界面間においてフィルタ処理が自身が設けられた符号化処理部よりも遅くに実施される符号化処理部へ、当該自身が設けられた符号化処理部の当該境界面における特定領域の画素である境界面画素のフィルタ処理に関するデータを送信し、他の符号化処理部からの上記データを受信するデータ送受信部と、データ送受信部により受信されたデータを用い、分割局部復号画像及び境界面画素のフィルタ処理を行うループフィルタ部と、フィルタ処理後の境界面画素を示すデータを、当該境界面画素の送信元の符号化処理部間で再送受信し、再受信したデータを用いてフィルタ処理後の分割局部復号画像の画素を置き換えてフレーム間予測で用いる画像とするデータ再送受信部とを備えたものである。
【０００９】
また、この発明に係る画像復号装置は、入力画像が分割され振り分けられた分割画像に対して細分化された処理単位で並列に符号化され多重化された符号化データが分割されて振り分けられた分割符号化データに対し、並列して復号処理を行い、且つ当該復号処理のフレーム内予測及びフレーム間予測で用いる分割復号画像を生成する複数の復号処理部を備え、復号処理部は、隣接する分割復号画像を生成する他の復号処理部のうち、隣接する境界面間においてフィルタ処理が自身が設けられた復号処理部よりも遅くに実施される復号処理部へ、当該自身が設けられた復号処理部の当該境界面における特定領域の画素である境界面画素のフィルタ処理に関するデータを送信し、他の復号処理部からの上記データを受信するデータ送受信部と、データ送受信部により受信されたデータを用い、分割復号画像及び境界面画素のフィルタ処理を行うループフィルタ部と、フィルタ処理後の境界面画素を示すデータを、当該境界面画素の送信元の復号処理部間で再送受信し、再受信したデータを用いてフィルタ処理後の分割復号画像の画素を置き換えてフレーム間予測で用いる画像とするデータ再送受信部とを備えたものである。
【発明の効果】
【００１０】
この発明によれば、上記のように構成したので、複数の処理モジュールでフィルタ処理対象画素が逐次処理される状況において、従来装置に対して効率的に境界面のフィルタ処理を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１に係る画像符号化装置の構成を示す図である。
【図２】この発明の実施の形態１における符号化処理部の内部構成を示す図である。
【図３】この発明の実施の形態１におけるデータ送受信部の内部構成を示す図である。
【図４】この発明の実施の形態１におけるデータ再送受信部の内部構成を示す図である。
【図５】この発明の実施の形態１に係る画像符号化装置の全体動作を示すフローチャートである。
【図６】この発明の実施の形態１における画像分割部による入力画像の分割例及び境界面画素の送信先を示す図であり、（ａ）入力画像を示す図であり、（ｂ）分割局部復号画像及び境界面画素の送信先を示す図である。
【図７】この発明の実施の形態１における符号化処理部の内部動作を示すフローチャートである。
【図８】この発明の実施の形態２における画像分割部による入力画像の分割例及び境界面画素の送信先を示す図であり、（ａ）入力画像を示す図であり、（ｂ）分割局部復号画像及び境界面画素の送信先を示す図である。
【図９】この発明の実施の形態３における画像分割部による入力画像の分割例及び境界面画素の送信先を示す図であり、（ａ）入力画像を示す図であり、（ｂ）分割局部復号画像及び境界面画素の送信先を示す図である。
【図１０】この発明の実施の形態４に係る画像復号装置の構成を示す図である。
【図１１】この発明の実施の形態４における復号処理部の内部構成を示す図である。
【図１２】この発明の実施の形態４におけるデータ送受信部の内部構成を示す図である。
【図１３】この発明の実施の形態４におけるデータ再送受信部の内部構成を示す図である。
【図１４】この発明の実施の形態４に係る画像符号化装置の全体動作を示すフローチャートである。
【図１５】この発明の実施の形態４における符号化処理部の内部動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る画像符号化装置の構成を示す図である。
画像符号化装置は、入力画像を符号化して符号化データを出力するものである。この画像符号化装置は、図１に示すように、画像分割部１、Ｎ個（Ｎは２以上）の符号化処理部２及び多重部３から構成されている。
【００１３】
画像分割部１は、画像符号化装置に入力された画像（入力画像）をＮ個に分割するものである。この画像分割部１により分割された画像（分割画像）は各符号化処理部２に振り分けられる。
【００１４】
各符号化処理部２は、画像分割部１からの分割画像に対して、並列に符号化処理を行うものである。この際、符号化処理部２では、入力された分割画像を正方画素ブロックにさらに分割し、これを処理単位として、分割画像の左上から水平方向に走査する形で順次処理を行う。この符号化処理部２による符号化処理されたデータ（分割符号化データ）は多重部３に出力される。
【００１５】
多重部３は、各符号化処理部２からの分割符号化データを多重化するものである。この多重部３により多重化されたデータ（符号化データ）は外部に出力される。
【００１６】
次に、符号化処理部２の内部構成について、図２を参照しながら説明する。
符号化処理部２は、図２に示すように、フレーム内予測部２０１、フレーム間予測部２０２、モード選択部２０３、減算部２０４、直交変換・量子化部２０５、エントロピー符号化部２０６、逆量子化・逆直交変換部２０７、加算部２０８、データ送受信部２０９、ループフィルタ部２１０、フレームメモリ２１１及びデータ再送受信部２１２から構成されている。
【００１７】
フレーム内予測部２０１は、加算部２０８からの分割局部復号画像を用い、同一画像内の画素を用いた予測を行うものである。このフレーム内予測部２０１による予測結果（予測画像）はモード選択部２０３に出力される。
【００１８】
フレーム間予測部２０２は、符号化処理部２に入力された分割画像とフレームメモリ２１１から抽出した分割局部復号画像とから、異なる画像間の動き補償を用いた予測を行うものである。このフレーム間予測部２０２による予測結果（予測画像）はモード選択部２０３に出力される。
【００１９】
モード選択部２０３は、フレーム内予測部２０１及びフレーム間予測部２０２からの予測画像のうちいずれを符号化処理で用いるかを選択するものである。このモード選択部２０３により選択された予測画像は減算部２０４及び加算部２０８に出力される。
【００２０】
減算部２０４は、符号化処理部２に入力された分割画像の画素値から、モード選択部２０３からの予測画像の画素値を減算するものである。この減算部２０４により画素値が減算された予測差分画像は直交変換・量子化部２０５に出力される。
【００２１】
直交変換・量子化部２０５は、減算部２０４からの予測差分画像に対して、直交変換と量子化を行うものである。この直交変換・量子化部２０５により直交変換と量子化が行われた予測差分画像（変換係数データ）はエントロピー符号化部２０６及び逆量子化・逆直交変換部２０７に出力される。
【００２２】
エントロピー符号化部２０６は、直交変換・量子化部２０５からの変換係数データを符号化するものである。このエントロピー符号化部２０６により符号化されたデータ（分割符号化データ）は多重部３に出力される。
【００２３】
逆量子化・逆直交変換部２０７は、直交変換・量子化部２０５からの変換係数データに対して、逆量子化と逆直交変換を行うものである。この逆量子化・逆直交変換部２０７により逆量子化と逆直交変換が行われた変換係数データ（復号予測差分画像）は加算部２０８に出力される。
【００２４】
加算部２０８は、モード選択部２０３からの予測画像の画素値と逆量子化・逆直交変換部２０７からの復号予測差分画像の画素値とを加算するものである。この加算部２０８により画素値が加算された予測画像（分割局部復号画像）はフレーム内予測部２０１、データ送受信部２０９及び（図２ではデータ送受信部２０９を介して）ループフィルタ部２１０に出力される。
【００２５】
データ送受信部２０９は、加算部２０８からの分割局部復号画像（フィルタ処理前の分割局部復号画像）を用い、隣接する分割局部復号画像を生成する他の符号化処理部２のうち、隣接する境界面間においてフィルタ処理が自機よりも遅くに実施される符号化処理部２へ、自機の当該境界面における特定領域の画素（境界面画素）のフィルタ処理に関するデータを送信し、他の符号化処理部２からの上記データを受信するものである。なお、「特定領域の画素」とは、当該境界面に接し、フィルタ処理の演算対象となる画素を指す。このデータ送受信部２０９は、図３に示すように、第１のデータ複製部２０９１、データ送信部２０９２及びデータ受信部２０９３を備えている。
【００２６】
第１のデータ複製部２０９１は、加算部２０８からの分割局部復号画像のうち、境界面画素及び当該画素のフィルタ処理を行う際に参照する画素を含む画像（第１の画像）を複製するものである。また、フィルタ処理に必要となる符号化パラメータも複製する。この第１のデータ複製部２０９１により複製された第１の画像及び符号化パラメータを示すデータはデータ送信部２０９２に送信される。
【００２７】
データ送信部２０９２は、第１のデータ複製部２０９１からの第１の画像及び符号化パラメータを示すデータを、該当する境界面に面する画像を生成する符号化処理部２に送信するものである。
データ受信部２０９３は、他の符号化処理部２からの第１の画像及び符号化パラメータを示すデータを受信して保持するものである。このデータ受信部２０９３により受信されたデータはループフィルタ部２１０に送信される。
【００２８】
ループフィルタ部２１０は、データ送受信部２０９からのデータを用いて、データ送受信部２０９を介して加算部２０８から入力された分割局部復号画像、及び上記受信データに含まれる境界面画素に対して、ブロック歪軽減及び画質向上のためのフィルタ処理を行うものである。このループフィルタ部２１０によりフィルタ処理が行われた分割局部復号画像（境界面画素を含む）のうち、加算部２０８からの分割局部復号画像に基づく部分はフレームメモリ２１１に出力され、上記受信データに基づく部分はデータ再送受信部２１２に出力される。
【００２９】
フレームメモリ２１１は、ループフィルタ部２１０からの分割局部復号画像を蓄積するものである。なお、この分割局部復号画像は、データ再送受信部２１２によって画素の置き換えが行われる。このフレームメモリ２１１に蓄積されデータ再送受信部２１２による画素の置き換えが行われた分割局部復号画像はフレーム間予測部２０２により抽出される。
【００３０】
データ再送受信部２１２は、ループフィルタ部２１０によりフィルタ処理が行われた境界面画素を示すデータを、当該画素の送信元の符号化処理部２との間で再送受信し、再受信したデータを用いてフレームメモリ２１１に蓄積された分割局部復号画像の画素を置き換えるものである。このデータ再送受信部２１２は、図４に示すように、第２のデータ複製部２１２１、データ再送信部２１２２、データ再受信部２１２３及びデータ置換部２１２４を備えている。
【００３１】
第２のデータ複製部２１２１は、ループフィルタ部２１０からの境界面画素を含む画像（第２の画像）を複製するものである。この第２の画像は、フィルタ処理後の分割局部復号画像全てでもよいし、フィルタ処理による影響を受ける境界面画素だけでもよい。この第２のデータ複製部２１２１により複製された第２の画像はデータ再送信部２１２２に送信される。
【００３２】
データ再送信部２１２２は、第２のデータ複製部２１２１からの第２の画像を、境界面画素の送信元の符号化処理部２に送信するものである。
データ再受信部２１２３は、他の符号化処理部２からの第２の画像を受信するものである。このデータ再受信部２１２３により受信された第２の画像はデータ置換部２１２４に送信される。
【００３３】
データ置換部２１２４は、データ再受信部２１２３からの第２の画像を用い、フレームメモリ２１１に蓄積された分割局部復号画像の同一位置の画素を置き換えるものである。
【００３４】
次に、上記のように構成された画像符号化装置の全体動作について、図５を参照しながら説明する。
画像符号化装置の全体動作では、図５に示すように、まず、画像分割部１は、画像符号化装置に入力された画像（入力画像）をＮ個に分割する（ステップＳＴ５０１）。実施の形態１では、図６（ａ）に示すように、入力画像１１を垂直方向にＮ個に分割して分割画像１２ａ（分割画像１２ａ−１〜１２ａ−Ｎ）とする。この分割画像は各符号化処理部２に振り分けられる。
【００３５】
次いで、各符号化処理部２は、画像分割部１からの分割画像に対して、並列に符号化処理を行う（ステップＳＴ５０２）。この符号化処理部２の内部動作については後述する。この符号化処理部２による符号化処理されたデータ（分割符号化データ）は多重部３に出力される。
【００３６】
次いで、多重部３は、各符号化処理部２からの分割符号化データを多重化する（ステップＳＴ５０３）。この多重部３により多重化されたデータ（符号化データ）は外部に出力される。
【００３７】
次に、符号化処理部２の内部動作について、図７を参照しながら説明する。なお、符号化処理部２では、分割画像を細分化した処理単位で、分割画像の左上から水平方向に走査する形で順次処理を行う。
【００３８】
符号化処理部２の内部の動作では、図７に示すように、フレーム内予測部２０１は、加算部２０８からの分割局部復号画像を用い、同一画像内の画素を用いた予測を行う（ステップＳＴ７０１）。このフレーム内予測部２０１による予測結果（予測画像）はモード選択部２０３に出力される。
【００３９】
また、フレーム間予測部２０２は、符号化処理部２に入力された分割画像とフレームメモリ２１１から抽出した分割局部復号画像とから、異なる画像間の動き補償を用いた予測を行う（ステップＳＴ７０２）。このフレーム間予測部２０２による予測結果（予測画像）はモード選択部２０３に出力される。
【００４０】
次いで、モード選択部２０３は、フレーム内予測部２０１及びフレーム間予測部２０２からの予測画像のうちいずれを符号化処理で用いるかを選択する（ステップＳＴ７０３）。このモード選択部２０３により選択された予測画像は減算部２０４及び加算部２０８に出力される。
【００４１】
次いで、減算部２０４は、符号化処理部２に入力された分割画像の画素値から、モード選択部２０３からの予測画像の画素値を減算する（ステップＳＴ７０４）。この減算部２０４により画素値が減算された予測差分画像は直交変換・量子化部２０５に出力される。
【００４２】
次いで、直交変換・量子化部２０５は、減算部２０４からの予測差分画像に対して、直交変換と量子化を行う（ステップＳＴ７０５）。この直交変換・量子化部２０５により直交変換と量子化が行われた予測差分画像（変換係数データ）はエントロピー符号化部２０６及び逆量子化・逆直交変換部２０７に出力される。
【００４３】
次いで、エントロピー符号化部２０６は、直交変換・量子化部２０５からの変換係数データを符号化する（ステップＳＴ７０６）。このエントロピー符号化部２０６により符号化されたデータ（分割符号化データ）は多重部３に出力される。
【００４４】
また、逆量子化・逆直交変換部２０７は、直交変換・量子化部２０５からの変換係数データに対して、逆量子化と逆直交変換を行う（ステップＳＴ７０７）。この逆量子化・逆直交変換部２０７により逆量子化と逆直交変換が行われた変換係数データ（復号予測差分画像）は加算部２０８に出力される。
【００４５】
次いで、加算部２０８は、モード選択部２０３からの予測画像の画素値と逆量子化・逆直交変換部２０７からの復号予測差分画像の画素値とを加算する（ステップＳＴ７０８）。この加算部２０８により画素値が加算された予測画像（分割局部復号画像）はフレーム内予測部２０１、データ送受信部２０９、及び当該データ送受信部２０９を介してループフィルタ部２１０に出力される。
【００４６】
次いで、データ送受信部２０９は、加算部２０８からの分割局部復号画像（フィルタ処理前の分割局部復号画像）を用い、隣接する分割局部復号画像を生成する他の符号化処理部２のうち、隣接する境界面間においてフィルタ処理が自機よりも遅くに実施される符号化処理部２へ、自機の当該境界面における特定領域の画素（境界面画素）のフィルタ処理に関するデータを送信し、他の符号化処理部２からの上記データを受信する（ステップＳＴ７０９）。ここで、図６（ｂ）に示す分割局部復号画像１３ａ−２を生成する符号化処理部２（符号化処理部２ｂ）でのデータ送受信処理を示す。この符号化処理部２ｂのデータ送受信部２０９では、まず、第１のデータ複製部２０９１が、フィルタ処理前の分割局部復号画像１３ａ−２の上端の境界面画素１４ａ−２及び当該境界面画素１４ａ−２のフィルタ処理を行う際に参照する画素を含む画像（第１の画像）を複製する。また、フィルタ処理に必要となる符号化パラメータも複製する。そして、データ送信部２０９２は、上記第１の画像及び符号化パラメータを示すデータを、上側の分割局部復号画像１３ａ−１を生成する符号化処理部２（符号化処理部２ａ）に送信する。また、データ受信部２０９３は、下側の分割局部復号画像１３ａ−３を生成する符号化処理部２（符号化処理部２ｃ）からの境界面画素１４ａ−３を含む第１の画像及び符号化パラメータを示すデータを受信して保持し、ループフィルタ部２１０に送信する。
【００４７】
次いで、ループフィルタ部２１０は、データ送受信部２０９からのデータを用いて、データ送受信部２０９を介して加算部２０８から入力された分割局部復号画像、及び上記受信データに含まれる境界面画素に対して、ブロック歪軽減及び画質向上のためのフィルタ処理を行う（ステップＳＴ７１０）。すなわち、符号化処理部２ｂのループフィルタ部２１０では、符号化処理部２ｃからの第１の画像を用いることで、分割局部復号画像１３ａ−２の下端を超えた部分（境界面画素１４ａ−３）まで連続してフィルタ処理を行うことができる。
このループフィルタ部２１０によりフィルタ処理が行われた分割局部復号画像（境界面画素を含む）のうち、加算部２０８からの分割局部復号画像に基づく部分はフレームメモリ２１１に出力され、上記受信データに基づく部分はデータ再送受信部２１２に出力される。
【００４８】
次いで、フレームメモリ２１１は、ループフィルタ部２１０からの分割局部復号画像を蓄積する（ステップＳＴ７１１）。なお、各符号化処理部２による処理は並列に実行されるため、符号化処理部２ｂで分割局部復号画像１３ａ−２の上端が生成されフィルタ処理される段階では、まだ、符号化処理部２ａでは分割局部復号画像１３ａ−１の下端は生成されていない。よって、符号化処理部２ｂにおいて分割局部復号画像１３ａ−２の上端は正しくフィルタ処理されていない。
【００４９】
次いで、データ再送受信部２１２は、ループフィルタ部２１０によりフィルタ処理が行われた境界面画素を示すデータを、当該画素の送信元の符号化処理部２との間で再送受信し、再受信したデータを用いてフレームメモリ２１１に蓄積された分割局部復号画像の画素を置き換える（ステップＳＴ７１２，７１３）。すなわち、符号化処理部２ｂのデータ再送受信部２１２では、まず、第２のデータ複製部２１２１が、フィルタ処理後の境界面画素１４ａ−３を含む画像（第２の画像）を複製する。そして、データ再送信部２１２２は、上記第２の画像を符号化処理部２ｃに送信する。また、データ再受信部２１２３は、符号化処理部２ａからのフィルタ処理後の境界面画素１４ａ−２を含む第２の画像を受信する。そして、データ置換部２１２４は、データ再受信部２１２３からの第２の画像を用い、フレームメモリ２１１に蓄積された分割局部復号画像１３ａ−２の同一位置の画素１４ａ−２を置き換える。これにより、符号化処理部２ｂにて再度フィルタ処理を行うことなく、正しくフィルタ処理されていなかった分割局部復号画像１３ａ−２の上端の画素１４ａ−２を正しくフィルタ処理後の画素に更新することができる。
【００５０】
ここで、データ送受信部２０９及びデータ再送受信部２１２が存在しない場合、加算部２０８からの分割局部復号画像は、ループフィルタ部２１０でフィルタ処理が行われた後、フレームメモリ２１１に蓄積されてフレーム間予測に利用されることになる。よって、この場合には、分割局部復号画像の生成とフィルタ処理が個々の符号化処理部２毎に実施されることになり、境界面でのフィルタ処理を行うことができない。
また、フィルタ処理対象の画素が逐次生成されるため、境界面を超えた画素データを相互に送受してフィルタ処理を実施する構成であっても、データの生成順を考慮した時間制御やフィルタ処理の順序制御が必要となる。よって、処理に時間がかかり、煩雑である。
【００５１】
一方、本発明のようにデータ送受信部２０９及びデータ再送受信部２１２を設けた場合には、分割局部復号画像の境界面を跨いだデータを送受信することができ、境界面画素のフィルタ処理を行うことができる。また、下側の分割局部復号画像を生成する符号化処理部２から上側の分割局部復号画像を生成する符号化処理部２へ第１の画像等を送信し、また、第２の画像を境界面画素の送信元の符号化処理部２へ再送信することで、複数の符号化処理部２でフィルタ処理対象画素が逐次処理される場合であっても、データの生成順を考慮した時間制御やフィルタ処理の順序制御は不要となり、従来装置に対して効率的にフィルタ処理を行うことができる。
【００５２】
なお、データ再送受信部２１２にて再送信する第２の画像は、フィルタ処理後の分割局部復号画像全てでもよいし、フィルタ処理による影響を受ける境界面画素だけでもよい。すなわち、フィルタ処理を行う際の参照用の画素は、フィルタ処理によって値が変化することはないため、これを除外することで再送信するデータ量を削減することができる。
【００５３】
以上のように、この実施の形態１によれば、データ送受信部２０９にて、隣接する分割局部復号画像を生成する他の符号化処理部２のうち、隣接する境界面間においてフィルタ処理が自機よりも遅くに実施される符号化処理部２へ、自機の当該境界面における特定領域の画素（境界面画素）のフィルタ処理に関するデータを送信し、他の符号化処理部２からの上記データを受信し、ループフィルタ部２１０にて、上記データを用い、分割局部復号画像及び境界面画素のフィルタ処理を行い、データ再送受信部２１２にて、フィルタ処理後の境界面画素を示すデータを、送信元の符号化処理部２間で再送受信し、再受信したデータを用いてフィルタ処理後の分割局部復号画像の画素を置き換えるように構成したので、個々の処理モジュール（符号化処理部２）でフィルタ処理対象画素が逐次処理される状況において、従来装置に対して効率的に境界面のフィルタ処理を行うことができる。
【００５４】
実施の形態２．
実施の形態１では、図６に示すように、入力画像１１を垂直方向に分割した分割画像１２ａを処理する場合を示した。これに対して、例えば図８に示すように、入力画像１１を水平方向に分割した分割画像１２ｂ（分割画像１２ｂ−１〜１２ｂ−Ｎ）を処理してもよい。
【００５５】
入力画像を水平方向に分割した場合、各符号化処理部２において、左上から水平方向で走査する形で処理が行われるため、境界面の左側の画素よりも右側の画素が先に生成される。そこで、データ送受信部２０９は、フィルタ処理前の分割局部復号画像の左端の境界面画素及び当該画素をフィルタ処理する際に参照する画素を有する第１の画像、及び符号化パラメータを示すデータを、左側の分割局部復号画像を生成する符号化処理部２に送信する。また、データ再送受信部２１２は、第２の画像を上記境界面画素の送信元の符号化処理部２に再送信する。これにより、全ての境界面のフィルタ処理を実施できる。
【００５６】
すなわち、図８（ｂ）に示すように、例えば符号化処理部２ｂでは、データ送受信部２０９にて、分割局部復号画像１３ｂ−２の左端の境界面画素１４ｂ−２を含む第１の参照画素等を分割局部復号画像１３ｂ−１を生成する符号化処理部２ａに送信し、符号化処理部２ｃから境界面画素１４ｂ−３を含む第１の参照画素等を受信する。また、データ再送受信部２１２にて、フィルタ処理後の境界面画素１４ｂを再送信する。これにより、全ての境界面のフィルタ処理を実施できる。
【００５７】
以上のように、この実施の形態２によれば、入力画像を水平方向に分割した分割画像を処理するようにしても、実施の形態１と同様の効果を得ることができる。
【００５８】
実施の形態３．
実施の形態１では図６に示すように入力画像１１を垂直方向に分割した分割画像１２ａを処理し、実施の形態２では図８に示すように水平方向に分割した分割画像１２ｂを処理する場合を示した。これに対して、例えば図９に示すように、入力画像１１を格子状に分割した分割画像１２ｃ（分割画像１２ｃ−１〜１２ｃ−Ｎ）を処理してもよい。
【００５９】
この場合、データ送受信部２０９は、フィルタ処理前の分割局部復号画像の上端、左端及び左上の境界面画素及び当該画素をフィルタ処理する際に参照する画素を有する第１の画像、及び符号化パラメータを示すデータを、上側、左側及び左上側の分割局部復号画像を生成する符号化処理部２にそれぞれ送信する。また、データ再送受信部２１２は、第２の画像を上記境界面画素の送信元の符号化処理部２にそれぞれ再送信する。
【００６０】
例えば図９（ｂ）に示すように、入力画像１１を格子状に分割した場合、上下の境界面については実施の形態１と同様に処理する。すなわち、分割局部復号画像１３ｃ−３の上端の境界面画素１４ｃ−３ａを分割局部復号画像１３ｃ−１を生成する符号化処理部２ａに送信し、分割局部復号画像１３ｃ−４の上端の境界面画素１４ｃ−４ａ，１４ｃ−４ｃを分割局部復号画像１３ｃ−２を生成する符号化処理部２ｂに送信する。また、左右の境界面については実施の形態２と同様に処理する。すなわち、分割局部復号画像１３ｃ−２の左端の境界面画素１４ｃ−２ｂを分割局部復号画像１３ｃ−１を生成する符号化処理部２ａに送信し、分割局部復号画像１３ｃ−４の左端の境界面画素１４ｃ−４ｂ，１４ｃ−４ｃを分割局部復号画像１３ｃ−３を生成する符号化処理部２ｃに送信する。また、角の境界面については、分割局部復号画像１３ｃ−４の左上の境界面画素１４ｃ−４ｃを分割局部復号画像１３ｃ−１を生成する符号化処理部２ａに送信する。また、データ再送受信部２１２にて、フィルタ処理後の境界面画素１４ｃを再送信する。これにより、全ての境界面のフィルタ処理を実施できる。
【００６１】
以上のように、この実施の形態３によれば、入力画像を格子状に分割した分割画像を処理するようにしても、実施の形態１，２と同様の効果を得ることができる。
【００６２】
実施の形態４．
実施の形態１〜３では、入力画像を符号化して符号化データを出力する画像符号化装置について示した。それに対して、以下では、符号化データを復号して復号画像を出力する画像復号装置について説明する。
【００６３】
図１０は本発明の実施の形態４に係る画像復号装置の構成を示す図である。
画像復号装置は、符号化データを復号して復号画像を出力するものである。この画像復号装置は、図１０に示すように、データ分割部４、Ｎ個（Ｎは２以上）の復号処理部５及び合成部６から構成されている。
【００６４】
データ分割部４は、画像符号化装置にて入力画像がＮ個に分割され振り分けられた分割画像に対して細分化された処理単位で並列に符号化され多重化された符号化データに対して、ヘッダを解析し、Ｎ個に分割するものである。このデータ分割部４により分割された符号化データ（分割符号化データ）は各復号処理部５に振り分けられる。
【００６５】
各復号処理部５は、データ分割部４からの分割符号化データに対して、並列に復号処理を行うものである。この復号処理部５による復号処理されたデータ（分割復号画像）は合成部６に出力される。
【００６６】
合成部６は、各復号処理部５からの分割復号画像に対して各種の後処理を行い、合成することで、最終的な復号画像に復元するものである。この合成部６により復元された復号画像は外部に出力される。
【００６７】
次に、復号処理部５の内部構成について、図１１を参照しながら説明する。
復号処理部５は、図１１に示すように、エントロピー復号部５０１、モード選択部５０２、フレーム内予測部５０３、フレーム間予測部５０４、逆量子化・逆直交変換部５０５、加算部５０６、データ送受信部５０７、ループフィルタ部５０８、フレームメモリ５０９及びデータ再送受信部５１０から構成されている。
【００６８】
エントロピー復号部５０１は、復号処理部５に入力された分割符号化データを復号するものである。このエントロピー復号部５０１により復号されたデータ（変換係数データ、及び符号化パラメータ）はモード選択部５０２、及び当該モード選択部５０２を介して逆量子化・逆直交変換部５０５に出力される。
【００６９】
モード選択部５０２は、エントロピー復号部５０１からのデータから、画像符号化装置で用いた予測モードを判定し、フレーム内予測部５０３及びフレーム間予測部５０４からの予測画像のうちいずれを復号処理で用いるかを選択するものである。このモード選択部５０２による選択結果はフレーム内予測部５０３及びフレーム間予測部５０４に通知される。
【００７０】
フレーム内予測部５０３は、モード選択部５０２により選択された場合に、加算部５０６からの分割復号画像を用い、同一画像内の画素を用いた予測を行うものである。このフレーム内予測部５０３による予測結果（予測画像）は加算部５０６に出力される。
【００７１】
フレーム間予測部５０４は、モード選択部５０２により選択された場合に、フレームメモリ５０９から抽出した複数の分割復号画像から、異なる画像間の動き補償を用いた予測を行うものである。このフレーム間予測部５０４による予測結果（予測画像）は加算部５０６に出力される。
【００７２】
逆量子化・逆直交変換部５０５は、モード選択部５０２を介してエントロピー復号部５０１から入力された変換係数データに対して、逆量子化と逆直交変換を行うものである。この逆量子化・逆直交変換部５０５により逆量子化と逆直交変換が行われた変換係数データ（復号予測差分画像）は加算部５０６に出力される。
【００７３】
加算部５０６は、逆量子化・逆直交変換部５０５からの復号予測差分画像の画素値と、フレーム内予測部５０３又はフレーム間予測部５０４からの予測画像の画素値とを加算するものである。この加算部５０６により画素値が加算された予測画像（分割復号画像）はフレーム内予測部５０３、データ送受信部５０７及び（図１１ではデータ送受信部５０７を介して）ループフィルタ部５０８に出力される。
【００７４】
データ送受信部５０７は、加算部５０６からの分割復号画像（フィルタ処理前の分割復号画像）を用い、隣接する分割復号画像を生成する他の復号処理部５のうち、隣接する境界面間においてフィルタ処理が自機よりも遅くに実施される復号処理部５へ、自機の当該境界面における特定領域の画素（境界面画素）のフィルタ処理に関するデータを送信し、他の復号処理部５からの上記データを受信するものである。なお、「特定領域の画素」とは、当該境界面に接し、フィルタ処理の演算対象となる画素を指す。このデータ送受信部５０７は、図１２に示すように、第１のデータ複製部５０７１、データ送信部５０７２及びデータ受信部５０７３を備えている。
【００７５】
第１のデータ複製部５０７１は、加算部５０６からの分割復号画像のうち、境界面画素及び当該画素のフィルタ処理を行う際に参照する画素を含む画像（第３の画像）を複製するものである。また、フィルタ処理に必要となる符号化パラメータも複製する。この第１のデータ複製部５０７１により複製された第３の画像及び符号化パラメータを示すデータはデータ送信部５０７２に送信される。
【００７６】
データ送信部５０７２は、第１のデータ複製部５０７１からの第３の画像及び符号化パラメータを示すデータを、該当する境界面に面する画像を生成する復号処理部５に送信するものである。
データ受信部５０７３は、他の復号処理部５からの第３の画像及び符号化パラメータを示すデータを受信して保持するものである。このデータ受信部５０７３により受信されたデータはループフィルタ部５０８に送信される。
【００７７】
ループフィルタ部５０８は、データ送受信部５０７からのデータを用い、データ送受信部５０７を介して加算部５０６から入力された分割復号画像、及び上記受信データに含まれる境界面画素に対して、ブロック歪軽減及び画質向上のためのフィルタ処理を行うものである。このループフィルタ部５０８によりフィルタ処理が行われた分割復号画像（境界面画素を含む）のうち、加算部５０６からの分割復号画像に基づく部分はフレームメモリ５０９に出力され、上記受信データに基づく部分はデータ再送受信部５１０に出力される。
【００７８】
フレームメモリ５０９は、ループフィルタ部５０８からの分割復号画像を蓄積するものである。なお、この分割復号画像は、データ再送受信部５１０によって画素の置き換えが行われる。このフレームメモリ５０９に蓄積されデータ再送受信部５１０により画素の置き換えが行われた分割復号画像はフレーム間予測部５０４により抽出され、また、合成部６に出力される。
【００７９】
データ再送受信部５１０は、ループフィルタ部５０８によりフィルタ処理が行われた境界面画素を示すデータを、当該画素の送信元の復号処理部５との間で再送受信し、再受信したデータを用いてフレームメモリ５０９に蓄積された分割復号画像の画素を置き換えるものである。このデータ再送受信部５１０は、図１３に示すように、第２のデータ複製部５１０１、データ再送信部５１０２、データ再受信部５１０３及びデータ置換部５１０４を備えている。
【００８０】
第２のデータ複製部５１０１は、ループフィルタ部５０８からの境界面画素を含む画像（第４の画像）を複製するものである。この第４の画像は、フィルタ処理後の分割復号画像全てでもよいし、フィルタ処理による影響を受ける境界面画素だけでもよい。この第２のデータ複製部５１０１により複製された第４の画像はデータ再送信部５１０２に送信される。
【００８１】
データ再送信部５１０２は、第２のデータ複製部５１０１からの第４の画像を、境界面画素の送信元の復号処理部５に送信するものである。
データ再受信部５１０３は、他の復号処理部５からの第４の画像を受信するものである。このデータ再受信部５１０３により受信された第４の画像はデータ置換部５１０４に送信される。
【００８２】
データ置換部５１０４は、データ再受信部５１０３からの第４の画像を用い、フレームメモリ５０９に蓄積された分割復号画像の同一位置の画素を置き換えるものである。
【００８３】
次に、上記のように構成された画像復号装置の全体動作について、図１４を参照しながら説明する。
画像復号装置の全体動作では、図１４に示すように、まず、データ分割部４は、画像符号化装置にて入力画像がＮ個に分割され振り分けられた分割画像に対して細分化された処理単位で並列に符号化され多重化された符号化データに対して、ヘッダを解析し、Ｎ個に分割する（ステップＳＴ１４０１）。実施の形態４では、図６に示すように、入力画像１１が垂直方向にＮ個に分割されて処理された符号化データを用いる場合を示す。このデータ分割部４により分割された符号化データ（分割符号化データ）は各復号処理部５に振り分けられる。
【００８４】
次いで、各復号処理部５は、データ分割部４からの分割符号化データに対して、並列に復号処理を行う（ステップＳＴ１４０２）。この復号処理部５の内部動作については後述する。この復号処理部５による復号処理されたデータ（分割復号画像）は合成部６に出力される。
【００８５】
次いで、合成部６は、各復号処理部５からの分割復号画像に対して各種の後処理を行い、合成することで、最終的な復号画像に復元する（ステップＳＴ１４０３）。この合成部６により復元された復号画像は外部に出力される。
【００８６】
次に、復号処理部５の内部動作について、図１５を参照しながら説明する。
復号処理部５の内部の動作では、図１５に示すように、まず、エントロピー復号部５０１は、復号処理部５に入力された分割符号化データを復号する（ステップＳＴ１５０１）。このエントロピー復号部５０１により復号されたデータ（変換係数データ、及び符号化パラメータ）はモード選択部５０２、及び当該モード選択部５０２を介して逆量子化・逆直交変換部５０５に出力される。
【００８７】
次いで、モード選択部５０２は、エントロピー復号部５０１からのデータから、画像符号化装置で用いた予測モードを判定し、フレーム内予測部５０３及びフレーム間予測部５０４からの予測画像のうちいずれを復号処理で用いるかを選択する（ステップＳＴ１５０２）。このモード選択部５０２による選択結果はフレーム内予測部５０３及びフレーム間予測部５０４に通知される。
【００８８】
このステップＳＴ１５０２において、モード選択部５０２がフレーム内予測部５０３による処理を選択した場合、フレーム内予測部５０３は、加算部５０６からの分割復号画像を用い、同一画像内の画素を用いた予測を行う（ステップＳＴ１５０３）。このフレーム内予測部５０３による予測結果（予測画像）は加算部５０６に出力される。
【００８９】
一方、ステップＳＴ１５０２において、モード選択部５０２がフレーム間予測部５０４による処理が選択した場合、フレーム間予測部５０４は、フレームメモリ５０９から抽出した複数の分割復号画像から、異なる画像間の動き補償を用いた予測を行う（ステップＳＴ１５０４）。このフレーム間予測部５０４による予測結果（予測画像）は加算部５０６に出力される。
【００９０】
次いで、逆量子化・逆直交変換部５０５は、モード選択部５０２を介してエントロピー復号部５０１から入力された変換係数データに対して、逆量子化と逆直交変換を行う（ステップＳＴ１５０５）。この逆量子化・逆直交変換部５０５により逆量子化と逆直交変換が行われた変換係数データ（復号予測差分画像）は加算部５０６に出力される。
【００９１】
次いで、加算部５０６は、逆量子化・逆直交変換部５０５から復号予測差分画像の画素値と、フレーム内予測部５０３又はフレーム間予測部５０４からの予測画像の画素値とを加算する（ステップＳＴ１５０６）。この加算部５０６により画素値が加算された予測画像（分割復号画像）はフレーム内予測部５０３、データ送受信部５０７、及び当該データ送受信部５０７を介してループフィルタ部５０８に出力される。
【００９２】
次いで、データ送受信部５０７は、加算部５０６からの分割復号画像（フィルタ処理前の分割復号画像）を用い、隣接する分割復号画像を生成する他の復号処理部５のうち、隣接する境界面間においてフィルタ処理が自機よりも遅くに実施される復号処理部５へ、自機の当該境界面における特定領域の画素（境界面画素）のフィルタ処理に関するデータを送信し、他の復号処理部５からの上記データを受信する（ステップＳＴ１５０７）。ここで、図６（ａ）に示す分割画像１２ａ−２に対応する分割符号化データを処理する復号処理部５（復号処理部５ｂ）でのデータ送受信処理を示す。なお以下では、図６（ｂ）に示す分割局部復号画像１３ａ及び境界面画素１４ａを画像復号装置における分割復号画像１５ａ及び境界面画素１６ａと読み替えるものとする。この復号処理部５ｂのデータ送受信部５０７では、まず、第１のデータ複製部５０７１が、フィルタ処理前の分割復号画像１５ａ−２の上端の境界面画素１６ａ−２及び当該境界面画素１６ａ−２のフィルタ処理を行う際に参照する画素を含む画像（第３の画像）を複製する。また、フィルタ処理に必要となる符号化パラメータも複製する。そして、データ送信部５０７２は、上記第３の画像及び符号化パラメータを示すデータを、上側の分割復号画像１５ａ−１を生成する復号処理部５（復号処理部５ａ）に送信する。また、データ受信部５０７３は、下側の分割復号画像１５ａ−３を生成する復号処理部５（復号処理部５ｃ）からの境界面画素１６ａ−３を含む第３の画像及び符号化パラメータを示すデータを受信して保持し、ループフィルタ部５０８に送信する。
【００９３】
次いで、ループフィルタ部５０８は、データ送受信部５０７からのデータを用いて、データ送受信部５０７を介して加算部５０６から入力された分割復号画像、及び上記受信データに含まれる境界面画素に対して、ブロック歪軽減及び画質向上のためのフィルタ処理を行う（ステップＳＴ１５０８）。すなわち、復号処理部５ｂのループフィルタ部５０８では、復号処理部５ｃからの第３の画像を用いることで、分割復号画像１５ａ−２の下端を超えた部分（境界面画素１６ａ−３）まで連続してフィルタ処理を行うことができる。
このループフィルタ部５０８によりフィルタ処理が行われた分割復号画像（境界面画素を含む）のうち、加算部５０６からの分割復号画像に基づく部分はフレームメモリ５０９に出力され、上記受信データに基づく部分はデータ再送受信部５１０に出力される。
【００９４】
次いで、フレームメモリ５０９は、ループフィルタ部５０８からの分割復号画像を蓄積する（ステップＳＴ１５０９）。なお、各復号処理部５による処理は並列に実行されるため、復号処理部５ｂで分割復号画像１５ａ−２の上端が生成されフィルタ処理される段階では、まだ、復号処理部５ａでは分割復号画像１５ａ−１の下端は生成されていない。よって、復号処理部５ｂにおいて分割復号画像１５ａ−２の上端は正しくフィルタ処理されていない。
【００９５】
次いで、データ再送受信部５１０は、ループフィルタ部５０８によりフィルタ処理が行われた境界面画素を示すデータを、当該画素の送信元の復号処理部５との間で再送受信し、再受信したデータを用いてフレームメモリ５０９に蓄積された分割復号画像の画素を置き換える（ステップＳＴ１５１０，１５１１）。すなわち、復号処理部５ｂのデータ再送受信部５１０では、まず、第２のデータ複製部５１０１が、フィルタ処理後の境界面画素１６ａ−３を含む画像（第４の画像）を複製する。そして、データ再送信部５１０２は、上記第４の画像を復号処理部５ｃに送信する。また、データ再受信部５１０３は、復号処理部５ａからのフィルタ処理後の境界面画素１６ａ−２を含む第４の画像を受信する。そして、データ置換部５１０４は、データ再受信部５１０３からの第４の画像を用い、フレームメモリ５０９に蓄積された分割復号画像１５ａ−２の同一位置の画素を置き換える。これにより、復号処理部５ｂにて再度フィルタ処理を行うことなく、正しくフィルタ処理されていなかった分割復号画像１５ａ−２の上端の画素を正しくフィルタ処理後の画素に更新することができる。
その後、フレームメモリ５０９に蓄積された分割復号画像が合成部６に出力される（ステップＳＴ１５１２）。
【００９６】
ここで、データ送受信部５０７及びデータ再送受信部５１０が存在しない場合、加算部５０６からの分割復号画像は、ループフィルタ部５０８でフィルタ処理が行われた後、フレームメモリ５０９に蓄積されてフレーム間予測に利用され、また、合成部６に出力されることになる。よって、この場合には、分割復号画像の生成とフィルタ処理が個々の復号処理部５毎に実施されることになり、境界面でのフィルタ処理を行うことができない。
また、フィルタ処理対象の画素が逐次生成されるため、境界面を超えた画素データを相互に送受してフィルタ処理を実施する構成であっても、データの生成順を考慮した時間制御やフィルタ処理の順序制御が必要となる。よって、処理に時間がかかり、煩雑である。
【００９７】
一方、本発明のようにデータ送受信部５０７及びデータ再送受信部５１０を設けた場合には、分割復号画像の境界面を跨いだデータを送受信することができ、境界面のフィルタ処理を行うことができる。また、下側の分割復号画像を生成する復号処理部５から上側の分割復号画像を生成する復号処理部５へ第３の画像等を送信し、また、第４の画像を境界面画素の送信元の復号処理部５へ再送信することで、複数の復号処理部５でフィルタ処理対象画素が逐次処理される場合であっても、データの生成順を考慮した時間制御やフィルタ処理の順序制御は不要となり、従来装置に対して効率的にフィルタ処理を行うことができる。
【００９８】
なお、データ再送受信部５１０にてフィルタ処理後に再送信する第４の画像は、フィルタ処理後の分割復号画像全てでもよいし、フィルタ処理による影響を受ける境界面画素だけでもよい。すなわち、フィルタ処理を行う際の参照用の画素は、フィルタ処理によって値が変化することはないため、これを除外することで再送信するデータ量を削減することができる。
【００９９】
以上のように、この実施の形態４によれば、データ送受信部５０７にて、隣接する分割復号画像を生成する他の復号処理部５のうち、隣接する境界面間においてフィルタ処理が自機よりも遅くに実施される復号処理部５へ、自機の当該境界面における特定領域の画素である境界面画素のフィルタ処理に関するデータを送信し、他の復号処理部５からのデータを受信し、ループフィルタ部５０８にて、上記データを用い、分割復号画像及び境界面画素のフィルタ処理を行い、データ再送受信部５１０にて、フィルタ処理後の境界面画素を示すデータを、送信元の復号処理部５との間で再送受信し、再受信したデータを用いてフィルタ処理後の分割復号画像の画素を置き換えるように構成したので、個々の処理モジュール（復号処理部５）でフィルタ処理対象画素が逐次処理される状況において、従来装置に対して効率的に境界面のフィルタ処理を行うことができる。
【０１００】
実施の形態５．
実施の形態４では、図６に示すように、入力画像１１が垂直方向に分割された分割画像１２ａが符号化され多重化された符号化データを処理する場合を示した。これに対して、例えば図８に示すように、入力画像１１が水平方向に分割された分割画像１２ｂが符号化され多重化された符号化データを処理してもよい。なお以下では、図８（ｂ）に示す分割局部復号画像１３ｂ及び境界面画素１４ｂを画像復号装置における分割復号画像１５ｂ及び境界面画素１６ｂと読み替えるものとする。
【０１０１】
入力画像が水平方向に分割された分割画像が符号化され多重化された符号化データを復号する場合、各復号処理部５において、左上から水平方向で走査する形で処理が行われるため、境界面の左側の画素より右側の画素が先に生成される。そこで、データ送受信部５０７は、フィルタ処理前の分割復号画像の左端の境界面画素及び当該画素をフィルタ処理する際に参照する画素を有する第３の画像、及び符号化パラメータを示すデータを、左側の分割復号画像を生成する復号処理部５に送信する。また、データ再送受信部５１０は、第４の画像を上記境界面画素の送信元の復号処理部５に再送信する。これにより、全ての境界面のフィルタ処理を実施できる。
【０１０２】
すなわち、図８（ｂ）に示すように、例えば復号処理部５ｂでは、データ送受信部５０７にて、分割復号画像１５ｂ−２の左端の境界面画素１６ｂ−２を含む第３の参照画素等を分割復号画像１５ｂ−１を生成する復号処理部５ａに送信し、復号処理部５ｃから境界面画素１６ｂ−３を含む第３の参照画素等を受信する。また、データ再送受信部５１０にて、フィルタ処理後の境界面画素１６ｂを再送信する。これにより、全ての境界面のフィルタ処理を実施できる。
【０１０３】
以上のように、この実施の形態５によれば、入力画像が水平方向に分割された分割画像が符号化され多重化された符号化データを処理するようにしても、実施の形態４と同様の効果を得ることができる。
【０１０４】
実施の形態６．
実施の形態４では図６に示すように入力画像１１が垂直方向に分割された分割画像１２ａが符号化され多重化された符号化データを処理し、実施の形態２では図８に示すように水平方向に分割された分割画像１２ｂが符号化され多重化された符号化データを処理する場合を示した。これに対して、例えば図９に示すように、入力画像１１が格子状に分割された分割画像１２ｃが符号化され多重化された符号化データを処理してもよい。なお以下では、図９（ｂ）に示す分割局部復号画像１３ｃ及び境界面画素１４ｃを画像復号装置における分割復号画像１５ｃ及び境界面画素１６ｃと読み替えるものとする。
【０１０５】
この場合、データ送受信部５０７は、フィルタ処理前の分割復号画像の上端、左端及び左上の境界面画素及び当該画素をフィルタ処理する際に参照する画素を有する第３の画像、及び符号化パラメータを示すデータを、上側、左側及び左上側の分割復号画像を生成する復号処理部５にそれぞれ送信する。また、データ再送受信部５１０は、第４の画像を上記境界面画素の送信元の復号処理部５にそれぞれ再送信する。
【０１０６】
例えば図９（ｂ）に示すように、入力画像１１を格子状に分割した場合、上下の境界面については実施の形態４と同様に処理する。すなわち、分割復号画像１５ｃ−３の上端の境界面画素１６ｃ−３ａを分割復号画像１５ｃ−１を生成する復号処理部５ａに送信し、分割復号画像１５ｃ−４の上端の境界面画素１６ｃ−４ａ，１６ｃ−４ｃを分割復号画像１５ｃ−２を生成する復号処理部５ｂに送信する。また、左右の境界面については実施の形態５と同様に処理する。すなわち、分割復号画像１５ｃ−２の左端の境界面画素１６ｃ−２ｂを分割復号画像１５ｃ−１を生成する復号処理部５ａに送信し、分割復号画像１５ｃ−４の左端の境界面画素１６ｃ−４ｂ，１６ｃ−４ｃを分割復号画像１５ｃ−３を生成する復号処理部５ｃに送信する。また、角の境界面については、分割復号画像１５ｃ−４の左上の境界面画素１６ｃ−４ｃを分割復号画像１５ｃ−１を生成する復号処理部５ａに送信する。また、データ再送受信部５１０にて、フィルタ処理後の境界面画素１６ｃを再送信する。これにより、全ての境界面のフィルタ処理を実施できる。
【０１０７】
以上のように、この実施の形態６によれば、入力画像が格子状に分割された分割画像が符号化され多重化された符号化データを処理するようにしても、実施の形態４，５と同様の効果を得ることができる。
【０１０８】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【０１０９】
１  画像分割部、２  符号化処理部、３  多重部、４  データ分割部、５  復号処理部、６  合成部、１１  入力画像、１２ａ〜１２ｃ  分割画像、１３ａ〜１３ｃ  分割局部復号画像、１４ａ〜１４ｃ，１６ａ〜１６ｃ  画素、１５ａ〜１５ｃ  分割復号画像、２０１，５０３  フレーム内予測部、２０２，５０４  フレーム間予測部、２０３，５０２  モード選択部、２０４  減算部、２０５  直交変換・量子化部、２０６  エントロピー符号化部、２０７，５０５  逆量子化・逆直交変換部、２０８，５０６  加算部、２０９，５０７  データ送受信部、２１０，５０８  ループフィルタ部、２１１，５０９  フレームメモリ、２１２，５１０  データ再送受信部、５０１  エントロピー復号部、２０９１，５０７１  第１のデータ複製部、２０９２，５０７２  データ送信部、２０９３，５０７３  データ受信部、２１２１，５１０１  第２のデータ複製部、２１２２，５１０２  データ再送信部、２１２３，５１０３  データ再受信部、２１２４，５１０４  データ置換部。
【図１】
0006272182.tif 000002
【図２】
0006272182.tif 000003
【図３】
0006272182.tif 000004
【図４】
0006272182.tif 000005
【図５】
0006272182.tif 000006
【図６】
0006272182.tif 000007
【図７】
0006272182.tif 000008
【図８】
0006272182.tif 000009
【図９】
0006272182.tif 000010
【図１０】
0006272182.tif 000011
【図１１】
0006272182.tif 000012
【図１２】
0006272182.tif 000013
【図１３】
0006272182.tif 000014
【図１４】
0006272182.tif 000015
【図１５】
0006272182.tif 000016