(57)【要約】【課題】  複数の信号処理回路を好適に使用して信号処理を行う。【解決手段】  複数の信号処理回路と、画像データの画素数変換処理を含む複数の信号処理を、前記複数の信号処理回路に分担して実行させるプログラムであって、前記複数の信号処理のうちの一部の信号処理を前記複数の信号処理回路のうちのどれで実行するかを、前記画素数変換処理の拡大率に応じて選択可能なプログラムを記憶した記憶回路と、を有する。【選択図】  図１
2005057738.tif 000002
【特許請求の範囲】
【請求項１】
信号処理装置であって、
複数の信号処理回路と、
画像データの画素数変換処理を含む複数の信号処理を、前記複数の信号処理回路に分担して実行させるプログラムであって、前記複数の信号処理のうちの一部の信号処理を前記複数の信号処理回路のうちのどれで実行するかを、前記画素数変換処理の拡大率に応じて選択可能なプログラムを記憶した記憶回路と、
を有することを特徴とする信号処理装置。
【請求項２】
前記一部の信号処理は、画像データの伸張処理のため行われる信号処理であることを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記複数の信号処理は、順次に実行されることで画像データの伸張処理が行われる複数の信号処理であることを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記複数の信号処理回路は、
第１の信号処理回路と、
該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、前記複数の信号処理のうちの他の信号処理を実行する第２の信号処理回路と、を含み、
前記プログラムは、前記一部の信号処理を、前記拡大率が所定の値よりも大きくなる場合に前記第１の信号処理回路で実行させ、前記拡大率が前記所定の値よりも小さくなる場合に前記第２の信号処理回路で実行させることが可能なものであることを特徴とする請求項１から３の何れか１項に記載の信号処理装置。
【請求項５】
前記複数の信号処理回路は、
第１の信号処理回路と、
該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、前記複数の信号処理のうちの他の信号処理を実行する第２の信号処理回路と、を含み、
前記プログラムは、
第１の信号処理と第２の信号処理とを、
前記拡大率が所定の値よりも大きくかつ該所定の値にならない場合に前記第１の信号処理回路で実行させ、
前記拡大率が前記所定の値よりも小さくかつ該所定の値にならない場合に前記第２の信号処理回路で実行させ、
前記拡大率が前記所定の値と等しい値になる場合に、前記第１の信号処理を前記第１の信号処理回路で実行させ前記第２の信号処理を前記第２の信号処理回路で実行させることが可能なものであることを特徴とする請求項１から３の何れか１項に記載の信号処理装置。
【請求項６】
前記複数の信号処理回路は、
第１の信号処理回路と、
該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、前記複数の信号処理のうちの他の信号処理を実行する第２の信号処理回路と、を含み、
前記プログラムは、
第１の信号処理と第２の信号処理とを、
前記拡大率が所定の値よりも大きくなる場合に前記第１の信号処理回路で実行させ、
前記拡大率が前記所定の値よりも小さい他の所定の値よりも小さくなる場合に前記第２の信号処理回路で実行させ、
前記拡大率が前記所定の値と前記他の所定の値との間の値になる場合に、前記第１の信号処理を前記第１の信号処理回路で実行させ前記第２の信号処理を前記第２の信号処理回路で実行させることが可能なものであることを特徴とする請求項１から３の何れか１項に記載の信号処理装置。
【請求項７】
前記一部の信号処理が、予測復号処理であることを特徴とする請求項４に記載の信号処理装置。
【請求項８】
前記一部の信号処理が、逆量子化処理であることを特徴とする請求項４に記載の信号処理装置。
【請求項９】
前記第１の信号処理が予測復号処理であり、前記第２の信号処理が逆量子化処理であることを特徴とする請求項５に記載の信号処理装置。
【請求項１０】
前記第１の信号処理が予測復号処理であり、前記第２の信号処理が逆量子化処理であることを特徴とする請求項６に記載の信号処理装置。
【請求項１１】
前記複数の信号処理回路は、
第１の信号処理回路と、
該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、前記複数の信号処理のうちの他の信号処理を実行する第２の信号処理回路と、を含み、
前記プログラムは、前記第２の信号処理回路における信号処理の対象となる信号を限定するための情報を設定する処理を実行するか否かを、前記画素数変換処理の拡大率に応じて選択可能であることを特徴とする請求項１から３の何れか１項に記載の信号処理装置。
【請求項１２】
前記複数の信号処理は、周波数領域信号に変換された画像データに対して実行する信号処理を含むことを特徴とする請求項１から１１の何れか１項に記載の信号処理装置。
【請求項１３】
信号処理装置であって、
第１の信号処理回路と、
該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、他の信号処理を実行する第２の信号処理回路と、
画像データの画素数変換処理を含む複数の信号処理を、前記第１及び第２の信号処理回路に分担して実行させるプログラムを記憶した記憶回路と、を有し、
前記プログラムは、前記第２の信号処理回路における信号処理の対象となる信号を限定するための情報を設定する処理を実行するか否かを、前記画素数変換処理の拡大率に応じて選択可能であることを特徴とする信号処理装置。
【請求項１４】
画像データの信号処理方法であって、
画像データの画素数変換処理を含む複数の信号処理のうちの一部の信号処理を、複数の信号処理回路のうちのどれで実行するかを、前記画素数変換処理の拡大率に応じて設定するステップと、
前記複数の信号処理を、前記複数の信号処理回路で分担して実行するステップと、を含み、
前記一部の信号処理は、前記設定するステップで設定された前記信号処理回路で実行することを特徴とする信号処理方法。
【請求項１５】
画像データの画素数変換処理を行う信号処理方法であって、
第１の信号処理回路で所定の信号処理を行うステップと、
該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、第２の信号処理回路で信号処理を行うステップと、を含み、
前記所定の信号処理が、前記第２の信号処理回路における信号処理の対象となる信号を限定するための情報を設定する設定処理を含むか含まないかが、前記画素数変換処理の拡大率に応じて選択されることを特徴とする信号処理方法。
【請求項１６】
複数の信号処理回路に、画像データの画素数変換処理を含む複数の信号処理を分担して実行させる手順と、
前記複数の信号処理のうちの一部の信号処理を、前記複数の信号処理回路のうちのどれで実行するかを選択する手順とをコンピュータに実行させるためのプログラム。
【請求項１７】
第１の信号処理回路に所定の信号処理を行わせ、該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、第２の信号処理回路で信号処理を行わせる手順と、
前記所定の信号処理が、前記第２の信号処理回路における信号処理の対象となる信号を限定するための情報を設定する設定処理を含むか含まないかが、画像データの画素数変換処理の拡大率に応じて選択される手順とをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、信号処理方法及びプログラムに関し、特に、信号の復号処理などの信号処理を、少なくとも２つのプロセッサにおいて分担して実行させる技術に適用して好適なものである。
【背景技術】
【０００２】
組み込みシステムにおいては、特定の機能に適したハードウェアアーキテクチャと命令とを備えたプロセッサを複数用いて、一連の処理をパイプライン式に行うように設計することが多い。また、複数の異なる処理を行わせる際に、個々のプロセッサはマルチタスクやマルチスレッド機構であったとしても、コスト面を考慮して、タスクやスレッドの単位で複数プロセッサ間での横断的なスケジューリング機構を持たせることが少ない。
【０００３】
従来、このようなマルチタスク、かつ複数のプロセッサを用いてパイプライン式に処理を行うシステムにおいて、動画符号化データの復号処理を行う場合には、以下のように行われていた。ここで、従来例としては、ＭＰＥＧ２動画圧縮手法に適用される復号処理について説明する。
【０００４】
図８に、従来の復号処理装置の一構成例を示す。まず、可変長復号処理に適したプロセッサ５１０において、ハフマン復号処理５００により入力される符号データをマクロブロックごとにハフマン復号し、予測復号処理５０１によりＤＣ成分や動きベクトルの予測復号処理を施し、データ受け渡し手段５０２によりプロセッサ５１０から一般的な画像処理に適したプロセッサ５１１へマクロブロックごとにデータを受け渡す。
【０００５】
一般的な画像処理に適したプロセッサ５１１においては、データに対して、逆量子化処理５０３、逆直交変換処理５０４および、動き補償処理５０５が実行されて、最終的なデータが出力される。
【０００６】
ところで、一般に、復号処理と同時に拡大縮小処理を行う方法が知られている。この拡大縮小処理においては、処理中に逆直交変換を実行する復号処理であれば、周波数領域で係数を間引いたり付加したりして、所望の大きさで逆直交変換して空間領域に変換することにより、良好な画質を得ることができ、復号後に解像度変換する場合に比べて処理量を節約することも可能となる。
【０００７】
【特許文献１】特開２００２−２０７７１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、図８に示す復号処理装置に上記の復号時の拡大縮小処理を適用すると、図９に示すように、復号処理の復号処理前段にあるハフマン復号処理は拡大率に関係なくほぼ一定で、復号処理の後段にある逆直交変処理や動き補償処理が拡大率に応じて変化する。すなわち、縮小処理時には、復号処理の前段を実行するプロセッサ５１０の処理が多くなり、拡大処理時には、復号処理の後段を実行するプロセッサ５１１の処理が多くなり、処理負荷のバランスが悪くトータルの処理効率が低下する。
【０００９】
従って、本発明の目的は、例えば、複数のプロセッサにおける処理負担のバランスを良好なものとすること、及び／若しくは、複数のプロセッサのそれぞれに必要とされる最大処理能力を低減することができる信号処理装置、その制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本願に係わる第１の発明は、信号処理装置であって、複数の信号処理回路と、画像データの画素数変換処理を含む複数の信号処理を、前記複数の信号処理回路に分担して実行させるプログラムであって、前記複数の信号処理のうちの一部の信号処理を前記複数の信号処理回路のうちのどれで実行するかを、前記画素数変換処理の拡大率に応じて選択可能なプログラムを記憶した記憶回路と、を有する。
【００１１】
ここで前記プログラムを記憶する記憶回路は第１の記憶回路、第２の記憶回路といった複数の記憶回路（この複数の記憶回路それぞれをサブ記憶回路と称する）から構成することもできる。この場合前記プログラムは、それぞれのサブ記憶回路に記憶されたプログラムによって構成されているものとする。また記憶回路もしくはサブ記憶回路は信号処理回路と同一の半導体基板上に集積することもできる。記憶回路もしくは前記サブ記憶回路は信号処理回路と同一の封止パッケージ内に設けることもできる。また前記記憶回路を複数のサブ記憶回路で構成する場合に、一部のサブ記憶回路を前記信号処理回路とともに集積回路を構成するものとし、他のサブ記憶回路は前記複数の信号処理回路とは集積しないサブ記憶回路として配置することもできる。
【００１２】
なおここで画素数変換処理の拡大率は例えば画素数変換前の画素数と画素数変換後の画素数の比率として定めることができる。この比率は１未満の値であってもよい。この場合画素数変換後の画素数は変換前の画素数よりも少なくなる。なお、拡大率に応じて選択可能、とは、前記比率として与えられる値に応じて選択できるようにした構成に限るものではない。例えば、画素数変換処理の際に、比率の値そのものではなく、間引き処理などよって減少させる画素の数や補間処理などにより増加させる画素の数(周波数領域でこれら処理を行う場合には間引きや補間の対象となる周波数成分の数)を指定する構成を採用することができる。このように何らかの条件に基づく信号処理の結果として画像の画素数が変化する場合の、その条件に応じて選択可能にする構成も、ここでいう拡大率に応じて選択可能という表現は含むものである。
【００１３】
また前記一部の信号処理は、画像データの伸張処理のため行われる信号処理である構成を好適に採用できる。なお複数の信号処理のうちの一部の信号処理とは、複数の信号処理のうちの一つの信号処理である場合や、前記複数の信号処理のうちの複数の信号処理である場合のいずれであってもよい。すなわち、どの信号処理回路で実行するかを選択する対象となる信号処理は一つであっても複数であってもよい。
【００１４】
また前記複数の信号処理は、順次に実行されることで画像データの伸張処理が行われる複数の信号処理である構成を好適に採用できる。ここで順次に実行される複数の信号処理とは、ある信号処理と、その信号処理を行った後（ここでいう"その信号処理を行った後"とはその信号処理の直後には限らず、ここでいう複数の信号処理に含まれない他の信号処理を更に行った後である場合も含む）にその信号処理の結果得られた信号（前記他の信号処理を更に行った結果得られた信号も含む）に対して実行されるべき信号処理と、から構成される。
【００１５】
また上記信号処理装置において、前記複数の信号処理回路は、第１の信号処理回路と、該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、前記複数の信号処理のうちの他の信号処理を実行する第２の信号処理回路と、を含んでおり、前記プログラムは、前記一部の信号処理を、前記拡大率が所定の値よりも大きくなる場合に前記第１の信号処理回路で実行させ、前記拡大率が前記所定の値よりも小さくなる場合に前記第２の信号処理回路で実行させることが可能なものである構成を好適に採用できる。
【００１６】
なおここで該第１の信号処理回路において信号処理が実行された結果得られる信号とは、第１の信号処理回路から出力された直後の信号のみを称するものではない。第１の信号処理回路で信号処理が実行された結果得られる信号に対して何らかの他の処理を行った結果得られる信号も含むものである。
【００１７】
また前記複数の信号処理回路は、第１の信号処理回路と、該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、前記複数の信号処理のうちの他の信号処理を実行する第２の信号処理回路と、を含んでおり、前記プログラムは、第１の信号処理と第２の信号処理とを、前記拡大率が所定の値よりも大きくかつ該所定の値にならない場合に前記第１の信号処理回路で実行させ、前記拡大率が前記所定の値よりも小さくかつ該所定の値にならない場合に前記第２の信号処理回路で実行させ、前記拡大率が前記所定の値と等しい値になる場合に、前記第１の信号処理を前記第１の信号処理回路で実行させ前記第２の信号処理を前記第２の信号処理回路で実行させることが可能なものである構成を好適に採用できる。
【００１８】
また前記複数の信号処理回路は、第１の信号処理回路と、該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、前記複数の信号処理のうちの他の信号処理を実行する第２の信号処理回路と、を含んでおり、前記プログラムは、第１の信号処理と第２の信号処理とを、前記拡大率が所定の値よりも大きくなる場合に前記第１の信号処理回路で実行させ、前記拡大率が前記所定の値よりも小さい他の所定の値よりも小さくなる場合に前記第２の信号処理回路で実行させ、前記拡大率が前記所定の値と前記他の所定の値との間の値になる場合に、前記第１の信号処理を前記第１の信号処理回路で実行させ前記第２の信号処理を前記第２の信号処理回路で実行させることが可能なものである構成も好適に採用できる。
【００１９】
また前記複数の信号処理回路は、第１の信号処理回路と、該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、前記複数の信号処理のうちの他の信号処理を実行する第２の信号処理回路と、を含んでおり、前記プログラムは、前記第２の信号処理回路における信号処理の対象となる信号を限定するための情報を設定する処理を実行するか否かを、前記画素数変換処理の拡大率に応じて選択可能である構成を好適に採用できる。
【００２０】
また本願は、第１の信号処理回路と、該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、他の信号処理を実行する第２の信号処理回路と、画像データの画素数変換処理を含む複数の信号処理を、前記第１及び第２の信号処理回路に分担して実行させるプログラムを記憶した記憶回路と、を有しており、前記プログラムは、前記第２の信号処理回路における信号処理の対象となる信号を限定するための情報を設定する処理を実行するか否かを、前記画素数変換処理の拡大率に応じて選択可能である、信号処理装置の発明も含んでいる。
【００２１】
また画像データの信号処理方法であって、画像データの画素数変換処理を含む複数の信号処理のうちの一部の信号処理を、複数の信号処理回路のうちのどれで実行するかを、前記画素数変換処理の拡大率に応じて設定するステップと、前記複数の信号処理を、前記複数の信号処理回路で分担して実行するステップとを有しており、前記一部の信号処理は、前記設定するステップで設定された前記信号処理回路で実行する信号処理方法の発明も本願は含んでいる。
【００２２】
また画像データの画素数変換処理を行う信号処理方法であって、第１の信号処理回路で所定の信号処理を行うステップと、該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、第２の信号処理回路で信号処理を行うステップと、を有しており、前記所定の信号処理が、前記第２の信号処理回路における信号処理の対象となる信号を限定するための情報を設定する設定処理を含むか含まないかが、前記画素数変換処理の拡大率に応じて選択される信号処理方法の発明も本願は含んでいる。
【００２３】
また画像データを信号処理するためのプログラムであって、複数の信号処理回路に、画像データの画素数変換処理を含む複数の信号処理を分担して実行させるように構成されており、かつ、前記複数の信号処理のうちの一部の信号処理を、前記複数の信号処理回路のうちのどれで実行するかを選択でいるように構成されているプログラムの発明も本願は含んでいる。
【００２４】
また画像データの画素数変換処理を行うためのプログラムであって、第１の信号処理回路に所定の信号処理を行わせ、該第１の信号処理回路において信号処理が実行された結果得られる信号に対して、第２の信号処理回路で信号処理を行わせるように構成されており、かつ、前記所定の信号処理が、前記第２の信号処理回路における信号処理の対象となる信号を限定するための情報を設定する設定処理を含むか含まないかが、前記画素数変換処理の拡大率に応じて選択されるように構成されているプログラムの発明も本願は含んでいる。
【発明の効果】
【００２５】
本発明によれば、複数の信号処理回路を用いて信号処理を好適に実行することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００２７】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１に、本発明の第１の実施形態による復号処理装置におけるプロセスの構成を示す。
【００２８】
本実施形態では画像データの伸張処理を行うために順次実行する複数の信号処理として、ハフマン復号処理、間引き処理、予測復号処理、逆量子化処理、逆直交変換処理、動き補償処理を行う。入力される画像データは周波数領域信号に変換された信号である。ここでは特にＭＰＥＧ２に則って圧縮された画像データを入力する構成としている。
【００２９】
本実施形態では、複数の信号処理回路を構成する２つの信号処理回路として第１のプロセッサ１３０と第２のプロセッサ１３１を用いる。これらのプロセッサはそれぞれ個別にパッケージされている。第１のプロセッサ１３０で信号処理された結果として得られる信号は、第２のプロセッサ１３１で更に他の信号処理を施される構成になっている。第１のプロセッサ１３０から出力された信号は、信号経路であるデータバスによって構成されるデータ受け渡し手段１０２を介して第２のプロセッサ１３１に入力されるように構成している。なお、本実施形態ではデータ受け渡し手段が更にメモリを有する構成を採用しており、第１のプロセッサ１３０から出力された信号をメモリに一時記憶させた後、必要なタイミングで読み出して第２のプロセッサ１３１に供給するように構成している。
【００３０】
ここでは、第１のプロセッサ１３０は第２のプロセッサよりもハフマン復号処理に適したものを用いるのが好適である。更に、第２のプロセッサ１３１は第１のプロセッサ１３０よりも逆直交変換処理、及び／もしくは動き補償処理に適したものを用いるのが好適である。
【００３１】
図１は本実施形態における、第１のプロセッサ１３０と第２のプロセッサ１３１とデータ受け渡し手段１０２の構成概念を示すブロック図であるとともに、各プロセッサで実行される信号処理の流れを示す図になっている。この実施形態におけるプログラムを記憶する記憶回路は、サブ記憶回路であるメモリ１３０１とサブ記憶回路であるメモリ１３１１である。メモリ１３０１は第１のプロセッサ内に、メモリ１３１１は第２のプロセッサ１３１内に設けられている。メモリ１３０１、メモリ１３１１には以下の信号処理を実行するためのプログラムが格納されている。拡大率を指定するための信号が各プロセッサに供給され、この信号に基づいてプログラムに沿った動作を各プロセッサに行わせることで、以下に説明する信号処理フローが実現される。
【００３２】
なお、メモリは各プロセッサのパッケージ内に設ける必要はなく、パッケージの外部に設けることもできる。また各プロセッサごとに対応させて、プログラムをそれぞれ記憶するメモリを配する必要はなく、一つのメモリに各プロセッサを制御するためのプログラムを記憶させておくこともできる。なおここでいうプログラムとは信号処理回路であるプロセッサが何を行うかを規定するもののことをいう。
【００３３】
図１に示すように、可変長復号処理に対する処理に好適な可変長復号用プロセッサ１３０においては、入力される符号データに対して、マクロブロックごとにハフマン復号処理１００が施され、外部からの拡大率の制御信号が縮小の場合に、間引き処理１０１が実行されて所望の大きさに変換される。
【００３４】
その後、切り替え処理１０５において外部からの拡大率の制御信号により以下の３通りの処理が切り替えられる。具体的にはこの切り替え処理はプログラムに従った処理の結果であるが、図１では各処理の流れをわかりやすくするために各プロセッサのブロック図内に仮想的なスイッチを示し、切り替え処理１０５に応じてこれらの仮想的なスイッチが切り替えられるように模式的に示している。
【００３５】
本実施形態では、画像が拡大される場合、画像が縮小される場合、画像が拡大も縮小もされない場合、の３つの場合で、各プロセッサが実行する信号処理の分担を異ならせている。ここでは各場合を画素数変換処理の前後の画素の比率Ｓを拡大率Ｓとして定めている。各プロセッサにおいて実行される処理のこの拡大率Ｓに応じた選択状態を図２に示す。なお、ここでは拡大率が所定の値である１よりも大きい場合、１よりも小さい場合、１の場合とにわけて、第１の信号処理である予測復号処理と第２の信号処理である逆量子化処理との２つの信号処理をどのプロセッサで実行するかを設定するようにしたが、所定値として例えば１．１を採用し、また他の所定値として０．９を採用し、拡大率が１．１よりも大きくなる場合、拡大率が１．１と０．９の間の値となる場合、拡大率が０．９よりも小さくなる場合とに分けて、２つの信号処理のそれぞれをどのプロセッサで実行するかを選択可能にしてもよい。この場合、前記所定値、もしくは前記他の所定値と拡大率Ｓが等しくなる場合を、その上下の値域のどちらに含めるかは適宜設定可能である。すなわち、本願において"拡大率がある値よりも大きくなる場合"、"拡大率がある値よりも小さくなる場合"という文言は、それだけでは拡大率がある値の上側の値域に属する場合と下側の値域に属する場合とを特定するものではない。
【００３６】
本実施形態では、図２に示すように、外部からの拡大率の制御信号に応じて、ハフマン復号処理が施されたデータ（以下、入力データと称す）に対して縮小変換処理が施される場合、入力データは、そのままデータ受け渡し手段１０２に供給される。
【００３７】
また、入力データに対して等倍変換処理が実行される場合、入力データは、第１の信号処理として、ＤＣ成分や動きベクトルの予測復号処理１１０が施された後、データ受け渡し手段１０２に供給される。
【００３８】
また、入力データに対して拡大変換処理が実行される場合、入力データは、第１の信号処理としての、ＤＣ成分や動きベクトルの予測復号処理１１１が施される。続いて、外部からの拡大率の制御信号により、第２の信号処理としての、拡大率に応じた所望の逆量子化処理が施された後、データ受け渡し手段１０２に供給される。なお、この場合、予測復号処理１１１において、拡大変換処理に必要な補間処理も併せて実行される。この補間処理は、逆量子化処理１１２において実行することも可能である。
【００３９】
以上のいずれかの処理が実行された後、データ受け渡し手段１０２により第１の情報処理手段としての可変長復号用プロセッサ１３０から、一般的な画像処理に適した第２の情報処理手段としての画像処理用プロセッサ１３１に、マクロブロックごとにデータの受け渡しが実行される。画像処理に好適な画像処理用プロセッサ１３１においては、切り替え処理１０５において外部からの拡大率の制御信号により以下の処理が切り替えられる。
【００４０】
まず、入力データに対して縮小変換処理が施される場合、入力データは、第１の信号処理としての、ＤＣ成分や動きベクトルの予測復号処理１２０が施される。続いて、入力データに対して、第２の信号処理としての、外部からの拡大率の制御信号により拡大率に応じた所望の逆量子化処理１２１が施されて、逆直交変換処理１０３に移行する。
【００４１】
また、入力データに対して等倍変換処理が施される場合、入力データは、第２の信号処理としての逆量子化処理１２２が施された後に、逆直交変換処理１０３に移行する。
【００４２】
また、入力データに対して拡大変換処理が施される場合、入力データに対しては、処理が行われず、そのまま逆直交変換処理１０３に移行する。
【００４３】
そして、以上の縮小変換処理、等倍変換処理、拡大変換処理のいずれかの処理が実行された後に、入力データに対して、外部からの拡大率の制御信号により拡大率に応じた逆直交変換処理１０３が施される。
【００４４】
その後、動き補償処理１０４において、外部からの拡大率の制御信号により拡大率に応じた動き補償処理が行われ、最終的な出力となる。
【００４５】
以上説明したように、この第１の実施形態においては、拡大率に応じて、それぞれのプロセッサの担う処理の分担を変更させることにより、図３に示すように、それぞれのプロセッサが実行する信号処理を分配して、拡大率に依存することなく、可変長復号用プロセッサ１３０（図３中、Ａ）と画像処理用プロセッサ１３１（図３中、Ｂ）との処理にかかる負荷を、互いにほぼ等しくすることができる。これにより、複数のプロセッサそれぞれに要求される最大処理能力の低減を図ることができる。また複数のプロセッサを用いた画像処理におけるトータルの処理効率を向上させることができる。
【００４６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図４に、第２の実施形態による信号処理装置のプロセス構成を示す。本実施形態でも第１の実施形態と同様に２つの信号処理回路として２つのプロセッサ３３０と３３１を用いる。各プロセッサはメモリ３３０１、３３１１に記憶されているプログラムに沿って信号処理を行う。
【００４７】
第１の実施形態においては、２つのプロセッサでの信号処理の分担を拡大率に応じて３つの場合に分けたが、本実施形態においては４つの場合に分けている。具体的には、画素数を増やす場合の処理フローとして、後段のプロセッサでの信号処理対象となる信号を限定するための情報を設定する処理を前段のプロセッサで行うか否かを選択できるようにしている。該設定処理が前段のプロセッサで行われた場合には、後段のプロセッサはその設定された情報に応じて特定の信号のみに必要な処理を施すことができる。
【００４８】
以下に本実施形態の構成を詳細に説明する。図４に示すように、この第２の実施形態においては、第１の信号処理手段としての、可変長復号処理に適した可変長復号用プロセッサ３３０において、入力される符号データに対してマクロブロックごとにハフマン復号処理３００が施される。その後、間引き処理３０１において外部からの拡大率の制御信号が縮小の場合に、入力データに対して係数の間引き処理が施され、所望の大きさに変換される。
【００４９】
続いて、切替処理３０５により、外部からの拡大率の制御信号により以下の４通りの処理が切り替えられる。この拡大率Ｓに応じ、それぞれの条件に対応した切替処理によって切り換えられる、それぞれのプロセッサ３３０、３３１において実行される処理の選択状態を図５に示す。
【００５０】
図５に示すように、外部からの拡大率の制御信号に応じて、ハフマン復号処理が施されたデータ（入力データ）に対して、縮小変換処理が施される場合、入力データは、信号処理が行われることなく、データ受け渡し手段３０２に供給される。データ受け渡し手段３０２の構成は第１の実施形態で用いたデータ受け渡し手段１０２と同じである。
【００５１】
また、入力データに対して等倍変換処理が施される場合、第１の信号処理としての、ＤＣ成分や動きベクトルの予測復号処理３１０が施される。その後、入力データは、データ受け渡し手段３０２に供給される。
【００５２】
また、入力データに対して、１倍を超えて所定の倍数以下、例えば１．５倍以下の拡大率Ｓ（１＜Ｓ≦１．５）の拡大変換処理が実行される場合、入力データに、第１の信号処理としての、ＤＣ成分や動きベクトルの予測復号処理３１１が施される。続いて、外部からの拡大率の制御信号により、入力データに、第３の信号処理としての、有意係数フラグ付加処理３１２が施されて、入力データにおける有意係数に対してフラグが立てられる。なお、有意係数フラグ付加処理３１２においては、ハフマン復号処理３００および予測復号処理３１１が施されたデータにおける有意係数にフラグを立てる処理が行われる。その後、入力データは、データ受け渡し手段３０２に供給される。なお、予測復号処理３１１において、拡大変換処理に必要な補間処理も合わせて実行される。
【００５３】
また、入力データに対して、拡大率Ｓが例えば１．５倍を超える（１．５＜Ｓ）拡大変換処理が実行される場合、入力データに、第１の信号処理としての、ＤＣ成分や動きベクトルの予測復号処理３１３が施される。続いて、外部からの拡大率の制御信号により、入力データに、第２の信号処理としての拡大率に応じた所望の逆量子化処理３１４が施された後、データ受け渡し手段３０２に供給される。
【００５４】
なお、データに対して拡大変換処理を施す場合、予測復号処理３１３において、拡大変換処理に必要な補間処理も併せて実行される。この補間処理は、逆量子化処理３１４において実行することも可能である。
【００５５】
その後、第２の情報処理手段としての画像処理用プロセッサ３３１にマクロブロックごとにデータが供給される。一般的な画像処理に適した画像処理用プロセッサ３３１においては、切り替え処理３０５により、図５に示すように、外部からの拡大率の制御信号に応じて、以下の４通りの処理が切り替えられる。
【００５６】
すなわち、入力データに対して縮小変換処理が施される場合、入力データは、第１の信号処理としての、ＤＣ成分や動きベクトルの予測復号処理３２０が施される。その後、外部からの拡大率の制御信号により拡大率に応じた所望の逆量子化処理３２１が施され、逆直交変換処理３０３に移行する。
【００５７】
また、入力データに対して等倍変換処理が施される場合、入力データに、そのまま逆量子化処理３２２が施されて、逆直交変換処理３０３に移行する。
【００５８】
また、入力データに対して、１倍を超え、かつ所定の倍率以下、例えば１．５倍以下の拡大率Ｓ（１＜Ｓ≦１．５）で拡大変換処理が実行される場合、入力データに対して、外部からの拡大率の制御信号による拡大率に応じて、上述した有意係数フラグ付加処理３１２によってフラグが付加された有意係数に対してのみに、第４の信号処理としての有意係数に対する第２の信号処理、すなわち有意係数逆量子化処理３２３が実行された後、逆直交変換処理３０３に移行する。画素数を増やす処理を行う場合、画素数の増加に伴って後段のプロセッサの処理負荷が増すことになるが、ここでは第１のプロセッサ３３０において画素数拡大のための補間処理を実行するのに合わせて、後段のプロセッサである第２のプロセッサ３３１での信号処理対象を限定するための情報を設定する処理である有意係数フラグを付加する処理を前段のプロセッサである第１のプロセッサ３３０で行うことで、画素数の増加処理を行うにもかかわらず後段のプロセッサ３３１の負荷の増加を抑制することができている。
【００５９】
具体的には、前段のプロセッサ３３０で設定された、信号処理対象を限定するための情報である有意係数フラグ（本実施形態では周波数領域の信号（各周波数成分の係数で構成される信号群）を扱っており、このフラグは、有意な周波数成分がどれであるかを示す情報となる）を、第２のプロセッサ３３１で参照することにより第２のプロセッサ３３１における有意でない信号に対する処理を減らすことができている。なお、信号処理対象を限定するための情報としては、特定の信号が有意であることを示す情報であっても、特定の情報が有意でないことを示す情報であってもよい。
【００６０】
また、入力データに対して、所定の倍率、例えば１．５倍を超えた拡大率（１．５≦Ｓ）の拡大変換処理が施されている場合、この入力データに対して処理が施されることなく、入力データが逆直交変換処理３０３に供給される。
【００６１】
以上の４通りの処理のうちのいずれかの処理が入力データに対して施された後、逆直交変換処理３０３に移行する。そして、入力データに対して、外部からの拡大率の制御信号により、拡大率に応じた逆直交変換処理３０３が施された後、外部からの拡大率の制御信号により拡大率に応じた動き補償処理３０４が実行されて、最終的な出力となる。
【００６２】
以上説明したように、この第２の実施形態においては、拡大率に応じて、それぞれのプロセッサの担う処理を変更して、それぞれのプロセッサが実行する信号処理を分散していることにより、拡大率に依存することなく、可変長復号用プロセッサ３３０と画像処理用プロセッサ３３１との処理にかかる負荷を互いにほぼ等しくすることができる。これにより、複数のプロセッサそれぞれに要求される最大処理能力の低減を図ることができ、複数のプロセッサを用いた画像処理におけるトータルの処理効率を向上させることができる。
【００６３】
また、画素数を増やす信号処理を行う場合に、後段のプロセッサで行う信号処理の対象を限定するための情報を設定する信号処理を前段のプロセッサで行うことにより、適応度の高い処理を実行することが可能となるとともに、それぞれのプロセッサの処理負荷のバランスを向上させることができる。
【００６４】
（比較例）
次に、上述した第２の実施形態による復号処理装置に対する比較例について説明する。図６にこの比較例の構成を示す。
【００６５】
まず、図６に示すように、可変長復号処理に適したプロセッサ６１０において、入力される符号データに対して、マクロブロックごとにハフマン復号処理６００が施される。次に、外部からの拡大率の制御信号が縮小の場合に、係数の間引き処理６０１が実行され、所望の大きさに変換される。
【００６６】
次に、ＤＣ成分や動きベクトルの予測復号処理６０２が施され、データ受け渡し手段６０３によりプロセッサ６１０から、一般的に画像処理に適したプロセッサ６１１に、マクロブロックごとにデータが供給される。
【００６７】
一般的な画像処理に適したプロセッサ６１１においては、入力データに対して、外部からの拡大率の制御信号により拡大率に応じた逆量子化手段６０４が施される。続いて、この入力データに対して、外部からの拡大率の制御信号に基づいて拡大率に応じた逆直交変換処理６０５が施される。そして、外部からの拡大率の制御信号に基づいた拡大率に応じて、入力データに対して動き補償処理６０６が実行され、最終的な出力となる。
【００６８】
以上のようにして、比較例による復号処理装置のプロセッサが構成されている場合、復号と同時に拡大縮小処理する機能を有しているため、それぞれのプロセッサにより実行される処理が固定されている。
【００６９】
そのため、図７Ａに示すように、縮小時において復号処理の前段を実行するプロセッサ６１０（図７Ａ中、Ａ）の処理がプロセッサ６１１の処理より多くなり、拡大変換処理時において復号処理の後段を実行するプロセッサ６１１（図７Ａ中）の処理が多くなる。そして、図７Ｂに示すように、処理負荷のバランスが悪くなって、トータルの処理効率が低下してしまう。特に、縮小時においては、総合的に等倍時における場合と処理量が同量になってしまう。
【００７０】
これに対し、上述した第１および第２の実施形態による復号処理装置においては、拡大率に応じて、それぞれのプロセッサの実行する機能ブロックが変化させるように構成されているので、拡大率に関係なく、それぞれのプロセッサの処理負荷のバランスを良好に維持することができ、トータルの処理効率をはるかに向上させることができるので、高速な復号処理を実現することが可能となり、これにより、各プロセッサに要求される最大処理能力を低減することができる。
【００７１】
なお、メモリ１３０１、１３１１、３３０１、３３１１に格納されているプログラムは、パーソナルコンピュータ等を用いて外部で作成したものを各メモリ１３０１、１３１１、３３０１、３３１１に書き込めばよい。外部で作成したプログラムを記憶媒体に保存しておき、該記憶媒体を介して各メモリ１３０１、１３１１、３３０１、３３１１に供給することもできる。
【００７２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、ＤＶＤ±Ｒ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【図面の簡単な説明】
【００７３】
【図１】本発明の第１の実施形態に係る復号処理装置の構成を示したブロック図である。
【図２】本発明の第１の実施形態に係る切り替え手段による切り替え処理動作の条件を示した図である。
【図３】本発明の第１の実施形態に係る復号処理装置内の処理負荷のバランスを示した図である。
【図４】本発明の第２の実施形態に係る復号処理装置の構成を示したブロック図である。
【図５】本発明の第２の実施形態に係る切り替え手段による切り替え処理動作の条件を示した図である。
【図６】比較例としての復号処理装置の構成を示した図である。
【図７Ａ】比較例における処理量と拡大率との関係を示す図である。
【図７Ｂ】比較例における処理負荷のバランスを示した図である。
【図８】従来の復号処理装置の一構成例を示したブロック図である。
【図９】従来例の処理量と拡大率との関係を示した図である。
【符号の説明】
【００７４】
１００  ハフマン復号処理
１０１  間引き処理
１０２  データ受渡し手段
１０３  逆直交変換処理
１０４  動き補償処理
１０５  切替処理
１１０、１１１、１２０  予測復号処理
１１２、１２１、１２２  逆量子化処理
１３０  第１のプロセッサ
１３１  第２のプロセッサ
１３０１、１３１１  メモリ
３００  ハフマン復号処理
３０１  間引き処理
３０２  データ受渡し手段
３０３  逆直交変換処理
３０４  動き補償処理
３０５  切替処理
３１０、３１１、３１３  予測復号処理
３１２  有意係数フラグ付加処理
３１４、３２１、３２２  逆量子化処理
３２０  予測信号処理
３２３  有意係数逆量子化処理
３３０  第１のプロセッサ
３３１  第２のプロセッサ
３３０１、３３１１  メモリ
【図１】
2005057738.tif 000003
【図２】
2005057738.tif 000004
【図３】
2005057738.tif 000005
【図４】
2005057738.tif 000006
【図５】
2005057738.tif 000007
【図６】
2005057738.tif 000008
【図７Ａ】
2005057738.tif 000009
【図７Ｂ】
2005057738.tif 000010
【図８】
2005057738.tif 000011
【図９】
2005057738.tif 000012