(57)【要約】【課題】効率良くデータ伝送を行う。【解決手段】画像データを符号化しストリームデータに変換するとともに、ストリームデータを復号し画像データに変換するフレーム符号化復号化部１０５を有する画像処理システム１において、ストリームバス１０７とビデオバス１０８の物理的に異なる２本のバスを設け、ストリームバス１０７はフレーム符号化復号化部１０５に入力されるストリームデータおよびフレーム符号化復号化部１０５から出力されるストリームデータを伝送し、ビデオバス１０８はフレーム符号化復号化部１０５に入力される画像データおよびフレーム符号化復号化部１０５から出力される画像データを伝送する。【選択図】　図１
2004040655.tif 000002
【特許請求の範囲】
【請求項１】
画像データを符号化してストリームデータに変換する符号化処理および／またはストリームデータを復号して画像データに変換する復号化処理を実行する符号化復号化手段と、
上記符号化復号化手段に入力されるストリームデータおよび上記符号化復号化手段から出力されるストリームデータを伝送する第１のバスと、
上記符号化復号化手段に入力される画像データおよび上記符号化復号化手段から出力される画像データを伝送する第２のバスとを有する画像処理装置。
【請求項２】
ストリームデータを記憶するストリームデータ記憶手段と、
画像データを記憶する画像データ記憶手段とを有し、
上記ストリームデータ記憶手段は第１のバスに接続され、上記画像データ記憶手段は第２のバスに接続されていることを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記ストリームデータ記憶手段は、当該画像処理装置の内部に設けられ、上記画像データ記憶手段は、当該画像処理装置の外部に設けられていることを特徴とする請求項２記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データの符号化および／またはストリームデータの復号化を実行する画像処理装置に関する。
【０００２】
【従来の技術】
図４は、従来の画像処理装置３の構成を示すブロック図である。画像処理装置３は、ストリームデータの入出力インターフェースであるストリーム入出力部３０１と、画像データの入出力インターフェースである画像入出力部３０２と、画像データの符号化および復号化を行うフレーム符号化復号化部３０３と、画像データおよびストリームデータを記憶する共通メモリ３０４とを有し、画像データの符号化およびストリームデータ復号を行う。
【０００３】
画像処理装置３の各ブロックは、共通バス３０６により接続されており、画像データとストリームデータは共通のバス、すなわち、共通バス３０６により伝送されている。
【０００４】
【発明が解決しようとする課題】
ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）２およびＭＰＥＧ４の方式を用いて画像データを符号化する場合、画像データを３種類のピクチャ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に分類して符号化する。ストリームデータは、ピクチャタイプに応じて、データ量が異なり、ストリームバスのデータ転送量は、ピクチャタイプに応じて変化する。
【０００５】
また、外部装置からストリーム入出力部３０１を介してストリームデータを入力する場合、外部装置のＣＰＵは、複数のジョブを順に実行するため、ある一定時間ストリームデータを出力する処理を行ったのち、その他の処理に移行する。この場合、ＣＰＵがストリームデータの出力処理を実行している間は、共通バス３０６の伝送量が増加し、ＣＰＵが他の処理を実行している間は、共通バス３０６の伝送量が低下する。共通バス３０６は、ストリームデータの伝送量の変化に対応するためにバスの反応性を向上しなくてはならない。バスの反応性を向上するためには、バスのバンド幅を通常の伝送量の３倍程度に上げなくてはならない。
【０００６】
また、画像データは、圧縮されていないため、ストリームデータと比較してデータ量が大きくなる。画像データとストリームデータとを共通バスで伝送する場合、共通バスは、データ伝送量を大きくし、かつ、バスの反応性を高くしなければならない。
【０００７】
例えば、ストリームデータを伝送するために通常５Ｍｂｐｓのバンド幅が必要であり、画像データを伝送するために通常５０Ｍｂｐｓのバンド幅が必要であるとすると、２つのバンド幅を足してバスのバンド幅は５５（＝５＋５０）Ｍｂｐｓが必要になる。さらに、ストリームデータの伝送量の変化に対応するため、バスの反応性を向上させると３倍のバンド幅、すなわち、１６５（＝５５×３）Ｍｂｐｓのバンド幅が必要になる。
【０００８】
このように、画像データを伝送するためにデータの伝送量を大きくし、ストリームデータを伝送するためにバスの反応性を向上すると、２つの要求を満たすために性能の高いバスが必要になる。性能の高いバスは、高価であり、消費電力も大きい。
【０００９】
本発明は、上記課題に鑑みてなされたものであって、効率良くデータを伝送する画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した目的を達成するために、本発明にかかる画像処理装置は、画像データを符号化してストリームデータに変換する符号化処理および／またはストリームデータを復号して画像データに変換する復号化処理を実行する符号化復号化手段と、符号化復号化手段に入力されるストリームデータおよび符号化復号化手段から出力されるストリームデータを伝送する第１のバスと、符号化復号化手段に入力される画像データおよび符号化復号化手段から出力される画像データを伝送する第２のバスとを有する。
【００１１】
【発明の実施の形態】
以下、本発明を適用した画像処理システム１について説明する。画像処理システム１は、画像データの符号化および復号化を行う。本実施の形態では、画像データの符号化・復号化方式として、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）２またはＭＰＥＧ４を使用する。画像処理システム１は、異なる２つのバスを備え、一方のバスで圧縮されたストリームデータを伝送し、他方のバスで圧縮されていない画像データを伝送する。本実施の形態における画像処理システム１は、ストリームデータと画像データとを物理的に異なる２本のバスで伝送することを特徴としており、これにより伝送効率を向上した。
【００１２】
図１は、画像処理システム１の構成を示すブロック図である。画像処理システム１は、ストリームデータの入出力インターフェースであるストリーム入出力部１０１、ストリームデータを記憶するストリームメモリ１０２、画像データの入出力インターフェースである画像入出力部１０３、画像データを記憶する画像メモリ１０４、画像データの符号化およびストリームデータの復号を行うフレーム符号化復号化部１０５、画像処理システム１を構成するブロックの制御を行うＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０６を備えている。
【００１３】
ストリーム入出力部１０１、ストリームメモリ１０２、フレーム符号化復号化部１０５、ＣＰＵ１０６はストリームバス１０７に接続されており、画像入出力部１０３、画像メモリ１０４、フレーム符号化復号化部はビデオバス１０８に接続されている。ストリームバス１０７とビデオバス１０８とは、物理的に異なる２本のバスであり、ストリームバス１０７はストリームデータを伝送し、ビデオバス１０８は画像データを伝送する。
【００１４】
ストリーム入出力部１０１は、画像処理システム１と外部装置との間でストリームデータを転送するためのインターフェースである。ストリーム入出力部１０１は、外部装置の出力端子とストリームバス１０７とを接続する。ストリーム入出力部１０１は、外部装置とストリームバス１０７の伝送形式を統一化し、画像処理システム１と外部装置との間のデータの受け渡しを可能にする。
【００１５】
ストリームメモリ１０２は、ストリームデータを格納するためのバッファである。異なるブロックの間でデータ伝送を行う際、緩衝用の記憶装置としてのストリームメモリ１０２が必要である。ストリームメモリ１０２は、フレーム符号化復号化部１０５と外部装置との間で転送されるストリームデータを一時的に格納し、ＣＰＵ１０６の制御に従ってストリームデータを出力する。
【００１６】
画像入出力部１０３は、画像処理システム１と外部装置との間で画像データを転送するためのインターフェースである。画像入出力部１０３は、外部装置の出力端子とビデオバス１０８とを接続する。画像入出力部１０３は、外部装置とビデオバス１０８の伝送形式を統一化し、画像処理システム１と外部装置との間のデータの受け渡しを可能にする。
【００１７】
画像メモリ１０４は、画像データを記録するためのメモリである。画像メモリ１０４は、作業領域としてデータを一時的に記憶する他に、記録装置として画像データを記録する。
【００１８】
フレーム符号化復号化部１０５は、可変長符号化部１０９、量子化処理部１１０、ＤＣＴ処理部１１１、動き補償部１１２、動き検出部１１３を有する。フレーム符号化復号化部１０５の各ブロックは、ストリームデータが入力されたときには復号化の処理を行い、画像データが入力されたときには符号化の処理を行う。
【００１９】
まず、ストリームデータの復号を行う際のフレーム符号化復号化部１０５の動作について説明する。
【００２０】
可変長符号化部１０９は、ストリームバス１０７と接続されている。可変長符号化部１０９は、入力したストリームデータを符号化モード情報、動きベクトル、量子化情報および量子化ＤＣＴ係数に分離する。可変長符号化部１０９は、符号化モード情報、量子化情報および量子化ＤＣＴ係数を量子化処理部１１０に出力し、符号化モード、動きベクトルを動き補償部１１２に出力する。
【００２１】
量子化処理部１１０は、入力した量子化ＤＣＴ係数を逆量子化してＤＣＴ係数に復元し、ＤＣＴ処理部１１１に出力する。ＤＣＴ処理部１１１は、入力したＤＣＴ係数に逆ＤＣＴ変換を施す。符号化モードがイントラ符号化モードのときは、逆ＤＣＴ変換を受けたデータは動き補償予測における基準の画像データになるため、ＤＣＴ処理部１１１は動き補償部１１２を通過して画像メモリ１０４に基準の画像データを出力する。また、符号化モードが動き補償予測モードの場合は、逆ＤＣＴ変換を受けたデータは動き補償部１１２によって基準の画像データと加算される動き補償処理を施された後に、画像メモリ１０４に伝送される。
【００２２】
動き補償部１１２は、ＤＣＴ処理部１１１から出力された基準の画像データと可変長符号化部１０９から出力された動きベクトルとを入力する。動き補償部１１２は、入力した基準の画像データに動きベクトルから決定される動き補償の画像データを加算し、画像データを生成する。動き補償部１１２は、生成した画像データを画像メモリ１０４に出力する。
【００２３】
次に、符号化を行う場合における、フレーム符号化復号化部１０５の動作について説明する。
【００２４】
動き検出部１１３は、ビデオバス１０８に接続されており、画像データを入力する。動き検出部１１３は、画像データを入力し、入力した画像データの平均２乗予測誤差（ＭＳＥ）と平均２乗偏差の情報を用い、入力した画像データが画像内符号化画像／画像間符号化画像であるかを判定する。また、動き検出部１１３は、入力した画像データが画像間符号化画像である場合、入力した画像データの平均２乗予測誤差の情報を用いて、入力した画像データの符号化モードを判定する。動き検出部１１３は、これらの判定結果を動き補償部１１２に出力する。
【００２５】
動き補償部１１２は、ビデオバス１０８に接続されており、画像データ、画像データの符号化モードおよび画像データが画面内符号化画像／画像間符号化画像であるかを示す信号を入力する。動き補償部１１２は、入力された画像データが画面内符号化画像であるとき、画像データをＤＣＴ処理部１１１に出力する。また、動き補償部１１２は、入力された画像データが画像間符号化画像であるとき、画像データと画面内符号化画像との差分から予測誤差信号を求め、ＤＣＴ処理部１１１に出力する。
【００２６】
ＤＣＴ処理部１１１は、予測誤差信号および画面内符号化画像の画像データにＤＣＴ変換を施し、ＤＣＴ係数を算出する。ＤＣＴ処理部１１１は、算出したＤＣＴ係数を量子化処理部１１０に出力する。
【００２７】
量子化処理部１１０は、ＤＣＴ処理部１１１から出力されたＤＣＴ係数を量子化し、量子化ＤＣＴ係数に変換する。可変長符号化部１０９は、量子化処理部１１０から出力された量子化ＤＣＴ係数に可変長符号化を施し、ストリームデータを生成する。可変量符号化部は、生成したストリームデータをストリームメモリ１０２に出力する。
【００２８】
以上のように、フレーム符号化復号化部１０５は、ストリームバス１０７およびビデオバス１０８に接続されており、ストリームバス１０７を介して入力したストリームデータを画像データに変換してビデオバス１０８に出力するとともに、ビデオバス１０８を介して入力した画像データをストリームデータに変換してストリームバス１０７に出力する。
【００２９】
画像処理システム１のブロックは、ストリームバス１０７とビデオバス１０８という物理的に異なる２本のバスによって接続されている。ストリームバス１０７は、ストリームデータを伝送するバスである。ストリームバス１０７には、ストリーム入出力部１０１と、フレーム符号化復号化部１０５と、ストリームメモリ１０２と、ＣＰＵ１０６とが接続される。また、ビデオバス１０８は、画像データを伝送するためのバスである。ビデオバス１０８には、画像入出力部１０３と、フレーム符号化復号化部１０５と、画像メモリ１０４とが接続される。
【００３０】
ストリームバス１０７とビデオバス１０８の性質の違いについて説明する。図２は、ストリームバス１０７とビデオバス１０８の性質を示す図である。ストリームバス１０７は、ビデオバス１０８と比較して、小さなバンド幅と、大きな反応性を有する。ビデオバス１０８は、ストリームバス１０７と比較して大きなバンド幅を有し、多量のデータを規則的に伝送する。
【００３１】
ストリームバス１０７とビデオバス１０８の性質の差は、伝送するデータの種類によって生じる。ストリームバス１０７は、ＭＰＥＧ２またはＭＰＥＧ４の方式に従って符号化されたストリームデータを伝送する。ＭＰＥＧ２またはＭＰＥＧ４では、画像データを３種類のピクチャ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に分類して符号化する。ストリームデータは、ピクチャタイプに応じて、データ量が異なり、ストリームバス１０７のデータ転送量は、ピクチャタイプに応じて変化する。
【００３２】
また、外部装置のＣＰＵによりストリームデータが出力される場合、ＣＰＵは、複数のジョブを順に実行するため、ある一定時間ストリームデータを出力する処理を行ったのち、その他の処理に移行する。この場合、外部装置のＣＰＵの状態に応じて、ストリームバス１０７のデータ転送量は変化する。
【００３３】
ストリームバス１０７は、データ転送量の変化に対応するために、バスの反応性を向上しなくてはならない。バスの反応性を向上するためには、バスのバンド幅を通常の３倍程度に上げる。ストリームデータは、画像データと比較してデータ量が少ないので、バスのバンド幅を３倍にしても、ストリームバスのバンド幅は、余り高くならない。例えば、ストリームバス１０７の通常のバンド幅が５Ｍｂｐｓであるとき、ストリームバスのバンド幅は、１５（＝５×３）Ｍｂｐｓのバンド幅でよくなる。
【００３４】
また、ビデオバス１０８は画像データを伝送する。画像データは、圧縮されていないため、ストリームデータと比較すると、データの伝送量が大きくなる。また、ビデオバス１０８に出力される画像データは、画像メモリ１０４に蓄積され、画像メモリ１０４から一定の量の画像データが規則的に伝送されるため、バスの反応性を向上させる必要はない。そのため、ビデオバス１０８の通常のバンド幅が５０Ｍｂｐｓとすると、この５０Ｍｂｐｓのバンド幅を有するビデオバス１０８を使用すれば、画像データを伝送することができる。
【００３５】
これに対し、ストリームデータと画像データを混在させ、一本のバスで伝送する場合、バスの性能を上げなくてはならない。例えば、上の例と同じようにストリームデータを伝送するためのバンド幅が５Ｍｂｐｓ、画像データを伝送するためのバンド幅が５０Ｍｂｐｓとすると、２つのバンド幅を足してバスのバンド幅は５５（＝５＋５０）Ｍｂｐｓが必要になる。さらに、ストリームデータの伝送量の変化に対応するため、バスの反応性を向上させると３倍のバンド幅、すなわち、１６５（＝５５×３）Ｍｂｐｓのバンド幅が必要になる。
【００３６】
バスを分離したときのストリームバス１０７のバンド幅は１５Ｍｂｐｓ、ビデオバス１０８のバンド幅は５０Ｍｂｐｓであるため、ストリーム用のバスと画像データ用のバスを分離すると、ストリームデータと画像データとを混在させたときよりもバンド幅の低いバスでデータ伝送ができるようになる。
【００３７】
バスのバンド幅を低くすると、バスの消費する電力が小さくすることができる。また、バンド幅の低いバスは、安価であり、画像処理システム１を製造するコストを下げることができる。
【００３８】
次に、上記画像処理システム１の変形例として、画像処理装置２を説明する。図３は、画像処理装置２の構成を示すブロック図である。画像処理装置２は、ストリームデータの入出力インターフェースであるストリーム入出力部２０１、画像データの符号化およびストリームデータの復号化を行うフレーム符号化復号化部２０２、画像データの入出力インターフェースである画像入出力部２０３、ストリームデータを記憶する内部メモリ２０４、画像処理システムの各ブロックを制御するＣＰＵ２０５を備える。
【００３９】
画像処理装置２のブロックは、ストリームバス２０６とビデオバス２０７との物理的に異なる２本のバスによって接続されている。ストリームバス２０６は、ストリームデータを伝送するバスである。ストリームバス２０６には、ストリーム入出力部２０１と、フレーム符号化復号化部２０２と、内部メモリ２０４と、ＣＰＵ２０５とが接続される。また、ビデオバス２０７は、画像データを伝送するためのバスである。ビデオバス２０７には、画像入出力部２０３と、フレーム符号化復号化部２０２が接続されている。
【００４０】
また、ビデオバス２０７には、画像データを記憶するための外部メモリ２０８が接続されている。外部メモリ２０８は画像処理装置２の外部に設けられており、ビデオバス２０７を介してデータの伝送を行う。画像処理装置２の内部には、ＤＭＡ２０９（Ｄｉｒｅｃｔ　Ｍｅｍｏｒｙ　Ａｃｃｅｓｓ）が設けられており、外部メモリ２０８と内部メモリ２０４との間のデータのやりとりを制御する。
【００４１】
内部メモリ２０４は、画像処理装置２の内部に設けられたメモリである。内部メモリ２０４は、ストリームバス２０６に接続されており、ストリームデータを記憶する。内部メモリ２０４は、画像処理装置２の内部に設けられているため、ストリームバス２０６のバス幅やバンド幅を大きく設定して、バスの反応性を高めることができる。
【００４２】
外部メモリ２０８は、画像処理装置２の外部に設けられており、ビデオバス２０７に接続されている。外部メモリ２０８は、内部メモリ２０４と比較して大型のメモリであり、外部メモリ２０８に接続されるビデオバス２０７は、バスのビット幅や周波数を低く抑えている。外部メモリ２０８は、大型でバスの性能も高くなくてもよいので、容量が大きく安価なメモリが適用できる。
【００４３】
ＤＭＡ２０９部は、ストリームバス２０６とビデオバス２０７に接続されており、内部メモリ２０４と外部メモリ２０８との間のデータ転送を制御する。ＤＭＡ２０９部は、内部メモリ２０４の記憶容量が限界になると、内部メモリ２０４に記憶されたデータを外部メモリ２０８に転送し、内部メモリ２０４に記憶されたストリームデータの一時的な保管場所として利用する。
【００４４】
ストリーム入出力部２０１、画像入出力部２０３、フレーム符号化復号化部２０２、ＣＰＵ２０５は、上記画像処理システムのストリーム入出力部２０１、画像入出力部２０３、フレーム符号化復号化部２０２、ＣＰＵ２０５と同じ機能を有するため、説明を省略する。
【００４５】
以上のような画像処理装置２では、ストリームデータを記憶する内部メモリ２０４を画像処理装置２の内部に設けているため、ストリームバス２０６のバス幅やバンド幅を大きく設定し、バスの反応性を高くすることができる。また、画像データを記録する外部メモリ２０８を画像処理装置２の外部に設けているため、外部メモリ２０８の記憶容量を大きくすることができる。
【００４６】
また、外部メモリ２０８と内部メモリ２０４との間のデータ転送を制御するＤＭＡ２０９を設けたため、内部メモリ２０４の容量が限界に達したときの補助記憶装置として外部メモリ２０８を使用することができる。
【００４７】
例えば、ネットワークを介してストリームデータを受信するとき、ネットワークの影響でジッターが多い場合がある。この場合、十分な量のストリームデータを蓄積してからでないと、復号処理を開始することができない。必要なストリームデータの容量より内部メモリ２０４の容量が少ない場合には、ＤＭＡ２０９は、内部メモリ２０４に記憶されたストリームデータを外部メモリ２０８に転送し、十分なストリームデータを蓄積することができる。
【００４８】
以上のように、本発明を適用した画像処理システムおよび画像処理装置では、ストリームデータを伝送するストリームバスと画像データを伝送するビデオバスとの異なる２本のバスを使用している。ストリームバスとビデオバスを分離したため、ビデオデータとストリームデータとの両方のデータ伝送に適したバスを使用する必要がなくなり、システムを構成するために性能の高いバスを使用する必要がなくなる。高性能のバスが不要になると、バスのコストを抑えることができるとともに、バスの消費する電力を減少させることができる。
【００４９】
また、ビデオバスには、一定量の画像データが規則的に流れるため、バスのビット幅や周波数を低く抑えることが可能になる。そのため、ビデオバスには、大容量のデータを記憶する外部メモリが接続できるようになり、画像処理装置で記録できるデータの容量が増加する。
【００５０】
また、ストリームバスに接続された内部メモリには、ストリームデータしか記憶されない。ストリームデータは、符号化されているため、データ量が小さくメモリを小型化し、画像処理装置にメモリを内蔵することができる。メモリを内蔵することで、バスのビット幅や周波数を大きく設定し、バスの反応性を高くすることができる。
【００５１】
なお、本発明にかかる画像処理システムは、上記実施の形態に限定されることはなく、本発明の要旨を含む範囲での変形、改良は本発明に含まれるものとする。例えば、本実施の形態では、画像データの符号化およびストリームデータの復号化を実行する画像処理システムおよび画像処理装置としたが、画像データの符号化もしくはストリームデータの復号化のいずれかを実行する画像処理装置に対しても本発明を適用することができる。
【００５２】
また、上記実施の形態では、画像データの符号化方式をＭＰＥＧとしたが、必ずしもＭＰＥＧに限定されることはなく、画像データを圧縮する方式であれば、その他の符号化方式を用いてもよい。
【００５３】
【発明の効果】
本発明にかかる画像処理装置は、画像データを符号化してストリームデータに変換する符号化処理および／またはストリームデータを復号して画像データに変換する復号化処理を実行する符号化復号化手段と、符号化復号化手段に入力されるストリームデータおよび符号化復号化手段から出力されるストリームデータを伝送する第１のバスと、符号化復号化手段に入力される画像データおよび符号化復号化手段から出力される画像データを伝送する第２のバスとを有する。そのため、画像データとストリームデータとの両方のデータ伝送に適したバスを使用する必要がなくなり、バスの伝送効率が向上する。
【図面の簡単な説明】
【図１】本発明を適用した画像処理システムの構成を示すブロック図である。
【図２】ビデオバスとストリームバスの特性を示す図である。
【図３】本発明を適用した画像処理装置の構成を示すブロック図である。
【図４】従来の画像処理装置の構成を示すブロック図である。
【符号の説明】
１　画像処理システム、１０１　ストリーム入出力部、１０２　ストリームメモリ、１０３　画像入出力部、１０４　画像メモリ、１０５　フレーム符号化復号化部、１０７　ストリームバス、１０８　ビデオバス、２　画像処理装置、２０１　ストリーム入出力部、２０２　フレーム符号化復号化部、２０３　画像入出力部、２０４　内部メモリ、２０６　ストリームバス、２０７　ビデオバス、２０８　外部メモリ、２０９　ＤＭＡ
【図１】
2004040655.tif 000003
【図２】
2004040655.tif 000004
【図３】
2004040655.tif 000005
【図４】
2004040655.tif 000006