(57)【要約】 【課題】  複数の画像データ系列に対する符号化と複数の符号化された画像データ系列に対する復号とを行なう装置の小型化を実現する【解決手段】  複数の画像データ系列に対する符号化と複数の符号化された画像データ系列に対する復号とを行なう装置であって、メモリ領域に対する読み出しと書き込みを行なうインタフェース制御回路（３０７，３０８）と、メモリ領域に書き込まれた一の系列の画像データに対する符号化又は一の系列の符号化された画像データに対する復号を選択的に行なう符号化復号回路（３１２）と、前記符号化復号回路に処理を指示する複数のレジスタ（３０８〜３１１）とを有し、前記符号化復号回路は前記レジスタによる指示にしたがって複数系列の画像データに対して系列単位に時分割で符号化及び復号を行なう。マルチストリームの画像データに対する符号化と復号とを行なう装置を小型化することができる。【選択図】        図５
2005176001.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データ系列に対する符号化と複数の符号化された画像データ系列に対する復号とを行なう半導体装置であって、
メモリ領域に対する読み出しと書き込みを行なうインタフェース制御回路と、
メモリ領域に書き込まれた一の系列の画像データに対する符号化又は一の系列の符号化された画像データに対する復号を選択的に行なう符号化復号回路と、
前記符号化復号回路に処理を指示する複数のレジスタとを有し、
前記符号化復号回路は前記レジスタによる指示にしたがって複数系列の画像データに対して系列単位に時分割で符号化及び復号を行なうことを特徴とする半導体装置。
【請求項２】
前記複数のレジスタとしてアドレスレジスタを有し、前記アドレスレジスタは画像データの系列毎にメモリ領域のアドレスが指定されるアドレスレジスタであり、
前記メモリ領域は更に、画像データの符号化に用いる符号化用情報と圧縮された画像データの復号に用いる復号用情報が画像データの系列毎に退避される領域であることを特徴とする請求項1記載の半導体装置。
【請求項３】
前記複数のレジスタとしてパラメータレジスタを有し、前記パラメータレジスタは前記アドレスレジスタで指定されたメモリ領域から読み出された符号化用パラメータ又は復号用パラメータがロードされ、また、前記アドレスレジスタで指定されたメモリ領域に書き込む符号化用パラメータ又は復号用パラメータを保持するレジスタであることを特徴とする請求項１記載の半導体装置。
【請求項４】
前記複数のレジスタとして符号化復号レジスタを有し、前記符号化復号レジスタは画像データ系列に対して符号化を行なうのか復号を行なうのかを前記符号化復号回路に指示する符号化復号制御情報が設定されるレジスタであることを特徴とする請求項３記載の半導体装置。
【請求項５】
前記複数のレジスタとしてサイズレジスタを有し、前記サイズレジスタは、符号化又は復号される画像データ系列の画像サイズを前記符号化復号回路に指示する画像サイズ情報が設定されるレジスタであることを特徴とする請求項４記載の半導体装置。
【請求項６】
前記複数のレジスタとしてタイプレジスタを有し、前記タイプレジスタは予測符号化方式に応ずる画像タイプを前記符号化復号回路に指示する画像タイプ情報が設定されるレジスタであることを特徴とする請求項５記載の半導体装置。
【請求項７】
複数の画像データ系列に対する符号化と複数の符号化された画像データ系列に対する復号とを行なう画像処理装置であって、
メモリとデータプロセッサを有し、
前記データプロセッサは、
前記メモリのメモリ領域に対する読み出しと書き込みを行なうインタフェース制御回路と、
前記メモリ領域に書き込まれた一の系列の画像データに対する符号化又は一の系列の符号化された画像データに対する復号を選択的に行なう符号化復号回路と、
前記符号化復号回路に処理を指示する複数のレジスタとを有し、
前記符号化復号回路は前記レジスタによる指示にしたがって複数系列の画像データに対して系列単位に時分割で符号化及び復号を行なうことを特徴とする画像処理装置。
【請求項８】
前記複数のレジスタとしてアドレスレジスタを有し、前記アドレスレジスタは画像データの系列毎にメモリ領域のアドレスが指定されるアドレスレジスタであり、
前記メモリ領域は更に、画像情報の符号化に用いる符号化用情報と圧縮された画像情報の復号に用いる復号用情報が画像データの系列毎に退避されることを特徴とする請求項７記載の画像処理装置。
【請求項９】
複数の画像データ系列に対する符号化を行なう半導体装置であって、
メモリ領域に対する読み出しと書き込みを行なうインタフェース制御回路と、
メモリ領域に書き込まれた一の系列の画像データに対する符号化を行なう符号化回路と、
前記符号化回路に処理を指示する複数のレジスタとを有し、
前記符号化回路は前記レジスタによる指示に従って複数の画像データ系列に対して系列単位に時分割で符号化を行なうことを特徴とする半導体装置。
【請求項１０】
前記複数のレジスタとしてアドレスレジスタを有し、前記アドレスレジスタは画像データの系列毎にメモリ領域のアドレスが指定されるアドレスレジスタであり、
前記メモリ領域は画像データの符号化に用いる符号化用情報が画像データの系列毎に退避される領域であることを特徴とする請求項９記載の半導体装置。
【請求項１１】
前記複数のレジスタとしてパラメータレジスタを有し、前記パラメータレジスタは前記アドレスレジスタで指定されたメモリ領域から符号化用パラメータがロードされ、また、前記アドレスレジスタで指定されたメモリ領域に書き込む符号化用パラメータを保持するレジスタであることを特徴とする請求項９記載の半導体装置。
【請求項１２】
前記複数のレジスタとしてサイズレジスタを有し、前記サイズレジスタは、符号化される画像データ系列の画像サイズを前記符号化回路に指示する画像サイズ情報が設定されるレジスタであることを特徴とする請求項１１記載の半導体装置。
【請求項１３】
前記複数のレジスタとしてタイプレジスタを有し、前記タイプレジスタは予測符号化方式に応ずる画像タイプを前記符号化回路に指示する画像タイプ情報が設定されるレジスタであることを特徴とする請求項１２記載の半導体装置。
【請求項１４】
複数の画像データ系列に対する符号化を行なう画像処理装置であって、
メモリとデータプロセッサを有し、
前記データプロセッサは、
前記メモリのメモリ領域に対する読み出しと書き込みを行なうインタフェース制御回路と、
前記メモリ領域に書き込まれた一の系列の画像データに対する符号化を行なう符号化回路と、
前記符号化回路に処理を指示する複数のレジスタとを有し、
前記符号化回路は前記レジスタによる指示にしたがって複数系列の画像データに対して系列単位に時分割で符号化を行なうことを特徴とする画像処理装置。
【請求項１５】
前記複数のレジスタとしてアドレスレジスタを有し、前記アドレスレジスタは画像データの系列毎にメモリ領域のアドレスが指定されるアドレスレジスタであり、
前記メモリ領域は更に、画像情報の符号化に用いる符号化用情報が画像データの系列毎に退避されることを特徴とする請求項１４記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数の画像データ系列に対する符号化復号技術に関し、例えばテレビ電話システムにおいて受信画像と送信画像の双方を端末に表示するというようなマルチストリームに対する処理に適用して有効な技術に関する。
【背景技術】
【０００２】
画像信号の国際標準規格のうち、複数の画像系列の符号化データを扱うものとしてＭＰＥＧ−４（ＩＳＯ１４４９６−２）がある。ＭＰＥＧ−４では、複数の物体（オブジェクト）に対応する符号化された複数の画像データ系列を復号して合成し表示することができる。
【０００３】
複数の画像系列の画像データを復号するためには、同時に扱う画像系列の数だけ復号器を設けるか、若しくは一つの復号器内に同時に扱う分に必要な数の制御レジスタを並列に複数個用意する必要がある。上記何れにおいても、装置の大型化を招き易い。この点に関し、特許文献１では、この問題を解決するために、複数の画像系列の画像データを復号するのに、復号情報の退避領域を設け、復号処理を単一の復号器により行なって、同時に復号する画像系列の数の増加に対して比較的簡単な構成変更で対応することのできる画像復号装置を提供する。
【０００４】
【特許文献１】特開２００２−１７１５２３号公報（図８、図５）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一方、近年の携帯電話に代表される携帯端末では、テレビ電話に代表されるような、符号化と復号の同時動作の要求がある。符号化と復号を同時に実行するために、１系統の符号化器と１系統の復号器を独立に準備し、また、符号化用の制御レジスタと復号用の制御レジスタを独立に並列に設けたのでは、装置が大型化する。例えば、Ｎ系列の画像信号を符号化する場合、Ｎ個の独立した画像符号化装置を準備する必要がある。また、Ｍ個の圧縮された画像信号を復号する場合は、Ｍ個の復号器を用いるか、特許文献１より単一の復号器を時分割で利用する必要がある。Ｎ系列の画像信号の符号化とＭ系列の画像信号の復号を実行する場合に、Ｎ個の画像符号化器とＭ個の画像復号器又は単一の復号器とを採用する構成では装置が大型化する。
【０００６】
本発明の目的は、複数の画像データ系列に対する符号化と複数の符号化された画像データ系列に対する復号とを行なう装置の小型化を実現することにある。
【０００７】
本発明の別の目的は、複数の画像データ系列に対する符号化を行なう装置の小型化を実現することにある。
【０００８】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００９】
〔１〕符号化復号処理の観点による本発明の半導体装置は、複数の画像データ系列に対する符号化と複数の符号化された画像データ系列に対する復号とを行なう半導体装置であって、メモリ領域に対する読み出しと書き込みを行なうインタフェース制御回路と、メモリ領域に書き込まれた一の系列の画像データに対する符号化又は一の系列の符号化された画像データに対する復号を選択的に行なう符号化復号回路と、前記符号化復号回路に処理を指示する複数のレジスタとを有し、前記符号化復号回路は前記レジスタによる指示にしたがって複数系列の画像データに対して系列単位に時分割で符号化及び復号を行なう。
【００１０】
上記手段によれば、複数系列の画像データに対する符号化と複合の双方に対し時分割で単一の符号化復号回路を用いて行なうことができ、マルチストリームの画像データに対する符号化と復号とを行なう装置の小型化を実現する。
【００１１】
本発明の具体的な形態では、前記複数のレジスタとしてアドレスレジスタを有し、前記アドレスレジスタは画像データの系列毎にメモリ領域のアドレスが指定されるアドレスレジスタとされる。前記メモリ領域は更に、画像データの符号化に用いる符号化用情報と圧縮された画像データの復号に用いる復号用情報が画像データの系列毎に退避される領域として利用される。前記符号化用情報及び復号用情報は、例えば画像サイズ、予測符号化方法、量子化パラメータ、特性指定情報、予測符号化に用いる参照画像データ等とされる。
【００１２】
本発明の更に具体的な形態では、前記複数のレジスタとして、パラメータレジスタ、符号化復号レジスタ、サイズレジスタ、又はタイプレジスタを有する。前記パラメータレジスタは前記アドレスレジスタで指定されたメモリ領域から読み出された符号化用パラメータ又は復号用パラメータがロードされ、また、前記アドレスレジスタで指定されたメモリ領域に書き込む符号化用パラメータ又は復号用パラメータを保持するレジスタである。前記符号化復号レジスタは画像データ系列に対して符号化を行なうのか復号を行なうのかを前記符号化復号回路に指示する符号化復号制御情報が設定されるレジスタである。前記サイズレジスタは、符号化又は復号される画像データ系列の画像サイズを前記符号化復号回路に指示する画像サイズ情報が設定されるレジスタである。前記タイプレジスタは予測符号化方式に応ずる画像タイプを前記符号化復号回路に指示する画像タイプ情報が設定されるレジスタである。
【００１３】
〔２〕符号化復号処理の観点による本発明の画像処理装置は、複数の画像データ系列に対する符号化と複数の符号化された画像データ系列に対する復号とを行なう画像処理装置であって、メモリとデータプロセッサを有し、前記データプロセッサは、前記メモリのメモリ領域に対する読み出しと書き込みを行なうインタフェース制御回路と、前記メモリ領域に書き込まれた一の系列の画像データに対する符号化又は一の系列の符号化された画像データに対する復号を選択的に行なう符号化復号回路と、前記符号化復号回路に処理を指示する複数のレジスタとを有する。前記符号化復号回路は前記レジスタによる指示にしたがって複数系列の画像データに対して系列単位に時分割で符号化及び復号を行なう。
【００１４】
上記同様に、複数系列の画像データに対する符号化と複合の双方に対し時分割で単一の符号化復号回路を用いて行なうことができ、マルチストリームの画像データに対する符号化と復号とを行なう装置の小型化を実現する。
【００１５】
〔３〕符号化処理の観点による本発明の半導体装置は、複数の画像データ系列に対する符号化を行なう半導体装置であって、メモリ領域に対する読み出しと書き込みを行なうインタフェース制御回路と、メモリ領域に書き込まれた一の系列の画像データに対する符号化を行なう符号化回路と、前記符号化回路に処理を指示する複数のレジスタとを有し、前記符号化回路は前記レジスタによる指示に従って複数の画像データ系列に対して系列単位に時分割で符号化を行なう。
【００１６】
上記手段によれば、複数系列の画像データに対する符号化に対し時分割で単一の符号化復号回路を用いて行なうことができ、マルチストリームの画像データに対する符号化を行なう装置の小型化を実現する。
【００１７】
本発明の具体的な形態では、前記複数のレジスタとしてアドレスレジスタを有し、前記アドレスレジスタは画像データの系列毎にメモリ領域のアドレスが指定されるアドレスレジスタである。前記メモリ領域は画像データの符号化に用いる符号化用情報が画像データの系列毎に退避される領域である。
【００１８】
本発明の更に具体的な形態では、前記複数のレジスタとして、パラメータレジスタ、サイズレジスタ、又はタイプレジスタを有する。前記パラメータレジスタは前記アドレスレジスタで指定されたメモリ領域から符号化用パラメータがロードされ、また、前記アドレスレジスタで指定されたメモリ領域に書き込む符号化用パラメータを保持するレジスタである。前記サイズレジスタは、符号化される画像データ系列の画像サイズを前記符号化回路に指示する画像サイズ情報が設定されるレジスタである。前記タイプレジスタは予測符号化方式に応ずる画像タイプを前記符号化回路に指示する画像タイプ情報が設定されるレジスタである。
【００１９】
〔４〕符号化処理の観点による本発明の画像処理装置は、複数の画像データ系列に対する符号化を行なう画像処理装置であって、メモリとデータプロセッサを有する。前記データプロセッサは、前記メモリのメモリ領域に対する読み出しと書き込みを行なうインタフェース制御回路と、前記メモリ領域に書き込まれた一の系列の画像データに対する符号化を行なう符号化回路と、前記符号化回路に処理を指示する複数のレジスタとを有し、前記符号化回路は前記レジスタによる指示にしたがって複数系列の画像データに対して系列単位に時分割で符号化を行なう。
【００２０】
上記同様に、複数系列の画像データに対する符号化に対し時分割で単一の符号化復号回路を用いて行なうことができ、マルチストリームの画像データに対する符号化と復号とを行なう装置の小型化を実現する。
【発明の効果】
【００２１】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
【００２２】
すなわち、複数の画像データ系列に対する符号化と複数の符号化された画像データ系列に対する復号とを行なう装置の小型化を実現することができる。また、複数の画像データ系列に対する符号化を行なう装置の小型化を実現することができる。これにより、上記処理を行なう半導体装置、そして画像処理装置の低コスト化が可能となる。
【発明を実施するための最良の形態】
【００２３】
図１には本発明に係るが画像処理装置としての画像符号化復号装置の一例が示される。同図に示されるが画像符号化復号装置は、複数系列例えばＮ系列の画像データの符号化と複数系列例えばＭ系列の画像データの復号を、単一の符号化復号回路１０９で時分割処理を行なう。Ｎ系列の画像データ（画像系列）は、代表的に示されたポート１１２、１１３より入力される。入力された画像データは、画像入力バッファ１００、１０１に一時蓄積された後、退避領域１０５、１０６、１０７の内の対応する退避領域に転送される。また、符号化された画像データ系列（符号系列）は、代表的に示されたポート１１４、１１５から入力され、符号入力バッファ１０２、１０３から、退避領域１０５、１０６、１０７の内の対応する退避領域に転送される。また、映像出力バッファ１０４は、退避領域１０５、１０６、１０７の内の適当な領域から所要の画像データが転送され、転送されたデータがポート１１６から映像表示用に出力される。画像符号化復号回路１０９には、ポート１１１より、どの系列の画像信号を符号化するか、或いはどの符号化系列を復号するか等の指示が与えられる。ポート１１１より指示された退避領域にある画像データ、または符号化された画像データは画像符号化復号回路１０９に供給される。画像符号化復号回路１０９は、画像データを符号化してポート１１０から出力し、或いは、復号して所要の退避領域に画像データを格納し、格納された画像データは所要のタイミングで映像出力バッファ１０４経由で映像信号として出力される。ポート１１１からの指定が画像系列から符号系列に変化すると、画像符号化復号回路１０９内の、現在符号化処理されている系列の次回の符号化処理を再開する時に必要となる符号化用情報を、インタフェース制御回路１０８を通じて、その系列の対応する退避領域に転送する。次に、退避領域の符号系列に対する復号用情報が、インタフェース制御回路１０８の制御によって画像符号化復号回路１０９に供給される。画像符号化復号回路１０９は取り込んだ復号用情報を利用して前記符号系列に対する復号を実行する。
【００２４】
図２には画像符号化復号装置の更に詳細な構成が示される。退避領域２００−１〜２００−（Ｎ＋Ｍ）はＤＲＡＭ等のメモリ２００によって構成される。インタフェース制御回路１０８はメモリインタフェース部２０１によって構成される。前記画像符号化復号回路１０９は、符号化復号用情報レジスタ２０２、セレクタ２０３、ＤＣＴ等の変換処理を実行する変換論理ブロック（Ｔ）２０４、量子化部（Ｑ）２０５、量子化されたデータを所定フォーマットで符号化する符号化部２０６、逆量子化部（ＩＱ）２０８、逆ＤＣＴ等の逆変換を行なう逆変換論理ブロック（ＩＴ）２０９、動き検出動き補償部２１１、セレクタ２１０、符号化ブロック判定部２１２、符号化画像タイプレジスタ２１３、符号化復号制御レジスタ２１４、退避先アドレスレジスタ２１５、加算器２１８、及び減算器２１９を有する。
【００２５】
図２の構成における符号化復号動作を説明する。Ｎ系列の画像データは、ポート１１２、１１３から入力され、バッファ１００、１０１を通じて、メモリ２００の所定の退避領域に転送される。また、Ｍ系列の符号化された画像データは、ポート１１４、１１５から入力され、バッファ１０２、１０３を通じて、メモリ２００の所定の退避領域に転送される。ポート２１６からは、符号化を実行する系列あるいは、復号を実行する系列が格納されている退避領域を示す退避先アドレスが退避先アドレスレジスタ２１５にセットされ、画像系列の符号化を実行するのか符号系列の復号を実行するのかを制御する制御情報（符号化復号制御情報）が符号化復号制御レジスタ２１４にセットされる。その他に符号化復号制御情報として画像のサイズデータが符号化復号制御レジスタ２１４にセットされる。更に、符号化時には、その画像を例えばＭＰＥＧ等で利用されるＩピクチャ、Ｐピクチャで符号化するように指示する情報（符号化画像タイプ情報）が符号化画像タイプレジスタ２１３にセットされる。
【００２６】
例えば、系列１の画像データを、Ｉピクチャで符号化するような設定がポート２１６から与えられると、メモリインターフェイス部２０１は、その処理手順にしたがって系列１の退避領域２００１−１から、画像データを取り込み、これをセレクタ２０３のＡのポートから変換論理ブロック２０４に供給する。変換論理ブロック２０４は入力データに対してＤＣＴ等の変換処理を実行し、変換処理されたデータは量子化部２０５に供給されて量子化される。量子化されたデータは符号化部２０６で符号化され、メモリインターフェイス部２０１を通じて、ポート１１０から出力される。また、量子化部２０５の出力は、逆量子化部２０８で逆量子化される。逆量子化されたデータは逆変換論理ブロック２０９で逆ＤＣＴ等の逆変換が行なわれた後、セレクタ２１０のポートＢよりメモリインターフェイス部２０１を通じて系列１の退避領域２００１−１に、次回以降の参照画像として書き込まれる。また、符号化動作の途中で利用した、例えば、量子化の情報や、次回以降の符号化で必要となる画像サイズや符号化方法などの符号化用パラメータ等は、符号化復号用情報レジスタ２０２に残っている。
【００２７】
次に、ポート２１６に、系列Ｍの符号化画像データを復号するように、退避先アドレスがレジスタ２１５に設定され、符号化復号制御情報がレジスタ２１４に設定されたとする。画像系列１の符号化復号用情報レジスタ２０２に残っている符号化情報は、メモリインターフェイス部２０１を通じて、系列１の退避領域２００−１に退避される。次に、退避領域２００−（Ｎ＋Ｍ）から符号系列Ｍの以前の復号で利用した復号用パラメータが符号化復号用情報レジスタ２０２に再読み込みされ、復号の動作が開始される。復号用パラメータには量子化の情報、画像サイズ、符号化方法などを示す情報が含まれる。先ず、復号部２０７で、退避領域２００−（Ｎ＋Ｍ）にある符号化画像データが復号され、逆量子化部２０８による逆量子化、逆変換論理ブロック２０９による逆ＤＣＴ変換、対象のブロックがフレーム間情報であれば、動き検出補償部２１１で得られたブロック情報との加算を実行し、セレクタ２１０のポートＢからメモリインターフェイス部２０１を通じて、符号系列Ｍの退避領域２００−（Ｎ＋Ｍ）に画像信号として記憶される。フレーム内の情報であれば、セレクタ２１０のポートＡからメモリインターフェイス部２０１を通じて、符号系列Ｍの退避領域２００−（Ｎ＋Ｍ）に画像信号として記憶される。記憶された画像信号は、映像出力バッファ１０４経由でポート１１６から映像出力として出力される。
【００２８】
図３には上記符号化復号動作のタイミングチャートが例示される。ここでは画像系列（画像データ系列）Ａと符号系列（符号化された画像データ系列）Ｘがあり、画像系列は１フレーム単位にＡ１、Ａ２…の順番で、符号系列はＸ１、Ｘ２…の順番で、系列毎の退避領域に記憶されている。符号化復号動作の指示がポート２１６から設定されるものとし、先ず、画像データＡ１が取り込まれると、画像データＡ１の符号化が実行される。このときまだ画像データＸ１は取り込を終了していない。次に画像データＡ２が取り込まれると、画像データＸ１は既に取り込まれているため、その画像データＸ１の復号を実行し、画像データＡ２の符号化を実行する。この場合には、画像データＡ１の符号化、画像データＸ１の復号、画像データＡ２の符号となるため、画像データＸ１の復号の前に、画像データＡ１の符号化パラメータを退避させ、画像データＡ２の符号化の前に、画像データＸ１の復号用パラメータを退避させ、画像データＡ１の符号化用パラメータを再読み込みする。図において退避処理はＴｓとして図示される。
【００２９】
図４には上記符号化復号動作のタイミングチャートとして図３とは画像系列のタイミングが異なった例を示す。符号化復号動作の指示がポート２１６から設定されるとして、先ず、画像データＡ１が退避領域に取り込まれると、画像データＡ１の符号化が実行される。このとき画像データＸ１は既に退避領域に取り込みを完了しているから、次に画像データＡ１が対応する退避領域に取り込まれ、画像データＸ１の符号化が実行される。この場合には、画像系列が系列Ａから系列Ｂに変化するため、系列Ａの符号化用パラメータの退避を実行しなければならない。
【００３０】
図５には図２の画像符号化復号装置をデータプロセッサとメモリで構成したときのブロック図が示される。メモリはＲＯＭ３１３とＲＡＭ３１４からなる。ＲＯＭ３１３はデータプロセッサ３０３の動作プログラムなどが格納されている。ＲＡＭ３１４は退避領域などに用いられる。この例は、ポート１３又はポート２１６への設定を、データプロセッサ３０３のＣＰＵ３０４がソフトウェアを実行して行なう構成とされる。データプロセッサ３０３、ＲＯＭ３１３、及びＲＡＭ３１４は、特に制限されないが、夫々個別の半導体チップにて構成される。ＲＯＭ３１３はマスクＲＯＭ或いは電気的に書換え可能なフラッシュメモリなどとされる。ＲＡＭ３１４はクロック同期型のシンクロナスＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）又はシンクロナスＳＲＡＭ（スタティック・ランダム・アクセス・メモリ）などとされる。
【００３１】
データプロセッサ３０３は、ＣＰＵ（セントラル・プロセッシング・ユニット）３０４、ＤＭＡＣ（ダイレクト・メモリ・アクセス・コントローラ）３０５、ＲＡＭ３０６、メモリＩ／Ｏ３０７、符号化復号用情報レジスタ３０８、符号化画像タイプ設定レジスタ３０９、退避先アドレスレジスタ３１０、符号化復号制御レジスタ３１１、符号化復号回路３１２等を有する。プログラムは、外部のＲＯＭ３１３又は内部のＲＡＭ３０６に格納される。退避領域は、外部のＲＡＭ３１４に割当てられる。映像入力部３００から入力された画像信号は、メモリＩ／Ｏ３０７を通じて、適当な退避領域に記憶される。同様に、符号系列の画像データは、符号入力部３０１から入力され、適当な退避領域に記憶される。ＣＰＵ３０４は、これらの入力されている画像系列の画像データあるいは符号系列の画像データを、割り込み信号等により検知し、符号化復号回路３１２に、次にどの系列の画像データの符号化を実行するか、或いはどの符号系列の復号を実行するかを決定し、符号化画像タイプレジスタ３０９、退避先アドレスレジスタ３１０、符号化復号制御レジスタ３１１の設定を実行する。この場合に、符号化と復号の切り替わりが発生したり、扱う画像信号系列や符号系列が異なる場合には、符号化復号用パラメータをＤＭＡＣ３０５の機能等を利用して、符号化復号用情報レジスタ３０８から適当な退避領域にその情報を退避させるように動作する。前記符号化復号回路３１２とレジスタ３０８〜３１１は前記画像符号化復号回路１０９に対応される。前記符号化復号回路３１２は退避領域に書き込まれた一の系列の画像データに対する符号化又は一の系列の符号化された画像データに対する復号を選択的に行なう回路である。レジスタ３０８〜３１１は符号化復号回路３１２に対して設けられた１組のレジスタとされる。要するに、異なった画像系列のために同一機能のレジスタが複数並列に設けられてはいない。処理すべき画像系列が相違するときは、現在用いている符号化復号用パラメータをレジスタ３０８から対応する退避領域にストアし、切り換えられる新たな画像系列のための符号化復号用パラメータをそれに対応する退避領域からレジスタ３０８にロードする。
【００３２】
図６には退避領域の記憶情報が例示される。符号化用の退避領域３１４ｉには、画像系列の入力画像データ、参照画像データ、符号化用パラメータ、及び符号化系列の出力画像データを格納する領域が割り当てられる。復号用の退避領域３１４ｊには符号化系列の入力画像データ、参照画像データ、復号用パラメータ、及び表示用データを格納する領域が割り当てられる。表示用データは参照データで代替可能である。前記符号化用パラメータ及び復号用パラメータはレジスタ３０８からストアされ或いはレジスタ３０８にロードされる符号化復号用パラメータの範疇に属する。
【００３３】
図７には符号化復号処理のＣＰＵによる制御手順が例示される。処理されるべき新たな符号化復号系列が決定されたとき（Ｓ１）、現在の処理系列と異なる系列で有るかが判定され（Ｓ２）、異なる場合には現系列の制御パラメータが対応する退避領域に退避され（Ｓ３）、新たな符号化復号系列のための制御パラメータとして初期データを要するかが判定され（Ｓ４）、初期データを要するとき（当該符号化復号系列に対する処理は初めての場合）は画像符号化復号回路１０９の初期状態処理を行なう（Ｓ５）。初期データを要しないときは新たな符号化復号系列のための制御パラメータを退避領域から読み込む（Ｓ６）。この後、処理の種別が復号か又は符号化かを判定する（Ｓ８）。復号処理の場合には、復号画像タイプを決定し（Ｓ９）、参照フレームアドレス及び出力フレームアドレスの設定を行ない（Ｓ１０）、最後に符号化復号回路１０９を起動する（Ｓ１１）。ステップＳ８の判定結果が符号化の場合符号化復号画像タイプを決定し（Ｓ１２）、符号化フレームアドレス、参照フレームアドレス及び出力フレームアドレスの設定を行ない（Ｓ１３）、最後に符号化復号回路１０９を起動する（Ｓ１４）。
【００３４】
図８には本発明に係る画像処理装置としてが画像符号化装置の一例が示される。同図に示される画像符号化装置は、複数系列例えばＮ系列の画像データが、参照符号１、２、３で示されるポートより入力される。入力された画像データは、画像入力バッファ４、５、６に一時蓄積された後、メモリ領域としての退避領域７、８、９に転送される。画像入力バッファ４、５、６は、Ｎ系列の画像データを、タイミングよく退避領域７、８、９に転送するためのバッファ領域であり、その容量等については、必要なバッファ機能を得るように適宜決定すればよい。インタフェース制御回路１０は退避領域７、８、９に対する読み出しと書き込み等を制御する。
【００３５】
画像符号化回路１１には、ポート１３より、どの系列の画像データを符号化するかが指示される。ポート１３より指示された退避領域にある画像データを画像符号化回路１１が符号化してポート１２に出力する。この際、画像符号化回路１１は、指定された系列の退避領域を利用して、符号化処理を実行する。ポート１３から指定される画像データの系列が変化すると、画像符号化回路１１内で、現在符号化処理されている系列の次回処理を再開した時に必要となる符号化用パラメータを、インタフェース制御回路１０を通じて、その系列の退避領域に転送する。また、ポート１３から指示のあった退避領域の符号化用パラメータは、インタフェース制御回路１０の制御によって、画像符号化回路１１内に取り込まれる。画像符号化回路１１は取り込んだ画像データに対して符号化処理を実行する。
【００３６】
図９には画像符号化装置の更に詳細な構成が例示される。退避領域はＤＲＡＭ等のメモリ１４によって構成される。インタフェース制御回路１０はメモリインタフェース回路１５によって構成される。前記画像符号化回路１１は、符号化用情報レジスタ２０、セレクタ２１、ＤＣＴ等の変換処理を実行する変換論理ブロック（Ｔ）２２、量子化部（Ｑ）２３、量子化されたデータを所定フォーマットで符号化する符号化部２４、逆量子化部２５、逆ＤＣＴ等の逆変換を行なう逆変換論理ブロック（ＩＴ）２６、動き検出動き補償部２７、セレクタ２８、符号化ブロック判定部２９、符号化画像タイプレジスタ３０、退避先アドレスレジスタ３１、加算器３３、及び減算器３４を有する。
【００３７】
図９の構成における符号化動作を説明する。Ｎ系列の画像データは、ポート１，２、３から入力され、バッファ４，５、６を通じて、メモリ１４の退避領域１４−１〜１４−Ｎの所定の系列の場所に転送される。転送制御はメモリインタフェース回路１５が行なう。ポート１３からは、符号化を実行する系列の格納場所を示す退避先アドレスが退避先アドレスレジスタ３１にセットされ、また、符号化画像タイプ情報が符号化画像タイプレジスタ３０にセットされる。符号化画像タイプ情報は、例えばＭＰＥＧ等で利用される予測符号化のためのＩピクチャ又はＰピクチャで符号化するように指示する情報とされる。ここで、例えば、系列１の画像データを、Ｉピクチャで符号化する指定がポート１３から入力されると、メモリインターフェイス回路１５は、系列１の退避領域１４−１から、画像データを取り込み、セレクタ２１のポートＡから変換論理ブロック２２に供給する。変換論理ブロック２２は、ＤＣＴ等の変換処理を実行し、変換処理されたデータは量子化部２３で量子化され、符号化部２４で所定フォーマットに符号化される。符号化された画像データはメモリインターフェイス回路１５を通じて、符合（符号化データ）としてポート１２から出力される。また、量子化部２３の出力は、逆量子化部２５に入力され、逆ＤＣＴ等の逆変換論理ブロック２６で逆変換される。逆変換されたデータはセレクタ２８のＡのポートより、メモリインターフェイス回路１５を通じて系列１の退避領域１４−１に、次回以降の予測符号化処理のための参照画像として書き込まれる。前記系列１の画像データに対する符号化動作の途中で利用した、例えば、量子化の情報や、次回以降の符号化で必要となる画像サイズや符号化方法などの符号化用パラメータは、符号化用情報レジスタ２０に残っている。
【００３８】
次に、系列２の画像データを符号化するように、ポート１３から退避先アドレスレジスタに３１に系列２の画像データのアドレスが設定され、また、その画像データをＭＰＥＧ等で一般的なＰピクチャで符号化するような指示が符号化画像タイプレジスタ３０にセットされたとする。この場合、Ｐピクチャで符号化するので、以前に符号化した情報や参照画像が、系列２の退避領域１４−２にあるものとする。まず現在の系列１の処理で利用した符号化用パラメータが符号化用情報レジスタ２０からメモリインターフェイス回路１５を通じて系列１の退避領域１４−１に、一時退避される。また、系列２に退避してあった符号化用パラメータが、符号化用情報レジスタ２０にメモリインターフェイス回路１５を通じて読み込まれる。次に、系列２の退避領域１４−２にある符号化すべき画像データと、参照画像データが読み出され、動き検出部２７で、動き検出処理される。動き検出処理された結果、符号化ブロック判定部２９で、差分値の符号化を実行すると判定されたブロックに対しては、減算器３４にて参照データに対する差分データが取得され、セレクタ２１のＢのポートから入力され、その差分が変換論理ブロック２２でＤＣＴ変換され、量子化部２３で量子化され、符号化部２４で符号化され、メモリインターフェイス回路１５を通じてポート１２から出力される。また、量子化部２３の出力は、逆量子化部２５で逆量子化され、逆変換論理ブロック２６で逆ＤＣＴ変換され、逆変換されたデータは加算器３３で系列２の退避領域１４−２上の参照画像が加算され、セレクタ２８のポートＢからメモリインターフェース回路１５を通じて、新たな参照画像として系列２の退避領域１４−２に記憶される。前記系列２の画像データに対する符号化動作の途中で利用した、例えば、量子化の情報や、次回以降の符号化で必要となる画像サイズや符号化方法などの符号化用情報は、符号化用情報レジスタ２０に残っている。
【００３９】
図１０には上記符号化動作のタイミングチャートが例示される。ここでは、画像系列Ａと画像系列Ｂがあり、各画像系列は、１フレーム単位に、Ａ１、Ａ２…及びＢ１、Ｂ２…と順番に各系列退避領域に記憶されているものとする。符号化動作の指示はポート１３から設定されるとして、先ず、画像データＡ１が退避領域に取り込まれると、画像データＡ１の符号化が実行される。このときまだ画像データＢ１は対応する退避領域に取り込を終了していない。次に画像データＡ２が対応する退避領域に取り込まれると、画像データＡ２の符号化が実行される。この場合には、符号化系列が変化しないため、符号化用パラメータの退避は行わなくてよい。この段階で画像データＢ１の取り込が完了しているため、画像データＡ２の符号化の後、画像データＢ１を符号化するようにポート１３から指定が与えられる。画像系列が系列Ａから系列Ｂに変化するため、系列Ａの符号化用パラメータの退避を実行しなければならない。退避の実行後、画像データＢ１の符号化を実行する。次に、また系列Ａの画像データＡ３を符号化するため、系列Ｂの符号化用パラメータを退避させ、画像Ａ２の符号化で利用した符号化用情報を再読み込みして、画像データＡ３を符号化する。図において退避処理はＴｓとして図示される。
【００４０】
図１１には上記符号化動作のタイミングチャートとして図１０とは画像系列のタイミングが異なった例を示す。符号化動作の指示はポート１３から設定されるとして、先ず、画像データＡ１が退避領域に取り込まれると、画像データＡ１の符号化が実行される。このとき画像データＢ１は既に退避領域に取り込みを完了しているから、次に画像データＢ１が対応する退避領域に取り込まれ、画像データＢ２の符号化が実行される。この場合には、画像系列が系列Ａから系列Ｂに変化するため、系列Ａの符号化用パラメータの退避を実行しなければならない。
【００４１】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【００４２】
例えば、退避領域が割当てられるＲＡＭ３１４に代表されるメモリは半導体装置としてのデータプロセッサにオンチップさせてもよい。本発明は携帯電話機やテレビ電話への適用に限定されず、マルチストリームに対する符号化復号処理等を行なうその他の画像処理装置に広く適用することができる。
【図面の簡単な説明】
【００４３】
【図１】本発明に係る画像処理装置として画像符号化復号装置を例示するブロック図である。
【図２】画像符号化復号装置の更に詳細な構成を示すブロック図である。
【図３】符号化復号動作のタイミングチャートである。
【図４】符号化復号動作の別のタイミングチャートである。
【図５】図２の画像符号化復号装置をデータプロセッサとメモリで構成したときのブロック図である。
【図６】退避領域の記憶情報を例示する説明図である。
【図７】符号化復号処理の手順がを例示するフローチャートである。
【図８】本発明に係る画像処理装置として画像符号化装置を例示するブロック図である。
【図９】図８の画像符号化装置の更に詳細な構成を例示するブロック図である。
【図１０】符号化動作のタイミングチャートである。
【図１１】符号化動作の別のタイミングチャートである。
【符号の説明】
【００４４】
７〜９  退避領域
１０  インタフェース制御回路
１１  画像符号化回路
１４  メモリ
１４−１〜１４−Ｎ  退避領域
１５  メモリインタフェース回路
３０  符号化画像タイプレジスタ
３１  退避先アドレスレジスタ
１０５〜１０７  退避領域
１０８  インタフェース制御回路
１０９  画像符号化復号回路
２００  メモリ
２００−１〜２００−（Ｎ＋Ｍ）  退避領域
２０１  メモリインタフェース部
２０２  符号化復号用情報レジスタ
２１３  符号化画像タイプレジスタ
２１４  符号化復号制御レジスタ（符号化復号用情報レジスタ）
２１５  退避先アドレスレジスタ
３０４  ＣＰＵ
３０８  符号化復号用情報レジスタ
３０９  符号化画像タイプ設定レジスタ
３１０  退避先アドレスレジスタ
３１１  符号化復号制御レジスタ
３１２  符号化復号回路
３１４  ＲＡＭ
【図１】
2005176001.tif 000003
【図２】
2005176001.tif 000004
【図３】
2005176001.tif 000005
【図４】
2005176001.tif 000006
【図５】
2005176001.tif 000007
【図６】
2005176001.tif 000008
【図７】
2005176001.tif 000009
【図８】
2005176001.tif 000010
【図９】
2005176001.tif 000011
【図１０】
2005176001.tif 000012
【図１１】
2005176001.tif 000013