(57)【要約】画像符号化データの復号処理を行う画像デコーダ（１０）と、画像符号化データの一部復号処理と画像デコーダ（１０）の制御との両方を行うプロセッサ（１１）と、このプロセッサ（１１）が実行するプログラムを格納するための内部命令メモリ（１２）と、プロセッサ（１１）のＲＡＭ領域へ転送すべきプログラムの全てを格納した外部命令メモリ（１３）と、画像デコーダ（１０）から出力される復号データを記憶するためのフレームメモリ（１４）とを備え、画像符号化データを復号する際のプログラムを機能モジュール単位に分割し、予め決めておいた命令メモリ転送単位毎に外部命令メモリ（１３）から内部命令メモリ（１２）へ再生中にプログラムを入れ替えながら画像符号化データを復号するように制御する。【特許請求の範囲】
【請求項１】
圧縮された画像符号化データの再生に用いられる符号化データ復号装置であって、
画像符号化データの復号処理を行う画像復号手段と、
前記画像復号手段の動作を制御する機能を有するプロセッサ手段と、
前記プロセッサ手段が実行するプログラムを格納するための内部命令メモリ手段とを備え、
画像符号化データを復号する際のプログラムをモジュール単位に分割し、予め決めておいた命令メモリ転送単位毎に前記内部命令メモリ手段へプログラムを入れ替えながら画像符号化データを復号するように制御することを特徴とする符号化データ復号装置。
【請求項２】
請求項１記載の符号化データ復号装置において、
前記プロセッサ手段は、画像符号化データの復号処理の一部を分担して実行する機能を更に有することを特徴とする符号化データ復号装置。
【請求項３】
請求項１記載の符号化データ復号装置において、
前記内部命令メモリ手段のＲＡＭ領域へ転送すべきプログラムの全てを格納した外部命令メモリ手段を更に備えたことを特徴とする符号化データ復号装置。
【請求項４】
請求項１記載の符号化データ復号装置において、
前記画像復号手段から出力される復号データを記憶するための記憶手段を更に備えたことを特徴とする符号化データ復号装置。
【請求項５】
請求項１記載の符号化データ復号装置において、
前記内部命令メモリ手段を予め複数のブロックに分割しておき、プログラムを入れ替えている際に、プログラムを入れ替えている前記内部命令メモリ手段のブロック以外の前記内部命令メモリ手段のブロックの命令メモリ領域は、前記プロセッサ手段から正常にアクセスできることを特徴とする符号化データ復号装置。
【請求項６】
請求項１記載の符号化データ復号装置において、
前記内部命令メモリ手段は、ＲＡＭ領域及びＲＯＭ領域を有することを特徴とする符号化データ復号装置。
【請求項７】
請求項６記載の符号化データ復号装置において、
前記ＲＯＭ領域には、画像符号化データの種類に依存せずに、各画像符号化データで共用可能なプログラムを配置することを特徴とする符号化データ復号装置。
【請求項８】
請求項１記載の符号化データ復号装置において、
前記内部命令メモリ手段の領域を、画像符号化データの再生中にはプログラムの入れ替えを行わない常駐領域と、画像符号化データの再生中にプログラムの入れ替えを行う命令入れ替え領域とに分けて、前記内部命令メモリ手段を使用することを特徴とする符号化データ復号装置。
【請求項９】
請求項１記載の符号化データ復号装置において、
前記内部命令メモリ手段のプログラム入れ替えを行う際に、分割されたモジュール単位のプログラムを更に、予め決められたサブモジュール単位に分割し、前記サブモジュール単位毎に、前記サブモジュール単位のプログラムが前記内部命令メモリ手段に既に格納されているかどうかを確認して、前記内部命令メモリ手段に既に格納されている場合には、前記サブモジュール単位のプログラムは新たに読み込まないように制御することを特徴とする符号化データ復号装置。
【請求項１０】
請求項１記載の符号化データ復号装置において、
前記プロセッサ手段がアイドリング状態のときに、次に実行されるプログラムを前記内部命令メモリ手段に先読みしておくことを特徴とする符号化データ復号装置。
【請求項１１】
請求項１記載の符号化データ復号装置において、
前記符号化データ復号装置は、画像符号化データだけではなく、圧縮された音声符号化データの再生にも用いられ、
音声符号化データを復号する際のプログラムをモジュール単位に分割し、予め決めておいた命令メモリ転送単位毎に前記内部命令メモリ手段へプログラムを入れ替えながら画像及び音声の符号化データを復号するように制御することを特徴とする符号化データ復号装置。
【請求項１２】
請求項１１記載の符号化データ復号装置において、
画像符号化データの復号を前記画像復号手段が実行している際には、前記プロセッサ手段の処理を音声符号化データの復号に割り当てることを特徴とする符号化データ復号装置。
【請求項１３】
請求項１２記載の符号化データ復号装置において、
画像符号化データの復号処理を行うプログラムの少なくとも一部を前記内部命令メモリ手段の常駐領域又はＲＯＭ領域に配置することにより、音声符号化データの復号処理とのプログラムの切り替えをオーバーヘッドなく行うことを特徴とする符号化データ復号装置。
【請求項１４】
圧縮された画像符号化データの再生に用いられる符号化データ復号装置であって、
画像符号化データの復号処理を行う画像復号手段と、
前記画像復号手段の動作を制御する機能を有するプロセッサ手段と、
前記プロセッサ手段が実行するプログラムを格納するための内部命令メモリ手段とを備え、
画像符号化データを復号する際のプログラムを前記内部命令メモリ手段へ入れ替えする場合には、画像符号化データの再生を中断してプログラムの入れ替えを行うように制御することを特徴とする符号化データ復号装置。
【請求項１５】
請求項１４記載の符号化データ復号装置において、
前記プロセッサ手段は、画像符号化データの復号処理の一部を分担して実行する機能を更に有することを特徴とする符号化データ復号装置。
【請求項１６】
請求項１４記載の符号化データ復号装置において、
前記内部命令メモリ手段のＲＡＭ領域へ転送すべきプログラムの全てを格納した外部命令メモリ手段を更に備えたことを特徴とする符号化データ復号装置。
【請求項１７】
請求項１４記載の符号化データ復号装置において、
前記画像復号手段から出力される復号データを記憶するための記憶手段を更に備えたことを特徴とする符号化データ復号装置。
【請求項１８】
請求項１４記載の符号化データ復号装置において、
前記符号化データ復号装置は、画像符号化データだけではなく、圧縮された音声符号化データの再生にも用いられ、
音声符号化データを復号する際のプログラムを前記内部命令メモリ手段へ入れ替えする場合には、音声符号化データの再生を中断してプログラムの入れ替えを行うように制御することを特徴とする符号化データ復号装置。
【請求項１９】
請求項１８記載の符号化データ復号装置において、
前記プロセッサ手段で複数のアプリケーションを制御する場合にプログラムの入れ替えを行うときには、プログラムの入れ替えを行わないアプリケーションの再生は続けたままで、プログラムの入れ替えを実行することを特徴とする符号化データ復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、圧縮符号化された符号化データを復号するための符号化データ復号装置に関するものであり、特に符号化データの復号制御を行うプロセッサの命令メモリの使用方法に関するものである。
【背景技術】
【０００２】  従来、デジタル画像信号を圧縮する符号化方式として、ＩＳＯ／ＩＥＣ１１１７２，１３８１８で規定されるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式が知られている。ＭＰＥＧ方式のストリームは、シーケンスヘッダで始まるシーケンス層と、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）ヘッダで始まるＧＯＰ層と、ピクチャヘッダで始まるピクチャ層と、スライスヘッダで始まるスライス層と、マクロブロック層と、最小単位であるブロック層との合計６つの層で構成される。シーケンス層は、画面のフォーマット等を指定するもので、一連の同じ属性をもつ画面グループである。ＧＯＰ層は、ランダムアクセスの基準となる画面グループの最小単位である。ピクチャ層は、１枚の画面に共通した属性で、このピクチャは、Ｉ，Ｐ，Ｂの３種類のピクチャで構成される。ここに、Ｉピクチャはフレーム内符号化画像、Ｐピクチャはフレーム間順方向予測符号化画像、Ｂピクチャはフレーム間双方向予測符号化画像である。【０００３】  画像符号化データとともに音声符号化データを復号する装置においては、音声を復号する機能はプロセッサによるソフトウェアで実現し、画像を復号する機能は専用ハードウェア（画像デコーダ）で実現し、画像復号用に画像データを格納するため外部メモリ（フレームメモリ）を備えることが多い。【０００４】  複数の音声圧縮符号化方式に対応できるように、複数の音声復号プログラムと画像データとを格納するための外部メモリを設け、命令メモリに格納された音声復号プログラムに基づき音声を復号するプロセッサと、画像データを復号する画像デコーダと、プロセッサと画像デコーダとの外部メモリへのアクセスを調停する調停回路とを備えた画像音声復号装置が知られている。この装置によれば、画像を復号する場合には外部メモリにある画像復号データを使用し、音声復号プログラムを切り替える場合には、外部メモリにある音声復号プログラムを命令メモリにローディングする。これにより、圧縮符号化された音声を復号するプログラムの種類が増加しても、命令メモリの規模と端子数の増加なく音声復号を行うことが可能になる（特許文献１参照）。
【特許文献１】特開２００２−２７８５９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】  音声の圧縮符号化方式だけでなく、画像の圧縮符号化方式にも様々な規格がある。例えばデジタルテレビの再生において、画像と音声との再生制御を１つのプロセッサで行う場合に、プログラムのサイズ分だけ命令メモリを設けることとすると、画像復号プログラムと音声復号プログラムとの両方を読み込めるだけの命令メモリを用意することになり、非常に大きな命令メモリが必要となる。また、プロセッサがＤＳＰタイプのもので画像符号化データの復号処理の一部をプロセッサでソフト処理により行うような場合には、画像符号化データの種類毎にプログラムを用意する必要が生じ、更に大きな容量の命令メモリが必要となる。これは、すなわち、ハードウェア規模の増大につながり、ハードウェアのコストの上昇を招く。【０００６】  そこで、命令メモリをＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）ではなくて例えばＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）にすることにより、この問題を多少は緩和できるが、様々な規格が登場する中において、プロセッサのプログラムのＲＯＭ化は、新規格への対応速度という意味では、チップを再度おこし直す必要があるために、時間及び工数的な課題があり、得策とはいえない。【０００７】  本発明の目的は、圧縮された符号化データの再生を行う場合の符号化データの復号を制御するプロセッサが使用する命令メモリの容量を削減することにある。
【課題を解決するための手段】
【０００８】  上記目的を達成するため、本発明に係る符号化データ復号装置は、命令メモリのプログラムを再生中にダイナミックに入れ替えながら符号化データの復号を行うこととしたものである。具体的には、画像符号化データ及び／又は音声符号化データを復号する際のプログラムをモジュール単位に分割し、予め決めておいた命令メモリ転送単位毎に内部命令メモリへプログラムを入れ替えながら符号化データを復号するように制御することとしたものである。
【発明の効果】
【０００９】  本発明によれば、内部命令メモリの容量を削減することが可能となり、システムとしてのコスト増を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明に係る画像符号化データ復号装置の構成例を示すブロック図である。
【図２】図２は、図１中のプロセッサが実行するプログラムの構成を示す図である。
【図３】図３は、図１中の内部命令メモリにおけるプログラムモジュール配置を示す図である。
【図４】図４は、図１の復号装置の動作例を示すタイミング図である。
【図５】図５は、図１の復号装置におけるプログラム入れ替えの制御フロー図である。
【図６】図６は、図１の復号装置におけるプログラム入れ替えの他の制御フロー図である。
【図７】図７は、本発明に係る画像及び音声の符号化データ復号装置の構成例を示すブロック図である。
【図８】図８は、図７中のプロセッサが実行するプログラムの構成を示す図である。
【図９】図９は、図７中の内部命令メモリにおけるプログラムモジュール配置を示す図である。
【図１０】図１０は、図７の復号装置の動作例を示すタイミング図である。
【図１１】図１１は、図７の復号装置の他の動作例を示すタイミング図である。
【図１２】図１２は、図７中のプロセッサが実行するプログラムの他の構成を示す図である。
【図１３】図１３は、図１２のプログラム構成を採用する場合の図７の復号装置の動作例を示すタイミング図である。
【符号の説明】
【００１１】  １０  画像デコーダ
１１  プロセッサ
１２  内部命令メモリ
１３  外部命令メモリ
１４  フレームメモリ
【発明を実施するための最良の形態】
【００１２】  以下、本発明の実施の形態について、添付図面を用いて説明する。【００１３】  図１は、本発明に係る画像符号化データ復号装置の構成例を示している。この装置は、ＭＰＥＧ方式の画像符号化データをリアルタイムに復号するものである。図１において、１０は画像符号化データの復号を行う画像デコーダ、１１は画像デコーダ１０の制御のみを実行し、又は画像符号化データの一部復号処理と画像デコーダ１０の制御との両方を行うプロセッサ、１２はプロセッサ１１のプログラムの一部を格納するための内部命令メモリ、１３はプロセッサ１１のプログラム（内部命令メモリ１２のＲＯＭ領域に格納されるプログラムを除く。）の全てを格納するための外部命令メモリ、１４は画像デコーダ１０から出力される復号データを記憶するフレームメモリである。なお、画像デコーダ１０、プロセッサ１１及び内部命令メモリ１２を、１個のシステムＬＳＩとして構成するのが好ましい。【００１４】  図２は、図１中のプロセッサ１１が実行するプログラムの構成を示している。図２によれば、プログラムを４つの機能モジュールに分割する。すなわち、実際に画像符号化データの復号を行う第１及び第２の画像デコードモジュール（ＶＤ１，ＶＤ２）と、第１及び第２の画像デコードモジュール（ＶＤ１，ＶＤ２）のスレッド切り替えや内部命令メモリ１２のプログラムの入れ替えを行う制御モジュールと、第１及び第２の画像デコードモジュール（ＶＤ１，ＶＤ２）が共通に使用する共通ルーチンモジュールとの合計４モジュールである。第１の画像デコードモジュール（ＶＤ１）はスライス層（ＳＬ：Ｓｌｉｃｅ  Ｌａｙｅｒ）以下の復号を行うプログラムモジュールであり、第２の画像デコードモジュール（ＶＤ２）はピクチャ層（ＰＬ：Ｐｉｃｔｕｒｅ  Ｌａｙｅｒ）以上の復号を行うプログラムモジュールである。なお、図２中に破線で区切られた部分は、外部命令メモリ１３から内部命令メモリ１２へプログラムを転送するときの転送単位（以後、サブモジュールと呼ぶ）を示す。【００１５】  図３は、図１中の内部命令メモリ１２におけるプログラムモジュール配置を示している。ここでは、図２に示した第１の画像デコードモジュール（ＶＤ１）と第２の画像デコードモジュール（ＶＤ２）とを内部命令メモリ１２のうちのＲＡＭ領域の一部（ＲＡＭ３〜ＲＡＭ７）を入れ替えながら使用する。制御モジュールは、同ＲＡＭ領域中の非入れ替え領域（常駐領域：ＲＡＭ１〜ＲＡＭ２）に配置し、再生中には入れ替えを行わない。共通ルーチンモジュールについては、内部命令メモリ１２のＲＯＭ領域（ＲＯＭ１〜ＲＯＭ３）に配置するものとする。【００１６】  図４は、図１の画像符号化データ復号装置の動作例を示している。図４中のＴ０、Ｔ１及びＴ２はそれぞれ２Ｖ期間（＝１フレーム期間）を表し、各２Ｖ期間に画像符号化データの１フレームの復号を行うものとする。Ｉ０、Ｉ１、Ｉ２及びＩ３はそれぞれＩピクチャを表し、ＶＤＬはプロセッサ１１のアイドリング状態を表す。【００１７】  図４によれば、まずＩ０（ＰＬ）の復号を開始するために、復号開始時に必要な第２の画像デコードモジュール（ＶＤ２）のプログラムを内部命令メモリ１２のＲＡＭ３〜ＲＡＭ７に読み込��。その後、Ｉ０（ＰＬ）の復号が完了して、Ｉ０（ＳＬ）の復号を開始するために、第１の画像デコードモジュール（ＶＤ１）のプログラムを内部命令メモリ１２のＲＡＭ３〜ＲＡＭ５に読み込む。Ｉ０（ＳＬ）の復号が完了したら、Ｉ１（ＰＬ）を復号するために、第２の画像デコードモジュール（ＶＤ２）が必要となるので、第２の画像デコードモジュール（ＶＤ２）のプログラムを内部命令メモリ１２に読み込む。このときに、内部命令メモリ１２のＲＡＭ６及びＲＡＭ７には、第２の画像デコードモジュール（ＶＤ２）の２個のサブモジュール２−４及び２−５が既に読み込まれているので、これら２個のサブモジュールは読み込まずにＲＡＭ３〜ＲＡＭ５だけを読み込む。このようにしてＩ１（ＰＬ）の復号が完了した時点においては、プロセッサ１１のプログラム実行状態がアイドリング状態になるために、その段階で次に必要な機能モジュールである第１の画像デコードモジュール（ＶＤ１）のプログラムを内部命令メモリ１２のＲＡＭ３〜ＲＡＭ５に前もって読み込み、復号開始までアイドリング状態となる。次にＩ１（ＳＬ）の復号を行い、その後、Ｉ２（ＰＬ）の復号を行うために、第２の画像デコードモジュール（ＶＤ２）が必要となるので、第２の画像デコードモジュール（ＶＤ２）のプログラムを内部命令メモリ１２のＲＡＭ３〜ＲＡＭ７に読み込む。以後同様の動作を繰り返して、復号を行っていく。【００１８】  なお、Ｉ１（ＳＬ）の復号開始時まで待って第１の画像デコードモジュール（ＶＤ１）のプログラムを内部命令メモリ１２のＲＡＭ３〜ＲＡＭ５に読み込むこととしても、もちろん構わない。図５は、この場合のプログラム入れ替えの制御フロー図である。図５によれば、まずＳ５００において処理が開始されると、Ｓ５０１において内部命令メモリ１２の入れ替えの必要があるかどうかの判断を行い、内部命令メモリ１２の入れ替えの必要がなければ、Ｓ５０５において処理を終了する。Ｓ５０１にて内部命令メモリ１２の入れ替えが必要と判断した場合には、Ｓ５０２にて、これから読み込む必要がある機能モジュールの中のサブモジュールが内部命令メモリ１２に既に読み込まれているかどうかを判断し、必要なサブモジュールが１つも読み込まれていない場合には、Ｓ５０３にて、次に必要な機能モジュールのサブモジュールを全て読み込んで、Ｓ５０５にて処理を終了する。Ｓ５０２にて、必要なサブモジュールが読み込まれていた場合には、Ｓ５０４にて次に必要な機能モジュールのうち、既に読み込まれているサブモジュール以外のサブモジュールの読み込みを行い、Ｓ５０５にて処理を終了する。【００１９】  図６は、図４に示した先読み方式を採用する場合のプログラム入れ替えの制御フロー図である。図６中のＳ６００〜Ｓ６０８のうちＳ６０２及びＳ６０３を除くステップは、図５中のＳ５００〜Ｓ５０５に対応する。図６によれば、Ｓ６０２にて現在プログラムがアイドリング状態かどうかを判断して、アイドリング状態でなければ、Ｓ６０８にて処理を終了する。Ｓ６０２にてプログラムがアイドリング状態であれば、Ｓ６０３にて内部命令メモリ１２の入れ替えが可能かどうかを判断して、可能でなければＳ６０８にて処理を終了する。ここで、プログラ���がアイドリング状態でありかつプログラムを先読み可能かどうかは、現在のプログラムの実行状況を見れば判断することができる。例えば、復号が完全に終了してプロセッサ１１がアイドリング状態にある場合には、例外処理が入らない限り、一定時間後には次の復号が開始されるので、プログラムを先読みすることが可能である。【００２０】  図７は、本発明に係る画像及び音声の符号化データ復号装置の構成例を示している。この装置は、ＭＰＥＧ方式の画像符号化データ及び音声符号化データをリアルタイムに復号するものである。プロセッサ１１が音声符号化データを受け取る点以外は、図１と同様である。【００２１】  図８は、図７中のプロセッサ１１が実行するプログラムの構成を示している。図８によれば、プログラムを５つの機能モジュールに分割する。すなわち、図２で説明した第１及び第２の画像デコードモジュール（ＶＤ１，ＶＤ２）と、制御モジュールと、共通ルーチンモジュールとに、音声符号化データの復号を行う音声デコードモジュール（ＡＤ１）が付加される。【００２２】  図９は、図７中の内部命令メモリ１２におけるプログラムモジュール配置を示している。ここでは、プロセッサ１１がＤＳＰも兼ねており、音声符号化データの復号をプロセッサ１１で行うものとし、図８に示した第２の画像デコードモジュール（ＶＤ２）と音声デコードモジュール（ＡＤ１）とを内部命令メモリ１２のうちのＲＡＭ領域の一部（ＲＡＭ６〜ＲＡＭ１０）に入れ替えながら使用する。制御モジュールと第１の画像デコードモジュール（ＶＤ１）とは、同ＲＡＭ領域中の非入れ替え領域（常駐領域：ＲＡＭ１〜ＲＡＭ５）に配置し、再生中には入れ替えを行わない。共通ルーチンモジュールについては、内部命令メモリ１２のＲＯＭ領域（ＲＯＭ１〜ＲＯＭ３）に配置するものとする。【００２３】  図１０は、図７の画像音声符号化データ復号装置の動作例を示している。図１０によれば、まずＩ０（ＰＬ）の復号を開始するために、復号開始時に必要な第２の画像デコードモジュール（ＶＤ２）のプログラムを内部命令メモリ１２のＲＡＭ６〜ＲＡＭ１０に読み込む。その後、Ｉ０（ＰＬ）の復号が完了して、Ｉ０（ＳＬ）の復号を開始するわけであるが、第１の画像デコードモジュール（ＶＤ１）のプログラムは内部命令メモリ１２のＲＡＭ３〜ＲＡＭ５に常駐しているので、Ｉ０（ＳＬ）のデコード期間中に必要となる音声符号化データの復号を行うための音声デコードモジュール（ＡＤ１）を内部命令メモリ１２のＲＡＭ６〜ＲＡＭ１０に読み込む。Ｉ０（ＳＬ）の復号をする際に画像デコーダ１０が画像符号化データの復号を行っている間、プロセッサ１１は、画像符号化データの処理から開放されるので、音声符号化データの復号処理を行うことができる。Ｉ０（ＳＬ）の復号が完了したら、Ｉ１（ＰＬ）を復号するために、第２の画像デコードモジュール（ＶＤ２）が必要となるので、第２の画像デコードモジュール（ＶＤ２）のプログラムを内部命令メモリ１２のＲＡＭ６〜ＲＡＭ１０に読み込む。なお、第１の画像デコードモジュール（ＶＤ１）のプログラムは内部命令メモリ１２のＲＡＭ３〜ＲＡＭ５に常駐しているので、Ｉ１（ＰＬ）の復号が完了すると、次のＩ１（ＳＬ）の��コード期間中に必要となる音声符号化データの復号を行うための音声デコードモジュール（ＡＤ１）を内部命令メモリ１２のＲＡＭ６〜ＲＡＭ１０に前もって読み込む。以後同様の動作を繰り返して、復号を行っていく。【００２４】  なお、図８〜図１０に示した例では、画像符号化データと音声符号化データとの復号プログラムをともに入れ替えたが、両復号プログラムのいずれか一方をＲＡＭ常駐領域又はＲＯＭ領域に配置して、画像符号化データと音声符号化データとの復号プログラムのうち一方のみの入れ替えを行わせて復号を行うことも可能である。【００２５】  図１１は、図７の画像音声符号化データ復号装置の他の動作例を示している。図１１によれば、命令入れ替え中も、内部命令メモリ１２の命令入れ替えを行っているサブモジュール以外の部分をプロセッサ１１がアクセスして復号を行う。図１１中の（１）の状態では、内部命令メモリ１２のＲＡＭ１からＲＡＭ１０までに、制御１−１〜１−２、音声デコード１−１〜１−５、画像デコード１−１〜１−３の各サブモジュールが格納されている。ここで、第１の画像デコードモジュール（ＶＤ１）が第２の画像デコードモジュール（ＶＤ２）に切り替えられる場合を考える（図１１中の状態（２）参照）。第２の画像デコードモジュール（ＶＤ２）への命令入れ替えはＲＡＭ８からＲＡＭ１２までで行うが、音声デコードモジュール（ＡＤ１）が格納されているのはＲＡＭ３からＲＡＭ７までである。よって、「内部命令メモリ１２の各ブロックが物理的に分割した状態で配置され、かつ、プロセッサ１１へのバスと外部命令メモリ１３へのバスとが別々に確保されており、異なるメモリブロック同士は、１つが命令入れ替えを行っているときに、他が通常のアクセス動作を行うことが可能である。」という条件を内部命令メモリ１２が満たしていれば、図１１に示すように、第２の画像デコードモジュール（ＶＤ２）への命令入れ替え中に音声デコード処理を並行して行うことが可能である。これにより、プロセッサ１１の処理性能を十分に発揮することが可能となる。【００２６】  最後に、図７中の内部命令メモリ１２のプログラムの入れ替えに関してリアルタイム性が要求されない場合の例を説明する。【００２７】  図１２は、図７中のプロセッサ１１が実行するプログラムの他の構成を示している。図８によれば、プログラムを５つの機能モジュールに分割する。すなわち、図２で説明した第１及び第２の画像デコードモジュール（ＶＤ１，ＶＤ２）と、制御モジュールとに、第１タイプの音声符号化データの復号を行う第１の音声デコードモジュール（ＡＤ１）と、第２タイプの音声符号化データの復号を行う第２の音声デコードモジュール（ＡＤ２）とが付加される。第１の音声デコードモジュール（ＡＤ１）は第１の音声圧縮符号化規格に、第２の音声デコードモジュール（ＡＤ２）は第２の音声圧縮符号化規格にそれぞれ適合したものである。【００２８】  図１３は、図１２のプログラム構成を採用する場合の図７の画像音声符号化データ復号装置の動作例を示している。図１３中の（１）の状態は、図１１中の状態（１）と同じである。ここで、音声の再生を第１タイプから第２タイプへと切り替える場合を考える。そのため、内���命令メモリ１２のＲＡＭ３からＲＡＭ７までに格納された第１の音声デコードモジュール（ＡＤ１）を第２の音声デコードモジュール（ＡＤ２）へ切り替える（図１３中の状態（３）参照）。その際に、まず音声の再生を停止し（図１３中の表示（２）参照）、その後、画像デコードに処理を移してから、音声デコードのためのプログラムの入れ替えを実施するのである。【００２９】  なお、全てのデコード処理を止めてから、内部命令メモリ１２のプログラムを入れ替えることも可能である。この方式は、画像、音声ともに再生アプリケーションを入れ替える場合に応用することができる。【００３０】  以上、図１〜図１３を参照して本発明の実施の形態を説明してきたが、プログラムの分割態様は、図２、図８及び図１２に示した例に限らない。プログラムの入れ替えタイミングについても、復号の制御方法に合わせて任意に選択することが可能である。【００３１】  また、上記各例では外部命令メモリ１３とフレームメモリ１４とを別メモリとして説明したが、これらを物理的に単一のメモリとすることも可能である。【００３２】  なお、上記の例では、内部命令メモリ１２の入れ替えが必要な場合に、当該内部命令メモリ１２に既に読み込まれているサブモジュールが存在するとき、既に読み込まれているサブモジュールについては読み込みを行わないように制御したが、既に読み込まれているサブモジュールについても同様に読み込みを行うように制御することも可能である。【００３３】  本発明は、ＩＳＯ／ＩＥＣ１１１７２，１３８１８に限らずＩＳＯ／ＩＥＣ１４４９６等の任意の圧縮符号化方式に適用することができる。
【産業上の利用可能性】
【００３４】  以上説明してきたとおり、本発明に係る符号化データ復号装置は、内部命令メモリの容量を削減することが可能であり、デジタルテレビ等として有用である。
【図１】
2005086485.tif 000002
【図２】
2005086485.tif 000003
【図３】
2005086485.tif 000004
【図４】
2005086485.tif 000005
【図５】
2005086485.tif 000006
【図６】
2005086485.tif 000007
【図７】
2005086485.tif 000008
【図８】
2005086485.tif 000009
【図９】
2005086485.tif 000010
【図１０】
2005086485.tif 000011
【図１１】
2005086485.tif 000012
【図１２】
2005086485.tif 000013
【図１３】
2005086485.tif 000014
【手続補正書】
【提出日】平成18年7月26日(2006.7.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
圧縮された画像符号化データの再生に用いられる符号化データ復号装置であって、
画像符号化データの復号処理を行う画像復号手段と、
前記画像復号手段の動作を制御する機能を有するプロセッサ手段と、
前記プロセッサ手段が実行するプログラムを格納するための内部命令メモリ手段とを備え、
画像符号化データを復号する際のプログラムをモジュール単位に分割し、予め決めておいた命令メモリ転送単位毎に前記内部命令メモリ手段へプログラムを入れ替えながら画像符号化データを復号するように制御することを特徴とする符号化データ復号装置。
【請求項２】
請求項１記載の符号化データ復号装置において、
前記プロセッサ手段は、画像符号化データの復号処理の一部を分担して実行する機能を更に有することを特徴とする符号化データ復号装置。
【請求項３】
請求項１記載の符号化データ復号装置において、
前記内部命令メモリ手段のＲＡＭ領域へ転送すべきプログラムの全てを格納した外部命令メモリ手段を更に備えたことを特徴とする符号化データ復号装置。
【請求項４】
請求項１記載の符号化データ復号装置において、
前記画像復号手段から出力される復号データを記憶するための記憶手段を更に備えたことを特徴とする符号化データ復号装置。
【請求項５】
請求項１記載の符号化データ復号装置において、
前記内部命令メモリ手段を予め複数のブロックに分割しておき、プログラムを入れ替えている際に、プログラムを入れ替えている前記内部命令メモリ手段のブロック以外の前記内部命令メモリ手段のブロックの命令メモリ領域は、前記プロセッサ手段から正常にアクセスできることを特徴とする符号化データ復号装置。
【請求項６】
請求項１記載の符号化データ復号装置において、
前記内部命令メモリ手段は、ＲＡＭ領域及びＲＯＭ領域を有することを特徴とする符号化データ復号装置。
【請求項７】
請求項６記載の符号化データ復号装置において、
前記ＲＯＭ領域には、画像符号化データの種類に依存せずに、各画像符号化データで共用可能なプログラムを配置することを特徴とする符号化データ復号装置。
【請求項８】
請求項１記載の符号化データ復号装置において、
前記内部命令メモリ手段の領域を、画像符号化データの再生中にはプログラムの入れ替えを行わない常駐領域と、画像符号化データの再生中にプログラムの入れ替えを行う命令入れ替え領域とに分けて、前記内部命令メモリ手段を使用することを特徴とする符号化データ復号装置。
【請求項９】
請求項１記載の符号化データ復号装置において、
前記内部命令メモリ手段のプログラム入れ替えを行う際に、分割されたモジュール単位のプログラムを更に、予め決められたサブモジュール単位に分割し、前記サブモジュール単位毎に、前記サブモジュール単位のプログラムが前記内部命令メモリ手段に既に格納されているかどうかを確認して、前記内部命令メモリ手段に既に格納されている場合には、前記サブモジュール単位のプログラムは新たに読み込まないように制御することを特徴とする符号化データ復号装置。
【請求項１０】
請求項１記載の符号化データ復号装置において、
前記プロセッサ手段がアイドリング状態のときに、次に実行されるプログラムを前記内部命令メモリ手段に先読みしておくことを特徴とする符号化データ復号装置。
【請求項１１】
請求項１記載の符号化データ復号装置において、
前記符号化データ復号装置は、画像符号化データだけではなく、圧縮された音声符号化データの再生にも用いられ、
音声符号化データを復号する際のプログラムをモジュール単位に分割し、予め決めておいた命令メモリ転送単位毎に前記内部命令メモリ手段へプログラムを入れ替えながら画像及び音声の符号化データを復号するように制御することを特徴とする符号化データ復号装置。
【請求項１２】
請求項１１記載の符号化データ復号装置において、
画像符号化データの復号を前記画像復号手段が実行している際には、前記プロセッサ手段の処理を音声符号化データの復号に割り当てることを特徴とする符号化データ復号装置。
【請求項１３】
請求項１２記載の符号化データ復号装置において、
画像符号化データの復号処理を行うプログラムの少なくとも一部を前記内部命令メモリ手段の常駐領域又はＲＯＭ領域に配置することにより、音声符号化データの復号処理とのプログラムの切り替えをオーバーヘッドなく行うことを特徴とする符号化データ復号装置。
【請求項１４】
圧縮された画像符号化データの再生に用いられる符号化データ復号装置であって、
画像符号化データの復号処理を行う画像復号手段と、
前記画像復号手段の動作を制御する機能を有するプロセッサ手段と、
前記プロセッサ手段が実行するプログラムを格納するための内部命令メモリ手段とを備え、
画像符号化データを復号する際のプログラムを前記内部命令メモリ手段へ入れ替えする場合には、画像符号化データの再生を中断してプログラムの入れ替えを行うように制御することを特徴とする符号化データ復号装置。
【請求項１５】
請求項１４記載の符号化データ復号装置において、
前記プロセッサ手段は、画像符号化データの復号処理の一部を分担して実行する機能を更に有することを特徴とする符号化データ復号装置。
【請求項１６】
請求項１４記載の符号化データ復号装置において、
前記内部命令メモリ手段のＲＡＭ領域へ転送すべきプログラムの全てを格納した外部命令メモリ手段を更に備えたことを特徴とする符号化データ復号装置。
【請求項１７】
請求項１４記載の符号化データ復号装置において、
前記画像復号手段から出力される復号データを記憶するための記憶手段を更に備えたことを特徴とする符号化データ復号装置。
【請求項１８】
請求項１４記載の符号化データ復号装置において、
前記符号化データ復号装置は、画像符号化データだけではなく、圧縮された音声符号化データの再生にも用いられ、
音声符号化データを復号する際のプログラムを前記内部命令メモリ手段へ入れ替えする場合には、音声符号化データの再生を中断してプログラムの入れ替えを行うように制御することを特徴とする符号化データ復号装置。
【請求項１９】
請求項１８記載の符号化データ復号装置において、
前記プロセッサ手段で複数のアプリケーションを制御する場合にプログラムの入れ替えを行うときには、プログラムの入れ替えを行わないアプリケーションの再生は続けたままで、プログラムの入れ替えを実行することを特徴とする符号化データ復号装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化された符号化データを復号するための符号化データ復号装置に関するものであり、特に符号化データの復号制御を行うプロセッサの命令メモリの使用方法に関するものである。
【背景技術】
【０００２】
従来、デジタル画像信号を圧縮する符号化方式として、ＩＳＯ／ＩＥＣ１１１７２，１３８１８で規定されるＭＰＥＧ（Moving Picture Experts Group）方式が知られている。ＭＰＥＧ方式のストリームは、シーケンスヘッダで始まるシーケンス層と、ＧＯＰ（Group Of Pictures）ヘッダで始まるＧＯＰ層と、ピクチャヘッダで始まるピクチャ層と、スライスヘッダで始まるスライス層と、マクロブロック層と、最小単位であるブロック層との合計６つの層で構成される。シーケンス層は、画面のフォーマット等を指定するもので、一連の同じ属性をもつ画面グループである。ＧＯＰ層は、ランダムアクセスの基準となる画面グループの最小単位である。ピクチャ層は、１枚の画面に共通した属性で、このピクチャは、Ｉ，Ｐ，Ｂの３種類のピクチャで構成される。ここに、Ｉピクチャはフレーム内符号化画像、Ｐピクチャはフレーム間順方向予測符号化画像、Ｂピクチャはフレーム間双方向予測符号化画像である。
【０００３】
画像符号化データとともに音声符号化データを復号する装置においては、音声を復号する機能はプロセッサによるソフトウェアで実現し、画像を復号する機能は専用ハードウェア（画像デコーダ）で実現し、画像復号用に画像データを格納するため外部メモリ（フレームメモリ）を備えることが多い。
【０００４】
複数の音声圧縮符号化方式に対応できるように、複数の音声復号プログラムと画像データとを格納するための外部メモリを設け、命令メモリに格納された音声復号プログラムに基づき音声を復号するプロセッサと、画像データを復号する画像デコーダと、プロセッサと画像デコーダとの外部メモリへのアクセスを調停する調停回路とを備えた画像音声復号装置が知られている。この装置によれば、画像を復号する場合には外部メモリにある画像復号データを使用し、音声復号プログラムを切り替える場合には、外部メモリにある音声復号プログラムを命令メモリにローディングする。これにより、圧縮符号化された音声を復号するプログラムの種類が増加しても、命令メモリの規模と端子数の増加なく音声復号を行うことが可能になる（特許文献１参照）。
【特許文献１】特開２００２−２７８５９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
音声の圧縮符号化方式だけでなく、画像の圧縮符号化方式にも様々な規格がある。例えばデジタルテレビの再生において、画像と音声との再生制御を１つのプロセッサで行う場合に、プログラムのサイズ分だけ命令メモリを設けることとすると、画像復号プログラムと音声復号プログラムとの両方を読み込めるだけの命令メモリを用意することになり、非常に大きな命令メモリが必要となる。また、プロセッサがＤＳＰタイプのもので画像符号化データの復号処理の一部をプロセッサでソフト処理により行うような場合には、画像符号化データの種類毎にプログラムを用意する必要が生じ、更に大きな容量の命令メモリが必要となる。これは、すなわち、ハードウェア規模の増大につながり、ハードウェアのコストの上昇を招く。
【０００６】
そこで、命令メモリをＲＡＭ（Random Access Memory）ではなくて例えばＲＯＭ（Read Only Memory）にすることにより、この問題を多少は緩和できるが、様々な規格が登場する中において、プロセッサのプログラムのＲＯＭ化は、新規格への対応速度という意味では、チップを再度おこし直す必要があるために、時間及び工数的な課題があり、得策とはいえない。
【０００７】
本発明の目的は、圧縮された符号化データの再生を行う場合の符号化データの復号を制御するプロセッサが使用する命令メモリの容量を削減することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る符号化データ復号装置は、命令メモリのプログラムを再生中にダイナミックに入れ替えながら符号化データの復号を行うこととしたものである。具体的には、画像符号化データ及び／又は音声符号化データを復号する際のプログラムをモジュール単位に分割し、予め決めておいた命令メモリ転送単位毎に内部命令メモリへプログラムを入れ替えながら符号化データを復号するように制御することとしたものである。
【発明の効果】
【０００９】
本発明によれば、内部命令メモリの容量を削減することが可能となり、システムとしてのコスト増を抑制することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について、添付図面を用いて説明する。
【００１１】
図１は、本発明に係る画像符号化データ復号装置の構成例を示している。この装置は、ＭＰＥＧ方式の画像符号化データをリアルタイムに復号するものである。図１において、１０は画像符号化データの復号を行う画像デコーダ、１１は画像デコーダ１０の制御のみを実行し、又は画像符号化データの一部復号処理と画像デコーダ１０の制御との両方を行うプロセッサ、１２はプロセッサ１１のプログラムの一部を格納するための内部命令メモリ、１３はプロセッサ１１のプログラム（内部命令メモリ１２のＲＯＭ領域に格納されるプログラムを除く。）の全てを格納するための外部命令メモリ、１４は画像デコーダ１０から出力される復号データを記憶するフレームメモリである。なお、画像デコーダ１０、プロセッサ１１及び内部命令メモリ１２を、１個のシステムＬＳＩとして構成するのが好ましい。
【００１２】
図２は、図１中のプロセッサ１１が実行するプログラムの構成を示している。図２によれば、プログラムを４つの機能モジュールに分割する。すなわち、実際に画像符号化データの復号を行う第１及び第２の画像デコードモジュール（ＶＤ１，ＶＤ２）と、第１及び第２の画像デコードモジュール（ＶＤ１，ＶＤ２）のスレッド切り替えや内部命令メモリ１２のプログラムの入れ替えを行う制御モジュールと、第１及び第２の画像デコードモジュール（ＶＤ１，ＶＤ２）が共通に使用する共通ルーチンモジュールとの合計４モジュールである。第１の画像デコードモジュール（ＶＤ１）はスライス層（ＳＬ：Slice Layer）以下の復号を行うプログラムモジュールであり、第２の画像デコードモジュール（ＶＤ２）はピクチャ層（ＰＬ：Picture Layer）以上の復号を行うプログラムモジュールである。なお、図２中に破線で区切られた部分は、外部命令メモリ１３から内部命令メモリ１２へプログラムを転送するときの転送単位（以後、サブモジュールと呼ぶ）を示す。
【００１３】
図３は、図１中の内部命令メモリ１２におけるプログラムモジュール配置を示している。ここでは、図２に示した第１の画像デコードモジュール（ＶＤ１）と第２の画像デコードモジュール（ＶＤ２）とを内部命令メモリ１２のうちのＲＡＭ領域の一部（ＲＡＭ３〜ＲＡＭ７）を入れ替えながら使用する。制御モジュールは、同ＲＡＭ領域中の非入れ替え領域（常駐領域：ＲＡＭ１〜ＲＡＭ２）に配置し、再生中には入れ替えを行わない。共通ルーチンモジュールについては、内部命令メモリ１２のＲＯＭ領域（ＲＯＭ１〜ＲＯＭ３）に配置するものとする。
【００１４】
図４は、図１の画像符号化データ復号装置の動作例を示している。図４中のＴ０、Ｔ１及びＴ２はそれぞれ２Ｖ期間（＝１フレーム期間）を表し、各２Ｖ期間に画像符号化データの１フレームの復号を行うものとする。Ｉ０、Ｉ１、Ｉ２及びＩ３はそれぞれＩピクチャを表し、ＩＤＬはプロセッサ１１のアイドリング状態を表す。
【００１５】
図４によれば、まずＩ０（ＰＬ）の復号を開始するために、復号開始時に必要な第２の画像デコードモジュール（ＶＤ２）のプログラムを内部命令メモリ１２のＲＡＭ３〜ＲＡＭ７に読み込む。その後、Ｉ０（ＰＬ）の復号が完了して、Ｉ０（ＳＬ）の復号を開始するために、第１の画像デコードモジュール（ＶＤ１）のプログラムを内部命令メモリ１２のＲＡＭ３〜ＲＡＭ５に読み込む。Ｉ０（ＳＬ）の復号が完了したら、Ｉ１（ＰＬ）を復号するために、第２の画像デコードモジュール（ＶＤ２）が必要となるので、第２の画像デコードモジュール（ＶＤ２）のプログラムを内部命令メモリ１２に読み込む。このときに、内部命令メモリ１２のＲＡＭ６及びＲＡＭ７には、第２の画像デコードモジュール（ＶＤ２）の２個のサブモジュール２−４及び２−５が既に読み込まれているので、これら２個のサブモジュールは読み込まずにＲＡＭ３〜ＲＡＭ５だけを読み込む。このようにしてＩ１（ＰＬ）の復号が完了した時点においては、プロセッサ１１のプログラム実行状態がアイドリング状態になるために、その段階で次に必要な機能モジュールである第１の画像デコードモジュール（ＶＤ１）のプログラムを内部命令メモリ１２のＲＡＭ３〜ＲＡＭ５に前もって読み込み、復号開始までアイドリング状態となる。次にＩ１（ＳＬ）の復号を行い、その後、Ｉ２（ＰＬ）の復号を行うために、第２の画像デコードモジュール（ＶＤ２）が必要となるので、第２の画像デコードモジュール（ＶＤ２）のプログラムを内部命令メモリ１２のＲＡＭ３〜ＲＡＭ７に読み込む。以後同様の動作を繰り返して、復号を行っていく。
【００１６】
なお、Ｉ１（ＳＬ）の復号開始時まで待って第１の画像デコードモジュール（ＶＤ１）のプログラムを内部命令メモリ１２のＲＡＭ３〜ＲＡＭ５に読み込むこととしても、もちろん構わない。図５は、この場合のプログラム入れ替えの制御フロー図である。図５によれば、まずＳ５００において処理が開始されると、Ｓ５０１において内部命令メモリ１２の入れ替えの必要があるかどうかの判断を行い、内部命令メモリ１２の入れ替えの必要がなければ、Ｓ５０５において処理を終了する。Ｓ５０１にて内部命令メモリ１２の入れ替えが必要と判断した場合には、Ｓ５０２にて、これから読み込む必要がある機能モジュールの中のサブモジュールが内部命令メモリ１２に既に読み込まれているかどうかを判断し、必要なサブモジュールが１つも読み込まれていない場合には、Ｓ５０３にて、次に必要な機能モジュールのサブモジュールを全て読み込んで、Ｓ５０５にて処理を終了する。Ｓ５０２にて、必要なサブモジュールが読み込まれていた場合には、Ｓ５０４にて次に必要な機能モジュールのうち、既に読み込まれているサブモジュール以外のサブモジュールの読み込みを行い、Ｓ５０５にて処理を終了する。
【００１７】
図６は、図４に示した先読み方式を採用する場合のプログラム入れ替えの制御フロー図である。図６中のＳ６００〜Ｓ６０８のうちＳ６０２及びＳ６０３を除くステップは、図５中のＳ５００〜Ｓ５０５に対応する。図６によれば、Ｓ６０２にて現在プログラムがアイドリング状態かどうかを判断して、アイドリング状態でなければ、Ｓ６０８にて処理を終了する。Ｓ６０２にてプログラムがアイドリング状態であれば、Ｓ６０３にて内部命令メモリ１２の入れ替えが可能かどうかを判断して、可能でなければＳ６０８にて処理を終了する。ここで、プログラムがアイドリング状態でありかつプログラムを先読み可能かどうかは、現在のプログラムの実行状況を見れば判断することができる。例えば、復号が完全に終了してプロセッサ１１がアイドリング状態にある場合には、例外処理が入らない限り、一定時間後には次の復号が開始されるので、プログラムを先読みすることが可能である。
【００１８】
図７は、本発明に係る画像及び音声の符号化データ復号装置の構成例を示している。この装置は、ＭＰＥＧ方式の画像符号化データ及び音声符号化データをリアルタイムに復号するものである。プロセッサ１１が音声符号化データを受け取る点以外は、図１と同様である。
【００１９】
図８は、図７中のプロセッサ１１が実行するプログラムの構成を示している。図８によれば、プログラムを５つの機能モジュールに分割する。すなわち、図２で説明した第１及び第２の画像デコードモジュール（ＶＤ１，ＶＤ２）と、制御モジュールと、共通ルーチンモジュールとに、音声符号化データの復号を行う音声デコードモジュール（ＡＤ１）が付加される。
【００２０】
図９は、図７中の内部命令メモリ１２におけるプログラムモジュール配置を示している。ここでは、プロセッサ１１がＤＳＰも兼ねており、音声符号化データの復号をプロセッサ１１で行うものとし、図８に示した第２の画像デコードモジュール（ＶＤ２）と音声デコードモジュール（ＡＤ１）とを内部命令メモリ１２のうちのＲＡＭ領域の一部（ＲＡＭ６〜ＲＡＭ１０）に入れ替えながら使用する。制御モジュールと第１の画像デコードモジュール（ＶＤ１）とは、同ＲＡＭ領域中の非入れ替え領域（常駐領域：ＲＡＭ１〜ＲＡＭ５）に配置し、再生中には入れ替えを行わない。共通ルーチンモジュールについては、内部命令メモリ１２のＲＯＭ領域（ＲＯＭ１〜ＲＯＭ３）に配置するものとする。
【００２１】
図１０は、図７の画像音声符号化データ復号装置の動作例を示している。図１０によれば、まずＩ０（ＰＬ）の復号を開始するために、復号開始時に必要な第２の画像デコードモジュール（ＶＤ２）のプログラムを内部命令メモリ１２のＲＡＭ６〜ＲＡＭ１０に読み込む。その後、Ｉ０（ＰＬ）の復号が完了して、Ｉ０（ＳＬ）の復号を開始するわけであるが、第１の画像デコードモジュール（ＶＤ１）のプログラムは内部命令メモリ１２のＲＡＭ３〜ＲＡＭ５に常駐しているので、Ｉ０（ＳＬ）のデコード期間中に必要となる音声符号化データの復号を行うための音声デコードモジュール（ＡＤ１）を内部命令メモリ１２のＲＡＭ６〜ＲＡＭ１０に読み込む。Ｉ０（ＳＬ）の復号をする際に画像デコーダ１０が画像符号化データの復号を行っている間、プロセッサ１１は、画像符号化データの処理から開放されるので、音声符号化データの復号処理を行うことができる。Ｉ０（ＳＬ）の復号が完了したら、Ｉ１（ＰＬ）を復号するために、第２の画像デコードモジュール（ＶＤ２）が必要となるので、第２の画像デコードモジュール（ＶＤ２）のプログラムを内部命令メモリ１２のＲＡＭ６〜ＲＡＭ１０に読み込む。なお、第１の画像デコードモジュール（ＶＤ１）のプログラムは内部命令メモリ１２のＲＡＭ３〜ＲＡＭ５に常駐しているので、Ｉ１（ＰＬ）の復号が完了すると、次のＩ１（ＳＬ）のデコード期間中に必要となる音声符号化データの復号を行うための音声デコードモジュール（ＡＤ１）を内部命令メモリ１２のＲＡＭ６〜ＲＡＭ１０に前もって読み込む。以後同様の動作を繰り返して、復号を行っていく。
【００２２】
なお、図８〜図１０に示した例では、画像符号化データと音声符号化データとの復号プログラムをともに入れ替えたが、両復号プログラムのいずれか一方をＲＡＭ常駐領域又はＲＯＭ領域に配置して、画像符号化データと音声符号化データとの復号プログラムのうち一方のみの入れ替えを行わせて復号を行うことも可能である。
【００２３】
図１１は、図７の画像音声符号化データ復号装置の他の動作例を示している。図１１によれば、命令入れ替え中も、内部命令メモリ１２の命令入れ替えを行っているサブモジュール以外の部分をプロセッサ１１がアクセスして復号を行う。図１１中の（１）の状態では、内部命令メモリ１２のＲＡＭ１からＲＡＭ１０までに、制御１−１〜１−２、音声デコード１−１〜１−５、画像デコード１−１〜１−３の各サブモジュールが格納されている。ここで、第１の画像デコードモジュール（ＶＤ１）が第２の画像デコードモジュール（ＶＤ２）に切り替えられる場合を考える（図１１中の状態（２）参照）。第２の画像デコードモジュール（ＶＤ２）への命令入れ替えはＲＡＭ８からＲＡＭ１２までで行うが、音声デコードモジュール（ＡＤ１）が格納されているのはＲＡＭ３からＲＡＭ７までである。よって、「内部命令メモリ１２の各ブロックが物理的に分割した状態で配置され、かつ、プロセッサ１１へのバスと外部命令メモリ１３へのバスとが別々に確保されており、異なるメモリブロック同士は、１つが命令入れ替えを行っているときに、他が通常のアクセス動作を行うことが可能である。」という条件を内部命令メモリ１２が満たしていれば、図１１に示すように、第２の画像デコードモジュール（ＶＤ２）への命令入れ替え中に音声デコード処理を並行して行うことが可能である。これにより、プロセッサ１１の処理性能を十分に発揮することが可能となる。
【００２４】
最後に、図７中の内部命令メモリ１２のプログラムの入れ替えに関してリアルタイム性が要求されない場合の例を説明する。
【００２５】
図１２は、図７中のプロセッサ１１が実行するプログラムの他の構成を示している。図８によれば、プログラムを５つの機能モジュールに分割する。すなわち、図２で説明した第１及び第２の画像デコードモジュール（ＶＤ１，ＶＤ２）と、制御モジュールとに、第１タイプの音声符号化データの復号を行う第１の音声デコードモジュール（ＡＤ１）と、第２タイプの音声符号化データの復号を行う第２の音声デコードモジュール（ＡＤ２）とが付加される。第１の音声デコードモジュール（ＡＤ１）は第１の音声圧縮符号化規格に、第２の音声デコードモジュール（ＡＤ２）は第２の音声圧縮符号化規格にそれぞれ適合したものである。
【００２６】
図１３は、図１２のプログラム構成を採用する場合の図７の画像音声符号化データ復号装置の動作例を示している。図１３中の（１）の状態は、図１１中の状態（１）と同じである。ここで、音声の再生を第１タイプから第２タイプへと切り替える場合を考える。そのため、内部命令メモリ１２のＲＡＭ３からＲＡＭ７までに格納された第１の音声デコードモジュール（ＡＤ１）を第２の音声デコードモジュール（ＡＤ２）へ切り替える（図１３中の状態（３）参照）。その際に、まず音声の再生を停止し（図１３中の表示（２）参照）、その後、画像デコードに処理を移してから、音声デコードのためのプログラムの入れ替えを実施するのである。
【００２７】
なお、全てのデコード処理を止めてから、内部命令メモリ１２のプログラムを入れ替えることも可能である。この方式は、画像、音声ともに再生アプリケーションを入れ替える場合に応用することができる。
【００２８】
以上、図１〜図１３を参照して本発明の実施の形態を説明してきたが、プログラムの分割態様は、図２、図８及び図１２に示した例に限らない。プログラムの入れ替えタイミングについても、復号の制御方法に合わせて任意に選択することが可能である。
【００２９】
また、上記各例では外部命令メモリ１３とフレームメモリ１４とを別メモリとして説明したが、これらを物理的に単一のメモリとすることも可能である。
【００３０】
なお、上記の例では、内部命令メモリ１２の入れ替えが必要な場合に、当該内部命令メモリ１２に既に読み込まれているサブモジュールが存在するとき、既に読み込まれているサブモジュールについては読み込みを行わないように制御したが、既に読み込まれているサブモジュールについても同様に読み込みを行うように制御することも可能である。
【００３１】
本発明は、ＩＳＯ／ＩＥＣ１１１７２，１３８１８に限らずＩＳＯ／ＩＥＣ１４４９６等の任意の圧縮符号化方式に適用することができる。
【産業上の利用可能性】
【００３２】
以上説明してきたとおり、本発明に係る符号化データ復号装置は、内部命令メモリの容量を削減することが可能であり、デジタルテレビ等として有用である。
【図面の簡単な説明】
【００３３】
【図１】本発明に係る画像符号化データ復号装置の構成例を示すブロック図である。
【図２】図１中のプロセッサが実行するプログラムの構成を示す図である。
【図３】図１中の内部命令メモリにおけるプログラムモジュール配置を示す図である。
【図４】図１の復号装置の動作例を示すタイミング図である。
【図５】図１の復号装置におけるプログラム入れ替えの制御フロー図である。
【図６】図１の復号装置におけるプログラム入れ替えの他の制御フロー図である。
【図７】本発明に係る画像及び音声の符号化データ復号装置の構成例を示すブロック図である。
【図８】図７中のプロセッサが実行するプログラムの構成を示す図である。
【図９】図７中の内部命令メモリにおけるプログラムモジュール配置を示す図である。
【図１０】図７の復号装置の動作例を示すタイミング図である。
【図１１】図７の復号装置の他の動作例を示すタイミング図である。
【図１２】図７中のプロセッサが実行するプログラムの他の構成を示す図である。
【図１３】図１２のプログラム構成を採用する場合の図７の復号装置の動作例を示すタイミング図である。
【符号の説明】
【００３４】
１０  画像デコーダ
１１  プロセッサ
１２  内部命令メモリ
１３  外部命令メモリ
１４  フレームメモリ
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2005086485.tif 000015
【図２】
2005086485.tif 000016
【図３】
2005086485.tif 000017
【図４】
2005086485.tif 000018
【図５】
2005086485.tif 000019
【図６】
2005086485.tif 000020
【図７】
2005086485.tif 000021
【図８】
2005086485.tif 000022
【図９】
2005086485.tif 000023
【図１０】
2005086485.tif 000024
【図１１】
2005086485.tif 000025
【図１２】
2005086485.tif 000026
【図１３】
2005086485.tif 000027
【国際調査報告】
2005086485.tif 000028
2005086485.tif 000029
2005086485.tif 000030
2005086485.tif 000031