(57)【要約】【課題】動画像符号化方式によらず、統一した方法でフレームメモリを管理可能な画像処理システムを実現する。【解決手段】  画像処理システムは、フレームメモリ（１２０）の管理に係る第１の情報を受け、これに基づいてフレームメモリ（１２０）におけるフレームを解放し、解放されたフレームを示す第２の情報を出力するメモリ管理装置（１０１）と、符号化画像データから画像を復号し、前記第２の情報によって示されたフレームに、当該復号画像を格納し、符号化画像データから、フレームメモリ（１２０）に格納されている画像のうち、復号処理において参照されない画像を判定し、当該画像を格納しているフレームの解放に係る情報を、前記第１の情報として、出力する画像復号装置（１１１）とを備える。【選択図】図１
2006229457.tif 000002
【特許請求の範囲】
【請求項１】
画像復号装置によって復号された画像を格納するためのフレームメモリを管理するメモリ管理装置であって、
前記画像復号装置による画像の復号処理において参照されない画像が格納されているフレームの解放に係る第１の情報を外部から受け、これに基づいて当該フレームを解放する管理部と、
解放されたフレームを示す第２の情報を外部に出力する格納位置決定部とを備えた
ことを特徴とするメモリ管理装置。
【請求項２】
請求項１に記載のメモリ管理装置において、
前記管理部は、前記フレームメモリの各フレームについて、前記復号処理に参照される画像が格納されている第１の復号状態と、これ以外の第２の復号状態とを識別するものであり、かつ、前記第１の情報によって示されたフレームを前記第２の復号状態に設定するものであり、
前記格納位置決定部は、前記第２の復号状態となっているフレームのいずれか１つを示す情報を、前記第２の情報として出力する
ことを特徴とするメモリ管理装置。
【請求項３】
請求項２に記載のメモリ管理装置において、
前記管理部は、前記フレームメモリの各フレームについて、表示に必要な画像が格納されている第１の表示状態と、これ以外の第２の表示状態とを識別するものであり、かつ、表示に不要な画像が格納されているフレームの解放に係る第３の情報を外部から受け、当該情報によって示されたフレームを前記第２の表示状態に設定するものであり、
前記格納位置決定部は、前記第２の復号状態かつ前記第２の表示状態となっているフレームのいずれか１つを示す情報を、前記第２の情報として出力する
ことを特徴とするメモリ管理装置。
【請求項４】
請求項２に記載のメモリ管理装置は、
外部から制御信号を受け、当該制御信号の制御対象のフレームを前記第２の復号状態に設定する制御処理部を備えた
ことを特徴とするメモリ管理装置。
【請求項５】
符号化画像データから画像を復号し、外部から指示されたフレームに当該復号画像を格納する画像復号部と、
前記符号化画像データから、前記フレームに格納される画像およびフレームメモリに格納されている画像のうち、前記画像復号部による復号処理において参照されない画像を判定し、当該画像を格納しているフレームの解放に係る第１の情報を外部に出力する判定部とを備えた
ことを特徴とする画像復号装置。
【請求項６】
請求項５に記載の画像復号装置において、
前記判定部は、前記フレームメモリに格納されている画像のうち、前記画像復号部による復号処理において参照されない画像を判定し、当該画像を格納しているフレームを示す情報を前記第１の情報として出力する使用済み画像判定部を有する
ことを特徴とする画像復号装置。
【請求項７】
請求項５に記載の画像復号装置において、
前記判定部は、前記フレームに格納される画像が、前記画像復号部による復号処理において参照されない画像であるか否かを判定し、当該判定結果の情報を前記第１の情報として出力する復号画像判定部を有する
ことを特徴とする画像復号装置。
【請求項８】
請求項５に記載の画像復号装置において、
前記判定部は、前記フレームメモリに格納されている画像すべてに対して、前記画像復号部による復号処理において参照されない画像であるか否かを判定し、当該判定結果の情報を前記第１の情報として出力するリセット判定部を有する
ことを特徴とする画像復号装置。
【請求項９】
請求項５に記載の画像復号装置において、
前記フレームメモリにおける所定のフレームの解放に係る制御信号を外部に出力する特殊解放部を備えた
ことを特徴とする画像復号装置。
【請求項１０】
請求項９に記載の画像復号装置において、
前記特殊解放部は、前記画像復号装置による復号処理が正常に行われなかった場合、復号処理が正常に行われなかった画像が格納されるフレームの解放に係る信号を前記制御信号として出力する復号異常検出部を有する
ことを特徴とする画像復号装置。
【請求項１１】
請求項９に記載の画像復号装置において、
前記特殊解放部は、前記画像復号部により復号される画像がインタレース画像である場合、インタレース画像処理に必要なフレームの解放に係る信号を前記制御信号として出力するインタレース検出部を有する
ことを特徴とする画像復号装置。
【請求項１２】
請求項９に記載の画像復号装置において、
前記特殊解放部は、外部から信号を受け、当該信号が示すフレームの解放に係る信号を前記制御信号として出力する外部信号検出部を有する
ことを特徴とする画像復号装置。
【請求項１３】
符号化画像データを復号する画像復号装置と、当該復号された画像を格納するためのフレームメモリを管理するメモリ管理装置とを備えた画像処理システムであって、
前記メモリ管理装置は、
前記フレームメモリの管理に係る第１の情報を受け、これに基づいて前記フレームメモリにおけるフレームを解放する管理部と、
解放されたフレームを示す第２の情報を出力する格納位置決定部とを有するものであり、
前記画像復号装置は、
前記符号化画像データから画像を復号し、前記第２の情報によって示されたフレームに、当該復号画像を格納する画像復号部と、
前記符号化画像データから、前記フレームメモリに格納されている画像のうち、前記画像復号部による復号処理に参照されない画像を判定し、当該画像を格納しているフレームの解放に係る情報を、前記第１の情報として、出力する判定部とを有するものである
ことを特徴とする画像処理システム。
【請求項１４】
符号化画像データを復号し、当該復号した画像を格納するためのフレームメモリを管理する方法であって、
前記フレームメモリの管理に係る第１の情報に基づいて、前記フレームメモリにおけるフレームを解放するステップと、
解放されたフレームを示す第２の情報を生成するステップと、
前記符号化画像データから画像を復号するステップと、
前記第２の情報によって示されたフレームに前記復号された画像を格納するステップと、
前記符号化画像データから、前記フレームメモリに格納されている画像のうち、前記復号するステップにおいて今後参照されない画像を判定するステップと、
前記参照されない画像を格納しているフレームの解放に係る情報を、前記第１の情報として、生成するステップとを備えた
ことを特徴とするフレームメモリ管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システムに関し、特に、画像を復号する画像復号装置およびフレームメモリを管理するメモリ管理装置を備えた画像処理システムに関する。
【背景技術】
【０００２】
近年、動画像符号化方式がデジタルＴＶやＤＶＤ（Digital Versatile Disc）など様々な方面で利用されている。たとえば、ＭＰＥＧ(Motion Picture Experts Group)方式では、符号化画像の復号の際、過去に復号した画像を参照して現在の画像を復号するという動き補償を用いているが、１つの画像の復号に対して使用可能な過去の画像（以下、参照画像と称する）の枚数は動画像符号化方式により異なる。たとえば、ＤＶＤなどに用いられるＭＰＥＧ２では、参照画像枚数は最大２枚であり、テレビ電話などに用いられるＭＰＥＧ４−ＳＰ（ＭＰＥＧ４−Simple Profile）では、参照画像枚数は最大１枚である。また、２００３年に新たに策定されたＭＰＥＧ４−ＡＶＣ（ＭＰＥＧ４−Advanced Video Coding）では、３枚以上の参照画像が使用可能となっている。
【０００３】
ＭＰＥＧ２やＭＰＥＧ４−ＳＰにおいては、使用する参照画像の枚数や時間的な位置は画像の種類により決定される。たとえば、ＭＰＥＧ２においては、画像種類としてＩ／Ｐ／Ｂの３種類が存在する。Ｉ画像は参照画像が不要な画像であり、Ｐ画像は、当該画像の直前に復号されたＩまたはＰ画像が参照画像となる。Ｂ画像は、当該画像に対して、実際に画面に表示される時間順で直前および直後のＩまたはＰ画像を参照画像とする。一方、ＭＰＥＧ４−ＡＶＣは画像種類のみでは参照画像の枚数や時間的な位置が決まらず、符号化画像データ内に参照画像の枚数や時間的な位置に関する情報が含まれている。
【０００４】
画像復号処理において、フレームメモリに格納された復号画像の位置を管理する部分をメモリ管理装置と呼ぶ。フレームメモリのサイズは有限であるため、メモリ管理装置では一般的に、参照画像として使用されなくなった画像の領域を、その後の復号処理で再利用するようにフレームメモリが管理される。
【０００５】
従来、フレームメモリにおける復号画像の格納位置を管理する処理においては、画像復号装置が、復号画像の種類を情報としてメモリ管理装置に通知し、メモリ管理装置が、その情報を基に復号画像の格納位置を管理してきた（たとえば、特許文献１参照）。
【特許文献１】特開平９−２０５６５１号公報（第５頁、第５図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ＭＰＥＧ２またはＭＰＥＧ４−ＳＰについては、フレームメモリの管理は上記の方法で十分であったが、ＭＰＥＧ４−ＡＶＣのように、参照画像の枚数や時間的な位置が画像の種類のみで決まらないような動画像符号化方式の場合には、上記の方法で復号画像の格納位置を管理することはできない。
【０００７】
ＭＰＥＧ２およびＭＰＥＧ４−ＳＰだけでなくＭＰＥＧ４−ＡＶＣにも対応可能なメモリ管理を実現する方法としては、ＭＰＥＧ２およびＭＰＥＧ４−ＳＰ専用のメモリ管理装置とは独立に、個々の符号化画像データごとに異なる参照画像の枚数や時間的な位置に関するパラメータ情報を基にフレームメモリの管理を行うＭＰＥＧ４−ＡＶＣ専用のメモリ管理装置を新たに加えることが考えられる。しかし、この場合、パラメータ情報量の増加によるメモリ管理装置の構成の複雑化に伴う回路規模の増加、およびメモリ管理に関する画像復号装置とメモリ管理装置との間の情報通信量の増加という問題が生じる。さらに、メモリ管理に関する情報は、動画像符号化方式ごとに異なるため、動画像符号化方式ごとに画像復号装置とメモリ管理装置との間のインタフェースを変更する必要もある。
【０００８】
上記問題に鑑み、本発明は、動画像符号化方式の別を問わず、統一した手法でフレームメモリを管理できるメモリ管理装置、および当該メモリ管理装置に対応した処理を行う画像復号装置を実現することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明が講じた手段は、画像復号装置によって復号された画像を格納するためのフレームメモリを管理するメモリ管理装置であって、画像復号装置による画像の復号処理において参照されない画像が格納されているフレームの解放に係る第１の情報を外部から受け、これに基づいて当該フレームを解放する管理部と、解放されたフレームを示す第２の情報を外部に出力する格納位置決定部とを備えたものとする。
【００１０】
この発明によると、管理部によって、入力される上記第１の情報が示すフレームが解放され、格納位置決定部によって、解放されたフレームを示す第２の情報が外部に出力される。これにより、メモリ管理装置は、動画像符号化方式ごとに異なる、参照画像に関する情報ではなく、フレームの解放に係る第１の情報に基づいて、フレームメモリを管理する。このため、動画像符号化方式の別を問わず、統一したインタフェースおよび手法でフレームメモリを管理できるため、メモリ管理装置の構成は比較的簡易となり、回路規模を小さくすることができる。
【００１１】
具体的には、管理部は、フレームメモリの各フレームについて、上記復号処理に参照される画像が格納されている第１の復号状態と、これ以外の第２の復号状態とを識別するものであり、かつ、第１の情報によって示されたフレームを第２の復号状態に設定するものであり、格納位置決定部は、第２の復号状態となっているフレームのいずれか１つを示す情報を、第２の情報として出力するものとする。
【００１２】
この発明によると、管理部によって、フレームメモリの各フレームについて、上記復号処理に参照される画像が格納されている第１の復号状態と、これ以外の第２の復号状態とが識別され、かつ、第１の情報によって示されたフレームが第２の復号状態に設定され、格納位置決定部によって、第２の状態となっているフレームのいずれか１つを示す情報がフレーム管理情報から検出され、第２の情報として出力される。これにより、各フレームについて、上記復号処理に参照される画像が格納されているか否かを容易に判別することができる。さらに、第２の情報が示すフレームに復号画像が格納されることで、今後の復号処理に参照される画像が別の画像によって上書きされることがない。
【００１３】
さらに、具体的には、管理部は、フレームメモリの各フレームについて、表示に必要な画像が格納されている第１の表示状態と、これ以外の第２の表示状態とを識別するものであり、かつ、表示に不要な画像が格納されているフレームの解放に係る第３の情報を外部から受け、当該情報によって示されたフレームを第２の表示状態に設定するものであり、格納位置決定部は、フレーム管理情報を参照し、第２の復号状態、かつ第２の表示状態となっているフレームのいずれか１つを示す情報を、第２の情報として出力するものとする。
【００１４】
この発明によると、管理部によって、フレームメモリの各フレームについて、第１の復号情報および第２の復号情報に加え、表示に必要な画像が格納されている第１の表示状態と、この状態以外の第２の表示状態とが識別され、かつ、表示に不要な画像が格納されているフレームの解放に係る第３の情報が外部から受信され、当該情報によって示されたフレームが第２の表示状態に設定され、格納位置決定部によって、第２の復号状態、かつ第２の表示状態となっているフレームのいずれか１つがフレーム管理情報から検出され、第２の情報として出力される。これにより、各フレームについて、復号画処理に参照される画像、または表示に必要な画像が格納されているか否かを容易に判別することができる。さらに、第２の情報が示すフレームに復号画像が格納されることで、今後の復号処理に参照される画像または表示に必要な画像が他の画像によって上書きされることがない。
【００１５】
また、具体的には、上記のメモリ管理装置は、外部から制御信号を受け、当該制御信号の制御対象のフレームを第２の復号状態に設定する制御処理部を備えるものとする。
【００１６】
この発明によると、制御処理部によって、第１の情報によって示されていないフレームでも、別系統から解放することができる。
【００１７】
また、上記課題を解決するために本発明が講じた手段は、画像復号装置として、符号化画像データから画像を復号し、外部から指示されたフレームに当該復号画像を格納する画像復号部と、符号化画像データから、上記フレームに格納される画像およびフレームメモリに格納されている画像のうち、画像復号部による復号処理において参照されない画像を判定し、当該画像を格納しているフレームの解放に係る第１の情報を外部に出力する判定部とを備えたものとする。
【００１８】
この発明によると、画像復号部によって、外部から指示されたフレームに復号された画像が格納され、判定部によって、符号化画像データから、上記フレームに格納される画像およびフレームメモリに格納されている画像のうち、画像復号部による復号処理において参照されない画像が判定され、当該画像を格納しているフレームの解放に係る第１の情報が外部に出力される。これにより、画像復号装置は、動画像符号化方式ごとに異なる、参照画像に関する情報ではなく、フレームの解放に係る情報を出力するため、動画像符号化方式の別を問わず、統一したインタフェースで情報を出力できる。
【００１９】
具体的には、判定部は、フレームメモリに格納されている画像のうち、画像復号部による復号処理において参照されない画像を判定し、当該画像を格納しているフレームを示す情報を第１の情報として出力する使用済み画像判定部を有するものとする。
【００２０】
また、具体的には、判定部は、上記フレームに格納される画像が、前記画像復号部による復号処理において参照されない画像であるか否かを判定し、当該判定結果の情報を第１の情報として出力する復号画像判定部を有するものとする。
【００２１】
また、具体的には、判定部は、フレームメモリに格納されている画像すべてに対して、画像復号部による復号処理において参照されない画像であるか否かを判定し、当該判定結果の情報を第１の情報として出力するリセット判定部を有するものとする。
【００２２】
また、具体的には、画像復号装置は、フレームメモリにおける所定のフレームの解放に係る制御信号を外部に出力する特殊解放部を有するものとする。
【００２３】
この発明によると、特殊解放部によって、判定部から出力される第１の情報で示されていないフレームでも、別系統から解放することができる。
【００２４】
さらに、具体的には、特殊解放部は、画像復号装置による復号処理が正常に行われなかった場合、復号処理が正常に行われなかった画像が格納されるフレームの解放に係る制御信号を出力する復号異常検出部を有するものとする。
【００２５】
さらに、具体的には、特殊解放部は、画像復号部により復号される画像がインタレース画像である場合、インタレース画像処理に必要なフレームの解放に係る制御信号を出力するインタレース検出部を有するものとする。
【００２６】
さらに、具体的には、特殊解放部は、外部から信号を受け、当該信号が示すフレームの解放に係る制御信号を出力する外部信号検出部を有するものとする。
【００２７】
また、上記課題を解決するために本発明が講じた手段は、符号化画像データを復号する画像復号装置と、当該復号された画像を格納するためのフレームメモリを管理するメモリ管理装置とを備えた画像処理システムであって、メモリ管理装置は、フレームメモリの管理に係る第１の情報を受け、これに基づいてフレームメモリにおけるフレームを解放する管理部と、解放されたフレームを示す第２の情報を出力する格納位置決定部とを有するものであり、画像復号装置は、符号化画像データから画像を復号し、第２の情報によって示されたフレームに、当該復号画像を格納する画像復号部と、符号化画像データから、フレームメモリに格納されている画像のうち、画像復号部による復号処理において参照されない画像を判定し、当該画像を格納しているフレームの解放に係る情報を、第１の情報として、出力する判定部とを有するものとする。
【００２８】
この発明によると、メモリ管理装置が有する管理部によって、フレームメモリの管理に係る第１の情報に基づいて、フレームが解放され、メモリ管理装置が有する格納位置決定部によって、解放されたフレームを示す第２の情報が出力され、画像復号装置が有する画像復号部によって、第２の情報によって示されたフレームに復号された画像が格納され、画像復号装置が有する判定部によって、符号化画像データから、フレームメモリに格納されている画像のうち、画像復号部による復号処理において参照されない画像が判定され、当該画像を格納しているフレームの解放に係る情報が、第１の情報として、出力される。これにより、メモリ管理装置は、動画像符号化方式ごとに異なる、参照画像に関する情報に基づいてフレームメモリを管理するものではなく、画像復号装置によって出力されたフレームの解放に係る第１の情報を基に、フレームメモリを管理する。このため、画像処理システムは、動画像符号化方式の別を問わず、統一したインタフェースおよび手法でフレームメモリを管理できるため、メモリ管理装置の構成は比較的簡易となり、回路規模を小さくすることができる。
【００２９】
また、上記課題を解決するために本発明が講じた手段は、符号化画像データを復号し、当該復号した画像を格納するためのフレームメモリを管理する方法であって、フレームメモリの管理に係る第１の情報に基づいて、フレームメモリにおけるフレームを解放するステップと、解放されたフレームを示す第２の情報を生成するステップと、符号化画像データから画像を復号するステップと、第２の情報によって示されたフレームに復号された画像を格納するステップと、符号化画像データから、フレームメモリに格納されている画像のうち、復号するステップにおいて参照されない画像を判定するステップと、
参照されない画像を格納しているフレームの解放に係る情報を、第１の情報として、生成するステップとを備えたものとする。
【００３０】
この発明によると、フレームメモリの管理に係る第１の情報に基づいて、フレームメモリにおけるフレームが解放され、解放されたフレームを示す第２の情報が生成され、符号化画像データから画像が復号され、第２の情報によって示されたフレームに復号された画像が格納され、符号化画像データから、フレームメモリに格納されている画像のうち、復号するステップにおいて参照されない画像が判定され、参照されない画像を格納しているフレームの解放に係る情報が、第１の情報として、通知される。これにより、この方法によって、動画像符号化方式ごとに異なる、参照画像に関する情報に基づいてフレームメモリが管理されるのではなく、フレームの解放に係る第１の情報を基に、フレームメモリが管理される。このため、動画像符号化方式の別を問わず、統一した手法でフレームメモリを管理できる。
【発明の効果】
【００３１】
本発明によると、動画像符号化方式によらず統一した手法でフレームメモリを管理することができる。また、参照画像に関する情報は動画像符号化方式の別を問わず共通であるため、画像復号装置とメモリ管理装置との間のインタフェースを統一することができる。また、メモリ管理装置の構成は簡易となり、回路規模を小さくすることができる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００３３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理システムの構成を示す。本実施形態に係る画像処理システムは、復号された画像を格納するフレームメモリ１２０の管理を行うメモリ管理装置１０１と、符号化画像データを復号し、復号した画像をフレームメモリ１２０に格納する画像復号装置１１１とを備えている。メモリ管理装置１０１は、画像復号装置１１１からフレームの解放に関する情報Ｓｉｇ１を受信し、この情報に基づいてフレームを解放し、解放されたフレームを示す情報Ｓｉｇ２を出力する。一方、画像復号装置１１１は、符号化画像データから画像を復号し、情報Ｓｉｇ２が示すフレームに、その復号画像を格納する。さらに、符号化画像データからヘッダ情報を復号し、今後、参照画像として使用されない画像を格納しているフレームの解放に関する情報Ｓｉｇ１を、メモリ管理装置１０１に出力する。以下、メモリ管理装置１０１および画像復号装置１１１の順に説明する。
【００３４】
メモリ管理装置１０１は、管理部１０２と格納位置決定部１０３とを備えている。
【００３５】
管理部１０２は、情報Ｓｉｇ１およびＳｉｇ２に基づいて、各フレームの使用状況に関するフレーム管理情報を管理している。図２は、フレーム管理情報を示す。フレーム管理情報は、フレームメモリアドレスと復号使用情報とを含む。復号使用情報は各フレームの使用状況を示すものであり、第１の復号状態に相当する「使用中」または第２の復号状態に相当する「未使用」のいずれかを示す。復号使用情報が「使用中」のフレームには、参照画像として使用される画像が格納されていることを示す。一方、「未使用」のフレームは、解放されていることを示している。具体的には、画像が格納されていないか、または画像が格納されてはいるが、その格納された画像は参照画像として今後使用されないことを意味する。
【００３６】
図３は、情報Ｓｉｇ１の構成を示す。情報Ｓｉｇ１は、フレームメモリアドレス２０１、復号画像非参照フラグ２０２、およびリセットフラグ２０３から構成される。
【００３７】
フレームメモリアドレス２０１は、画像復号装置１１１によって新たに復号された画像を除く、フレームメモリ１２０に格納されている画像のうち、今後の復号処理の参照画像として不要な画像が格納されたフレームのアドレスを示している。
【００３８】
復号画像非参照フラグ２０２は、新たに復号された画像が、今後の参照画像として必要か否かを示している。フラグが設定されている場合、その画像は参照画像として不要であることを示す。
【００３９】
リセットフラグ２０３は、新たに復号された画像を除く、フレームメモリ１２０に格納されているすべての画像が、今後の参照画像として必要か否かを示している。フラグが設定されている場合、すべて不要であることを示す。
【００４０】
情報Ｓｉｇ１を受信した管理部１０２は、フレームメモリアドレス２０１が示すフレームの復号使用情報を「未使用」に設定する。復号画像非参照フラグ２０２が設定されている場合、管理部１０２は、新たに復号された画像が格納されるフレームの復号使用情報を「未使用」に設定する。リセットフラグ２０３が設定されている場合、管理部１０２は、新たに復号された画像が格納されるフレーム以外、すべてのフレームの復号使用情報を「未使用」に設定する。
【００４１】
情報Ｓｉｇ２は、新たに復号された画像を格納するフレームのアドレスを示している。このアドレスが示すフレームの使用状況が「未使用」のままでは、格納された画像がすぐに上書きされるおそれがある。したがって、管理部１０２は、情報Ｓｉｇ２を受信し、該当するフレームの復号使用情報を「使用中」に設定する。
【００４２】
格納位置決定部１０３は、フレーム管理情報を参照し、復号使用情報が「未使用」となっているフレームを検出する。そして、新たに復号された画像をこのフレームに格納するために、このフレームのアドレスを情報Ｓｉｇ２として管理部１０２および画像復号装置１１１に出力する。図４は、格納位置決定部１０３の動作アルゴリズムを示す。ステップＳ３０１で、あるフレームに対して、復号画像情報が「使用中」であるか否かを調べる。そして、「未使用」になっているフレームを検出したとき、復号画像の格納位置を決定し（ステップＳ３０２）、このフレームのアドレスを通知する（ステップＳ３０３）。
【００４３】
なお、各フレームに対して、フレーム管理情報を参照するとき、アドレスの低い方から順番に参照するようにしても、またその逆から参照するようにしてもよい。
【００４４】
図１に戻り、画像復号装置１１１は、ヘッダ復号部１１２と、画像復号部１１３と、判定部１１４とを備えている。
【００４５】
ヘッダ復号部１１２は、符号化画像データからヘッダ情報を復号する。ヘッダ情報は、動画像符号化方式により異なる。ＭＰＥＧ２やＭＰＥＧ４−ＳＰの場合、ヘッダ情報は、符号化画像データに含まれる符号化画像の種類となる。一方、ＭＰＥＧ４−ＡＶＣの場合、ヘッダ情報は、符号化画像データに含まれる符号化画像の復号に必要な参照画像の情報、および符号化画像データから復号された画像が以降参照画像として使用されるか否かなどの情報を含んでいる。
【００４６】
画像復号部１１３は、符号化画像データから画像を復号し、この復号画像を情報Ｓｉｇ２が示すフレームに格納する。
【００４７】
判定部１１４は、復号された画像がフレームメモリ１２０に格納されるたびに情報Ｓｉｇ２を受け取ることによって、どのフレームにどのような画像が格納されているかを把握する（以下、この情報を画像位置情報と称す）。この画像位置情報を基に、判定部１１４は、符号化画像データのヘッダ情報から、フレームメモリ１２０に格納されている画像のうち、復号処理に今後参照されない画像を判定する。そして、これらの画像を格納しているフレームの解放に関する情報Ｓｉｇ１を出力する。
【００４８】
図５は、判定部１１４の内部構成を示す。判定部１１４は、使用済み画像判定部１１４１、復号画像判定部１１４２、およびリセット判定部１１４３を備えている。
【００４９】
使用済み画像判定部１１４１は、画像位置情報を基に、画像復号装置１１１に新たに入力された符号化画像データ（以下、符号化画像データＡと称す）のヘッダ情報から、符号化画像データＡより前にフレームメモリ１２０に格納された画像のなかで、今後、参照画像として必要ない画像を判定する。そして、これらの画像が格納されたフレームのアドレスを図３に示したフレームメモリアドレス２０１として出力する。たとえば、ＭＰＥＧ２において、符号化画像データＡからＰ画像が復号される場合、使用済み画像判定部１１４１は、Ｐ画像のヘッダ情報が通知されたとき、このＰ画像の直前に復号されたＩまたはＰ画像以外は今後の参照画像として必要ないことを判定する。そして、これら不要な画像が格納されたフレームのアドレスを出力する。
【００５０】
復号画像判定部１１４２は、符号化画像データＡから復号された画像が、今後参照画像として必要か否かを判定する。そして、必要なければ図３に示した復号画像非参照フラグ２０２のフラグを設定する。たとえば、ＭＰＥＧ２において、符号化画像データＡからＢ画像が復号される場合、Ｂ画像は参照画像として使用されないため、このフラグが設定される。
【００５１】
リセット判定部１１４３は、符号化画像データＡから復号された画像を除く、フレームメモリ１２０に格納された画像すべてが、今後参照画像として必要か否かを判定する。そして、すべて必要なければ図３に示したリセットフラグ２０３のフラグを設定する。たとえば、ＭＰＥＧ２において、符号化画像データＡからＩ画像が復号される場合、Ｉ画像は参照画像を必要としないため、このフラグが設定される。
【００５２】
上記より、情報Ｓｉｇ１およびＳｉｇ２は、動画像符号化方式によらない一般的な情報であるため、メモリ管理装置１０１と画像復号装置１１１との間のインタフェースを統一することができる。
【００５３】
以上、本実施形態によると、動画像符号化方式の別を問わず統一した手法でフレームメモリ１２０を管理することができる。このため、メモリ管理装置１０１と画像復号装置１１１との間のインタフェースを統一することができる。また、メモリ管理装置１０１の構成が簡易となり、回路規模が比較的小さくなる。また、メモリ管理装置１０１と画像復号装置１１１との間の通信量が削減される。
【００５４】
なお、使用済み画像判定部１１４１は、参照画像として不要な画像が格納された複数個のフレームのアドレスを数回に分けて出力することで、復号画像判定部１１４２およびリセット判定部１１４３と同じような働きをすることができる。このため、判定部１１４は、復号画像判定部１１４２またはリセット判定部１１４３を備えなくてもよい。しかし、これらを判定部１１４に実装することで、フラグによって複数のフレームの解放を一度に指示できるため、実装しない場合よりも少ない通信量で参照画像に関する情報を出力することができる。
【００５５】
また、フレームメモリアドレスについては、下位ビットまたは上位ビットの値が全フレームで同じになる場合がある。たとえば、図２では、フレームメモリの下位１６ビットと上位８ビットはすべてのフレームで同じである。このような場合には、メモリ管理装置１０１と画像復号装置１１１との間で、フレームメモリアドレスの異なる部分のみ、すなわち、中間の８ビットをやりとりするようにしてもよい。このようにすることで、情報Ｓｉｇ１およびＳｉｇ２の通信量を削減することができる。
【００５６】
また、図６は、フレーム管理情報の別の形式を示す。図６に示した形式では、フレーム管理情報として、各アドレスと一対一に対応し、かつ固定されたフレームメモリＩＤが付加されている。この場合、格納位置決定部１０３および使用済み画像判定部１１４１は、フレームメモリアドレスの代わりに、このフレームメモリＩＤを出力するようにしてもよい。このようにすることでも、情報Ｓｉｇ１およびＳｉｇ２の通信量を削減することができる。
【００５７】
また、符号化画像データが、ＭＰＥＧ２およびＭＰＥＧ４−ＳＰなどの動画像符号化方式の場合、参照画像の規則は符号化画像データに含まれる画像の種類ごとに決定されている。このため、画像復号装置１１１は、符号化画像データに含まれる画像の種類を直接、画像復号部１１３および判定部１１４に通知してもよい。このようにすることで、符号化画像データのヘッダ情報を復号する手間を省くことができる。
【００５８】
また、本実施形態ではフレームメモリＩＤは固定されたものとしたが、変化するようにしてもよい。たとえば、フレームメモリＩＤは、符号化画像データが画像復号装置１１１に入力されてから、最初にフレームに格納される画像を基準とした画像の格納順序を示すとする。さらに判定部１１４が、復号された画像およびこの画像の格納順序を記憶可能であれば、フレームメモリＩＤ、つまり格納順序でラベル付けされたフレームにどのような画像が格納されているかを把握できる。したがって、判定部１１４は、情報Ｓｉｇ２を受信せずとも、この把握した情報を基に、フレームの解放に係る情報Ｓｉｇ１を出力することができる。
【００５９】
（第２の実施形態）
図７は、本発明の第２の実施形態に係る画像処理システムの構成図である。本実施形態に係る画像処理システムは、フレームメモリ１２０の管理を行うメモリ管理装置１０１Ａと、符号化画像データから画像を復号し、フレームメモリ１２０に格納する画像復号装置１１１Ａとを備えている。メモリ管理装置１０１Ａは、管理部１０２Ａと、格納位置決定部１０３Ａと、制御処理部１０４とを備えている。一方、画像復号装置１１１Ａは、ヘッダ復号部１１２と、画像復号部１１３と、判定部１１４と、特殊解放部１１５とを備えている。また、画像表示管理装置１３０は、本実施形態に係る画像処理システムの内部または外部に設けられている。画像処理の過程は第１の実施形態で説明したものとほぼ同様なので、ここでは第１の実施形態とは異なる処理を行う部分のみを説明する。
【００６０】
画像表示管理部１３０は、表示された画像、または他の画像を表示するために使用されその後不要になった画像（すなわち、表示処理済み画像）が格納されたフレームのアドレスを、情報Ｓｉｇ３として管理部１０２Ａに出力する。図８は、表示時刻と表示処理済み画像との関係図である。時刻Ｔにおける表示画像は画像１となる。次の時刻Ｔ＋δＴにおいては、表示画像は画像２となる。画像１は時刻Ｔで既に表示され、このときには表示処理済み画像となっているため、画像表示管理装置１３０は、画像１が表示処理済み画像となったとき、画像１が格納されたフレームのアドレスを管理部１０２Ａに通知する。表示の別の方法としては、表示時刻が、ある画像１に対して前後になる画像をフィルタに用いて、画像１を表示する時間軸フィルタリング処理がある。この方法の場合、既に表示された画像、または今後フィルタに用いられない画像が表示処理済み画像に該当する。
【００６１】
管理部１０２Ａは、情報Ｓｉｇ１、Ｓｉｇ２、およびＳｉｇ３に基づいて、各フレームの使用状況に関するフレーム管理情報を管理する。図９は、管理部１０２Ａが管理するフレーム管理情報を示す。図９（ａ）に示した表示使用情報は復号使用情報と同様にフレームメモリ１２０の使用状況を表すものであり、第１の表示状態に相当する「使用中」または第２の使用状態に相当する「未使用」のいずれかを示す。表示使用情報が「使用中」のフレームには、表示処理に使用される画像が格納されていることを示す。「未使用」のフレームには、画像が格納されていないか、または画像が格納されてはいるが、この格納された画像は今後の表示処理に不要であることを示している。管理部１０２Ａは情報Ｓｉｇ３を受けると、情報Ｓｉｇ３のアドレスが示すフレームの表示使用情報を「未使用」に設定する。また、情報Ｓｉｇ２を受けると、該当するフレームの復号使用情報および表示使用情報を「使用中」に設定する。
【００６２】
なお、情報Ｓｉｇ３は、各フレームを判別可能であれば、アドレスの一部であってもよい。このようにすることで、情報Ｓｉｇ３の通信量を削減することができる。
【００６３】
また、図９（ｂ）に示したように、フレーム管理情報として、各アドレスと一対一に対応するフレームメモリＩＤを付加してもよい。画像表示管理装置１３０が、アドレスの代わりに、フレームメモリＩＤを送信することでも、情報Ｓｉｇ３の通信量を削減することができる。
【００６４】
格納位置決定部１０３Ａは、復号使用情報および表示使用情報を参照して、解放されたフレームのアドレスを出力する。図１０は、格納位置決定部１０３Ａの動作アルゴリズムを示す。格納位置決定部１０３Ａは、あるフレームに対して、ステップＳ２０１で、復号画像情報が「使用中」であるか否かを調べ、ステップＳ２０２で、表示画像情報が「使用中」であるか否かを調べる。そして、復号画像情報、表示画像情報が共に「未使用」になっているフレームを検出したとき、復号された画像の格納位置を決定し（ステップＳ２０３）、このフレームのアドレスを通知する（ステップＳ２０４）。
【００６５】
特殊解放部１１５は、判定部１１４とは独立にフレームメモリの解放に関する制御信号をす津力する。特殊解放部１１５は、復号異常検出部１１５１、インタレース検出部１１５２、および外部信号検出部１１５３を備えている。
【００６６】
復号異常検出部１１５１は、ヘッダ情報の復号時に復号異常が発生した場合、または画像復号時に復号異常が発生した場合、それぞれ、ヘッダ復号部１１２および画像復号部１１３から復号異常信号を受信する。そして、復号異常のヘッダ情報を有する画像、または復号異常の画像を、格納するフレームの復号使用情報および表示使用情報を「未使用」に設定するための制御信号を制御処理部１０４に送信する。
【００６７】
インタレース検出部１１５２は、復号された画像がインタレース処理される場合、ヘッダ復号部１１２から出力されるインタレース信号を受信し、１つの画像に対して２つのフレームを管理するための制御信号を制御処理部１０４に送信する。
【００６８】
外部信号検出部１１５３は、外部制御部１４０から外部処理信号を受信し、外部処理信号の内容に応じた制御信号を制御処理部１０４に送信する。外部処理の例としては、Ｉ画像のみを再生するＩスキップ処理やフレームメモリ１２０を初期化するためのフラッシュ処理などがある。外部信号検出部１１５３が、Ｉスキップ処理信号を受信した場合、Ｉスキップ処理中にはＩ画像は参照画像として使用されないため、復号されたＩ画像が格納されるフレームの復号使用情報を「未使用」に設定するための制御信号を制御処理部１０４に送信する。また、外部信号検出部１１５３が、フラッシュ処理信号を受信した場合、フレームメモリ１２０を初期状態、つまり画像が１つも格納されてない状態にするため、すべてのフレームの復号使用情報および表示使用情報を「未使用」に設定するための制御信号を制御処理部１０４に送信する。
【００６９】
制御処理部１０４は、情報Ｓｉｇ１、Ｓｉｇ２、およびＳｉｇ３によるフレーム管理情報の設定よりも優先的に、制御信号に基づいて、フレーム管理情報を設定する。
【００７０】
以上、本実施形態によると、画像の表示処理に関する状況を把握してフレームメモリ１２０を管理することができる。また、復号異常を起こした場合、画像をインタレース処理しなければならない場合、または外部の処理信号を受信した場合であっても、優先的にこれらの処理を最適制御することができる。
【００７１】
なお、ここでは、特殊解放部１１５は、復号異常検出部１１５１、インタレース検出部１１５２、および外部信号検出部１１５３としたが、他に特殊な処理を行う場合も含む。また、上記の特殊解放部は常に実装させるのではなく、必要な場合にのみ実装させるようにしてもよい。
【産業上の利用可能性】
【００７２】
本発明に係る画像処理システムは、動画像符号化方式によらず統一した手法で画像のフレームメモリの位置を管理することができるため、複数の動画像符号化方式を用いる機器での利用に有用である。
【図面の簡単な説明】
【００７３】
【図１】本発明の第１の実施形態に係る画像処理システムの構成図である。
【図２】本発明の第１の実施形態に係るフレーム管理情報を示す図である。
【図３】フレームの解放に係る情報を示した図である。
【図４】本発明の第１の実施形態に係る格納位置決定部が行う動作アルゴリズムを示す図である。
【図５】判定部の内部構成を示した図である。
【図６】本発明の第１の実施形態に係るフレーム管理情報の別形式を示す図である。
【図７】本発明の第２の実施形態に係る画像処理システムの構成図である。
【図８】表示時刻と表示処理済み画像との関係を示した図である。
【図９】本発明の第２の実施形態に係るフレーム管理情報を示す図である。
【図１０】本発明の第２の実施形態に係る格納位置決定部が行う動作アルゴリズムを示す図である。
【符号の説明】
【００７４】
１０１、１０１Ａ  メモリ管理装置
１０２、１０２Ａ  管理部
１０３、１０３Ａ  格納位置決定部
１１１、１１１Ａ  画像復号装置
１１４  判定部
１１４１  使用済み画像判定部
１１４２  復号画像判定部
１１４３  リセット判定部
Ｓｉｇ１  情報（第１の情報）
Ｓｉｇ２  情報（第２の情報）
Ｓｉｇ３  情報（第３の情報）
【図１】
2006229457.tif 000003
【図２】
2006229457.tif 000004
【図３】
2006229457.tif 000005
【図４】
2006229457.tif 000006
【図５】
2006229457.tif 000007
【図６】
2006229457.tif 000008
【図７】
2006229457.tif 000009
【図８】
2006229457.tif 000010
【図９】
2006229457.tif 000011
【図１０】
2006229457.tif 000012