(57)【要約】【課題】再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行う。【解決手段】デコード手段３２はフレーム分離手段３１により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータをデコード時間検出手段３６により取得された１フレームデータのデコード処理時間に基づいて品質パラメータ算出手段３８により算出し、デコード品質更新手段３５によりデコード手段３２に対して更新する。また、品質パラメータ算出手段３８により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置をフレーム位置決定手段３８により決定し、フレーム位置更新手段３４によりフレーム分離手段３１に対して決定された次に処理するフレーム位置を指示する。【選択図】        図１１
2004336404.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置において、
前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離手段と、
このフレーム分離手段により取り出されたフレームデータをデコード処理するデコード手段と、
前記デコード手段による１フレームデータのデコード処理時間を取得するデコード時間検出手段と、
このデコード時間検出手段から取得したデコード処理時間を基に、前記デコード手段におけるデコード処理の際のデコード品質を決定する品質パラメータを算出する品質パラメータ算出手段と、
この品質パラメータ算出手段により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定するフレーム位置決定手段と、
前記デコード手段に対し、前記品質パラメータ算出手段により算出された品質パラメータを更新するデコード品質更新手段と、
前記フレーム分離手段に対し、前記フレーム位置決定手段により決定されたフレーム位置を指示するフレーム位置更新手段と、
を備えることを特徴とする動画像処理装置。
【請求項２】
前記品質パラメータ算出手段は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出することを特徴とする請求項１記載の動画像処理装置。
【請求項３】
前記デコード手段によりデコード処理を行った際のデコード処理時間を前記デコード時間検出手段から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新手段を備えることを特徴とする請求項２記載の動画像処理装置。
【請求項４】
前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることを特徴とする請求項２記載の動画像処理装置。
【請求項５】
前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることを特徴とする請求項４記載の動画像処理装置。
【請求項６】
前記統計情報更新手段は、
前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化手段と、
前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新手段と、
を備えることを特徴とする請求項５記載の動画像処理装置。
【請求項７】
前記予測デコード時間更新手段は、
前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比に応じ、これら２つの平均値のいずれかを前記予測デコード時間として更新する、
ことを特徴とする請求項６記載の動画像処理装置。
【請求項８】
前記品質パラメータ算出手段は、
前記フレーム分離手段で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出手段と、
この圧縮データ量検出手段により順次取得される各フレームのフレームデータのサイズの増減に応じて品質パラメータを補正する変動傾向補正手段と、
を備えることを特徴とする請求項１ないし７のいずれか一記載の動画像処理装置。
【請求項９】
フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式であることを特徴とする請求項１ないし８のいずれか一記載の動画像処理装置。
【請求項１０】
フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離機能と、
このフレーム分離機能により取り出されたフレームデータをデコード処理するデコード機能と、
前記デコード機能による１フレームデータのデコード処理時間を取得するデコード時間検出機能と、
このデコード時間検出機能から取得したデコード処理時間を基に、前記デコード機能におけるデコード処理の際のデコード品質を決定する品質パラメータを算出する品質パラメータ算出機能と、
この品質パラメータ算出機能により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定するフレーム位置決定機能と、
前記デコード機能に対し、前記品質パラメータ算出機能により算出された品質パラメータを更新するデコード品質更新機能と、
前記フレーム分離機能に対し、前記フレーム位置決定機能により決定されたフレーム位置を指示するフレーム位置更新機能と、
を実行させることを特徴とするプログラム。
【請求項１１】
前記品質パラメータ算出機能は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出することを特徴とする請求項１０記載のプログラム。
【請求項１２】
前記デコード機能によりデコード処理を行った際のデコード処理時間を前記デコード時間検出機能から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新機能を前記コンピュータに実行させることを特徴とする請求項１１記載のプログラム。
【請求項１３】
前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることを特徴とする請求項１１記載のプログラム。
【請求項１４】
前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることを特徴とする請求項１３記載のプログラム。
【請求項１５】
前記統計情報更新機能は、
前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化機能と、
前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新機能と、
を前記コンピュータに実行させることを特徴とする請求項１４記載のプログラム。
【請求項１６】
前記予測デコード時間更新機能は、
前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比に応じ、これら２つの平均値のいずれかを前記予測デコード時間として更新する、
ことを特徴とする請求項１５記載のプログラム。
【請求項１７】
前記品質パラメータ算出機能は、
前記フレーム分離機能で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出機能と、
この圧縮データ量検出機能により順次取得される各フレームのフレームデータのサイズの増減に応じて品質パラメータを補正する変動傾向補正機能と、
を前記コンピュータに実行させることを特徴とする請求項１０ないし１６のいずれか一記載のプログラム。
【請求項１８】
フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式であることを特徴とする請求項１０ないし１７のいずれか一記載のプログラム。
【請求項１９】
請求項１０ないし１８のいずれか一記載のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体。
【請求項２０】
フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理方法であって、
前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離工程と、
このフレーム分離工程により取り出されたフレームデータをデコード処理するデコード工程と、
前記デコード工程による１フレームデータのデコード処理時間を取得するデコード時間検出工程と、
このデコード時間検出工程から取得したデコード処理時間を基に、前記デコード工程におけるデコード処理の際のデコード品質を決定する品質パラメータを算出する品質パラメータ算出工程と、
この品質パラメータ算出工程により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定するフレーム位置決定工程と、
前記デコード工程に対し、前記品質パラメータ算出工程により算出された品質パラメータを更新するデコード品質更新工程と、
前記フレーム分離工程に対し、前記フレーム位置決定工程により決定されたフレーム位置を指示するフレーム位置更新工程と、
をコンピュータの処理制御により行なうことを特徴とする動画像処理方法。
【請求項２１】
前記品質パラメータ算出工程は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出することを特徴とする請求項２０記載の動画像処理方法。
【請求項２２】
前記デコード工程によりデコード処理を行った際のデコード処理時間を前記デコード時間検出工程から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新工程をコンピュータの処理制御により行なうことを特徴とする請求項２１記載の動画像処理方法。
【請求項２３】
前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることを特徴とする請求項２１記載の動画像処理方法。
【請求項２４】
前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることを特徴とする請求項２３記載の動画像処理方法。
【請求項２５】
前記統計情報更新工程は、
前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化工程と、
前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新工程と、
をコンピュータの処理制御により行なうことを特徴とする請求項２４記載の動画像処理方法。
【請求項２６】
前記予測デコード時間更新工程は、
前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比に応じ、これら２つの平均値のいずれかを前記予測デコード時間として更新する、
ことを特徴とする請求項２５記載の動画像処理方法。
【請求項２７】
前記品質パラメータ算出工程は、
前記フレーム分離工程で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出工程と、
この圧縮データ量検出工程により順次取得される各フレームのフレームデータのサイズの増減に応じて品質パラメータを補正する変動傾向補正工程と、
をコンピュータの処理制御により行なうことを特徴とする請求項２０ないし２６のいずれか一記載の動画像処理方法。
【請求項２８】
フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式であることを特徴とする請求項２０ないし２７のいずれか一記載の動画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置、プログラム、記憶媒体および動画像処理方法に関する。
【０００２】
【従来の技術】
一般に、デジタル動画像データの伝送・蓄積を行う場合には、デジタル動画像圧縮伸長技術を用いて数１０分の１に圧縮処理し、伝送レートや蓄積容量の負荷を低減するようにしている。このようなデジタル動画像圧縮伸長技術としては、動画像専用のＭＰＥＧ１／ＭＰＥＧ２／ＭＰＥＧ４や、静止画像を連続したフレームとして扱うＭｏｔｉｏｎ  ＪＰＥＧが用いられている。
【０００３】
ＭＰＥＧ方式とＭｏｔｉｏｎ静止画像方式の違いは、後者がフレーム内符号化だけを行うのに対し、前者は同一フレーム内の画像ばかりではなく、異なるフレーム間画像においても相関をとり、より圧縮率を上げることができることにある。一方、各々のフレームを独立に扱う後者の方式は、前者に比較して、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともない。このように、ＭＰＥＧ方式、Ｍｏｔｉｏｎ静止画像方式は、各々特長を持っている。そして、アプリケーション毎に、適宜、方式が使い分けられている。
【０００４】
また、近年においては、後者のＭｏｔｉｏｎ静止画像の符号化については、離散ウェーブレット変換を用いて画像データを圧縮符号化するようにしたＭｏｔｉｏｎ  ＪＰＥＧ２０００という新しい方式が規格化されつつある。
【０００５】
ところで、ＭＰＥＧ方式やＭｏｔｉｏｎ静止画像方式に代表される多くの符号化方式では画像をブロック単位で処理するため、その復号画像にはブロックノイズやエッジノイズといった劣化が生じる。ブロックノイズとは、本来の画像の絵柄にはないブロックパターン状の幾何学模様が見える歪みである。また、エッジノイズはエッジ付近に生じるリンギング状の歪み（モスキートノイズともいう）である。
【０００６】
そこで、従来においては、このような符号化方式固有のノイズを除去するポストフィルタが提案されている。このポストフィルタは、概略的には、復号画像信号を平滑化して、ブロック間の境界部における高域成分を取り除く等の処理を行うものである。
【０００７】
しかしながら、上述したようなポストフィルタによるフィルタ処理は比較的多くの演算量を必要とするため、フィルタ処理に時間がかかり、結果的に再生処理の遅れが引き起こされる場合がある。特に、マイクロプロセッサベースでソフトウェアデコードを行うシステムでは、動きの激しい場面においては復号処理そのものにプロセッサ資源が占有されてしまうので、それによってプロセッサ負荷が高くなり、再生処理の遅れが多々引き起こされることになる。再生処理の遅れは、音声と同期して動画像の復号・再生をソフトウェアによって行う場合に特に顕在化され、音声とのずれや、コマ落ちなどの問題が生じることになる。
【０００８】
すなわち、動画像の再生処理に遅れが生じた場合には、通常、その遅れを解消するために、いくつかのフレームに関する復号処理を省くというフレームスキップが行われる。これにより、コマ落ちが発生し、ギクシャクとした再生画像となってしまう。特に、高圧縮率、高画質の画像が得られるＭｏｔｉｏｎ  ＪＰＥＧ２０００方式においては、Ｍｏｔｉｏｎ  ＪＰＥＧの画像処理に比べると多くの演算量を必要とするため、コマ落ちが顕著になる。
【０００９】
そこで、このような問題を解決すべく、特許文献１に記載されているデジタル動画像圧縮・伸張処理を用いたリアルタイム録画再生装置においては、フレームレート制御部を持つことにより、圧縮時に処理が間に合わない場合は補間処理を行い、伸張時に処理が間に合わない場合はコマ落とし処理を行うようにし、特に伸張時のコマ落としは、圧縮時に補間処理を行ったフレームを優先的にコマ落とし処理する技術が開示されている。
【００１０】
【特許文献１】
特開２００１−３０９３０３公報
【００１１】
【発明が解決しようとする課題】
しかしながら、上述したような特許文献１に開示された技術によれば、圧縮時の補間処理は実質的には間引き処理であり、結果的にはフレームレートを低下させるため、コマ落としによりフレームレートを低下させて処理のリアルタイム性を確保しているにすぎず、表示される動画像は動きが滑らかでない画像となってしまうという問題がある。
【００１２】
本発明の目的は、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる動画像処理装置、プログラム、記憶媒体および動画像処理方法を提供することである。
【００１３】
【課題を解決するための手段】
請求項１記載の発明の動画像処理装置は、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置において、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離手段と、このフレーム分離手段により取り出されたフレームデータをデコード処理するデコード手段と、前記デコード手段による１フレームデータのデコード処理時間を取得するデコード時間検出手段と、このデコード時間検出手段から取得したデコード処理時間を基に、前記デコード手段におけるデコード処理の際のデコード品質を決定する品質パラメータを算出する品質パラメータ算出手段と、この品質パラメータ算出手段により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定するフレーム位置決定手段と、前記デコード手段に対し、前記品質パラメータ算出手段により算出された品質パラメータを更新するデコード品質更新手段と、前記フレーム分離手段に対し、前記フレーム位置決定手段により決定されたフレーム位置を指示するフレーム位置更新手段と、を備える。
【００１４】
したがって、デコード手段はフレーム分離手段により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータはデコード時間検出手段により取得された１フレームデータのデコード処理時間に基づいて品質パラメータ算出手段により算出されてデコード品質更新手段によりデコード手段に対して更新される。また、フレーム位置決定手段により品質パラメータ算出手段により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置が決定され、フレーム位置更新手段によりフレーム分離手段に対して決定された次に処理するフレーム位置が指示される。これにより、伸長処理能力に応じて適応的に画像品質を制御することが可能になり、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理が可能になる。また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することが可能になる。
【００１５】
請求項２記載の発明は、請求項１記載の動画像処理装置において、前記品質パラメータ算出手段は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出する。
【００１６】
したがって、品質パラメータの算出が容易になる。
【００１７】
請求項３記載の発明は、請求項２記載の動画像処理装置において、前記デコード手段によりデコード処理を行った際のデコード処理時間を前記デコード時間検出手段から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新手段を備える。
【００１８】
したがって、精度を高めることが可能になる。
【００１９】
請求項４記載の発明は、請求項２記載の動画像処理装置において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有している。
【００２０】
したがって、各品質での予測されるデコード処理時間が予測デコード時間として規定されていることにより、品質パラメータに応じたデコード処理の予想時間の決定が容易になる。
【００２１】
請求項５記載の発明は、請求項４記載の動画像処理装置において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有している。
【００２２】
したがって、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することが可能になる。
【００２３】
請求項６記載の発明は、請求項５記載の動画像処理装置において、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化手段と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新手段と、を備える。
【００２４】
したがって、予測されるデコード処理時間である予測デコード時間が、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化され、デコード処理時間の過去の実測値に基づいて確実に更新される。
【００２５】
請求項７記載の発明は、請求項６記載の動画像処理装置において、前記予測デコード時間更新手段は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比に応じ、これら２つの平均値のいずれかを前記予測デコード時間として更新する。
【００２６】
したがって、小さな変動に対しては揺れが少なく、大きな変動にも対応可能になる。
【００２７】
請求項８記載の発明は、請求項１ないし７のいずれか一記載の動画像処理装置において、前記品質パラメータ算出手段は、前記フレーム分離手段で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出手段と、この圧縮データ量検出手段により順次取得される各フレームのフレームデータのサイズの増減に応じて品質パラメータを補正する変動傾向補正手段と、を備える。
【００２８】
したがって、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータが補正される。これにより、フレームレートを確実に維持するための安全策がとられる。
【００２９】
請求項９記載の発明は、請求項１ないし８のいずれか一記載の動画像処理装置において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式である。
【００３０】
したがって、高圧縮率、高画質の動画像を得ることが可能になる。
【００３１】
請求項１０記載の発明のプログラムは、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離機能と、このフレーム分離機能により取り出されたフレームデータをデコード処理するデコード機能と、前記デコード機能による１フレームデータのデコード処理時間を取得するデコード時間検出機能と、このデコード時間検出機能から取得したデコード処理時間を基に、前記デコード機能におけるデコード処理の際のデコード品質を決定する品質パラメータを算出する品質パラメータ算出機能と、この品質パラメータ算出機能により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定するフレーム位置決定機能と、前記デコード機能に対し、前記品質パラメータ算出機能により算出された品質パラメータを更新するデコード品質更新機能と、前記フレーム分離機能に対し、前記フレーム位置決定機能により決定されたフレーム位置を指示するフレーム位置更新機能と、を実行させる。
【００３２】
したがって、デコード機能はフレーム分離機能により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータはデコード時間検出機能により取得された１フレームデータのデコード処理時間に基づいて品質パラメータ算出機能により算出されてデコード品質更新機能によりデコード機能に対して更新される。また、フレーム位置決定機能により品質パラメータ算出機能により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置が決定され、フレーム位置更新機能によりフレーム分離機能に対して決定された次に処理するフレーム位置が指示される。これにより、伸長処理能力に応じて適応的に画像品質を制御することが可能になり、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理が可能になる。また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することが可能になる。
【００３３】
請求項１１記載の発明は、請求項１０記載のプログラムにおいて、前記品質パラメータ算出機能は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出する。
【００３４】
したがって、品質パラメータの算出が容易になる。
【００３５】
請求項１２記載の発明は、請求項１１記載のプログラムにおいて、前記デコード機能によりデコード処理を行った際のデコード処理時間を前記デコード時間検出機能から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新機能を前記コンピュータに実行させる。
【００３６】
したがって、精度を高めることが可能になる。
【００３７】
請求項１３記載の発明は、請求項１１記載のプログラムにおいて、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有している。
【００３８】
したがって、各品質での予測されるデコード処理時間が予測デコード時間として規定されていることにより、品質パラメータに応じたデコード処理の予想時間の決定が容易になる。
【００３９】
請求項１４記載の発明は、請求項１３記載のプログラムにおいて、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有している。
【００４０】
したがって、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することが可能になる。
【００４１】
請求項１５記載の発明は、請求項１４記載のプログラムにおいて、前記統計情報更新機能は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化機能と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新機能と、を前記コンピュータに実行させる。
【００４２】
したがって、予測されるデコード処理時間である予測デコード時間が、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化され、デコード処理時間の過去の実測値に基づいて確実に更新される。
【００４３】
請求項１６記載の発明は、請求項１５記載のプログラムにおいて、前記予測デコード時間更新機能は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比に応じ、これら２つの平均値のいずれかを前記予測デコード時間として更新する。
【００４４】
したがって、小さな変動に対しては揺れが少なく、大きな変動にも対応可能になる。
【００４５】
請求項１７記載の発明は、請求項１０ないし１６のいずれか一記載のプログラムにおいて、前記品質パラメータ算出機能は、前記フレーム分離機能で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出機能と、この圧縮データ量検出機能により順次取得される各フレームのフレームデータのサイズの増減に応じて品質パラメータを補正する変動傾向補正機能と、を前記コンピュータに実行させる。
【００４６】
したがって、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータが補正される。これにより、フレームレートを確実に維持するための安全策がとられる。
【００４７】
請求項１８記載の発明は、請求項１０ないし１７のいずれか一記載のプログラムにおいて、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式である。
【００４８】
したがって、高圧縮率、高画質の動画像を得ることが可能になる。
【００４９】
請求項１９記載の発明のコンピュータに読取り可能な記憶媒体は、請求項１０ないし１８のいずれか一記載のプログラムを記憶している。
【００５０】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項１０ないし１８のいずれか一記載の発明と同様の作用を得ることが可能になる。
【００５１】
請求項２０記載の発明の動画像処理方法は、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理方法であって、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離工程と、このフレーム分離工程により取り出されたフレームデータをデコード処理するデコード工程と、前記デコード工程による１フレームデータのデコード処理時間を取得するデコード時間検出工程と、このデコード時間検出工程から取得したデコード処理時間を基に、前記デコード工程におけるデコード処理の際のデコード品質を決定する品質パラメータを算出する品質パラメータ算出工程と、この品質パラメータ算出工程により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定するフレーム位置決定工程と、前記デコード工程に対し、前記品質パラメータ算出工程により算出された品質パラメータを更新するデコード品質更新工程と、前記フレーム分離工程に対し、前記フレーム位置決定工程により決定されたフレーム位置を指示するフレーム位置更新工程と、をコンピュータの処理制御により行なう。
【００５２】
したがって、デコード工程はフレーム分離工程により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータはデコード時間検出工程により取得された１フレームデータのデコード処理時間に基づいて品質パラメータ算出工程により算出されてデコード品質更新工程によりデコード工程に対して更新される。また、フレーム位置決定工程により品質パラメータ算出工程により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置が決定され、フレーム位置更新工程によりフレーム分離工程に対して決定された次に処理するフレーム位置が指示される。これにより、伸長処理能力に応じて適応的に画像品質を制御することが可能になり、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理が可能になる。また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することが可能になる。
【００５３】
請求項２１記載の発明は、請求項２０記載の動画像処理方法前記品質パラメータ算出工程は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出する。
【００５４】
したがって、品質パラメータの算出が容易になる。
【００５５】
請求項２２記載の発明は、請求項２１記載の動画像処理方法において、前記デコード工程によりデコード処理を行った際のデコード処理時間を前記デコード時間検出工程から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新工程をコンピュータの処理制御により行なう。
【００５６】
したがって、精度を高めることが可能になる。
【００５７】
請求項２３記載の発明は、請求項２１記載の動画像処理方法において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有している。
【００５８】
したがって、各品質での予測されるデコード処理時間が予測デコード時間として規定されていることにより、品質パラメータに応じたデコード処理の予想時間の決定が容易になる。
【００５９】
請求項２４記載の発明は、請求項２３記載の動画像処理方法において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有している。
【００６０】
したがって、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することが可能になる。
【００６１】
請求項２５記載の発明は、請求項２４記載の動画像処理方法において、前記統計情報更新工程は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化工程と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新工程と、をコンピュータの処理制御により行なう。
【００６２】
したがって、予測されるデコード処理時間である予測デコード時間が、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化され、デコード処理時間の過去の実測値に基づいて確実に更新される。
【００６３】
請求項２６記載の発明は、請求項２５記載の動画像処理方法において、前記予測デコード時間更新工程は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比に応じ、これら２つの平均値のいずれかを前記予測デコード時間として更新する。
【００６４】
したがって、小さな変動に対しては揺れが少なく、大きな変動にも対応可能になる。
【００６５】
請求項２７記載の発明は、請求項２０ないし２６のいずれか一記載の動画像処理方法において、前記品質パラメータ算出工程は、前記フレーム分離工程で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出工程と、この圧縮データ量検出工程により順次取得される各フレームのフレームデータのサイズの増減に応じて品質パラメータを補正する変動傾向補正工程と、をコンピュータの処理制御により行なう。
【００６６】
したがって、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータが補正される。これにより、フレームレートを確実に維持するための安全策がとられる。
【００６７】
請求項２８記載の発明は、請求項２０ないし２７のいずれか一記載の動画像処理方法において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式である。
【００６８】
したがって、高圧縮率、高画質の動画像を得ることが可能になる。
【００６９】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図１８に基づいて説明する。
【００７０】
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「ＪＰＥＧ２０００アルゴリズム」の概要について説明する。
【００７１】
図１は、ＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００７２】
このシステムが従来のＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００でＤＷＴが採用された大きな理由の一つとなっている。
【００７３】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００７４】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００７５】
次に、ＪＰＥＧ２０００アルゴリズムについて説明する。
【００７６】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、ＪＰＥＧ２０００では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネント毎、また、タイル１１２毎に、独立に行われる。
【００７７】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００７８】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００７９】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００８０】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００８１】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００８２】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【００８３】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【００８４】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Ｌｅａｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Ｍｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００８５】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【００８６】
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（ｂｉｔ  ｓｔｒｅａｍ）の先頭にはヘッダ（メインヘッダ（Ｍａｉｎ  ｈｅａｄｅｒ）、タイル境界位置情報等であるタイルパートヘッダ（ｔｉｌｅ  ｐａｒｔ  ｈｅａｄｅｒ））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Ｍａｉｎ  ｈｅａｄｅｒ）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（ｅｎｄ  ｏｆ  ｃｏｄｅｓｔｒｅａｍ）が置かれる。また、図７は、符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコード・ストリーム構造を示すものである。図７に示すように、タイルによる分割処理を行っても、あるいはタイルによる分割処理を行わなくても、同様のパケット列構造を持つことになる。
【００８７】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００８８】
以上が、「ＪＰＥＧ２０００アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Ｍｏｔｉｏｎ  ＪＰＥＧ２０００アルゴリズム」である。すなわち、「Ｍｏｔｉｏｎ  ＪＰＥＧ２０００」は、図８に示すように、１フレームのＪＰＥＧ２０００画像を所定のフレームレート（単位時間に再生するフレーム数）で連続して表示することにより、動画像にするものである。
【００８９】
以下、本発明の実施の一形態について説明する。なお、ここでは、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００を代表とする動画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００９０】
図９は、本実施の形態に係る動画像出力システム１の全体構成を示すブロック図である。図９に示すように、動画像出力システム１は、圧縮動画像データを動画像処理装置３に対して入力する入力装置２と、入力装置２から入力した圧縮動画像データを伸長する動画像処理装置３と、動画像処理装置３で伸長された動画像データを出力する出力装置４とからなる。
【００９１】
入力装置２は、具体的には、動画像処理装置３へ圧縮動画像データを送信する各種通信インターフェイス、圧縮動画像データを記憶する記憶装置、動画像を入力するビデオカメラなどの動画像入力装置などである。入力装置２から動画像処理装置３へと出力される圧縮動画像データは、「Ｍｏｔｉｏｎ  ＪＰＥＧ２０００アルゴリズム」に従って圧縮符号化されたＭｏｔｉｏｎ  ＪＰＥＧ２０００データである。
【００９２】
出力装置４は、具体的には、動画像処理装置３で伸長された動画像データを受信する各種通信インターフェイス、伸長された動画像を表示するＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ），ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）などのディスプレイなどである。
【００９３】
次に、動画像処理装置３について詳細に説明する。図１０は、本実施の形態における動画像処理装置３のモジュール構成図である。動画像処理装置３は、いわゆるパーソナルコンピュータであって、情報処理を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１、情報を格納するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３等の一次記憶装置１４、後述する圧縮符号を記憶する記憶部であるＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１５等の二次記憶装置１６、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置１７、入力装置２や出力装置４と通信により情報を伝達するためのネットワークインターフェース１８、処理経過や結果等を操作者に表示するＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等の表示装置１９、並びに操作者がＣＰＵ１１に命令や情報等を入力するためのキーボード２０、マウス等のポインティングディバイス２１等から構成されており、これらの各部間で送受信されるデータをバスコントローラ２２が調停して動作する。なお、本実施の形態においては、動画像処理装置３の表示装置１９が出力装置４として機能するものとする。
【００９４】
このような動画像処理装置３では、ユーザが電源を投入するとＣＰＵ１１がＲＯＭ１２内のローダーというプログラムを起動させ、ＨＤＤ１５よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１３に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【００９５】
ここで、動画像処理装置３は、アプリケーションプログラムとして、動画処理プログラムをＨＤＤ１５に記憶している。この意味で、ＨＤＤ１５は、動画処理プログラムを記憶する記憶媒体として機能する。
【００９６】
また、一般的には、動画像処理装置３のＨＤＤ１５等の二次記憶装置１６にインストールされる動作プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された動作プログラムがＨＤＤ１５等の二次記憶装置１６にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、動画処理プログラムを記憶する記憶媒体となり得る。さらには、動画処理プログラムは、例えばネットワークインターフェース１８を介して外部から取り込まれ、ＨＤＤ１５等の二次記憶装置１６にインストールされても良い。
【００９７】
動画像処理装置３は、オペレーティングシステム上で動作する動画処理プログラムが起動すると、この動画処理プログラムに従い、ＣＰＵ１１が各種の演算処理を実行して各部を集中的に制御する。動画像処理装置３のＣＰＵ１１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。
【００９８】
ここで、動画像処理装置３のＣＰＵ１１が実行する各種の演算処理により実現される機能について説明する。図１１に示すように、動画像処理装置３においては、フレーム分離手段３１、デコード手段として機能するＪＰＥＧ２０００デコーダ３２、圧縮データ量検出手段３３、フレーム位置更新手段３４、デコード品質更新手段３５、デコード時間検出手段３６、統計情報更新手段３７、判定手段３８の各機能が、ＣＰＵ１１が実行する各種の演算処理により実現されている。なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種機能を実現するようにするのが望ましい。また、ＣＰＵ１１は動画処理プログラムに従って動作することで、ＲＡＭ１３にデコード品質／時間関係情報テーブル３９を形成する。
【００９９】
フレーム分離手段３１は、入力装置２から出力されたＭｏｔｉｏｎ  ＪＰＥＧ２０００データを構成するフレームデータをフレーム位置更新手段３４からの指示に基づいて順次取り出す。
【０１００】
ＪＰＥＧ２０００デコーダ３２は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００データを構成するフレームデータをデコード品質更新手段３５により指定された品質パラメータに従ってデコード（伸長）処理を行う。ここで、品質パラメータは、デコード（伸長）処理の際のデコード品質を決定するものであって、デコードパラメータ（ＪＰＥＧ２０００のレイヤ、トランケーション値、レベルなど）を単一または複合的に変更することでデコード品質を決定する。
【０１０１】
圧縮データ量検出手段３３は、フレーム分離手段３１で取り出された１フレーム分のフレームデータのサイズを取得する。
【０１０２】
フレーム位置更新手段３４は、フレーム分離手段３１に対して、次に処理するフレーム位置を指定されたコマ数だけスキップすることを指示する。
【０１０３】
デコード品質更新手段３５は、ＪＰＥＧ２０００デコーダ３２に対して、デコード（伸長）処理の際の品質パラメータを更新する。
【０１０４】
デコード時間検出手段３６は、ＪＰＥＧ２０００デコーダ３２が１フレームのデータをデコード（伸長）処理する際にかかった処理時間を取得する。
【０１０５】
デコード品質／時間関係情報テーブル３９は、図１２に示すように、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００データのデコード品質を変更する品質パラメータを高品質から低品質の順に変更可能な段数分（Ｎ）テーブル状にしたものであり、ＪＰＥＧ２０００デコーダ３２に指示する品質パラメータの組み合わせだけエントリを持ち、特定のエントリ内の情報はインデックスにより指示可能とされている。図１２に示すように、デコード品質／時間関係情報テーブル３９は、テーブル中のエントリに、それぞれ最高品質を“１”としたデコード時間（デコード（伸長）処理時間）の予想比率値（Ｒ）を有している（あらかじめ測定した実行値を基に算出）。また、テーブル中のエントリには、実行中のデコード時間履歴（ＴＨ）とその代表値となる予測デコード時間（ＴＳ）も有している。予測デコード時間（ＴＳ）は、最高品質を“１”とした時のデコード時間比率（Ｒ）の値を基に初期化され、デコード（伸長）処理が行われている際に逐次更新される。このように、各品質での予測されるデコード処理時間が予測デコード時間として規定されていることにより、品質パラメータに応じたデコード処理の予想時間の決定が容易になる。また、デコード時間履歴（ＴＨ）は、リスト形式の領域であり、過去数十フレームの実測値を格納している。これにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することが可能になる。すなわち、この情報を加味して予測デコード時間（ＴＳ）の更新が行われることになる。
【０１０６】
統計情報更新手段３７は、デコード（伸長）処理を行った際の実デコード時間を記録し、以後に使用するデコード品質／時間関係情報テーブル３９の予測デコード時間（ＴＳ）を更新する。より具体的には、図１３に示すように、例えば３０（フレーム／ｓｅｃ）の動画にて１秒分の情報を保持する場合では、情報を初めて処理する際に（ステップＳ１のＹ）、デコード品質／時間関係情報テーブル３９の予測デコード時間（ＴＳ）とデコード時間履歴（ＴＨ）の３０エントリを初期化する（ステップＳ２，Ｓ３：初期化手段）。なお、ステップＳ２，Ｓ３におけるデコード品質／時間関係情報テーブル３９の予測デコード時間（ＴＳ）とデコード時間履歴（ＴＨ）の初期化は、予め用意された標準画像をデコード（伸長）したデコード（伸長）処理時間に基づいて行われる。
【０１０７】
以降の処理では（ステップＳ１のＮ）、今回のデコード（伸長）処理の処理時間の実測値をデコード時間履歴（ＴＨ）に登録し（ステップＳ４）、過去の統計情報に基づいてデコード品質／時間関係情報テーブル３９の予測デコード時間（ＴＳ）を更新する予測デコード時間更新処理を行う（ステップＳ５：予測デコード時間更新手段）。
【０１０８】
予測デコード時間更新処理は、より詳細には、図１４に示すように、デコード品質／時間関係情報テーブル３９の該当するインデックスのデコード時間履歴（ＴＨ）から直前３フレームのデコード（伸長）時間の平均値（ＮＡ）を算出し（ステップＳ１１）、デコード品質／時間関係情報テーブル３９の該当するインデックスのデコード時間履歴（ＴＨ）から直前の３フレームを除いた２７フレームのデコード（伸長）時間の平均値（ＦＡ）を算出する（ステップＳ１２）。
【０１０９】
次いで、直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）と直前の３フレームを除いた２７フレームのデコード（伸長）時間の平均値（ＦＡ）とを比較し（ステップＳ１３）、平均値（ＮＡ）と平均値（ＦＡ）の変化比が所定の値（例えば、１０％）より大きくない場合には（ステップＳ１３のＮ）、予測デコード時間（ＴＳ）に２７フレームのデコード（伸長）時間の平均値（ＦＡ）を指定して（ステップＳ１４）、新たな予測デコード時間（ＴＳ）とする。一方、平均値（ＮＡ）と平均値（ＦＡ）の変化比が所定の値より大きい場合には（ステップＳ１３のＹ）、予測デコード時間（ＴＳ）に直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）を指定して（ステップＳ１５）、新たな予測デコード時間（ＴＳ）とする。
【０１１０】
ここで、図１５は直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）と直前の３フレームを除いた２７フレームのデコード（伸長）時間の平均値（ＦＡ）との比較を例示的に示す説明図である。図１５に示すように、時間Ａ地点ではＦＡとＮＡとの変化比は約４％であるため、予測デコード時間（ＴＳ）に２７フレームのデコード（伸長）時間の平均値（ＦＡ）の３１．４ｍｓを採用する。時間Ｂ地点ではＦＡとＮＡとの変化比は約１％であるため、予測デコード時間（ＴＳ）に２７フレームのデコード（伸長）時間の平均値（ＦＡ）の３１．４ｍｓを採用する。時間Ｃ地点ではＦＡとＮＡとの変化比は約２０％であるため、予測デコード時間（ＴＳ）に直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）の３８．０ｍｓを採用する。すなわち、直前の１つのサンプルや直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）のみの評価であると
３２．７ｍｓ→３１．７ｍｓ→３８．０ｍｓ
と頻繁に値が変化することになるが、このような評価方法によれば、小さな変動に対しては揺れが少なく、大きな変動にも対応できる。
【０１１１】
以上により、デコード品質／時間関係情報テーブル３９の予測デコード時間（ＴＳ）が更新される。
【０１１２】
判定手段３８は、デコード時間検出手段３６から取得したデコード処理時間と圧縮データ量検出手段３３から得た圧縮されたフレームデータサイズを基に品質パラメータを算出し、算出した品質パラメータをデコード品質更新手段３５に出力する。すなわち、判定手段３８は、品質パラメータ算出手段及びフレーム位置決定手段として機能するものである。より具体的には、図１６に示すように、ＪＰＥＧ２０００デコーダ３２が１フレームのデータをデコード（伸長）処理する際にかかった処理時間をデコード時間検出手段３６から取得し（ステップＳ２１）、該当フレームの表示時間（一般に、１／フレームレート  秒）から前回のフレーム表示での超過時間を差し引いた時間と、ステップＳ２１で取得したデコード処理時間とを比較する（ステップＳ２２）。例えば、３０（フレーム／ｓｅｃ）の動画の場合では、デコード処理時間がフレーム表示間隔時間３３ｍｓより大きいか否かを判断する。
【０１１３】
ステップＳ２１で取得したデコード処理時間が、該当フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合には（ステップＳ２２のＹ）、新しい品質パラメータを算出する品質パラメータ算出処理を実行する（ステップＳ２３）。
【０１１４】
ここで、品質パラメータ算出処理について図１７を参照しつつ説明する。図１７に示すように、デコード品質／時間関係情報テーブル３９を参照するためのインデックスｎを最高品質のインデックス（ｎ←１）に初期化する（ステップＳ３１）。
【０１１５】
続くステップＳ３２においては、インデックスｎのデコード品質／時間関係情報テーブル３９にある予測デコード時間（ＴＳ）がフレーム表示間隔より小さいか否かを判定する。
【０１１６】
インデックスｎのデコード品質／時間関係情報テーブル３９にある予測デコード時間（ＴＳ）がフレーム表示間隔より小さくない場合には（ステップＳ３２のＮ）、ステップＳ３３に進む。
【０１１７】
ステップＳ３３においては、品質値が所定の最低品質値を下回っているか否か判定する。
【０１１８】
品質値が所定の最低品質値を下回っていない場合には（ステップＳ３３のＮ）、現在の品質値を示すインデックスｎを“１”インクリメントし（ステップＳ３４）、ステップＳ３２に戻る。
【０１１９】
一方、インデックスｎのデコード品質／時間関係情報テーブル３９にある予測デコード時間（ＴＳ）がフレーム表示間隔より小さい場合（ステップＳ３２のＹ）、または、品質値が所定の最低品質値を下回っている場合には（ステップＳ３３のＹ）、ステップＳ３５に進み、変動傾向補正処理（変動傾向補正手段）を実行する。
【０１２０】
ここで、変動傾向補正処理について図１８を参照しつつ説明する。図１８に示すように、圧縮データ量検出手段３３から今回のフレームの圧縮されたデータサイズを取得するとともに（ステップＳ４１）、圧縮データ量検出手段３３から次にデコード（伸長）処理するフレームの圧縮されたデータサイズを取得し（ステップＳ４２）、両者を比較する（ステップＳ４３）。
【０１２１】
そして、今回のフレームのデータサイズよりも次にデコード（伸長）処理するフレームの圧縮されたデータサイズの方が大きいと判定した場合には（ステップＳ４３のＹ）、ステップＳ４４に進み、品質パラメータのインデックスｎを“１”インクリメントし、変動傾向補正処理を終了する。すなわち、今回のフレームのデータサイズよりも次にデコード（伸長）処理するフレームの圧縮されたデータサイズの方が大きいと判定した場合には（ステップＳ４３のＹ）、品質を下げるようにしたものである。
【０１２２】
このように変動傾向補正処理を行うことにより、デコード（伸長）処理するフレームの圧縮されたデータサイズの増加／減少傾向に応じて、次に処理すべきフレームの品質パラメータを補正することが可能になる。
【０１２３】
ここに、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータが補正されることにより、フレームレートを確実に維持するための安全策がとられる。
【０１２４】
変動傾向補正処理（ステップＳ３５）が終了すると、最終的に決定したインデックスｎに対応する品質パラメータを算出する。
【０１２５】
以上により、品質パラメータ算出処理（ステップＳ２３）が終了する。これにより、フレームのデコード（伸長）処理を行った処理時間の統計情報とフレーム圧縮量の変動傾向からフレーム表示時間を超えない範囲で処理可能な品質パラメータの最高品質値を得ることができる。
【０１２６】
品質パラメータ算出処理（ステップＳ２３）が終了すると、ステップＳ２４に進み、品質パラメータを品質パラメータ算出処理（ステップＳ２３）で算出された新しい品質パラメータで更新する。ここで更新される品質パラメータは、品質を下げるものである。
【０１２７】
次いで、ステップＳ２５に進み、更新された新しい品質パラメータでのデコード処理時間の予想値と該当フレームの表示時間とを比較する。
【０１２８】
デコード予想時間がフレーム表示時間より大きいと判定した場合には（ステップＳ２５のＹ）、ステップＳ２６に進み、コマ落としを指示する。例えば、３０（フレーム／ｓｅｃ）の動画の場合では、デコード予想時間がフレーム表示間隔時間３３ｍｓより大きい場合に、コマ落としを指示するものである。なお、コマ落としは、更新された新しい品質パラメータでのデコード処理時間の予想値を包含する時間分だけ次のフレーム位置を更新する。
【０１２９】
また、デコード予想時間がフレーム表示時間より大きくないと判定した場合には（ステップＳ２５のＮ）、そのまま処理を終了する。
【０１３０】
一方、ステップＳ２１で取得したデコード処理時間が、該当フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きくない場合には（ステップＳ２２のＮ）、前回の品質パラメータの更新から所定時間経過しているか否かを判定する（ステップＳ２７）。ここで、所定時間としては、１秒程度が望ましい。
【０１３１】
前回の品質パラメータの更新から所定時間経過している場合には（ステップＳ２７のＹ）、ステップＳ２８に進み、品質パラメータを直前の状態より１段上げ、更新を指示する。ここで更新される品質パラメータは、品質を上げるものである。このように品質パラメータを１段ずつ上げていくのは、急激に画像品質が変化するのを防止するためである。例えば、３０（フレーム／ｓｅｃ）の動画の場合では、デコード処理時間がフレーム表示間隔時間３３ｍｓより小さい場合が継続する場合は１秒ごとに品質パラメータを１段ずつ上げていくことになる。
【０１３２】
また、前回の品質パラメータの更新から所定時間経過していない場合には（ステップＳ２７のＮ）、そのまま処理を終了する。
【０１３３】
以上のような判定手段３８における処理により、実際にデコード（伸長）処理を行った処理時間に基づいて以後のフレームデコード（伸長）処理のための品質パラメータの更新及びコマ落とし指示を制御することが可能になる。
【０１３４】
次に、上述した各種機能による一連の処理の流れについて説明する。入力装置２から出力されたＭｏｔｉｏｎ  ＪＰＥＧ２０００データは、フレーム位置更新手段３４からの指示に基づいてフレーム分離手段３１でフレーム毎に切り出されて単一のフレームデータとして取り出される。フレーム分離手段３１で取り出されたフレームデータは、デコード品質更新手段３５により指定された品質パラメータに従ってＪＰＥＧ２０００デコーダ３２でデコード（伸長）処理を施される。ＪＰＥＧ２０００デコーダ３２でデコード（伸長）処理を施された動画像データは、出力装置４（表示装置１９）に順次出力され、出力装置４（表示装置１９）に映像が表示される。
【０１３５】
一方、デコード時間検出手段３６によってフレームデータのデコード（伸長）処理時間が取得されると、このフレームデータのデコード（伸長）処理時間に基づいて判定手段３８により品質パラメータが算出され、デコード品質更新手段３５によりＪＰＥＧ２０００デコーダ３２に対して新しい品質パラメータが与えられ、以降のデコード時の品質パラメータが更新される。例えば、３０（フレーム／ｓｅｃ）の動画の場合では、デコード処理時間がフレーム表示間隔時間３３ｍｓより大きく、次のフレームの表示が間に合わないと判断した場合には、デコード品質／時間関係情報テーブル３９を参照し、以後のフレーム表示間隔時間に間に合うと予想される予想デコード時間が３３ｍｓ未満の品質パラメータに品質パラメータを下げる。加えて、算出された品質パラメータが所定の品位を下回る場合には、品質パラメータを所定の値に固定する。この場合に、フレーム表示間隔時間３３ｍｓに間に合わないと判断される場合は、フレーム位置更新手段３４によってフレーム分離手段３１に対してコマ落としが指示される。
【０１３６】
統計情報更新手段３７は、デコード時間検出手段３６によって取得したフレームデータのデコード（伸長）処理時間に基づいて、デコード品質／時間関係情報テーブル３９を更新する。
【０１３７】
ここに、デコード手段であるＪＰＥＧ２０００デコーダ３２はフレーム分離手段３１により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータはデコード時間検出手段３６により取得された１フレームデータのデコード処理時間に基づいて品質パラメータ算出手段として機能する判定手段３８により算出されてデコード品質更新手段３５によりＪＰＥＧ２０００デコーダ３２に対して更新される。また、フレーム位置決定手段として機能する判定手段３８により品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置が決定され、フレーム位置更新手段３４によりフレーム分離手段３１に対して決定された次に処理するフレーム位置が指示される。これにより、伸長処理能力に応じて適応的に画像品質を制御することが可能になり、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理が可能になる。また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することが可能になる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
【０１３８】
なお、本実施の形態においては、動画像処理装置３としてパーソナルコンピュータを適用したが、これに限るものではない。例えば、携帯情報端末（ＰＤＡ）や携帯電話などを動画像処理装置３として適用することもできる。
【０１３９】
【発明の効果】
請求項１記載の発明の動画像処理装置によれば、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置において、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離手段と、このフレーム分離手段により取り出されたフレームデータをデコード処理するデコード手段と、前記デコード手段による１フレームデータのデコード処理時間を取得するデコード時間検出手段と、このデコード時間検出手段から取得したデコード処理時間を基に、前記デコード手段におけるデコード処理の際のデコード品質を決定する品質パラメータを算出する品質パラメータ算出手段と、この品質パラメータ算出手段により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定するフレーム位置決定手段と、前記デコード手段に対し、前記品質パラメータ算出手段により算出された品質パラメータを更新するデコード品質更新手段と、前記フレーム分離手段に対し、前記フレーム位置決定手段により決定されたフレーム位置を指示するフレーム位置更新手段と、を備え、デコード手段はフレーム分離手段により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータをデコード時間検出手段により取得された１フレームデータのデコード処理時間に基づいて品質パラメータ算出手段により算出し、デコード品質更新手段によりデコード手段に対して更新し、また、フレーム位置決定手段により品質パラメータ算出手段により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定し、フレーム位置更新手段によりフレーム分離手段に対して決定された次に処理するフレーム位置を指示することにより、伸長処理能力に応じて適応的に画像品質を制御することができるので、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理ができ、また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することができる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
【０１４０】
請求項２記載の発明によれば、請求項１記載の動画像処理装置において、前記品質パラメータ算出手段は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出することにより、品質パラメータの算出を容易にすることができる。
【０１４１】
請求項３記載の発明によれば、請求項２記載の動画像処理装置において、前記デコード手段によりデコード処理を行った際のデコード処理時間を前記デコード時間検出手段から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新手段を備えることにより、精度を高めることができる。
【０１４２】
請求項４記載の発明によれば、請求項２記載の動画像処理装置において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることにより、各品質での予測されるデコード処理時間を予測デコード時間として規定することができるので、品質パラメータに応じたデコード処理の予想時間の決定を容易に行うことができる。
【０１４３】
請求項５記載の発明によれば、請求項４記載の動画像処理装置において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することができる。
【０１４４】
請求項６記載の発明によれば、請求項５記載の動画像処理装置において、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化手段と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新手段と、を備えることにより、予測されるデコード処理時間である予測デコード時間を、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化し、デコード処理時間の過去の実測値に基づいて確実に更新することができる。
【０１４５】
請求項７記載の発明によれば、請求項６記載の動画像処理装置において、前記予測デコード時間更新手段は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比に応じ、これら２つの平均値のいずれかを前記予測デコード時間として更新することにより、小さな変動に対しては揺れを少なくし、大きな変動にも対応することができる。
【０１４６】
請求項８記載の発明によれば、請求項１ないし７のいずれか一記載の動画像処理装置において、前記品質パラメータ算出手段は、前記フレーム分離手段で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出手段と、この圧縮データ量検出手段により順次取得される各フレームのフレームデータのサイズの増減に応じて品質パラメータを補正する変動傾向補正手段と、を備えることにより、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータを補正することにより、フレームレートを確実に維持するための安全策をとることができる。
【０１４７】
請求項９記載の発明によれば、請求項１ないし８のいずれか一記載の動画像処理装置において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式であることにより、高圧縮率、高画質の動画像を得ることができる。
【０１４８】
請求項１０記載の発明のプログラムによれば、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離機能と、このフレーム分離機能により取り出されたフレームデータをデコード処理するデコード機能と、前記デコード機能による１フレームデータのデコード処理時間を取得するデコード時間検出機能と、このデコード時間検出機能から取得したデコード処理時間を基に、前記デコード機能におけるデコード処理の際のデコード品質を決定する品質パラメータを算出する品質パラメータ算出機能と、この品質パラメータ算出機能により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定するフレーム位置決定機能と、前記デコード機能に対し、前記品質パラメータ算出機能により算出された品質パラメータを更新するデコード品質更新機能と、前記フレーム分離機能に対し、前記フレーム位置決定機能により決定されたフレーム位置を指示するフレーム位置更新機能と、を実行させ、デコード機能はフレーム分離機能により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータをデコード時間検出機能により取得された１フレームデータのデコード処理時間に基づいて品質パラメータ算出機能により算出し、デコード品質更新機能によりデコード機能に対して更新し、また、フレーム位置決定機能により品質パラメータ算出機能により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定し、フレーム位置更新機能によりフレーム分離機能に対して決定された次に処理するフレーム位置を指示することにより、伸長処理能力に応じて適応的に画像品質を制御することができるので、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理ができ、また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することができる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
【０１４９】
請求項１１記載の発明によれば、請求項１０記載のプログラムにおいて、前記品質パラメータ算出機能は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出することにより、品質パラメータの算出を容易にすることができる。
【０１５０】
請求項１２記載の発明によれば、請求項１１記載のプログラムにおいて、前記デコード機能によりデコード処理を行った際のデコード処理時間を前記デコード時間検出機能から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新機能を前記コンピュータに実行させることにより、精度を高めることができる。
【０１５１】
請求項１３記載の発明によれば、請求項１１記載のプログラムにおいて、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることにより、各品質での予測されるデコード処理時間を予測デコード時間として規定することができるので、品質パラメータに応じたデコード処理の予想時間の決定を容易に行うことができる。
【０１５２】
請求項１４記載の発明によれば、請求項１３記載のプログラムにおいて、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することができる。
【０１５３】
請求項１５記載の発明によれば、請求項１４記載のプログラムにおいて、前記統計情報更新機能は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化機能と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新機能と、を前記コンピュータに実行させることにより、予測されるデコード処理時間である予測デコード時間を、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化し、デコード処理時間の過去の実測値に基づいて確実に更新することができる。
【０１５４】
請求項１６記載の発明によれば、請求項１５記載のプログラムにおいて、前記予測デコード時間更新機能は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比に応じ、これら２つの平均値のいずれかを前記予測デコード時間として更新することにより、小さな変動に対しては揺れを少なくし、大きな変動にも対応することができる。
【０１５５】
請求項１７記載の発明によれば、請求項１０ないし１６のいずれか一記載のプログラムにおいて、前記品質パラメータ算出機能は、前記フレーム分離機能で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出機能と、この圧縮データ量検出機能により順次取得される各フレームのフレームデータのサイズの増減に応じて品質パラメータを補正する変動傾向補正機能と、を前記コンピュータに実行させることにより、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータを補正することにより、フレームレートを確実に維持するための安全策をとることができる。
【０１５６】
請求項１８記載の発明によれば、請求項１０ないし１７のいずれか一記載のプログラムにおいて、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式であることにより、高圧縮率、高画質の動画像を得ることができる。
【０１５７】
請求項１９記載の発明のコンピュータに読取り可能な記憶媒体によれば、請求項１０ないし１８のいずれか一記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項１０ないし１８のいずれか一記載の発明と同様の作用効果を得ることができる。
【０１５８】
請求項２０記載の発明の動画像処理方法によれば、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理方法であって、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離工程と、このフレーム分離工程により取り出されたフレームデータをデコード処理するデコード工程と、前記デコード工程による１フレームデータのデコード処理時間を取得するデコード時間検出工程と、このデコード時間検出工程から取得したデコード処理時間を基に、前記デコード工程におけるデコード処理の際のデコード品質を決定する品質パラメータを算出する品質パラメータ算出工程と、この品質パラメータ算出工程により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定するフレーム位置決定工程と、前記デコード工程に対し、前記品質パラメータ算出工程により算出された品質パラメータを更新するデコード品質更新工程と、前記フレーム分離工程に対し、前記フレーム位置決定工程により決定されたフレーム位置を指示するフレーム位置更新工程と、をコンピュータの処理制御により行ない、デコード工程はフレーム分離工程により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータをデコード時間検出工程により取得された１フレームデータのデコード処理時間に基づいて品質パラメータ算出工程により算出し、デコード品質更新工程によりデコード工程に対して更新し、また、フレーム位置決定工程により品質パラメータ算出工程により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定し、フレーム位置更新工程によりフレーム分離工程に対して決定された次に処理するフレーム位置を指示することにより、伸長処理能力に応じて適応的に画像品質を制御することができるので、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理ができ、また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することができる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
【０１５９】
請求項２１記載の発明によれば、請求項２０記載の動画像処理方法前記品質パラメータ算出工程は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出することにより、品質パラメータの算出を容易にすることができる。
【０１６０】
請求項２２記載の発明によれば、請求項２１記載の動画像処理方法において、前記デコード工程によりデコード処理を行った際のデコード処理時間を前記デコード時間検出工程から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新工程をコンピュータの処理制御により行なうことにより、精度を高めることができる。
【０１６１】
請求項２３記載の発明によれば、請求項２１記載の動画像処理方法において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることにより、各品質での予測されるデコード処理時間を予測デコード時間として規定することができるので、品質パラメータに応じたデコード処理の予想時間の決定を容易に行うことができる。
【０１６２】
請求項２４記載の発明によれば、請求項２３記載の動画像処理方法において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することができる。
【０１６３】
請求項２５記載の発明によれば、請求項２４記載の動画像処理方法において、前記統計情報更新工程は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化工程と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新工程と、をコンピュータの処理制御により行なうことにより、予測されるデコード処理時間である予測デコード時間を、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化し、デコード処理時間の過去の実測値に基づいて確実に更新することができる。
【０１６４】
請求項２６記載の発明によれば、請求項２５記載の動画像処理方法において、前記予測デコード時間更新工程は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比に応じ、これら２つの平均値のいずれかを前記予測デコード時間として更新することにより、小さな変動に対しては揺れを少なくし、大きな変動にも対応することができる。
【０１６５】
請求項２７記載の発明によれば、請求項２０ないし２６のいずれか一記載の動画像処理方法において、前記品質パラメータ算出工程は、前記フレーム分離工程で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出工程と、この圧縮データ量検出工程により順次取得される各フレームのフレームデータのサイズの増減に応じて品質パラメータを補正する変動傾向補正工程と、をコンピュータの処理制御により行なうことにより、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータを補正することにより、フレームレートを確実に維持するための安全策をとることができる。
【０１６６】
請求項２８記載の発明によれば、請求項２０ないし２７のいずれか一記載の動画像処理方法において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式であることにより、高圧縮率、高画質の動画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の前提となるＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコード・ストリーム構造を示す説明図である。
【図８】Ｍｏｔｉｏｎ  ＪＰＥＧ２０００の概念を示す説明図である。
【図９】本発明の実施の一形態の動画像出力システムの全体構成を示すブロック図である。
【図１０】動画像処理装置のモジュール構成図である。
【図１１】動画処理プログラムに基づいてＣＰＵが実行する処理により実現される機能を示す機能ブロック図である。
【図１２】デコード品質／時間関係情報テーブルを模式的に示す説明図である。
【図１３】統計情報更新手段における処理の流れを示すフローチャートである。
【図１４】予測デコード時間更新処理の流れを示すフローチャートである。
【図１５】直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）と直前の３フレームを除いた２７フレームのデコード（伸長）時間の平均値（ＦＡ）との比較を例示的に示す説明図である。
【図１６】判定手段における処理の流れを示すフローチャートである。
【図１７】品質パラメータ算出処理の流れを示すフローチャートである。
【図１８】変動傾向補正処理の流れを示すフローチャートである。
【符号の説明】
３        動画像処理装置
１５      記憶媒体
３１      フレーム分離手段
３２      デコード手段
３３      圧縮データ量検出手段
３４      フレーム位置更新手段
３５      デコード品質更新手段
３６      デコード時間検出手段
３７      統計情報更新手段
３８      品質パラメータ算出手段、フレーム位置決定手段
３９      品質／時間関係情報テーブル
【図１】
2004336404.tif 000003
【図２】
2004336404.tif 000004
【図３】
2004336404.tif 000005
【図４】
2004336404.tif 000006
【図５】
2004336404.tif 000007
【図６】
2004336404.tif 000008
【図７】
2004336404.tif 000009
【図８】
2004336404.tif 000010
【図９】
2004336404.tif 000011
【図１０】
2004336404.tif 000012
【図１１】
2004336404.tif 000013
【図１２】
2004336404.tif 000014
【図１３】
2004336404.tif 000015
【図１４】
2004336404.tif 000016
【図１５】
2004336404.tif 000017
【図１６】
2004336404.tif 000018
【図１７】
2004336404.tif 000019
【図１８】
2004336404.tif 000020