(57)【特許請求の範囲】
【請求項１】
フレーム間予測を用いて圧縮符号化された動画像符号化データを変換し、変換後のデータを特殊再生可能な符号化データとして出力する動画像符号化データ変換装置であって、
入力した前記動画像符号化データを記憶する第１の記憶手段と、
入力した前記動画像符号化データより復号化データを復号する復号手段と、
前記復号化データの動画像シーケンスの中の予め設定された少なくとも１フレーム以上の画像フレームをフレーム内符号化モードで再符号化して再符号化データを生成する再符号化手段と、
前記再符号化データを記憶する第２の記憶手段と、
前記第１の記憶手段に記憶された前記動画像符号化データと前記第２の記憶手段に記憶された前記再符号化データのうちのいずれか一方を画像フレーム毎に選択して前記特殊再生可能な符号化データとして出力する選択手段と、
を備えることを特徴とする動画像符号化データ変換装置。
【請求項２】
請求項１に記載の動画像符号化データ変換装置において、
前記再符号化手段は、
フレーム内符号化モードで再符号化した画像フレームの後のＪ個（Ｊは、０より大きい整数）の画像フレームをフレーム間予測を用いて再符号化する手段と、
再符号化した前記画像フレームの画質を測定する手段と、
前記画質に応じて前記Ｊの値を制御する手段と、
を備え、
前記選択手段は、フレーム内符号化モードで再符号化した前記再符号化データを選択したときには、その直後のフレーム間予測を用いて再符号化したＪ個の画像フレームの前記再符号化データも併せて選択する手段を備えることを特徴とする動画像符号化データ変換装置。
【請求項３】
請求項１に記載の動画像符号化データ変換装置において、
前記再符号化手段は、
フレーム内符号化モードで再符号化した画像フレームの後のＫ−１個（Ｋは１よりも大きい整数）の画像フレームをスキップする手段と、
Ｋフレーム後の画像フレームをフレーム間予測を用いて再符号化する手段と、
前記再符号化データの画像フレームの符号量に相当する符号量を有する前記動画像符号化データのフレーム期間を計算する手段と、
前記フレーム期間の値に応じて前記Ｋの値を制御する手段と、
を備え、
前記選択手段は、フレーム内符号化モードで再符号化した前記再符号化データを選択した場合には、その直後のＫ−１個の画像フレームをスキップし、Ｋフレーム後にフレーム間予測を用いて再符号化して得た前記再符号化データも併せて選択する手段を備えることを特徴とする動画像符号化データ変換装置。
【請求項４】
請求項１に記載の動画像符号化データ変換装置において、
前記再符号化手段は、前記再符号化データをＬフレーム（Ｌは１より大きい整数）周期で、再符号化する部分が連続するＭ個（Ｍは１より大きい整数）の再符号化フレームにより画面全体を覆うように、各画像フレームの中の少なくとも一部をフレーム内符号化モードで再符号化する手段を備え、
前記選択手段は、高速再生要求があったときに、フレーム内符号化モードで再符号化して得た前記再符号化データのみを選択して前記特殊再生可能な符号化データとして出力する手段を備えることを特徴とする動画像符号化データ変換装置。
【請求項５】
フレーム間予測を用いて圧縮符号化された動画像符号化データを変換し、変換後のデータを特殊再生可能な符号化データとして出力する動画像符号化データ変換方法であって、
入力した前記動画像符号化データを記憶する第１の記憶ステップと、
入力した前記動画像符号化データより復号化データを復号する復号ステップと、
前記復号化データの動画像シーケンスの中の予め設定された少なくとも１フレーム以上の画像フレームをフレーム内符号化モードで再符号化して再符号化データを生成する再符号化ステップと、
前記再符号化データを記憶する第２の記憶ステップと、
前記第１の記憶ステップで記憶された前記動画像符号化データと前記第２の記憶ステップで記憶された前記再符号化データのうちのいずれか一方を画像フレーム毎に選択して前記特殊再生可能な符号化データとして出力する選択ステップと、
を有することを特徴とする動画像符号化データ変換方法。
【請求項６】
請求項５に記載の動画像符号化データ変換方法において、
前記再符号化ステップは、
フレーム内符号化モードで再符号化した画像フレームの後のＪ個（Ｊは、０より大きい整数）の画像フレームをフレーム間予測を用いて再符号化するステップと、
再符号化した前記画像フレームの画質を測定するステップと、
前記画質に応じて前記Ｊの値を制御するステップと、
を有し、
前記選択ステップは、フレーム内符号化モードで再符号化した前記再符号化データを選択したときには、その直後のフレーム間予測を用いて再符号化したＪ個の画像フレームの前記再符号化データも併せて選択するステップを有することを特徴とする動画像符号化データ変換方法。
【請求項７】
請求項５に記載の動画像符号化データ変換方法において、
前記再符号化ステップは、
フレーム内符号化モードで再符号化した画像フレームの後のＫ−１個（Ｋは１よりも大きい整数）の画像フレームをスキップするステップと、
Ｋフレーム後の画像フレームをフレーム間予測を用いて再符号化するステップと、
前記再符号化データの画像フレームの符号量に相当する符号量を有する前記動画像符号化データのフレーム期間を計算するステップと、
前記フレーム期間の値に応じて前記Ｋの値を制御するステップと、
を有し、
前記選択ステップは、フレーム内符号化モードで再符号化した前記再符号化データを選択した場合には、その直後のＫ−１個の画像フレームをスキップし、Ｋフレーム後にフレーム間予測を用いて再符号化して得た前記再符号化データも併せて選択するステップを有することを特徴とする動画像符号化データ変換方法。
【請求項８】
請求項５に記載の動画像符号化データ変換方法において、
前記再符号化ステップは、前記再符号化データをＬフレーム（Ｌは１より大きい整数）周期で、再符号化する部分が連続するＭ個（Ｍは１より大きい整数）の再符号化フレームにより画面全体を覆うように、各画像フレームの中の少なくとも一部をフレーム内符号化モードで再符号化するステップを有し、
前記選択手段ステップは、高速再生要求があったときに、フレーム内符号化モードで再符号化して得た前記再符号化データのみを選択して前記特殊再生可能な符号化データとして出力するステップを有することを特徴とする動画像符号化データ変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、与えられた動画像符号化データであって、動画像シーケンスをフレーム間予測を用いて圧縮符号化されている動画像符号化データを変換処理し、シーケンス途中からのランダムアクセス再生や高速再生などの特殊再生機能の実現可能な新たな動画像符号化データを生成する装置及びその方法に関する。
【０００２】
【従来の技術】
動画像の圧縮符号化においてはフレーム間予測を用いる方式としてＩＳＯ国際標準方式のＩＳ１４４９６−２（ＭＰＥＧ−４ビデオ）などが広く知られている。このような符号化方式ではフレーム内処理により圧縮符号化したＩピクチャと、参照画像フレームからフレーム間予測処理をして圧縮符号化したＰピクチャを適宜組み合わせる。ここでＩピクチャはランダムアクセス可能であるが、Ｐピクチャの方がＩピクチャよりも圧縮効率が数倍良いので、テレビ電話など大きな圧縮率を必要とする応用分野では、シーケンス冒頭のＩピクチャを除き他の殆どの画像フレームをＰピクチャで符号化するのが一般的である。しかしこの場合、冒頭のＩピクチャから順次Ｐピクチャの画像フレームを復号しなければ、シーケンス途中の所望の画像フレームを復号再生することができない。即ち、ランダムアクセスによるシーケンス途中からの復号を行うことは困難である。またシーケンスの一部を高速再生する場合にも全ての画像フレームを復号しなければならないという問題があった。
【０００３】
前記問題のうち、ランダムアクセスによる特殊再生を実現する従来の技術として、特開平０８−２６５６９１号公報、特開平０８−２７９９７９号公報および特開平０９−２３３４２６号公報に記載の方式が知られている。
【０００４】
図１１はこれらの技術に基づき、フレーム間予測を用いて圧縮符号化された動画像符号化データを、ランダムアクセス可能な符号化データに変換する装置のブロック構成図を示す。
【０００５】
図１１では、まず元の動画像符号化データを通信回線あるいは蓄積媒体をなどから復号器９０１に入力する。復号器９０１では元の動画像符号化データを復号処理し、復号再生された動画像シーケンスを出力する。ここで、元の動画像符号化データはフレーム間予測を用いて符号化されているため、前記復号処理では動画像符号化データの最初から、またはフレーム内符号化で圧縮されたことが明示された画像フレームから復号を開始し、その後の画像フレームを順順に復号処理する必要がある。復号された動画像シーケンスは、ランダムアクセス可能な符号化データに変換するために、再符号化器９０２において全ての画像フレームをフレーム内符号化モードで圧縮符号化する。再圧縮された符号化データはメモリ９０３に蓄積され、外部からの再生要求などに応じて出力される。
【０００６】
この一連の変換処理の様子を図１２を用いて説明する。元の符号化データはほぼ全ての画像フレームがフレーム間予測を用いて符号化されたＰピクチャである。一方、変換処理後に出力された符号化データは全ての画像フレームがフレーム内符号化されたＩピクチャとなっている。図１２の例では、元の符号化データをシーケンスの途中、例えばＰｎフレームから復号再生すると著しい画質劣化を引き起こすが、変換後の符号化データでは任意の画像フレームから復号再生が可能である。なお図１２の例で高速再生する場合には、変換後の符号化データから飛び飛びの画像フレームのデータを間引いて出力する。
【０００７】
図１３は特開平０８−２７９９８７号公報に記載された従来の技術を示す。図１３では図１１の構成と異なり、復号器９１１、再符号化器９１２、メモリ９１３に加え、メモリ９１３の後段に復号器９１４と再符号化器９１５を備える。メモリ９１３に蓄積された動画像シーケンスの一連の符号化データは図１１と同じく全てＩピクチャであるが、これを外部に出力する前に再度変換する。ランダムアクセスによる特殊再生の要求があると、シーケンスの途中から切り出した最初の画像フレームは再符号化されたＩピクチャのままで出力する。後続の一連の画像フレームは復号器９１４でＩピクチャの符号化データを一旦復号し、再符号化器９１５でフレーム間予測を用いてＰ’ピクチャに再符号化し直してから出力する。この様子を図１４に示す。Ｐ’ピクチャはＩピクチャよりも符号化効率が良く、図１３のようにメモリの後段に再符号化器を９１５備えることで出力する符号量を削減できる。
【０００８】
【発明が解決しようとする課題】
図１１に示した従来の方式の問題点は、変換後の符号量が増大することである。メモリ９０３に蓄積された動画像シーケンスの一連の符号化データは全てＩピクチャであるが、Ｉピクチャはフレーム間予測を用いて符号化されたＰピクチャに較べて数倍の符号量を有す。このため、元の動画像符号化データに比較して変換後の符号化データは大幅に増大しており、これを蓄積するメモリ９０３の容量も増大する。また変換後の符号化データを通信回線などを通じて伝送する場合に、元の符号化データを伝送することを前提に設定された回線では伝送容量が不足し、実時間でのデータ伝送が困難である。
【０００９】
図１３に示した別の従来の方式では、再符号化器９１５を備えることで変換後の符号量を低減し、前記課題に対処している。このため元の符号化データを伝送することを前提に設定された回線でも、変換後の符号化データをほぼ実時間で伝送することが可能である。しかし、この方法では変換システム全体の中で２回の復号と２回の再符号化を繰り返しており演算コストが倍増する。また復号と再符号化をそれぞれ２回繰り返すため、符号化に伴う圧縮歪みが２回にわたり累積し、元の符号化データに比較して著しく画質が劣化するという問題がある。
【００１０】
本発明の目的は、フレーム間予測を用いて圧縮符号化された動画像符号化データに変換処理を行い、ランダムアクセスや高速再生などの特殊再生機能の実現が可能な新たな動画像符号化データを生成する方式において、より少ない演算量で変換処理を行い、変換後の符号化データの符号量の増加も抑制し、更に変換処理に伴う画質劣化をも抑制する方式を提供することにある。
【００１１】
【課題を解決するための手段】
本発明による動画像符号化データ変換装置は、フレーム間予測を用いて圧縮符号化された動画像符号化データを変換し、変換後のデータを特殊再生可能な符号化データとして出力する動画像符号化データ変換装置であって、入力した前記動画像符号化データを記憶する第１の記憶手段と、入力した前記動画像符号化データより復号化データを復号する復号手段と、前記復号化データの動画像シーケンスの中の予め設定された少なくとも１フレーム以上の画像フレームをフレーム内符号化モードで再符号化して再符号化データを生成する再符号化手段と、前記再符号化データを記憶する第２の記憶手段と、前記第１の記憶手段に記憶された前記動画像符号化データと前記第２の記憶手段に記憶された前記再符号化データのうちのいずれか一方を画像フレーム毎に選択して前記特殊再生可能な符号化データとして出力する選択手段と、を備えることを特徴とする。
【００１２】
上記の動画像符号化データ変換装置において、前記再符号化手段は、フレーム内符号化モードで再符号化した画像フレームの後のＪ個（Ｊは、０より大きい整数）の画像フレームをフレーム間予測を用いて再符号化する手段と、再符号化した前記画像フレームの画質を測定する手段と、前記画質に応じて前記Ｊの値を制御する手段と、を備えていてもよく、前記選択手段は、フレーム内符号化モードで再符号化した前記再符号化データを選択したときには、その直後のフレーム間予測を用いて再符号化したＪ個の画像フレームの前記再符号化データも併せて選択する手段を備えていてもよい。
【００１３】
上記の動画像符号化データ変換装置において、前記再符号化手段は、フレーム内符号化モードで再符号化した画像フレームの後のＫ−１個（Ｋは１よりも大きい整数）の画像フレームをスキップする手段と、Ｋフレーム後の画像フレームをフレーム間予測を用いて再符号化する手段と、前記再符号化データの画像フレームの符号量に相当する符号量を有する前記動画像符号化データのフレーム期間を計算する手段と、前記フレーム期間の値に応じて前記Ｋの値を制御する手段と、を備えていてもよく、前記選択手段は、フレーム内符号化モードで再符号化した前記再符号化データを選択した場合には、その直後のＫ−１個の画像フレームをスキップし、Ｋフレーム後にフレーム間予測を用いて再符号化して得た前記再符号化データも併せて選択する手段を備えていてもよい。
【００１４】
上記の動画像符号化データ変換装置において、前記再符号化手段は、前記再符号化データをＬフレーム（Ｌは１より大きい整数）周期で、再符号化する部分が連続するＭ個（Ｍは１より大きい整数）の再符号化フレームにより画面全体を覆うように、各画像フレームの中の少なくとも一部をフレーム内符号化モードで再符号化する手段を備えていてもよく、前記選択手段は、高速再生要求があったときに、フレーム内符号化モードで再符号化して得た前記再符号化データのみを選択して前記特殊再生可能な符号化データとして出力する手段を備えていてもよい。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００１６】
本発明は、フレーム間予測を用いて圧縮符号化された元の動画像符号化データの少なくとも一部をフレーム内符号化モードで再符号化しておき、前記動画像符号化データに対してランダムアクセスや高速再生などの特殊再生を用いた復号再生の要求が生じたときに、前記再符号化したデータの中で前記特殊再生に必要とされる画像フレームの再符号化データを取り出し、元の動画像符号化データの該当する画像フレーム部分の符号化データと差し替えることで、所望の特殊再生を可能とする動画像符号化データを提供する。
【００１７】
次に、本発明の実施形態による動画像符号化データ変換方法について図１〜６を参照して説明する。
【００１８】
図１〜６は、元の符号化データとそれに対する再符号化データの生成、及びこれら符号化データを画像フレーム毎に選択して生成した特殊再生可能な新たな符号化データの構築例を示す。
【００１９】
図１では元の符号化データ２０１を予め設定されたｍフレーム周期でＩピクチャに再符号化して再符号化データ２０２を生成し、このＩピクチャを元の符号化データ上の該当する画像フレーム部分と差し替えて新たな合成符号化データ２０３を生成している。図１の合成符号化データ２０３は一定周期ごとにＩピクチャが挿入されているので、任意のＩピクチャを復号開始点とするランダムアクセス可能な符号化データとなっている。
【００２０】
図２では図１と同様の再符号化データ２０２を生成しているが、出力する合成符号化データ２０４の構成が合成符号化データ２０３とは異なる。図２では第ｎフレームまたはその近傍の画像フレームからのランダムアクセス再生による復号開始の要求があった場合に出力する合成符号化データ２０４の生成パタンを示す。予め生成された再符号化データ２０２ではｍフレーム周期でＩピクチャが再符号化されているが、それらＩピクチャの全てを選択するのではなく、復号開始点に指定された第ｎフレームのＩピクチャのみ再符号化データ２０２から選択し、以降の画像フレームは元の符号化データ２０１を選択して前記Ｉピクチャに繋ぎ併せる。この場合、第ｎフレームのＩピクチャが正常に復号できれば、第（ｎ＋１）フレームからの画像フレームは順順にフレーム間予測を用いて復号することができる。このため、復号開始点を除けば敢えて符号量の多いＩピクチャに差し替える必要はない。
【００２１】
図３では再符号化データ２０５の生成に際し、Ｉピクチャの他にＰピクチャも組み合わせることで再符号化された画像フレームにおける画質劣化を抑制する場合の例を示している。前述のように再符号化データ２０５の中のＩピクチャの符号量は、元の符号化データ２０１の中の対応するＰピクチャに較べて非常に多い。そこでこのＩピクチャの符号量を抑制すると、Ｉピクチャの画質が元の符号化データの画質よりも劣化することがある。このＩピクチャの画質劣化は、元の符号化データ２０１から繋ぎ合わされた後続のＰピクチャでは十分に補償できないため、画質劣化がいつまでも残ることがある。そこでＩピクチャの画質が劣化した場合には、Ｉピクチャの直後の数フレームをフレーム予測を用いたＰ’ピクチャとして画質劣化が目立たないように再符号化しておく。再符号化して得たＰ’ピクチャはＩピクチャと組み合わせてメモリに蓄積しておく。ここで再符号化データ２０５のＰ’ピクチャとは、元の符号化データ２０１のＰピクチャと同様にフレーム予測を用いた符号化画像フレームであるが、Ｉピクチャを参照ピクチャとして利用して再符号化して得たものであり、各画素についての値が異なるので区別のためにＰ’と表記した。ランダムアクセス再生のために第ｎフレーム目の符号化データが、再符号化データ２０５のＩピクチャで差し替えられた場合には、Ｉピクチャの直後のＰ’ピクチャも同時に差し替えて合成符号化データ２０６を生成する。こうすれば、元の符号化データ２０１の一部を再符号化データ２０５と差し替えたことによる画質劣化を早期に回復できる。またＩピクチャの符号量が極端に増大するのを回避する効果もある。なおＩピクチャの直後の再符号化するＰ’ピクチャの毎数Ｊは複数でもよい。Ｊの値はＩピクチャ及びＰ’ピクチャの画質劣化の評価に基づき決定すれば良い。Ｉピクチャによる画質劣化が大きい場合には大きなＪを設定し、複数フレーム期間にわたりＰピクチャをＰ’ピクチャを差し替えることで画質をゆっくり回復できる。
【００２２】
なお、図３の例では、図２の例と同様にＰｎ＋ｍピクチャをＩｎ＋ｍピクチャに置き換えずに合成符号化データ２０６を生成しているが、図１の例と同様にＰｎ＋ｍピクチャを再符号化データ２０５中に予め用意してあるＩｎ＋ｍピクチャに置き換えて合成符号化データ２０６に相当する符号化データを生成してもよい。この場合は、Ｐｎ＋ｍ＋１ピクチャも、再符号化データ２０５中に予め用意してあるＰ’ｎ＋ｍ＋１ピクチャに置き換えて合成符号化データ２０６に相当する符号化データを生成する。
【００２３】
図４はＩピクチャによる符号量の増大を、再符号化データ２０７上でのフレームスキップにより補償する方法を説明する図である。ある画像フレームをＩピクチャで再符号化すると、その符号量は元の符号化データ２０１の該当フレーム分より大幅に増大する。このためＩピクチャを元の符号化データに差し替えると全体の符号量が増大するし、Ｉピクチャに符号量が偏っているので固定容量の通信回線で実時間伝送する場合には支障を生じる場合もある。そこで図４のように、Ｉピクチャの直後の（Ｋ−１）フレームはスキップし、Ｋフレーム離れた画像フレームを当該Ｉピクチャを参照したフレーム間予測によりＰ’ピクチャとして符号化する。ここでフレームスキップ数Ｋは、差し替えるＩピクチャの符号量が、差し替えられる元の符号化データ２０１の第ｎフレームから第（ｎ＋Ｋ−１）フレームまでの総符号量とほぼ相殺し合うように制御する。こうすることで、最終的に出力する合成符号化データ２０８は元の符号化データ２０１とほぼ同じ符号量となる。このような再符号化の制御をすれば、元の符号化データ２０１を伝送することを前提に設定された回線容量でも、新たに生成された合成符号化データ２０８を遅延の増大なしに伝送することができる。またＰ’ピクチャの枚数も１枚だけに限る必要はなく、図３で説明したようにＪ枚のＰ’ピクチャを再符号化して、Ｉピクチャの差し替えに伴う画質劣化を回復することができる。
【００２４】
図１〜４に説明した再符号化データ１０３を利用すれば高速再生も実現できる。例えば図１〜４のいずれかのパタンで生成した合成符号化データ２０３、２０４、２０６又は２０８のＩピクチャだけを拾い出して高速再生用の符号化データとして出力すれば良い。Ｉピクチャがｍフレーム周期で再符号化されている場合には、Ｉピクチャ全てを実時間復号すればｍ倍速の高速再生が実現できる。また拾い出したＩピクチャの全部でなく、更に飛び飛びに復号再生すればｍの倍数の速度の高速再生が実現できる。
【００２５】
ところで、図１〜４に示した再符号化データ１０３に基づき高速再生する場合、飛び飛びのＩピクチャの画像フレームだけが再生されるため、再生画像がコマ送りとなり動きがぎこちなく不自然に見えることがある。そこで図５、図６では高速再生時の画像の動きをスムーズに見せることができる再符号化データ２０９の構築例を示している。
【００２６】
図５では、Ｉピクチャを周期的に設定する点は図１〜４と同様であるが、Ｉピクチャを除く任意の画像フレームの一部もフレーム内符号化モードで再符号化し、Ｓピクチャとしている。従って、再符号化データ２０９は、ＩピクチャとＳピクチャのものを有する。図６はＳピクチャ内部のフレーム内符号化パタンと、それに基づく高速再生用符号化データ２１０の構築例を示す。符号化データ２０９のＳピクチャ内のフレーム内符号化された部分と符号化データ２０９のＩピクチャ内のＩピクチャ内の部分であってＳピクチャ内のフレーム内符号化された部分と所定の位置関係にある部分が高速再生符号化データ２１０を構成する。
【００２７】
図６を参照すると、高速再生符号化データ２１０は、高速再生の実現を考慮し、フレーム内符号化してある部分がフレーム順に画面の上から下へスキャンするように設定している。即ち、高速再生符号化データ２１０のうちの連続するＭ個のＳ’ピクチャを合成すれば１枚の画像フレームを構成できる。
【００２８】
なおランダムアクセス用のＩピクチャは画像全体をフレーム内符号化モードで符号化しているが、高速再生時にはＩピクチャ全体を読み出す必要はなく、前後のＳピクチャにおける符号化部分の位置を考慮し、時間的に繋がりのある部分だけを読み出せばよい。
【００２９】
また図５ではＩピクチャを除く全フレームをＳピクチャとした例を示しているが、ＳピクチャはＬフレーム周期としても良い。Ｌを１以上の整数とすれば、再構築される高速再生用の符号化データは更にＬ倍速に設定される。
【００３０】
次に、上記の本発明の実施形態による動画像符号化データ変換方法を実現するための本発明の実施形態による動画像符号化データの変換装置の構成及びその動作について図７〜１０を参照して説明する。
【００３１】
図７は、動画像符号化データの変換装置の第１の実施形態を示し、これは、復号器１０１、再符号化器１０２、第１のメモリ１０３、第２のメモリ１０４、選択器１０５を備える。
【００３２】
図７を参照すると、復号器１０１は、フレーム間予測を用いて圧縮符号化された元の動画像符号化データである符号化データ２０１を復号して、復号化データ３０１を出力する。第２のメモリ１０４は、符号化データ２０１を入力し記憶する。再符号化器１０２は、復号化データ３０１を入力し、一部の画像フレームをフレーム内処理によりＩピクチャとして再符号化し、再符号化データ２０２を出力する。第１のメモリ１０３は、再符号化データ２０２を入力し、記憶する。
【００３３】
再符号化する画像フレームは、予め設定された周期や外部からの指定で決めればよい。例えば図１のようにｍフレーム周期でＩピクチャを生成すればよい。
【００３４】
第１のメモリ１０３に再符号化データが記憶され、第２のメモリに符号化データ２０１が記憶されてから、外部からの特殊再生要求があると、選択器１０５は、第１のメモリ１０３に記憶されている再符号化データ又は第２のメモリ１０４に記憶されている符号化データ２０１を適宜切り替えて読み出すことにより、合成符号化データ２０３又は２０４を出力する。
【００３５】
図１に示す合成符号化データ２０３を選択器１０５の出力端子から得る場合には、選択器１０５は、再符号化された全ての画像フレームにおいては、再符号化データを第１のメモリ１０３から読み出す。このようにして生成した合成符号化データ２０３は、Ｉピクチャを多く含むので、ランダムアクセス再生を容易に実現できる。
【００３６】
図２に示す合成符号化データ２０４を選択器１０５の出力端子から得る場合には、例えば、ランダムアクセス再生要求があったときに、選択器１０５は、復号開始点の画像フレームに最も近い再符号化データのＩピクチャだけを第１のメモリ１０３から読み出し、他のフレームでは符号化データ２０１を第２のメモリ１０４から読み出す。この場合は符号量の多いＩピクチャは冒頭の画像フレームだけなので、全体としての符号量の増加を抑えることができる。特に遠隔地の復号再生端末からランダムアクセス再生要求がある場合には、Ｉピクチャは１つだけ送信して、他のフレームではＰフレームを送信すればよいので、送信するべき符号量を最低限にするために合成符号データ２０４を送信するのが適している。
【００３７】
図８は、動画像符号化データの変換装置の第２の実施形態を示し、これは、復号器１０１、再符号化器１０２Ａ、第１のメモリ１０３、第２のメモリ１０４、選択器１０５を備える。また、再符号化器１０２Ａは、符号化部１０６Ａ、画質制御部１０７を備える。
【００３８】
符号化部１０６Ａは、復号器１０１から復号化データ３０１を入力し、一部の画像フレームをフレーム内処理によりＩピクチャとして再符号化するとともに、他の一部の画像フレームをフレーム間処理によりＰ’ピクチャとして再符号化し、再符号化した結果を再符号化データ２０５として第１のメモリ１０３に出力する。
【００３９】
画質制御部１０７は、符号化部１０６ＡでＩピクチャとして再符号化された画像フレームの画質劣化を測定する。ここで述べる画質劣化とは、復号器１０１から出力された復号画像の画質を基準とし、その復号画像を再符号化した後の画質の劣化度を示す。画質制御部１０７はＩピクチャの画質劣化度が、予め定めた閾値よりも大きければ、当該Ｉピクチャの次の画像フレームをＰ’ピクチャとして再符号化するように符号化部１０６Ａを制御する。符号化部１０６Ａは、Ｐ’ピクチャでは、再符号化した直前の画像フレームを参照画像とし、フレーム間予測を用いて再符号化を行う。Ｐ’ピクチャの挿入はＩピクチャの直後の１フレームだけでも良いが、画質制御部１０７でＩピクチャの画質劣化のみならずＰ’ピクチャの画質劣化も測定し、Ｐ’ピクチャの画質劣化度が閾値よりも大きければＩピクチャから２つ後の画像フレームもＰ’ピクチャとして再符号化しても良い。以降続くＰ’ピクチャの画質劣化度が前記閾値よりも小さくなるまで、その次の画像フレームをＰ’ピクチャとして再符号化することを繰り返し、Ｊ（Ｊは０以上の整数）枚のＰ’ピクチャが再符号化データ２０５として得られる。再符号化された一連の再符号化データ２０５は第１のメモリ１０３に記憶される。
【００４０】
次に、図３に示す合成符号化データ２０６を選択器１０５の出力端子から得るために、選択器１０５は、ランダムアクセス再生要求があった時点での復号開始点のＩピクチャとそれに続くＪ枚のＰ’ピクチャの再符号化データ２０５を第１のメモリ１０３から読み出し、他のフレームでは符号化データ２０１を第２のメモリ１４０から読み出す。こうすることで、合成符号化データ２０６では、差し替えられたＩピクチャで画質劣化が生じても、後続のＰ’ピクチャで画質が速やかに回復できる。
【００４１】
図９は、動画像符号化データの変換装置の第３の実施形態を示し、これは、復号器１０１、再符号化器１０２Ｂ、第１のメモリ１０３、第２のメモリ１０４、選択器１０５を備える。また、再符号化器１０２Ｂは、符号化部１０６Ｂ、画質制御部１０８を備える。
【００４２】
符号化部１０６Ｂは、復号器１０１から復号化データ３０１を入力し、一部の画像フレームをフレーム内処理によりＩピクチャとして再符号化し、再符号化した結果を再符号化データ２０７として第１のメモリ１０３に出力する。
【００４３】
符号量制御部１０８は、再符号化データ２０７を入力し、符号化部１０６ＢでＩピクチャとして再符号化された画像フレームの符号量Ｂ（Ｉｎ）を計測する。また、符号量制御部１０８は、符号化データ２０１を入力し、再符号化されたＩピクチャの元の符号量Ｂ（Ｐｎ）を計測する。そして、符号量制御部１０８は、Ｂ（Ｉｎ）のＢ（Ｐｎ）に対する増量を測定し、それが予め定めた閾値よりも大きければ、符号化データ２０１上での符号量Ｂ（Ｉｎ）に相当するフレーム期間を決定する。このフレーム期間をＫとすると、符号化部１０６Ｂは、前記Ｉピクチャの後の（Ｋ−１）フレームをスキップし、Ｋフレーム後の画像フレームをフレーム間予測を用いたＰ’ピクチャとして再符号化する。
【００４４】
次に、図４に示す合成符号化データ２０８を選択器１０５の出力端子から得るために、選択器１０５は、ランダムアクセス再生要求があったときに、復号開始点の画像フレームのＩピクチャ（Ｉｎピクチャ）を第１のメモリ１０３から読み出し、その後の（Ｋ−１）フレーム分はスキップして、再符号化したＰ’ピクチャ（Ｐ’ｎ＋ｋ）を第１のメモリ１０３から読み出す。選択器１０５はそれに続いて符号化データ２０１をＰｎ＋ｋ＋１ピクチャより第２のメモリ１０４から読み出す。この合成符号化データ２０８は、元の符号化データ１０１と全体としての符号量がほぼ同じなので、通信回線を用いた実時間伝送用途に適している。
【００４５】
図１０は、動画像符号化データの変換装置の第４の実施形態を示し、これは、復号器１０１、再符号化器１０２、メモリ１０３、読出器１０９を備える。
【００４６】
図１０を参照すると、復号器１０１は、フレーム間予測を用いて圧縮符号化された元の動画像符号化データである符号化データ２０１を復号して、復号化データ３０１を出力する。再符号化器１０２は、復号化データ３０１を入力し、予め定めた周期のフレームをＩピクチャに再符号化し、他のフレームをＳピクチャに再符号化し、ＩピクチャとＳピクチャより成る再符号化データ２０９をメモリ１０３に出力する。第１のメモリ１０３は、再符号化データ２０２を入力し、記憶する。読出器１０９は、ＩピクチャのうちのＳピクチャの符号化された部分と所定の規則の関係にある部分とＳピクチャのうちの符号化された部分をメモリ１０３から読み出して、高速再生符号化データ２１０として出力する。
【００４７】
再符号化器１０２によるフレーム内処理のパタンの一例を示す図６を参照すると、この例では画像フレームをＭ個のブロックスライスＳに分割し、画像フレーム毎にそれらのうちの１つをフレーム内処理でＳ（Ｉ）として再符号化している。且つＳ（Ｉ）の位置をフレーム順に画像の上から下へ１つずつずらし、Ｍフレーム期間でちょうど画像全体を覆うように設定している。なおフレーム内符号化したスライスＳ（Ｉ）を除き、他のブロックスライスは再符号化する必要はない。読出器１０９では、高速再生要求があった場合には、再符号化データ２０９の各画像フレームの再符号化データＳ（Ｉ）を読み出して、これだけを高速再生符号化データとして出力する。このときＩピクチャからは、図６に示すように、前後の画像フレームのＳ（Ｉ）の位置と連続になるように１つのスライスブロック分だけを読み出せばよい。
【００４８】
図７に示す動画像符号化データの変換装置の第１の実施形態を使用して、合成符号化データ２０３又は２０４と高速再生符号化データ２１０を切り替えて出力することも可能である。
【００４９】
この場合、選択器１０５は、高速再生の要求があったときには、読出器１０９と同様に動作し、ランダムアクセス再生要求があったときには、通常通り動作する。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、以下の効果が奏される。
【００５１】
第１の効果は、元の動画像符号化データから特殊再生の可能な符号化データを生成するにおいて、少ない演算量で済み且つ再符号化データの符号量全体を抑制できることである。その理由は、特殊再生に最低限必要となる少ない画像フレームだけ、あるいは画像フレームの一部だけを再符号化することで、目的とする符号化データを柔軟に生成できるからである。
【００５２】
第２の効果は、特殊再生される符号化データの画質劣化を抑制できることである。その理由は、特殊再生に最低限必要となる少ない画像フレームだけ、あるいは画像フレームの一部だけを再符号化しているので、再符号化に伴う符号化誤差累積が少ないからである。またランダムアクセス再生のための復号開始画像フレームで画質劣化が生じても、後続の再符号化フレームで速やかに画質改善することもできる。
【図面の簡単な説明】
【図１】本発明による動画像符号化データ変換装置の第１の実施形態が生成する第１の合成符号化データを説明するための図である。
【図２】本発明による動画像符号化データ変換装置の第１の実施形態が生成する第２の合成符号化データを説明するための図である。
【図３】本発明による動画像符号化データ変換装置の第２の実施形態が生成する合成符号化データを説明するための図である。
【図４】本発明による動画像符号化データ変換装置の第３の実施形態が生成する合成符号化データを説明するための図である。
【図５】本発明による動画像符号化データ変換装置の第４の実施形態が生成する高速再生用符号化データを説明するための第１の図である。
【図６】本発明による動画像符号化データ変換装置の第４の実施形態が生成する高速再生用符号化データを説明するための第２の図である。
【図７】本発明による動画像符号化データ変換装置の第１の実施形態を示すブロック図である。
【図８】本発明による動画像符号化データ変換装置の第２の実施形態を示すブロック図である。
【図９】本発明による動画像符号化データ変換装置の第３の実施形態を示すブロック図である。
【図１０】本発明による動画像符号化データ変換装置の第４の実施形態を示すブロック図である。
【図１１】第１の従来例による動画像符号化データ変換装置を示すブロック図である。
【図１２】従来の方法における特殊再生用の符号化データの生成を説明する第１の図である。
【図１３】第２の従来例による動画像符号化データ変換装置を示すブロック図である。
【図１４】従来の方法における特殊再生用の符号化データの生成を説明する第２の図である。
【符号の説明】
１０１  復号器
１０２  再符号化器
１０３  第１のメモリ
１０４  第２のメモリ
１０５  選択器
１０６Ａ、１０６Ｂ  符号化部
１０７  画質制御部
１０８  符号量制御部
１０９  読出器
【図１】
0003840895.tif 000002
【図２】
0003840895.tif 000003
【図３】
0003840895.tif 000004
【図４】
0003840895.tif 000005
【図５】
0003840895.tif 000006
【図６】
0003840895.tif 000007
【図７】
0003840895.tif 000008
【図８】
0003840895.tif 000009
【図９】
0003840895.tif 000010
【図１０】
0003840895.tif 000011
【図１１】
0003840895.tif 000012
【図１２】
0003840895.tif 000013
【図１３】
0003840895.tif 000014
【図１４】
0003840895.tif 000015