【手続補正書】
【提出日】平成22年9月29日(2010.9.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像符号化装置と動画像復号装置からなる動画像符号化・復号システムにおいて、
前記動画像符号化装置は、
目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、
動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、
前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して前記目標画質を満たすために必要な情報を符号化する少なくとも１つの超過符号化部と、
前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、
送出時に復号するための情報を前記符号化データに付加する情報付加手段と、
を備え、
各時刻において送出される符号化データの合計が一定の符号量以下になるように前記目標量符号化データに前記超過符号化データを組み合わせて送出し、
前記動画像復号装置は、
前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データから前記付加情報を読み取る情報読取手段と、
前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、
前記目標量符号化データを復号する目標量復号部と、
前記超過符号化データを復号する少なくとも１つの超過復号部と、
前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と、
を備え、
前記復号バッファに格納された前記目標量符号化データと前記超過符号化データを、前記付加情報、あるいは動画像復号装置のもつ判断基準に従って復号することを特徴とする動画像符号化・復号システム。
【請求項２】
目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、
動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、
前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分を符号化する少なくとも１つの超過符号化部と、
前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、
送出時に前記符号化バッファから前記符号化データを読み出して、復号するための情報を前記符号化データに付加する情報付加手段と、
を備え、
前記情報付加手段は、各時刻に送出される前記目標量符号化データおよび前記超過符号化データに復号時刻を示す情報を付加し、さらに各時刻に送出される前記目標量符号化データに前記超過符号化データの遅延を示す遅延推定値を付加し、
各時刻において送出される符号化データの合計が前記目標符号量以下になるように、前記目標量符号化データの前記目標符号量に達しない部分に前記超過符号化データを割り当てて送出することを特徴とする動画像符号化装置。
【請求項３】
目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、
動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、
前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分を符号化する２つ以上の超過符号化部と、
前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、
送出時に前記符号化バッファから前記符号化データを読み出して、復号するための情報を前記符号化データに付加する情報付加手段と、
を備え、
前記情報付加手段は、各時刻に送出される前記目標量符号化データおよび前記超過符号化データに復号時刻を示す情報を付加し、さらに各時刻に送出される前記超過符号化データに前記超過符号化部による超過符号化の種類に関する情報を付加し、
各時刻において送出される符号化データの合計が前記目標符号量以下になるように、前記目標量符号化データの前記目標符号量に達しない部分に前記超過符号化データを割り当てて送出することを特徴とする動画像符号化装置。
【請求項４】
目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、
動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、
前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分を符号化する少なくとも１つの超過符号化部と、
前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、
送出時に前記符号化バッファから前記符号化データを読み出して、復号するための情報を前記符号化データに付加する情報付加手段と、
を備え、
前記情報付加手段は、各時刻に送出される前記目標量符号化データおよび前記超過符号化データに復号時刻を示す情報を付加し、さらに各時刻に送出される前記超過符号化データに超過符号化データの重要度を示す廃棄情報を付加し、
各時刻において送出される符号化データの合計が前記目標符号量以下になるように、前記目標量符号化データの前記目標符号量に達しない部分に前記超過符号化データを割り当てて送出することを特徴とする動画像符号化装置。
【請求項５】
請求項２に記載の動画像符号化装置が送出した各符号化データに付加された、復号に使用する付加情報を読み取る情報読取手段と、
前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、
前記目標量符号化データを復号する目標量復号部と、
前記超過符号化データを復号する少なくとも１つの超過復号部と、
前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と、
を備え、
前記超過符号化データの初期遅延による廃棄判断基準に従って各超過符号化データの廃棄処理を行うと判断した場合、廃棄と判断された前記超過符号化データを前記復号バッファから廃棄し、
前記復号バッファに残された前記目標量符号化データと前記超過符号化データを読み出し、
前記目標量符号化データを前記目標量復号部により復号し、前記付加情報の復号時刻に基づいて前記目標量符号化データに同期して、前記超過符号化データを前記超過復号部により復号し合成することを特徴とする動画像復号装置。
【請求項６】
請求項３に記載の動画像符号化装置が送出した各符号化データに付加された、復号に使用する付加情報を読み取る情報読取手段と、
前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、
前記目標量符号化データを復号する目標量復号部と、
前記超過符号化データを異なる超過符号化の種類に応じて復号する２つ以上の超過復号部と、
前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と、
を備え、
前記目標量符号化データおよび前記超過符号化データを格納する前記復号バッファの容量が廃棄判断基準に従って不足すると判断した場合、前記超過符号化の種類に関する情報に基づいて、前記復号バッファが必要な容量を確保できるまで、廃棄と判断された前記超過符号化データを前記復号バッファから廃棄し、
前記復号バッファに残された前記目標量符号化データと前記超過符号化データを読み出し、
前記目標量符号化データを前記目標量復号部により復号し、前記付加情報の復号時刻に基づいて前記目標量符号化データに同期して、前記超過符号化データを前記超過復号部により復号し合成することを特徴とする動画像復号装置。
【請求項７】
請求項４に記載の動画像符号化装置が送出した各符号化データに付加された、復号に使用する付加情報を読み取る情報読取手段と、
前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、
前記目標量符号化データを復号する目標量復号部と、
前記超過符号化データを復号する少なくとも１つ以上の超過復号部と、
前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と、
を備え、
前記目標量符号化データおよび前記超過符号化データを格納する前記復号バッファの容量が廃棄判断基準に従って不足すると判断した場合、前記廃棄情報に基づいて、前記復号バッファが必要な容量を確保できるまで、前記超過符号化データを重要度の低い順に前記復号バッファから廃棄し、
前記復号バッファに残された前記目標量符号化データと前記超過符号化データを読み出し、
前記目標量符号化データを前記目標量復号部により復号し、前記付加情報の復号時刻に基づいて前記目標量符号化データに同期して、前記超過符号化データを前記超過復号部により復号し合成することを特徴とする動画像復号装置。
【請求項８】
請求項６又は７に記載の動画像復号装置において、
前記廃棄判断基準は、復号バッファのバッファサイズ、あるいは動画像復号装置の負荷であることを特徴とする動画像復号装置。
【請求項９】
請求項３に記載の動画像符号化装置が送出した各符号化データに付加された、復号に使用する付加情報を読み取る情報読取手段と、
前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、
前記目標量符号化データを復号する目標量復号部と、
前記超過符号化データを異なる超過符号化の種類に応じて復号する２つ以上の超過復号部と、
前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と、
を備え、
前記動画像復号装置の表示能力が前記付加情報の超過符号化の種類に対応できないと判断した場合、前記超過符号化の種類に関する情報に基づいて、表示対応不可と判断された前記超過符号化データを前記復号バッファから廃棄し、
前記復号バッファに残された前記目標量符号化データと前記超過符号化データを読み出し、
前記目標量符号化データを前記目標量復号部により復号し、前記付加情報の復号時刻に基づいて前記目標量符号化データに同期して、前記超過符号化データを前記超過復号部により復号し合成することを特徴とする動画像復号装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明は、動画像符号化装置と動画像復号装置からなる動画像符号化・復号システムにおいて、
前記動画像符号化装置は、目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して前記目標画質を満たすために必要な情報を符号化する少なくとも１つの超過符号化部と、前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、送出時に復号するための情報を前記符号化データに付加する情報付加手段と、を備え、各時刻において送出される符号化データの合計が一定の符号量以下になるように前記目標量符号化データに前記超過符号化データを組み合わせて送出し、
前記動画像復号装置は、前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データから前記付加情報を読み取る情報読取手段と、前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、前記目標量符号化データを復号する目標量復号部と、前記超過符号化データを復号する少なくとも１つの超過復号部と、前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と、を備え、前記復号バッファに格納された前記目標量符号化データと前記超過符号化データを、前記付加情報、あるいは動画像復号装置のもつ判断基準に従って復号することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、本発明は、目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分を符号化する少なくとも１つの超過符号化部と、前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、送出時に前記符号化バッファから前記符号化データを読み出して、復号するための情報を前記符号化データに付加する情報付加手段と、を備え、
前記情報付加手段は、各時刻に送出される前記目標量符号化データおよび前記超過符号化データに復号時刻を示す情報を付加し、さらに各時刻に送出される前記目標量符号化データに前記超過符号化データの遅延を示す遅延推定値を付加し、
各時刻において送出される符号化データの合計が前記目標符号量以下になるように、前記目標量符号化データの前記目標符号量に達しない部分に前記超過符号化データを割り当てて送出することを特徴とする動画像符号化装置である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、本発明は、目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分を符号化する２つ以上の超過符号化部と、前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、送出時に前記符号化バッファから前記符号化データを読み出して、復号するための情報を前記符号化データに付加する情報付加手段と、を備え、
前記情報付加手段は、各時刻に送出される前記目標量符号化データおよび前記超過符号化データに復号時刻を示す情報を付加し、さらに各時刻に送出される前記超過符号化データに前記超過符号化部による超過符号化の種類に関する情報を付加し、
各時刻において送出される符号化データの合計が前記目標符号量以下になるように、前記目標量符号化データの前記目標符号量に達しない部分に前記超過符号化データを割り当てて送出することを特徴とする動画像符号化装置である。
また、本発明は、目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分を符号化する少なくとも１つの超過符号化部と、前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、送出時に前記符号化バッファから前記符号化データを読み出して、復号するための情報を前記符号化データに付加する情報付加手段と、を備え、
前記情報付加手段は、各時刻に送出される前記目標量符号化データおよび前記超過符号化データに復号時刻を示す情報を付加し、さらに各時刻に送出される前記超過符号化データに超過符号化データの重要度を示す廃棄情報を付加し、
各時刻において送出される符号化データの合計が前記目標符号量以下になるように、前記目標量符号化データの前記目標符号量に達しない部分に前記超過符号化データを割り当てて送出することを特徴とする動画像符号化装置である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明は、前記動画像符号化装置が送出した各符号化データに付加された、復号に使用する付加情報を読み取る情報読取手段と、前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、前記目標量符号化データを復号する目標量復号部と、前記超過符号化データを復号する少なくとも１つの超過復号部と、前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と、を備え、
前記超過符号化データの初期遅延による廃棄判断基準に従って各超過符号化データの廃棄処理を行うと判断した場合、廃棄と判断された前記超過符号化データを前記復号バッファから廃棄し、
前記復号バッファに残された前記目標量符号化データと前記超過符号化データを読み出し、
前記目標量符号化データを前記目標量復号部により復号し、前記付加情報の復号時刻に基づいて前記目標量符号化データに同期して、前記超過符号化データを前記超過復号部により復号し合成することを特徴とする動画像復号装置である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、本発明は、前記動画像符号化装置が送出した各符号化データに付加された、復号に使用する付加情報を読み取る情報読取手段と、前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、前記目標量符号化データを復号する目標量復号部と、前記超過符号化データを異なる超過符号化の種類に応じて復号する２つ以上の超過復号部と、前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と、を備え、
前記目標量符号化データおよび前記超過符号化データを格納する前記復号バッファの容量が廃棄判断基準に従って不足すると判断した場合、前記超過符号化の種類に関する情報に基づいて、前記復号バッファが必要な容量を確保できるまで、廃棄と判断された前記超過符号化データを前記復号バッファから廃棄し、
前記復号バッファに残された前記目標量符号化データと前記超過符号化データを読み出し、
前記目標量符号化データを前記目標量復号部により復号し、前記付加情報の復号時刻に基づいて前記目標量符号化データに同期して、前記超過符号化データを前記超過復号部により復号し合成することを特徴とする動画像復号装置である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明は、 請求項４に記載の動画像符号化装置が送出した各符号化データに付加された、復号に使用する付加情報を読み取る情報読取手段と、前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、前記目標量符号化データを復号する目標量復号部と、前記超過符号化データを復号する少なくとも１つ以上の超過復号部と、前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と、を備え、
前記目標量符号化データおよび前記超過符号化データを格納する前記復号バッファの容量が廃棄判断基準に従って不足すると判断した場合、前記廃棄情報に基づいて、前記復号バッファが必要な容量を確保できるまで、前記超過符号化データを重要度の低い順に前記復号バッファから廃棄し、
前記復号バッファに残された前記目標量符号化データと前記超過符号化データを読み出し、
前記目標量符号化データを前記目標量復号部により復号し、前記付加情報の復号時刻に基づいて前記目標量符号化データに同期して、前記超過符号化データを前記超過復号部により復号し合成することを特徴とする動画像復号装置である。
ここで、前記動画像復号装置において、前記廃棄判断基準は、復号バッファのバッファサイズ、あるいは動画像復号装置の負荷であることを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、本発明は、前記動画像符号化装置が送出した各符号化データに付加された、復号に使用する付加情報を読み取る情報読取手段と、前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、前記目標量符号化データを復号する目標量復号部と、前記超過符号化データを異なる超過符号化の種類に応じて復号する２つ以上の超過復号部と、前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と、を備え、
前記動画像復号装置の表示能力が前記付加情報の超過符号化の種類に対応できないと判断した場合、前記超過符号化の種類に関する情報に基づいて、表示対応不可と判断された前記超過符号化データを前記復号バッファから廃棄し、
前記復号バッファに残された前記目標量符号化データと前記超過符号化データを読み出し、
前記目標量符号化データを前記目標量復号部により復号し、前記付加情報の復号時刻に基づいて前記目標量符号化データに同期して、前記超過符号化データを前記超過復号部により復号し合成することを特徴とする動画像復号装置である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
またベースレイヤに符号化データＥの遅延推定値を付加することで、受信側ではあらかじめ、どのくらいの遅延が発生するかを知ることができる。ここで遅延推定値は、遅延の最大値でもよいし平均値でもよいが、送信側、受信側で同じ意味を持つ必要がある。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
また符号化装置では、これまでに符号化した符号量の履歴を記録することができるため、現在バッファ１０４に格納中の符号化データＥの重要度が、これまでに送信した符号化データＥよりも高い場合、今までに送信した符号化データＥを廃棄する通知を符号化データＥの先頭に付加することで、復号装置に今までに送出した符号化データＥの廃棄を通知することができる。例えば、画像ｍ（ｍ＞ｎ＋４）の符号化終了後、既に送出済の画像ｎの符号化データＥを廃棄したい場合、画像ｍの符号化データとともに、廃棄したい画像の番号ｎを送出する。画像ｎの符号化データＥの廃棄によって、受信側のバッファの残容量を大きくし、符号化装置が重要と判断した画像ｍの符号化データＥを受信側のバッファに優先して格納することができる。また、特定の画像だけではなく、これまでに送出した全ての符号化データＥを廃棄するよう通知することもできる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
また上述の例は、ベースレイヤ１、エンハンスメントレイヤ１の２階層における例であったが、エンハンスメントレイヤを複数階層設けることも可能である。この場合、エンハンスメントレイヤの種類が増え、符号化データＥの先頭に付加する階層の種類も多くなり、階層ごとに異なる種類の階層符号化を組み合わせることも可能である。また、エンハンスメントレイヤに優先順位をつけ、優先順位を示す情報を符号化データＥの先頭に付加することもできる。なお、エンハンスメントレイヤは常に存在する訳ではなく、ベースレイヤのみで十分な画質を確保できる場合は、エンハンスメントレイヤは存在しないこともある。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
＜変形例１＞
本発明の第２の実施の形態では、復号装置の持つバッファサイズによって復号画像の画質劣化を小さくする例について説明した。ここでの符号化データＥの廃棄の判断基準は復号装置の持つバッファサイズであったが、これ以外にも初期遅延や受信端末の負荷を基準として、符号化データＥを廃棄することが可能である。例えば図７に示すエンハンスメントレイヤの後送りの場合、図１４に示す順序で符号化データが送信されるため、画像ｎを表示するには、Ｅｎが受信されバッファ８０１に格納される４枚後まで待つ必要がある。アプリを起動した直後で遅延を小さくしたい場合は、一定期間画質が少々悪くても符号化データＢのみを復号することで、初期遅延を小さくすることができる。またこの時、符号化データＢの先頭に付加された遅延推定量をもとに、符号化データＥを廃棄するかどうかを判断することができる。