(57)【要約】【課題】本発明は、主観画質を著しく損なうことを防止できるデータトランスコード装置を提供する。【解決手段】データトランスコード装置１は、符号化ストリームを復号化してデータを生成する復号化手段１０と、符号化ストリーム、又は復号化手段にて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御手段（３０・４０・５０）と、復号化手段にて復号化したデータについて再圧縮余裕度算出制御手段にて算出された再圧縮余裕度に基づいて符号量制御を行うとともに、データを再符号化して再符号化ストリームを生成する符号量制御手段２０とを含む。【選択図】図１
2009135666.tif 000002
【特許請求の範囲】
【請求項１】
符号化ストリームを復号化してデータを生成する復号化手段と、
前記符号化ストリーム、又は前記復号化手段にて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御手段と、
前記復号化手段にて復号化したデータについて前記再圧縮余裕度算出制御手段にて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御手段と、
を含むことを特徴とするデータトランスコード装置。
【請求項２】
請求項１に記載のデータトランスコード装置において、
前記再圧縮余裕度算出制御手段は、
符号化画像ストリーム中の画面内符号化された画像ストリームを復号化した画像データのアクティビティ値を算出する画像複雑度生成手段と、
前記画像データの量子化値の平均値である量子化平均値を算出する量子化値平均手段と、  
前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成手段と、
を含むことを特徴とするデータトランスコード装置。
【請求項３】
請求項１に記載のデータトランスコード装置において、
前記再圧縮余裕度算出制御手段は、
符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成手段と、
前記縮小画像のアクティビティ値を算出する画像複雑度生成手段と、
前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均手段と、  
前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成手段と、
を含むことを特徴とするデータトランスコード装置。
【請求項４】
請求項１に記載のデータトランスコード装置において、
前記再圧縮余裕度算出制御手段は、
符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成手段と、
前記縮小画像のアクティビティ値を算出する画像複雑度生成手段と、
前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均手段と、  
前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成手段と、
符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録手段と、
前記第１の画像ストリーム記録手段にて記録した前記画像ストリームに関連付けした前記再圧縮余裕度を記録する処理を行う再圧縮余裕度記録手段と、
前記再圧縮余裕度記録手段により複数記録された前記各再圧縮余裕度の前記各画像ストリームの中から前記再圧縮余裕度の大きな前記画像ストリームを選択する処理を行う選択手段と、
を含み、
前記復号化手段は、
前記選択手段にて選択処理した選択画像ストリームを再生し復号化し、
前記符号量制御手段は、  
前記復号化手段にて復号化した選択画像データを前記再圧縮余裕度に基づいて符号量制御を行うとともに前記選択画像データの再符号化を行うものであることを特徴とするデータトランスコード装置。
【請求項５】
請求項１に記載のデータトランスコード装置において、
前記再圧縮余裕度算出制御手段は、
符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成手段と、
前記縮小画像のアクティビティ値を算出する画像複雑度生成手段と、
前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均手段と、  
前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成手段と、
符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録手段と、
前記第１の画像ストリーム記録手段にて記録した前記画像ストリームに関連付けした前記縮小画像と前記量子化値の平均値を記録する処理を行う量子化値平均値記録手段と、
を含み、
前記画像複雑度生成手段は、
前記量子化値平均値記録手段により記録された前記縮小画像を再生しアクティビティ値を算出するものであり、
前記再圧縮余裕度生成手段は、
前記縮小画像と関連付けられている量子化値の平均値とアクティビティ値とに基づいて再圧縮余裕度を算出するものである
ことを特徴とするデータトランスコード装置。
【請求項６】
請求項２に記載のデータトランスコード装置において、
前記画像複雑度生成手段は、
前記符号化画像ストリームが画面内符号化方式及び画面間の相関を利用した予測符号化方式で構成され、前記画面内符号化方式により符号化された画像ストリームを復号化した画像データのアクティビティ値を算出するものであり、
前記量子化値平均手段は、
一の画像複雑度を生成した画像ストリームから次の画像複雑度を生成する画像ストリームまでの全ての量子化値の平均値を求めるものであることを特徴とするデータトランスコード装置。  
【請求項７】
請求項２に記載のデータトランスコード装置において、
前記画像複雑度生成手段は、
前記画像データの輝度成分の水平方向の画素差分の二乗和と輝度成分の垂直方向の画素差分の二乗和との積により前記アクティビティ値を算出するものであることを特徴とするデータトランスコード装置。
【請求項８】
請求項２に記載のデータトランスコード装置において、
前記画像複雑度生成手段は、
前記画像データの輝度成分の水平方向の画素差分の絶対値和と輝度成分の垂直方向の画素差分の絶対値和との積により前記アクティビティ値を算出するものであることを特徴とするデータトランスコード装置。
【請求項９】
請求項２に記載のデータトランスコード装置において、
前記再圧縮余裕度生成手段は、
前記量子化値の平均値と前記アクティビティ値との積の逆数を前記再圧縮余裕度として算出するものであることを特徴とするデータトランスコード装置。  
【請求項１０】
請求項２に記載のデータトランスコード装置において、
前記再圧縮余裕度生成手段は、
前記量子化値の平均値と前記アクティビティ値との積を、少なくとも３つ以上の閾値で量子化した結果を前記再圧縮余裕度として算出するものであることを特徴とするデータトランスコード装置。
【請求項１１】
請求項２に記載のデータトランスコード装置において、
前記符号量制御手段は、
前記再圧縮余裕度が第１の閾値より小さい値である場合に、前記符号化ストリームと同等の量子化値となるように符号量制御を行い前記再符号化ストリームを生成するものであることを特徴とするデータトランスコード装置。
【請求項１２】
請求項２に記載のデータトランスコード装置において、
前記符号量制御手段は、
前記再圧縮余裕度が第１の閾値より大きい第２の閾値より大きい値である場合に、予め設定される目標符号化レートに近づけるように符号量制御を行い前記再符号化ストリームを生成するものであることを特徴とするデータトランスコード装置。
【請求項１３】
請求項２に記載のデータトランスコード装置において、  
前記符号量制御手段は、
前記再圧縮余裕度が第１の閾値より大きい第２の閾値より小さく前記第１の閾値より大きい値である場合に、予め設定される第１の目標符号化レートより大きい第２の目標符号化レートに目標符号化レートを再設定するとともに、前記第２の目標符号化レートに近づけるように符号量制御を行い前記再符号化ストリームを生成するものであることを特徴とするデータトランスコード装置。
【請求項１４】
請求項３に記載のデータトランスコード装置において、
前記縮小画像生成手段は、
前記符号化画像ストリームが画面内符号化及び画面間の相関を利用した予測符号化で構成され、前記画面内符号化された画像ストリームの直交変換係数の直流成分から縮小画像を生成するものであり、
前記量子化値平均手段は、
画面内符号化及び画面間の相関を利用した予測符号化で構成されたブロックの量子化値の平均値を求めるものである
ことを特徴とするデータトランスコード装置。
【請求項１５】
請求項３に記載のデータトランスコード装置において、    
前記量子化値平均手段は、  
前記縮小画像の生成に使用した画面内符号化の前記画像ストリームから次の画面内符号化の前記画像ストリームまでの量子化値の平均値を算出するものであること
を特徴とするデータトランスコード装置。
【請求項１６】
請求項４に記載のデータトランスコード装置において、
前記再符号化制御手段にて再符号化した再符号化画像ストリームを記録する処理を行う第２の画像ストリーム記録手段をさらに有し、
前記縮小画像生成手段は、
前記再符号化画像ストリームに関する縮小画像を生成し、
前記画像複雑度生成手段は、
前記再符号化画像ストリームに関する縮小画像のアクティビティ値を算出し、
前記量子化値平均手段は、
前記再符号化画像ストリームに関する量子化平均値を演算し、
前記再圧縮余裕度生成手段は、
前記再符号化画像ストリームに関する前記アクティビティ値と前記再符号化画像ストリームに関する前記量子化平均値とに基づいて再圧縮余裕度を算出するものである
ことを特徴とするデータトランスコード装置。
【請求項１７】
請求項５に記載のデータトランスコード装置において、
前記符号量制御手段は、
再符号化時の前記再符号化画像ストリームに関する量子化値を出力し、
前記量子化値平均手段は、
出力された前記量子化値に基づいて前記再符号化画像ストリームに関する量子化平均値を算出し、
前記量子化値平均値記録手段は、  
前記再符号化画像ストリームに関連付けて前記量子化平均値を記録する処理を行うことを特徴とするデータトランスコード装置。
【請求項１８】
請求項１乃至１７のうちいずれか一項に記載のデータトランスコード装置を含む電子機器。
【請求項１９】
コンピュータが符号化ストリームを復号化してデータを生成する復号化ステップと、
コンピュータが前記符号化ストリーム、又は前記復号化ステップにて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御ステップと、
コンピュータが前記復号化ステップにて復号化したデータについて前記再圧縮余裕度算出制御ステップにて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御ステップと、  
を含むことを特徴とするデータトランスコード方法。
【請求項２０】
請求項１９に記載のデータトランスコード方法において、
前記再圧縮余裕度算出制御ステップでは、
コンピュータが符号化画像ストリーム中の画面内符号化された画像ストリームを復号化した画像データのアクティビティ値を算出する画像複雑度生成ステップと、
コンピュータが前記画像データの量子化値の平均値である量子化平均値を算出する量子化値平均ステップと、
コンピュータが前記画像複雑度生成ステップにて算出された前記アクティビティ値と前記量子化値平均ステップにて演算された前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成ステップと、
を行うことを特徴とするデータトランスコード方法。
【請求項２１】
請求項１９に記載のデータトランスコード方法において、
前記再圧縮余裕度算出制御ステップは、
コンピュータが符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成ステップと、
コンピュータが前記縮小画像のアクティビティ値を算出する画像複雑度生成ステップと、
コンピュータが前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均ステップと、  
コンピュータが前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成ステップと、
を行うことを特徴とするデータトランスコード方法。
【請求項２２】
請求項１９に記載のデータトランスコード方法において、
前記再圧縮余裕度算出制御ステップでは、
コンピュータが符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成ステップと、
コンピュータが前記縮小画像生成ステップにて生成された前記縮小画像のアクティビティ値を算出する画像複雑度生成ステップと、
コンピュータが前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を演算する量子化値平均ステップと、  
コンピュータが前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成ステップと、
コンピュータが符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録ステップと、
コンピュータが前記第１の画像ストリーム記録ステップにて記録した前記画像ストリームに関連付けした前記再圧縮余裕度を記録する処理を行う再圧縮余裕度記録ステップと、
コンピュータが前記再圧縮余裕度記録ステップにより複数記録された前記各再圧縮余裕度の前記各画像ストリームの中から前記再圧縮余裕度の大きな前記画像ストリームを選択する処理を行う選択ステップと、
を行い、
前記復号化ステップでは、
コンピュータが前記選択ステップにて選択した選択画像ストリームを再生し復号化し、
前記符号量制御ステップでは、    
コンピュータが前記復号化ステップにて復号化した選択画像データを前記再圧縮余裕度に基づいて符号量制御を行うとともに前記選択画像データの再符号化を行うことを特徴とするデータトランスコード方法。
【請求項２３】
請求項１９に記載のデータトランスコード方法において、
前記再圧縮余裕度算出制御ステップでは、
コンピュータが、符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成ステップと、  
コンピュータが前記縮小画像のアクティビティ値を算出する画像複雑度生成ステップと、
コンピュータが前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均ステップと、  
コンピュータが前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成ステップと、
コンピュータが符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録ステップと、
コンピュータが前記第１の画像ストリーム記録ステップにて記録した前記画像ストリームに関連付けした前記縮小画像と前記量子化値の平均値を記録する処理を行う量子化値平均値記録ステップと、
を行い、
前記画像複雑度生成ステップでは、
コンピュータが前記量子化値平均値記録ステップにより記録された前記縮小画像を再生しアクティビティ値を算出し、
前記再圧縮余裕度生成ステップでは、
コンピュータが前記縮小画像と関連付けられている量子化値の平均値とアクティビティ値とに基づいて再圧縮余裕度を算出することを特徴とするデータトランスコード方法。
【請求項２４】
コンピュータが実行可能なプログラムであって、
符号化ストリームを復号化してデータを生成する復号化機能と、
前記符号化ストリーム、又は前記復号化機能にて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御機能と、
前記復号化機能にて復号化したデータについて前記再圧縮余裕度算出制御機能にて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御機能と、
を含む機能をコンピュータに実行させることを特徴とするプログラム。
【請求項２５】
請求項２４に記載のプログラムにおいて、
前記再圧縮余裕度算出制御機能は、
符号化画像ストリーム中の画面内符号化された画像ストリームを復号化した画像データのアクティビティ値を算出する画像複雑度生成機能と、
前記画像データの量子化値の平均値である量子化平均値を算出する量子化値平均機能と、
前記画像複雑度生成機能にて算出された前記アクティビティ値と前記量子化値平均機能にて演算された前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成機能と、
を含むことを特徴とするプログラム。
【請求項２６】
請求項２４に記載のプログラムにおいて、
前記再圧縮余裕度算出制御機能は、
符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成機能と、
前記縮小画像のアクティビティ値を算出する画像複雑度生成機能と、
前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均機能と、  
前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成機能と、
を含むことを特徴とするプログラム。
【請求項２７】
請求項２４に記載のプログラムにおいて、
前記再圧縮余裕度算出制御機能は、
符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成機能と、
前記縮小画像生成機能にて生成された前記縮小画像のアクティビティ値を算出する画像複雑度生成機能と、
前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を演算する量子化値平均機能と、  
前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成機能と、
符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録機能と、
前記第１の画像ストリーム記録機能にて記録した前記画像ストリームに関連付けした前記再圧縮余裕度を記録する処理を行う再圧縮余裕度記録機能と、
前記再圧縮余裕度記録機能により複数記録された前記各再圧縮余裕度の前記各画像ストリームの中から前記再圧縮余裕度の大きな前記画像ストリームを選択する処理を行う選択機能と、
を含む機能をコンピュータに実行させ、
前記復号化機能では、
前記選択機能にて選択した選択画像ストリームを再生し復号化し、
前記符号量制御機能では、    
前記復号化機能にて復号化した選択画像データを前記再圧縮余裕度に基づいて符号量制御を行うとともに前記選択画像データの再符号化を行うことを特徴とするプログラム。
【請求項２８】
請求項２４に記載のプログラムにおいて、
前記再圧縮余裕度算出制御機能では、
符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成機能と、  
前記縮小画像のアクティビティ値を算出する画像複雑度生成機能と、
前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均機能と、  
前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成機能と、
符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録機能と、
前記第１の画像ストリーム記録機能にて記録した前記画像ストリームに関連付けした前記縮小画像と前記量子化値の平均値を記録する処理を行う量子化値平均値記録機能と、
を含む機能をコンピュータに実行させ、
前記画像複雑度生成機能では、
前記量子化値平均値記録ステップにより記録された前記縮小画像を再生しアクティビティ値を算出し、
前記再圧縮余裕度生成機能では、
前記縮小画像と関連付けられている量子化値の平均値とアクティビティ値とに基づいて再圧縮余裕度を算出することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データトランスコード装置、電子機器、データトランスコード方法、及びプログラムに関する。
【背景技術】
【０００２】
ＢＳ／ＣＳ／地上デジタル放送では、映像データなどの放送データがデジタル符号化される。このようなデジタル放送を利用する利用者が、例えば前記放送データを録画装置に記録するような場合には、録画装置の記録容量は有限であるため、記録した映像データを削除することなく新たに映像データを記録する領域を確保するためには、録画済の映像データのビットレートを下げるトランスコードを行う必要がある。
【０００３】
この種のトランスコードを行う関連技術として、例えば以下に示す特許文献１などが挙げられる。特許文献１では、録画済の映像データの符号化レートや動きベクトル情報や高ビットレート分布等を利用して鑑賞に堪えない画質になるまで再圧縮を行うようなことを避けるようなトランスコード手法が示されている。
【０００４】
特許文献１では、録画装置は、動画データを符号化した録画データと、その符号化する際に抽出される動画データの特徴を表す情報である符号化情報とを対応付けて記録しており、記録されている符号化情報に基づいて、録画データを選択し、よりデータサイズの小さくなる符号化方法で符号化した録画データを作成し、その作成過程で符号化情報を抽出し、元の録画データに換えて作成した録画データを記録し、元の録画データに対応する符号化情報に換えて抽出した符号化情報を記録する。  
【特許文献１】特開２００６−２１７０７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のようなトランスコード手法においては、次のような不具合がある。
【０００６】
すなわち、ＢＳ／ＣＳ／地上デジタル放送は放送局であらかじめ符号化された映像データが放送され、これらの放送を録画する録画装置では、符号化映像データを記録するが、放送されている映像データのビットレート値は、ＣＢＲ（Ｃｏｎｓｔａｎｔ  Ｂｉｔ  Ｒａｔｅ）で符号化されているため、ビットレート値及び高ビットレート分布等の情報は画像の複雑さに関係なく一定になるよう制御されており、主観画質を著しく損なう、という不具合があった。  
【０００７】
本発明は、上記した技術の不具合を解決することを課題としてなされたものであって、その目的とするところは、主観画質を著しく損なうことを防止できるデータトランスコード装置、電子機器、データトランスコード方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明のデータトランスコード装置は、符号化ストリームを復号化してデータを生成する復号化手段と、前記符号化ストリーム、又は前記復号化手段にて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御手段と、前記復号化手段にて復号化したデータについて前記再圧縮余裕度算出制御手段にて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御手段と、を含むことを特徴としている。
【０００９】
本発明のデータトランスコード方法は、コンピュータが符号化ストリームを復号化してデータを生成する復号化ステップと、コンピュータが前記符号化ストリーム、又は前記復号化ステップにて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御ステップと、コンピュータが前記復号化ステップにて復号化したデータについて前記再圧縮余裕度算出制御ステップにて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御ステップと、を含むことを特徴としている。
【００１０】
本発明のプログラムは、コンピュータが実行可能なプログラムであって、符号化ストリームを復号化してデータを生成する復号化機能と、前記符号化ストリーム、又は前記復号化機能にて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御機能と、前記復号化機能にて復号化したデータについて前記再圧縮余裕度算出制御機能にて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御機能と、を含む機能をコンピュータに実行させることを特徴としている。
【発明の効果】
【００１１】
本発明によれば、符号化ストリーム、又は復号化したデータから再圧縮余裕度を算出し、再圧縮余裕度に従い符号量を制御することにより、著しい主観画質劣化を抑制できるという、関連技術にない優れたデータトランスコード装置、電子機器、データトランスコード方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１２】
〔データトランスコード装置の基本的構成〕
先ず、データトランスコード装置の基本的構成について説明する。本発明のデータトランスコード装置は、符号化ストリームを復号化してデータを生成する復号化手段と、前記符号化ストリーム、又は前記復号化手段にて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御手段（らなる構成など）と、前記復号化手段にて復号化したデータについて前記再圧縮余裕度算出制御手段にて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御手段と、を含む構成としている。
【００１３】
このような構成のデータトランスコード装置によれば、符号化ストリーム、又は復号化したデータから再圧縮余裕度を算出し、再圧縮余裕度に従い符号量を制御することにより、著しい主観画質劣化を抑制できる。
より詳細には、符号化された画像ストリームから画面内符号化された画像ストリームのアクティビティと、その画像ストリーム中の量子化値の平均値から再圧縮余裕度を算出し、再圧縮余裕度に従い目標符号量を設定することにより、著しい主観画質劣化を抑制できる  
【００１４】
以下、このような本発明の「データトランスコード装置」を、「画像トランスコード装置」に適用した好適な実施の形態の一例について、図面を参照して具体的に説明する。
【００１５】
〔第１の実施の形態〕
（画像トランスコード装置の全体構成）
先ず、本実施の形態の画像トランスコード装置の具体的構成について、全体構成から説明し、続いて各部の詳細構成について説明することとする。図１は、本発明における第１実施の形態の画像トランスコード装置の全体の概略構成の一例を示すブロック図である。
【００１６】
本実施の形態では、符号化された画像ストリームを、一例としてＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ−２  Ｖｉｄｅｏ）規格に準じて圧縮符号化された画像ストリームとして述べるが、ＩＳＯ／ＩＥＣ１０９１８−１（ＪＰＥＧ）規格や、ＩＳＯ／ＩＥＣ１１１７２−２（ＭＰＥＧ−１  Ｖｉｄｅｏ）規格や、ＩＳＯ／ＩＥＣ１４４９６−１０（ＭＰＥＧ−４／ＡＶＣ）規格、その他これに類する種々の画像符号化方式など、他の画像符号化方式で圧縮符号化された画像ストリームであっても良い。
【００１７】
更に、再符号化を行う際の符号化方式おいても、本実施の形態では、一例としてＩＳＯ／ＩＥＣ１４４９６−１０（ＭＰＥＧ−４／ＡＶＣ）規格に準じた圧縮符号化方式として述べるが、ＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ−２  Ｖｉｄｅｏ）規格や、ＩＳＯ／ＩＥＣ１１１７２−２（ＭＰＥＧ−１  Ｖｉｄｅｏ）規格、その他これに類する種々の画像符号化方式など、他の画像符号化方式でも適応できる。  
【００１８】
図１に示すように、本実施の形態の画像トランスコード装置１は、デコード部１０と、エンコード部２０と、量子化値平均部３０と、画像複雑度生成部４０と、再圧縮余裕度生成部５０とを含んで構成される。
【００１９】
デコード部１０は、入力される符号化画像ストリームＳ１に復号化処理を施し画像データＳ２を出力する。また、デコード部１０は、入力される符号化画像ストリームＳ１に含まれる量子化値Ｓ３を出力する。さらに、デコード部１０は、復号化された画像データＳ２から、画面内符号化により符号化されていた画像フレーム（Ｉフレーム）を選択し、該画像フレーム（Ｉフレーム）の画像データを画像複雑度生成部４０に入力する。
【００２０】
画像複雑度生成部４０では、入力された画像データＳ２の水平方向の画素間差分値の二乗和と垂直方向の画素間差分値の二乗和の積を演算し、演算結果をアクティビティＳ４として出力する。
また、画像複雑度生成部４０にて算出されるアクティビティＳ４の値は、水平方向の差分値の絶対値和と垂直方向の差分値の絶対値和の積から求めることも可能である。
【００２１】
量子化値平均部３０は、入力される量子化値Ｓ３から、前記アクティビティＳ４の演算に使用したフレームを選択し、そのフレーム内の平均値を、量子化平均値Ｓ５として出力する。  
【００２２】
また、量子化値平均部３０にて算出される量子化平均値Ｓ５は、前記選択された画像データの１フレーム分の平均値に限らず、一のＩフレームから次のＩフレームまでのいわゆる１ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）分を合わせた、複数フレーム分の量子化値Ｓ３を平均した値としてもよい。
【００２３】
再圧縮余裕度生成部５０は、量子化平均値Ｓ５とアクティビティＳ４の値の積の逆数を、再圧縮余裕度Ｓ６として出力する。もしくは、再圧縮余裕度生成部５０にて算出される再圧縮余裕度Ｓ６は、量子化平均値Ｓ５とアクティビティＳ４の値の積を、少なくとも３つ以上の閾値で量子化した結果として出力してもよい。
【００２４】
エンコード部２０は、デコード部１０で復号化された画像データＳ２および再圧縮余裕度Ｓ６を入力し、前記再圧縮余裕度Ｓ６に従って、再圧縮時の符号量を制御する。
【００２５】
ここで、符号量制御手法の一例を以下に述べる。
エンコード部２０は、入力画像ストリームの符号量を削減するためにトランスコードを行う際、まず目標符号化レートを設定し、再圧縮余裕度Ｓ６が第一の閾値（ＴＨ１）より小さな値であれば、符号量を削減することにより主観的に耐えられない画質劣化を生じると判定し、元画像ストリームと同等の量子化値になるような符号量制御を行い、再圧縮後の画像ストリームが目標符号化レートに達さなくても良い。
【００２６】
また、エンコード部２０は、再圧縮余裕度Ｓ６がＴＨ１より大きな値をとる第二の閾値（ＴＨ２）より大きな値であれば、主観的に画質劣化が判断されにくい画像データであると判定し、目標符号化レートに近づけるような符号量制御を行う。
【００２７】
更に、エンコード部２０は、再圧縮余裕度Ｓ６がＴＨ１とＴＨ２との中間値である場合には、目標符号化レートの設定を予め設定された符号化レートより大きな値となる目標符号化レートに再設定した後、符号量制御を行う。
【００２８】
画像トランスコード装置１は、プログラム制御により動作するものであり、ネットワーク関連の機能を有していれば、デスクトップ、ラップトップコンピュータその他無線・有線通信機能を有する情報機器、またはこれに類するコンピュータなどいかなるコンピュータでもよく、移動式・固定式を問わない。
【００２９】
画像トランスコード装置１のハードウエア構成は、種々の情報等を表示するための表示手段（スクリーン）、この表示手段の表示画面上（の各種入力欄等）のデータを操作入力するための操作入力手段（例えばキーボード・マウス等）、各種信号・データを送受信するための送受信手段（通信手段）、各種プログラム・各種データを記憶しておく記憶手段（例えばメモリ、ハードディスク等）、これらの制御を司る制御手段（例えばＣＰＵ等）などを有している。
【００３０】
ここで、本実施の形態の量子化値平均部３０、画像複雑度生成部４０、再圧縮余裕度生成部５０により、本発明にいう「再圧縮余裕度算出制御手段」を構成することができる。また、デコード部１０により本発明にいう「復号化手段」を構成することができる。さらに、エンコード部２０により本発明にいう「符号量制御手段」を構成することができる。また、本実施の形態の画像複雑度生成部４０は、本発明にいう「画像複雑度生成手段」ということもできる。さらに、本実施の形態の量子化値平均部３０は、本発明にいう「量子化値平均手段」ということもできる。さらにまた、本実施の形態の再圧縮余裕度生成部５０は、本発明にいう「再圧縮余裕度生成手段」ということもできる。
【００３１】
この際、前記「復号化手段」は、符号化ストリームを復号化してデータを生成することができる。さらに、前記「再圧縮余裕度算出制御手段」は、前記符号化ストリーム、又は前記復号化手段にて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行うことができる。また、前記「符号量制御手段」は、前記復号化手段にて復号化したデータについて前記再圧縮余裕度算出制御手段にて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成することができる。
【００３２】
さらに、前記「再圧縮余裕度算出制御手段」は、符号化画像ストリーム中の画面内符号化された画像ストリームを復号化した画像データのアクティビティ値を算出する画像複雑度生成手段と、前記画像データの量子化値の平均値である量子化平均値を算出する量子化値平均手段と、前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成手段とを含むことができる。
【００３３】
また、前記「画像複雑度生成手段」は、前記符号化画像ストリームが画面内符号化方式及び画面間の相関を利用した予測符号化方式で構成され、前記画面内符号化方式により符号化された画像ストリームを復号化した画像データのアクティビティ値を算出することができる。この場合、前記「量子化値平均手段」は、一の画像複雑度を生成した画像ストリームから次の画像複雑度を生成する画像ストリームまでの全ての量子化値の平均値を求めることができる。
【００３４】
さらに、前記「画像複雑度生成手段」は、前記画像データの輝度成分の水平方向の画素差分の二乗和と輝度成分の垂直方向の画素差分の二乗和との積により前記アクティビティ値を算出することができる。加えて、前記「画像複雑度生成手段」は、前記画像データの輝度成分の水平方向の画素差分の絶対値和と輝度成分の垂直方向の画素差分の絶対値和との積により前記アクティビティ値を算出することができる。
【００３５】
さらにまた、前記「再圧縮余裕度生成手段」は、前記量子化値の平均値と前記アクティビティ値との積の逆数を前記再圧縮余裕度として算出することができる。加えて、前記「再圧縮余裕度生成手段」は、前記量子化値の平均値と前記アクティビティ値との積を、少なくとも３つ以上の閾値で量子化した結果を前記再圧縮余裕度として算出することができる。
【００３６】
また、前記「符号量制御手段」は、前記再圧縮余裕度が第１の閾値より小さい値である場合に、前記符号化ストリームと同等の量子化値となるように符号量制御を行い前記再符号化ストリームを生成することができる。
一方、前記「符号量制御手段」は、前記再圧縮余裕度が第１の閾値より大きい第２の閾値より大きい値である場合に、予め設定される目標符号化レートに近づけるように符号量制御を行い前記再符号化ストリームを生成することができる。
他方、前記「符号量制御手段」は、前記再圧縮余裕度が第１の閾値より大きい第２の閾値より小さく前記第１の閾値より大きい値である場合に、予め設定される第１の目標符号化レートより大きい第２の目標符号化レートに目標符号化レートを再設定するとともに、前記第２の目標符号化レートに近づけるように符号量制御を行い前記再符号化ストリームを生成するものであることができる。
【００３７】
上述のような構成からなる装置は、概略つぎのように動作する。
先ず、入力される符号化画像ストリームＳ１は、デコード部１０により復号化処理されて画像データＳ２を出力する。この際、符号化画像ストリームＳ１に含まれる量子化値Ｓ３も出力される。さらに、画像データＳ２から、画面内符号化により符号化されていた画像フレーム（Ｉフレーム）を選択し、該画像フレーム（Ｉフレーム）の画像データを画像複雑度生成部４０に入力する。
【００３８】
次いで、画像データＳ２は、画像複雑度生成部４０により、水平方向の画素間差分値の二乗和と垂直方向の画素間差分値の二乗和の積が演算され、演算結果としてアクティビティＳ４を生成する。一方、量子化値Ｓ３に基づいて、量子化値平均部３０により、前記アクティビティＳ４の演算に使用したフレームを選択し、そのフレーム内の平均値を量子化平均値Ｓ５として算出する。
【００３９】
続いて、量子化平均値Ｓ５とアクティビティＳ４の値の積の逆数を、再圧縮余裕度生成部５０により演算し、再圧縮余裕度Ｓ６を生成出力する。そして、デコード部１０で復号化された画像データＳ２および再圧縮余裕度Ｓ６に基づいて、エンコード部２０により再圧縮時の符号量を制御する。
【００４０】
（処理手順について）
次に、上述のような構成を有する画像トランスコード装置における各部の処理は、方法としても実現可能であり、画像トランスコード方法としての各種の処理手順について、図２を参照しつつ説明する。
【００４１】
本実施の形態に係る画像トランスコード方法は、基本的構成として、コンピュータが符号化ストリームを復号化してデータを生成する復号化ステップ（例えば図２に示すステップＳ１０１など）と、コンピュータが前記符号化ストリーム、又は前記復号化ステップにて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御ステップ（例えば図２に示すステップＳ１０２〜ステップＳ１０４からなるステップ）と、コンピュータが前記復号化ステップにて復号化したデータについて前記再圧縮余裕度算出制御ステップにて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御ステップ（例えば図２に示すステップＳ１０５など）と、を含むことができる。
【００４２】
また、この画像トランスコード方法では、前記再圧縮余裕度算出制御ステップでは、コンピュータが符号化画像ストリーム中の画面内符号化された画像ストリームを復号化した画像データのアクティビティ値を算出する画像複雑度生成ステップ（例えば図２に示すステップＳ１０２など）と、コンピュータが前記画像データの量子化値の平均値である量子化平均値を算出する量子化値平均ステップ（例えば図２に示すステップＳ１０３など）と、コンピュータが前記画像複雑度生成ステップにて算出された前記アクティビティ値と前記量子化値平均ステップにて演算された前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成ステップ（例えば図２に示すステップＳ１０４など）とを行うことができる。  
【００４３】
より具体的には、先ず、コンピュータ（又はＣＰＵ）は、入力される符号化画像ストリームＳ１に復号化処理を施し画像データＳ２を出力するデコード処理を行う（ステップＳ１０１）＜デコード処理ステップないしはデコード処理機能＞。
このデコード処理では、入力される符号化画像ストリームＳ１に含まれる量子化値Ｓ３を出力する処理を行うこともできる。
さらに、デコード処理では、復号化された画像データＳ２から、画面内符号化により符号化されていた画像フレーム（Ｉフレーム）を選択する制御処理を行うこともできる。
【００４４】
次に、コンピュータ（又はＣＰＵ）は、画像データＳ２の水平方向の画素間差分値の二乗和と垂直方向の画素間差分値の二乗和の積を演算し、演算結果をアクティビティＳ４として出力する画像複雑度生成処理を行う（ステップＳ１０２）＜画像複雑度生成処理ステップないしは画像複雑度生成処理機能＞。
この画像複雑度生成処理では、算出されるアクティビティＳ４の値として、水平方向の差分値の絶対値和と垂直方向の差分値の絶対値和の積から算出することもできる。
【００４５】
続いて、コンピュータ（又はＣＰＵ）は、入力される量子化値Ｓ３から、前記アクティビティＳ４の演算に使用したフレームを選択し、そのフレーム内の平均値を、量子化平均値Ｓ５として算出し出力する量子化値平均算出処理を行う（ステップＳ１０３）＜量子化値平均算出処理ステップないしは量子化値平均算出処理機能＞。
【００４６】
この量子化値平均算出処理では、量子化平均値Ｓ５として、前記選択された画像データの１フレーム分の平均値に限らず、一のＩフレームから次のＩフレームまでのいわゆる１ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）分を合わせた、複数フレーム分の量子化値Ｓ３を平均した値として算出してもよい。
【００４７】
次に、コンピュータ（又はＣＰＵ）は、量子化平均値Ｓ５とアクティビティＳ４の値の積の逆数を、再圧縮余裕度Ｓ６として算出して出力する再圧縮余裕度生成処理を行う（ステップＳ１０４）＜再圧縮余裕度生成処理ステップないしは再圧縮余裕度生成処理機能＞。
この再圧縮余裕度生成処理では、量子化平均値Ｓ５とアクティビティＳ４の値の積を、少なくとも３つ以上の閾値で量子化した結果を算出し、再圧縮余裕度Ｓ６として出力してもよい。
【００４８】
次いで、コンピュータ（又はＣＰＵ）は、ステップＳ１０１のデコード処理ステップにて復号化された画像データＳ２と、ステップＳ１０４の再圧縮余裕度生成処理ステップにて算出された再圧縮余裕度Ｓ６とに基づいて、再圧縮時の符号量を制御するエンコード制御処理を行う（ステップＳ１０５）＜エンコード制御処理ステップないしはエンコード制御処理機能＞。
【００４９】
ここで、エンコード制御処理では、入力画像ストリームの符号量を削減するためにトランスコードを行う際、まず目標符号化レートを設定し、再圧縮余裕度Ｓ６が第一の閾値（ＴＨ１）より小さな値であれば、符号量を削減することにより主観的に耐えられない画質劣化を生じると判定し、元画像ストリームと同等の量子化値になるような符号量制御を行い、再圧縮後の画像ストリームが目標符号化レートに達さなくても良い。
【００５０】
また、エンコード制御処理では、再圧縮余裕度Ｓ６がＴＨ１より大きな値をとる第二の閾値（ＴＨ２）より大きな値であれば、主観的に画質劣化が判断されにくい画像データであると判定し、目標符号化レートに近づけるような符号量制御を行う。
【００５１】
更に、エンコード制御処理では、再圧縮余裕度Ｓ６がＴＨ１とＴＨ２との中間値である場合には、目標符号化レートの設定を予め設定された符号化レートより大きな値となる目標符号化レートに再設定した後、符号量制御を行う。
【００５２】
次に、再符号化された画像ストリームを特定の記憶領域に書き込んで記録する再符号化画像ストリーム記録処理を行う（ステップＳ１０６）＜再符号化画像ストリーム記録処理ステップないし再符号化画像ストリーム記録処理機能＞。  
【００５３】
ここで、前記ステップＳ１０２〜ステップＳ１０４からなるステップにより、本発明にいう「再圧縮余裕度算出制御ステップ」を構成することができる。また、ステップＳ１０１は、復号化ステップということができる。さらに、ステップＳ１０５は、符号量制御ステップということができる。また、ステップＳ１０２は、画像複雑度生成ステップということもできる。またさらに、ステップＳ１０３は、量子化値平均ステップということができる。さらに、ステップＳ１０４は、再圧縮余裕度生成ステップということとができる。
【００５４】
（第１の実施の形態の効果）
以上のように本実施の形態によれば、符号化された画像ストリームから画面内符号化された画像ストリームのアクティビティと、その画像ストリーム中の量子化値の平均値から再圧縮余裕度を算出し、再圧縮余裕度に従い目標符号量を設定することにより、著しい主観画質劣化を抑制することが可能となる。
【００５５】
ここで、ブロック図における一部の各ブロックは、コンピュータが適宜なメモリに格納された各種プログラムを実行することにより、該プログラムにより機能化された状態を示すソフトウエアモジュール構成であってもよい。
すなわち、物理的構成は例えば一又は複数のＣＰＵ（或いは一又は複数のＣＰＵと一又は複数のメモリ）等ではあるが、各部（回路・手段）によるソフトウエア構成は、プログラムの制御によってＣＰＵが発揮する複数の機能を、それぞれ複数の部（手段）による構成要素として表現したものである。
ＣＰＵがプログラムによって実行されている動的状態（プログラムを構成する各手順を実行している状態）を機能表現した場合、ＣＰＵ内に各部（手段）が構成されることになる。プログラムが実行されていない静的状態にあっては、各手段の構成を実現するプログラム全体（或いは各手段の構成に含まれるプログラム各部）は、メモリなどの記憶領域に記憶されている。
以上に示した各部（手段）の説明は、プログラムにより機能化されたコンピュータをプログラムの機能と共に説明したものと解釈することも出来るし、また、固有のハードウエアにより恒久的に機能化された複数の電子回路ブロックからなる装置を説明したものとも解釈することが出来ることは、当然である。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現でき、いずれかに限定されるものではない。  
【００５６】
［第２の実施の形態］
次に、本発明にかかる第２の実施の形態について、図３に基づいて説明する。以下には、前記第１の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図３は、本発明のデータトランスコード装置を画像トランスコード装置に適用した第２の実施の形態の一例を示すブロック図である。
【００５７】
上述の第１の実施の形態では、デコードされた画像データに基づいて画像複雑度を生成する構成としたが、本実施の形態では画像ストリームから縮小画像を生成しこの縮小画像に基づいて画像複雑度を生成する構成としている。
【００５８】
具体的には、本実施の形態の画像トランスコード装置１００は、図３に示すように、デコード部１１０と、エンコード部１２０と、縮小画像生成部１６０と、量子化値平均部１３０と、画像複雑度生成部１４０と、再圧縮余裕度生成部１５０とを含んで構成される。
【００５９】
デコード部１１０は、符号化画像ストリームＳ１が入力され、入力される符号化画像ストリームＳ１を、入力符号化フォーマットに従ってデコードし、画像データＳ２を出力する。
【００６０】
縮小画像生成部１６０は、符号化画像ストリームＳ１がデコード部１１０同様に入力される。
【００６１】
縮小画像生成部１６０では、入力される符号化画像ストリームＳ１から、画面内符号化手法により符号化された画像ストリームのＤＣＴ係数のＤＣ成分を縮小画像データＳ８として出力し、また、符号化画像ストリームＳ１に含まれる量子化値Ｓ３を出力する。
縮小画像データＳ８の生成手法に関しては、他の種々の手法を使用しても良い。
【００６２】
画像複雑度生成部１４０は、縮小画像データＳ８の水平方向の画素間の差分値の二乗和と垂直方向の画素間の差分値の二乗和の積を算出しアクティビティＳ４として出力する。  
また、画像複雑度生成部１４０にて算出されるアクティビティＳ４は、水平方向の差分値の絶対値和と垂直方向の差分値の絶対値和の積から求めることも可能である。
【００６３】
量子化値平均部１３０では、縮小画像生成時のＩフレーム画像データの量子化値の平均値を量子化平均値Ｓ５として出力しても良い。また、量子化値平均部１３０では、縮小画像を生成したＩフレームから次のＩフレームまでの１ＧＯＰ分にわたる複数フレームの量子化値の平均値を量子化平均値Ｓ５として出力しても良い。
【００６４】
再圧縮余裕度生成部１５０は、量子化平均値Ｓ５とアクティビティＳ４の積の逆数を再圧縮余裕度Ｓ６として出力する。
【００６５】
エンコード部１２０は、デコード部１１０で復号化された画像テータＳ２を再圧縮余裕度Ｓ６に従い符号量制御を行って再符号化画像ストリームＳ７を出力する。
【００６６】
図４は、第２の実施の形態における縮小画像生成部１６０の詳細構成を示すものである。
縮小画像生成部１６０は、ストリーム解析部１６２と、可変長復号部１６４とを備えている。
入力符号化画像ストリームＳ１は、ストリーム解析部１６２で、ヘッダ情報を検出し、符号化画像ストリームに従って可変長復号部１６４にて、それぞれのデータを復号し、量子化値Ｓ３及び直交変換係数の直流成分であるＤＣ成分を縮小画像データＳ８として出力する。
このとき、ＤＣ成分は、マクロブロック単位で出力されるため、縮小画像サイズに合わせて画像メモリを使用してライン方向の走査順に並べ替えを行っても良い。
【００６７】
ここで、本実施の形態の縮小画像生成部１６０、量子化値平均部１３０、画像複雑度生成部１４０、再圧縮余裕度生成部１５０により、本発明にいう「再圧縮余裕度算出制御手段」を構成することができる。また、デコード部１１０により本発明にいう「復号化手段」を構成することができる。さらに、エンコード部１２０により本発明にいう「符号量制御手段」を構成することができる。さらにまた、本実施の形態の縮小画像生成部１６０は、本発明にいう「縮小画像生成手段」ということもできる。また、本実施の形態の量子化値平均部１３０は、本発明にいう「量子化値平均手段」ということもできる。さらに、本実施の形態の画像複雑度生成部１４０は、本発明にいう「画像複雑度生成手段」ということもできる。さらにまた、本実施の形態の再圧縮余裕度生成部１５０は、本発明にいう「再圧縮余裕度生成手段」ということもできる。
【００６８】
この際、前記再圧縮余裕度算出制御手段は、符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成手段と、前記縮小画像のアクティビティ値を算出する画像複雑度生成手段と、前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均手段と、前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成手段とを含むことができる。
【００６９】
さらに、前記縮小画像生成手段は、前記符号化画像ストリームが画面内符号化及び画面間の相関を利用した予測符号化で構成され、前記画面内符号化された画像ストリームの直交変換係数の直流成分から縮小画像を生成することができる。また、前記量子化値平均手段は、画面内符号化及び画面間の相関を利用した予測符号化で構成されたブロックの量子化値の平均値を求めることができる。
【００７０】
またさらに、前記量子化値平均手段は、前記縮小画像の生成に使用した画面内符号化の前記画像ストリームから次の画面内符号化の前記画像ストリームまでの量子化値の平均値を算出することができる。
【００７１】
上述のような構成からなる装置は、概略つぎのように動作する。
先ず、入力される符号化画像ストリームＳ１は、デコード部１０により復号化処理されて画像データＳ２を出力する。一方、符号化画像ストリームＳ１は、縮小画像生成部１６０にも入力され、縮小画像データＳ８が生成される。この際、符号化画像ストリームＳ１に含まれる量子化値Ｓ３も縮小画像生成部１６０より出力される。
【００７２】
縮小画像データＳ８は、画像複雑度生成部１４０にて縮小画像データＳ８の水平方向の画素間の差分値の二乗和と垂直方向の画素間の差分値の二乗和の積が算出され、画像複雑度生成部１４０よりアクティビティＳ４として出力される。
一方、量子化値Ｓ３に基づいて、量子化値平均部１３０により、縮小画像生成時のＩフレーム画像データの量子化値の平均値を量子化平均値Ｓ５として算出する。
【００７３】
続いて、量子化平均値Ｓ５とアクティビティＳ４の値の積の逆数を、再圧縮余裕度生成部１５０により演算し、再圧縮余裕度Ｓ６を生成出力する。そして、デコード部１０で復号化された画像データＳ２および再圧縮余裕度Ｓ６に基づいて、エンコード部２０により再圧縮時の符号量を制御する。
【００７４】
（処理手順について）
次に、上述のような構成を有する画像トランスコード装置における各部の処理は、方法としても実現可能であり、画像トランスコード方法としての各種の処理手順について、図５を参照しつつ説明する。  
【００７５】
本実施の形態に係る画像トランスコード方法は、基本的構成として、コンピュータが符号化ストリームを復号化してデータを生成する復号化ステップ（例えば図５に示すステップＳ２０１など）と、コンピュータが前記符号化ストリーム、又は前記復号化ステップにて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御ステップ（例えば図５に示すステップＳ２０２〜ステップＳ２０５からなるステップ）と、コンピュータが前記復号化ステップにて復号化したデータについて前記再圧縮余裕度算出制御ステップにて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御ステップ（例えば図５に示すステップＳ２０６など）と、を含むことができる。
【００７６】
さらに、本実施の形態に係る画像トランスコード方法では、前記再圧縮余裕度算出制御ステップとして、コンピュータが符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成ステップ（例えば図５に示すステップＳ２０２など）と、コンピュータが前記縮小画像のアクティビティ値を算出する画像複雑度生成ステップ（例えば図５に示すステップＳ２０３など）と、コンピュータが前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均ステップ（例えば図５に示すステップＳ２０４など）と、コンピュータが前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成ステップ（例えば図５に示すステップＳ２０５など）と、を含むことができる。  
【００７７】
先ず、コンピュータ（又はＣＰＵ）は、入力される符号化画像ストリームＳ１を、入力符号化フォーマットに基づいてデコードし（復号化処理を行い）、画像データＳ２を出力するデコード処理を行う（ステップＳ２０１）＜デコード処理ステップないしはデコード処理機能＞。
【００７８】
一方、コンピュータ（又はＣＰＵ）は、デコードされる前の状態にある符号化画像ストリームＳ１から、画面内符号化手法により符号化された画像ストリームのＤＣＴ係数のＤＣ成分を縮小画像データＳ８として生成する縮小画像生成処理を行う（ステップＳ２０２）＜縮小画像生成処理ステップないしは縮小画像生成処理機能＞。  
この縮小画像生成処理ステップでは、符号化画像ストリームＳ１に含まれる量子化値Ｓ３を出力する処理を含めることもできる。
【００７９】
加えて、この縮小画像生成処理ステップでは、コンピュータ（又はＣＰＵ）は、入力される符号化画像ストリームＳ１のヘッダ情報を検出するストリーム解析処理ステップを行うこともできる。
【００８０】
さらに加えて、この縮小画像生成処理ステップでは、コンピュータ（又はＣＰＵ）は、前記ストリーム解析処理ステップにて検出されたヘッダ情報と、前記符号化画像ストリームとに従ってそれぞれのデータを復号し、量子化値Ｓ３及び直交変換係数の直流成分であるＤＣ成分を縮小画像データＳ８として出力する制御処理を行う可変長復号制御処理ステップを行うこともできる。
この可変長復号制御処理ステップでは、直交変換係数の直流成分であるＤＣ成分を、マクロブロック単位で出力し、縮小画像サイズに合わせて例えば画像メモリなどを使用してライン方向の走査順に並べ替え処理を行っても良い。
【００８１】
次に、コンピュータ（又はＣＰＵ）は、ステップＳ２０２の縮小画像生成処理ステップにて生成された縮小画像データＳ８の水平方向の画素間の差分値の二乗和と垂直方向の画素間の差分値の二乗和の積を算出し、この算出結果をアクティビティＳ４なる画像複雑度として生成する画像複雑度生成処理を行う（ステップＳ２０３）＜画像複雑度生成処理ステップないしは画像複雑度生成処理機能＞。  
この画像複雑度生成処理ステップでは、コンピュータ（又はＣＰＵ）が、縮小画像データＳ８の水平方向の差分値の絶対値和と垂直方向の差分値の絶対値和との積を算出し、この算出結果をアクティビティＳ４とすることもできる。
【００８２】
さらに、コンピュータ（又はＣＰＵ）は、ステップＳ２０２の縮小画像生成処理ステップにて生成された縮小画像データＳ８において縮小画像生成時のＩフレーム画像データの量子化値の平均値を算出し、この算出結果を量子化平均値Ｓ５として出力する量子化値平均算出処理を行う（ステップＳ２０４）＜量子化値平均算出処理ステップないしは量子化値平均算出処理機能＞。
この量子化値平均算出処理ステップでは、コンピュータ（又はＣＰＵ）が、ステップＳ２０２の縮小画像生成処理ステップにて生成された縮小画像データＳ８において、縮小画像を生成したＩフレームから次のＩフレームまでの１ＧＯＰ分にわたる複数フレームの量子化値の平均値を量子化平均値Ｓ５として出力しても良い。
【００８３】
次いで、コンピュータ（又はＣＰＵ）は、ステップＳ２０４の量子化値平均算出処理ステップにて算出された量子化平均値Ｓ５と、ステップＳ２０３の画像複雑度生成処理ステップにて算出されたアクティビティＳ４との積の逆数を算出し、この算出結果を再圧縮余裕度Ｓ６として出力する再圧縮余裕度生成処理を行う（ステップＳ２０５）＜再圧縮余裕度生成処理ステップないしは再圧縮余裕度生成処理機能＞。
【００８４】
続いて、コンピュータ（又はＣＰＵ）は、ステップＳ２０１のデコード処理ステップにて復号化された画像テータＳ２を、ステップＳ２０５の再圧縮余裕度生成処理ステップにて算出された再圧縮余裕度に基づいて再圧縮時の符号量を制御し、再符号化画像ストリームＳ７を出力するエンコード制御処理を行う（ステップＳ２０６）＜エンコード制御処理ステップないしはエンコード制御処理機能＞。
【００８５】
ここで、前記ステップＳ２０２〜ステップＳ２０４からなるステップにより、本発明にいう「再圧縮余裕度算出制御ステップ」を構成することができる。また、ステップＳ２０１は、復号化ステップということができる。さらに、ステップＳ２０６は、符号量制御ステップということができる。また、ステップＳ２０２は、縮小画像生成ステップということもできる。また、ステップＳ２０３は、画像複雑度生成ステップということもできる。またさらに、ステップＳ２０４は、量子化値平均ステップということができる。さらに、ステップＳ２０５は、再圧縮余裕度生成ステップということとができる。
【００８６】
以上のように本実施の形態によれば、前記第１の実施の形態と同様の作用効果を奏しながらも、符号化された画像ストリームから画面内符号化された画像ストリームのＤＣＴ係数のＤＣ成分を縮小画像とし、その縮小画像のアクティビティを算出し、アクティビティと量子化平均値から再圧縮余裕度を算出し、再圧縮余裕度に従い目標符号量を設定し、再圧縮を行うことにより、著しい主観画質劣化を抑制し、演算時間の短縮を行うことが可能となる。
【００８７】
この際、圧縮画像データを再符号化する際に圧縮画像データの縮小画像のアクティビティと量子化値を利用し主観画質劣化を最小限に抑えることができる。
【００８８】
その他の構成およびその他のステップ並びにその作用効果については、前述した第１の実施の形態の場合と同一となっている。また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素をプログラム化し、コンピュータに実行させてもよい。
【００８９】
［第３の実施の形態］
次に、本発明にかかる第３の実施の形態について、図６に基づいて説明する。以下には、前記第１の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図６は、本発明の第３の実施の形態による画像トランスコード装置の全体構成の一例を示すブロック図である。
【００９０】
上述の第２の実施の形態では、符号化画像ストリームを全て再符号化する構成としたが、本実施の形態では、再圧縮余裕度の高い符号化画像ストリームのみを再符号化するよう選択できる構成としている。
【００９１】
具体的には、本実施の形態の画像トランスコード装置２００は、図６に示すように、デコード部２１０と、エンコード部２２０と、縮小画像生成部２６０と、量子化値平均部２３０と、画像複雑度生成部２４０と、再圧縮余裕度生成部２５０と、装置制御部２９０と、録画データ記憶部２７０と、記録・再生切り替えスイッチ部２８４と、入力データ・再圧縮データ切り替えスイッチ部２８２と、含んで構成される。
【００９２】
記録・再生切り替えスイッチ部２８４は、スイッチ機能として、記録（第１モード）、再生（第２モード）を切り替え可能に構成してもよいし、記録（第１モード）・再生（第２モード）に加えて、記録（第１モード）、再生（第２モード）のいずれでもない状態（第３モード）に切り替え可能に構成してもよい。
【００９３】
入力データ・再圧縮データ切り替えスイッチ部２８２は、スイッチ機能として、入力（第１モード）、再圧縮（第２モード）を切り替え可能に構成してもよいし、入力（第１モード）・再圧縮（第２モード）に加えて、入力（第１モード）、再圧縮（第２モード）のいずれでもない状態（第３モード）に切り替え可能に構成してもよい。
【００９４】
録画データ記憶部２７０は、ハードディスクドライブ（ＨＤＤ）装置でも、光ディスク記録装置でも、半導体メモリであっても良い。
【００９５】
縮小画像生成部２６０は、入力符号化画像ストリームＳ１のストリーム解析を行い、画面内符号化画像（Ｉフレーム）のＤＣＴ係数のＤＣ成分より縮小画像データＳ８を出力し、更に、入力符号化画像ストリームＳ１に含まれる量子化値Ｓ３を出力する。縮小画像データＳ８は、録画データ記憶部２７０に、入力画像符号化ストリームＳ１と関連付けて記憶される。
【００９６】
画像複雑度生成部２４０は、縮小画像データＳ８から水平方向の画素差分の二乗和と垂直方向の画素差分の二乗和の積を演算し、アクティビティＳ４を生成する。ここで、アクティビティＳ４は、画面内の縮小画像の複雑度の指標である。このため、画像複雑度生成部２４０は、水平方向の画素差分の絶対値和と、垂直方向の画素差分の絶対値和の積としても良い。
【００９７】
量子化値平均部２３０は、縮小画像を生成したフレーム（Ｉフレーム）の量子化値を１画面分平均し量子化平均値Ｓ５として出力する。
【００９８】
また、量子化値平均部２３０は、縮小画像を生成したフレームから次に縮小画像を生成するフレームまでの１ＧＯＰ分の複数フレームの量子化値の平均値を量子化平均値Ｓ５はとしても良い。  
【００９９】
再圧縮余裕度生成部２５０は、量子化平均値Ｓ５とアクティビティＳ４の積の逆数を演算し再圧縮余裕度Ｓ６を出力し、録画データ記憶部２７０に入力符号化画像ストリームＳ１と関連付けて記憶される。
【０１００】
装置制御部２９０は、録画データ記憶部２７０の記録領域を確保するために、トランスコードを行う際に、再圧縮余裕度Ｓ６を再生し、再圧縮余裕度の高いコンテンツの順に符号化画像ストリームを選択する機能を含む。このとき、ユーザーの好みにより再圧縮余裕度の高いコンテンツであっても再符号化を行わないようにすることも可能である。また、装置制御部２９０は、再符号化のために選択された符号化画像ストリームＳ９を再生し、デコード部２１０に入力する。  
【０１０１】
デコード部２１０は、装置制御部２９０にて選択された符号化画像ストリームＳ９（選択符号化画像ストリーム）についてのみ、復号化処理を行い、画像データＳ２を出力する。
【０１０２】
エンコード部２２０は、デコード部２１０にて復号化された画像データＳ２を、装置制御部２９０からの目標符号量Ｓ１２に従い符号量の制御を行いつつ再符号化し、再符号化ストリームＳ７を出力する。
【０１０３】
装置制御部２９０は、再符号化ストリームＳ７を、入力データ・再圧縮データ記録切り替えスイッチ部２８２を介し録画データ記憶部２７０に記録する機能を含む。また、再符号化画像ストリームＳ７は、記録・再生切り替えスイッチ部２８４を介し縮小画像生成部２６０に入力され、入力符号化画像ストリームと同様の動作で再符号化画像の再圧縮余裕度Ｓ６及び縮小画像データＳ８を生成し、再符号化画像ストリームＳ７に関連付けて録画データ記憶部２７０に記録する機能を含む。
【０１０４】
ここで、本実施の形態の縮小画像生成部２６０、量子化値平均部２３０、画像複雑度生成部２４０、再圧縮余裕度生成部２５０、装置制御部２９０、入力データ・再圧縮データ記録切り替えスイッチ部２８２、記録・再生切り替えスイッチ部２８４により、本発明にいう「再圧縮余裕度算出制御手段」を構成することができる。また、デコード部２１０により本発明にいう「復号化手段」を構成することができる。さらに、エンコード部２２０により本発明にいう「符号量制御手段」を構成することができる。さらにまた、本実施の形態の縮小画像生成部２６０は、本発明にいう「縮小画像生成手段」ということもできる。また、本実施の形態の量子化値平均部２３０は、本発明にいう「量子化値平均手段」ということもできる。さらに、本実施の形態の画像複雑度生成部２４０は、本発明にいう「画像複雑度生成手段」ということもできる。さらにまた、本実施の形態の再圧縮余裕度生成部２５０は、本発明にいう「再圧縮余裕度生成手段」ということもできる。また、装置制御部２９０の機能として、「第１の画像ストリーム記録手段」、「第２の画像ストリーム記録手段」、「再圧縮余裕度記録手段」、「選択手段」を構成することができる。
【０１０５】
この際、前記再圧縮余裕度算出制御手段は、符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成手段と、前記縮小画像のアクティビティ値を算出する画像複雑度生成手段と、前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均手段と、前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成手段と、符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録手段と、前記第１の画像ストリーム記録手段にて記録した前記画像ストリームに関連付けした前記再圧縮余裕度を記録する処理を行う再圧縮余裕度記録手段と、前記再圧縮余裕度記録手段により複数記録された前記各再圧縮余裕度の前記各画像ストリームの中から前記再圧縮余裕度の大きな前記画像ストリームを選択する処理を行う選択手段と、を含むことができる。
【０１０６】
この場合、前記復号化手段は、前記選択手段にて選択処理した選択画像ストリームを再生し復号化することができる。また、前記符号量制御手段は、前記復号化手段にて復号化した選択画像データを前記再圧縮余裕度に基づいて符号量制御を行うとともに前記選択画像データの再符号化を行うことができる。
【０１０７】
また、第２の画像ストリーム記録手段は、前記再符号化制御手段にて再符号化した再符号化画像ストリームを記録する処理を行うことができる。この際、前記縮小画像生成手段は、前記再符号化画像ストリームに関する縮小画像を生成し、前記画像複雑度生成手段は、前記再符号化画像ストリームに関する縮小画像のアクティビティ値を算出し、前記量子化値平均手段は、前記再符号化画像ストリームに関する量子化平均値を演算し、前記再圧縮余裕度生成手段は、前記再符号化画像ストリームに関する前記アクティビティ値と前記再符号化画像ストリームに関する前記量子化平均値とに基づいて再圧縮余裕度を算出することができる。
【０１０８】
これらの各部は、それぞれ概略つぎのように動作する。  
【０１０９】
入力符号化画像ストリームＳ１は、入力データ・再圧縮データ切り替えスイッチ部２８４を介して録画データ記憶部２７０の特定の記憶領域（例えば入力符号化画像ストリーム記憶部など）に記憶される。
【０１１０】
また、同時に、入力符号化画像ストリームＳ１は、記録・再生切り替えスイッチ部２８４を介して縮小画像生成部２６０に入力される。
【０１１１】
縮小画像生成部２６０は、入力符号化画像ストリームＳ１のストリーム解析を行い、画面内符号化画像（Ｉフレーム）のＤＣＴ係数のＤＣ成分より縮小画像データＳ８を出力し、更に入力符号化画像ストリームＳ１に含まれる量子化値Ｓ３を出力する。
【０１１２】
縮小画像データＳ８は、録画データ記憶部２７０に、入力画像符号化ストリームＳ１と関連付けて記憶される。
【０１１３】
更に、縮小画像データＳ８から、画像複雑度生成部２４０にて水平方向の画素差分の二乗和と垂直方向の画素差分の二乗和の積を演算し、アクティビティＳ４を生成する。
【０１１４】
次に、量子化値Ｓ３は、量子化値平均部２３０にて縮小画像を生成したフレーム（Ｉフレーム）の量子化値を１画面分平均し量子化平均値Ｓ５として出力する。
【０１１５】
再圧縮余裕度生成部２５０では、量子化平均値Ｓ５とアクティビティＳ４の積の逆数を演算し再圧縮余裕度Ｓ６を出力し、録画データ記憶部２７０に入力符号化画像ストリームＳ１と関連付けて記憶される。
【０１１６】
録画データ記憶部２７０の記録領域を確保するために、トランスコードを行う際に、装置制御部２９０にて再圧縮余裕度Ｓ６を再生し、再圧縮余裕度の高いコンテンツの順に再符号化画像を選択する。
再符号化のために選択された符号化画像ストリームＳ９を再生し、デコード部２１０に入力し、復号化処理後画像データＳ２を出力する。
【０１１７】
画像データＳ２は、エンコード部２２０に入力され、装置制御部２９０より出力された目標符号量Ｓ１２に従い符号量制御を行い再符号化し、再符号化ストリームＳ７を入力データ・再圧縮データ記録切り替えスイッチ部２８２を介し録画データ記憶部２７０に記憶する。
【０１１８】
また、再符号化画像ストリームＳ７は、記録・再生切り替えスイッチ２８４を介し縮小画像生成部２６０に入力され、入力符号化画像ストリームと同様の動作で再符号化画像の再圧縮余裕度Ｓ６及び縮小画像データＳ８を生成し、再符号化画像ストリームＳ７に関連付けて録画データ記憶部２７０に記録する。    
【０１１９】
（処理手順について）
次に、上述のような構成を有する画像トランスコード装置における各部の処理は、方法としても実現可能であり、画像トランスコード方法としての各種の処理手順について、図７乃至図８を参照しつつ説明する。図７は、本発明の第３の実施の形態による画像トランスコード装置における処理手順の一例を示すフローチャートである。図８は、図７の続きの処理手順の一例を示すフローチャートである。
【０１２０】
本実施の形態に係る画像トランスコード方法は、基本的構成として、コンピュータが符号化ストリームを復号化してデータを生成する復号化ステップ（例えば図７に示すステップＳ３０８など）と、コンピュータが前記符号化ストリーム、又は前記復号化ステップにて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御ステップ（例えば図７に示すステップＳ３０１〜ステップＳ３０７、ステップＳ３１０〜ステップＳ３１６からなるステップ）と、コンピュータが前記復号化ステップにて復号化したデータについて前記再圧縮余裕度算出制御ステップにて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御ステップ（例えば図７に示すステップＳ３０９など）と、を含むことができる。
【０１２１】
さらに、本実施の形態に係る画像トランスコード方法では、前記再圧縮余裕度算出制御ステップとして、コンピュータが符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成ステップ（例えば図７に示すステップＳ３０２など）と、コンピュータが前記縮小画像生成ステップにて生成された前記縮小画像のアクティビティ値を算出する画像複雑度生成ステップ（例えば図７に示すステップＳ３０３など）と、コンピュータが前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を演算する量子化値平均ステップ（例えば図７に示すステップＳ３０４など）と、コンピュータが前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成ステップ（例えば図７に示すステップＳ３０５など）と、コンピュータが符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録ステップ（例えば図７に示すステップＳ３０１など）と、コンピュータが前記第１の画像ストリーム記録ステップにて記録した前記画像ストリームに関連付けした前記再圧縮余裕度を記録する処理を行う再圧縮余裕度記録ステップ（例えば図７に示すステップＳ３０６など）と、コンピュータが前記再圧縮余裕度記録ステップにより複数記録された前記各再圧縮余裕度の前記各画像ストリームの中から前記再圧縮余裕度の大きな前記画像ストリームを選択する処理を行う選択ステップ（例えば図７に示すステップＳ３０７など）と、を行うものである。
この場合、前記復号化ステップ（例えば図７に示すステップＳ３０８など）では、コンピュータが前記選択ステップにて選択した選択画像ストリームを再生し復号化する。
前記符号量制御ステップ（例えば図７に示すステップＳ３０９など）では、コンピュータが前記復号化ステップにて復号化した選択画像データを前記再圧縮余裕度に基づいて符号量制御を行うとともに前記選択画像データの再符号化を行う。
【０１２２】
先ず、図７に示すように、コンピュータ（又はＣＰＵ）は、入力される符号化画像ストリームＳ１を、録画データ記憶部２７０の特定の記憶領域（例えば入力符号化画像ストリーム記憶部など）に記憶することで、符号化画像ストリームＳ１を記録する符号化画像ストリーム記録処理を行う（ステップＳ３０１）＜符号化画像ストリーム記録処理ステップないしは符号化画像ストリーム記録処理機能＞。  
この符号化画像ストリーム記録処理ステップでは、予め符号化画像ストリームＳ１を記録しておくことによって、後述するように、全ての符号化画像ストリームＳ１をデコードするのではなく、全ての符号化画像ストリームＳ１の中から（例えば再圧縮余裕度の高いコンテンツのみの）符号化画像ストリームＳ９を選択し、その選択された符号化画像ストリームＳ９（選択符号化画像ストリーム）のみをデコードできるようにするために、前処理として行うものである。  
【０１２３】
更に、コンピュータ（又はＣＰＵ）は、入力符号化画像ストリームＳ１のストリーム解析を行い、画面内符号化画像（Ｉフレーム）のＤＣＴ係数のＤＣ成分により縮小画像データＳ８を生成する縮小画像生成処理を行う（ステップＳ３０２）＜縮小画像生成処理ステップないしは縮小画像生成処理機能＞。
この縮小画像生成処理ステップでは、コンピュータ（又はＣＰＵ）が、入力符号化画像ストリームＳ１に含まれる量子化値Ｓ３を出力する処理を含めることもできる。
【０１２４】
ここにおいて、縮小画像データＳ８は、入力画像符号化ストリームＳ１と関連付けて録画データ記憶部２７０の特定の記憶領域（例えば縮小画像データ記憶部など）に記憶することで、縮小画像データＳ８を記録する縮小画像データ記録処理を行う＜縮小画像データ記録処理ステップないしは縮小画像データ記録処理機能＞。
【０１２５】
次に、コンピュータ（又はＣＰＵ）は、ステップＳ３０２の縮小画像生成処理ステップにて生成された縮小画像データＳ８の水平方向の画素間の差分値の二乗和と垂直方向の画素間の差分値の二乗和の積を算出し、この算出結果をアクティビティＳ４なる画像複雑度として生成する画像複雑度生成処理を行う（ステップＳ３０３）＜画像複雑度生成処理ステップないしは画像複雑度生成処理機能＞。  
ここで、アクティビティとは、画面内の縮小画像の複雑度の指標をいう。このため、この画像複雑度生成処理ステップでは、コンピュータ（又はＣＰＵ）が、縮小画像データＳ８の水平方向の差分値の絶対値和と垂直方向の差分値の絶対値和との積を算出し、この算出結果をアクティビティＳ４とすることもできる。
【０１２６】
さらに、コンピュータ（又はＣＰＵ）は、ステップＳ３０２の縮小画像生成処理ステップにて生成された縮小画像データＳ８において縮小画像生成時のＩフレーム画像データの量子化値の平均値を算出し、この算出結果を量子化平均値Ｓ５として出力する量子化値平均算出処理を行う（ステップＳ３０４）＜量子化値平均算出処理ステップないしは量子化値平均算出処理機能＞。
この量子化値平均算出処理ステップでは、コンピュータ（又はＣＰＵ）が、ステップＳ３０２の縮小画像生成処理ステップにて生成された縮小画像データＳ８において、縮小画像を生成したＩフレームから次のＩフレームまでの１ＧＯＰ分にわたる複数フレームの量子化値の平均値を量子化平均値Ｓ５として出力しても良い。
【０１２７】
次いで、コンピュータ（又はＣＰＵ）は、ステップＳ３０４の量子化値平均算出処理ステップにて算出された量子化平均値Ｓ５と、ステップＳ３０３の画像複雑度生成処理ステップにて算出されたアクティビティＳ４との積の逆数を算出し、この算出結果を再圧縮余裕度Ｓ６として出力する再圧縮余裕度生成処理を行う（ステップＳ３０５）＜再圧縮余裕度生成処理ステップないしは再圧縮余裕度生成処理機能＞。
【０１２８】
そして、コンピュータ（又はＣＰＵ）は、ステップＳ３０５の再圧縮余裕度生成処理ステップにて算出された再圧縮余裕度Ｓ６を、入力符号化画像ストリームＳ１と関連付けて録画データ記憶部２７０の特定の記憶領域（例えば再圧縮余裕度記憶部など）に記憶することで、再圧縮余裕度Ｓ６を記録する再圧縮余裕度記録処理を行う（ステップＳ３０６）＜再圧縮余裕度記録処理ステップないしは再圧縮余裕度記録処理機能＞。  
【０１２９】
続いて、コンピュータ（又はＣＰＵ）は、録画データ記憶部２７０の記録領域（未使用記憶領域）を確保するためのトランスコードを行う際に、再圧縮余裕度Ｓ６を再生し、再圧縮余裕度の高いコンテンツの順に、録画データ記憶部２７０の符号化画像ストリームを再符号化の対象として選択制御する画像ストリーム選択処理を行う（ステップＳ３０７）＜画像ストリーム選択処理ステップないしは画像ストリーム選択処理機能＞。
この画像ストリーム選択処理ステップでは、ユーザーの好みに応じて、再圧縮余裕度の高いコンテンツであっても、再符号化を行わないように符号化画像ストリームの選択制御を行うことも可能である。
【０１３０】
次に、コンピュータ（又はＣＰＵ）は、ステップＳ３０７の画像ストリーム選択処理ステップにて選択された符号化画像ストリームＳ９（選択符号化画像ストリーム）を再生し、選択された符号化画像ストリームＳ９（選択符号化画像ストリーム）を、特定の符号化フォーマットに基づいてデコードし（復号化処理を行い）、画像データＳ２（選択画像データ）を出力する（選択符号化画像ストリーム）デコード処理を行う（ステップＳ３０８）＜（選択符号化画像ストリーム）デコード処理ステップないしは（選択符号化画像ストリーム）デコード処理機能＞。  
【０１３１】
そして、コンピュータ（又はＣＰＵ）は、ステップＳ３０８の（選択符号化画像ストリーム）デコード処理ステップにて復号化された画像データＳ２（選択画像データ）を、目標符号量Ｓ１２に基づいて符号量を制御しつつ再符号化処理を行い、再符号化画像ストリームＳ７を出力するエンコード制御処理を行う（ステップＳ３０９）＜エンコード制御処理ステップないしはエンコード制御処理機能＞。  
【０１３２】
さらに、コンピュータ（又はＣＰＵ）は、ステップＳ３０９のエンコード制御処理ステップにて再符号化された再符号化画像ストリームＳ７を、録画データ記憶部２７０の特定の記憶領域（例えば再符号化画像ストリーム記憶部など）に記憶することで、再符号化画像ストリームＳ７を記録する再符号化画像ストリーム記録処理を行う（ステップＳ３１０）＜再符号化画像ストリーム記録処理ステップないしは再符号化画像ストリーム記録処理機能＞。
【０１３３】
次に、図８に示すように、コンピュータ（又はＣＰＵ）は、再符号化画像ストリームＳ７についても、入力符号化画像ストリームＳ１と同様の処理を行う。
すなわち、先ず、コンピュータ（又はＣＰＵ）は、再符号化画像ストリームＳ７のストリーム解析を行い、再符号化画像ストリームＳ７の画面内符号化画像（Ｉフレーム）のＤＣＴ係数のＤＣ成分により再符号化画像ストリームＳ７に関する縮小画像データＳ８を生成する再符号化関連の縮小画像生成処理を行う（ステップＳ３１１）＜（再符号化関連）縮小画像生成処理ステップないしは（再符号化関連）縮小画像生成処理機能＞。
この（再符号化関連）縮小画像生成処理ステップでは、コンピュータ（又はＣＰＵ）が、再符号化画像ストリームＳ７に含まれる（再符号化関連の）量子化値Ｓ３を出力する処理を含めることもできる。
【０１３４】
次に、コンピュータ（又はＣＰＵ）は、ステップＳ３１１の（再符号化関連）縮小画像生成処理ステップにて生成された（再符号化関連の）縮小画像データＳ８の水平方向の画素間の差分値の二乗和と垂直方向の画素間の差分値の二乗和の積を算出し、この算出結果を（再符号化関連の）アクティビティＳ４なる画像複雑度として生成する（再符号化関連）画像複雑度生成処理を行う（ステップＳ３１２）＜（再符号化関連）画像複雑度生成処理ステップないしは（再符号化関連）画像複雑度生成処理機能＞。  
この（再符号化関連）画像複雑度生成処理ステップでは、コンピュータ（又はＣＰＵ）が、（再符号化関連の）縮小画像データＳ８の水平方向の差分値の絶対値和と垂直方向の差分値の絶対値和との積を算出し、この算出結果を（再符号化関連の）アクティビティＳ４とすることもできる。
【０１３５】
さらに、コンピュータ（又はＣＰＵ）は、ステップＳ３１２の（再符号化関連）縮小画像生成処理ステップにて生成された（再符号化関連の）縮小画像データＳ８において縮小画像生成時のＩフレーム画像データの量子化値の平均値を算出し、この算出結果を（再符号化関連の）量子化平均値Ｓ５として出力する（再符号化関連）量子化値平均算出処理を行う（ステップＳ３１３）＜（再符号化関連）量子化値平均算出処理ステップないしは（再符号化関連）量子化値平均算出処理機能＞。
この（再符号化関連）量子化値平均算出処理ステップでは、コンピュータ（又はＣＰＵ）が、ステップＳ３１１の（再符号化関連）縮小画像生成処理ステップにて生成された（再符号化関連の）縮小画像データＳ８において、縮小画像を生成したＩフレームから次のＩフレームまでの１ＧＯＰ分にわたる複数フレームの量子化値の平均値を（再符号化関連の）量子化平均値Ｓ５として出力しても良い。
【０１３６】
次いで、コンピュータ（又はＣＰＵ）は、ステップＳ３１３の（再符号化関連）量子化値平均算出処理ステップにて算出された（再符号化関連の）量子化平均値Ｓ５と、ステップＳ３１２の（再符号化関連）画像複雑度生成処理ステップにて算出された（再符号化関連の）アクティビティＳ４との積の逆数を算出し、この算出結果を（再符号化関連の）再圧縮余裕度Ｓ６として出力する（再符号化関連）再圧縮余裕度生成処理を行う（ステップＳ３１４）＜（再符号化関連）再圧縮余裕度生成処理ステップないしは（再符号化関連）再圧縮余裕度生成処理機能＞。
【０１３７】
そして、コンピュータ（又はＣＰＵ）は、ステップＳ３１４の（再符号化関連）再圧縮余裕度生成処理ステップにて算出された（再符号化関連の）再圧縮余裕度Ｓ６を、再符号化画像ストリームＳ７と関連付けて録画データ記憶部２７０の特定の記憶領域（例えば＜再符号化関連＞再圧縮余裕度記憶部など）に記憶することで、（再符号化関連の）再圧縮余裕度Ｓ６を記録する（再符号化関連）再圧縮余裕度記録処理を行う（ステップＳ３１５）＜（再符号化関連）再圧縮余裕度記録処理ステップないしは（再符号化関連）再圧縮余裕度記録処理機能＞。  
【０１３８】
また、これに関連して、（再符号化関連の）縮小画像データＳ８は、再符号化画像ストリームＳ７と関連付けて録画データ記憶部２７０の特定の記憶領域（例えば＜再符号化関連＞縮小画像データ記憶部など）に記憶することで、（再符号化関連の）縮小画像データＳ８を記録する（再符号化関連）縮小画像データ記録処理を行う（ステップＳ３１６）＜（再符号化関連）縮小画像データ記録処理ステップないしは（再符号化関連）縮小画像データ記録処理機能＞。
【０１３９】
このように、入力符号化画像ストリームと同様の動作で、再符号化画像の再圧縮余裕度Ｓ６及び縮小画像データＳ８を生成し、再符号化画像ストリームＳ７に関連付けて録画データ記憶部２７０に記録する。  
【０１４０】
ここで、前記ステップＳ３０１〜ステップＳ３０７、前記ステップＳ３１０〜ステップＳ３１６からなるステップにより、本発明にいう「再圧縮余裕度算出制御ステップ」を構成することができる。また、ステップＳ３０８は、復号化ステップということができる。さらに、ステップＳ３０９は、符号量制御ステップということができる。また、ステップＳ３０２は、縮小画像生成ステップということもできる。また、ステップＳ３０３は、画像複雑度生成ステップということもできる。またさらに、ステップＳ３０４は、量子化値平均ステップということができる。さらに、ステップＳ３０５は、再圧縮余裕度生成ステップということとができる。加えて、ステップＳ３０１は、第１の画像ストリーム記録ステップということとができる。また、ステップＳ３０６は、再圧縮余裕度記録ステップということとができる。さらに、ステップＳ３０７は、選択ステップということとができる。
【０１４１】
以上のように本実施の形態によれば、前記第１の実施の形態と同様の作用効果を奏しながらも、デジタル放送など符号化画像ストリームが入力され、それを記録する電子機器の一例である記録機器において、符号化画像ストリーム全体を復号化する事なく再圧縮余裕度を求め、符号化画像ストリームと関連付けて記録することが可能であり、記録容量が不足してきた場合に、再圧縮余裕度の高い画像ストリームから再圧縮を行うことにより、ユーザーに対し、主観画質を損なわないで新たに記録領域の確保が可能となる。    
【０１４２】
その他の構成およびその他のステップ並びにその作用効果については、前述した第１の実施の形態の場合と同一となっている。また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素をプログラム化し、コンピュータに実行させてもよい。
【０１４３】
［第４の実施の形態］
次に、本発明にかかる第４の実施の形態について、図９に基づいて説明する。以下には、前記第１の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図９は、本発明の第４の実施の形態による画像トランスコード装置の全体構成の一例を示すブロック図である。
【０１４４】
上述の第３の実施の形態では、再圧縮余裕度の高い符号化画像ストリームを選択後に再符号化画像ストリームの縮小画像を生成する構成としたが、本実施の形態では、量子化平均値及び縮小画像データを選択前に記録することで再圧縮余裕度の高い符号化画像ストリームの選択後の処理を簡略化する構成としている。
【０１４５】
具体的には、本実施の形態の画像トランスコード装置３００は、図９に示すように、デコード部３１０と、エンコード部３２０と、縮小画像生成部３６０と、量子化値平均部３３０と、画像複雑度生成部３４０と、再圧縮余裕度生成部３５０と、装置制御部３９０と、録画データ記憶部３７０と、記録・再生切り替えスイッチ部３８４と、入力データ・再圧縮データ切り替えスイッチ部３８２と、含んで構成される。
ここで、図９では、データの流れをわかりやすくするため、再符号化画像ストリームＳ７、量子化値Ｓ３−２などを分けて記載しているが、量子化値Ｓ３−２は、再符号化画像ストリームＳ７に含まれるものである。
【０１４６】
録画データ記憶部３７０は、ハードディスクドライブ（ＨＤＤ）装置でも、光ディスク記録装置でも、半導体メモリであっても良い。
【０１４７】
縮小画像生成部３６０は、入力符号化画像ストリームＳ１のストリーム解析を行い、画面内符号化画像（Ｉフレーム）のＤＣＴ係数のＤＣ成分より縮小画像データＳ８を出力し、入力符号化画像ストリームＳ１に含まれる量子化値Ｓ３を出力する。
縮小画像生成部３６０は、縮小画像データＳ８を入力画像符号化ストリームＳ１と関連付けて録画データ記憶部３７０に記憶することができる。
【０１４８】
量子化値平均部３３０は、縮小画像を生成したフレーム（Ｉフレーム）の量子化値を１画面分平均し量子化平均値Ｓ５―１として出力し、量子化平均値Ｓ５―１を記録・再生切り替えスイッチ部３８４を介し録画データ記憶部３７０に入力符号化画像ストリームＳ１と関連付けて記憶することができる。
【０１４９】
量子化値平均部３３０は、縮小画像を生成したフレームから次に縮小画像を生成するフレームまでの１ＧＯＰ分の複数フレームの量子化値の平均値を量子化平均値Ｓ５―１としても良い。
【０１５０】
装置制御部３９０は、録画データ記憶部３７０の記録領域を確保するために、トランスコードを行う際に、再生縮小画像データＳ８を再生する。
【０１５１】
画像複雑度生成部３４０は、再生された再生縮小画像データＳ８にて、水平方向の画素差分の二乗和と垂直方向の画素差分の二乗和の積を算出し、この算出結果をアクティビティＳ４として生成する。ここで、アクティビティＳ４は、画面内の縮小画像の複雑度の指標である。画像複雑度生成部３４０は、再生された再生縮小画像データＳ８にて、水平方向の画素差分の絶対値和と、垂直方向の画素差分の絶対値和の積を算出し、この算出結果をアクティビティＳ４として生成しても良い。
【０１５２】
装置制御部３９０は、再生量子化平均値Ｓ５を再生することもできる。
【０１５３】
再圧縮余裕度生成部３５０は、再生された再生量子化平均値Ｓ５と、アクティビティＳ４との積の逆数を算出し、この算出結果を再圧縮余裕度Ｓ６として出力する。
【０１５４】
装置制御部３９０は、再圧縮余裕度Ｓ６の高いコンテンツの順に再符号化画像ストリームＳ９を選択制御し、録画データ記憶部３７０より再生することができる。このとき、ユーザーの好みにより再圧縮余裕度の高いコンテンツであっても、再符号化画像ストリームとして再生しないようにすることも可能である。装置制御部３９０は、再符号化のために選択された符号化画像ストリームＳ９をデコード部３１０に入力する制御を行うことができる。
【０１５５】
デコード部３１０は、選択された再符号化画像ストリームＳ９のみデコード（復号化処理）し、画像データＳ２を出力する。
【０１５６】
エンコード部３２０は、画像データＳ２を、装置制御部３９０からの目標符号量Ｓ１２に従い符号量の制御を行いつつ再符号化する処理を行う。
【０１５７】
装置制御部３９０は、エンコード部３２０にて再符号化された再符号化ストリームＳ７を、入力データ・再圧縮データ記録切り替えスイッチ部３８２を介し、録画データ記憶部３７０に記憶する機能を含む。
【０１５８】
装置制御部３９０は、エンコード部３２０から出力される再符号化時の量子化値Ｓ３を、記録・再生切り替えスイッチ部１１を介し量子化値平均部３に入力する制御を行う。
装置制御部３９０は、再符号化時の量子化値Ｓ３に基づいて量子化値平均部３にて画面内符号化に使用したフレーム（Ｉフレーム）の量子化値を１画面分平均した演算結果である量子化平均値Ｓ５を、録画データ記憶部３７０に再符号化画像ストリームＳ７と関連付けて記憶する制御を行う機能を含む。
【０１５９】
量子化値平均部３は、再符号化ストリームＳ７について、Ｉフレームから次のＩフレームまでの１ＧＯＰ分の複数フレームの量子化値の平均値を量子化平均値Ｓ５としても良い。
【０１６０】
装置制御部３９０は、再圧縮に用いられた符号化画像ストリームの縮小画像データＳ８は、再符号化画像ストリームの縮小画像データＳ８として関連付けられ、録画データ記憶部３７０にそのまま記憶する制御を行う機能を含む。  
【０１６１】
記録・再生切り替えスイッチ部３８４は、スイッチ機能として、記録（第１モード）、再生（第２モード）を切り替え可能に構成してもよいし、記録（第１モード）・再生（第２モード）に加えて、記録（第１モード）、再生（第２モード）のいずれでもない状態（第３モード）に切り替え可能に構成してもよい。
【０１６２】
入力データ・再圧縮データ切り替えスイッチ部３８２は、スイッチ機能として、入力（第１モード）、再圧縮（第２モード）を切り替え可能に構成してもよいし、入力（第１モード）・再圧縮（第２モード）に加えて、入力（第１モード）、再圧縮（第２モード）のいずれでもない状態（第３モード）に切り替え可能に構成してもよい。
【０１６３】
ここで、本実施の形態の縮小画像生成部３６０、量子化値平均部３３０、画像複雑度生成部３４０、再圧縮余裕度生成部３５０、装置制御部３９０、入力データ・再圧縮データ記録切り替えスイッチ部３８２、記録・再生切り替えスイッチ部３８４により、本発明にいう「再圧縮余裕度算出制御手段」を構成することができる。また、デコード部３１０により本発明にいう「復号化手段」を構成することができる。さらに、エンコード部３２０により本発明にいう「符号量制御手段」を構成することができる。さらにまた、本実施の形態の縮小画像生成部３６０は、本発明にいう「縮小画像生成手段」ということもできる。また、本実施の形態の量子化値平均部３３０は、本発明にいう「量子化値平均手段」ということもできる。さらに、本実施の形態の画像複雑度生成部３４０は、本発明にいう「画像複雑度生成手段」ということもできる。さらにまた、本実施の形態の再圧縮余裕度生成部３５０は、本発明にいう「再圧縮余裕度生成手段」ということもできる。また、装置制御部３９０の機能として、「量子化値平均値記録手段」、「第１の画像ストリーム記録手段（符号化画像ストリームの記録）」、「第２の画像ストリーム記録手段（再符号化画像ストリームの記録）」を構成することができる。
【０１６４】
この際、前記再圧縮余裕度算出制御手段は、符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成手段と、前記縮小画像のアクティビティ値を算出する画像複雑度生成手段と、前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均手段と、前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成手段と、符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録手段と、前記第１の画像ストリーム記録手段にて記録した前記画像ストリームに関連付けした前記縮小画像と前記量子化値の平均値を記録する処理を行う量子化値平均値記録手段と、を含むことができる。
【０１６５】
この場合、前記画像複雑度生成手段は、前記量子化値平均値記録手段により記録された前記縮小画像を再生しアクティビティ値を算出することができる、また、前記再圧縮余裕度生成手段は、前記縮小画像と関連付けられている量子化値の平均値とアクティビティ値とに基づいて再圧縮余裕度を算出することができる。
【０１６６】
また、前記符号量制御手段は、再符号化時の前記再符号化画像ストリームに関する量子化値を出力し、前記量子化値平均手段は、出力された前記量子化値に基づいて前記再符号化画像ストリームに関する量子化平均値を算出し、前記量子化値平均値記録手段は、前記再符号化画像ストリームに関連付けて前記量子化平均値を記録する処理を行うこともできる。
【０１６７】
これらの各部は、それぞれ概略つぎのように動作する。  
先ず、入力符号化画像ストリームＳ１は、入力データ・再圧縮データ切り替えスイッチ部１２を介して録画データ記憶部３７０に記憶される。また、同時に、入力符号化画像ストリームＳ１は、縮小画像生成部３６０に入力される。
【０１６８】
続いて、縮小画像生成部３６０では、入力符号化画像ストリームＳ１のストリーム解析を行い、画面内符号化画像（Ｉフレーム）のＤＣＴ係数のＤＣ成分より縮小画像データＳ８を出力し、入力符号化画像ストリームＳ１に含まれる量子化値Ｓ３を出力する。縮小画像データＳ８は、録画データ記憶部３７０に、入力画像符号化ストリームＳ１と関連付けて記憶される。
【０１６９】
量子化値Ｓ３は、記録・再生切り替えスイッチ部３８４を介し、量子化値平均部３３０にて縮小画像を生成したフレーム（Ｉフレーム）の量子化値を１画面分平均し量子化平均値Ｓ５―１として出力し、録画データ記憶部３７０に入力符号化画像ストリームＳ１と関連付けて記憶される。
【０１７０】
次に、録画データ記憶部３７０の記録領域を確保するために、トランスコードを行う際に、装置制御部３９０にて再生縮小画像データＳ８を再生し、画像複雑度生成部３４０にて水平方向の画素差分の二乗和と垂直方向の画素差分の二乗和の積を演算し、アクティビティＳ４を生成する。
【０１７１】
また、同時に、装置制御部３９０は、再生量子化平均値Ｓ５を再生し、再圧縮余裕度生成部３５０にて、再生量子化平均値Ｓ５とアクティビティＳ４の積の逆数を演算し再圧縮余裕度Ｓ６を出力し、再圧縮余裕度Ｓ６を算出する。  
【０１７２】
装置制御部３９０では、再圧縮余裕度Ｓ６の高いコンテンツの順に再符号化画像ストリームＳ９を選択し録画データ記憶部３７０より再生する。再符号化のために選択された符号化画像ストリームＳ９をデコード部３１０に入力し、復号化処理後画像データＳ２を出力する。
【０１７３】
画像データＳ２は、エンコード部３２０に入力され、装置制御部３９０より出力された目標符号量Ｓ１２に従い符号量制御を行い再符号化し、再符号化ストリームＳ７を入力データ・再圧縮データ記録切り替えスイッチ部３８２を介し録画データ記憶部３７０に記憶する。
【０１７４】
また、エンコード部３２０では、符号化時の量子化値Ｓ３を出力し、記録・再生切り替えスイッチ部１１を介し、量子化値平均部３にて画面内符号化に使用したフレーム（Ｉフレーム）の量子化値を１画面分平均し量子化平均値Ｓ５として出力し、録画データ記憶部３７０に再符号化画像ストリームＳ７と関連付けて記憶される。
【０１７５】
このとき、再圧縮に用いられた符号化画像ストリームの縮小画像データＳ８は、再符号化画像ストリームの縮小画像データＳ８として関連付けられ、録画データ記憶部３７０にそのまま記憶される。  
【０１７６】
（処理手順について）
次に、上述のような構成を有する画像トランスコード装置における各部の処理は、方法としても実現可能であり、画像トランスコード方法としての各種の処理手順について、図１０乃至図１１を参照しつつ説明する。図１０は、本発明の第４の実施の形態による画像トランスコード装置における処理手順の一例を示すフローチャートである。図１１は、図１０の続きの処理手順の一例を示すフローチャートである。
【０１７７】
本実施の形態に係る画像トランスコード方法は、基本的構成として、コンピュータが符号化ストリームを復号化してデータを生成する復号化ステップ（例えば図１０に示すステップＳ４１１など）と、コンピュータが前記符号化ストリーム、又は前記復号化ステップにて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御ステップ（例えば図１０に示すステップＳ４０１〜ステップＳ４１０、ステップＳ４１３〜ステップＳ４１６からなるステップ）と、コンピュータが前記復号化ステップにて復号化したデータについて前記再圧縮余裕度算出制御ステップにて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御ステップ（例えば図１０に示すステップＳ４１２など）と、を含むことができる。
【０１７８】
さらに、本実施の形態に係る画像トランスコード方法では、前記再圧縮余裕度算出制御ステップでは、コンピュータが、符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成ステップ（例えば図１０に示すステップＳ４０２など）と、コンピュータが前記縮小画像のアクティビティ値を算出する画像複雑度生成ステップ（例えば図１０に示すステップＳ４０７など）と、コンピュータが前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均ステップ（例えば図１０に示すステップＳ４０３など）と、コンピュータが前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成ステップ（例えば図１０に示すステップＳ４０９など）と、コンピュータが符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録ステップ（例えば図１０に示すステップＳ４０１など）と、コンピュータが前記第１の画像ストリーム記録ステップにて記録した前記画像ストリームに関連付けした前記縮小画像と前記量子化値の平均値を記録する処理を行う量子化値平均値記録ステップ（例えば図１０に示すステップＳ４０５など）とを行うものである。
この場合、前記画像複雑度生成ステップ（例えば図１０に示すステップＳ４０７など）では、コンピュータが前記量子化値平均値記録ステップにより記録された前記縮小画像を再生しアクティビティ値を算出する。
前記再圧縮余裕度生成ステップ（例えば図１０に示すステップＳ４０９など）では、コンピュータが前記縮小画像と関連付けられている量子化値の平均値とアクティビティ値とに基づいて再圧縮余裕度を算出する。
【０１７９】
先ず、図１０に示すように、コンピュータ（又はＣＰＵ）は、入力される符号化画像ストリームＳ１を、録画データ記憶部２７０の特定の記憶領域（例えば入力符号化画像ストリーム記憶部など）に記憶することで、符号化画像ストリームＳ１を記録する符号化画像ストリーム記録処理を行う（ステップＳ４０１）＜符号化画像ストリーム記録処理ステップないしは符号化画像ストリーム記録処理機能＞。  
この符号化画像ストリーム記録処理ステップでは、予め符号化画像ストリームＳ１を記録しておくことによって、後述するように、全ての符号化画像ストリームＳ１をデコードするのではなく、全ての符号化画像ストリームＳ１の中から（例えば再圧縮余裕度の高いコンテンツのみの）符号化画像ストリームＳ９を選択し、その選択された符号化画像ストリームＳ９（選択符号化画像ストリーム）のみをデコードできるようにするために、前処理として行うものである。  
【０１８０】
更に、コンピュータ（又はＣＰＵ）は、入力符号化画像ストリームＳ１のストリーム解析を行い、画面内符号化画像（Ｉフレーム）のＤＣＴ係数のＤＣ成分により縮小画像データＳ８を生成する縮小画像生成処理を行う（ステップＳ４０２）＜縮小画像生成処理ステップないしは縮小画像生成処理機能＞。
この縮小画像生成処理ステップでは、コンピュータ（又はＣＰＵ）が、入力符号化画像ストリームＳ１に含まれる量子化値Ｓ３を出力する処理を含めることもできる。
【０１８１】
次に、コンピュータ（又はＣＰＵ）は、ステップＳ４０２の縮小画像生成処理ステップにて生成された縮小画像データＳ８―１において縮小画像生成時のＩフレーム画像データの量子化値を１画面分平均した平均値を算出し、この算出結果を量子化平均値Ｓ５―１として出力する量子化値平均算出処理を行う（ステップＳ４０３）＜量子化値平均算出処理ステップないしは量子化値平均算出処理機能＞。
この量子化値平均算出処理ステップでは、コンピュータ（又はＣＰＵ）が、ステップＳ４０２の縮小画像生成処理ステップにて生成された縮小画像データＳ８―１において、縮小画像を生成したＩフレームから次のＩフレームまでの１ＧＯＰ分にわたる複数フレームの量子化値の平均値を量子化平均値Ｓ５―１として出力しても良い。  
【０１８２】
ここで、コンピュータ（又はＣＰＵ）が、ステップＳ４０２の縮小画像生成処理ステップにて生成された縮小画像データＳ８―１を、入力画像符号化ストリームＳ１と関連付けて録画データ記憶部２７０の特定の記憶領域（例えば縮小画像データ記憶部など）に記憶することで、縮小画像データＳ８―１を記録する縮小画像データ記録処理を行ってもよい（ステップＳ４０４）＜縮小画像データ記録処理ステップないしは縮小画像データ記録処理機能＞。  
【０１８３】
さらに、コンピュータ（又はＣＰＵ）は、ステップＳ４０３の量子化値平均算出処理ステップにて生成された量子化平均値Ｓ５―１を、入力画像符号化ストリームＳ１と関連付けて録画データ記憶部２７０の特定の記憶領域（例えば量子化平均値記憶部など）に記憶することで、量子化平均値Ｓ５―１を記録する量子化平均値記録処理を行ってもよい（ステップＳ４０５）＜量子化平均値記録処理ステップないしは量子化平均値記録処理機能＞。  
【０１８４】
次に、コンピュータ（又はＣＰＵ）は、録画データ記憶部２７０の記録領域（未使用記憶領域）を確保するためのトランスコードを行う際に、録画データ記憶部２７０に記録された縮小画像データＳ８―１を再生して、再生縮小画像データＳ８―２を生成する再生縮小画像データ生成処理を行う（ステップＳ４０６）＜再生縮小画像データ生成処理ステップないしは再生縮小画像データ生成処理機能＞。  
【０１８５】
次いで、コンピュータ（又はＣＰＵ）は、ステップＳ４０６の再生縮小画像データ生成処理ステップにて生成された、再生縮小画像データＳ８―２の水平方向の画素間の差分値の二乗和と垂直方向の画素間の差分値の二乗和の積を算出し、この算出結果をアクティビティＳ４なる画像複雑度として生成する画像複雑度生成処理を行う（ステップＳ４０７）＜画像複雑度生成処理ステップないしは画像複雑度生成処理機能＞。  
この画像複雑度生成処理ステップでは、コンピュータ（又はＣＰＵ）が、再生縮小画像データＳ８―２の水平方向の差分値の絶対値和と垂直方向の差分値の絶対値和との積を算出し、この算出結果をアクティビティＳ４とすることもできる。
【０１８６】
さらに、コンピュータ（又はＣＰＵ）は、録画データ記憶部２７０に記録された量子化平均値Ｓ５―１を再生して、再生量子化平均値Ｓ５―２を生成する再生量子化平均値生成処理を行う（ステップＳ４０８）＜再生量子化平均値生成処理ステップないしは再生量子化平均値生成処理機能＞。  
【０１８７】
続いて、コンピュータ（又はＣＰＵ）は、ステップＳ４０８の再生量子化平均値生成処理ステップにて再生された再生量子化平均値Ｓ５―２と、ステップＳ４０７の画像複雑度生成処理ステップにて算出されたアクティビティＳ４との積の逆数を算出し、この算出結果を再圧縮余裕度Ｓ６として出力する再圧縮余裕度生成処理を行う（ステップＳ４０９）＜再圧縮余裕度生成処理ステップないしは再圧縮余裕度生成処理機能＞。    
【０１８８】
ここで、コンピュータ（又はＣＰＵ）は、ステップＳ４０９の再圧縮余裕度生成処理ステップにて算出された再圧縮余裕度Ｓ６を、入力符号化画像ストリームＳ１と関連付けて録画データ記憶部２７０の特定の記憶領域（例えば再圧縮余裕度記憶部など）に記憶することで、再圧縮余裕度Ｓ６を記録する再圧縮余裕度記録処理を行うこともできる＜再圧縮余裕度記録処理ステップないしは再圧縮余裕度記録処理機能＞。  
【０１８９】
続いて、コンピュータ（又はＣＰＵ）は、再圧縮余裕度の高いコンテンツの順に、録画データ記憶部２７０の符号化画像ストリームを再符号化の対象として選択制御する画像ストリーム選択処理を行う（ステップＳ４１０）＜画像ストリーム選択処理ステップ＞。
この画像ストリーム選択処理ステップでは、ユーザーの好みに応じて、再圧縮余裕度の高いコンテンツであっても、再符号化を行わないように符号化画像ストリームの選択制御を行うことも可能である。
【０１９０】
次に、コンピュータ（又はＣＰＵ）は、ステップＳ４１０の画像ストリーム選択処理ステップにて選択された符号化画像ストリームＳ９（選択符号化画像ストリーム）を再生し、選択された符号化画像ストリームＳ９（選択符号化画像ストリーム）を、特定の符号化フォーマットに基づいてデコードし（復号化処理を行い）、画像データＳ２（選択画像データ）を出力する（選択符号化画像ストリーム）デコード処理を行う（ステップＳ４１１）＜（選択符号化画像ストリーム）デコード処理ステップないしは（選択符号化画像ストリーム）デコード処理機能＞。  
【０１９１】
そして、コンピュータ（又はＣＰＵ）は、ステップＳ４１０の（選択符号化画像ストリーム）デコード処理ステップにて復号化された画像データＳ２（選択画像データ）を、目標符号量Ｓ１２に基づいて符号量を制御しつつ再符号化処理を行い、再符号化画像ストリームＳ７を出力するエンコード制御処理を行う（ステップＳ４１２）＜エンコード制御処理ステップないしはエンコード制御処理機能＞。  
【０１９２】
さらに、コンピュータ（又はＣＰＵ）は、ステップＳ４１２のエンコード制御処理ステップにて再符号化された再符号化画像ストリームＳ７を、録画データ記憶部２７０の特定の記憶領域（例えば再符号化画像ストリーム記憶部など）に記憶することで、再符号化画像ストリームＳ７を記録する再符号化画像ストリーム記録処理を行う（ステップＳ４１３）＜再符号化画像ストリーム記録処理ステップないしは再符号化画像ストリーム記録処理機能＞。
【０１９３】
次に、図１１に示すように、コンピュータ（又はＣＰＵ）は、ステップＳ４１２のエンコード制御処理ステップにて再符号化された再符号化画像ストリームＳ７に含まれる再符号化時の（再符号化関連の）量子化値Ｓ３―２を出力する（再符号化関連）量子化値出力処理を行う（ステップＳ４１４）＜（再符号化関連）量子化値出力処理ステップないしは（再符号化関連）量子化値出力処理機能＞。
【０１９４】
続いて、コンピュータ（又はＣＰＵ）は、再符号化画像ストリームＳ７において、画面内符号化に使用したＩフレーム画像データの量子化値を１画面分平均した平均値を算出し、この算出結果を（再符号化関連の）量子化平均値Ｓ５―１として出力する（再符号化関連）量子化値平均算出処理を行う（ステップＳ４１５）＜（再符号化関連）量子化値平均算出処理ステップないしは（再符号化関連）量子化値平均算出処理機能＞。
この（再符号化関連）量子化値平均算出処理ステップでは、コンピュータ（又はＣＰＵ）が、再符号化画像ストリームＳ７において、Ｉフレームから次のＩフレームまでの１ＧＯＰ分にわたる複数フレームの量子化値の平均値を（再符号化関連の）量子化平均値Ｓ５―１として出力しても良い。  
【０１９５】
そして、コンピュータ（又はＣＰＵ）は、ステップＳ４１５の（再符号化関連）量子化値平均算出処理ステップにて算出された（再符号化関連の）量子化平均値Ｓ５―１を、再符号化画像ストリームＳ７と関連付けて録画データ記憶部３７０の特定の記憶領域（例えば（再符号化関連）量子化平均値記憶部など）に記憶することで、（再符号化関連の）量子化平均値Ｓ５―１を記録する（再符号化関連）量子化平均値記録処理を行う（ステップＳ４１６）＜（再符号化関連）量子化平均値記録処理ステップないしは（再符号化関連）量子化平均値記録処理機能＞。  
【０１９６】
ここで、例えば、ステップＳ４１５の（再符号化関連）量子化値平均算出処理ステップなどにおいて、再圧縮（再符号化）に用いられた再符号化画像ストリームの縮小画像データＳ８は、再符号化画像ストリームの（再符号化関連）縮小画像データＳ８として関連付けられ、録画データ記憶部３７０にそのまま記憶する処理を行う。
【０１９７】
ここで、前記ステップＳ４０１〜ステップＳ４１０、前記ステップＳ４１３〜ステップＳ４１６からなるステップにより、本発明にいう「再圧縮余裕度算出制御ステップ」を構成することができる。また、ステップＳ４１１は、復号化ステップということができる。さらに、ステップＳ４１２は、符号量制御ステップということができる。また、ステップＳ４０２は、縮小画像生成ステップということもできる。また、ステップＳ４０７は、画像複雑度生成ステップということもできる。またさらに、ステップＳ４０３は、量子化値平均ステップということができる。さらに、ステップＳ４０９は、再圧縮余裕度生成ステップということとができる。加えて、ステップＳ４０１は、第１の画像ストリーム記録ステップということとができる。また、ステップＳ４０５は、量子化値平均値記録ステップということとができる。さらに、ステップＳ４１０は、選択ステップということとができる。
【０１９８】
以上のように本実施の形態によれば、前記第１の実施の形態と同様の作用効果を奏しながらも、デジタル放送など符号化画像ストリームが入力され、それを記録する記録機器において、符号化画像ストリーム全体を復号化する事なく再圧縮余裕度を求め、符号化画像ストリームと関連付けて記録することが可能であり、記録容量が不足してきた場合に、再圧縮余裕度の高い画像ストリームから再圧縮を行うことにより、ユーザーに対し、主観画質を損なわないで新たに記録領域の確保が可能となる。
【０１９９】
加えて、再符号化画像ストリームについては、前記第３の実施の形態のように（再符号化関連の）画像複雑度の生成、（再符号化関連の）再圧縮余裕度の生成などの処理が不要となり、（再符号化関連）量子化値平均算出処理のみを行えばよいので、再圧縮処理、記録処理における処理速度の高速化を図ることができる。
【０２００】
その他の構成およびその他のステップ並びにその作用効果については、前述した第１の実施の形態の場合と同一となっている。また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素をプログラム化し、コンピュータに実行させてもよい。
【０２０１】
[各種変形例]
また、本発明にかかる装置及び方法は、そのいくつかの特定の実施の形態に従って説明してきたが、本発明の主旨および範囲から逸脱することなく本発明の本文に記述した実施の形態に対して種々の変形が可能である。
【０２０２】
例えば、上述の第１の実施の形態では、デコード処理ステップの後において、画像複雑度生成処理ステップの後に、量子化平均値算出処理ステップを行う処理手順の例を示したが、例えば図１２に示すように、デコード処理の後において、量子化平均値算出処理ステップの後に、画像複雑度生成処理ステップを行うようにしてもよい。
具体的には、図１２に示すように、トランスコード方法において、デコード処理（ステップＳ５０１）を行い、量子化平均値算出処理（ステップＳ５０２）を行い、画像複雑度生成処理（ステップＳ５０３）を行い、再圧縮余裕度生成処理（ステップＳ５０４）を行い、エンコード制御処理（ステップＳ５０５）を行い、再符号化画像ストリーム記録処理（ステップＳ５０６）を行うこともできる。
【０２０３】
また、上述の第２の実施の形態では、縮小画像生成処理ステップの後において、画像複雑度生成処理ステップの後に、量子化平均値算出処理ステップを行う処理手順の例を示したが、例えば図１３に示すように、縮小画像生成処理ステップの後において、量子化平均値算出処理ステップの後に、画像複雑度生成処理ステップを行うようにしてもよい。
具体的には、図１３に示すように、トランスコード方法において、デコード処理（ステップＳ６０１）を行い、縮小画像生成処理（ステップＳ６０２）を行い、量子化平均値算出処理（ステップＳ６０３）を行い、画像複雑度生成処理（ステップＳ６０４）を行い、再圧縮余裕度生成処理（ステップＳ６０５）を行い、エンコード制御処理（ステップＳ６０６）を行い、再符号化画像ストリーム記録処理（ステップＳ６０７）を行うこともできる。
【０２０４】
さらに、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。
【０２０５】
また、再圧縮余裕度としては、前記実施の形態の例に限らず、量子化平均値とアクティビティとの値とに基づいて行われる種々の演算であってもよい。例えば、量子化平均値とアクティビティとの値の積であってもよいし、量子化平均値とアクティビティとの値の和であってもよいし、量子化平均値とアクティビティとの値の比であってもよいし、量子化平均値とアクティビティとの値の差であってもよいし、これらの逆数であってもよいし、さらに他の種々の演算を施した指標であってもよい。
【０２０６】
また、再圧縮余裕度は、量子化平均値とアクティビティの値の積を、３つの閾値（第１の再圧縮余裕度閾値、第２の再圧縮余裕度閾値、第３の再圧縮余裕度閾値）で量子化した結果として出力する場合に限らず、３つ以上の各閾値で量子化した結果として出力する場合であってもよい。
【０２０７】
ここで、上述した各実施の形態に係る画像トランスコード装置は、各種の電子機器に用いることができる。電子機器の例としては、放送受信装置などのテレビ、コンピュータなどの各種情報処理装置や、録画装置、情報記録再生装置、ディジタルスチルカメラ、各種情報通信機能を搭載した家電機器、ゲーム機器、携帯音楽プレーヤ、各種記録装置、カーナビゲーション装置、各種モバイル端末、ＰＤＡ、携帯電話機、ウエアラブル情報端末、ＰＮＤ、ＰＭＰなどのポータブル機器など各種の電気製品を含んでよい。  
【０２０８】
（プログラム）
また、前述した実施形態の機能を実現する本発明のソフトウエアのプログラムは、前述した各実施の形態における各種ブロック図などに示された処理部（処理手段）、機能などに対応したプログラムや、フローチャートなどに示された処理手順、処理手段、機能などに対応したプログラムなどにおいて各々処理される各処理プログラム、本明細書で全般的に記述される方法（ステップ）、説明された処理、データ（符号化画像ストリームに対応づけられた再圧縮余裕度情報など）の全体もしくは各部を含む。
【０２０９】
具体的には、本発明のプログラムは、コンピュータが実行可能なプログラムであって、符号化ストリームを復号化してデータを生成する復号化機能と、前記符号化ストリーム、又は前記復号化機能にて復号化したデータ、に基づいて再圧縮余裕度を算出する制御を行う再圧縮余裕度算出制御機能と、前記復号化機能にて復号化したデータについて前記再圧縮余裕度算出制御機能にて算出された前記再圧縮余裕度に基づいて符号量制御を行うとともに、前記データを再符号化して再符号化ストリームを生成する符号量制御機能と、を含む機能をコンピュータに実行させることができる。
【０２１０】
また、このプログラムでは、前記再圧縮余裕度算出制御機能は、符号化画像ストリーム中の画面内符号化された画像ストリームを復号化した画像データのアクティビティ値を算出する画像複雑度生成機能と、前記画像データの量子化値の平均値である量子化平均値を算出する量子化値平均機能と、前記画像複雑度生成機能にて算出された前記アクティビティ値と前記量子化値平均機能にて演算された前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成機能と、を含むことができる。
【０２１１】
さらに、このプログラムでは、前記再圧縮余裕度算出制御機能は、符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成機能と、前記縮小画像のアクティビティ値を算出する画像複雑度生成機能と、前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均機能と、前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成機能と、を含むことができる。
【０２１２】
また、このプログラムでは、前記再圧縮余裕度算出制御機能は、符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成機能と、前記縮小画像生成機能にて生成された前記縮小画像のアクティビティ値を算出する画像複雑度生成機能と、前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を演算する量子化値平均機能と、前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成機能と、符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録機能と、前記第１の画像ストリーム記録機能にて記録した前記画像ストリームに関連付けした前記再圧縮余裕度を記録する処理を行う再圧縮余裕度記録機能と、前記再圧縮余裕度記録機能により複数記録された前記各再圧縮余裕度の前記各画像ストリームの中から前記再圧縮余裕度の大きな前記画像ストリームを選択する処理を行う選択機能と、を含む機能をコンピュータに実行させることができる。
【０２１３】
この場合、前記復号化機能では、前記選択機能にて選択した選択画像ストリームを再生し復号化し、前記符号量制御機能では、前記復号化機能にて復号化した選択画像データを前記再圧縮余裕度に基づいて符号量制御を行うとともに前記選択画像データの再符号化を行うことができる。
【０２１４】
さらに、このプログラムでは、前記再圧縮余裕度算出制御機能は、符号化画像ストリームを、ブロック単位で直交変換を行い量子化及び可変長符号化を行う符号化方式で符号化された画像ストリームとし、前記画像ストリームの直交変換係数の直流成分から縮小画像を生成する縮小画像生成機能と、前記縮小画像のアクティビティ値を算出する画像複雑度生成機能と、前記符号化画像ストリーム中の画面内符号化された画像ストリームの量子化値の平均値である量子化平均値を算出する量子化値平均機能と、前記アクティビティ値と前記量子化平均値とに基づいて再圧縮余裕度を算出する再圧縮余裕度生成機能と、符号化された画像ストリームを記録する処理を行う第１の画像ストリーム記録機能と、前記第１の画像ストリーム記録機能にて記録した前記画像ストリームに関連付けした前記縮小画像と前記量子化値の平均値を記録する処理を行う量子化値平均値記録機能と、を含む機能をコンピュータに実行させることができる。
【０２１５】
この場合、前記画像複雑度生成機能では、前記量子化値平均値記録ステップにより記録された前記縮小画像を再生しアクティビティ値を算出し、前記再圧縮余裕度生成機能では、前記縮小画像と関連付けられている量子化値の平均値とアクティビティ値とに基づいて再圧縮余裕度を算出することができる。
【０２１６】
プログラムは、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムは、高水準プロシージャ型またはオブジェクト  指向プログラミング言語で、あるいは必要に応じてアセンブリまたはマシン言語で実装することができる。いずれの場合も、言語はコンパイラ型またはインタープリタ型言語であってもよい。上述のプログラムを、一般のパソコンや携帯型情報端末などで動作可能なアプリケーションソフトに組み込んだものも含む。
【０２１７】
プログラムを供給する手法としては、電気通信回線（有線、無線を問わない）によってコンピュータと通信可能に接続された外部の機器から前記電気通信回線を通じて提供することも可能である。例えば、コンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、プログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるサーバも、本発明の範囲に含まれるものである。
【０２１８】
本発明のプログラムによれば、当該プログラムを格納するＲＯＭ等の記憶媒体から、当該制御プログラムをコンピュータ（ＣＰＵ）に読み込んで実行させれば、或いは、当該制御プログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明に係る画像トランスコード装置を比較的簡単に実現できる。発明の思想の具現化例として装置のソフトウェアとなる場合には、かかるソフトウェアを記憶した記憶媒体上においても当然に存在し、利用される。
【０２１９】
また、プログラムは、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。プログラムの供給方法として通信回線を利用して行なう場合であれば通信回線が伝送媒体となって本発明が利用されることになる。むろん、プログラムの発明として特定することもできる。さらに、装置における従属請求項は、方法，プログラムにおいて従属請求項に対応した構成にすることも可能である。
【０２２０】
また、データトランスコード装置は、画像データのトランスコードに限らず、種々のデータ（例えば音声データなど）をトランスコードする場合であってもよい。
【０２２１】
（情報記録媒体）
また、上述の画像トランスコードを行うプログラムを、情報記録媒体に記録した構成であってもよい。情報記録媒体には、上述のプログラムを含むアプリケーションプログラムが格納されており、コンピュータが当該情報記録媒体からアプリケーションプログラムを読み出し、当該アプリケーションプログラムをハードディスクにインストールすることが可能である。これにより、上述のプログラムは、磁気記録媒体、光記録媒体あるいはＲＯＭなどの情報記録媒体に記録してプログラムを提供することができる。そのようなプログラムが記録された情報記録媒体を、コンピュータにおいて使用することは、好都合な情報処理装置を構成する。
【０２２２】
プログラムを供給するための情報記録媒体としては、例えばＲＯＭ、ＲＡＭ、フラッシュメモリやＳＲＡＭ等の半導体メモリ並びに集積回路、あるいはそれらを含むＵＳＢメモリやメモリカード、光ディスク、光磁気ディスク、磁気記録媒体等を用いてよく、さらに、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ―Ｒ、ＣＤ―ＲＷ、ＦＤ、ＤＶＤＲＯＭ、ＨＤＤＶＤ（ＨＤＤＶＤ−Ｒ−ＳＬ＜1層＞、  ＨＤＤＶＤ−Ｒ−ＤＬ＜２層＞、ＨＤＤＶＤ−ＲＷ−ＳＬ、ＨＤＤＶＤ−ＲＷ−ＤＬ、ＨＤＤＶＤ−ＲＡＭ−ＳＬ）、ＤＶＤ±Ｒ−ＳＬ、ＤＶＤ±Ｒ−ＤＬ、ＤＶＤ±ＲＷ−ＳＬ、ＤＶＤ±ＲＷ−ＤＬ、ＤＶＤ−ＲＡＭ、Ｂｌｕ−Ｒａｙ  Ｄｉｓｋ＜登録商標＞（ＢＤ−ＲーＳＬ、ＢＤ−Ｒ−ＤＬ、ＢＤ−ＲＥ−ＳＬ、ＢＤ−ＲＥ−ＤＬ）、ＭＯ、ＺＩＰ、磁気カード、磁気テープ、ＳＤカード、メモリスティック、不揮発性メモリカード、ＩＣカード、等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置、等に記録して構成して用いてよい。  
【０２２３】
さらに「情報記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの（伝送媒体ないしは伝送波）、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
【０２２４】
また、コンピュータ上で稼働しているＯＳ、端末（例えば携帯電話など）上のＲＴＯＳ等が処理の一部又は全部を行う場合にも、上記実施の形態と同等の機能を実現できると共に、同等の効果を得ることができる。
【０２２５】
さらに、プログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。この場合、本発明の構成は、プログラムの各構成要素（各種の手段、ステップ及びデータ）と、前記プログラム（各種の手段、ステップ及びデータ）を暗号化する暗号化手段と、を含んでよい。
【０２２６】
また、データトランスコード装置を、クライアントサーバーシステムや、サーバを介さずに端末同士がネットワークを組み、相互にデータを送受信するピアツーピア（Ｐｅｅｒ  Ｔｏ  Ｐｅｅｒ）通信によるシステムなどに適用することもできる。また、この「システム」を、他の「情報処理システム」と統合したシステムとして、これら全体を「システム」として構成することも一向に構わない。この「システム」には、ＯＳや周辺機器等のハードウェアを含むものとする。
【０２２７】
さらに、上述のプログラムなどが搭載される情報処理装置としては、例えばパーソナルコンピュータに限らず、各種サーバー、ＥＷＳ（エンジニアリングワークステーション）、中型コンピュータ、メインフレーム、携帯型情報端末、各種モバイル端末、ＰＤＡ、携帯電話機、ウエアラブル情報端末、種々の（携帯型などの）テレビ・各種ＤＶＤレコーダ・各種音響機器、各種情報通信機能を搭載した家電機器、ネットワーク機能を有するゲーム機器等からも利用できる構成としても構わない。あるいは、これらの電子機器に表示されるアプリケーションとして改良されたものも本発明の範囲に含めることができる。
【０２２８】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０２２９】
さらに、本明細書において、フローチャートに示されるステップは、記載された手順に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。また、実装では、プログラム手順（ステップ）が実行される順序を変更することができる。さらに、実装の必要に応じて、本明細書で説明した特定の手順（ステップ）を、組み合わされた手順（ステップ）として実装、除去、追加、または再配置することができる。
【０２３０】
またさらに、装置の各手段、各機能、各ステップの手順の機能などのプログラムの機能を、専用のハードウエア（例えば専用の半導体回路等）によりその機能を達成してもよく、プログラムの全機能のうち一部の機能をハードウエアで処理し、全機能のうちさらに他の機能をソフトウエアで処理するようにしてもよい。専用のハードウエアの場合、各部を集積回路例えばＬＳＩにて形成されてもよい。これらは個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。また、ＬＳＩには、ストリーミングエンジンなど他の機能ブロックが含まれていても良い。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
さらに、データトランスコード装置と他の通信装置との間で情報が授受される「通信」では、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであってもよい。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであってもよい。
【０２３１】
そして、この通信には通信網を含んでいてよい。デジタルテレビ放送の通信に限らず、この通信に加えて、あるいはこの通信に含まれる通信網を構成するネットワークとしては、例えば携帯電話回線網（基地局及び交換システムを含む）、公衆電話回線網、ＩＰ電話網、ＩＳＤＮ回線網などこれに類する各種回線網、インターネット（乃ち、ＴＣＰ・ＩＰプロトコルを用いた通信態様）やイントラネット、ＬＡＮ（イーサネット：登録商標、やギガビットイーサネットなどを含む）、ＷＡＮ、光ファイバー通信網、電力線通信網、ブロードバンド対応可能な各種専用回線網などいずれのハードウエア構成でもよい。さらに、ネットワークは、ＴＣＰ・ＩＰプロトコルの他、種々の通信プロトコルを用いたネットワークあるいはソフトウエア的に構築された仮想ネットワークやこれに類するあらゆるネットワークを含むネットワークなどいかなる通信プロトコルであってもよい。また、ネットワークは、有線に限らず、無線（衛星通信、各種高周波通信手段等を含む）ネットワーク（例えば、簡易電話システムや携帯電話のようなシングルキャリア通信システム、Ｗ―ＣＤＭＡやＩＥＥＥ８０２．１１ｂに準拠した無線ＬＡＮのようなスペクトラム拡散通信システム、ＩＥＥＥ８０２．１１ａやＨｉｐｅｒＬＡＮ／２のようなマルチキャリア通信システム、などを含むネットワーク）であっても構わず、これらの組み合わせを利用してもよく、他のネットワークと接続されたシステムであってもよい。さらに、ネットワークは、ポイントツーポイント、ポイントツーマルチポイント、マルチポイントツーマルチポイントなど如何なる形態でもよい。
【０２３２】
また、画像トランスコード装置を含む電子機器と他の通信装置との間の通信構造に際し、いずれか一方又は双方に形成されるインタフェースの種類は、例えばパラレルインタフェース、ＵＳＢインタフェース、ＩＥＥＥ１３９４、ＬＡＮやＷＡＮ等のネットワークやその他これに類するもの、もしくは今後開発される如何なるインタフェースであっても構わない。  
【０２３３】
さらに、符号化ストリーム又は復号化したデータに基づいて再圧縮余裕度を算出し、この再圧縮余裕度に基づいて符号量制御を行い前記データを再符号化する手法は、必ずしも実体のある装置に限られる必要はなく、その方法としても機能することは容易に理解できる。このため、方法にかかる発明も、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。この場合、方法を実現するための一例としてデータトランスコード装置、画像トランスコード装置なども含めることができる。
【０２３４】
ところで、このような画像トランスコード装置は、単独で存在する場合もあるし、ある機器（例えば電子機器）に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。発明の思想の具現化例として装置のソフトウェアとなる場合には、かかるソフトウェアを記憶した記憶媒体上においても当然に存在し、利用されるといわざるをえない。
【０２３５】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合であってもよく、一部を記憶媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。本発明をソフトウェアで実現する場合、ハードウェアやオペレーティングシステムを利用する構成とすることも可能であるし、これらと切り離して実現することもできる。
実現方法は、オペレーティングシステムにおける所定の関数を呼び出して処理することも可能であれば、このような関数を呼び出すことなくハードウェアから入力することも可能である。そして、オペレーティングシステムの介在のもとで実現するとしても、プログラムが媒体に記録されて流通される過程においては、このプログラムだけで本発明を実施できるものと理解することができる。
【０２３６】
また、発明の範囲は、図示例に限定されないものとする。
さらに、上記各実施の形態には種々の段階が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。つまり、上述の各実施の形態同士、あるいはそれらのいずれかと各変形例のいずれかとの組み合わせによる例をも含む。この場合において、本実施形態において特に記載しなくとも、各実施の形態及びそれらの変形例に開示した各構成から自明な作用効果については、当然のことながら実施の形態の作用効果として含めることができる。逆に、本実施の形態に記載されたすべての作用効果を奏することのできる構成が、本発明の本質的特徴部分の必須構成要件であるとは限らない。また、実施の形態に示される全構成要件から幾つかの構成要件が削除された構成による実施の形態並びにその構成に基づく技術的範囲も発明になりうる。
【０２３７】
そして、各実施の形態及びそれらの変形例を含むこれまでの記述は、本発明の理解を容易にするために、本発明の多様な実施の形態のうちの一例の開示、すなわち、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、例証するものであり、制限するものではなく、適宜変形及び／又は変更が可能である。本発明は、その技術思想、またはその主要な特徴に基づいて、様々な形で実施することができ、各実施の形態及びその変形例によって本発明の技術的範囲が限定的に解釈されてはならないものである。
従って、上記に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物を含む趣旨である。
【産業上の利用可能性】
【０２３８】
本発明は、データトランスコード装置や録画装置などの電子機器に適用可能である。
【図面の簡単な説明】
【０２３９】
【図１】本発明の第１の実施の形態による画像トランスコード装置の全体構成の一例を示すブロック図である。
【図２】本発明の第１の実施の形態による画像トランスコード装置における処理手順の一例を示すフローチャートである。
【図３】本発明の第２の実施の形態による画像トランスコード装置の全体構成の一例を示すブロック図である。
【図４】図３の画像トランスコード装置の一部の詳細構成の一例を示すブロック図である。
【図５】本発明の第２の実施の形態による画像トランスコード装置における処理手順の一例を示すフローチャートである。
【図６】本発明の第３の実施の形態による画像トランスコード装置の全体構成の一例を示すブロック図である。
【図７】本発明の第３の実施の形態による画像トランスコード装置における処理手順の一例を示すフローチャートである。
【図８】本発明の第３の実施の形態による画像トランスコード装置における処理手順の一例を示すフローチャートである。
【図９】本発明の第４の実施の形態による画像トランスコード装置の全体構成の一例を示すブロック図である。
【図１０】本発明の第４の実施の形態による画像トランスコード装置における処理手順の一例を示すフローチャートである。
【図１１】本発明の第４の実施の形態による画像トランスコード装置における処理手順の一例を示すフローチャートである。
【図１２】本発明の他の実施の形態による画像トランスコード装置における処理手順の一例を示すフローチャートである。
【図１３】本発明の他の実施の形態による画像トランスコード装置における処理手順の一例を示すフローチャートである。
【符号の説明】
【０２４０】
１  画像トランスコード装置
１０  デコード部（復号化手段）
２０  エンコード部（符号量制御手段）
３０  量子化値平均部
４０  画像複雑度生成部  
５０  再圧縮余裕度生成部
１６０  縮小画像生成部
１６２  ストリーム解析部
１６４  可変長復号部
２９０  装置制御部
２７０  録画データ記憶部
２８２  入力データ・再圧縮データ記録切り替えスイッチ部
２８４  記録・再生切り替えスイッチ部
Ｓ１  （入力）符号化画像ストリーム
Ｓ２  画像データ
Ｓ３  量子化値
Ｓ４  アクティビティ
Ｓ５  量子化平均値
Ｓ６  再圧縮余裕度
Ｓ７  再符号化画像ストリーム
Ｓ８  縮小画像データ
Ｓ９  符号化画像ストリーム
Ｓ１０  記録・再生切り替え信号
Ｓ１１  入力データ・再圧縮データ切り替え信号
Ｓ１２  目標符号量設定信号
【図１】
2009135666.tif 000003
【図２】
2009135666.tif 000004
【図３】
2009135666.tif 000005
【図４】
2009135666.tif 000006
【図５】
2009135666.tif 000007
【図６】
2009135666.tif 000008
【図７】
2009135666.tif 000009
【図８】
2009135666.tif 000010
【図９】
2009135666.tif 000011
【図１０】
2009135666.tif 000012
【図１１】
2009135666.tif 000013
【図１２】
2009135666.tif 000014
【図１３】
2009135666.tif 000015