(57)【特許請求の範囲】
【請求項１】
第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置において、
前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データの符号量を取得する取得手段と、
前記取得手段により取得された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析手段と、
前記解析手段により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定手段と
を備える情報処理装置。
【請求項２】
前記取得手段は、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量をさらに取得し、
前記解析手段は、前記取得手段により取得された前記第２の圧縮映像データの符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡をさらに解析し、
前記決定手段は、前記解析手段により解析された前記第２の軌跡のうち、仮想バッファ占有量が最大値となる時間と最高ビットレートの積算値により求められる符号量の分、前記第２の軌跡を仮想バッファの占有量が減少する方向に修正して求められる第４の軌跡における前記終了点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記終了点の仮想バッファの占有量の下限値にさらに決定する
請求項１に記載の情報処理装置。
【請求項３】
前記再エンコード区間を設定する再エンコード区間設定手段をさらに備える
請求項２に記載の情報処理装置。
【請求項４】
前記再エンコード区間設定手段は、前記第１の圧縮映像データと第２の圧縮映像データの符号化方法によって前記再エンコード区間の長さを決定する
請求項３に記載の情報処理装置。
【請求項５】
前記再エンコード区間の開始点を、前記第３の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第４の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段をさらに備える
請求項２に記載の情報処理装置。
【請求項６】
前記変更後の前記再エンコード区間の開始点は、変更前の前記再エンコード区間より前の時刻に存在し、
前記変更後の前記再エンコード区間の終了点は、変更前の前記再エンコード区間より後の時刻に存在する
請求項５に記載の情報処理装置。
【請求項７】
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段と、
前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、
前記決定手段により決定された、前記開始点の仮想バッファの占有量の上限値、および、前記終了点における仮想バッファの占有量の下限値に基づいて、前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段と、
前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と
を更に備える請求項２に記載の情報処理装置。
【請求項８】
第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置の情報処理方法において、
前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データの符号量の取得を制御する取得制御ステップと、
前記取得制御ステップの処理により取得が制御された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析ステップと、
前記解析ステップの処理により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定ステップと
を含む情報処理方法。
【請求項９】
第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理をコンピュータに実行させるためのプログラムであって、
前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データの符号量の取得を制御する取得制御ステップと、
前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析ステップと、
前記解析ステップの処理により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１０】
請求項９に記載のプログラムが記録されている記録媒体。
【請求項１１】
第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置において、
前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量を取得する取得手段と、
前記取得手段により取得された前記符号量を基に、前記再エンコード区間の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析するとともに、前記再エンコード区間の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する解析手段と、
前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段と
を備える情報処理装置。
【請求項１２】
前記変更後の前記再エンコード区間の開始点は、変更前の前記再エンコード区間より前の時刻に存在し、
前記変更後の前記再エンコード区間の終了点は、変更前の前記再エンコード区間より後の時刻に存在する
請求項１１に記載の情報処理装置。
【請求項１３】
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、変更後の前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段と、
前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、
前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、変更後の前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段と、
前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と
を更に備える請求項１１に記載の情報処理装置。
【請求項１４】
第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置の情報処理方法において、
前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量の取得を制御する取得制御ステップと、
前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する第１の解析ステップと、
前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更する再エンコード開始点変更ステップと、
前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する第２の解析ステップと、
前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード終了点変更ステップと
を含む情報処理方法。
【請求項１５】
第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理をコンピュータに実行させるためのプログラムであって、
前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量の取得を制御する取得制御ステップと、
前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する第１の解析ステップと、
前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更する再エンコード開始点変更ステップと、
前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する第２の解析ステップと、
前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード終了点変更ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１６】
請求項１５に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、可変ビットレート方式で圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。
【背景技術】
【０００２】
圧縮された２つの映像データを所定の編集点で接続することにより編集する処理について、図１を用いて説明する。
【０００３】
まず、編集対象圧縮映像データ１および編集対象圧縮映像データ２のそれぞれにおいて、編集点近傍の部分的なデコードが行われ、部分的な非圧縮の映像信号１および映像信号２が得られる。そして、非圧縮の映像信号１および映像信号２が編集点で接続されて、必要に応じて編集点付近にエフェクト（Effect）が施されて、再エンコードが行われる。そして、再エンコードされた圧縮映像データが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）圧縮映像データと結合される。
【０００４】
図１を用いて説明した方法は、圧縮された編集素材の映像データを全てデコードしてから、映像信号を編集点でつなぎ、再び全ての映像信号を再エンコードして編集済みの圧縮映像データを得る方法と比較して、再エンコードによる画質劣化を局所的に抑えることができるとともに、編集処理時間を大幅に短縮することができるなどの利点がある。
【０００５】
また、MPEGなどに代表される圧縮画生成（エンコード）においては、VBVバッファ（Video Buffering Verifier)と称される仮想デコーダモデルを元に、VBVバッファがオーバーフローもアンダーフローもしないよう、発生符号量を制御する必要がある。VBVの動作が正常でなくなると、受信側のデコーダのバッファがアンダーフローを起こすなどして、データの欠落による画質劣化を招く。
【０００６】
MPEG2システムで規定されている多重ストリームにおいては、トランスポートストリーム（Transport Stream）であっても、プログラムストリーム（Program Stream）であっても、それぞれの一つ下のLayerは、PES(Packetaized Elementary Stream)であり、PESパケットヘッダには、オーディオ・ビデオの提示時刻を与えるPTS(プレゼンテーションタイムスタンプ）と復号開始時刻を与えるDTS（デコーディングタイムスタンプ）のほか、パケット単位のスクランブリングを行う制御信号やエラー検出のためのCRCなどの情報が含まれている。
【０００７】
エンコーダは、DTSおよびPTS、ならびに、現buffer残有量を基に、ストリーム内にvbv_delay情報がある無しにかかわらず、バッファ占有量の制御が可能である。しかしながら、時間情報を持たない可変ビットレート方式で圧縮されたES(Elementary Stream)を扱う場合、vbv_delayの値は最大値で固定されており、バッファの占有量を知る手段がない。そのため、エンコーダは、エンコードしようとするフレームの情報だけでバッファ占有量を判断することができない。
【０００８】
したがって、図１を用いて説明した様に、編集点の近傍のみを部分的にデコードし、接続した後に再エンコードして編集するようにした場合、このバッファ占有量の規格を満たしてバッファ占有量の連続性を維持することが困難である。
【０００９】
このような、時間指定のないストリームをエンコードする場合、VBR（Variable Bit Rate：可変ビットレート）においては、シーケンスの開始点において、バッファの上限から再生を始めることにより、バッファアンダフローを防止することが一般的である。
【００１０】
また、従来、圧縮符号化されたMPEGストリームを編集するために、編集点（スプライス点）近傍のピクチャを一旦デコードし、非圧縮の画像信号を編集点でつなぎあわせた後、再エンコードする場合、バッファのオーバーフローまたはアンダーフローが発生しないように、仮想的に求められた再エンコード部分のVBVバッファ占有量の軌跡を参照することにより、オーバーフロー量とアンダーフロー量を演算し、さらに、再エンコード部分と再エンコードを行わないオリジナルストリームのスイッチングポイントとのVBVバッファのギャップを演算することにより、目標符号量のオフセット値を求め、新たな目標発生符号量を演算して設定することができる技術がある（例えば、特許文献１）。
【００１１】
【特許文献１】国際公開番号ＷＯ９９／０５８６４号公報
【００１２】
また、２つのストリームを結合させて編集を行う場合、2つのストリームの結合点前後のバッファ占有量に制限を設けて再符号化を行うことにより、バッファの破綻を生じさせないようにすることができる技術がある（例えば、特許文献２）。
【００１３】
【特許文献２】特開平９−３３１５２４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、編集点近傍において、上述した方法により、発生符号量を制限するようにした場合、再エンコードによって発生されるストリームの最終ピクチャ近傍で発生符号量を十分に割り当てることが出来なくなるなど、場合によっては著しく画像品質を落とすことがある。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、編集点近傍の画像品質の劣化を可能な限り防止することができるように、VBRストリームにおける編集処理を制御することができるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の第１の側面の情報処理装置は、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置であって、前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データの符号量を取得する取得手段と、前記取得手段により取得された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析手段と、前記解析手段により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定手段とを備える。
【００１７】
前記取得手段には、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量をさらに取得させ、前記解析手段には、前記取得手段により取得された前記第２の圧縮映像データの符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡をさらに解析させ、前記決定手段には、前記解析手段により解析された前記第２の軌跡のうち、仮想バッファ占有量が最大値となる時間と最高ビットレートの積算値により求められる符号量の分、前記第２の軌跡を仮想バッファの占有量が減少する方向に修正して求められる第４の軌跡における前記終了点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記終了点の仮想バッファの占有量の下限値にさらに決定させることができる。
【００１８】
前記再エンコード区間を設定する再エンコード区間設定手段をさらに設けることができる。
【００１９】
前記再エンコード区間設定手段には、前記第１の圧縮映像データと第２の圧縮映像データの符号化方法によって前記再エンコード区間の長さを決定させることができる。
【００２０】
前記再エンコード区間の開始点を、前記第３の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第４の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段を更に備えさせることができる。
【００２１】
前記変更後の前記再エンコード区間の開始点は、変更前の前記再エンコード区間より前の時刻に存在し、前記変更後の前記再エンコード区間の終了点は、変更前の前記再エンコード区間より後の時刻に存在するようにさせることができる。
【００２３】
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段と、前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、前記決定手段により決定された、前記開始点の仮想バッファの占有量の上限値、および、前記終了点における仮想バッファの占有量の下限値に基づいて、前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段と、前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段とを更に備えさせることができる。
【００２４】
本発明の第１の側面の情報処理方法およびプログラムは、編集点を含む再エンコード区間の開始点近傍の第１の圧縮映像データの符号量の取得を制御する取得制御ステップと、前記取得制御ステップの処理により取得が制御された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析ステップと、前記解析ステップの処理により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定ステップとを含む。
【００２５】
本発明の第１の側面においては、編集点を含む再エンコード区間の開始点近傍の第１の圧縮映像データの符号量が取得されて、前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡が解析され、前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量が、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定される。
【００２６】
本発明の第２の側面の情報処理装置は、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置であって、前記編集点を含む再エンコード区間の開始点近傍の前記第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量を取得する取得手段と、前記取得手段により取得された前記符号量を基に、前記再エンコード区間の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析するとともに、前記再エンコード区間の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する解析手段と、前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段とを備える。
【００２７】
前記変更後の前記再エンコード区間の開始点は、変更前の前記再エンコード区間より前の時刻に存在し、前記変更後の前記再エンコード区間の終了点は、変更前の前記再エンコード区間より後の時刻に存在するようにさせることができる。
【００２９】
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、変更後の前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段と、前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、変更後の前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段と、前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段とを更に備えさせることができる。
【００３０】
本発明の第２の側面の情報処理方法およびプログラムは、編集点を含む再エンコード区間の開始点近傍の第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の第２の圧縮映像データの符号量の取得を制御する取得制御ステップと、前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する第１の解析ステップと、前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更する再エンコード開始点変更ステップと、前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する第２の解析ステップと、前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード終了点変更ステップとを含む。
【００３１】
本発明の第２の側面においては、編集点を含む再エンコード区間の開始点近傍の第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の第２の圧縮映像データの符号量が取得されて、前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡と、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡とが解析され、前記再エンコード区間の開始点が、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更され、前記再エンコード区間の終了点が、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更される。
【発明の効果】
【００３２】
以上のように、本発明の第１の側面によれば、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御することができ、特に、デコードされて前記編集点で接続された前記第１の圧縮映像データとおよび前記第２の圧縮映像データの再エンコード範囲の開始点と終了点におけるバッファ占有量を、再エンコード範囲に割り当てられる発生符号量の自由度が増すように設定することができる。
【００３３】
また、本発明の第２の側面によれば、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御することができ、特に、デコードされて前記編集点で接続された前記第１の圧縮映像データとおよび前記第２の圧縮映像データの再エンコード範囲を、再エンコード範囲に割り当てられる発生符号量の自由度が増すように設定することができる。
【発明を実施するための最良の形態】
【００３４】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３５】
本発明の第１の側面の情報処理装置は、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置（たとえば、編集装置１）であって、前記編集点を含む再エンコード区間（例えば、ディフォルトの再エンコード範囲）の開始点近傍の前記第１の圧縮映像データの符号量を取得する取得手段（例えば、図３の発生符号量検出部５１）と、前記取得手段により取得された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析手段（例えば、図３のバッファ占有量解析部５２）と、前記解析手段により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定手段（例えば、図３のバッファ占有量決定部５３）とを備える。
【００３６】
前記再エンコード区間の開始点を、前記第３の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第４の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段（例えば、図３の再エンコード区間決定部５４）を更に備えることができる。
【００３７】
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段（例えば、図２のデコーダ２２およびデコーダ２３）と、前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段（例えば、図２のエフェクト／スイッチ２６）と、前記決定手段により決定された、前記開始点の仮想バッファの占有量の上限値、および、前記終了点における仮想バッファの占有量の下限値に基づいて、前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段（例えば、図２のエンコーダ２７）と、前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段（例えば、図２のストリームスプライサ２５）とを更に備えることができる。
【００３８】
本発明の第１の側面の情報処理方法、プログラム、および、記録媒体に記録されているプログラムは、編集点を含む再エンコード区間（例えば、ディフォルトの再エンコード範囲）の開始点近傍の第１の圧縮映像データの符号量の取得を制御する取得制御ステップ（例えば、図１０のステップＳ４１または図１１のステップＳ８１の処理）と、前記取得制御ステップの処理により取得が制御された前記第１の圧縮映像データの符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する解析ステップ（例えば、図１０のステップＳ４７、または、図１１のステップＳ８７の処理）と、前記解析ステップの処理により解析された前記第１の軌跡のうち、仮想バッファの占有量が最も大きくアンダーフローしているバッファ占有量の分、前記第１の軌跡を仮想バッファの占有量が増加する方向に修正して求められる第３の軌跡における前記開始点の仮想バッファの占有量を、前記再エンコード区間を再エンコードしたときの前記開始点の仮想バッファの占有量の上限値に決定する決定ステップ（例えば、図１０のステップＳ４９または図１１のステップＳ８９の処理）とを含む。
【００３９】
本発明の第２の側面の情報処理装置は、第１の圧縮映像データと第２の圧縮映像データとを編集点で接続して編集する処理を制御する情報処理装置（たとえば、編集装置１）において、前記編集点を含む再エンコード区間（例えば、ディフォルトの再エンコード範囲）の開始点近傍の前記第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の前記第２の圧縮映像データの符号量を取得する取得手段（例えば、図３の発生符号量検出部５１）と、前記取得手段により取得された前記符号量を基に、前記再エンコード区間の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析するとともに、前記再エンコード区間の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する解析手段（例えば、図３のバッファ占有量解析部５２）と、前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更し、前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード区間変更手段（例えば、図３の再エンコード区間決定部５４）とを備える。
【００４０】
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうち、変更後の前記再エンコード区間を含む所定の範囲の圧縮映像データをデコードするデコード手段（例えば、図２のデコーダ２２およびデコーダ２３）と、前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段（例えば、図２のエフェクト／スイッチ２６）と、前記接続手段により接続されて生成された前記第３の非圧縮映像信号のうち、変更後の前記再エンコード区間に対応する部分を再エンコードして、第３の圧縮映像データを生成するエンコード手段（例えば、図２のエンコーダ２７）と、前記再エンコード区間以外の前記第１の圧縮映像データおよび前記再エンコード区間以外の前記第２の圧縮映像データと、前記エンコード手段により再エンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段（例えば、図２のストリームスプライサ２５）とを更に備えることができる。
本発明の第２の側面の情報処理方法、プログラム、および、記録媒体に記録されているプログラムは、編集点を含む再エンコード区間（例えば、ディフォルトの再エンコード範囲）の開始点近傍の第１の圧縮映像データ、および、前記再エンコード区間の終了点近傍の第２の圧縮映像データの符号量の取得を制御する取得制御ステップ（例えば、図１０のステップＳ４１または図１１のステップＳ８１の処理）と、前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記開始点近傍の前記第１の圧縮映像データをデコードして再エンコードしたときに、前記開始点における仮想バッファの占有量が下限値となる状態を想定した場合の仮想バッファ占有量の第１の軌跡を解析する第１の解析ステップ（例えば、図１０のステップＳ４７、または、図１１のステップＳ８７の処理）と、前記再エンコード区間の開始点を、前記第１の軌跡のうち、仮想バッファ占有量が最も多い位置に変更する再エンコード開始点変更ステップ（例えば、図１０のステップＳ５１または図２２のステップＳ９１）と、前記取得制御ステップの処理により取得が制御された前記符号量を基に、前記終了点近傍の前記第２の圧縮映像データをデコードして再エンコードしたときに、前記終了点の次のピクチャにおける仮想バッファの占有量が上限値となる状態を想定した場合の仮想バッファ占有量の第２の軌跡を解析する第２の解析ステップ（例えば、図１０のステップＳ４２、または、図１１のステップＳ８２の処理）と、前記再エンコード区間の終了点を、前記第２の軌跡のうち、仮想バッファ占有量が最も少ない位置に変更する再エンコード終了点変更ステップ（例えば、図１０のステップＳ４６または図２２のステップＳ８６）とを含む。
【００４１】
以下、図を参照して、本発明の実施の形態について説明する。
【００４２】
図２は本発明を適用した編集装置１のハードウェア構成を示すブロック図である。
【００４３】
ＣＰＵ（Central Processing Unit）１１は、ノースブリッジ１２に接続され、例えば、ＨＤＤ（Hard disk Drive）１６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ２０が実行する編集処理を制御するためのコマンドや制御情報を生成し、出力する。
【００４４】
また、ＣＰＵ１１は、ＨＤＤ１６に記録されているデータのうちの２つの映像素材である編集対象圧縮映像データ１（以下、素材１と称する）および編集対象圧縮映像データ２（以下、素材２と称する）を読み出して、編集点の近傍のみを部分的にデコードさせ、接続した後に再エンコードして編集させる場合、再エンコード時に仮想バッファ占有量の規格を満たして、再エンコード部分と再エンコードしない部分のバッファ占有量の連続性を維持しつつ、結合点前後のバッファ占有量に制限をできるだけ少なくして発生符号量を十分に割り当てることができるような再エンコード範囲の設定、および、再エンコード範囲の最初のバッファ占有量の下限値と最後のバッファ占有量の上限値を決定し、ＣＰＵ２０が実行する編集処理を制御するためのコマンドとともに出力することができる。再エンコード範囲の設定、および、再エンコード範囲の最初と最後のバッファ占有量の設定値の決定の詳細については後述するが、このようにすることにより、再エンコード範囲に発生符号量をより多く与えることが可能であるので、編集点近傍の画像品質の劣化を可能な限り防止することができる。
【００４５】
ノースブリッジ１２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）１４に接続され、例えば、ＣＰＵ１１の制御に基づいて、サウスブリッジ１５を介して、ＨＤＤ１６に記憶されているデータの供給を受けて、ＰＣＩバス１４、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。また、ノースブリッジ１２は、メモリ１３とも接続されており、ＣＰＵ１１の処理に必要なデータを授受する。
【００４６】
メモリ１３は、ＣＰＵ１１が実行する処理に必要なデータを保存する。サウスブリッジ１５は、ＨＤＤ１６のデータの書き込みおよび読み出しを制御する。ＨＤＤ１６には、圧縮符号化された編集用の素材が記憶されている。
【００４７】
ＰＣＩブリッジ１７は、メモリ１８のデータの書き込みおよび読み出しを制御したり、デコーダ２２乃至２４、または、ストリームスプライサ２５への圧縮符号化されたデータ（素材１、素材２）の供給を制御するとともに、ＰＣＩバス１４およびコントロールバス１９のデータの授受を制御する。メモリ１８は、ＰＣＩブリッジ１７の制御に基づいて、ＨＤＤ１６により読み出された、編集用素材である圧縮符号化されたデータや、ストリームスプライサ２５から供給される編集後の圧縮符号化されたデータを記憶する。
【００４８】
ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から供給されたコマンドおよび制御情報にしたがって、ＰＣＩブリッジ１７、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７が実行する処理を制御する。メモリ２１は、ＣＰＵ２０の処理に必要なデータを記憶する。
【００４９】
デコーダ２２乃至デコーダ２４は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号を出力する。デコーダ２２およびデコーダ２３において実行されるデコードの範囲は、ＣＰＵ１１によってきめられる再エンコード範囲と同一でもよいし、再エンコード範囲を含むそれ以上の範囲であってもよい。ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、供給された圧縮映像データを、所定のフレームで結合する。また、デコーダ２２乃至デコーダ２４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ２４が、独立した装置として設けられている場合、デコーダ２４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。
【００５０】
また、デコーダ２２乃至デコーダ２４は、必要に応じて、実際の編集作業の前段階として、ストリームの解析を行うために、素材１および素材２のデコードを行い、バッファに蓄積される符号量の情報を、ＣＰＵ２０に通知するようにしてもよい。ＣＰＵ２０は、コントロールバス１９、ＰＣＩブリッジ１７、ＰＣＩバス１４、および、ノースブリッジ１２を介して、ＣＰＵ１１に、デコード時にバッファに蓄積される符号量の情報を通知する。
【００５１】
エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、デコーダ２２またはデコーダ２３から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ２７に供給する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の映像信号のうち、再エンコード範囲として設定された部分の非圧縮の映像信号をエンコードして、圧縮符号化された圧縮映像データを、ストリームスプライサ２５に出力する。
【００５２】
次に、第１の実施の形態における編集装置１の動作について説明する。
【００５３】
ＨＤＤ１６には、VBR(variable bit rate)で圧縮された素材１および素材２のデータが記憶されている。
【００５４】
ＣＰＵ１１は、ＨＤＤ１６に保持されている圧縮符号化された映像素材のうち、図示しない操作入力部から供給されたユーザの操作入力を基に、編集に用いられる素材として選択された圧縮符号化された素材１のデータおよび素材２のデータの発生符号量に関する情報を取得し、この情報を基に、再エンコード範囲の最初と最後のバッファ占有量を決定し、再エンコード区間を決定する。
【００５５】
図３は、ＣＰＵ１１が編集点付近の再エンコードにおける発生符号量を決定し、再エンコード区間を決定するために有する機能を説明するための機能ブロックである。
【００５６】
発生符号量検出部５１は、ＨＤＤ１６に保存されている、編集される素材１および素材２の発生符号量を検出し、バッファ占有量解析部５２に供給する。発生符号量の検出方法は、例えば、ＨＤＤ１６に保存されている、編集される素材１および素材２のデータを解析することにより、符号量（すなわち、ピクチャヘッダ間の符号量）を検出するようにしてもよいし、編集される素材１および素材２のデータをデコーダ２２乃至２４で一旦デコードさせて、バッファの蓄積量を検出するようにしてもよい。
【００５７】
バッファ占有量解析部５２は、発生符号量検出部５１から供給された、素材１および素材２の発生符号量の情報を基に、再エンコードを行わない範囲と再エンコード区間との接続点付近におけるバッファ占有量のモデル状態を解析する。
【００５８】
なお、再エンコード区間の長さ（編集点を中心とした、再エンコードされる素材１および素材２のピクチャ数）は、編集装置１において、素材の種類にかかわらずディフォルト値が予め決まっているか、または、素材となる圧縮符号化データの符号化方法によりディフォルト値が予め決まっているものとする。例えば、素材となる圧縮符号化データがMPEGのLONG GOP方式で符号化されているものである場合、編集点を含んだ１GOPが再エンコード区間のディフォルト値とされる。
【００５９】
VBR方式で圧縮された画像においては、図４に示されるように、バッファ占有量は上限を超えない（バッファ占有量は所定時間VBV_MAXに張り付いたようになる）ので、バッファは破綻しないが、アンダーフローを起こした場合には、バッファが破綻し、出力される画像に影響が発生する。
【００６０】
CBR（Constant Bit Rate)方式で符号化されたストリームを取り扱う場合においては、bit_rate_value(Sequence_header),bit_rate_extension(Sequence_extension)、および、vbv_delay(picture_header)の値を基にして、対象となるピクチャのバッファ内の位置を算出することによってバッファ占有量を算出することができるが、VBRの場合、この算出の基となる、vbv_delayの値が、最大値(0xFFFF)となっているため、正しいバッファ占有量を計算することができない。
【００６１】
このように再生時間情報が記載されていないエレメンタリストリームを扱うとき、エンコードされたストリームの先頭からデコードすることができれば、エンコーダが意図したバッファ占有量の軌跡を再現することが出来るが、常識的に考えれば、デコードは、ストリームの先頭からばかり行われるわけではない。したがって、エンコーダは、アンダーフローによる画像欠落が発生しないようなバッファ占有量の仮想的な軌跡を算出しなければならない。
【００６２】
そこで、バッファ占有量解析部５２は、発生符号量検出部５１により検出された、再エンコードを行わない範囲と再エンコード区間との接続点付近におけるバッファ占有量を解析するための第１のモデル状態として、図５に示されるように、再エンコード区間と接続される、素材２の最初のピクチャにおけるバッファ占有量がVBV_MAXとなる場合を、再エンコード区間の終了点付近に十分な符号量を割り当てることができないWorst caseとして、再エンコード区間の最後の素材２と再エンコードされない素材２との接続点付近のバッファ占有量の仮想的な軌跡を算出する。
【００６３】
また、バッファ占有量解析部５２は、再エンコードを行わない範囲と再エンコード区間との接続点付近におけるバッファ占有量を解析するための第２のモデル状態として、図６に示されるように、再エンコード区間と素材１との接続点におけるバッファ占有量が０となる場合を、再エンコード区間の開始点付近に十分な符号量を割り当てることができないWorst caseとして、再エンコードされない素材１と再エンコード区間の素材１との接続点付近のバッファ占有量の仮想的な軌跡を算出する。
【００６４】
そして、バッファ占有量解析部５２は、算出した第１のモデルと第２のモデルのバッファ占有量の仮想的な軌跡を、バッファ占有量決定部５３および再エンコード区間決定部５４にそれぞれ供給する。
【００６５】
なお、バッファ占有量解析部５２における解析範囲が長ければ長いほど、よりよい制御ができる可能性が向上し、その一方で、処理時間がかかってしまう。解析範囲は、例えば、再生時間で１乃至２秒間程度に対応する範囲や、素材となる圧縮符号化データがMPEGのLONG GOP方式で符号化されているものである場合、１乃至２GOP程度が適当であるが、経験的または実験的に適宜設定可能な値とすることができる。
【００６６】
エンコーダは、VBRであっても、VBVバッファの規定を守るようにバッファ管理を行いながらエンコードを行っているので、再エンコード区間に続く、再エンコードしない区間の素材２のいずれかのピクチャにおいてバッファ占有量が上限にあたれば、それ以降のバッファ占有量は下限を下回ることはないといえる。したがって、図５に示されるWorst caseのように、素材２の再エンコード区間と接続される最初のフレームのバッファ占有量が上限にあたるように再エンコード区間におけるバッファ制御を行えば、規格違反をせずに編集処理を行うことが可能となる。
【００６７】
しかしながら、このようなWorst caseにおいては、再エンコード区間の最後のバッファ占有量が、上限VBV_MAXから「最高ビットレート×1frame時間」だけ低い値からVBV_MAXまでの間のいずれかの値となるように制御を行わなければならない。このため、再エンコード区間の符号配分の制限が非常に厳しいものとなり、画質が劣化してしまう恐れが生じる。
【００６８】
そこで、バッファ占有量決定部５３は、素材２の再エンコード区間と接続される最初のピクチャがVBV_MAXとなるWorst caseにおいて、図５のαおよびβに示されるように、バッファ占有量がVBV_MAXに張り付いている状態が存在するか否かを探索する。図５のαおよびβに示されるように、バッファ占有量がVBV_MAXに張り付いている状態が存在する場合、αおよびβに示される区間だけ、バッファ占有量の仮想的な軌跡を下方に修正し、再エンコード区間の最後のバッファ占有量の値を低くしつつ、再エンコードしない区間の素材２のいずれかのピクチャにおいてバッファ占有量が上限となっている状態を求める。ただし、バッファ占有量決定部５３は、このとき、アンダーフローが発生しない範囲でバッファ占有量の仮想的な軌跡を下方に修正する。
【００６９】
具体的には、図５において、「最高ビットレート×αで示される区間」だけ、バッファ占有量の仮想的な軌跡が下方に修正された場合、アンダーフローが発生しなければ、再エンコード区間の最後のバッファ占有量の値は、矢印８１に示される領域よりも広い矢印８２に示される領域の範囲内で制御することができる。また、更に、「最高ビットレート×βで示される区間」だけ、バッファ占有量の仮想的な軌跡が下方に修正された場合、アンダーフローが発生しなければ、再エンコード区間の最後のバッファ占有量の値は、矢印８２に示される領域よりも更に広い矢印８３に示される領域の範囲内で制御することができる。
【００７０】
このようにすることにより、再エンコード区間の終了点におけるバッファ占有量の下限値をWorst caseよりも減少させる（少ない値に設定可能にする）ことができるため、再エンコード区間の最後のフレームに配分可能な符号量の上限値を増加させることができる。これにより、再エンコード区間におけるバッファ占有量の制御の自由度が増し、再エンコード区間における符号配分のコントロールが容易になるので、再エンコード区間の画質の劣化を防ぐようにすることが可能となる。
【００７１】
また、図６に示されるように、再エンコード区間と素材１との接続点におけるバッファ占有量が０となるWorst caseにおいて、再エンコード区間の最初のフレームに、「最高ビットレート×1frame時間」の符号量以下しか割り当てることができないため、画質が劣化してしまう恐れが生じる。
【００７２】
素材１は、VBVバッファの規定を守るようにバッファ管理が行われている圧縮画像である。そこで、Worst caseを基準とした素材１の解析範囲内のバッファ占有量の仮想的な軌跡において、バッファ占有量がアンダーフローしているピクチャが存在する場合、そのアンダーフローの分だけ、バッファ占有量の仮想的な軌跡を上方に修正しても、再エンコード区間においてはVBVバッファの規定を守った制御を行うことが可能となる。すなわち、バッファ占有量決定部５３は、Worst caseを基準とした素材１の解析範囲内のバッファ占有量の仮想的な軌跡において、バッファ占有量がアンダーフローしているピクチャが存在する場合、そのアンダーフローの分だけ、バッファ占有量の仮想的な軌跡を上方に修正して、再エンコード範囲の最初のバッファ占有量を決定する。これにより、再エンコード区間の開始点におけるバッファ占有量の上限値を増加させる（大きな値に設定可能にする）ことができ、最初のフレームに配分可能な符号量の自由度を増加させることができるので、画質の劣化を防止することが可能となる。
【００７３】
具体的には、図６において、素材１の解析範囲内のバッファ占有量で最も大きくアンダーフローしている矢印１０１で示されるバッファ占有量の分だけ、矢印１０２で示されるようにバッファ占有量の仮想的な軌跡を上方に修正した場合、再エンコード範囲の最初のバッファ占有量は、矢印１０３で示される「最高ビットレート×1frame時間」の符号量以下の範囲内から、矢印１０３で示される「最高ビットレート×1frame時間」の符号量＋矢印１０２に対応する、矢印１０４で示される範囲内の発生符号量を割り当てることが可能になるので、画質の劣化を防止することが可能となる。
【００７４】
また、上述したように、再エンコード区間の最後のピクチャにおけるバッファ占有量の下限値が低いほうが、再エンコード区間における符号量の割り当ての自由度が増し、再エンコード区間の最初のピクチャにおけるバッファ占有量の上限値が高いほうが、再エンコード区間における符号量の割り当ての自由度が増し、再エンコード区間の画質劣化を防止することが可能となる。
【００７５】
そこで、再エンコード区間決定部５４は、再エンコードされない素材２の再エンコード区間と接続される最初のピクチャがVBV_MAXとなるWorst caseにおいて、図７に示されるように、素材２の解析範囲内のバッファ占有量が最も低くなる点を検出し、再エンコード区間の終了点を、バッファ占有量が最も低くなる検出点に変更する。
【００７６】
具体的には、図７に示されるように、Worst caseにおいて、元の再エンコード区間では、元の再エンコード区間と再エンコードされない区間の接続点のバッファ占有量は、矢印１２１に示される領域内となるように制御する必要があったが、再エンコード区間決定部５４により変更された新たな再エンコード区間と再エンコードされない区間の接続点のバッファ占有量は、矢印１２２に示される領域内となるように制御すればいいので、再エンコード区間における符号配分の自由度が増し、画質劣化を防ぐことができる。
【００７７】
また、同様にして、再エンコード区間決定部５４は、再エンコード区間と再エンコードされない素材１との接続点におけるバッファ占有量が０となるWorst caseにおいて、図８に示されるように、素材１の解析範囲内のバッファ占有量が最も高くなる点を検出し、再エンコード区間の開始点を、バッファ占有量が最も高くなる検出点に変更する。
【００７８】
具体的には、図８に示されるように、Worst caseにおいて、元の再エンコード区間では、元の再エンコード区間と再エンコードされない区間の接続点の次のピクチャにおけるバッファ占有量は、矢印１４１に示される領域内となるように制御する必要があったが、再エンコード区間決定部５４により変更された新たな再エンコード区間と再エンコードされない区間の接続点のバッファ占有量は、矢印１４２に示される領域内となるように制御すればいいので、再エンコード区間における符号配分の自由度が増し、画質劣化を防ぐことができる。
【００７９】
また、バッファ占有量決定部５３および再エンコード区間決定部５４の処理は、いずれか一方のみが実行されるものとしてもよいし、この２つの処理を複合させることも可能である。すなわち、バッファ占有量解析部５２により解析された、再エンコードされない区間と再エンコード区間との前後の接続点近傍のWorst caseにおける所定範囲内におけるバッファ占有量の仮想的な軌跡を基に、図５および図６を用いて説明した様にして、バッファ占有量決定部５３がバッファ占有量の仮想的な軌跡を変更する処理を実行し、変更後のバッファ占有量の仮想的な軌跡を再エンコード区間決定部５４に供給する。そして、再エンコード区間決定部５４は、変更後のバッファ占有量の仮想的な軌跡を基に、図７および図８を用いて説明した様にして、再エンコード区間を変更する処理を行い、変更後の再エンコード区間をバッファ占有量決定部５３に供給する。バッファ占有量決定部５３は、新たな再エンコード区間における先頭と最後のバッファ占有量の値を求める。
【００８０】
コマンドおよび制御情報生成部５５は、バッファ占有量決定部５３により決定された再エンコード区間における先頭と最後のバッファ占有量の値と、再エンコード区間決定部５４により決定された再エンコード区間とを取得し、これらの情報と、ユーザにより指定された編集点の情報と、編集開始コマンドを生成する。
【００８１】
そして、ＣＰＵ１１は、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された素材１のデータおよび素材２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させる。また、ＣＰＵ１１は、上述したコマンドおよび制御情報生成部５５により生成された、編集点、再エンコード区間、並びに、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。
【００８２】
ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された素材１のデータのうち、ＣＰＵ１１によって設定された再エンコードを行う範囲に基づいて定められるデコード範囲のピクチャのデータをデコーダ２２に供給させるとともに、素材２のデータのうち、再エンコードを行う範囲に基づいて定められるデコード範囲のピクチャのデータをデコーダ２３に供給させる。デコード範囲は、再エンコード範囲と同一の範囲であっても、再エンコード範囲を含むそれ以上の範囲であってもよい。また、このとき、例えば、素材１および素材２のデータがMPEGなどのフレーム間参照符号化データである場合など、エンコードを行う範囲のピクチャが参照する必要があるピクチャが存在するのであれば、必要に応じて、対応する参照ピクチャもデコーダ２３に供給される。
【００８３】
また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された素材１および素材２のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ２５に供給させる。
【００８４】
ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、供給された圧縮符号化されたデータをデコードさせる。
【００８５】
デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ２６に供給する。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像が存在する場合は、その参照画像データとともに、エンコーダ２７に供給する。
【００８６】
また、デコーダ２２およびデコーダ２３は、後段のエンコーダ２７によるエンコード処理に必要な情報を抽出し、コントロールバス１９を介して、ＣＰＵ２０に供給することができる。ＣＰＵ２０は、デコーダ２２またはデコーダ２３から供給された、後段のエンコーダ２７によるエンコード処理に必要な情報を、コントロールバス１９を介して、エンコーダ２７に供給する。
【００８７】
エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。
【００８８】
エンコーダ２７は再エンコード用の非圧縮の編集映像信号をエンコードする場合、ＣＰＵ２０から、ＣＰＵ１１によって設定された、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報を基に、ＶＢＶバッファの規定を満たすようにバッファ制御を行う。
【００８９】
そして、エンコーダ２７において再エンコードされた映像データは、ストリームスプライサ２５に供給される。そして、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、素材１および素材２のデータのうちの再エンコードを行わない範囲の素材１および素材２と、エンコーダ２７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。
【００９０】
具体的には、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、素材１とエンコーダ２７から供給されたエンコードされた映像データとが表示順で連続するように接続され、エンコーダ２７から供給されたエンコードされた映像データと、ＰＣＩブリッジ１７から供給された、素材２とが表示順で連続するように接続されるように、ストリームをつなぎ合わせる。
【００９１】
そして、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、作成した圧縮編集映像データをＰＣＩブリッジ１７に供給して、メモリ１８に保存させるとともに、デコーダ２４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。
【００９２】
図示しない操作入力部から、編集されて生成された圧縮編集映像データの保存が指令された場合、ＣＰＵ１１は、ＰＣＩブリッジ１７を制御して、メモリ１８に保存されている圧縮編集映像データを読み出させ、ＰＣＩバス１４およびノースブリッジ１２を介して、サウスブリッジ１５に供給させるとともに、サウスブリッジ１５を制御して、供給された圧縮編集映像データをＨＤＤ１６に供給させて保存させる。
【００９３】
次に、図９のフローチャートを参照して、本発明を適用した編集装置１が実行する編集処理について説明する。
【００９４】
ステップＳ１において、ＣＰＵ１１は、図示しない操作入力部から、編集開始を指令するユーザからの操作入力を受ける。
【００９５】
ステップＳ２において、図１０または図１１を用いて後述する、再エンコードおよびバッファ占有量決定処理が実行される。
【００９６】
ステップＳ３において、ＣＰＵ１１は、図示しない操作入力部から供給されたユーザの操作入力を基に、サウスブリッジ１５を制御して、ＨＤＤ１６から、圧縮符号化された素材１のデータおよび素材２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点、再エンコード区間、並びに、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。メモリ１８は、圧縮符号化された２つの編集素材データを取得する。
【００９７】
ステップＳ４において、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定された再エンコード範囲を基に、デコードされる範囲を決定し、デコードされる範囲のデータと、必要に応じて、この範囲のデータをデコードおよび再エンコードするために必要なデータを抽出させ、デコーダ２２およびデコーダ２３にそれぞれ供給させる。なお、デコード範囲は、再エンコード範囲と同じであっても、再エンコード範囲を含むそれ以上の範囲であってもよい。
【００９８】
また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給させる。ＰＣＩブリッジ１７は、ＣＰＵ２０の制御に基づいて、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータと、必要に応じて、この範囲のデータをデコードおよび再エンコードするために必要なデータを抽出し、デコーダ２２およびデコーダ２３にそれぞれ供給するとともに、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給する。
【００９９】
また、このとき、ＣＰＵ２０は、必要に応じて、例えば、再エンコード範囲の画像に施されるエフェクトの種類や、再エンコードに含まれるピクチャの符号化難易度に関する情報を取得することが可能である。
【０１００】
ステップＳ５において、ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、決定されたデコード範囲のデータをデコードさせる。デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化された編集素材データをデコードして、エフェクト／スイッチ２６に供給する。
【０１０１】
ステップＳ６において、ＣＰＵ２０は、エフェクト／スイッチ２６を制御して、デコードされたデータを編集点で接続させて、必要に応じて、エフェクトをかけさせる。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の復号映像素材を編集点で接続して、必要に応じて、エフェクトをかけ、エンコーダ２７に供給する。
【０１０２】
ステップＳ７において、ＣＰＵ２０は、エンコーダ２７に再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報を供給するとともに、エンコーダ２７を制御して、デコードされて編集点で接続された画像データのうち、再エンコード区間の画像データを再エンコードさせる。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報に基づいて、VBVバッファの規定を満たすようにして、デコードされて編集点で接続された画像データのうち、再エンコード区間の画像データの再エンコードを行い、ストリームスプライサ２５に供給する。
【０１０３】
ステップＳ８において、ストリームスプライサ２５は、再エンコードされた部分と、再エンコードされていない部分の圧縮映像データを接続し、処理が終了する。
【０１０４】
このような処理により、２つの映像素材（圧縮映像データ）の編集点付近を部分的にデコードし、デコードされた非圧縮の映像信号を所定の編集点で接続した後、再エンコードを行い、デコードおよび再エンコードされていない部分の圧縮映像データと接続することにより、圧縮映像データの編集を実現することができる。
【０１０５】
また、このとき、エンコーダ２７は、ＣＰＵ１１により設定された再エンコード範囲の編集画像を、ＣＰＵ１１により設定された再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報に基づいて、VBVバッファの規定を満たすようにして、再エンコードするので、従来における場合よりも発生符号量の割り当ての自由度が増し、画質の劣化を防ぐことができる。
【０１０６】
次に、図１０のフローチャートを参照して、図９のステップＳ２において実行される処理の第１の例である、再エンコード範囲およびバッファ占有量決定処理１について説明する。
【０１０７】
ステップＳ４１において、発生符号量検出部５１は、予め設定されているディフォルトの再エンコード区間に基づいて、再エンコード区間と再エンコードされない区間の接続点近傍の所定の範囲の素材１および素材２の発生符号量を検出し、バッファ占有量解析部５２に供給する。
【０１０８】
ステップＳ４２において、バッファ占有量解析部５２は、図５を用いて説明した様に、素材２において、再エンコード区間の境界の次のピクチャのバッファ占有量が上限となるWorst caseにおいて、所定の範囲のバッファ占有量を解析し、Worst caseにおける仮想的なバッファ占有量の軌跡を求めて、バッファ占有量決定部５３および再エンコード区間決定部５４に供給する。
【０１０９】
ステップＳ４３において、バッファ占有量決定部５３は、解析された、Worst caseにおける仮想的なバッファ占有量の軌跡において、VBV_MAXを超えている部分があるか否かを判断する。
【０１１０】
ステップＳ４３において、VBV_MAXを超えている部分があると判断された場合、ステップＳ４４において、バッファ占有量決定部５３は、VBV_MAXを超えている部分の時間（例えば、図５におけるα、β）を基に、バッファアンダフローを起こさない条件を満たすように、再エンコード区間の最後のバッファ占有量を決定し、処理は、ステップＳ４７に進む。
【０１１１】
ステップＳ４３において、VBV_MAXを超えている部分がないと判断された場合、ステップＳ４５において、再エンコード区間決定部５４は、図７を用いて説明した様に、解析範囲内の再エンコードされない素材２に対応する部分で、バッファ占有量が最も低いところを検出する。
【０１１２】
ステップＳ４６において、再エンコード区間決定部５４は、図７を用いて説明した様に、再エンコード範囲の終了点を検出された位置に変更する。再エンコード区間決定部５４は、新たに設定した再エンコード範囲の終了点を、バッファ占有量決定部５３に通知するので、バッファ占有量決定部５３は、新たに設定された再エンコード範囲の終了点のバッファ占有量を求める。
【０１１３】
ステップＳ４４またはステップＳ４６の処理の終了後、ステップＳ４７において、バッファ占有量解析部５２は、図６を用いて説明した様に、素材１において、再エンコード区間の境界のバッファ占有量が下限となるWorst caseにおいて、所定の範囲のバッファ占有量を解析し、Worst caseにおける仮想的なバッファ占有量の軌跡を求めて、バッファ占有量決定部５３および再エンコード区間決定部５４に供給する。
【０１１４】
ステップＳ４８において、バッファ占有量決定部５３は、解析された、Worst caseにおける仮想的なバッファ占有量の軌跡において、アンダーフローが発生しているか否かを判断する。
【０１１５】
ステップＳ４８において、アンダーフローが発生していると判断された場合、ステップＳ４９において、バッファ占有量決定部５３は、図６を用いて説明した様に、バッファアンダフロー分、仮想的な軌跡を上方に修正し、再エンコード区間の最初のバッファ占有量を決定し、処理は、ステップＳ５２に進む。
【０１１６】
ステップＳ４８において、アンダーフローが発生していないと判断された場合、ステップＳ５０において、再エンコード区間決定部５４は、図８を用いて説明した様に、再エンコードされない素材１の解析範囲内で、バッファ占有量が最も高いところを検出する。
【０１１７】
ステップＳ５１において、再エンコード区間決定部５４は、図８を用いて説明した様に、再エンコード範囲の開始点を検出された位置に変更する。再エンコード区間決定部５４は、新たに設定した再エンコード範囲の終了点を、バッファ占有量決定部５３に通知するので、バッファ占有量決定部５３は、新たに設定された再エンコード範囲の終了点のバッファ占有量を求める。
【０１１８】
ステップＳ４９またはステップＳ５１の処理の終了後、ステップＳ５２において、コマンドおよび制御情報生成部５５は、編集点、再エンコード区間、並びに、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報と、編集開始を示すコマンドを生成して出力し、処理は、図９のステップＳ２に戻り、ステップＳ３に進む。
【０１１９】
このような処理により、可変ビットレート方式で圧縮された画像の編集を行う場合に、素材のデータを全て解析することなく、再エンコード区間のバッファ制御を容易にし、画質を向上させることができるような、再エンコード区間および再エンコード区間の開始点および終了点におけるバッファ占有量を決定することができる。
【０１２０】
次に、図１１のフローチャートを参照して、図９のステップＳ２において実行される処理の第２の例である、再エンコード範囲およびバッファ占有量決定処理２について説明する。
【０１２１】
ステップＳ８１乃至ステップＳ８３において、図１０のステップＳ４１乃至ステップＳ４３と基本的に同様の処理が実行される。
【０１２２】
すなわち、発生符号量検出部５１は、予め設定されているディフォルトの再エンコード区間に基づいて、再エンコード区間と再エンコードされない区間の接続点近傍の所定の範囲の素材１および素材２の発生符号量を検出し、バッファ占有量解析部５２に供給する。バッファ占有量解析部５２は、図５を用いて説明した様に、素材２において、再エンコード区間の境界の次のピクチャのバッファ占有量が上限となるWorst caseにおいて、所定の範囲のバッファ占有量を解析し、Worst caseにおける仮想的なバッファ占有量の軌跡を求めて、バッファ占有量決定部５３および再エンコード区間決定部５４に供給する。バッファ占有量決定部５３は、解析された、Worst caseにおける仮想的なバッファ占有量の軌跡において、VBV_MAXを超えている部分があるか否かを判断する。
【０１２３】
ステップＳ８３において、VBV_MAXを超えている部分があると判断された場合、ステップＳ８４において、バッファ占有量決定部５３は、VBV_MAXを超えている部分の時間（例えば、図５におけるα、β）を基に、バッファアンダフローを起こさない条件を満たすように、再エンコード区間の最後のバッファ占有量を決定し、修正した仮想的なバッファ占有量の軌跡を再エンコード区間決定部５４に供給する。
【０１２４】
ステップＳ８３において、VBV_MAXを超えている部分がないと判断された場合、または、ステップＳ８４の処理の終了後、ステップＳ８５において、再エンコード区間決定部５４は、図７を用いて説明した様に、解析範囲内で、バッファ占有量が最も低いところを検出する。ステップＳ８５の処理においては、ステップＳ８４で再エンコード区間の最後のバッファ占有量が変更されていた場合は、変更後のバッファ占有量を基準とした仮想的な軌跡に基づいて、バッファ占有量が最も低いところが検出される。
【０１２５】
ステップＳ８６において、再エンコード区間決定部５４は、図７を用いて説明した様に、再エンコード範囲の終了点を検出された位置に変更する。再エンコード区間決定部５４は、新たに設定した再エンコード範囲の終了点を、バッファ占有量決定部５３に通知するので、バッファ占有量決定部５３は、新たに設定された再エンコード範囲の終了点のバッファ占有量を求める。
【０１２６】
ステップＳ８７およびステップＳ８８において、図１０のステップＳ４７およびステップＳ４８と基本的に同様の処理が実行される。
【０１２７】
すなわち、バッファ占有量解析部５２は、図６を用いて説明した様に、素材１において、再エンコード区間の境界のバッファ占有量が下限となるWorst caseにおいて、所定の範囲のバッファ占有量を解析し、Worst caseにおける仮想的なバッファ占有量の軌跡を求めて、バッファ占有量決定部５３および再エンコード区間決定部５４に供給する。バッファ占有量決定部５３は、解析された、Worst caseにおける仮想的なバッファ占有量の軌跡において、アンダーフローが発生しているか否かを判断する。
【０１２８】
ステップＳ８８において、アンダーフローが発生していると判断された場合、ステップＳ８９において、バッファ占有量決定部５３は、図６を用いて説明した様に、バッファアンダフロー分、仮想的な軌跡を上方に修正し、再エンコード区間の最初のバッファ占有量を決定し、修正した仮想的なバッファ占有量の軌跡を再エンコード区間決定部５４に供給する。
【０１２９】
ステップＳ８８において、アンダーフローが発生していないと判断された場合、または。ステップＳ８９の処理の終了後、ステップＳ９０において、再エンコード区間決定部５４は、図８を用いて説明した様に、解析範囲内で、バッファ占有量が最も高いところを検出する。ステップＳ９０の処理においては、ステップＳ８９で再エンコード区間の最初のバッファ占有量が変更されていた場合は、変更後のバッファ占有量を基準とした仮想的な軌跡に基づいて、バッファ占有量が最も高いところが検出される。
【０１３０】
ステップＳ９１において、再エンコード区間決定部５４は、図８を用いて説明した様に、再エンコード範囲の開始点を検出された位置に変更する。再エンコード区間決定部５４は、新たに設定した再エンコード範囲の開始点を、バッファ占有量決定部５３に通知するので、バッファ占有量決定部５３は、新たに設定された再エンコード範囲の開始点のバッファ占有量を求める。
【０１３１】
ステップＳ９２において、コマンドおよび制御情報生成部５５は、編集点、再エンコード区間、並びに、再エンコード区間の開始点および終了点におけるバッファ占有量を示す情報と、編集開始を示すコマンドを生成して出力し、処理は、図９のステップＳ２に戻り、ステップＳ３に進む。
【０１３２】
このような処理により、可変ビットレート方式で圧縮された画像の編集を行う場合に、素材のデータを全て解析することなく、再エンコード区間のバッファ制御を容易にし、画質を向上させることができるような、再エンコード区間および再エンコード区間の開始点および終了点におけるバッファ占有量を決定することができる。
【０１３３】
以上説明した処理によって、可変ビットレート方式で圧縮された画像の編集が、編集点近傍の一部分だけのデコードおよび再エンコードで可能になる。
【０１３４】
また、可変ビットレート方式で圧縮された画像を編集する際に、再エンコード区間と再エンコードされない区間とのつなぎの点の近傍の仮想バッファのバッファ占有量の遷移状態を調べ、再エンコード区間のピクチャに割り当てられる符号量を増やすことができるようにしたので、制御が容易になり、画質の劣化を防止して、高画質な編集画像を得ることができるようになる。
【０１３５】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図２を用いて説明した編集装置１は、図１２に示されるようなパーソナルコンピュータ３０１により構成される。
【０１３６】
図１２において、ＣＰＵ（Central Processing Unit）４１１は、ＲＯＭ（Read Only Memory）４１２に記憶されているプログラム、または記憶部４１８からＲＡＭ（Random Access Memory）４１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ４１３にはまた、ＣＰＵ４１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３７】
ＣＰＵ４１１、ＲＯＭ４１２、およびＲＡＭ４１３は、バス４１４を介して相互に接続されている。このバス４１４にはまた、入出力インタフェース４１５も接続されている。
【０１３８】
入出力インタフェース４１５には、キーボード、マウスなどよりなる入力部４１６、ディスプレイやスピーカなどよりなる出力部４１７、ハードディスクなどより構成される記憶部４１８、モデム、ターミナルアダプタなどより構成される通信部４１９が接続されている。通信部４１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１３９】
入出力インタフェース４１５にはまた、必要に応じてドライブ４２０が接続され、磁気ディスク４３１、光ディスク４３２、光磁気ディスク４３３、もしくは、半導体メモリ４３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１８にインストールされる。
【０１４０】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１４１】
この記録媒体は、図１２に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク４３１（フロッピディスクを含む）、光ディスク４３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク４３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ４３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ４１２や、記憶部４１８に含まれるハードディスクなどで構成される。
【０１４２】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４３】
なお、上述の実施の形態においては、編集装置１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図１３に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置４７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置４７２が、それぞれ独立した装置として構成されていても良い。
【０１４４】
このとき、復号装置４７１は、映像素材である圧縮符号化データを復号し、符号化装置４７２に供給するのみならず、本発明を適用することにより符号化装置４７２により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。
【０１４５】
さらに、上述の実施の形態においては、デコーダ２２乃至２４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ２７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。
【０１４６】
例えば、デコーダ２２乃至２４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ２７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。
【０１４７】
さらに、上述の実施の形態においては、デコーダ２２乃至２４が完全に復号したベースバンド信号を、エンコーダ２７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ２２乃至２４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ２７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１４８】
更に、図１３に示される復号装置４７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置４７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０１４９】
例えば、復号装置４７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置４７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置４７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置４７２のエンコード処理において、本発明を適用することができるのは言うまでもない。
【０１５０】
更に、復号装置４７１が完全に復号したベースバンド信号を、符号化装置４７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置４７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置４７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１５１】
更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置４５１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置４７２で構成されたトランスコーダ４８１においても、本発明は適用可能である。このようなトランスコーダ４８１は、例えば、スプライシングなどの編集を行う編集装置４８２、すなわち、上述した編集装置１のストリームスプライサ２５やエフェクト／スイッチ２６が実行可能な機能を有する編集装置が利用される場合などに用いられる。
【０１５２】
さらに、上述の実施の形態においては、ＣＰＵ１１およびＣＰＵ２０がそれぞれ別の形態で構成されているが、これに限らず、編集装置１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ１３およびメモリ２１がそれぞれ別の形態で構成されているが、これに限らず、編集装置１において１つのメモリとして構成する形態も考えられる。
【０１５３】
さらに、上述の実施の形態においては、ＨＤＤ１６、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。
【０１５４】
さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。
【０１５５】
さらに、上述の実施の形態においては、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。
【０１５６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１５７】
【図１】編集と部分再エンコードについて説明するための図である。
【図２】本発明を適用した編集装置１の構成を示すブロック図である。
【図３】図２のＣＰＵ１１が実行可能な機能について説明するための機能ブロック図である。
【図４】再エンコード区間とバッファ占有量を示す軌跡について説明する図である。
【図５】再エンコード区間の最後のバッファ占有量の決定について説明する図である。
【図６】再エンコード区間の最初のバッファ占有量の決定について説明する図である。
【図７】再エンコード区間の終了点の決定について説明する図である。
【図８】再エンコード区間の開始点の決定について説明する図である。
【図９】編集処理について説明するためのフローチャートである。
【図１０】再エンコードおよびバッファ占有量決定処理１について説明するためのフローチャートである。
【図１１】再エンコードおよびバッファ占有量決定処理２について説明するためのフローチャートである。
【図１２】パーソナルコンピュータの構成を示すブロック図である。
【図１３】本発明を適用可能な異なる装置の構成について説明するための図である。
【符号の説明】
【０１５８】
１  編集装置，  １１  ＣＰＵ，  １６  ＨＤＤ，  ２０  ＣＰＵ，  ２２乃至２４  
デコーダ，  ２５  ストリームスプライサ，  ２６  エフェクト／スイッチ，  ２７  エ
ンコーダ，  ５１  発生符号量検出部，  ５２  バッファ占有量解析部，  ５３  バッファ占有量決定部，  ５４  再エンコード区間決定部，  ５５  コマンドおよび制御情報生成部
【図１】
0004492484.tif 000002
【図２】
0004492484.tif 000003
【図３】
0004492484.tif 000004
【図４】
0004492484.tif 000005
【図５】
0004492484.tif 000006
【図６】
0004492484.tif 000007
【図７】
0004492484.tif 000008
【図８】
0004492484.tif 000009
【図９】
0004492484.tif 000010
【図１０】
0004492484.tif 000011
【図１１】
0004492484.tif 000012
【図１２】
0004492484.tif 000013
【図１３】
0004492484.tif 000014