(57)【要約】【課題】Ｈ．２６４符号化データの編集処理において、再符号化処理をすれば、膨大な処理負荷と、画質の劣化が発生する。処理負荷を抑制し、かつ画質劣化を発生させないためには、動き予測やＤＣＴ変換等の高負荷処理を行わずに、編集によって崩れてしまうピクチャ間の参照関係を復元する必要がある。【解決手段】ＩピクチャをＩＤＲ  Ｉピクチャに変換することによって崩れてしまう参照関係を、スライスヘッダ内のフィールドを書き換えて参照関係を復元する復元ステップと、マクロブロックレイヤーにある参照ピクチャインデックスフィールドを、ＩＤＲ  Ｉピクチャへの変換後の参照ピクチャリストのインデックスに合致するように変換する変換ステップとを有することを特徴とする、Ｈ．２６４符号化データ編集装置、プログラムおよび媒体。【選択図】図１３
2011023772.tif 000002
【特許請求の範囲】
【請求項１】
編集位置のピクチャ種別を判定する第１の判定ステップと、
前記第１の判定ステップで、ＯｐｅｎＧＯＰで、かつＩピクチャの直後の「参照されるＢピクチャ」と判定された場合に、スライスヘッダ内のフィールドを書き換えて、該ＩピクチャをＩＤＲ  Ｉピクチャに変換する第１の変換ステップと、
該参照されるＢピクチャを削除する削除ステップと、
前記第１の変換ステップと前記削除ステップにより参照関係が保持できないピクチャを検出する検出ステップと、
前記検出ステップで検出されたピクチャの参照関係をスライスヘッダ内のフィールドを書き換えて復元することができるかを判定する第２の判定ステップと、
前記第２の判定ステップで復元できると判定した場合に、スライスヘッダ内のフィールドを書き換えて参照関係を復元する復元ステップと、
前記判定ステップで復元できないと判定した場合に、該当ピクチャのマクロブロックレイヤーにある参照ピクチャインデックスフィールドの値を、参照関係が変更された後の参照ピクチャインデックスに変換する第２の変換ステップと
を有することを特徴とする符号化データを編集する編集方法。
【請求項２】
前記復元ステップにおいて、編集前の符号化データにおける参照ピクチャリストと、編集後の符号化データにおける参照ピクチャリストを比較し、編集前の符号化データにおける参照ピクチャインデックスを、編集後の符号化データにおける参照ピクチャインデックスに変換する第３の変換ステップを有することを特徴とする、請求項１に記載の符号化データを編集する編集方法。
【請求項３】
前記第２の変換ステップにおいて、編集前の符号化データにおける参照ピクチャリストと、編集後の符号化データにおける参照ピクチャリストを比較し、編集前の符号化データにおける参照ピクチャインデックスを、編集後の符号化データにおける参照ピクチャインデックスに変換する第４の変換ステップを有することを特徴とする請求項１に記載の符号化データを編集する編集方法。
【請求項４】
請求項１から請求項３のいずれかの請求項に記載の編集方法により、符号化データを編集する編集装置。
【請求項５】
Ｈ．２６４符号化データを編集することを特徴とする請求項４に記載の編集装置。
【請求項６】
請求項１から請求項３のいずれかの請求項に記載の編集方法を実行させるプログラム。
【請求項７】
請求項６に記載したプログラムを記録した媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＰＣ上で動作するソフトウェアで、圧縮された画像を編集する技術に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ（以下ＰＣ）を用いて、映像の編集が盛んに行われており、ビデオカメラで撮影した映像をＰＣ上で確認し、編集、保存するという機能を持つアプリケーションが数多く存在する。
【０００３】
一方、映像分野ではハイビジョン化が進み、ＨＤ解像度のＭＰＥＧ−２コーデックを用いた高画質な映像がビデオカメラ等で作成できるようになった。高解像度で高画質な映像を実現するには、高ビットレートでのＭＰＥＧ−２エンコードが必要となる。そこで、新たな動画コーデックであるＨ．２６４（ＭＰＥＧ−４  ＡＶＣ）に対する期待が高まっている。Ｈ．２６４は従来のＭＰＥＧ−２やＭＰＥＧ−４と比較し、２倍から３倍の圧縮効率を実現することが出来ると言われている。
【０００４】
ＭＰＥＧ２規格やＨ．２６４規格の動画像データの圧縮の手法においては、動き検出と呼ばれる技術が用いられている。そして動き検出の逆処理に相当する動き補償処理と呼称される処理を行って画像を復号する。動き検出とは簡単に言うと、連続するフレーム間で写っている要素がどのように動いたかを検出して効率よく圧縮する方法である。ＭＰＥＧ２規格の動き検出においてはマクロブロック（例えば１６画素×１６画素のブロック）ごとに、そのマクロブロックが前後のフレームにおいて、どの方向へどの程度動いているかという動きベクトルを求める。そして動きベクトルと、それに対応するマクロブロックの各画素との差分データを求める。そして動き補償処理において画像を復元する際には、この動きベクトルと画素の差分データを合成して元の画像を再現する。差分データは本来の画素データと比較するとデータサイズがかなり小さくなるので、高圧縮が可能となっている。圧縮前に比して、データサイズを小さくできることから、データ転送の速度が、圧縮しない場合に比べて、かなり速くなるという効果を得られる。
【０００５】
Ｈ．２６４は圧縮率を向上させるための様々な手法が盛り込まれており、ＭＰＥＧ−２と比較して、エンコードやデコードに膨大な処理を必要とする。特に、Ｈ．２６４のエンコードには、膨大な処理が必要となる。
【０００６】
Ｈ．２６４については、以下の非特許文献１に記載されている。Ｈ．２６４を利用する映像規格では、ランダムアクセスを容易に実現するために、ＭＰＥＧ−２のピクチャ構成と類似させる制約を設け、Ｈ．２６４にＧｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ（ＧＯＰ）の概念を導入している場合がある。
【０００７】
また、映像規格において、２つの映像データファイルをシームレスに再生する機能を定義し、シームレス再生を実現させるための条件を定めている場合がある。シームレス再生を実現させるための条件としては、以下のような条件が挙げられる。
・  多重化システムに関する条件
ビデオ、オーディオを多重化するシステム（例えば、ＭＰＥＧ−２  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍなど）の連続性を規定する条件。システムクロックの開始時間、システムのバッファ制御などに関する条件などがある。
・  ビデオのエレメンタリーストリームに関する条件
連続する２つの映像データのビデオエレメンタリデータに関する代表的な条件として、以下に挙げる条件がある。
−後半の映像データのデコード開始ピクチャはＩＤＲ  Ｉピクチャにする。
−前半の映像データと後半の映像データのビデオエレメンタリデータをつなぎ合わせて１つ映像データにした場合に、ＣＰＢバッファがオーバーフロー、アンダーフローしてはならない。
【０００８】
以上のような映像規格を用いて記録された映像データを編集する場合の、現実的な編集ケースとして、以下のような編集ケースが考えられる。
・  不要箇所を削除する編集
ＴＶ映像などを記録し、後にＣＭの部分のみを削除するようなケース。
・  切り替え効果などを付加する編集
ビデオカメラ等で映像を記録し、後にタイトルなどを挿入したり、シーンとシーンの切り替え効果を付加するようなケース。
【０００９】
これらの編集機能を実現し、編集後の映像データをシームレスに再生させる方法としては、大きく分けて以下の２つ方法がある。
・編集ポイント以降の映像を全て非圧縮データに復号、あるいは新規作成し、その非圧縮データを符号化してシームレス再生の条件を満たす方法。
・  編集ポイント近辺のみを部分的に非圧縮データに復号、あるいは新規作成し、編集ポイント近辺のみをシームレス再生の条件を満たすように符号化して、シームレス再生の条件を満たす方法。
【００１０】
前者は、Ｈ．２６４映像を最も容易に編集できるが、編集した映像ストリームを得るには膨大な処理を必要とし、長時間の映像ストリームの編集には適していない。また、Ｈ．２６４などの映像圧縮方式は、可逆変換ではないため、少なからず画質が劣化してしまう。
後者は、部分的な符号化処理しか必要ないので、前者の方法と比較して、格段に処理負荷を抑制できる。また、エンコードしない区間の映像の画質劣化は発生しないため、有効な手段である。しかしながら、映像データの繋ぎ目がＯｐｅｎ  ＧＯＰの場合、各スライスの参照ピクチャリストと、再符号化した参照ピクチャの整合性を確保しなければならない。
以下に示す特許文献１によれば、編集ポイントでＨ．２６４規格で定義されるＩＤＲ  Ｉ  ピクチャを挿入し、ピクチャ間で連続的に変化するパラメータを制御する方法が示されている。しかしながら、参照関係が崩れたＰピクチャ、Ｂピクチャに関しては、再符号化するしかなく、動き予測や、ＤＣＴ変換などの高負荷な処理が必要となってしまう。映像データの繋ぎ目がＯｐｅｎ  ＧＯＰで、参照されるＢピクチャを使用している場合、繋ぎ目での参照関係は完全に崩れてしまい、次のＧＯＰまで、ほぼ全てのピクチャを再符号化しなければならない。再符号化処理をすれば、前述したように、少なからず画質が劣化してしまう。
【非特許文献１】ＩＴＵ−Ｔ（ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓＵｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓｔａｎｄａｒｄｉｚａｔｉｏｎｓｅｃｔｏｒ）Ｈ．２６４規格書
【特許文献１】特開２００７−１９４７３５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、上記に示す編集時の処理負荷を抑制し、かつ画質の劣化を最小限に留めることを目的とする、Ｈ．２６４編集装置に関する。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明では、編集位置のピクチャ種別を判定する第１の判定ステップと、前記第１の判定ステップで、ＯｐｅｎＧＯＰで、かつＩピクチャの直後の「参照されるＢピクチャ」と判定された場合に、スライスヘッダ内のフィールドを書き換えて、該ＩピクチャをＩＤＲ  Ｉピクチャに変換する変換ステップと、該参照されるＢピクチャを削除する削除ステップと、前記変換ステップと前記削除ステップにより参照関係が保持できないピクチャを検出する検出ステップと、  前記検出ステップで検出されたピクチャの参照関係をスライスヘッダ内のフィールドを書き換えて復元することができるかを判定する第２の判定ステップと、前記第２の判定ステップで復元できると判定した場合に、スライスヘッダ内のフィールドを書き換えて参照関係を復元する復元ステップと、前記判定ステップで復元できないと判定した場合に、該当ピクチャのマクロブロックレイヤーにあるｒｅｆＩｄｘフィールドを変換する変換ステップとを有することを特徴とする。
【発明の効果】
【００１３】
符号化時に発生する動き予測、ＤＣＴ変換等の高負荷処理を可能な限り抑制しつつ、画質の劣化を最小限に抑え、シームレス接続可能なＨ．２６４編集が可能となる。
【発明を実施するための最良の形態】
【００１４】
（実施の形態１）
映像規格で採用されているＨ．２６４のデータ構成を図１に示す。本来、Ｈ．２６４には、Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ（ＧＯＰ）という概念はないが、映像再生時にランダムアクセスするために、映像規格でピクチャの構成を制限し、ＭＰＥＧ−２などと同じＧＯＰの概念を実現している。
【００１５】
Ｈ．２６４では、ＮＡＬ  Ｕｎｉｔと呼ばれるデータの単位を定義しており、識別子を付加することで、データの内容が識別できる。
ＮＡＬ  Ｕｎｉｔのデータの種別には、再生に最低限必要な情報として、以下のものがある。
・Ａｃｃｅｓｓ  Ｕｎｉｔ  Ｄｅｌｉｍｉｔｅｒ（ＡＵ  Ｄｅｌｉｍｉｔｅｒ）
ピクチャの境界と直後のピクチャのタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を示す情報を格納。
・Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ  （ＳＰＳ）
ピクチャの解像度、フレームレート、アスペクト比など、映像の基本となる情報を格納。以降のピクチャをデコードするためには必須のＮＡＬ  Ｕｎｉｔ。
・Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ  （ＰＰＳ）
符号化モード、符号化ツールの有無など、以降のピクチャをデコードするために必須の情報を格納。
・Ｓｌｉｃｅ  Ｄａｔａ
スライスヘッダとマクロブロック情報から構成されている。
スライスヘッダには、同スライス内のマクロブロックをデコードするために必要な格納されている。
マクロブロックは、１６ｘ１６ピクセル分に相当する圧縮された映像情報が格納されている。マクロブロックは大別すると、以下の２種類がある。
・イントラマクロブック
該当マクロブロックが含まれるピクチャ内の復号された映像情報を用いて、該当ブロックのデータを予測し、データを圧縮する、フレーム内圧縮を用いるマクロブロック。
・インターマクロブロック
既に復号された別のピクチャ内の映像情報を用いて、該当マクロブロックのデータを予測し、データを圧縮する、フレーム間圧縮を用いるマクロブロック。
各マクロブロックは、イントラ／インターの種別によって、以下のような情報が格納される。
イントラマクロブロックの場合
・マクロブロックの種別
・画面内予測モード
・残差情報
インターマクロブロックの場合
・マクロブロックの種別
・参照ピクチャインデックス
・モーションベクトル
・残差情報
・Ｅｎｄ  ｏｆ  Ｓｅｑｕｅｎｃｅ  （ＥＯＳ）
Ｈ．２６４のシーケンスの終端を示す情報を格納。
Ｈ．２６４規格では、スライスの種別を以下のように分類しており、スライスタイプとしてスライスヘッダに格納されている。
・Ｉスライス
イントラマクロブロックしか含まないスライス。
Ｉスライスの中でも、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが５のスライスは、ＩＤＲ  Ｉスライスと称される。
・Ｐスライス
イントラマクロブロックとインターマクロブロックを含むスライス。
インターマクロブロックは、前方方向のフレーム間圧縮のみを使用し、後方方向のフレーム間圧縮は使用しない。
・Ｂスライス
イントラマクロブロックとインターマクロブロックを含むスライス。
インターマクロブロックは、前方方向、後方方向、または双方向のフレーム間圧縮を使用する。
Ｈ．２６４規格におけるフレーム間圧縮は、参照ピクチャインデックスとモーションベクトルを用いる。ＭＰＥＧ−２規格では、参照可能なピクチャは１つしかないが、Ｈ．２６４規格では、複数の参照ピクチャの中から選択が可能であり、スライス単位で参照可能なピクチャのリストが生成される。８ｘ８画素を最小の単位として、参照可能なピクチャのリストのインデックスがマクロブロック情報の中に格納される。
【００１６】
参照可能なピクチャのリストは、Ｈ．２６４規格で「Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ  （ＤＰＢ）」と称される、既にデコードされた複数のピクチャの非圧縮画像のバッファと、スライスのタイプ、およびスライスヘッダに格納されている参照ピクチャリストのオペレーション情報によって、一意に定まる。
【００１７】
Ｈ．２６４規格によれば、ＩＤＲ  Ｉピクチャをデコードするタイミングで、ＤＰＢに溜まっている非圧縮画像のリストはフラッシュされ、以降、ｎａｌ＿ｒｅｆ＿ｉｄｃ  ＞  ０  のスライスを格納しているピクチャ（被参照ピクチャ）をデコードし、ＤＰＢに順に格納される。ＤＰＢに格納する非圧縮画像の最大格納数は、ＳＰＳに格納されているｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓフィールドによって定まる。ＤＰＢに既に最大格納数分の非圧縮画像が格納されている状態で、次の被参照ピクチャをＤＰＢに格納する場合は、Ｈ．２６４規格で定義される手順に従って、ＤＰＢを更新する。
【００１８】
Ｈ．２６４規格によれば、デコード順にピクチャを並べた場合、ＩＤＲ  Ｉピクチャをまたぐ参照関係でのフレーム間圧縮は、存在しない。逆に、ＩＤＲ  Ｉピクチャをまたがなければ、ＰピクチャがＩピクチャをまたいで、別のＢピクチャを参照することも可能である。
【００１９】
図２は、Ｈ．２６４規格におけるＰピクチャ参照関係を示しており、図３は、Ｈ．２６４規格におけるＢピクチャ参照関係を示している。ランダムアクセスは、ＩＤＲ  Ｉピクチャの挿入する間隔で可能となる。ＭＰＥＧ−２規格とは異なり、Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ（ＧＯＰ）という概念はない。
【００２０】
一方で、Ｈ．２６４を利用する映像規格では、従来のＭＰＥＧ−２規格を利用した映像規格と概念を合わせるため、Ｈ．２６４規格に制限を加えて運用されるケースがある。例えば、以下のような制限を加え、ＭＰＥＧ−２規格におけるＧＯＰの概念をＨ．２６４規格で実現するケースがある。
・ピクチャに含まれるスライスタイプの制限
Ｉピクチャには、Ｉスライスのみ使用可能。
Ｐピクチャには、Ｐスライスのみ使用可能。
Ｂピクチャには、Ｂスライスのみ使用可能。
・フレーム間圧縮における参照関係の制限
Ｉピクチャは、他のピクチャを参照しない。
Ｐピクチャは、ＩピクチャまたはＰピクチャを参照可能。ただし、デコード順にピクチャを並べた場合の、Ｉピクチャをまたぐ参照はしない。
Ｂピクチャは、表示順に並べた場合の、直前のＩピクチャまたはピクチャから、直後のＩピクチャまたはＰピクチャまでのピクチャを参照可能。
【００２１】
これらの制限を加えることで、Ｈ．２６４規格において、ＧＯＰの概念が導入できる。図４に示すように、ＩＤＲ  ＩピクチャをＧＯＰの境界として、Ｃｌｏｓｅｄ  ＧＯＰの概念を実現し、ＧＯＰ単位でのランダムアクセスが可能となる。また、図５に示すように、ＩピクチャをＧＯＰの境界として、先に述べた参照関係の制約を加えることで、Ｏｐｅｎ  ＧＯＰの概念を実現できる。
【００２２】
Ｏｐｅｎ  ＧＯＰは、Ｃｌｏｓｅｄ  ＧＯＰと比較して、圧縮効率を向上できるため、Ｈ．２６４を利用する映像規格において、しばしば利用される。また、Ｂピクチャの中でも、被参照ピクチャとなるＢピクチャを特別に、「参照されるＢピクチャ」などと称する場合もある。参照されるＢピクチャを用いることで、フレーム間圧縮の圧縮効率を向上できることが一般的に知られている。
【００２３】
本発明では、図６に示すような、１つの映像ファイルの不要区間を削除し、シームレス接続可能な２つの映像を作成する、映像編集に着目する。図１３は、本発明における編集装置の基本構成を示している。編集元となるＨ．２６４符号化００１を、ピクチャ解析部００２でピクチャの種別を解析する。Ｏｐｅｎ  ＧＯＰの先頭のＩピクチャの場合は、ＩＤＲ  Ｉピクチャ変換部００３で、ＩＤＲ  Ｉピクチャに変換する。先頭のＩピクチャでなければ、スライスヘッダ解析部００４において、参照関係が保持できているかを解析する。スライスヘッダのみの書き換えで、参照関係が復元可能な場合は、スライスヘッダ変換部００５で新たなスライスヘッダに置き換え、編集後の符号化データ００７を得る。スライスヘッダの書き換えだけでは、参照関係が復元できない場合は、マクロブロック内データ変換部００６において、マクロブロック内の参照ピクチャインデックスが記述されているフィールドを、編集元のＨ．２６４符号化データにおける参照インデックスから、編集後のＨ．２６４符号化データにおける参照インデックスに変換し、編集後の符号化データ００７を得る。
図７に本発明の編集装置における全体の処理手順を示す。編集位置がＯｐｅｎ  ＧＯＰかどうかの確認を行う判定ステップＳ００１において、編集位置がＩＤＲ  Ｉピクチャか、Ｉピクチャかを判定する。ここで、編集位置がＩＤＲ  Ｉピクチャであれば、以降のピクチャの参照関係は保証されているので、参照関係を確認する必要がない。編集位置がＩピクチャの場合、シームレス再生を実現するために、変換ステップＳ００２において、ＩピクチャをＩＤＲ  Ｉピクチャに変換する。
【００２４】
ＩピクチャをＩＤＲ  Ｉピクチャに変換すれば、以降のＰピクチャやＢピクチャの参照ピクチャリストを構築する際、編集前のＨ．２６４データとは異なる参照ピクチャリストになる可能性がある。図８に示すように、Ｉピクチャの場合は、ＤＰＢはフラッシュされず、ＩＤＲ  Ｉピクチャの場合は、ＤＰＢがフラッシュされるため、参照ピクチャリスト構築の際のＤＰＢの内容が異なるため、参照インデックスの異なる参照ピクチャリストになるからである。
【００２５】
また、Ｏｐｅｎ  ＧＯＰにおいて、デコード順にピクチャを並べた場合の、Ｉピクチャの直後に存在するＢピクチャは、削除ステップＳ００３で削除する。直前のＧＯＰの最後のＰピクチャを参照しており、また、表示順に並べた場合に、編集位置の範囲外であるためである。
【００２６】
削除するＢピクチャが参照されないＢピクチャの場合と、参照されるＢピクチャの場合で、後続のＰピクチャにおける参照インデックスと参照ピクチャの関係が異なる。
削除するＢピクチャが参照されないＢピクチャの場合、図８に示すように、後続のＰピクチャにおける参照関係は、編集前の同じ位置のＰピクチャと比較して、同じ可能性がある。一方、削除するＢピクチャが参照されるＢピクチャの場合、図９に示すように、次のＰピクチャにおける参照ピクチャリストは、全く異なる関係になる。
【００２７】
図８は、例として、最大３ピクチャの参照が可能な場合に、参照されないＢピクチャでＨ．２６４符号化されたデータを、Ｉピクチャの位置で編集し、先頭のＩピクチャをＩＤＲ  Ｉに変換した場合の参照ピクチャリストの内容の差異を示している。Ｌ０方向は、前方向を意味しており、Ｌ１方向は、後方向を意味する。Ｐピクチャにおける前方参照ピクチャリストは、Ｈ．２６４規格に従って、デコード順に被参照ピクチャを順に配置する。また、Ｂピクチャにおける、前方向、後方向の参照ピクチャリストは、Ｈ．２６４規格に従って、表示順に被参照ピクチャを順に配置する。先に述べた、映像規格における参照関係の制約を適用すると、実際に参照可能なピクチャのインデックスは、編集前と編集後で相違がないことがわかる。即ち、参照されないＢピクチャしか使用していないＨ．２６４符号化データを編集する際には、Ｉピクチャの直後のＢピクチャを削除しても、以降の参照関係は保持されることが分かる。従って、ＩＤＲ  Ｉピクチャを挿入することにより、影響を与えるのは、連続的に変化するスライスヘッダ上のパラメータのみとなる。
同じく、図９は、例として、最大３ピクチャの参照が可能な場合に、参照されるＢピクチャでＨ．２６４符号化されたデータを、Ｉピクチャの位置で編集し、先頭のＩピクチャをＩＤＲ  Ｉに変換した場合の参照ピクチャリストの内容の差異を示している。ここでは、Ｐ（１２）における参照関係が大きく変化していることが分かる。編集前のＰ（１２）における参照ピクチャリストでは、Ｉ（９）の順序が３番目であるのに対し、編集後のＰ（１２）における参照ピクチャリストでは、Ｉ（９）の順序が１番目であり、参照関係が保持できない。
【００２８】
編集前のＰ（１２）におけるマクロブロックで、インターマクロブロックにおける参照ピクチャインデックスは、すべて３番目のＩ（９）を指すように、ｒｅｆ＿ｉｄｘ＿Ｌ０  ＝  ２（０がリストの先頭を指す）となっている。しかしながら、編集後のＰ（１２）における参照ピクチャリスト内には、１つのピクチャしか存在せず、元のマクロブロックに格納されているｒｅｆ＿ｉｄｘ＿Ｌ０  ＝  ２という情報は使用できない。スライスヘッダの書き換えだけでは、この参照関係を復元することはできない。
【００２９】
ＩＤＲ  Ｉピクチャに変換することにより、後続の参照関係が保持されるかどうかを、判定ステップＳ００４で判定する。参照関係が保持されている場合は、さらに以降のピクチャの参照関係が保持されていることを確認し、終端のピクチャに辿り着くまで参照関係の確認を行う。参照関係が保持されていない場合は、参照関係の復元を行う。まず、スライスヘッダの書き換えのみで、参照関係を復元することができるかを、判定ステップＳ００５で判定する。
【００３０】
スライスヘッダの書き換えのみで、参照関係を復元可能な場合は、スライスヘッダ書き換えステップＳ１００において、スライスヘッダ内の参照ピクチャリストの操作に関するフィールドを追加、あるいは書き換え、参照関係を復元する。スライスヘッダの書き換えだけでは、参照関係が復元できない場合は、マクロブロック書き換えステップＳ２００において、マクロブロックのｒｅｆ＿ｉｄｘフィールドを書き換え、参照関係を復元する。
スライスヘッダ書き換えステップＳ１００においては、図１０に示すように、まず、Ｓ３００において、編集前と編集後の各ピクチャの参照関係を一致させる、参照ピクチャインデックス変換テーブルを作成する。
【００３１】
参照ピクチャインデックス変換テーブルは、ピクチャ単位で生成する。参照ピクチャインデックス変換テーブル作成の処理手順を図１１に示す。Ｓ３０１において、変換テーブルを初期化し、Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５、Ｓ３０７、Ｓ３０８において、編集前の参照ピクチャリストと、編集後の参照ピクチャリストを比較し、編集前の参照ピクチャリスト内のＮ番目のピクチャ（Ｎ  ＝  ０，  １，  ２，  ．．．）が、編集後の参照ピクチャリストのどの位置に移動したか確認（例えばＭ番目）し、Ｓ３０７において、変換テーブルを作成する。このとき、編集前の参照ピクチャリストのＮ番目のピクチャが、編集後の参照ピクチャリスト内に存在しない場合は、テーブルの該当インデックスに「−１」などと、存在しないことが分かる数値を挿入する。図１１の例のように、初期値を「−１」とし、代入しないという方法もある。
【００３２】
図９のＰ（１２）における参照関係を例に、テーブルを作成すると、以下の数式１のようになる。
【００３３】
【数１】
2011023772.tif 000003
【００３４】
以上の参照ピクチャインデックス変換テーブル作成ステップＳ３００で作成した変換テーブルをＳ１０１で用いて、参照ピクチャリストの順序を入れ替える。そして、Ｓ１０２において、スライスヘッダにｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇ（）フィールドを追加し、入れ替えをＨ．２６４符号化データに反映する。
【００３５】
マクロブロック書き換えステップＳ２００においては、図１２に示すように、動き予測やＤＣＴ変換等の高負荷処理を行わず、高速に参照関係を復元したＨ．２６４符号化データを生成する方法を提供する。
【００３６】
まず、編集前と編集後の各ピクチャの参照関係を一致させる、参照ピクチャインデックス変換テーブルを、作成ステップＳ３００において作成する。
【００３７】
参照ピクチャインデックス変換テーブル作成ステップＳ３００で得られた変換テーブルを使用し、各マクロブロックのｒｅｆ＿ｉｄｘ＿ＬＸフィールドを変換する。可変長符号の復号ステップＳ２０２において、編集前の該当ピクチャのマクロブロックの可変長符号を復号し、マクロブロックの情報を得る。このとき、通常の復号処理で行う、画面内予測処理、動き補償処理、逆量子化、逆ＤＣＴ変換等の処理は不要である。マクロブロックに含まれる情報は、前述したように、イントラマクロブロックとインターマクロブロックで異なる。
イントラマクロブロックの場合
・マクロブロックの種別
・画面内予測モード
・残差情報
インターマクロブロックの場合
・マクロブロックの種別
・参照ピクチャインデックス
・モーションベクトル
・  残差情報
マクロブロック種別判定ステップＳ２０３において、イントラマクロブロックか、インターマクロブロックかを判定する。この内、インターマクロブロック情報に格納されている「参照ピクチャインデックス」を、変換ステップＳ２０４において、参照ピクチャインデックス変換テーブルで変換し、数式２及び３のように、新たな参照ピクチャインデックスを生成する。
【００３８】
【数２】
2011023772.tif 000004
【００３９】
【数３】
2011023772.tif 000005
【００４０】
可変長符号化ステップＳ２０５において、変換したｒｅｆ＿ｉｄｘ＿ＬＸの情報で、各マクロブロックを可変長符号化する。
【００４１】
以上の処理をマクロブロックの終端まで繰り返し、参照関係を復元したスライスデータを得る。
【００４２】
以上のように、本発明では、スライスヘッダの書き換えでは、復元できない参照関係を、高速に復元することができる。
【産業上の利用可能性】
【００４３】
本発明に係る画像符号化データ編集装置は、Ｈ．２６４の規格にしたがって圧縮された映像ストリームを編集する装置として活用することができる。
【図面の簡単な説明】
【００４４】
【図１】映像規格で採用されているＨ．２６４データ構成を表した図
【図２】Ｈ．２６４での参照関係（Ｐピクチャ）を表した図
【図３】Ｈ．２６４での参照関係（Ｂピクチャ）を表した図
【図４】映像規格で定義されているＣｌｏｓｅｄ  ＧＯＰでの参照関係を表した図
【図５】映像規格で定義されているＯｐｅｎ  ＧＯＰでの参照関係を表した図
【図６】映像編集の例を表した図
【図７】本発明の編集処理手順を表したフローチャート
【図８】参照されるＢピクチャを使用しない場合の参照関係の変化を表した図
【図９】参照されるＢピクチャを使用した場合の参照関係の変化を表した図
【図１０】本発明のスライスヘッダ書き換え手順を表したフローチャート
【図１１】本発明の参照ピクチャインデックス変換テーブル作成手順を表したフローチャート
【図１２】本発明のマクロブロック書き換え手順を表したフローチャート
【図１３】本発明の編集装置の構成を表したブロック図
【符号の説明】
【００４５】
００１    編集元のＨ．２６４符号化データ
００２    ピクチャ種別解析装置
００３    ＩＤＲ  Ｉピクチャへの変換装置
００４    スライスヘッダ解析装置
００５    スライスヘッダ変換装置
００６    参照インデックスフィールド変換装置
００７    編集後のＨ．２６４符号化データ
【図１】
2011023772.tif 000006
【図２】
2011023772.tif 000007
【図３】
2011023772.tif 000008
【図４】
2011023772.tif 000009
【図５】
2011023772.tif 000010
【図６】
2011023772.tif 000011
【図７】
2011023772.tif 000012
【図８】
2011023772.tif 000013
【図９】
2011023772.tif 000014
【図１０】
2011023772.tif 000015
【図１１】
2011023772.tif 000016
【図１２】
2011023772.tif 000017
【図１３】
2011023772.tif 000018