(57)【要約】【課題】  再エンコード前後でエンコード条件が等しい場合のみ、再エンコード前の統計量を利用してエンコードを行う。【解決手段】  ステップＳ６１で、再エンコード前のピクチャから得られる統計量により算出された符号化難易度が取得され、ステップＳ６２で、次にエンコードするピクチャは、再エンコード前後で、エンコード条件、すなわち、ピクチャタイプと参照画とが等しいか否かが判断される。エンコード条件が等しい場合、ステップＳ６３で、算出された符号化難易度が用いられてエンコードが行われる。エンコード条件が等しくない場合、ステップＳ６４で、算出された符号化難易度が用いられずにエンコードが行われる。ステップＳ６５で、最後のピクチャの処理が終了されていないと判断された場合、処理は、ステップＳ６２に戻り、最後のピクチャの処理が終了されたと判断された場合、処理は終了される。本発明は、編集装置に適用できる。【選択図】図７
2006067098.tif 000002
【特許請求の範囲】
【請求項１】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理を実行する情報処理装置において、
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段と、
前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、
前記接続手段により接続されて生成された前記第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコード手段と、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコード手段によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と、
前記デコード手段、前記接続手段、前記エンコード手段、および、前記編集映像データ生成手段が実行する処理を制御する制御手段と
を備え、
前記制御手段は、
前記エンコード手段により実行されるエンコードの難易度を算出するための統計量を、前記デコード手段、または、前記デコード手段によりデコードされる前の前記第１の圧縮映像データおよび前記第２の圧縮映像データから取得し、
取得された前記統計量を用いて前記難易度を算出し、
算出された前記難易度を基に、前記エンコード手段により実行されるエンコードの発生符号量が制御されるように、前記エンコード手段を制御する
ことを特徴とする情報処理装置。
【請求項２】
前記エンコード手段は、前記エンコード手段によりエンコードされるピクチャの符号化条件が前記エンコード手段によるエンコードの前後で一致する場合、算出された前記難易度を基に、前記発生符号量を制御する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記符号化条件は、エンコードにおけるピクチャタイプおよび参照されるピクチャである
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記制御手段は、前記エンコード手段によりエンコードされるピクチャのエンコード前のピクチャタイプに関する情報を取得し、
前記エンコード手段は、前記制御手段による制御に基づいて、前記第１の圧縮映像データおよび前記第２の圧縮映像データと比較して、エンコードされる場合の参照画が同一であるピクチャは、前記第１の圧縮映像データおよび前記第２の圧縮映像データと同一のピクチャタイプとなるように、ピクチャタイプを決定する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記統計量は、ピクチャの符号量と、平均量子化スケールコードであり、
前記難易度は、前記ピクチャの符号量と前記平均量子化スケールコードとの積である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理を実行する情報処理装置の情報処理方法において、
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、
前記統計量取得ステップの処理により取得された前記統計量を用いて前記難易度を算出する難易度算出ステップと、
前記第１の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、
前記接続ステップの処理により接続されて生成された前記第３の非圧縮映像信号を、前記難易度算出ステップの処理により算出された前記難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
を含むことを特徴とする情報処理方法。
【請求項７】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理をコンピュータに事項させるためのプログラムであって、
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、
前記統計量取得ステップの処理により取得された前記統計量を用いて前記難易度を算出する難易度算出ステップと、
前記第１の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、
前記接続ステップの処理により接続されて生成された前記第３の非圧縮映像信号を、前記難易度算出ステップの処理により算出された前記難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
を含むことを特徴とする処理をコンピュータに実行させるための、コンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項８】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理をコンピュータに事項させるためのプログラムであって、
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、
前記統計量取得ステップの処理により取得された前記統計量を用いて前記難易度を算出する難易度算出ステップと、
前記第１の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、
前記接続ステップの処理により接続されて生成された前記第３の非圧縮映像信号を、前記難易度算出ステップの処理により算出された前記難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
【請求項９】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理を実行する情報処理装置において、
前記第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、前記編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコード手段と、
前記エンコード手段により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の前記第１の圧縮映像データおよび前記第２の圧縮映像データから取得し、取得された前記統計量を用いて前記難易度を算出し、算出された前記難易度を基に、前記エンコード手段により実行されるエンコードの発生符号量が制御されるように、前記エンコード手段よるエンコード処理を制御する制御手段と
を備えることを特徴とする情報処理装置。
【請求項１０】
第１の圧縮映像データと第２の圧縮映像データとを接続して編集する処理を実行する情報処理装置の情報処理方法において、
前記第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、前記編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコードステップと、
前記エンコードステップの処理により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の前記第１の圧縮映像データおよび前記第２の圧縮映像データから取得し、取得された前記統計量を用いて前記難易度を算出し、算出された前記難易度を基に、前記エンコードステップの処理により実行されるエンコードの発生符号量が制御されるように、前記エンコードステップの処理によるエンコード処理を制御するエンコード制御ステップと
を含むことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、双方向のフレーム間予測を用いて圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。
【背景技術】
【０００２】
MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。
【０００３】
ＭＰＥＧにおいて、Ｉピクチャ（Ｉ-Picture）、Ｐピクチャ（Ｐ-Picture）、および、Ｂピクチャ（B-Picture）から構成される、双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP（Group of Picture)方式の圧縮と呼ばれる。
【０００４】
Ｉピクチャとは、フレーム内（Intra）符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前（順方向）のフレームからの差分によって表現される前方向予測符号化ピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、時間的に前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。
【０００５】
ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、GOPを長くすれば（すなわち、Long GOPを構成するピクチャ数を増加させれば）、映像の圧縮率を高くすることができるので、デジタル放送やDVD（Digital Versatile Disk）ビデオでの利用に適している。しかしながら、GOPが長すぎると、フレーム精度での編集コントロールが困難となり、特に、業務用用途での編集では、運用上の問題が発生する。
【０００６】
これらの画像圧縮方式において、一般に、良好な画質を実現する方法として、固定の量子化値で入力素材を一旦エンコードして、その際の発生ビット量などのデータを収集し、その結果に基づいて、実際のエンコードを行う際に、可変レートエンコードのビットレートの割り当てを決定することができるようにした、いわゆる２パスエンコードと称される手法が知られている。しかしながら、この方法では、リアルタイムでデータをエンコードすることが不可能である。
【０００７】
したがって、映像を編集するときに、編集点付近の素材映像の一部のみをデコードして接続し、再度エンコードを行って、圧縮符号化された編集映像データを得ることを考えた場合、２パスエンコード方式は、応答性の面で問題があり、適用することができない。
【０００８】
編集などのように、リアルタイム性を求められるエンコード処理に利用するために、例えば、簡易２パスと称される方法がある。この方式は、出力されるデータをエンコードするためのメインエンコーダ以外に、サブとなるエンコーダを用いる必要があり、供給されたデータを、サブとなるエンコーダにより固定量子化値でエンコードし、その情報をもとに、FIFOを使って遅延させられたデータを、メインエンコーダでエンコードするようになされているものである（例えば、特許文献１）。
【０００９】
【特許文献１】特開平９−２６１６３１号公報
【００１０】
図１を用いて、簡易２パスを適用したエンコーダ１について説明する。
【００１１】
エンコーダ１は、入力端子１１を介して映像データの供給を受けるエンコーダコントローラ１２と、映像データの動き予測を行う動き予測部１３と、動き予測部１３からエンコーダコントローラ１２を介して供給される動き予測処理後の映像データを選考してエンコードするサブのエンコーダであるエンコーダ１５と、エンコーダ１の全体の制御を司るＣＰＵ１６と、上記映像データを遅延させるためのＦＩＦＯ（First In First Out）メモリ１７と、ＦＩＦＯメモリ１７から読み出された映像データをＣＰＵ１６からのターゲットビット量データに基づいてエンコードし、エンコードした映像データを出力する、メインのエンコーダであるエンコーダ１８とで構成される。
【００１２】
エンコーダコントローラ１２は、ピクチャタイプデータＩＢＰを、動き予測部１３、および、ＣＰＵ１６に供給するとともに、Ｉピクチャはそのまま、ＢピクチャおよびＰピクチャの場合には、前の映像データとの差分をとり、その差分信号を算出し、エンコーダ１５およびＦＩＦＯメモリ１７に出力する。動き予測部１３は、エンコーダコントローラ１２からのピクチャタイプデータＩＢＰに基づいて、映像データのうち、ＢおよびＰピクチャに対し、動き検出および動き補償処理を施す。
【００１３】
エンコーダ１５は、供給されたデータを基に、ディフィカルティデータを求め、ＣＰＵ１６に供給する。ＣＰＵ１６は、エンコーダ１５からのディフィカルティデータと、エンコーダ１８から供給される発生ビット量データとに基づいて、ターゲットビット量データを求め、このターゲットビット量データを、エンコーダ１８に供給する。
【００１４】
また、エンコーダコントローラ１２からの映像データは、ＦＩＦＯメモリ１７に供給されて、所定時間だけ遅延される。この所定時間は、エンコーダ１５でディフィカルティデータが得られ、このディフィカルティデータを用いてＣＰＵ１６が演算を行ってターゲットビット量データを得、このターゲットビット量データを、エンコーダ１８に供給するまでの時間に略等しい。
【００１５】
エンコーダ１８は、ＦＩＦＯメモリ１７から供給された、所定時間だけ遅延された映像データを、ＣＰＵ１６から供給されるターゲットビット量データに基づいてエンコードして出力する。
【００１６】
このエンコーダ１においては、Ｌピクチャ分（Ｌは任意の整数）のディフィカルティデータを用いてターゲットビット量データが求められ、このターゲットビット量データに基づいて１つのピクチャが符号化される。つまり、ビット量のフィード・フォワード制御が行われる。
【００１７】
この方法は、1GOPの処理にかかる時間程度(例えば0.5秒)の遅延が加わるものの、リアルタイムに高画質にエンコードを行うことができる、優れた方法である。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、図１を用いて説明したエンコーダ１は、エンコーダ１５およびエンコーダ１８の２つのエンコーダを設けなければならない。一般に、画像圧縮のためのエンコーダは、大規模の回路を必要とし、高価なものである。エンコーダを２つ搭載するエンコーダ１は、コスト、スペース効率、消費電力の点などにおいては、優れているとはいえない。
【００１９】
本発明はこのような状況に鑑みてなされたものであり、Long GOP方式の圧縮映像データ編集時に、２つ目のエンコーダを追加することなく、簡易２パスと同等の機能を実現することができるようにするものである。
【課題を解決するための手段】
【００２０】
本発明の第１の情報処理装置は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段と、第１の圧縮映像データがデコード手段によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコード手段によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、接続手段により接続されて生成された第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコード手段と、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード手段によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と、デコード手段、接続手段、エンコード手段、および、編集映像データ生成手段が実行する処理を制御する制御手段とを備え、制御手段は、エンコード手段により実行されるエンコードの難易度を算出するための統計量を、デコード手段、または、デコード手段によりデコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段を制御することを特徴とする。
【００２１】
エンコード手段には、エンコード手段によりエンコードされるピクチャの符号化条件がエンコード手段によるエンコードの前後で一致する場合、算出された難易度を基に、発生符号量を制御させるようにすることができる。
【００２２】
符号化条件は、エンコードにおけるピクチャタイプおよび参照されるピクチャであるものとすることができる。
【００２３】
制御手段には、エンコード手段によりエンコードされるピクチャのエンコード前のピクチャタイプに関する情報を取得させるようにすることができ、エンコード手段には、制御手段による制御に基づいて、第１の圧縮映像データおよび第２の圧縮映像データと比較して、エンコードされる場合の参照画が同一であるピクチャは、第１の圧縮映像データおよび第２の圧縮映像データと同一のピクチャタイプとなるように、ピクチャタイプを決定させるようにすることができる。
【００２４】
統計量は、ピクチャの符号量と、平均量子化スケールコードであるものとすることができ、難易度は、ピクチャの符号量と平均量子化スケールコードとの積であるものとすることができる。
【００２５】
本発明の第１の情報処理方法は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップと、第１の圧縮映像データがデコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、接続ステップの処理により接続されて生成された第３の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする。
【００２６】
本発明の第１の記録媒体に記録されているプログラムは、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップと、第１の圧縮映像データがデコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、接続ステップの処理により接続されて生成された第３の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００２７】
本発明の第１のプログラムは、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップと、第１の圧縮映像データがデコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、接続ステップの処理により接続されて生成された第３の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００２８】
本発明の第１の情報処理装置および情報処理方法、並びに、プログラムにおいては、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データがデコードされ、エンコードの難易度を算出するための統計量が取得され、取得された統計量を用いて難易度が算出され、第１の圧縮映像データがデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードされて生成された第２の非圧縮映像信号とが、編集点で接続され、第３の非圧縮映像信号が生成され、第３の非圧縮映像信号が、算出された難易度を基に制御される発生符号量でエンコードされ、第３の圧縮映像データが生成され、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、第３の圧縮映像データとが接続されて、圧縮符号化された編集映像データが生成される。
【００２９】
本発明の第２の情報処理装置は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコード手段と、エンコード手段により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段よるエンコード処理を制御する制御手段とを備えることを特徴とする。
【００３０】
本発明の第２の情報処理方法は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコードステップと、エンコードステップの処理により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコードステップの処理により実行されるエンコードの発生符号量が制御されるように、エンコードステップの処理によるエンコード処理を制御するエンコード制御ステップとを含むことを特徴とする。
【００３１】
本発明の第２の情報処理装置および情報処理方法においては、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号が、エンコードされて、第３の圧縮映像データが生成され、エンコードの難易度を算出するための統計量が、デコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得されて、取得された統計量を用いて難易度が算出され、算出された難易度を基に、エンコードの発生符号量が制御される。
【発明の効果】
【００３２】
本発明によれば、編集処理を行うようにすることができ、特に、エンコードの処理前にエンコードの難易度を算出するための統計量が取得され、取得された統計量を用いて難易度が算出されて、この難易度を基にエンコード時の発生符号量が制御されるようになされているので、１つのエンコーダで簡易２パスと同等の処理を行うようにすることができる。
【００３３】
また、他の本発明によれば、編集処理を行うようにすることができ、特に、エンコードの処理前にエンコードの難易度が算出されて、この難易度を基にエンコード時の発生符号量が制御されるようになされているので、１つのエンコーダで簡易２パスと同等の処理を行うようにすることができる。
【発明を実施するための最良の形態】
【００３４】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３５】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００３６】
請求項１に記載の情報処理装置（例えば、図２の編集装置５１）は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段（例えば、図２のデコーダ７２およびデコーダ７３）と、第１の圧縮映像データがデコード手段によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコード手段によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続手段（例えば、図２のエフェクト／スイッチ７６）と、接続手段により接続されて生成された第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコード手段（例えば、図２のエンコーダ７７）と、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード手段によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段（例えば、図２のストリームスプライサ７５）と、デコード手段、接続手段、エンコード手段、および、編集映像データ生成手段が実行する処理を制御する制御手段（例えば、図２のＣＰＵ７０）とを備え、制御手段は、エンコード手段により実行されるエンコードの難易度（例えば、global complexity measureなどの符号化難易度）を算出するための統計量（例えば、ピクチャの符号量と、平均量子化スケールコード）を、デコード手段、または、デコード手段によりデコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段を制御することを特徴とする。
【００３７】
エンコード手段は、エンコード手段によりエンコードされるピクチャの符号化条件（例えば、エンコードにおけるピクチャタイプおよび参照されるピクチャ）がエンコード手段によるエンコードの前後で一致する場合、算出された難易度を基に、発生符号量を制御することができる。
【００３８】
請求項６に記載の情報処理方法は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップ（例えば、図５のステップＳ５の処理）と、エンコードの難易度（例えば、global complexity measureなどの符号化難易度）を算出するための統計量（例えば、ピクチャの符号量と、平均量子化スケールコード）を取得する統計量取得ステップ（例えば、図５のステップＳ６の処理）と、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップ（例えば、図５のステップＳ７の処理）と、第１の圧縮映像データがデコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続ステップ（例えば、図５のステップＳ８の処理）と、接続ステップの処理により接続されて生成された第３の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップ（例えば、図５のステップＳ９の処理）と、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップ（例えば、図５のステップＳ１０の処理）とを含むことを特徴とする。
【００３９】
また、請求項７に記載の記録媒体に記録されているプログラム、および、請求項８に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項６に記載の情報処理方法と同様である。
【００４０】
請求項９に記載の情報処理装置（例えば、図２の編集装置５１）は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコード手段（例えば、図２のエンコーダ７７）と、エンコード手段により実行されるエンコードの難易度（例えば、global complexity measureなどの符号化難易度）を算出するための統計量（例えば、ピクチャの符号量と、平均量子化スケールコード）を、デコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段よるエンコード処理を制御する制御手段（例えば、図２のＣＰＵ７０）とを備えることを特徴とする。
【００４１】
請求項１０に記載の情報処理方法は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコードステップ（例えば、図５のステップＳ９の処理）と、エンコードステップの処理により実行されるエンコードの難易度（例えば、global complexity measureなどの符号化難易度）を算出するための統計量（例えば、ピクチャの符号量と、平均量子化スケールコード）を、デコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコードステップの処理により実行されるエンコードの発生符号量が制御されるように、エンコードステップの処理によるエンコード処理を制御するエンコード制御ステップ（例えば、図７を用いて説明した処理）とを含むことを特徴とする。
【００４２】
以下、図を参照して、本発明の実施の形態について説明する。
【００４３】
図２は本発明を適用した編集装置５１のハードウェア構成を示すブロック図である。
【００４４】
ＣＰＵ（Central Processing Unit）６１は、ノースブリッジ６２に接続され、例えば、ＨＤＤ（Hard disk Drive）６６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ７０が実行する編集処理を制御するためのコマンドを生成し、出力する。ノースブリッジ６２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）６４に接続され、例えば、ＣＰＵ６１の制御に基づいて、サウスブリッジ６５を介して、ＨＤＤ６６に記憶されているデータの供給を受けて、ＰＣＩバス６４、ＰＣＩブリッジ６７を介して、メモリ６８に供給する。また、ノースブリッジ６２は、メモリ６３とも接続されており、ＣＰＵ６１の処理に必要なデータを授受する。
【００４５】
メモリ６３は、ＣＰＵ６１が実行する処理に必要なデータを保存する。サウスブリッジ６５は、ＨＤＤ６６のデータの書き込みおよび読み出しを制御する。ＨＤＤ６６には、圧縮符号化された編集用の素材が記憶されている。
【００４６】
ＰＣＩブリッジ６７は、メモリ６８のデータの書き込みおよび読み出しを制御したり、デコーダ７２乃至７４、または、ストリームスプライサ７５への圧縮符号化データの供給を制御するとともに、ＰＣＩバス６４およびコントロールバス６９のデータの授受を制御する。メモリ６８は、ＰＣＩブリッジ６７の制御に基づいて、ＨＤＤ６６により読み出された、編集用素材である圧縮符号化データや、ストリームスプライサ７５から供給される編集後の圧縮符号化データを記憶する。
【００４７】
ＣＰＵ７０は、ノースブリッジ６２、ＰＣＩバス６４、ＰＣＩブリッジ６７、および、コントロールバス６９を介して、ＣＰＵ６１から供給されたコマンドにしたがって、ＰＣＩブリッジ６７、デコーダ７２乃至７４、ストリームスプライサ７５、エフェクト／スイッチ７６、および、エンコーダ７７が実行する処理を制御する。メモリ７１は、ＣＰＵ７０の処理に必要なデータを記憶する。
【００４８】
デコーダ７２乃至デコーダ７４は、そして、デコーダ７２乃至デコーダ７４は、ＣＰＵ７０の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号を出力する。ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、供給された圧縮映像データを、所定のフレームで結合する。また、デコーダ７２乃至デコーダ７４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ７４が、独立した装置として設けられている場合、デコーダ７４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。
【００４９】
エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、デコーダ７２またはデコーダ７３から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ７７に供給する。エンコーダ７７は、ＣＰＵ７０の制御に基づいて、供給された非圧縮の映像信号をエンコードして、圧縮符号化された圧縮映像データを、ストリームスプライサ７５に出力する。
【００５０】
次に、編集装置５１の動作について説明する。
【００５１】
ＨＤＤ６６には、Long GOPのOpen GOP方式で圧縮された圧縮素材映像１および圧縮素材映像２のデータが記憶されている。
【００５２】
ＣＰＵ６１は、サウスブリッジ６５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ６６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ６２、ＰＣＩバス６４、および、ＰＣＩブリッジ６７を介して、メモリ６８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ６２、ＰＣＩバス６４、ＰＣＩブリッジ６７、および、コントロールバス６９を介して、ＣＰＵ７０に供給する。
【００５３】
ＣＰＵ７０は、ＣＰＵ６１から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータのうち、再エンコードを行う範囲を決定する。
【００５４】
具体的には、ＣＰＵ７０は、圧縮素材映像１において、再エンコードする区間の開始点を、部分再エンコードされた圧縮映像の前に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最後のピクチャのピクチャタイプが、ＩピクチャまたはＰピクチャになるように決定する。
【００５５】
すなわち、ＣＰＵ７０は、例えば、図３に示されるように、再エンコードしない部分の圧縮素材映像１のディスプレイオーダで最後のピクチャのピクチャタイプがＰピクチャ１１０になるように、再エンコードする区間の開始点を、圧縮素材映像１において、Ｐピクチャ８５の次のＢピクチャ８６に決定する。換言すれば、ＣＰＵ７０は、再エンコードしない部分の圧縮映像がGOPの終了位置となるようにすることにより、エンコード処理が行いやすいようにすることができる。
【００５６】
また、ＣＰＵ７０は、圧縮素材映像２において、再エンコードする区間の終了点を、部分再エンコードされた圧縮映像の後に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように決定する。
【００５７】
すなわち、ＣＰＵ７０は、例えば、図３に示されるように、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャ１１１になるように、再エンコードする区間の終了点を、圧縮素材映像２において、Ｉピクチャ９１の前のＢピクチャ９０に決定する。
【００５８】
そして、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、メモリ６８に記憶されている圧縮符号化された圧縮素材映像１のデータのうち、再エンコードを行う範囲のピクチャと、Ｂピクチャ３６およびＢピクチャ３７をデコードするために参照する必要があるピクチャである、Ｉピクチャ８１、Ｐピクチャ８２、Ｐピクチャ８３、Ｐピクチャ８４、および、Ｐピクチャ８５のデータをデコーダ７２に供給させるとともに、圧縮素材映像２のデータのうち、再エンコードを行う範囲のピクチャと、Ｂピクチャ８９およびＢピクチャ９０をデコードするために参照する必要があるピクチャである、Ｉピクチャ９１のデータをデコーダ７３に供給させる。
【００５９】
また、このとき、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、メモリ６８に記憶されている圧縮符号化された圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ７５に供給させる。
【００６０】
ＣＰＵ７０は、デコーダ７２およびデコーダ７３を制御して、供給された圧縮符号化されたデータをデコードさせる。
【００６１】
デコーダ７２およびデコーダ７３は、ＣＰＵ７０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ７６に供給する。エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像（図３においては、Ｂピクチャ９３およびＢピクチャ９４のエンコードに必要なＰピクチャ９２、および、Ｂピクチャ１０７およびＢピクチャ１０８のエンコードに必要なＩピクチャ１０９に対応する画像データ）とともに、エンコーダ７７に供給する。
【００６２】
また、デコーダ７２およびデコーダ７３は、ＣＰＵ７０の制御に基づいて、再エンコードするピクチャの符号化難易度を把握するための統計量と、デコード前のピクチャタイプを示す情報を抽出し、ＣＰＵ７０に供給する。
【００６３】
デコーダ７２およびデコーダ７３は、符号化難易度を算出するための統計量として、ピクチャの符号量と平均量子化スケールコードを抽出し、ＣＰＵ７０に供給する。ピクチャの符号量と平均量子化スケールコードの積は、画像の複雑さを示すパラメータである、例えば、global complexity measureなどとして、ＴＭ５などのレート制御でも用いられている。エンコーダ７７は、ＴＭ５などで使われている計算式などを用いることで、各ピクチャの目標発生符号量を決定することができる。
【００６４】
また、デコーダ７２およびデコーダ７３に代わって、ＣＰＵ６１が、サウスブリッジ６５を制御して、圧縮素材映像２のデータをＨＤＤ６６から読み出させ、ノースブリッジ６２に供給させたとき、ノースブリッジ６２の圧縮素材映像２のデータから符号化難易度を算出するための統計量として、ピクチャの符号量と平均量子化スケールコードを抽出し、ＣＰＵ７０に供給することができるようにしてもよい。
【００６５】
本発明が適用された編集装置５１におけるレート制御と、ＴＭ５などのレート制御との異なる点は、ＴＭ５などが、一旦エンコードした結果得られた統計量をもとにして、それに引き続く画像のエンコード方法を調整するフィードバック型の制御であるのに対して、本発明は、エンコードする前に難易度を判定する統計量を算出する、フィードフォワード型の制御であることである。
【００６６】
また、global complexity measureは、各ピクチャタイプ毎の画像の複雑さを示すパラメータであるので、再エンコードの前後でピクチャタイプが異なると、デコード時に取得されたglobal complexity measureの情報を、エンコード時に利用することができない。よって、再エンコードする際には、ピクチャタイプを再エンコードの前後でできる限り一致させるように決定する必要がある。また、再エンコードの前後で参照画が異なるピクチャも、再エンコードの前後で、エンコードの条件が異なるため、デコード前の圧縮素材映像からの情報が利用できない。圧縮素材映像１において、再エンコードの前後で参照画が異なるピクチャは、編集点以降のピクチャを参照していたピクチャであるので、編集点から前方に向かって最初に存在するＩピクチャまたはＰピクチャと編集点との間にあるＢピクチャであり、図３における場合では、Ｂピクチャ１００に対応するピクチャより後ろのピクチャを参照していたピクチャであるので、Ｂピクチャ９９およびＢピクチャ１００が、再エンコードの前後で参照画が異なるピクチャである。また、圧縮素材映像２において、再エンコードの前後で参照画が異なるピクチャは、編集点より前のピクチャを参照していたピクチャであるので、編集点とその次に最初に存在するピクチャまたはＰピクチャと、それらの間にあるＢピクチャであり、図３における場合では、Ｐピクチャ１０１、Ｂピクチャ１０２、および、Ｐピクチャ１０３が、再エンコードの前後で参照画が異なるピクチャである。
【００６７】
これらの理由から、ピクチャタイプが再エンコード前後で同じであり、かつ、参照画も同じピクチャにおいては、取得された統計量を利用してエンコードを行うことができる。換言すれば、ＣＰＵ７０は、参照画が再エンコード前後で同じピクチャは、ピクチャタイプが再エンコード前後で同じとなるように、エンコーダ７７のエンコード処理を制御する。
【００６８】
また、編集点前後のピクチャは、デコード前の圧縮素材映像からの情報が利用できず、またシーンチェンジが発生しているため符号化難易度が高くなっていることが予想され、特別な目標符号量の配分が必要になる。
【００６９】
ＣＰＵ７０は、デコーダ７２およびデコーダ７３から供給された統計量（ピクチャの符号量と平均量子化スケールコード）を基に、例えば、ＴＭ５などで使われている計算式などを用いることで、global complexity measureを算出してエンコーダ７７に供給する。エンコーダ７７は、global complexity measureを基に、各ピクチャの目標発生符号量を算出し、ピクチャタイプが再エンコード前後で同じであり、かつ、参照画も同じピクチャを、算出された目標発生符号量を用いてエンコードさせる。
【００７０】
すなわち、ＣＰＵ７０は、デコーダ７２およびデコーダ７３から、再エンコードが行われる部分の、デコード前の圧縮素材映像１および圧縮素材映像２のピクチャタイプに関する情報を取得して保存しておき、エンコーダ７７におけるエンコード処理において、参照画が同一となるピクチャは、同一のピクチャタイプでエンコードが行われるように、エンコーダ７７の処理を制御する。また、ＣＰＵ７０は、編集点後の最初のＩピクチャまたはＰピクチャは、ＩピクチャまたはＰピクチャとしてエンコードされるように制御する。なお、参照画が異なるピクチャは、上述したように、エンコード条件が異なるために、デコード前の圧縮素材映像からの情報を利用することができないので、参照画が異なるピクチャのピクチャタイプは、エンコーダ７７が任意に決めるようにすればよい。
【００７１】
また、ＣＰＵ７０は、圧縮素材映像２のうち、再エンコードを行う部分において、ディスプレイオーダで最後に位置する連続するＢピクチャの枚数ｎの情報を取得する。再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプは、上述したように、Ｉピクチャになるように決定されているので、Ｂピクチャの枚数ｎは、すなわち、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャと、編集後にそのＩピクチャの直前に存在するＩピクチャまたはＰピクチャとの間にあるＢピクチャの枚数である。図３における場合では、Ｂピクチャの枚数ｎは、Ｂピクチャ１０７およびＢピクチャ１０８の２枚である。
【００７２】
更に、ＣＰＵ７０は、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャの直前に存在するＩピクチャまたはＰピクチャ、換言すれば、再エンコードする範囲の最後に存在するＩピクチャまたはＰピクチャのピクチャタイプの情報を取得する。図３における場合では、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャの直前に存在するＩピクチャまたはＰピクチャは、Ｐピクチャ１０６である。
【００７３】
そして、ＣＰＵ７０は、エンコーダ７７が実行する処理において、再エンコード終了点付近のＢピクチャの枚数が編集前の圧縮素材映像２と同一となり、そのＢピクチャの直前のピクチャのピクチャタイプがＩピクチャまたはＰピクチャとなるように、エンコーダ７７を制御する。また、ＣＰＵ７０は、Ｂピクチャの直前のピクチャのピクチャタイプも、編集前の圧縮素材映像２と同一となるように制御すると好適である。
【００７４】
すなわち、ＣＰＵ７０は、図３における場合では、編集前の圧縮素材映像２のＢピクチャ８９およびＢピクチャ９０と、再エンコードにおけるＢピクチャ１０７およびＢピクチャ１０８のピクチャタイプがそろい、再エンコードにおけるＢピクチャ１０７およびＢピクチャ１０８の直前がＰピクチャ１０６となるように、エンコーダ７７を制御する。
【００７５】
エンコーダ７７は、ＣＰＵ７０の制御に基づいて、エフェクト／スイッチ７６から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。
【００７６】
そして、エンコーダ７７において再エンコードされた映像データは、ストリームスプライサ７５に供給される。ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、ＰＣＩブリッジ６７から供給された、圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲の圧縮素材映像１および圧縮素材映像２と、エンコーダ７７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。
【００７７】
具体的には、ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、ＰＣＩブリッジ６７から供給された、圧縮素材映像１のＰピクチャ１１０とエンコーダ７７から供給されたエンコードされた映像データのＢピクチャ９３とがディスプレイオーダで連続するように接続され、エンコーダ７７から供給されたエンコードされた映像データのＢピクチャ１０８と、ＰＣＩブリッジ６７から供給された、圧縮素材映像２のＩピクチャ１１１とがディスプレイオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
【００７８】
実際のエンコードはコーディングオーダで行われ、エンコーダ７７においてエンコードされた圧縮映像も、コーディングオーダで出力される。図３を用いて説明した場合に対応させて、圧縮された信号におけるピクチャの並びをコーディングオーダで示したものを図４に示す。
【００７９】
部分エンコードされた圧縮映像データのうち、再エンコードの前後で参照画が異なるピクチャ、すなわち、コーディングオーダで、Ｐピクチャ１０１、Ｂピクチャ９９、Ｂピクチャ１００、Ｐピクチャ１０３、および、Ｂピクチャ１０２においては、取得した統計量を利用してエンコードを行うことができない。ＣＰＵ７０は、デコーダ７２およびデコーダ７３から供給された、符号化難易度を算出するための統計量であるピクチャの符号量と平均量子化スケールコードを基に、コーディングオーダで、Ｉピクチャ９５乃至Ｂピクチャ９７、Ｐピクチャ１０６乃至Ｂピクチャ１０５、Ｂピクチャ１０７、および、Ｂピクチャ１０８のそれぞれのピクチャのエンコードのための難易度（global complexity measure）を算出し、エンコーダ７７に供給する。
【００８０】
エンコーダ７７は、再エンコードの前後で参照画が等しいピクチャにおいては、ＣＰＵ７０から供給された符号化難易度によって決まる発生符号量でエンコードを行い、エンコード済みの圧縮映像データを、ストリームスプライサ７５に供給する。
【００８１】
ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、再エンコードされた部分と再エンコードされていない部分の接続点において、エンコードされた映像データのＢピクチャ１０５と圧縮素材映像２のＩピクチャ１１１（再エンコードされていないＩピクチャ）とがコーディングオーダで連続するように接続され、圧縮素材映像２のＩピクチャ１１１と、エンコードされた映像データのＢピクチャ１０７とがコーディングオーダで連続するように接続され、エンコードされた映像データにおいて、コーディングオーダでＢピクチャ１０７に続くＢピクチャ１０８と、圧縮素材映像２のＰピクチャ１１２とがコーディングオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
【００８２】
換言すれば、ストリームスプライサ７５は、コーディングオーダにおいて、再エンコードされた区間の最後のＩピクチャまたはＰピクチャに続く、ｎ枚の再エンコードされたＢピクチャの前に、再エンコードされていないＩピクチャが入るように、ストリームをつなぎ合わせる。
【００８３】
そして、ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、作成した圧縮編集映像データをＰＣＩブリッジ６７に供給して、メモリ６８に保存させるとともに、デコーダ７４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。デコーダ７４が、独立した装置として構成されている場合、デコーダ７４に対応する装置は、図３および図４を用いて説明したようにして生成された、換言すれば、コーディングオーダにおいて、再エンコードされた区間の最後のＩピクチャまたはＰピクチャに続く、ｎ枚の再エンコードされたＢピクチャの前に、再エンコードされていないＩピクチャが入るように接続された、編集後の圧縮映像データの供給を受けてこれをデコードし、デコードされて生成されたベースバンド信号を出力することができるようになされる。
【００８４】
次に、図５のフローチャートを参照して、編集処理について説明する。
【００８５】
ステップＳ１において、ＣＰＵ６１は、図示しない操作入力部から、編集開始を指令するユーザからの操作入力を受け、サウスブリッジ６５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ６６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ６２、ＰＣＩバス６４、および、ＰＣＩブリッジ６７を介して、メモリ６８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ６２、ＰＣＩバス６４、ＰＣＩブリッジ６７、および、コントロールバス６９を介して、ＣＰＵ７０に供給する。
【００８６】
ステップＳ２において、メモリ６８は、圧縮符号化された２つの編集素材データを取得する。
【００８７】
ステップＳ３において、ＣＰＵ７０は、ＣＰＵ６１から供給された、編集点を示す情報と、編集開始を示すコマンドを基に、再エンコードしない部分の圧縮素材映像１のディスプレイオーダで最後のピクチャのピクチャタイプがＰピクチャになり、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように、圧縮符号化された編集素材データのデコード範囲を決定する。
【００８８】
ステップＳ４において、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、メモリ６８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出させ、デコーダ７２およびデコーダ７３にそれぞれ供給させる。また、このとき、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ７５に供給させる。ＰＣＩブリッジ６７は、ＣＰＵ７０の制御に基づいて、メモリ６８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出し、デコーダ７２およびデコーダ７３にそれぞれ供給するとともに、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ７５に供給する。
【００８９】
ステップＳ５において、ＣＰＵ７０は、デコーダ７２およびデコーダ７３を制御して、決定されたデコード範囲のデータをデコードさせる。デコーダ７２およびデコーダ７３は、ＣＰＵ７０の制御に基づいて、供給された圧縮符号化された編集素材データをデコードして、エフェクト／スイッチ７６に供給する。
【００９０】
ステップＳ６において、ＣＰＵ７０は、デコーダ７２およびデコーダ７３から、符号化難易度を計算するための統計量として、ピクチャの符号量と平均量子化スケールコード、および、デコード前のピクチャタイプの情報を取得する。
【００９１】
ステップＳ７において、ＣＰＵ７０は、ピクチャの符号量と平均量子化スケールコードの積、すなわち、画像の複雑さを示すパラメータ（global complexity measure）を、エンコーダ７７における符号化難易度として算出する。
【００９２】
ステップＳ８において、ＣＰＵ７０は、エフェクト／スイッチ７６を制御して、デコードされたデータを編集点で接続させて、必要に応じて、エフェクトをかけさせる。エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、供給された非圧縮の復号映像素材を編集点で接続して、必要に応じて、エフェクトをかけ、エンコーダ７７に供給する。
【００９３】
ステップＳ９において、ＣＰＵ７０は、エンコーダ７７を制御して、編集点で接続された非圧縮の復号映像素材を再エンコードさせる。エンコーダ７７は、ＣＰＵ７０の制御に基づいて、編集点で接続された非圧縮の復号映像素材の再エンコードを行い、再エンコードされた圧縮符号化された映像データを、ストリームスプライサ７５に供給する。
【００９４】
このとき、ＣＰＵ７０およびエンコーダ７７は、図６を用いて後述するピクチャタイプ決定処理によって、エンコードのピクチャタイプを決定するとともに、図７を用いて後述する統計量利用決定処理に基づいて、ステップＳ７において算出された符号化難易度を用いてエンコードを行うか否かを決定する。
【００９５】
そして、ステップＳ１０において、図８を用いて後述する接続処理が実行され、処理は終了される。
【００９６】
このような処理により、Long GOPのOpen GOP構造の圧縮映像データの編集点付近を部分的にデコードし、デコードされた非圧縮の映像信号を所定の編集点で接続した後、再エンコードを行い、デコードおよび再エンコードされていない部分の圧縮映像データと接続することにより、Long GOPのOpen GOP構造の圧縮映像データの編集を実現することができる。
【００９７】
次に、図６のフローチャートを参照して、再エンコード実行（図５のステップＳ９の処理）時におけるピクチャタイプ決定処理について説明する。
【００９８】
ステップＳ３１において、ＣＰＵ７０は、圧縮符号化された映像素材２のデータにおいて、ディスプレイオーダで、再エンコードされる部分の最後に連続するＢピクチャの数ｎを取得し、再エンコードされる部分の最後に連続するＢピクチャの数ｎを基に、エンコーダ７７によるエンコード処理を制御する。エンコーダ７７は、ＣＰＵ７０の制御に基づいて、エフェクト／スイッチ７６から供給された、編集点で接続された映像素材データのエンコードを開始する。
【００９９】
ステップＳ３２において、エンコーダ７７は、エンコードするピクチャは、編集点の後の最初のＩピクチャまたはＰピクチャであるか否かを判断する。ステップＳ３２において、エンコードするピクチャは、編集点の後の最初のＩピクチャまたはＰピクチャであると判断された場合、処理は、後述するステップＳ３６に進む。
【０１００】
ステップＳ３２において、エンコードするピクチャは、編集点の後の最初のＩピクチャまたはＰピクチャではないと判断された場合、ステップＳ３３において、エンコーダ７７は、エンコードするピクチャは、ディスプレイオーダで、最後からｎ＋１番目のピクチャ、すなわち、図３におけるＰピクチャ１０６に対応するピクチャであるか否かを判断する。ステップＳ３３において、最後からｎ＋１番目のピクチャであると判断された場合、処理は、後述するステップＳ３８に進む。
【０１０１】
ステップＳ３３において、最後からｎ＋１番目のピクチャではないと判断された場合、ステップＳ３４において、エンコーダ７７は、エンコードするピクチャは、ディスプレイオーダで、最後からｎ番目以降のピクチャ、すなわち、図３におけるＢピクチャ１０７またはＢピクチャ１０８に対応するピクチャであるか否かを判断する。ステップＳ３４において、エンコードするピクチャは、最後からｎ番目以降のピクチャであると判断された場合、処理は、後述するステップＳ４１に進む。
【０１０２】
ステップＳ３４において、エンコードするピクチャは、最後からｎ番目以降のピクチャではないと判断された場合、すなわち、エンコードするピクチャが、最後からｎ＋２番目以前のピクチャ（図３におけるＰピクチャ１０６より時間的に前のピクチャ）であると判断された場合、ステップＳ３５において、エンコーダ７７は、エンコードするピクチャの参照画は、再エンコード前と同一であるか否か、すなわち、図３におけるＢピクチャ９９、Ｂピクチャ１００、Ｐピクチャ１０１、Ｂピクチャ１０２、または、Ｐピクチャ１０３のうちのいずれかであるか否かを判断する。
【０１０３】
ステップＳ３２において、エンコードするピクチャは、編集点の後の最初のＩピクチャまたはＰピクチャであると判断された場合、または、ステップＳ３５において、エンコードするピクチャの参照画は、再エンコード前と同一であると判断された場合、ステップＳ３６において、エンコーダ３７は、エンコードするピクチャは、編集点の後の最初のＩピクチャまたはＰピクチャであること、もしくは、エンコードするピクチャの参照画は、再エンコード前と同一であることを、ＣＰＵ７０に通知する。ＣＰＵ７０は、これらのピクチャのデコード前のピクチャタイプに関する情報をエンコーダ７７に供給する。エンコーダ７７は、エンコードするピクチャのピクチャタイプをデコード前のピクチャタイプとし、処理は、後述するステップＳ４２に進む。
【０１０４】
ステップＳ３５において、エンコードするピクチャの参照画は、再エンコード前と同一ではないと判断された場合、ステップＳ３７において、エンコーダ７７は、エンコードするピクチャのピクチャタイプを通常のアルゴリズムにしたがって設定し、処理は、後述するステップＳ４２に進む。
【０１０５】
ステップＳ３３において、エンコードするピクチャは、最後からｎ＋１番目のピクチャ、すなわち、図３におけるＰピクチャ１０６に対応するピクチャであると判断された場合、ステップＳ３８において、エンコーダ７７は、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャであったか否かを判断する。
【０１０６】
ステップＳ３８において、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャであったと判断された場合、ステップＳ３９において、エンコーダ７７は、エンコードするピクチャのピクチャタイプをＩピクチャに設定し、処理は、後述するステップＳ４２に進む。
【０１０７】
ステップＳ３８において、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャではなかった、すなわち、Ｐピクチャであったと判断された場合、ステップＳ４０において、エンコーダ７７は、エンコードするピクチャのピクチャタイプをＰピクチャに設定し、処理は、後述するステップＳ４２に進む。
【０１０８】
ステップＳ３４において、エンコードするピクチャは、最後からｎ番目以降のピクチャすなわち、図３におけるＢピクチャ７２またはＢピクチャ７３に対応するピクチャであると判断された場合、ステップＳ４１において、エンコーダ７７は、エンコードするピクチャのピクチャタイプをＢピクチャに設定し、処理は、ステップＳ４２に進む。
【０１０９】
ステップＳ３６、ステップＳ３７、ステップＳ３９、ステップＳ４０、または、ステップＳ４１の処理の終了後、ステップＳ４２において、エンコーダ７７は、最後のピクチャの処理が終了したか否かを判断する。
【０１１０】
ステップＳ４２において、最後のピクチャの処理が終了していないと判断された場合、処理は、ステップＳ３２に戻り、それ以降の処理が繰り返される。ステップＳ４２において、最後のピクチャの処理が終了したと判断された場合、処理は終了される。
【０１１１】
このような処理により、LongGOPのOpenGOPの圧縮素材映像のうちの編集点付近のデータをデコードし、編集点で接続して再エンコードした後、再エンコードされていない圧縮素材映像データと接続して編集したときに、できるだけ統計量を再利用することができるようにするために、再エンコード前後で可能な限りピクチャタイプが同一となるように再エンコード時のピクチャタイプを決定することが可能となる。したがって、編集後の映像データの画質が向上する。
【０１１２】
次に、図７のフローチャートを参照して、再エンコード実行（図５のステップＳ９の処理）時における統計量利用決定処理について説明する。
【０１１３】
ステップＳ６１において、エンコーダ７７は、ＣＰＵ７０から、再エンコード前のピクチャから得られる統計量により算出された符号化難易度を取得する。
【０１１４】
ステップＳ６２において、エンコーダ７７は、次にエンコードするピクチャは、再エンコード前後で、エンコード条件、すなわち、ピクチャタイプと参照画とが等しいか否かを判断する。
【０１１５】
ステップＳ６２において、次にエンコードするピクチャは、再エンコード前後で、エンコード条件が等しいと判断された場合、ステップＳ６３において、エンコーダ７７は、算出された符号化難易度を用いてエンコードを行う。
【０１１６】
ステップＳ６２において、次にエンコードするピクチャは、再エンコード前後で、エンコード条件が等しくないと判断された場合、ステップＳ６４において、エンコーダ７７は、算出された符号化難易度を用いずにエンコードを行う。
【０１１７】
ステップＳ６３、または、ステップＳ６４の処理の終了後、ステップＳ６５において、エンコーダ７７は、最後のピクチャの処理が終了したか否かを判断する。ステップＳ６５において、最後のピクチャの処理が終了されていないと判断された場合、処理は、ステップＳ６２に戻り、それ以降の処理が繰り返される。ステップＳ６５において、最後のピクチャの処理が終了されたと判断された場合、処理は終了される。
【０１１８】
このような処理により、再エンコード前後で、エンコード条件、すなわち、ピクチャタイプと参照画とが等しいピクチャにおいてのみ、再エンコード前のピクチャから得られる統計量により算出された符号化難易度を用いて発生符号量が制御されるようにしたので、エンコード条件が再エンコード前後で等しいピクチャの再エンコードによる画像劣化を防ぐようにすることができるとともに、編集点前後のシーンチェンジが発生している可能性が極めて高いピクチャにおいて、再エンコード前の統計量を用いて画像を劣化してしまうことを防ぐようにすることができる。
【０１１９】
次に、図８のフローチャートを参照して、図５のステップＳ１０において実行される接続処理について説明する。
【０１２０】
ステップＳ９１において、ストリームスプライサ７５は、ＰＣＩブリッジ６７から供給された、再エンコードしない部分の圧縮素材映像１のデータ、すなわち、図３における場合では、ディスプレイオーダにおいて時間的にＰピクチャ１１０以前となるピクチャのデータを取得する。
【０１２１】
ステップＳ９２において、ストリームスプライサ７５は、エンコーダ７７から供給された、再エンコードされた編集点付近の圧縮映像データ、すなわち、図３における場合では、ディスプレイオーダにおいてＰピクチャ９２乃至Ｉピクチャ１０９に対応するピクチャを取得する。
【０１２２】
ステップＳ９３において、ストリームスプライサ７５は、再エンコードされた編集点付近の圧縮映像データのうち、エンコードの参照のためにエンコードされた部分すなわち、図３における場合では、Ｐピクチャ９２およびＩピクチャ１０９に対応するピクチャを破棄し、再エンコードしない部分の圧縮素材映像１のデータと、再エンコードされた圧縮映像データを接続する。すなわち、図３における場合では、ストリームスプライサ７５は、Ｐピクチャ１１０とＢピクチャ９３とがディスプレイオーダで連続するように接続する。
【０１２３】
ステップＳ９４において、ストリームスプライサ７５は、ＰＣＩブリッジ６７から供給された、再エンコードしない部分の圧縮素材映像２のデータ、すなわち、図３における場合では、ディスプレイオーダにおいて時間的にＩピクチャ１１１以降となるピクチャのデータを取得する。
【０１２４】
ステップＳ９５において、ストリームスプライサ７５は、再エンコードされた編集点付近の圧縮映像データのうち、コーディングオーダで最後からｎ＋１番目のピクチャ、すなわち、図４における場合では、Ｂピクチャ１０５に対応するピクチャの次に、再エンコードしない部分の圧縮素材映像２のコーディングオーダで最初のＩピクチャ、すなわち、図４における場合では、Ｉピクチャ１１１に対応するピクチャを接続する。
【０１２５】
ステップＳ９６において、ストリームスプライサ７５は、再エンコードしない部分の圧縮素材映像２のコーディングオーダで最初のＩピクチャ、すなわち、図４における場合では、Ｉピクチャ１１１に対応するピクチャに、再エンコードされた編集点付近の圧縮映像データの最後からｎ枚のＢピクチャ、すなわち、図４における場合では、Ｂピクチャ１０７およびＢピクチャ１０８を接続する。
【０１２６】
そして、ステップＳ９７において、ストリームスプライサ７５は、再エンコードされた編集点付近の圧縮映像データの最後のＢピクチャ、すなわち、図４における場合では、Ｂピクチャ１０８の次に、再エンコードしない部分の圧縮素材映像２の２番目のＩまたはＰピクチャ、すなわち、図４における場合では、Ｐピクチャ１１２を接続し、処理は、図５のステップＳ１０にもどり、処理が終了される。
【０１２７】
このような処理により、LongGOPのOpenGOPの圧縮素材映像を編集するときに、再エンコード時のピクチャタイプが制御され、必要に応じてデコード前の統計量を用いて算出された符号化難易度を利用して発生符号量が制御されてエンコードされた再エンコード部分の圧縮符号化データと、再エンコードされていない部分の圧縮符号化データとを接続することが可能となる。
【０１２８】
このように、本発明を適用することにより、Long GOPのOpen GOP方式で圧縮された映像素材を、部分的にデコード、再エンコードする方法の編集において、２つ目のエンコーダを利用することなく、２パスエンコード方式と同様にして、ピクチャタイプと参照画とが編集前後で等しいピクチャにおいてのみ、再エンコード前の統計量により算出された符号化難易度を用いて発生符号量を制御することができるようにしたので、エンコード条件が再エンコード前後で等しいピクチャの再エンコードによる画像劣化を防ぐようにすることができるとともに、編集点前後のシーンチェンジが発生している可能性が極めて高いピクチャにおいて、再エンコード前の統計量を用いてしまうことにより画像が劣化してしまうことを防ぐようにすることができる。すなわち、本発明を適用することにより、通常のフィードバック方のエンコーダと比較して、ほとんどコストアップすることなく、２パスエンコード方式と同様に再エンコードによる画質劣化を防止することが可能となる。
【０１２９】
なお、ここでは、少なくともディスプレイオーダで、最後からｎ＋１番目のピクチャより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御されるものとして説明したが、再エンコードされる範囲の所定のＩピクチャまたはＰピクチャを含めてそれより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御された場合にも、本発明は適用可能である。
【０１３０】
また、ここでは、図３および図４を用いて説明したようにして、再エンコードされたピクチャと再エンコードされないピクチャが接続される場合について説明したが、本発明は、異なる方法で再エンコードされたピクチャと再エンコードされないピクチャが接続される場合についても適用可能である。すなわち、再エンコードされたピクチャと再エンコードされないピクチャとの接続方法にかかわらず、再エンコード前のデコード処理、または、デコード前の素材映像データより、デコード前の圧縮画像データに関する情報を抽出し、再エンコード前後でピクチャタイプと参照画とが等しいピクチャにおいてのみ、再エンコード前の統計量により算出された符号化難易度を用いて発生符号量を制御するようにすることにより、通常のフィードバック方のエンコーダと比較して、ほとんどコストアップすることなく、２パスエンコード方式と同様に再エンコードによる画質劣化を防止することが可能となる。
【０１３１】
なお、ここでは、統計量により算出された符号化難易度として、ピクチャの符号量と平均量子化スケールコードの積であり、画像の複雑さを示すパラメータであるglobal complexity measureを利用するものとして説明したが、符号化難易度には、例えば、ＭＥ残差やイントラＡＣ（イントラＭＡＤと称される場合もある）など、異なるパラメータを用いるようにしてもよいことはいうまでもない。
【０１３２】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図４を用いて説明した編集装置５１は、図９に示されるようなパーソナルコンピュータ３０１により構成される。
【０１３３】
図９において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３４】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０１３５】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１３６】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０１３７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３８】
この記録媒体は、図９に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０１３９】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４０】
なお、上述の実施の形態においては、編集装置５１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図１０に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置３７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置３７２が、それぞれ独立した装置として構成されていても良い。
【０１４１】
このとき、復号装置３７１は、映像素材である圧縮符号化データを復号し、符号化装置３７２に供給するのみならず、本発明を適用することにより符号化装置３７２により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。
【０１４２】
さらに、上述の実施の形態においては、デコーダ７２乃至７４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ７７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。
【０１４３】
例えば、デコーダ７２乃至７４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ７７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。
【０１４４】
さらに、上述の実施の形態においては、デコーダ７２乃至７４が完全に復号したベースバンド信号を、エンコーダ７７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ７２乃至７４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ７７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１４５】
更に、図１０に示される復号装置３７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置３７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０１４６】
例えば、復号装置３７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置３７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置３７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置３７２のエンコード処理において、本発明を適用することができるのは言うまでもない。
【０１４７】
更に、復号装置３７１が完全に復号したベースバンド信号を、符号化装置３７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置３７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置３７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１４８】
更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置３５１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置３７２で構成されたトランスコーダ３８１においても、本発明は適用可能である。このようなトランスコーダ３８１は、例えば、スプライシングなどの編集を行う編集装置３８２、すなわち、上述した編集装置１のストリームスプライサ７５やエフェクト／スイッチ７６が実行可能な機能を有する編集装置が利用される場合などに用いられる。
【０１４９】
さらに、上述の実施の形態においては、ＣＰＵ６１およびＣＰＵ７０がそれぞれ別の形態で構成されているが、これに限らず、編集装置５１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ６３およびメモリ７１がそれぞれ別の形態で構成されているが、これに限らず、編集装置５１において１つのメモリとして構成する形態も考えられる。
【０１５０】
さらに、上述の実施の形態においては、ＨＤＤ６６、デコーダ７２乃至７４、ストリームスプライサ７５、エフェクト／スイッチ７６、および、エンコーダ７７を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。
【０１５１】
さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。
【０１５２】
さらに、上述の実施の形態においては、デコーダ７２乃至７４、ストリームスプライサ７５、エフェクト／スイッチ７６、および、エンコーダ７７は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。
【産業上の利用可能性】
【０１５３】
本発明は、ＭＰＥＧ方式による情報処理装置の他、これに類似する符号化または復号化のアルゴリズムを有する方式の情報処理装置に適用することができる。
【図面の簡単な説明】
【０１５４】
【図１】従来の簡易２パス方式のエンコーダの構成について説明するための図である。
【図２】本発明を適用した編集装置５１の構成を示すブロック図である。
【図３】VBVバッファを考慮した部分再エンコードおよび編集処理について説明するための図である。
【図４】図３の部分再エンコードおよび編集処理について、ディスプレイオーダにおけるピクチャの並びを説明するための図である。
【図５】編集処理について説明するためのフローチャートである。
【図６】ピクチャタイプ決定処理について説明するためのフローチャートである。
【図７】統計量利用決定処理について説明するためのフローチャートである。
【図８】接続処理について説明するためのフローチャートである。
【図９】パーソナルコンピュータの構成を示すブロック図である。
【図１０】本発明を適用可能な異なる装置の構成について説明するための図である。
【符号の説明】
【０１５５】
５１  編集装置，  ６１  ＣＰＵ，  ６６  ＨＤＤ，  ７０  ＣＰＵ，  ７２乃至７４  デコーダ，  ７５  ストリームスプライサ，  ７６  エフェクト／スイッチ，  ７７  エンコーダ
【図１】
2006067098.tif 000003
【図２】
2006067098.tif 000004
【図３】
2006067098.tif 000005
【図４】
2006067098.tif 000006
【図５】
2006067098.tif 000007
【図６】
2006067098.tif 000008
【図７】
2006067098.tif 000009
【図８】
2006067098.tif 000010
【図９】
2006067098.tif 000011
【図１０】
2006067098.tif 000012