(57)【要約】【課題】  画像データの再符号化時に編集点を検出できるようにする。【解決手段】  ステップＳ２１で、非圧縮画像データの供給を受け、ステップＳ２２で、現在時刻情報が取得されて、符号化開始時刻がメモリに記憶される。ステップＳ２３で、供給された非圧縮画像データのフレーム数がカウントされて、ステップＳ２４で、符号化処理が実行される。ステップＳ２５で、符号化開始時刻とフレームのカウント数が取得されて、ステップＳ２６で、取得された符号化開始時刻およびフレームのカウント数を基に、追加符号化情報が生成されて、ステップＳ２７で、符号化データに供給された追加符号化情報が合成されて出力される。ステップＳ２８で、非圧縮画像データの供給が終了したか否かが判断され、供給が終了していないと判断された場合、処理は、ステップＳ２３に戻り、供給が終了したと判断された場合、処理は終了される。本発明は、符号化装置に適用できる。【選択図】図８
2005094550.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行する画像処理装置において、
前記画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行するデータ変換手段と、
前記データ変換手段により前記画像データの処理が開始された時点を示す情報である時点情報を取得し、前記データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された前記画像データの各フレームに対して関連つけて出力する出力手段手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像データのフレーム毎にカウント値を変更するカウント手段を更に備え、
前記出力手段は、前記データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された前記画像データの各フレームに対して、前記時点情報と前記カウント手段により変更されたカウント値とを、関連させて出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記出力手段は、伝送経路を介して、前記画像データの各フレームに対して、前記時点情報を関連させて出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記出力手段は、前記画像データの各フレームに対して、前記時点情報を関連させて出力して、記録媒体に記録させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像処理装置を固有に区別可能な区別情報を記憶する記憶手段を更に備え、
前記出力手段は、前記時点情報とともに、前記区別情報を前記データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された前記画像データの各フレームに対して関連つけて出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記記憶手段により記憶された前記区別情報には、シリアルナンバが含まれる
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記記憶手段により記憶された前記区別情報には、機種ＩＤが含まれる
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記画像データのフレーム毎にカウント値を変更するカウント手段を更に備え、
前記出力手段は、前記データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された前記画像データの各フレームに対して、前記時点情報、前記区別情報、および、前記カウント手段により変更されたカウント値とを、関連させて出力する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行する画像処理装置の画像処理方法において、
前記画像データに対する処理が開始される時点を示す情報である時点情報を取得する取得ステップと、
前記画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行するデータ変換ステップと、
前記データ変換ステップの処理により符号化処理の工程のうちの少なくとも一部の工程が実行された前記画像データの各フレームに対して、前記取得ステップの処理により取得された前記時点情報を関連つけて出力する出力ステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
前記画像データのフレーム毎にカウント値を変更するカウントステップを更に備え、
前記出力ステップの処理では、前記データ変換ステップの処理により符号化処理の工程のうちの少なくとも一部の工程が実行された前記画像データの各フレームに対して、前記時点情報と前記カウントステップにより変更されたカウント値とを、関連させて出力する
ことを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記出力ステップの処理では、伝送経路を介して、前記画像データの各フレームに対して、前記時点情報を関連させて出力する
ことを特徴とする請求項９に記載の画像処理方法。
【請求項１２】
前記出力ステップの処理では、前記画像データの各フレームに対して、前記時点情報を関連させて出力して、記録媒体に記録させる
ことを特徴とする請求項９に記載の画像処理方法。
【請求項１３】
前記出力ステップの処理では、前記時点情報とともに、前記画像処理装置を固有に区別可能な情報として記憶されている区別情報を、前記データ変換ステップの処理により符号化処理の工程のうちの少なくとも一部の工程が実行された前記画像データの各フレームに対して関連つけて出力する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１４】
前記区別情報には、シリアルナンバが含まれる
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記区別情報には、機種ＩＤが含まれる
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記画像データのフレーム毎にカウント値を変更するカウントステップを更に備え、
前記出力ステップの処理では、前記データ変換ステップの処理により符号化処理の工程のうちの少なくとも一部の工程が実行された前記画像データの各フレームに対して、前記時点情報、前記区別情報、および、前記カウントステップにより変更されたカウント値とを、関連させて出力する
ことを特徴とする請求項１３に記載の画像処理方法。
【請求項１７】
画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行する画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、
前記画像データに対する処理が開始される時点を示す情報である時点情報を取得する取得ステップと、
前記画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行するデータ変換ステップと、
前記データ変換ステップの処理により符号化処理の工程のうちの少なくとも一部の工程が実行された前記画像データの各フレームに対して、前記取得ステップの処理により取得された前記時点情報を関連つけて出力する出力ステップと
を含むことを特徴とするプログラム。
【請求項１８】
画像データの編集点を検出する情報処理装置において、
前記画像データに対して過去に施された符号化処理に関する情報を取得する取得手段と、
前記編集点を検出する検出手段と
を備え、
前記検出手段は、前記取得手段により取得された前記画像データに対して過去に施された符号化処理に関する情報を基に、前記画像データに対して過去に施された符号化処理の開始時点が、前記画像データの各フレームで異なることを検出したとき、検出した点を前記編集点として検出する
ことを特徴とする情報処理装置。
【請求項１９】
画像データの編集点を検出する情報処理装置の情報処理方法において、
前記画像データに対して過去に施された符号化処理に関する情報を取得する取得ステップと、
前記取得ステップの処理により取得された前記画像データに対して過去に施された符号化処理に関する情報を基に、前記画像データに対して過去に施された符号化処理の開始時点が、前記画像データの各フレームで異なることを検出したとき、検出した点を前記編集点として検出する検出ステップと
を含むことを特徴とする情報処理方法。
【請求項２０】
画像データの編集点を検出する検出方法をコンピュータに実行させるプログラムであって、
前記検出方法は、
前記画像データに対して過去に施された符号化処理に関する情報を取得する取得ステップと、
前記取得ステップの処理により取得された前記画像データに対して過去に施された符号化処理に関する情報を基に、前記画像データに対して過去に施された符号化処理の開始時点が、前記画像データの各フレームで異なることを検出したとき、検出した点を前記編集点として検出する検出ステップと
を含むことを特徴とするプログラム。
【請求項２１】
画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行する画像処理装置と、
画像データの編集点を検出する情報処理装置と
で構成される情報処理システムにおいて、
前記画像処理装置は、
前記画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行するデータ変換手段と、
前記データ変換手段により前記画像データの処理が開始された時点を示す情報である時点情報を取得し、前記データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された前記画像データの各フレームに対して関連つけて出力する出力手段と
を備え、
前記情報処理装置は、
前記画像データに対して過去に施された符号化処理に関する情報を取得する取得手段と、
前記編集点を検出する検出手段と
を備え、
前記検出手段は、前記取得手段により取得された前記画像データに対して過去に施さ
れた符号化処理に関する情報を基に、前記画像データに対して過去に施された符号化処理の開始時点が、前記画像データを構成する連続したフレーム間で異なることを検出したとき、検出した点を前記編集点として検出する
ことを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、情報処理装置および情報処理方法、プログラム、並びに、情報処理システムに関し、特に、対応するデータに対して過去に施された符号化に関する情報を用いて再符号化することが可能なようになされている場合に用いて好適な、画像処理装置および画像処理方法、情報処理装置および情報処理方法、プログラム、並びに、情報処理システムに関する。
【背景技術】
【０００２】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。
【０００３】
画像信号が圧縮符号化される場合、生成されるビットストリームが、所定のビットレートになるように符号化が行われる。しかしながら、実運用上において、伝送路の都合により、ビットストリームのビットレートを変換する必要が生じることがある。
【０００４】
また、例えば、伝送された画像信号が、放送局において編集される場合、編集はフレーム単位で行われるので、フレームの画像情報は、他のフレームの画像情報から独立しているほうがよい。そこで、低いビットレート（例えば、３乃至９Mbps）で転送しても画質が劣化しないように、情報が相関関係にあるフレームの集合であるGOP(Group of Picture)を構成するフレーム数が多いLong GOPと、高ビットレート（１８乃至５０Mbps）で転送される、GOPを構成するフレーム数が少ないShort GOPとを、相互に変換する必要があった。
【０００５】
例えば、伝送路を介して送受信されるLong GOPのストリームデータを、Short GOPであるAll Intraのストリームデータに符号化しなおして、フレーム編集することが可能なシステムについて、図１を用いて説明する。
【０００６】
符号化装置１は、圧縮されていない原画像の入力を受け、MPEGのLong GOPに符号化し、伝送路１１を介して、トランスコーダ２に、ストリームデータを送信する。
【０００７】
伝送路１１には、伝送に適したLong GOPのストリームデータが伝送される。
【０００８】
トランスコーダ２は、伝送路１１を介して供給された、MPEGのLong GOPのストリームデータを、復号部２１で一旦復号した後、符号化部２２において、全てイントラフレーム（All Intra）となるように符号化し、符号化されたAll Intraのストリームデータ（SDTI CP（Serial Data Transport Interface-Contents Package）ストリーム）を、SDTI CPインタフェースのフレーム編集装置３に出力する。
【０００９】
フレーム編集装置３にてフレーム編集されたストリームデータは、トランスコーダ４に供給される。トランスコーダ４は、供給されたAll Intraのストリームデータを、復号部３１で一旦復号した後、符号化部３２において、MPEGのLong GOPとなるように符号化し、符号化されたMPEGのLong GOPのストリームデータを、伝送路１１を介して、所定のデータ伝送先に出力する。
【００１０】
また、入力画像を高ビットレートでMPEGのLong GOPに符号化し、それを復号して低ビットレートのMPEGのLong GOPに再符号化することが可能なシステムについて、図２を用いて説明する。
【００１１】
符号化装置１は、供給された、圧縮されていない入力画像を、高ビットレートのMPEGのLong GOPとなるように符号化し、符号化されたMPEGのLong GOPのストリームデータを出力する。トランスコーダ５１は、供給された高ビットレートのMPEGのLong GOPを、復号部７１で一旦復号した後、符号化部７２において、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリームデータを、伝送路１１を介して、所定のデータ伝送先に出力する。
【００１２】
このように、画像情報に対する符号化および復号が繰り返された場合、符号化の度に使用される符号化パラメータが変化してしまうと、画像情報が劣化してしまう。この画像情報の劣化を防止するため、ビットストリームのピクチャ層のユーザデータエリアに挿入された符号化履歴情報を用いることにより、再符号化に伴う画像の劣化を抑制することができる技術がある（例えば、特許文献１参照）。
【００１３】
【特許文献１】特開２０００−０５９７８８号公報
【００１４】
例えば、MPEGのLong GOPを、フレーム編集を行うことが可能なShort GOPに変換することが可能なシステムにおいて、符号化履歴情報を利用する場合について、図３を用いて説明する。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１５】
すなわち、トランスコーダ１０１は、伝送路１１を介して、符号化装置１から送信されたMPEGのLong GOPの供給を受ける。
【００１６】
MPEGのLong GOPはそれぞれ符号化の素性の異なる３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成されるため、それを復号したビデオデータにも、フレームによってそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャの素性を持ったものが存在する。したがってこのビデオデータをMPEGのLong GOPで再符号化する場合、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、それぞれ別のピクチャタイプで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、ＩピクチャおよびＰピクチャより歪が多くなりやすいＢピクチャであったビデオデータをＩピクチャとして符号化してしまうと、その周辺のピクチャが、歪の多いＩピクチャを参照画像として予測符号化されてしまうため、画質が劣化してしまう。
【００１７】
このような再符号化による画質劣化を引き起こさないため、トランスコーダ１０１は、例えば、伝送路１１を介して、他のトランスコーダまたは符号化装置によって過去に符号化されたストリームデータの供給を受けた場合、供給されたMPEGのLong GOPのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化するとき、過去に実行された符号化、すなわち、復号部１１１に供給された符号化ストリームの符号化のピクチャタイプや量子化値などのパラメータを、All Intraの符号化ストリーム上に、SMPTE（Society of Motion Picture and Television Engineers）328Mのヒストリー情報（History data）として付加し、フレーム編集装置３に供給する。
【００１８】
フレーム編集装置３にてフレーム編集されたストリームデータは、再び、トランスコーダ１０２に供給される。トランスコーダ１０２は、供給された、ヒストリー情報つきのAll Intraのストリームデータを、復号部１２１で復号する。符号化部１２２は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等の必要なパラメータを使用して、Long GOPに再符号化して出力する。
【００１９】
また、図２を用いて説明したように、非圧縮のデータを高ビットレートでMPEGのLongGOPに符号化し、それを復号して低ビットレートのMPEGのLongGOPに再符号化することが可能なシステムにおいて、再符号のための画像劣化が発生しないようになされている場合について、図４を用いて説明する。なお、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００２０】
すなわち、符号化装置１により符号化されたMPEGのLong GOPのストリームの供給を受けたトランスコーダ１３１は、高ビットレートのMPEGのLong GOPを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを、符号化部１４２に供給する。符号化部１４２は、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリームデータを出力する。
【００２１】
再符号化による画質劣化を引き起こさないため、ヒストリー情報や復号時に取得される符号化パラメータを用いるようにした場合、例えば、フレーム編集装置３において編集が行われた符号化ストリームにおいては画像データの連続性が途切れてしまうため、GOP内のフレーム間の相関情報は意味のないものとなる。したがって、再符号化による画質劣化を引き起こさないため、ヒストリー情報や復号時に取得される符号化パラメータを用いるようにした場合、ストリームデータの編集点を検出し、編集点においては、以前の符号化に関するヒストリー情報やパラメータ情報を利用せずに符号化を行う必要がある。
【００２２】
GOP単位の符号列編集において、編集に用いられる入力符号列Ａ、Ｂのヘッダから画像タイプ（Ｉ，Ｐ，Ｂ）を検出し、入力符号列Ａ、Ｂの画像タイプと、外部から入力される編集情報とに基づいて、編集点を示す符号（フラグ）が挿入されるか、または、書き換えるようにすることにより、ストリームデータの編集点を示すことができるようにした技術がある（例えば、特許文献２）。
【００２３】
【特許文献２】特開２００３−１４３６０７
【００２４】
また、ストリームデータに、フレームまたはフィールドごとにカウントアップされるカウント数の情報を含ませるようにし、例えば、画像をつなぎ合わせたり、挿入したり、間引くことなどにより発生する画像の不連続点を、カウント数が連続しているか否かを基に、再符号化時に検出することができるようにした技術がある（例えば、特許文献３）。
【００２５】
【特許文献３】特開２００１−１６９２７８
【発明の開示】
【発明が解決しようとする課題】
【００２６】
上述したように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層、マクロブロック層のパラメータ）を再利用して符号化することにより、画質劣化を防ぐことが可能である。しかしながら、例えば、編集などによって、ビットレート、画像枠、クロマフォーマットなどが、前の符号化処理時とは異なるストリームが、置き換えられたり、挿入される場合がある。このような場合、以前の符号化のパラメータ情報を再利用して再符号化することはできない。
【００２７】
そして、編集点を検出するために、編集点を示す符号（フラグ）を挿入する技術を用いるようにした場合、符号化ストリームの授受が行われるシステム全体において、編集時には、編集点を示す所定の符号（フラグ）を挿入するようにし、符号化を行うときには、全ての符号化装置で所定の編集点を示す符号（フラグ）を検出することができなければならない。例えば、編集点を示す符号（フラグ）を挿入する機能を有さない編集装置が１台でもシステムに組み込まれてしまった場合、伝送される符号化ストリームに、符号化ストリームに編集点を示す所定の符号（フラグ）が挿入されていない編集点が存在してしまう可能性が発生してしまう。
【００２８】
一方、ストリームデータに、フレームまたはフィールドごとにカウントアップされるカウント数の情報を含ませるようにすれば、符号化ストリームが伝送される途中で、編集点を示す符号（フラグ）を挿入する機能を有さない編集装置がシステムに組み込まれていても、カウント数の連続性の有無を検出することにより、編集点であるか否かを判断することが可能となる。しかしながら、カウンタは、所定の有限の数までしかカウントすることができないため、編集点において、偶然にカウント数が連続してしまう可能性がある。また、複数のカメラを用いて同時に撮像が開始され、時間的に連続させて、撮像するカメラを切り替えて画像を編集するような場合、編集点であっても、カウント数が連続してしまう。具体的には、例えば、野球の中継を複数のカメラで行い、バックネット裏のカメラＡと外野席のカメラＢとが、同時に撮像をスタートさせた場合、カメラＡで撮像されたピッチャーの映像と、カメラＢで撮像された打者の映像とが時間的に連続して切替えら得たとき、その切替え点は編集点となるにもかかわらず、フレームまたはフィールドに含まれるカウント数の情報は連続する。
【００２９】
本発明はこのような状況に鑑みてなされたものであり、再符号化時に画像データの編集点を検出することができるようにするものである。
【課題を解決するための手段】
【００３０】
本発明の画像処理装置は、画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行するデータ変換手段と、データ変換手段により画像データの処理が開始された時点を示す情報である時点情報を取得し、データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して関連つけて出力する出力手段手段とを備えることを特徴とする。
【００３１】
画像データのフレーム毎にカウント値を変更するカウント手段を更に備えさせるようにすることができ、出力手段には、データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して、時点情報とカウント手段により変更されたカウント値とを、関連させて出力させるようにすることができる。
【００３２】
出力手段には、伝送経路を介して、画像データの各フレームに対して、時点情報を関連させて出力させるようにすることができる。
【００３３】
出力手段には、画像データの各フレームに対して、時点情報を関連させて出力して、記録媒体に記録させるようにすることができる。
【００３４】
画像処理装置を固有に区別可能な区別情報を記憶する記憶手段を更に備えさせるようにすることができ、出力手段には、時点情報とともに、区別情報をデータ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して関連つけて出力させるようにすることができる。
【００３５】
記憶手段により記憶された区別情報には、シリアルナンバが含まれるものとすることができる。
【００３６】
記憶手段により記憶された区別情報には、機種ＩＤが含まれるものとすることができる。
【００３７】
画像データのフレーム毎にカウント値を変更するカウント手段を更に備えさせるようにすることができ、出力手段には、データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して、時点情報、区別情報、および、カウント手段により変更されたカウント値とを、関連させて出力させるようにすることができる。
【００３８】
本発明の画像処理方法は、画像データに対する処理が開始される時点を示す情報である時点情報を取得する取得ステップと、画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行するデータ変換ステップと、データ変換ステップの処理により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して、取得ステップの処理により取得された時点情報を関連つけて出力する出力ステップとを含むことを特徴とする。
【００３９】
画像データのフレーム毎にカウント値を変更するカウントステップを更に備えさせるようにすることができ、出力ステップの処理では、データ変換ステップの処理により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して、時点情報とカウントステップにより変更されたカウント値とを、関連させて出力させるようにすることができる。
【００４０】
出力ステップの処理では、伝送経路を介して、画像データの各フレームに対して、時点情報を関連させて出力させるようにすることができる。
【００４１】
出力ステップの処理では、画像データの各フレームに対して、時点情報を関連させて出力して、記録媒体に記録させるようにすることができる。
【００４２】
出力ステップの処理では、時点情報とともに、画像処理装置を固有に区別可能な情報として記憶されている区別情報を、データ変換ステップの処理により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して関連つけて出力させるようにすることができる。
【００４３】
区別情報には、シリアルナンバが含まれるものとすることができる。
【００４４】
区別情報には、機種ＩＤが含まれるものとすることができる。
【００４５】
画像データのフレーム毎にカウント値を変更するカウントステップを更に備えさせるようにすることができ、出力ステップの処理では、データ変換ステップの処理により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して、時点情報、区別情報、および、カウントステップにより変更されたカウント値とを、関連させて出力させるようにすることができる。
【００４６】
本発明の第１のプログラムは、画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行する画像処理方法をコンピュータに実行させるプログラムであって、画像処理方法は、画像データに対する処理が開始される時点を示す情報である時点情報を取得する取得ステップと、画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行するデータ変換ステップと、データ変換ステップの処理により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して、取得ステップの処理により取得された時点情報を関連つけて出力する出力ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００４７】
本発明の画像処理装置および画像処理方法、並びに、第１のプログラムにおいては、画像データに対する処理が開始される時点を示す情報である時点情報が取得され、画像データに対して、符号化処理の工程のうちの少なくとも一部の工程が実行され、符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して、時点情報が関連つけられて出力される。
【００４８】
本発明の情報処理装置は、画像データに対して過去に施された符号化処理に関する情報を取得する取得手段と、編集点を検出する検出手段とを備え、検出手段は、取得手段により取得された画像データに対して過去に施された符号化処理に関する情報を基に、画像データに対して過去に施された符号化処理の開始時点が、画像データの各フレームで異なることを検出したとき、検出した点を編集点として検出することを特徴とする。
【００４９】
本発明の情報処理方法は、画像データに対して過去に施された符号化処理に関する情報を取得する取得ステップと、取得ステップの処理により取得された画像データに対して過去に施された符号化処理に関する情報を基に、画像データに対して過去に施された符号化処理の開始時点が、画像データの各フレームで異なることを検出したとき、検出した点を編集点として検出する検出ステップとを含むことを特徴とする。
【００５０】
本発明の第２のプログラムは、画像データの編集点を検出する検出方法をコンピュータに実行させるプログラムであって、検出方法は、画像データに対して過去に施された符号化処理に関する情報を取得する取得ステップと、取得ステップの処理により取得された画像データに対して過去に施された符号化処理に関する情報を基に、画像データに対して過去に施された符号化処理の開始時点が、画像データの各フレームで異なることを検出したとき、検出した点を編集点として検出する検出ステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００５１】
本発明の情報処理装置および情報処理方法、並びに、第２のプログラムにおいては、画像データに対して過去に施された符号化処理に関する情報が取得され、画像データに対して過去に施された符号化処理に関する情報を基に、画像データに対して過去に施された符号化処理の開始時点が、画像データの各フレームで異なることが検出されたとき、検出した点が編集点として検出される。
【００５２】
本発明の情報処理システムは、画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行する画像処理装置と、画像データの編集点を検出する情報処理装置とで構成され、画像処理装置が、画像データに対して、符号化処理の工程のうちの少なくとも一部の工程を実行するデータ変換手段と、データ変換手段により画像データの処理が開始された時点を示す情報である時点情報を取得し、データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに関連つけて出力する出力手段とを備え、情報処理装置が、画像データに対して過去に施された符号化処理に関する情報を取得する取得手段と、編集点を検出する検出手段とを備え、検出手段は、取得手段により取得された画像データに対して過去に施された符号化処理に関する情報に含まれる区別情報を基に、画像データに対して過去に施された符号化処理の開始時点が、画像データの各フレームで異なることを検出したとき、検出した点を編集点として検出することを特徴とする。
【００５３】
本発明の情報処理システムにおいては、画像処理装置で、画像データに対して、符号化処理の工程のうちの少なくとも一部の工程が実行され、画像データの処理が開始された時点を示す情報である時点情報が取得され、符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに関連つけられて出力され、情報処理装置で、画像データに対して過去に施された符号化処理に関する情報が取得され、画像データに対して過去に施された符号化処理に関する情報に含まれる区別情報を基に、画像データに対して過去に施された符号化処理の開始時点が、画像データの各フレームで異なることが検出されたとき、検出された点が編集点として検出される。
【発明の効果】
【００５４】
第１の本発明によれば、符号化処理の工程のうちの少なくとも一部を実行することができ、特に、符号化処理の開始時点を示す情報である情報を生成して、符号化処理の工程のうちの少なくとも一部が実行された画像データの各フレームに関連つけて出力することができるので、この符号化データを受信した装置において、編集点を検出することができる。
【００５５】
第２の本発明によれば、編集点を検出することができ、特に、符号化処理の開始時点を示す情報である情報を基に、編集点を検出することができる。
【００５６】
第３の本発明によれば、符号化処理の工程のうちの少なくとも一部を実行し、その符号化データから編集点を検出することができる。特に、符号化処理の開始時点を示す情報である情報を、符号化処理の工程のうちの少なくとも一部が実行された画像データの各フレームに関連つけて出力することができるので、その符号化データの各フレームに含まれる符号化処理の開始時点を示す情報である情報を基に、編集点を検出することができる。
【発明を実施するための最良の形態】
【００５７】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００５８】
更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００５９】
請求項１に記載の画像処理装置（例えば、図６の符号化装置１５１）は、画像データに対して、符号化処理の工程（例えば、DCT、量子化、VLC）のうちの少なくとも一部の工程を実行するデータ変換手段（例えば、図６の符号化部１８５）と、データ変換手段により画像データの処理が開始された時点を示す情報である時点情報（例えば、cording_Start_Time_Code）を取得し、データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して関連つけて出力する出力手段（例えば、図６の追加符号化情報生成部１８２）とを備えることを特徴とする。
【００６０】
請求項２に記載の画像処理装置は、画像データのフレーム毎にカウント値（例えば、Continuity_Counter）を変更するカウント手段（例えば、図６のフレームカウンタ１８１）を更に備え、前記出力手段は、データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して、時点情報とカウント値とを、関連させて出力することを特徴とする。
【００６１】
請求項５に記載の画像処理装置は、画像処理装置を固有に区別可能な区別情報を記憶する記憶手段（例えば、図６のメモリ１８４）を更に備え、出力手段は、時点情報とともに、区別情報を符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して関連つけて出力することを特徴とする。
【００６２】
請求項６記載の画像処理装置の記憶手段により記憶された区別情報には、シリアルナンバ（例えば、Encoder_Serial_Number）が含まれることを特徴とする。
【００６３】
請求項７記載の画像処理装置の記憶手段により記憶された区別情報には、機種ＩＤ（例えば、Encoder_ID）が含まれることを特徴とする。
【００６４】
請求項８に記載の画像処理装置は、画像データのフレーム毎にカウント値（例えば、Continuity_Counter）を変更するカウント手段（例えば、図６のフレームカウンタ１８１）を更に備え、前記出力手段は、データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して、時点情報、区別情報、および、カウント値を、関連させて出力することを特徴とする。
【００６５】
請求項９に記載の画像処理装置（例えば、図６の符号化装置１５１）の画像処理方法は、画像データに対する処理が開始される時点を示す情報である時点情報（例えば、Encording_Start_Time_Code）を取得する取得ステップ（例えば、図８のステップＳ２２の処理）と、画像データに対して、符号化処理の工程（例えば、DCT、量子化、VLC）のうちの少なくとも一部の工程を実行するデータ変換ステップ（例えば、図８のステップＳ２４の処理）と、データ変換ステップの処理により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して、取得ステップの処理により取得された時点情報を関連つけて出力する出力ステップ（例えば、図８のステップＳ２７の処理）とを含むことを特徴とする。
【００６６】
また、請求項１７に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項９に記載の情報処理方法と同様である。
【００６７】
請求項１８に記載の情報処理装置（例えば、図１２の符号化部１２、または、図１７の符号化部２４１）は、画像データに対して過去に施された符号化処理に関する情報を取得する取得手段（例えば、図１２のヒストリー抽出部、または、図１７のパラメータ入力部２５１）と、編集点を検出する検出手段（例えば、図１２または図１７の編集点検出部２１７）とを備え、検出手段は、取得手段により取得された画像データに対して過去に施された符号化処理に関する情報を基に、画像データに対して過去に施された符号化処理の開始時点が、画像データの各フレームで異なることを検出したとき、検出した点を編集点として検出することを特徴とする。
【００６８】
請求項１９に記載の情報処理装置（例えば、図１２の符号化部１２、または、図１７の符号化部２４１）の情報処理方法は、画像データに対して過去に施された符号化処理に関する情報を取得する取得ステップ（例えば、図１９のステップＳ８２の処理）と、取得ステップの処理により取得された画像データに対して過去に施された符号化処理に関する情報を基に、画像データに対して過去に施された符号化処理の開始時点が、画像データの各フレームで異なることを検出したとき、検出した点を編集点として検出する検出ステップ（例えば、図１９のステップＳ８７およびステップＳ８８の処理）とを含むことを特徴とする。
【００６９】
また、請求項２０に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１９に記載の情報処理方法と同様である。
【００７０】
請求項２１に記載の情報処理システムは、画像データに対して、符号化処理の工程（例えば、DCT、量子化、VLC）のうちの少なくとも一部の工程を実行する画像処理装置（例えば、図６の符号化装置１５１）と、画像データの編集点を検出する情報処理装置（例えば、図１２の符号化部１２、または、図１７の符号化部２４１）とで構成され、画像処理装置は、画像データに対して、符号化処理の工程（例えば、DCT、量子化、VLC）のうちの少なくとも一部の工程を実行するデータ変換手段（例えば、図６の符号化部１８５）と、データ変換手段により画像データの処理が開始された時点を示す情報である時点情報（例えば、Encording_Start_Time_Code）を取得し、データ変換手段により符号化処理の工程のうちの少なくとも一部の工程が実行された画像データの各フレームに対して関連つけて出力する出力手段（例えば、図６の追加符号化情報生成部１８２）とを備え、情報処理装置は、画像データに対して過去に施された符号化処理に関する情報を取得する取得手段（例えば、図１２のヒストリー抽出部、または、図１７のパラメータ入力部２５１）と、編集点を検出する検出手段（例えば、図１２または図１７の編集点検出部２１７）とを備え、検出手段は、取得手段により取得された画像データに対して過去に施された符号化処理に関する情報に含まれる区別情報を基に、画像データに対して過去に施された符号化処理の開始時点が、画像データの各フレームで異なることを検出したとき、検出した点を編集点として検出することを特徴とする。
【００７１】
以下、図を参照して、本発明の実施の形態について説明する。
【００７２】
本発明を適用した、MPEGのLong GOPを、フレーム編集を行うことが可能なShort GOPに変換することが可能なシステムにおいて、符号化履歴情報を利用する場合について、図５を用いて説明する。
【００７３】
なお、図３を用いて説明した従来の場合と対応する部分には同一の符号を付してある。すなわち、符号化装置１に変わって、符号化装置１５１を設け、トランスコーダ１０２に代わって、トランスコーダ１５２が設けられているほかは、図３を用いて説明した従来の場合と基本的に同様に構成されており、トランスコーダ１５２は、符号化部１２２に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報（ヒストリー情報）を選択することが可能な符号化部１６１が設けられ、符号化部１６１には、復号部１２１から出力される復号された信号のほかに、復号部１２１に入力されているストリームデータも入力されているほかは、トランスコーダ１０２と基本的に同様に構成されている。
【００７４】
符号化装置１５１は、圧縮されていない原画像の入力を受け、符号化処理を実行する。符号化装置１５１は、この符号化ストリームが、例えば、フレーム編集装置３において編集された後、トランスコーダ１５２の符号化部１６１が編集点を検出することができるように、追加符号化情報を生成して、符号化ストリームに付加する。
【００７５】
図６は、符号化装置１５１の構成を示すブロック図である。
【００７６】
フレームカウンタ１８１は、原画像の入力時にフレームシンクを検出して、１フレームごとに、カウント数をアップさせて、追加符号化情報生成部１８２に供給する。フレームカウンタ１８１は、カウント数に、例えば、65535など、所定の上限値を有しているので、カウント数が上限値に達した場合は、また、0から、新たにカウントを開始する。すなわち、後述する処理において、再符号化処理が実行される場合、カウントの上限値と0とは、連続したフレームであると認識される。
【００７７】
なお、カウントは１つずつカウントアップ、またはカウントダウンされる以外にも、例えば、２、または、それ以上の数を用いて、１フレームごとに所定数だけカウントアップまたはカウントダウンするようにし、計数されたカウント値を追加符号化情報生成部１８２に出力するようにしてもよい。
【００７８】
メモリ１８４には、この符号化装置１５１の機種を示す情報であるEncoder_ID、および、このエンコーダのシリアルナンバであるEncoder_Serial_Numberが予め記憶されている。換言すれば、Encoder_ID、および、Encoder_Serial_Numberは、エンコーダを固有に区別するために用いることができる区別情報である。
【００７９】
追加符号化情報生成部１８２は、フレームカウンタ１８１から供給されるカウント値を、Continuity_Counterとし、メモリ１８４から、Encoder_ID、および、Encoder_Serial_Number、を読み出して、Continuity_Counterとともに、１フレームごとに、符号化部１８５に供給する。
【００８０】
符号化部１８５は、例えば、SDI（Serial Digital Interface）フォーマットなどの原画像を、従来と同様の符号化方法にてMPEGのLONG GOPに符号化するとともに、追加符号化情報生成部１８２から供給された、Continuity_Counter、Encoder_ID、および、Encoder_Serial_Numberの情報を、追加符号化情報として、１フレームごとに付加して出力する。
【００８１】
すなわち、符号化部１８５により符号化された符号化ストリームに付加される追加符号化情報が、Continuity_Counter、Encoder_ID、および、Encoder_Serial_Numberであることにより、例えば、編集点において、偶然にカウント数が連続してしまったり、連続したフレームであることを示してしまうカウント値が得られるようなことがあっても、後述する再符号化処理時に、Encoder_ID、または、Encoder_Serial_Numberを基に、符号化を行ったのが異なる符号化装置であることが検出されれば、編集点であることを検出することが可能となる。
【００８２】
ここでは、符号化装置１５１を特定するために、機種を示す情報であるEncoder_ID、および、シリアルナンバであるEncoder_Serial_Numberが用いられている。シリアルナンバは、一般的には、何桁かの数字と、必要に応じて、機種を示す何文字かのアルファベットで表されているが、もし、シリアルナンバに機種を示すアルファベットが付加されていない場合、他機種で同じシリアルナンバの符号化装置が存在することになってしまう。他機種で同じシリアルナンバの符号化装置を同一の符号化装置と認識してしまうことを避けるためには、符号化装置１５１を特定するために、機種を示す情報であるEncoder_ID、および、シリアルナンバであるEncoder_Serial_Numberを用いると好適である。しかしながら、例えば、シリアルナンバに機種を示す何文字かのアルファベットが付加されており、他の機種を含めても、同一のシリアルナンバの符号化装置が他に存在しない（シリアルナンバのみで符号化装置が特定可能である）ようになされているのであれば、シリアルナンバに対応する情報であるEncoder_Serial_Numberのみを、符号化装置１５１を特定する情報として、メモリ１８４に記憶して、符号化部１８５により符号化された符号化ストリームに追加符号化情報として付加するようにしても良い。
【００８３】
なお、追加符号化情報に、Continuity_Counterが含まれておらず、少なくとも、Encoder_ID、および、Encoder_Serial_Numberなどの、符号化装置１５１を特定することができる情報のみが付加されている場合も、符号化を行った機器が異なることが検出されることによって、編集点を検出することができる。
【００８４】
また、追加符号化情報には、符号化装置１５１を特定するための情報に代わって、符号化装置１５１において符号化が開始された時点を示す情報を用いるようにしても良い。
【００８５】
追加符号化情報生成部１８２は、フレームカウンタ１８１から供給されたフレームのカウント値の入力を受けると、１フレーム目の符号化の開始と同時となる時間情報として、タイマ１８３から現在の時刻、または、日時の情報を取得して、メモリ１８４に供給する。また、メモリ１８４は、追加符号化情報生成部１８２から供給された符号化の開始時刻または開始日時を示す情報の供給を受けて、Encoding_Start_Time_Codeとして記憶する。
【００８６】
Encoding_Start_Time_Codeには、符号化が開始された時点を示す情報として、開始時刻または開始日時を示す情報が記載されるが、この情報は、例えば、年、月、日、時、分、秒で構成される情報であっても、月、日、時、分、秒で構成される情報であっても、日、時、分、秒で構成される情報であっても、時、分、秒で構成される情報であっても、または、時、分で構成される情報であってもかまわないし、年、月、日、時、分、秒のうちのいずれか１つの情報であってもよい。すなわち、Encoding_Start_Time_Codeが異なるデータストリームが、同一時点で符号化が開始された一続きの符号化ストリームではないことを検出することができればよい。
【００８７】
追加符号化情報生成部１８２は、フレームカウンタ１８１から供給されるカウント値を、Continuity_Counterとし、メモリ１８４から、Encoding_Start_Time_Codeを読み出して、Continuity_Counterとともに、１フレームごとに、符号化部１８５に供給する。
【００８８】
符号化部１８５は、例えば、SDIフォーマットなどの原画像を、従来と同様の符号化方法にてMPEGのLONG GOPに符号化するとともに、追加符号化情報生成部１８２から供給された、Continuity_Counter、および、Encoding_Start_Time_Codeの情報を、追加符号化情報として、１フレームごとに付加して出力する。
【００８９】
これにより、例えば、編集点において、偶然にカウント値が連続してしまうようなことがあっても、後述する再符号化処理時に、Encoding_Start_Time_Codeを参照することにより、符号化が開始された日時が異なることが検出されれば、編集点であることが検出されるので、編集点において、偶然にカウント値が連続してしまうことにより、編集点を見逃してしまうことを防止することが可能となる。
【００９０】
なお、追加符号化情報に、Continuity_Counterが含まれておらず、少なくとも、符号化の開始時刻または開始日時を示す情報であるEncoding_Start_Time_Codeのみが付加されている場合も、符号化の開示時刻または開始日時が異なることが検出されることによって、編集点を検出することができる。
【００９１】
また、符号化装置１５１においては、符号化ストリームに付加される追加符号化情報を、Continuity_Counter、Encoding_Start_Time_Code、Encoder_ID、および、Encoder_Serial_Numberとしてもよい。
【００９２】
すなわち、追加符号化情報生成部１８２は、フレームカウンタ１８１から供給されたフレームのカウント値の入力を受けると、１フレーム目の符号化の開始と同時となる時間情報として、タイマ１８３から現在の日時の情報を取得して、メモリ１８４に供給する。また、メモリ１８４は、追加符号化情報生成部１８２から供給された符号化の開始時刻を示す情報の供給を受けて、Encoding_Start_Time_Codeとして記憶する。
【００９３】
更に、メモリ１８４には、この符号化装置１５１の機種を示す情報であるEncoder_ID、および、このエンコーダのシリアルナンバであるEncoder_Serial_Numberが予め記憶されているようにし、追加符号化情報生成部１８２は、フレームカウンタ１８１から供給されるカウント値を、Continuity_Counterとし、メモリ１８４から、Encoding_Start_Time_Code、Encoder_ID、および、Encoder_Serial_Numberを読み出して、Continuity_Counterとともに、１フレームごとに、符号化部１８５に供給する。
【００９４】
符号化部１８５は、例えば、SDIフォーマットなどの原画像を、従来と同様の符号化方法にてMPEGのLONG GOPに符号化するとともに、追加符号化情報生成部１８２から供給された追加符号化情報である、Continuity_Counter、Encoding_Start_Time_Code、Encoder_ID、および、Encoder_Serial_Numberの情報を、１フレームごとに付加して出力する。
【００９５】
なお、図６の符号化装置１５１においては、追加符号化情報生成部１８２により生成された追加符号化情報を、符号化ストリームの各フレームに付加して出力するものとして説明したが、符号化ストリームの各フレームに、追加符号化情報が正しくリンクされていれば、符号化ストリームと追加符号化情報とは、個別に出力されてもよい。また、符号化ストリームと追加符号化情報とは、伝送路１１を介してトランスコーダ１０１に送信されるのみならず、記録媒体に記録されて、トランスコーダ１０１に供給されるようにしてもよい。符号化ストリームと追加符号化情報とが、記録媒体に記録されてトランスコーダ１０１に供給されるようになされている場合、符号化ストリームの各フレームに、追加符号化情報が正しくリンクされていれば、符号化ストリームと追加符号化情報とは、異なる記録媒体に記録されて供給されるようにしてもよいことは言うまでもない。
【００９６】
次に、図７のフローチャートを参照して、符号化情報を含む符号化データ作成処理１について説明する。この処理においては、メモリ１８４に、予め符号化装置１５１を特定するための情報が記憶されている場合について説明する。
【００９７】
ステップＳ１において、符号化装置１５１は、非圧縮画像データの供給を受ける。供給された被圧縮の画像データは、符号化部１８５に供給される。
【００９８】
ステップＳ２において、フレームカウンタ１８１は、符号化部１８５に供給される非圧縮画像データのフレームシンクを検出し、フレーム数をカウントする。
【００９９】
ステップＳ３において、符号化部１８５は、供給された非圧縮画像データに対して、符号化処理を実行する。
【０１００】
ステップＳ４において、追加符号化情報生成部１８２は、メモリ１８４に記憶された符号化装置を特定する情報（すなわち、Encoder_ID、および、Encoder_Serial_Number）と、フレームカウンタ１８１によりカウントされたフレームのカウント値（Continuity_Counter）を取得する。なお、Encoder_Serial_Numberのみで符号化装置１５１の特定が可能であれば、メモリ１８４に記憶され、追加符号化情報生成部１８２に取得される情報は、Encoder_Serial_Numberのみであってもかまわない。
【０１０１】
ステップＳ５において、追加符号化情報生成部１８２は、取得した符号化装置を特定する情報（Encoder_ID、および、Encoder_Serial_Number）およびフレームのカウント値（Continuity_Counter）を基に、追加符号化情報を生成して、符号化部１８５に供給する。
【０１０２】
ステップＳ６において、符号化部１８５は、符号化データに供給された追加符号化情報を合成して出力する。
【０１０３】
ステップＳ７において、符号化部１８５は、非圧縮画像データの供給が終了したか否かを判断する。ステップＳ７において、非圧縮画像データの供給が終了していないと判断された場合、処理は、ステップＳ２に戻り、それ以降の処理が繰り返される。ステップＳ７において、非圧縮画像データの供給が終了したと判断された場合、処理は終了される。
【０１０４】
このような処理により、符号化データに、追加符号化情報として、符号化装置を特定する情報（すなわち、Encoder_ID、および、Encoder_Serial_Number）およびフレームのカウント値（Continuity_Counter）が付加されて出力されるので、この符号化データを再符号化する場合において、編集点を検出することが可能となる。
【０１０５】
次に、図８のフローチャートを参照して、符号化情報を含む符号化データ作成処理２について説明する。なお、この処理においては、メモリ１８４に、予め符号化装置１５１を特定するための情報が記憶されている必要はない。
【０１０６】
ステップＳ２１において、符号化装置１５１は、非圧縮画像データの供給を受ける。供給された被圧縮の画像データは、符号化部１８５に供給される。
【０１０７】
ステップＳ２２において、追加符号化情報生成部１８２は、タイマ１８３を参照して、年、月、日、時間、分、秒など、現在の時刻を示すための情報で構成される現在時刻情報を取得し、符号化開始時刻（Encoding_Start_Time_Code）として、メモリ１８４に記憶させる。
【０１０８】
ステップＳ２３およびステップＳ２４において、図７のステップＳ２およびステップＳ３と同様の処理が実行される。すなわち、供給された非圧縮画像データのフレーム数がカウントされて、符号化処理が実行される。
【０１０９】
ステップＳ２５において、追加符号化情報生成部１８２は、メモリ１８４に記憶された符号化開始時刻（Encoding_Start_Time_Code）と、フレームカウンタ１８１によりカウントされたフレームのカウント値（Continuity_Counter）を取得する。
【０１１０】
ステップＳ２６において、追加符号化情報生成部１８２は、取得した符号化開始時刻（Encoding_Start_Time_Code）およびフレームのカウント値（Continuity_Counter）を基に、追加符号化情報を生成して、符号化部１８５に供給する。
【０１１１】
ステップＳ２７およびステップＳ２８において、図７のステップＳ６およびステップＳ７と同様の処理が実行される。すなわち、符号化データに供給された追加符号化情報が合成されて出力され、非圧縮画像データの供給が終了したか否かが判断されて、終了していないと判断された場合、処理は、ステップＳ２３に戻り、それ以降の処理が繰り返される。ステップＳ２８において、非圧縮画像データの供給が終了したと判断された場合、処理は終了される。
【０１１２】
このような処理により、符号化データに、追加符号化情報として、符号化開始時刻（Encoding_Start_Time_Code）およびフレームのカウント値（Continuity_Counter）が付加されて出力されるので、後述する再符号化処理において、編集点を検出することが可能となる。
【０１１３】
次に、図９のフローチャートを参照して、符号化情報を含む符号化データ作成処理３について説明する。この処理においては、メモリ１８４に、予め符号化装置１５１を特定するための情報が記憶されている場合について説明する。
【０１１４】
ステップＳ４１において、符号化装置１５１は、非圧縮画像データの供給を受ける。供給された被圧縮の画像データは、符号化部１８５に供給される。
【０１１５】
ステップＳ４２において、追加符号化情報生成部１８２は、タイマ１８３を参照して、現在時刻情報を取得し、符号化開始時刻（Encoding_Start_Time_Code）として、メモリ１８４に記憶させる。
【０１１６】
ステップＳ４３およびステップＳ４４において、図７のステップＳ２およびステップＳ３と同様の処理が実行される。すなわち、供給された非圧縮画像データのフレーム数がカウントされて、符号化処理が実行される。
【０１１７】
ステップＳ４５において、追加符号化情報生成部１８２は、メモリ１８４に記憶された符号化装置を特定する情報（すなわち、Encoder_ID、および、Encoder_Serial_Number）、符号化開始時刻（Encoding_Start_Time_Code）、並びに、フレームカウンタ１８１によりカウントされたフレームのカウント値（Continuity_Counter）を取得する。なお、Encoder_Serial_Numberのみで符号化装置１５１の特定が可能であれば、メモリ１８４に記憶され、追加符号化情報生成部１８２に取得される情報は、Encoder_Serial_Numberのみであってもかまわない。
【０１１８】
ステップＳ４６において、追加符号化情報生成部１８２は、取得した符号化装置を特定する情報（すなわち、Encoder_ID、および、Encoder_Serial_Number）、符号化開始時刻（Encoding_Start_Time_Code）並びにフレームのカウント値（Continuity_Counter）を基に、追加符号化情報を生成して、符号化部１８５に供給する。
【０１１９】
ステップＳ４７およびステップＳ４８において、図７のステップＳ６およびステップＳ７と同様の処理が実行される。すなわち、符号化データに供給された追加符号化情報が合成されて出力され、非圧縮画像データの供給が終了したか否かが判断されて、終了していないと判断された場合、処理は、ステップＳ４３に戻り、それ以降の処理が繰り返される。ステップＳ４８において、非圧縮画像データの供給が終了したと判断された場合、処理は終了される。
【０１２０】
このような処理により、符号化データに、追加符号化情報として、符号化装置を特定する情報（すなわち、Encoder_ID、および、Encoder_Serial_Number）、符号化開始時刻（Encoding_Start_Time_Code）、並びに、フレームのカウント値（Continuity_Counter）が付加されて出力されるので、後述する再符号化処理において、図７または図８を用いて説明した処理よりも、高い精度で、編集点を検出することが可能となる。
【０１２１】
また、図７乃至図９を用いて説明した処理により生成された追加符号化情報は、ストリームデータのデータベースを作成したり、ストリームデータをライブラリ化する場合のIDやキーナンバーとして用いるようにしても良い。更に、追加符号化情報は、再符号化時にヒストリーデータや符号化パラメータの再利用不可期間を決定するために用いられるのみならず、再生時の頭だしのポイント（例えば、DVDなどにおけるチャプターの開始点および終了点や、繰り返し再生用のスタートポイントおよびエンドポイントなどを含む）などを検出するために用いられたり、シーンチェンジを検出するために用いられる。シーンチェンジを検出することによって、例えば、符号化における量子化値の制御が最適化されたり、テレビジョン放送などの番組ストリームの中にコマーシャルに対応するストリームデータが挿入されている場合に、コマーシャルの挿入個所を検出するために利用したり、ストリームデータを用いて、自動的にサムネイル画像を生成してユーザに提示する場合のストリームデータの区切り位置を決定するために利用することが可能である。
【０１２２】
再び、図５の説明に戻る。
【０１２３】
トランスコーダ１０１は、伝送路１１から、追加符号化情報が付加されたMPEGのLong GOPの供給を受ける。
【０１２４】
MPEGのLongGOPは、３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成される。トランスコーダ１０１は、供給されたMPEGのLong GOPのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化する場合、その後の処理において、これらのストリームデータがLongGOPで再符号化されるにあたって、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、別のピクチャタイプで符号化されてしまうことを防ぐため、過去に実行された符号化、すなわち、伝送路１１を介して、トランスコーダ１０１に、MPEGのLong GOPストリームを送信した装置による符号化のパラメータ（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層およびマクロブロック層のパラメータ）を、All Intraのストリーム（SDTI CP（Serial Data Transport Interface-Contents Package）ストリーム）上に、SMPTEに規定されている（SMPTE328M、SMPTE329M）ヒストリー情報（History data）として付加し、SDTI CPインタフェースのフレーム編集装置３に供給する。
【０１２５】
図１０を用いて、compressed_stream_format_of_MPEG_2_recoding_set（）のシンタックス（SMPTE 329M）について説明する。
【０１２６】
SMPTE 329Mのcompressed_stream_format_of_MPEG_2_recoding_set（）は、next_start_code（）関数、sequence_header（）関数、sequence_extension（）関数、extension_and_user_data（0)関数、group_of_picture_header（）関数、extension_and_user_data（1)関数、picture_header（）関数、picture_coding_extension（）関数、re_coding_stream_info()関数、extension_and_user_data（2)関数、およびpicture_data（）関数によって定義されたデータエレメントによって構成される。
【０１２７】
next_start_code（）関数は、ビットストリーム中に存在するスタートコードを探すための関数である。sequence_header（）関数によって定義されるデータエレメントには、例えば、画像の水平方向の画素数の下位１２ビットから成るデータであるhorizontal_size_value、画像の縦のライン数の下位１２ビットからなるデータであるvertical_size_value、発生符号量制御用の仮想バッファ（VBV；ビデオバッファベリファイヤ）の大きさを決める値の下位１０ビットデータであるVBV_buffer_size_valueなどがある。sequence_extension（）関数によって定義されるデータエレメントには、例えば、ビデオデータが順次走査であることを示すデータであるprogressive_sequence、ビデオデータの色差フォーマットを指定するためのデータであるchroma_format、Ｂピクチャを含まないことを示すデータであるlow_delayなどがある。
【０１２８】
extension_and_user_data（ｉ)関数は、「ｉ」が２以外のときは、extension_data（）関数によって定義されるデータエレメントは記述されずに、user_data（）関数によって定義されるデータエレメントのみが履歴ストリームとして記述される。よって、 extension_and_user_data（0)関数は、 user_data（）関数によって定義されるデータエレメントのみが履歴ストリームとして記述される。そして、履歴ストリーム中に、GOP層のスタートコードを示すgroup_start_codeが記述されている場合にのみ、 group_of_picture_header（）関数によって定義されたデータエレメント、およびextension_and_user_data（1)関数によって定義されるデータエレメントが記述されている。
【０１２９】
picture_headr（）関数によって定義されるデータエレメントには、例えば、ピクチャ層の開始同期コードを表すデータであるpicture_start_code、ピクチャの表示順を示す番号で、GOPの先頭でリセットされるデータであるtemporal_referenceなどがある。picture_coding_extension（）関数によって定義されるデータエレメントには、例えば、フレームストラクチャかフィールドストラクチャかを示すデータであり、フィールドストラクチャの場合は上位フィールドか下位フィールドかもあわせて示すデータであるpicture_structure、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータであるtop_field_first、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータであるq_scale_type、２：３プルダウンの際に使われるデータであるrepeat_firt_fieldなどがある。
【０１３０】
re_coding_stream_info（）関数によって定義されるデータエレメントは、SMPTE327Mにおいて定義されている。extensions_and_user_data（2）については、図１１を用いて後述する。picture_data（）関数によって定義されるデータエレメントは、slice（）関数によって定義されるデータエレメントである。slice（）関数によって、macroblock（）が定義され、macroblock（）には、motion_vectors情報などが記載されている。
【０１３１】
図１０で説明した、compressed_stream_format_of_MPEG_2_recoding_set（）のextension_and_user_data（2)内のuser_data(2)に記載される情報について、図１１を用いて説明する。
【０１３２】
Stream_Information_Headerは、３２bitのデータであり、picture_layerのuser_dataでの識別用のHeader番号が記載されており、user_dataとしてこの情報を識別できる値が記載されている１６bitのStream_Information_Header、Strema_Information（）のbyte長を示す、８bitのLength、および、marker_bitsで構成されている。
【０１３３】
Encoder_Serial_Numberは、エンコーダ（符号化部または符号化装置）に固有につけられる番号（シリアルナンバ）であり、１６bitの情報である。Encoder_IDは、エンコーダの機種を示すIDであり、１５bitの情報である。
【０１３４】
続くEncoding_Start_Time_Codeは、このストリームの生成が開始された時刻を示す情報であり、各byteデータのmsbを、marker_bit＝１とする、８byteの情報である。ここでは、８byte中の６byteが用いられて、ストリームの生成が開始された年（Time_Year)、月（Time_Month)、日（Time_Day)、時（Time_Hour)、分（Time_Minute)、および、秒（Time_Second）が記載されている。これらの値は、１ストリーム中で一定値となる。
【０１３５】
Encoder_Serial_Number、Encoder_ID、または、Encoding_Start_Time_Codeは、ストリームデータのデータベースを作成したり、ストリームデータをライブラリ化する場合のIDやキーナンバーとしても用いられる。
【０１３６】
Generation_Counter （GenC）は、符号化の世代数を示すカウント数であり、４ bitの情報である。符号化の世代数は、SDI（Serial Digital Interface）データからASI（Asynchronous Serial Interface）データにエンコードするときにカウントが開始され（第１世代とされ）、ASIデータからASIデータへの再エンコード時、またはSDTI CP（Serial Data Transport Interface-Contents Package）データからASIデータの再エンコード時に、カウント数がインクリメントされる。
【０１３７】
SDTI CPとは、Pro-MPEGフォーラムの推進でSMPTE326Mとして標準化された、MPEGデータをリアルタイムに伝送（同期転送）する世界標準規格であり、全てイントラフレーム（All Intra）である場合の伝送方式である。SDIとは、Point to Pointの伝送を基本に考えた、非圧縮のデジタルビデオ・オーディオの伝送方式であり、ANSI/SMPTE259Mに規定されている。ASIとは、符号化されたMPEGのLong GOPのストリームデータの伝送方式である。
【０１３８】
Continuity_Counterとは、フレームごとにインクリメントされるカウンタであり、最大値をすぎたら、再度、０からカウントが開始される。また、必要に応じて、フレーム数ではなく、フィールド数やピクチャ数をカウントするようにしても良い。
【０１３９】
Continuity_Counterは、ストリームデータのデータベースを作成したり、ストリームデータをライブラリ化する場合のIDやキーナンバーとしても用いられる。
【０１４０】
そして、これ以下に説明する情報は、デコーダ（復号部または復号装置）にて復号されたときに生成されるパラメータから抽出されて挿入される情報であるので、挿入前の状態においては、領域が確保されているだけである。
【０１４１】
picture_coding_typeは、MPEG2規格に準拠した、ピクチャのコーディングタイプを示す３ bitの情報で、例えば、このピクチャは、Ｉピクチャであるか、Ｂピクチャであるか、Ｐピクチャであるかなどが示される。temporal_referenceは、MPEG2規格に準拠した、GOPの中の画像順を表す（ピクチャごとにカウントアップされる）１０bitの情報である。
【０１４２】
reuse_levelとは、パラメータの再利用を規定するための７bitの情報である。error_flagは、各種エラーを通知するためのフラグである。
【０１４３】
header_present_flag（Ａ）は、sequence header present flagと、GOP header present flagとの２bitのフラグ情報である。
【０１４４】
extension_start_code_flagsは、SMPTE327Mに規定されている情報であり、各種の拡張IDが含まれているか否かを示す１６ｂｉｔのフラグ情報であり、０は拡張IDが含まれていないことを、１は拡張IDが含まれていることを示す。拡張IDには、例えば、sequence extension ID、 sequence display extension ID、quant matrix extension ID、copyright extension ID、sequence scalable extension ID、picture display extension ID、picture coding extension ID、picture spatial scalable extension ID、picture temporal scalable extension IDなどがある。
【０１４５】
other_start_codes（図中other）は、ユーザデータのスタートコードがどのレイヤに含まれているか、または、シーケンスエラーコードおよびシーケンスエンドコードが含まれているか否かを示す５bitのフラグ情報である。
【０１４６】
図中、Ｂと記載されているのは、reduced_bandwidth_flag（Ｂ）の１bitの情報であり、Cと記載されているのは、reduced_bandwidth_indicator（C）の２bitの情報である。num_of_picture_bytesは、ピクチャの発生量を示す２２bitの情報であり、レートコントロールなどに用いられる。
【０１４７】
bit_rate_extensionは、１２bitの、ビットレートに関する拡張情報領域であり、bit_rate_valueは、１８bitの情報である。SMPTEに規定されているフォーマットにおいて、ビットレートの情報は、統計多重されることにより、しばしば、特定の値（例えば、“ｆｆ“）で記載されているため、この情報を、再符号化に用いることはできない。これに対して、bit_rate_extensionは、再符号化に用いるために、前の符号化における実際のビットレートの値が記載される領域である。
【０１４８】
図５のトランスコーダ１０１の符号化部１１２において、図１０および図１１を用いて説明したようなヒストリーデータが付加されたAll Intraの符号化ストリームは、フレーム編集装置３にてフレーム編集される。そして、ヒストリー情報付のAll Intraのストリームデータは、トランスコーダ１５２に供給される。トランスコーダ１５２は、供給された、ヒストリー情報付のAll Intraのストリームデータを、復号部１２１で復号する。符号化部１６１は、復号されたヒストリー情報に含まれている、過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等の、ピクチャ層およびマクロブロック層のパラメータを、必要に応じて使用して、復号部１２１で復号された情報を、LongGOPに再符号化して出力する。
【０１４９】
図１２は、符号化部１６１の構成を示すブロック図である。
【０１５０】
ヒストリー抽出部２０１は、復号部１２１により復号された、ヒストリー情報付のAll Intraストリームから、ヒストリー情報を抽出して、制御部２１６に供給するとともに、映像ストリームをバッファ２０２に供給する。ヒストリー抽出部２０１により抽出されるヒストリー情報は、図１０および図１１を用いて説明したように、SMPTE 329Mにおいて規定されている、compressed_stream_format_of_MPEG_2_recoding_set（）の形式で記載されており、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなど、過去に実行された符号化に関する情報が含まれている。バッファ２０２は、供給されたストリームデータを所定期間（少なくとも、Ｐピクチャ間隔よりも長い期間）バッファリングした後、映像ストリームを画像並べ替え部２０３に供給する。
【０１５１】
編集点検出部２１７は、符号化部１６１に供給されたストリームデータ、または、ヒストリー抽出部２０１により抽出されたヒストリー情報に基づいて、編集点を検出する。すなわち、編集点検出部２１７は、内部に有するメモリに、１フレーム前の追加符号化情報（例えば、Encoding_Start_Time_Code、Encoder_Serial_Number、Encoder_ID、および、Continuity_Counterを、それぞれ、Prev_Encoding_Start_Time_Code、Prev_Encoder_Serial_Number、Prev_Encoder_ID、および、Prev_Continuity_Counterとして）を保存し、図１３に示されるように、その次のフレームの追加符号化情報と比較して、連続性を示さない情報があるか否かを基に、編集点を検出する。なお、編集点検出部２１７は、追加符号化情報以外にも、例えば、ストリームデータに付加されている編集点を示すフラグ情報を検出することにより、編集点を検出するようにしても良い。
【０１５２】
制御部２１６は、編集点検出部２１７から編集点を検出したことを示す信号の入力を受け、図１４に示されるように、編集点前のＰピクチャから、編集点後の所定のピクチャまでの期間だけ、パラメータ再利用不可期間を設定し、その期間は、ヒストリー抽出部２０１により抽出された、ヒストリー情報に含まれている過去の符号化のパラメータを用いずに符号化が実行されるように、画像並べ替え部２０３、動きベクトル検出部２０５、または、量子化値決定部２０８を制御する。パラメータ再利用不可期間の詳細については後述する。また、制御部２１６は、図１４を用いて説明したパラメータ再利用不可期間以外の期間においては、ヒストリー抽出部２０１により抽出された、ヒストリー情報に含まれている過去の符号化のパラメータを基に、画像並べ替え部２０３、動きベクトル検出部２０５、または、量子化値決定部２０８を、必要に応じて制御する。
【０１５３】
更に、制御部２１６は、パラメータ再利用不可期間を設定した場合、その設定情報をヒストリー情報生成部２１８に供給する。ヒストリー情報生成部２１８は、制御部２１６から供給された、パラメータ再利用不可期間の設定情報を含むヒストリー情報を生成し、ＶＬＣ部２０９において符号化されるストリームデータに付加させる。
【０１５４】
また、制御部２１６は、パラメータ再利用不可期間中に、編集点検出部２１７から編集点を検出したことを示す信号の入力を受けた場合、図１５に示されるように、後から検出された編集点の位置を基に、パラメータ再利用不可期間の終了点を設定することができるように、その内部のレジスタに、編集点検出フラグおよび再利用停止フラグを設け、編集点を検出したとき、編集点検出フラグをオンにし、その後、編集点の直前の再利用不可区間の始まりであるＰピクチャを検出して、再利用停止フラグをオンとして、再利用不可区間の設定のためのピクチャ数、または、Ｐピクチャの数のカウントを開始するとともに、編集点検出フラグをオフにする。そして、再利用停止フラグがオンの状態において、再度、編集点を検出したとき、編集点検出フラグをオンにし、再利用停止フラグをオンとした状態のまま、再利用不可区間の設定のためのピクチャ数、または、Ｐピクチャの数のカウントを一旦リセットした後、再開するようになされている。
【０１５５】
制御部２１６は、ヒストリー抽出部２０１から、図１０および図１１を用いて説明したヒストリー情報の供給を受け、パラメータ再利用不可期間以外の期間において、ヒストリー情報に記載されている内容が、所定の条件に合致しているか否かを基に、画像並べ替え部２０３、動きベクトル検出部２０５、量子化値決定部２０８、ストリームスイッチ２１９の一部、もしくは全ての処理を制御する。
【０１５６】
具体的には、制御部２１６は、パラメータ再利用不可期間以外の期間において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致しているか否かを判断し、一致していないと判断された場合、パラメータの再利用を行わず、後述する通常の符号化を実行すると判断する。ディレイモードは、SMPTE 329Mのsequence_extension（）関数のlow_delayに記載されている情報であり、ピクチャ構成およびプルダウンモードは、SMPTE 329Mのpicture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_fieldに、それぞれ記載されている情報である。
【０１５７】
以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致していると判断された場合、制御部２１６は、次に符号化する画像枠は、ヒストリー情報に示されている符号化処理を行った画像枠と一致しているか否かを判断し、画像枠が一致していないと判断された場合、ピクチャタイプ（図１１を用いて説明した、extension_and_user_data（2)内のuser_data(2)に記載されているpicture_coding_type）の情報のみを再利用する。画像枠が一致しているか否かは、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_valueおよびvertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phaseを比較することにより判断される。
【０１５８】
画像並べ替え部２０３は、前の符号化のピクチャタイプが再利用されると判断された場合、制御部２１６から供給された制御信号を基に、ヒストリー情報に含まれているピクチャタイプを基に、画像の並び替えを実行する。
【０１５９】
画像枠が一致していると判断された場合、制御部２１６は、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断し、いずれかの条件が満たされていなかったと判断された場合、ピクチャタイプの情報に加えて、動きベクトルの情報（picture_data（）関数のslice（）関数に記載されているmotion_vectors情報）を再利用する。ビットレートの情報は、SMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_valueに記載されている。クロマフォーマットの情報は、SMPTE 329Mのsequence_header（）関数のchroma_formatに記載されている。
【０１６０】
動きベクトル検出部２０５は、制御部２１６から供給された制御信号を基に、過去の符号化における動きベクトル情報を、動きベクトルとして再利用する。
【０１６１】
以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、制御部２１６は、ピクチャタイプ、動きベクトルに加えて、量子化値（q_scale）を再利用する。
【０１６２】
量子化値決定部２０８は、制御部２１６からから供給された制御信号を基に、必要に応じて、再利用された量子化値を量子化部２０７に供給して、量子化を実行させる。
【０１６３】
画像並べ替え部２０３は、制御部２１６の制御に基づいて、順次入力される画像データの各フレーム画像を、必要に応じて、並べ替えたり、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割したマクロブロックデータを生成して、演算部２０４、および、動きベクトル検出部２０５に供給する。
【０１６４】
動きベクトル検出部２０５は、マクロブロックデータの入力を受け、制御部２１６の制御に基づいて、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ２１４に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部２１３に送出したり、制御部２１６から供給された過去の符号化の動きベクトルを再利用して、動き補償部２１３に送出する。
【０１６５】
演算部２０４は、画像並べ替え部２０３から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいた動き補償を行う。具体的には、演算部２０４は、Ｉピクチャに対してはイントラモードで動き補償を行い、Ｐピクチャに対しては、順方向予測モードで動き補償を行い、Ｂピクチャに対しては、双方向予測モードで動き補償を行うようになされている。
【０１６６】
ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法であり、双方向予測モードとは、符号化対象となるフレーム画像と、過去と将来の参照画像との予測残差を伝送データとする方法である。
【０１６７】
まず、マクロブロックデータがＩピクチャであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部２０４は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてDCT（Discrete Cosine Transform ：離散コサイン変換）部２０６に送出する。DCT部２０６は、入力された演算データに対しDCT変換処理を行うことによりDCT係数化し、これをDCT係数データとして、量子化部２０７に送出する。
【０１６８】
量子化部２０７は、量子化値決定部２０８から供給される量子化値Ｑに基づいて、入力されたDCT係数データに対して量子化処理を行い、量子化DCT係数データとしてＶＬＣ（Variable Length Code；可変長符号化）部２０９および逆量子化部２１０に送出する。ここで、量子化部２０７は、量子化値決定部２０８から供給される量子化値Ｑに応じて、量子化処理における量子化ステップサイズを調整することにより、発生する符号量を制御するようになされている。
【０１６９】
逆量子化部２１０に送出された量子化DCT係数データは、量子化部２０７と同じ量子化ステップサイズによる逆量子化処理を受け、DCT係数データとして、逆DCT部２１１に送出される。逆DCT部２１１は、供給されたDCT係数データに逆DCT処理を施し、生成された演算データは、演算部２１２に送出され、参照画像データとしてフレームメモリ２１４に記憶される。
【０１７０】
そして、演算部２０４は、マクロブロックデータがＰピクチャであった場合、マクロブロックデータについて、順方向予測モードよる動き補償処理を行い、Ｂピクチャであった場合、マクロブロックデータについて、双方向予測モードによる動き補償処理を行う。
【０１７１】
動き補償部２１３は、フレームメモリ２１４に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データ、または、双方向予測画像データを算出する。演算部２０４は、マクロブロックデータについて、動き補償部２１３より供給される順方向予測画像データ、または、双方向予測画像データを用いて減算処理を実行する。
【０１７２】
すなわち、順方向予測モードにおいて、動き補償部２１３は、フレームメモリ２１４の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部２０４および演算部２１２に供給する。演算部２０４は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部２０４は、差分データをDCT部２０６に送出する。
【０１７３】
演算部２１２には、動き補償部２１３より順方向予測画像データが供給されており、演算部２１２は、逆DCT部２１０から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ２１４に出力して記憶させる。
【０１７４】
また、双方向予測モードにおいて、動き補償部２１３は、フレームメモリ２１４の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを双方向予測画像データとして演算部２０４および演算部２１２に供給する。演算部２０４は、供給されたマクロブロックデータから、双方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部２０４は、差分データをDCT部２０６に送出する。
【０１７５】
演算部２１２には、動き補償部２１３より双方向予測画像データが供給されており、演算部２１２は、逆DCT部２１０から供給された演算データに、双方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ２１４に出力して記憶させる。
【０１７６】
かくして、符号化部１６１に入力された画像データは、動き補償予測処理、DCT処理および量子化処理を受け、量子化DCT係数データとして、ＶＬＣ部２０９に供給される。ＶＬＣ部２０９は、量子化DCT係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ２１５に送出する。バッファ２１５は、供給された可変長符号化データをバッファリングした後、ストリームスイッチ２１９に出力する。
【０１７７】
ストリームスイッチ２１９は、制御部２１６の制御に基づいて、バッファ２１５から供給された可変長符号化データを出力する。
【０１７８】
量子化値決定部２０８は、バッファ２１５に格納される可変長符号化データの蓄積状態を常時監視しており、制御部２１６の制御に基づいて、蓄積状態を表す占有量情報、または、制御部２１６から供給される、過去の符号化のパラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定するようになされている。
【０１７９】
量子化値決定部２０８は、上述したように、制御部２１６から過去の符号化パラメータに含まれる量子化値Ｑが供給され、過去の符号化の量子化値を再利用することができる場合、過去の符号化パラメータに含まれる量子化値Ｑを基に、量子化ステップサイズを決定することができる。
【０１８０】
また、量子化値決定部２０８は、ヒストリー情報を基に量子化ステップサイズを決定しない場合においては、目標発生符号量よりも実際に発生したマクロブロックの発生符号量が多いとき、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量よりも実際の発生符号量が少ないとき、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【０１８１】
すなわち、量子化値決定部２０８は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、仮想バッファのバッファ占有量を求めて、量子化値Ｑを算出し、これを量子化部２０７に供給する。
【０１８２】
ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）は、次の式（１）によって表され、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（２）によって表され、（１）式から（２）式を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋1）は、次の式（３）として表される。
【０１８３】
ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−{Ｔ×（ｊ−１）／MBcnt}    ・・・（１）
【０１８４】
ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、MBcntは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。
【０１８５】
ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｊ）−（Ｔ×ｊ）／MBcnt          ・・・（２）
【０１８６】
ｄ（ｊ＋１）＝ｄ（ｊ）＋{Ｂ（ｊ）−Ｂ（ｊ−１）}−Ｔ／MBcnt    ・・（３）
【０１８７】
量子化値決定部２０８は、ピクチャ内のマクロブロックがイントラスライス部分とインタースライス部分とに分かれている場合には、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴpiおよびＴppをそれぞれ個別に設定する。
【０１８８】
したがって、量子化値決定部２０８は、バッファ占有量ｄ（ｊ＋１）、および、式（４）に示される定数ｒを、式（５）に代入することにより、マクロブロック（ｊ＋1）の量子化インデックスデータＱ（ｊ＋1）を算出し、これを量子化部２０７に供給する。
【０１８９】
ｒ＝（２×ｂｒ）／ｐｒ        ・・・（４）
【０１９０】
Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ）      ・・・（５）
【０１９１】
ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【０１９２】
量子化部２０７は、量子化値Ｑに基づいて、次のマクロブロックにおける量子化ステップサイズを決定し、量子化ステップサイズによってDCT係数データを量子化する。
【０１９３】
これにより、量子化部２０７は、１つ前のピクチャにおける実際の発生符号量に基づいて算出された、次のピクチャの目標発生符号量にとって最適な量子化ステップサイズによって、DCT係数データを量子化することができる。
【０１９４】
かくして、量子化部２０７では、バッファ２１５のデータ占有量に応じて、バッファ２１５がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化DCT係数データを生成することができる。
【０１９５】
なお、以上においては、符号化処理を、ピクチャ単位で行う場合について説明したが、符号化処理が、ピクチャ単位ではなく、例えば、スライス単位や、マクロブロック単位で行われる場合にも、基本的に同様にして、符号化処理が実行される。
【０１９６】
また、図４を用いて説明した、入力画像を高ビットレートでMPEGのLongGOPに符号化し、それを復号して、低ビットレートのLongGOPに再符号化する場合に、再符号化のための画像劣化が発生しないようになされているシステムについても、同様にして本発明を適用することが可能である。図１６は、本発明を適用した、入力画像を高ビットレートでMPEGのLongGOPに符号化し、それを復号して低ビットレートのLongGOPに再符号化する場合に、ＶＢＶバッファの破綻を防止しつつ、再符号化のための画像劣化が発生しないようになされているシステムの構成を示すブロック図である。なお、図４における場合と対応する部分には同一の符号を付してある。更に、図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１９７】
すなわち、図１６のシステムは、符号化装置１に代わって、図６を用いて説明した符号化装置１５１が備えられ、トランスコーダ１３１に代わって、トランスコーダ２３１が備えられ、トランスコーダ２３１は、符号化部１４２に代わって、供給されるストリームの条件に対応して、編集点付近の所定の再利用不可期間以外の期間において再利用可能な履歴情報（パラメータ情報）を選択して符号化に用いることが可能な符号化部２４１が設けられており、符号化部２４１には、復号部１４１から出力される復号された信号のほかに、復号部１４１に入力されているストリームデータも入力されているほかは、基本的に、トランスコーダ１３１と同様の構成を有する。
【０１９８】
符号化装置１５１により符号化されたMPEGのLong GOPのストリーム（ASIストリーム）データの供給を受けたトランスコーダ２３１は、高ビットレートのMPEGのLong GOPを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部２４１に供給する。符号化部２４１は、必要に応じて、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのMPEGのLong GOPとなるように符号化し、符号化された低ビットレートのMPEGのLong GOPのストリーム（ASIストリーム）データを出力する。
【０１９９】
図１７は、符号化部２４１の構成を示すブロック図である。なお、図１７においては、図１２の符号化部１６１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２００】
すなわち、符号化部２４１は、ヒストリー抽出部２０１が省略され、復号部１４１から供給されるパラメータを取得して制御部２１６に供給する、パラメータ入力部２２１が設けられ、ヒストリー情報生成部２１８が省略されているほかは、図１２の符号化部１６１と、基本的に同様の構成を有するものである。
【０２０１】
編集点検出部２１７は、符号化部１６１に供給されたストリームデータ、または、パラメータ入力部２５１により取得されたパラメータ情報に基づいて、編集点を検出する。すなわち、編集点検出部２１７は、内部に有するメモリに、１フレーム前の追加符号化情報（例えば、Encoding_Start_Time_Code、Encoder_Serial_Number、Encoder_ID、および、Continuity_Counterを、それぞれ、Prev_Encoding_Start_Time_Code、Prev_Encoder_Serial_Number、Prev_Encoder_ID、および、Prev_Continuity_Counterとして）を保存し、図１３を用いて説明したように、その次のフレームの追加符号化情報と比較して、連続性を示さない情報があるか否かを基に、編集点を検出する。なお、編集点検出部２１７は、追加符号化情報以外にも、例えば、ストリームデータに付加されている編集点を示すフラグ情報を検出することにより、編集点を検出するようにしても良い。
【０２０２】
制御部２１６は、編集点検出部２１７から編集点を検出したことを示す信号の入力を受け、図１４を用いて説明したように、パラメータ再利用不可期間を設定し、その期間は、パラメータ入力部２２１により抽出された、符号化パラメータ情報に含まれている過去の符号化のパラメータを用いずに符号化が実行されるように、画像並べ替え部２０３、動きベクトル検出部２０５、または、量子化値決定部２０８を制御する。また、制御部２１６は、パラメータ再利用不可期間以外の期間においては、パラメータ入力部２２１から、図１０および図１１を用いて説明したヒストリー情報と同様の情報を含むパラメータ情報の供給を受け、パラメータ情報に記載されている内容が、所定の条件に合致しているか否かを基に、画像並べ替え部２０３、動きベクトル検出部２０５、量子化値決定部２０８、ストリームスイッチ２１９の一部、もしくは全ての処理を制御する。
【０２０３】
具体的には、制御部２１６は、パラメータ再利用不可期間以外の期間において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致しているか否かを判断し、一致していないと判断された場合、パラメータの再利用を行わなず、後述する通常の符号化を実行すると判断する。ディレイモードは、SMPTE 329Mのsequence_extension（）関数のlow_delayと同様にして、パラメータ情報に記載されている情報であり、ピクチャ構成およびプルダウンモードは、SMPTE 329Mのpicture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_fieldと同様にして、パラメータ情報に、それぞれ記載されている情報である。
【０２０４】
以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化と一致していると判断された場合、制御部２１６は、次に符号化する画像枠は、パラメータ情報に示されている符号化処理を行った画像枠と一致しているか否かを判断し、画像枠が一致していないと判断された場合、ピクチャタイプの情報（図１１を用いて説明した、extension_and_user_data（2)内のuser_data(2)に記載されているpicture_coding_typeと同様にして、パラメータ情報に記載されている情報）のみを再利用する。画像枠が一致しているか否かは、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_value、および、vertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phaseと同様にして、パラメータ情報に記載されている情報を比較することにより判断される。
【０２０５】
画像並べ替え部２０３は、前の符号化のピクチャタイプが再利用されると判断された場合、制御部２１６から供給された制御信号を基に、パラメータ情報に含まれているピクチャタイプを基に、画像の並び替えを実行する。
【０２０６】
画像枠が一致していると判断された場合、制御部２１６は、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断し、いずれかの条件が満たされていなかったと判断された場合、ピクチャタイプの情報に加えて、動きベクトルの情報（picture_data（）関数のslice（）関数に記載されているmotion_vectors情報と同様にして、パラメータ情報に記載されている情報）を再利用する。ビットレートの情報は、SMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_valueと同様にして、パラメータ情報に記載されている情報である。クロマフォーマットの情報は、SMPTE 329Mのsequence_header（）関数のchroma_formatと同様にして、パラメータ情報に記載されている。
【０２０７】
動きベクトル検出部２０５は、制御部２１６から過去の符号化の動きベクトル情報の供給を受け、動きベクトルとして再利用する。
【０２０８】
以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、制御部２１６は、パラメータのクロマフォーマットと今回のクロマフォーマットが一致しているか否かを判断し、一致していないと判断された場合、ピクチャタイプ、動きベクトルに加えて、量子化値（q_scale）を再利用する。
【０２０９】
量子化値決定部２０８は、制御部２１６からから供給された制御信号を基に、過去の符号化に用いられた量子化値を量子化部２０７に供給して、量子化を実行させる。
【０２１０】
クロマフォーマットと今回のクロマフォーマットが一致していると判断された場合、制御部２１６は、ストリームスイッチ２１９を制御して、復号部１４１に入力されたストリームデータを出力する。
【０２１１】
なお、図１７の符号化部２４１においては、パラメータ情報に含まれる前の符号化に関する情報を再利用するか否かにかかわる制御部２１６の処理以外の通常の符号化処理については、図１２を用いて説明した符号化部１６１と同様の処理が実行されるので、その詳細な説明は省略する。
【０２１２】
すなわち、図１２を用いて説明した符号化部１６１および図１７を用いて説明した符号化部２４１において、ヒストリー情報またはパラメータ情報を再利用しない場合、通常のエンコードが行われ、ピクチャタイプを再利用する場合、ヒストリー情報に含まれるSMPTE329Mのpicture_coding_type、または、パラメータ情報に含まれる同様の情報が再利用され、更に動きベクトルを再利用する場合、ヒストリー情報に含まれるred_bw_indicator＝0からq_scale_codeを除いた情報、または、パラメータ情報に含まれる同様の情報が再利用され、更に量子化値を再利用する場合、ヒストリー情報に含まれるred_bw_indicator＝0、または、パラメータ情報に含まれる同様の情報が再利用され、エンコーダへの入力ストリームが出力される場合、ストリームスイッチ２１９が制御されて、前段の復号部へ入力されたストリームデータが出力される。
【０２１３】
図１８のフローチャートを参照して、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７が、符号化ストリームデータに付加された追加符号化情報を用いて編集点を検出する編集点検出処理１について説明する。
【０２１４】
なお、編集点検出処理１は、図７を用いて説明した、追加符号化情報を含む符号化データ生成処理１において生成された符号化ストリームデータの編集点を検出する場合の処理である。
【０２１５】
ステップＳ６１において、図１２の符号化部１６１または図１７の符号化部２４１は、符号化ストリームを１フレーム取得する。
【０２１６】
ステップＳ６２において、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７は、ヒストリー抽出部２０１により抽出されたヒストリー情報、または、パラメータ入力部２５１が取得したパラメータ情報を取得する。
【０２１７】
ステップＳ６３において、編集点検出部２１７は、ヒストリー情報、または、パラメータ情報から、Encoder_Serial_Number、Encoder_ID、および、Continuity_Counterを取得する。
【０２１８】
ステップＳ６４において、編集点検出部２１７は、取得されたフレームは、この符号化ストリームの一番最初のフレームであるか否かを判断する。
【０２１９】
ステップＳ６４において、取得されたフレームは、この符号化ストリームの一番最初のフレームであると判断された場合、ステップＳ６５において、編集点検出部２１７は、取得したEncoder_Serial_Number、Encoder_ID、および、Continuity_Counterを、それぞれ、Prev_Encoder_Serial_Number、Prev_Encoder_ID、および、Prev_Continuity_Counterとして、内部のメモリに保存し、処理は、ステップＳ６１に戻り、それ以降の処理が繰り返される。
【０２２０】
ステップＳ６４において、取得されたフレームは、この符号化ストリームの一番最初のフレームではないと判断された場合、ステップＳ６６において、編集点検出部２１７は、ステップＳ６３において取得されたEncoder_Serial_Number、Encoder_ID、および、Continuity_Counterを、内部のメモリに保存されているPrev_Encoder_Serial_Number、Prev_Encoder_ID、および、Prev_Continuity_Counterと比較する。
【０２２１】
ステップＳ６７において、編集点検出部２１７は、ステップＳ６６の比較において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があるか否かを判断する。連続性がないと判断可能な比較結果とは、具体的には、Encoder_Serial_NumberとPrev_Encoder_Serial_Numberとが異なるものである、Encoder_IDとPrev_Encoder_IDとが異なるものである、または、Continuity_CounterとPrev_Continuity_Counterとが連続する値ではない、のうちのいずれかの比較結果である。
【０２２２】
ステップＳ６７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があると判断された場合、ステップＳ６８において、編集点検出部２１７は、編集点を検出したものとして、制御部２１６に編集点の検出を通知する。
【０２２３】
ステップＳ６７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果がないと判断された場合、または、ステップＳ６８の処理の終了後、ステップＳ６９において、編集点検出部２１７は、取得したEncoder_Serial_Number、Encoder_ID、および、Continuity_Counterを、それぞれ、Prev_Encoder_Serial_Number、Prev_Encoder_ID、および、Prev_Continuity_Counterとして、内部のメモリに保存し、処理は、ステップＳ６１に戻り、それ以降の処理が繰り返される。
【０２２４】
このような処理により、フレームのカウント値が連続しているか否かと、符号化を行った符号化装置が同一であるか否かを基に、編集点であるか否かが判断される。
【０２２５】
次に、図１９のフローチャートを参照して、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７が、符号化ストリームデータに付加された追加符号化情報を用いて編集点を検出する編集点検出処理２について説明する。
【０２２６】
なお、編集点検出処理２は、図８を用いて説明した、追加符号化情報を含む符号化データ生成処理２において生成された符号化ストリームデータの編集点を検出する場合の処理である。
【０２２７】
ステップＳ８１において、図１２の符号化部１６１または図１７の符号化部２４１は、符号化ストリームを１フレーム取得する。
【０２２８】
ステップＳ８２において、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７は、ヒストリー抽出部２０１により抽出されたヒストリー情報、または、パラメータ入力部２５１が取得したパラメータ情報を取得する。
【０２２９】
ステップＳ８３において、編集点検出部２１７は、ヒストリー情報、または、パラメータ情報から、Continuity_Counter、および、Encoding_Start_Time_Codeを取得する。
【０２３０】
ステップＳ８４において、編集点検出部２１７は、取得されたフレームは、この符号化ストリームの一番最初のフレームであるか否かを判断する。
【０２３１】
ステップＳ８４において、取得されたフレームは、この符号化ストリームの一番最初のフレームであると判断された場合、ステップＳ８５において、編集点検出部２１７は、取得したContinuity_Counter、および、Encoding_Start_Time_Codeを、それぞれ、として、内部のメモリに保存して、処理は、ステップＳ８１に戻り、それ以降の処理が繰り返される。
【０２３２】
ステップＳ８４において、取得されたフレームは、この符号化ストリームの一番最初のフレームではないと判断された場合、ステップＳ８６において、編集点検出部２１７は、ステップＳ８３において取得されたContinuity_Counter、および、Encoding_Start_Time_Codeを、内部のメモリに保存されているPrev_Continuity_Counter、および、Prev_Encoding_Start_Time_Codeと比較する。
【０２３３】
ステップＳ８７において、編集点検出部２１７は、ステップＳ８６の比較において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があるか否かを判断する。連続性がないと判断可能な比較結果とは、具体的には、Continuity_CounterとPrev_Continuity_Counterとが連続する値ではない、または、Encoding_Start_Time_CodeとPrev_Encoding_Start_Time_Codeとが異なるものである、のうちのいずれかの比較結果である。
【０２３４】
ステップＳ８７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があると判断された場合、ステップＳ８８において、編集点検出部２１７は、編集点を検出したものとして、制御部２１６に編集点の検出を通知する。
【０２３５】
ステップＳ８７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果がないと判断された場合、または、ステップＳ８８の処理の終了後、ステップＳ８９において、編集点検出部２１７は、取得したContinuity_Counter、および、Encoding_Start_Time_Codeを、それぞれ、Prev_Continuity_Counter、および、Prev_Encoding_Start_Time_Codeとして、内部のメモリに保存し、処理は、ステップＳ８１に戻り、それ以降の処理が繰り返される。
【０２３６】
このような処理により、フレームのカウント値が連続しているか否かと、符号化の開始時刻が同一であるか否かを基に、編集点であるか否かが判断される。
【０２３７】
図２０のフローチャートを参照して、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７が、符号化ストリームデータに付加された追加符号化情報を用いて編集点を検出する編集点検出処理３について説明する。
【０２３８】
なお、編集点検出処理３は、図９を用いて説明した、追加符号化情報を含む符号化データ生成処理３において生成された符号化ストリームデータの編集点を検出する場合の処理である。
【０２３９】
ステップＳ１０１において、図１２の符号化部１６１または図１７の符号化部２４１は、符号化ストリームを１フレーム取得する。
【０２４０】
ステップＳ１０２において、図１２の符号化部１６１または図１７の符号化部２４１の編集点検出部２１７は、ヒストリー抽出部２０１により抽出されたヒストリー情報、または、パラメータ入力部２５１が取得したパラメータ情報を取得する。
【０２４１】
ステップＳ１０３において、編集点検出部２１７は、ヒストリー情報、または、パラメータ情報から、Encoder_Serial_Number、Encoder_ID、Encoding_Start_Time_Code、および、Continuity_Counterを取得する。
【０２４２】
ステップＳ１０４において、編集点検出部２１７は、取得されたフレームは、この符号化ストリームの一番最初のフレームであるか否かを判断する。
【０２４３】
ステップＳ１０４において、取得されたフレームは、この符号化ストリームの一番最初のフレームであると判断された場合、ステップＳ１０５において、編集点検出部２１７は、取得したEncoder_Serial_Number、Encoder_ID、Encoding_Start_Time_Code、および、Continuity_Counterを、それぞれ、Prev_Encoder_Serial_Number、Prev_Encoder_ID、Prev_Encoding_Start_Time_Code、および、Prev_Continuity_Counterとして、内部のメモリに保存して、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返る。
【０２４４】
ステップＳ１０４において、取得されたフレームは、この符号化ストリームの一番最初のフレームではないと判断された場合、ステップＳ１０６において、編集点検出部２１７は、ステップＳ１０３において取得されたEncoder_Serial_Number、Encoder_ID、Encoding_Start_Time_Code、および、Continuity_Counterを、内部のメモリに保存されているPrev_Encoder_Serial_Number、Prev_Encoder_ID、Prev_Encoding_Start_Time_Codeおよび、Prev_Continuity_Counterと比較する。
【０２４５】
ステップＳ１０７において、編集点検出部２１７は、ステップＳ１０６の比較において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があるか否かを判断する。連続性がないと判断可能な比較結果とは、具体的には、Encoder_Serial_NumberとPrev_Encoder_Serial_Numberとが異なるものである、Encoder_IDとPrev_Encoder_IDとが異なるものである、Encoding_Start_Time_CodeとPrev_Encoding_Start_Time_Codeとが異なるものである、または、Continuity_CounterとPrev_Continuity_Counterとが連続する値ではない、のうちのいずれかの比較結果である。
【０２４６】
ステップＳ１０７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果があると判断された場合、ステップＳ１０８において、編集点検出部２１７は、編集点を検出したものとして、制御部２１６に編集点の検出を通知する。
【０２４７】
ステップＳ１０７において、前のフレームと現フレームで、連続性がないと判断可能な比較結果がないと判断された場合、または、ステップＳ１０８の処理の終了後、ステップＳ１０９において、編集点検出部２１７は、取得したEncoder_Serial_Number、Encoder_ID、Encoding_Start_Time_Codeおよび、Continuity_Counterを、それぞれ、Prev_Encoder_Serial_Number、Prev_Encoder_ID、Prev_Encoding_Start_Time_Code、および、Prev_Continuity_Counterとして、内部のメモリに保存し、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。
【０２４８】
このような処理により、フレームのカウント値が連続しているか否か、符号化を行った符号化装置が同一であるか否か、および、符号化開始時間が同一であるか否かを基に、精度よく編集点であるか否かが判断される。
【０２４９】
なお、図１８乃至図２０を用いて説明した処理により検出された編集点は、後述する符号化処理において、再利用禁止期間を設定するために用いられるのみならず、再生時の頭だしのポイントや、シーンチェンジの検出などに用いるようにしても良い。
【０２５０】
次に、図２１のフローチャートを参照して、図１２の符号化部１６１または図１７の符号化部２４１が、検出された編集点を基に、編集点前後の所定の期間（編集点前後の所定枚数のフレームの区間）である再利用禁止期間においては、ヒストリー情報やパラメータ情報を用いずに符号化を実行するようになされている、符号化処理１について説明する。
【０２５１】
ステップＳ１３１において、図１２の符号化部１６１または図１７の符号化部２４１は、フレーム画像データとその付帯情報、すなわち、ヒストリー情報、または、パラメータ情報を取得する。
【０２５２】
ステップＳ１３２において、符号化部１６１または符号化部２４１の制御部２１６は、編集点検出部２１７から供給された信号を基に、編集点が検出されたか否かを判断する。
【０２５３】
ステップＳ１３２において、編集点が検出されたと判断された場合、ステップＳ１３３において、制御部２１６は、編集点検出フラグをONにする。
【０２５４】
ステップＳ１３２において、編集点が検出されていないと判断された場合、または、ステップＳ１３３の処理の終了後、ステップＳ１３４において、制御部２１６は、内部のレジスタを参照し、編集点検出フラグがオフであるか否かを判断する。
【０２５５】
ステップＳ１３４において、編集点検出フラグがオフではないと判断された場合、ステップＳ１３５において、制御部２１６は、バッファ２０２に保持されているストリームデータから、編集点の直前のＰピクチャを検出し、このＰピクチャから、後述する処理により、再利用再開されると判定されるピクチャの１つ前のピクチャまでを、再利用不可期間と設定する。
【０２５６】
例えば、Ｂピクチャの符号化情報をもつ画像が編集点であることが検出された場合、その直前までのＢピクチャは、通常そのＢピクチャの前後のＰピクチャが参照されるようになされているため、編集点の１つ前のＰピクチャから編集点までのピクチャは、ヒストリー情報やパラメータ情報を再利用して符号化を行ってしまうことにより、ＶＢＶバッファの破綻が生じてしまう恐れがある。また、同様にして、編集点以降のピクチャにおいても、その前後のピクチャを参照した符号化が行われていることにより、編集点における不連続性の影響が及ぶ可能性がある期間については、ヒストリー情報やパラメータ情報を再利用して符号化を行うことを禁止する必要がある。
【０２５７】
ステップＳ１３６において、制御部２１６は、内部のレジスタの再利用停止フラグをONにし、編集点検出フラグをOFFにする。
【０２５８】
ステップＳ１３７において、制御部２１６は、内部のレジスタにおいて、ピクチャ数をカウントするための変数Pic_contを、Pic_cont＝0、Ｐピクチャの数をカウントするための変数P_Pic_contを、P_Pic_cont＝0とリセットする。
【０２５９】
ステップＳ１３８において、バッファ２０２は、供給されたピクチャを、所定の時間（少なくとも、Ｐピクチャの間隔より長い時間）だけバッファリングした後、出力する。
【０２６０】
ステップＳ１３９において、制御部２１６は、パラメータまたはヒストリーの再利用を行わないで符号化処理を実行させるために、図１２の符号化部１６１または図１７の符号化部２４１の各部を制御し、処理は、ステップＳ１３２に戻り、それ以降の処理が繰り返される。
【０２６１】
ステップＳ１３４において、編集点検出フラグがオフであると判断された場合、ステップＳ１４０において、制御部２１６は、内部のレジスタを参照し、再利用停止フラグがオフであるか、すなわち、再利用不可期間以外の期間であるか否かを判断する。ステップＳ１４０において、再利用停止フラグがオフである、すなわち、再利用不可期間以外の期間であると判断された場合、処理は、後述するステップＳ１４５に進む。
【０２６２】
ステップＳ１４０において、再利用停止フラグがオフではない、すなわち、再利用不可期間中であると判断された場合、ステップＳ１４１において、図２２、図２４、または、図２６を用いて後述する、再利用再開判定処理が実行される。
【０２６３】
ステップＳ１４１において、図２２を用いて後述する再利用判定処理１が実行されたとき、次に実行されるステップＳ１４１においても、常に、再利用判定処理１が実行されるようになされ、ステップＳ１４１において、図２４を用いて後述する再利用判定処理２が実行されたとき、次に実行されるステップＳ１４１においても、常に、再利用判定処理２が実行されるようになされ、ステップＳ１４１において、図２６を用いて後述する再利用判定処理３が実行されたとき、次に実行されるステップＳ１４１においても、常に、再利用判定処理３が実行されるようになされる。換言すれば、例えば、ステップＳ１４１において、図２２を用いて後述する再利用判定処理１が実行された後、次に実行されるステップＳ１４１において、図２４を用いて後述する再利用判定処理２や図２６を用いて後述する再利用判定処理３が実行されることはない。
【０２６４】
ステップＳ１４２において、制御部２１６は、ステップＳ１４１において実行された再利用再開判定処理の結果、パラメータまたはヒストリーの再利用が再開されるか否かを判断する。ステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されないと判断された場合、処理は、ステップＳ１３９に進み、それ以降の処理が繰り返される。
【０２６５】
ステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されると判断された場合、ステップＳ１４３において、制御部２１６は、内部のレジスタの再利用停止フラグをOFFにする。
【０２６６】
ステップＳ１４０において、再利用停止フラグがオフである、すなわち、再利用不可期間以外の期間であると判断された場合、または、ステップＳ１４３の処理の終了後、ステップＳ１４４において、バッファ２０２は、供給されたピクチャを、所定の時間（少なく
とも、Ｐピクチャの間隔より長い時間）だけバッファリングした後、出力する。
【０２６７】
ステップＳ１４５において、図２８を用いて後述するパラメータ再利用符号化処理が実行されて、処理は、ステップＳ１３２に戻り、それ以降の処理が繰り返される。
【０２６８】
ただし、再利用停止フラグがオフである、すなわち、再利用不可期間以外の期間であると判断されたり、または、パラメータまたはヒストリーの再利用が再開されると判断されても、その後の数ピクチャの間に編集点が検出された場合は、ステップＳ１３５の処理により、再利用不可区間に設定される可能性がある。したがって、ステップＳ１４０において、再利用停止フラグがオフである、すなわち、再利用不可期間以外の期間であると判断された場合、または、ステップＳ１４３の処理の終了後、一旦再利用不可期間以外であると判断されたピクチャは、バッファ２０２において、所定の期間バッファリングされ、その後の数ピクチャの間に編集点が検出されなかった場合にのみ、バッファ２０２から出力された画像データに対して、ステップＳ１４５において、図２８を用いて後述するパラメータ再利用符号化処理が実行される。
【０２６９】
このような処理により、再利用不可期間であるか否かに基づいて、符号化処理においてパラメータまたはヒストリーの再利用が行われるか否かが決定される。
【０２７０】
次に、図２２のフローチャートを参照して、図２１のステップＳ１４１で実行される、再利用再開判定処理１について説明する。
【０２７１】
ステップＳ１６１において、制御部２１６は、ピクチャ数をカウントするための変数Pic_contを、Pic_cont＝Pic_cont＋１とする。
【０２７２】
ステップＳ１６２において、制御部２１６は、変数Pic_contが、所定の値ｎ（例えば、ｎ＝８）より大きいか否かを判断する。
【０２７３】
ステップＳ１６２において、変数Pic_contが、所定の値ｎより大きいと判断された場合、ステップＳ１６３において、制御部２１６は、この処理の後、図２１のステップＳ１３９またはステップＳ１４５において符号化されるピクチャは、Iピクチャであるか否かを判断する。
【０２７４】
ステップＳ１６３において、Iピクチャであると判断された場合、ステップＳ１６４において、制御部２１６は、このピクチャから、ヒストリー情報または符号化パラメータの再利用が再開可能であるとし、処理は、図２１のステップＳ１４２に戻る。
【０２７５】
すなわち、ステップＳ１６４の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されると判断されるので、再利用停止フラグがオフとなり、パラメータ再利用符号化処理が実行される。
【０２７６】
ステップＳ１６２において、変数Pic_contが、所定の値ｎより小さいと判断された場合、または、ステップＳ１６３において、Iピクチャではないと判断された場合、ステップＳ１６５において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの再利用を再開することを不可とし、図２１のステップＳ１４２に戻る。
【０２７７】
すなわち、ステップＳ１６５の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されないと判断されるので、再利用停止フラグはオンのままとなり、パラメータ再利用符号化処理は実行されない。
【０２７８】
このような処理により、再利用が開始されるピクチャが決定されるので、例えば、図２３に示されるように、編集点Ａに対して、時間的に１つ前の位置にあるＰピクチャから、編集点Ａから所定の数ｎ（例えば、ｎ＝８）後のピクチャの次のＩピクチャまでが、再利用不可期間Ａとして定められる。また、編集点Ｂのように、数ピクチャしか隔てずにＩピクチャが存在する位置において編集点が存在した場合、そのＩピクチャでは再利用を再開せずに、編集点Ｂから、所定の数ｎ（例えば、ｎ＝８）後のピクチャの次のＩピクチャから、ヒストリー情報、または、パラメータ情報を再利用することができるようになされる。
【０２７９】
なお、符号化部１６１においては、ステップＳ１６４において、再利用再開可能とされた場合、制御部２１６は、設定された再利用不可期間の情報を、ヒストリー情報生成部２１８に供給して、生成されるヒストリー情報に、設定された再利用不可期間の情報を加えるようにしても良い。このようにすることにより、編集点の検出や再利用不可期間の設定処理を実行することができない符号化装置においても、再利用不可期間において、ヒストリー情報を再利用せずに符号化を実行させ、ＶＢＶバッファの破綻や画像の劣化を防ぐようにすることができる。
【０２８０】
次に、図２４のフローチャートを参照して、図２１のステップＳ１４１で実行される、再利用再開判定処理２について説明する。
【０２８１】
ステップＳ１８１において、制御部２１６は、この処理の後、図２１のステップＳ１３９またはステップＳ１４５において符号化されるピクチャは、Ｐピクチャ、または、Ｉピクチャであるか否かを判断する。
【０２８２】
ステップＳ１８１において、Ｐピクチャ、または、Ｉピクチャであると判断された場合、ステップＳ１８２において、制御部２１６は、Ｐピクチャの数をカウントするための変数P_Pic_contを、P_Pic_cont＝P_Pic_cont＋１とする。
【０２８３】
ステップＳ１８３において、制御部２１６は、P_Pic_contが所定の値ｍ（例えば、ｍ＝３）より大きいか否かを判断する。
【０２８４】
ステップＳ１８３において、P_Pic_contが所定の値ｍより大きいと判断された場合、ステップＳ１８４において、制御部２１６は、このピクチャから、ヒストリー情報または符号化パラメータの再利用が再開可能であるとし、処理は、図２１のステップＳ１４２に戻る。
【０２８５】
すなわち、ステップＳ１８４の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されると判断されるので、再利用停止フラグがオフとなり、パラメータ再利用符号化処理が実行される。
【０２８６】
ステップＳ１８１において、Ｐピクチャ、または、Ｉピクチャではないと判断された場合、または、ステップＳ１８３において、P_Pic_contが所定の値ｍより小さいと判断された場合、ステップＳ１８５において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの再利用を再開することを不可とし、図２１のステップＳ１４２に戻る。
【０２８７】
すなわち、ステップＳ１８５の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されないと判断されるので、再利用停止フラグはオンのままとなり、パラメータ再利用符号化処理は実行されない。
【０２８８】
このような処理により、再利用が開始されるピクチャが決定されるので、例えば、図２５に示されるように、編集点に対して、時間的に１つ前の位置にあるＰピクチャから、編集点から所定の数ｍ（例えば、ｍ＝３）後のＩピクチャまたはＰピクチャまでが、再利用不可期間として定められる。
【０２８９】
なお、この処理においても、符号化部１６１においては、ステップＳ１８４において、再利用再開可能とされた場合、制御部２１６は、設定された再利用不可期間の情報を、ヒストリー情報生成部２１８に供給して、生成されるヒストリー情報に、設定された再利用不可期間の情報を加えるようにしても良い。このようにすることにより、編集点の検出や再利用不可期間の設定処理を実行することができない符号化装置においても、再利用不可期間において、ヒストリー情報を再利用せずに符号化を実行させ、ＶＢＶバッファの破綻や画像の劣化を防ぐようにすることができる。
【０２９０】
次に、図２６のフローチャートを参照して、図２１のステップＳ１４１で実行される、再利用再開判定処理３について説明する。
【０２９１】
ステップＳ２０１において、制御部２１６は、この処理の後、図２１のステップＳ１３９またはステップＳ１４５において符号化されるピクチャは、Ｐピクチャ、または、Ｉピクチャであるか否かを判断する。
【０２９２】
ステップＳ２０１において、Ｐピクチャ、または、Ｉピクチャであると判断された場合、ステップＳ２０２において、制御部２１６は、Ｐピクチャの数をカウントするための変数P_Pic_contを、P_Pic_cont＝P_Pic_cont＋１とする。
【０２９３】
ステップＳ２０１において、Pピクチャ、または、Ｉピクチャではないと判断された場合、または、ステップＳ２０２の処理の終了後、ステップＳ２０３において、制御部２１６は、P_Pic_contが所定の値ｍ（例えば、ｍ＝３）より大きいか否かを判断する。
【０２９４】
ステップＳ２０３において、P_Pic_contが所定の値ｍより大きいと判断された場合、ステップＳ２０４において、制御部２１６は、ピクチャ数をカウントするための変数Pic_contを、Pic_cont＝Pic_cont＋１とする。
【０２９５】
ステップＳ２０５において、制御部２１６は、変数Pic_contが、所定の値ｎ（例えば、ｎ＝８）より大きいか否かを判断する。
【０２９６】
ステップＳ２０５において、変数Pic_contが、所定の値ｎより大きいと判断された場合、ステップＳ２０６において、制御部２１６は、この処理の後、図２１のステップＳ１３９またはステップＳ１４５において符号化されるピクチャは、Iピクチャであるか否かを判断する。
【０２９７】
ステップＳ２０６において、Iピクチャであると判断された場合、ステップＳ２０７において、制御部２１６は、このピクチャから、ヒストリー情報または符号化パラメータの再利用が再開可能であるとし、処理は、図２１のステップＳ１４２に戻る。
【０２９８】
すなわち、ステップＳ２０７の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されると判断されるので、再利用停止フラグがオフとなり、パラメータ再利用符号化処理が実行される。
【０２９９】
ステップＳ２０３において、P_Pic_contが所定の値ｍより小さいと判断された場合、ステップＳ２０５において、変数Pic_contが、所定の値ｎより小さいと判断された場合、または、ステップＳ２０６において、Iピクチャではないと判断された場合、ステップＳ２０８において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの再利用を再開することを不可とし、図２１のステップＳ１４２に戻る。
【０３００】
すなわち、ステップＳ２０８の処理が実行された場合、図２１のステップＳ１４２において、パラメータまたはヒストリーの再利用が再開されないと判断されるので、再利用停止フラグはオンのままとなり、パラメータ再利用符号化処理は実行されない。
【０３０１】
このような処理により、再利用が開始されるピクチャが決定されるので、例えば、図２７に示されるように、編集点に対して、時間的に１つ前の位置にあるＰピクチャから再利用不可期間が開始され、編集点から所定の数ｍ（例えば、ｍ＝３）後のＩピクチャまたはＰピクチャからカウントして、所定の数ｎ（例えば、ｎ＝８）後のピクチャの次のＩピクチャまでが、再利用不可期間として定められる。
【０３０２】
なお、符号化部１６１においては、ステップＳ２０７において、再利用再開可能とされた場合、制御部２１６は、設定された再利用不可期間の情報を、ヒストリー情報生成部２１８に供給して、生成されるヒストリー情報に、設定された再利用不可期間の情報を加えるようにしても良い。このようにすることにより、編集点の検出や再利用不可期間の設定処理を実行することができない符号化装置においても、再利用不可期間において、ヒストリー情報を再利用せずに符号化を実行させ、ＶＢＶバッファの破綻や画像の劣化を防ぐようにすることができる。
【０３０３】
次に、図２８のフローチャートを参照して、図１２の符号化部１６１および図１７の符号化部２４１が実行する、パラメータ再利用符号化処理について説明する。
【０３０４】
ステップＳ２２１において、制御部２１６は、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータ情報の供給を受け、ヒストリー情報に含まれるSMPTE 329Mのsequence_extension（）関数のlow_delay、picture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_field、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致しているか否かを判断する。
【０３０５】
ステップＳ２２１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していないと判断された場合、ステップＳ２２２において、制御部２１６は、パラメータの再利用を行わないものとし、符号化部１６１または符号化部２４１の各部を制御して、符号化を実行させ、処理が終了される。
【０３０６】
ステップＳ２２１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していていると判断された場合、ステップＳ２２３において、制御部２１６は、供給されたヒストリー情報に含まれる、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_value、および、vertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phase、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否かを判断する。
【０３０７】
ステップＳ２２３において、以前の符号化が実行された画像枠と再符号化時の画像枠とで、位置または大きさのうちの少なくとも１つが一致していないと判断された場合、ステップＳ２２４において、制御部２１６は、ピクチャタイプ（picture_coding_type）の情報を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０３０８】
ステップＳ２２３において、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致したと判断された場合、ステップＳ２２５において、制御部２１６は、ヒストリー情報に含まれているSMPTE 329Mのextension_and_user_data（2)内のuser_data(2)のbit_rate_value、および、sequence_header（）関数のchroma_format、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照し、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいか否かを判断する。
【０３０９】
ステップＳ２２５において、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも大きいか、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより小さいと判断された場合、ステップＳ２２６において、制御部２１６は、ピクチャタイプ、および、動きベクトルの情報（motion_vectors情報）を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部２０５に過去の符号化における動きベクトル情報を供給して再利用させ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０３１０】
ステップＳ２２５において、以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さく、かつ、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットと比較して、等しい、または、大きいと判断された場合、ステップＳ２２７において、制御部２１６は、復号部からパラメータが供給され（すなわち、ヒストリー情報が用いられて再利用符号化が行われるのではなく、パラメータ情報が用いられて再利用符号化が行われており）、かつ、供給されたパラメータ情報に含まれているSMPTE 329Mのsequence_header（）関数のchroma_formatと同様の情報を参照して、パラメータのクロマフォーマットと今回のクロマフォーマットが一致しているか否かを判断する。すなわち、符号化部２４１を含むトランスコーダ２３１が、例えば、４:２:０フォーマットから、４:２:２フォーマットへのフォーマット変換を行う場合などにおいては、クロマフォーマットが一致しないと判断される。
【０３１１】
ステップＳ２２７において、復号部１４１からパラメータが供給されるのではなく、復号部１６１からヒストリー情報が供給されているか、または、パラメータ情報のクロマフォーマットと今回のクロマフォーマットが一致していないと判断された場合、ステップＳ２２８において、制御部２１６は、ピクチャタイプ、動きベクトル、および、量子化値の情報（q_scale）を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部２０５に過去の符号化における動きベクトル情報を供給して再利用させ、量子化値決定部２０８に、ヒストリー情報またはパラメータ情報に含まれていた量子化値を量子化部２０７に供給させて、量子化を実行させ、その他の各部を制御して、符号化を実行させ、処理が終了される。
【０３１２】
ステップＳ２２７において、復号部１４１からパラメータが供給され、かつ、パラメータ情報のクロマフォーマットと今回のクロマフォーマットが一致していると判断された場合、ステップＳ２２９において、制御部２１６は、ストリームスイッチ２１９を制御して、復号部１４１に入力されたストリームデータを出力し、処理が終了される。
【０３１３】
このような処理により、以前の符号化と今回の符号化とを比較して、満たされている条件に基づいて、再利用可能な符号化情報を選択することができるようにしたので、復号および符号化の処理が繰り返されるような場合においても、画像データの劣化を防ぐようにすることができる。
【０３１４】
なお、図２８のフローチャートによる説明においては、ステップＳ２２１、ステップＳ２２３、ステップＳ２２５、または、ステップＳ２２７の処理において、以前の符号化における符号化のパラメータと、今回の符号化の条件とを比較して、所定の条件を満たしているか否かを、それぞれ、判断するものとして説明したが、例えば、データ伝送のシステムにおいて、固定となっているパラメータが存在するような場合においては、そのパラメータに関する判断処理が省略されるようにしても良い。
【０３１５】
すなわち、例えば、データ伝送のシステムにおいて、多くのパラメータが固定となっている場合など、所定の条件を満たしている場合においては、ステップＳ２２１、ステップＳ２２３、ステップＳ２２５、または、ステップＳ２２７のような条件判断を行うことなく、過去の符号化に関する情報であるヒストリー情報またはパラメータ情報を利用して再符号化を行うようにしてもよい。
【０３１６】
図２１乃至図２８を用いて説明した処理においては、再利用不可期間か否かを基に、パラメータの再利用が可能か否かが決定されるようになされていたが、再利用不可期間に加えて、部分的再利用可能期間を設けることにより、パラメータ情報の再利用不可期間の後、一定期間、パラメータ情報を部分的に再利用可能な期間を設け、その後、パラメータ再利用符号化が可能なようにすることができる。このとき、制御部２１６は、内部のレジスタに、再利用停止フラグに代わって、再利用完全停止フラグおよび再利用部分停止フラグを設けるものとする。
【０３１７】
図２９のフローチャートを参照して、部分的再利用可能期間を設ける場合の符号化処理２について説明する。
【０３１８】
ステップＳ２４１乃至ステップＳ２４５においては、図２１のステップＳ１３１乃至ステップＳ１３５と同様の処理が実行される。
【０３１９】
すなわち、フレーム画像データとその付帯情報が取得され、編集点が検出されたか否かを判断される。編集点が検出されたと判断された場合、編集点検出フラグがONとされ、編集点が検出されていないと判断された場合、または、編集点検出フラグがONとされた後、内部のレジスタが参照されて、編集点検出フラグがオフであるか否かが判断される。編集点検出フラグがオフではないと判断された場合、バッファ２０２に保持されているストリームデータから、編集点の直前のＰピクチャが検出され、このＰピクチャから、再利用不可期間が設定される。
【０３２０】
ステップＳ２４６において、制御部２１６は、内部のレジスタの再利用完全停止フラグをONにし、再利用部分停止フラグをONにし、編集点検出フラグをOFFにする。
【０３２１】
ステップＳ２４７乃至ステップＳ２４９において、図２１のステップＳ１３７乃至ステップＳ１３９と同様の処理が実行される。
【０３２２】
すなわち、ピクチャ数をカウントするための変数Pic_contはPic_cont＝0に、Ｐピクチャの数をカウントするための変数P_Pic_contはP_Pic_cont＝0にリセットされる。そして、供給されたピクチャが、所定の時間（少なくとも、Ｐピクチャの間隔より長い時間）だけバッファリングされた後、出力され、パラメータまたはヒストリーの再利用が行われずに符号化処理が実行されて、処理は、ステップＳ２４２に戻り、それ以降の処理が繰り返される。
【０３２３】
ステップＳ２４４において、編集点検出フラグがオフであると判断された場合、ステップＳ２５０において、制御部２１６は、内部のレジスタの再利用完全停止フラグおよび再利用部分停止フラグがOFFであるか否かを判断する。ステップＳ２５０において、再利用完全停止フラグおよび再利用部分停止フラグがオフであると判断された場合、処理は、後述するステップＳ２５８に進む。
【０３２４】
ステップＳ２５０において、内部のレジスタの再利用完全停止フラグまたは再利用部分停止フラグのいずれか少なくとも一方がオフではないと判断された場合、ステップＳ２５１において、図３０を用いて後述する、部分または完全な再利用再開判定処理が実行される。
【０３２５】
ステップＳ２５２において、制御部２１６は、ステップＳ２５１の部分または完全な再利用再開判定処理の結果、パラメータまたはヒストリーの再利用が完全に再開されるか否かを判断する。ステップＳ２５２において、パラメータまたはヒストリーの再利用が完全に再開されると判断された場合、処理は、後述する、ステップＳ２５７に進む。
【０３２６】
ステップＳ２５２において、パラメータまたはヒストリーの再利用が完全に再開されないと判断された場合、ステップＳ２５３において、制御部２１６は、ステップＳ２５１の部分または完全な再利用再開判定処理の結果、パラメータまたはヒストリーの再利用が一部再開されるか否かを判断する。ステップＳ２５３において、パラメータまたはヒストリーの再利用が一部再開されないと判断された場合、処理は、ステップＳ２４８に進む。
【０３２７】
ステップＳ２５３において、パラメータまたはヒストリーの再利用が一部再開されると判断された場合、ステップＳ２５４において、制御部２１６は、内部のレジスタの再利用部分停止フラグをOFFにする。
【０３２８】
ステップＳ２５５において、バッファ２０２は、供給されたピクチャを、所定の時間（少なくとも、Ｐピクチャの間隔より長い時間）だけバッファリングした後、出力する。ただし、パラメータまたはヒストリーの一部を再利用してもよいと判断されたピクチャは、バッファ２０２において、所定の期間バッファリングされ、その後の数ピクチャの間に編集点が検出されなかった場合に、次のステップＳ２５６の処理を施される。
【０３２９】
ステップＳ２５６において、図３２または図３３を用いて後述するパラメータ部分的再利用符号化処理が実行されて、処理は、ステップＳ２４２に戻り、それ以降の処理が繰り返される。
【０３３０】
ステップＳ２５２において、パラメータまたはヒストリーの再利用が完全に再開されると判断された場合、ステップＳ２５７において、制御部２１６は、内部のレジスタの再利用完全停止フラグをOFFにする。
【０３３１】
ステップＳ２５３において、パラメータまたはヒストリーの再利用が一部再開されないと判断された場合、または、ステップＳ２５７の処理の終了後、ステップＳ２５８において、バッファ２０２は、供給されたピクチャを、所定の時間（少なくとも、Ｐピクチャの間隔より長い時間）だけバッファリングした後、出力する。ただし、パラメータまたはヒストリーを完全に再利用してもよいと判断されたピクチャは、バッファ２０２において、所定の期間バッファリングされ、その後の数ピクチャの間に編集点が検出されなかった場合に、次のステップＳ２３９の処理を施される。
【０３３２】
そして、ステップＳ２５９において、図２８を用いて説明したパラメータ再利用符号化処理が実行されて、処理は、ステップＳ２４２に戻り、それ以降の処理が繰り返される。
【０３３３】
このような処理により、再利用不可期間であるか否か、または、再利用部分可能期間であるか否かに基づいて、符号化処理において、パラメータまたはヒストリーの再利用を完全に許可するか、部分的に許可するかが決定される。
【０３３４】
次に、図３０のフローチャートを参照して、図２９のステップＳ２５１において実行される、部分または完全な再利用再開判定処理について説明する。
【０３３５】
ステップＳ２７１において、制御部２１６は、この処理の後、図２１のステップＳ１３９またはステップＳ１４５において符号化されるピクチャは、Ｐピクチャ、または、Ｉピクチャであるか否かを判断する。
【０３３６】
ステップＳ２７１において、Ｐピクチャ、または、Ｉピクチャであると判断された場合、ステップＳ２７２において、制御部２１６は、Ｐピクチャの数をカウントするための変数P_Pic_contを、P_Pic_cont＝P_Pic_cont＋１とする。
【０３３７】
ステップＳ２７１において、Ｐピクチャ、または、Ｉピクチャではないと判断された場合、または、ステップＳ２７２の処理の終了後、ステップＳ２７３において、制御部２１６は、P_Pic_contが所定の値ｍ（例えば、ｍ＝３）より大きいか否かを判断する。
【０３３８】
ステップＳ２７３において、P_Pic_contが所定の値ｍより大きいと判断された場合、ステップＳ２７４において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの再利用を部分的に再開することを可能とし、処理は、図２９のステップＳ２５２に戻る。
【０３３９】
すなわち、ステップＳ２７４の処理が実行された場合、処理は、図２９のステップＳ２５２において、パラメータまたはヒストリーの再利用が完全には再開されないと判断されても、ステップＳ２５３において、パラメータまたはヒストリーの再利用が部分的には再開されると判断されるので、少なくとも、再利用部分停止フラグはオフとなり、パラメータ部分的再利用符号化処理が実行される。
【０３４０】
ステップＳ２７３において、P_Pic_contが所定の値ｍより小さいと判断された場合、ステップＳ２７５において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの再利用を部分的にも完全にも再開することを不可とし、処理は、図２９のステップＳ２５２に戻る。
【０３４１】
すなわち、ステップＳ２７５の処理が実行された場合、処理は、図２９のステップＳ２５２において、パラメータまたはヒストリーの再利用が完全には再開されないと判断されて、ステップＳ２５３において、パラメータまたはヒストリーの再利用が部分的には再開されないと判断されるので、ステップＳ２４９において、パラメータおよびヒストリーの再利用を行うことなく符号化処理が実行される。
【０３４２】
ステップＳ２７６において、制御部２１６は、ピクチャ数をカウントするための変数Pic_contを、Pic_cont＝Pic_cont＋１とする。
【０３４３】
ステップＳ２７７において、制御部２１６は、変数Pic_contが、所定の値ｎ（例えば、ｎ＝８）より大きいか否かを判断する。
【０３４４】
ステップＳ２７７において、変数Pic_contが、所定の値ｎより大きいと判断された場合、ステップＳ２７８において、制御部２１６は、この処理の後、図２９のステップＳ２４９、ステップＳ２５６、または、ステップＳ１５９において符号化されるピクチャは、Ｉピクチャであるか否かを判断する。
【０３４５】
ステップＳ２７８において、Ｉピクチャであると判断された場合、ステップＳ２７９において、制御部２１６は、このピクチャから、ヒストリー情報または符号化パラメータの完全な再利用が再開可能であるとし、処理は、処理は、図２９のステップＳ２５２に戻る。
【０３４６】
すなわち、ステップＳ２７９の処理が実行された場合、処理は、図２９のステップＳ２５２において、パラメータまたはヒストリーの完全な再利用が再開されると判断されるので、再利用完全停止フラグがオフとなり、パラメータ再利用符号化処理が実行される。
【０３４７】
ステップＳ２７７において、変数Pic_contが、所定の値ｎより小さいと判断された場合、または、ステップＳ２７８において、Ｉピクチャではないと判断された場合、ステップＳ２８０において、制御部２１６は、このピクチャにおいては、ヒストリー情報または符号化パラメータの完全な再利用を再開することを不可とし、処理は、図２９のステップＳ２５２に戻る。
【０３４８】
すなわち、ステップＳ２８０の処理が実行された場合、処理は、図２９のステップＳ２５２において、パラメータまたはヒストリーの完全な再利用が再開されないと判断されて、ステップＳ２５３において、パラメータまたはヒストリーの再利用が部分的には再開されると判断されるので、再利用部分停止フラグはオフとなり、パラメータ部分的再利用符号化処理が実行される。
【０３４９】
このような処理により、再利用が部分的に再開されるピクチャと、再利用が完全に開始されるピクチャが決定されるので、例えば、図３１に示されるように、編集点に対して、時間的に１つ前の位置にあるＰピクチャから再利用不可期間が開始され、編集点から所定の数ｍ（例えば、ｍ＝３）後のＩピクチャまたはＰピクチャまでは、再利用不可区間とされて、ヒストリーおよびパラメータをまったく参照することなく符号化が実行される。そして、編集点から所定の数ｍ後のＩピクチャまたはＰピクチャからカウントして、所定の数ｎ（例えば、ｎ＝８）後のピクチャの次のＩピクチャまでが、部分的再利用可能期間として定められ、図３２または図３３を用いて後述する処理により定められる過去の符号化パラメータのうちの一部を再利用して、符号化処理が実行される。
【０３５０】
なお、符号化部１６１の制御部２１６においては、図３０を用いて説明した処理により設定された再利用不可期間および部分再利用可能期間の情報を、ヒストリー情報生成部２１８に供給して、生成されるヒストリー情報に、設定された再利用不可期間および部分再利用可能期間の情報を加えるようにしても良い。このようにすることにより、編集点の検出や再利用不可期間および部分再利用可能期間の設定処理を実行することができない符号化装置においても、再利用不可期間において、ヒストリー情報を再利用せずに符号化を実行させるとともに、部分再利用可能期間においてヒストリー情報のうちの一部を再利用させて符号化させることができるので、ＶＢＶバッファの破綻や画像の劣化を防ぐようにすることができる。
【０３５１】
また、図２９のステップＳ２５６で実行されるパラメータ部分的再利用符号化処理については、パラメータ再利用符号化処理において再利用が認められる符号化パラメータのうちの一部を再利用して符号化を実行するものである。この処理には、パラメータ再利用符号化処理において再利用が認められる符号化パラメータのうち、条件に基づいて、ピクチャタイプおよび動きベクトルの情報を再利用することができる場合が発生するパラメータ部分的再利用符号化処理１と、条件に基づいて、ピクチャタイプのみ再利用可能な場合が発生するパラメータ部分的再利用符号化処理２とがある。
【０３５２】
次に、図３２のフローチャートを参照して、図２９のステップＳ２５６で実行されるパラメータ部分的再利用符号化処理１について説明する。
【０３５３】
ステップＳ３０１において、制御部２１６は、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータ情報の供給を受け、ヒストリー情報に含まれるSMPTE 329Mのsequence_extension（）関数のlow_delay、picture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_field、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致しているか否かを判断する。
【０３５４】
ステップＳ３０１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していないと判断された場合、ステップＳ３０２において、制御部２１６は、パラメータの再利用を行わないものとし、符号化部１６１または符号化部２４１の各部を制御して、符号化を実行させ、処理は、図２９のステップＳ２４２に戻る。
【０３５５】
ステップＳ３０１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していていると判断された場合、ステップＳ３０３において、制御部２１６は、供給されたヒストリー情報に含まれる、SMPTE 329Mのsequence_header（）関数に記載されているhorizontal_size_value、および、vertical_size_value、並びに、SMPTE 329Mのv_phaseおよびh_phase、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否かを判断する。
【０３５６】
ステップＳ３０３において、以前の符号化が実行された画像枠と再符号化時の画像枠とで、位置または大きさのうちの少なくとも１つが一致していないと判断された場合、ステップＳ３０４において、制御部２１６は、ピクチャタイプ（picture_coding_type）の情報を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、その他の各部を制御して、符号化を実行させ、処理は、図２９のステップＳ２４２に戻る。
【０３５７】
ステップＳ３０３において、以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致したと判断された場合、ステップＳ３０５において、制御部２１６は、ピクチャタイプ、および、動きベクトルの情報（motion_vectors情報）を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、動きベクトル検出部２０５に過去の符号化における動きベクトル情報を供給して再利用させ、その他の各部を制御して、符号化を実行させ、処理は、図２９のステップＳ２４２に戻る。
【０３５８】
このような処理により、以前の符号化と今回の符号化とを比較して、満たされている条件に基づいて、再利用可能な符号化情報を部分的に選択することができるようにしたので、復号および符号化の処理が繰り返されるような場合においても、画像データの劣化を防ぐようにすることができる。
【０３５９】
なお、図３２のフローチャートによる説明においては、ステップＳ３０１、または、ステップＳ３０３の処理において、以前の符号化における符号化のパラメータと、今回の符号化の条件とを比較して、所定の条件を満たしているか否かを、それぞれ、判断するものとして説明したが、例えば、データ伝送のシステムにおいて、固定となっているパラメータが存在するような場合においては、そのパラメータに関する判断処理が省略されるようにしても良い。
【０３６０】
次に、図３３のフローチャートを参照して、図２９のステップＳ２５６で実行されるパラメータ部分的再利用符号化処理２について説明する。
【０３６１】
ステップＳ３２１において、制御部２１６は、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータ情報の供給を受け、ヒストリー情報に含まれるSMPTE 329Mのsequence_extension（）関数のlow_delay、picture_coding_extension（）関数のpicture_structure、top_field_firstおよび、repeat_firt_field、または、パラメータ情報に含まれるこれらの情報と同様の情報を参照して、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致しているか否かを判断する。
【０３６２】
ステップＳ３２１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していないと判断された場合、ステップＳ３２２において、制御部２１６は、パラメータの再利用を行わないものとし、符号化部１６１または符号化部２４１の各部を制御して、符号化を実行させ、処理は、図２９のステップＳ２４２に戻る。
【０３６３】
ステップＳ３２１において、以前の符号化におけるディレイモード、ピクチャ構成、およびプルダウンモードが、今回の符号化の符号化条件と一致していていると判断された場合、ステップＳ３２３において、制御部２１６は、ピクチャタイプ（picture_coding_type）の情報を再利用して符号化を行うものとし、画像並べ替え部２０３を制御して、供給されたピクチャタイプの情報を再利用して画像の並び替えなどの処理を行わせ、その他の各部を制御して、符号化を実行させ、処理は、図２９のステップＳ２４２に戻る。
【０３６４】
このような処理により、以前の符号化と今回の符号化とを比較して、条件が満たされている場合は、再利用可能な符号化情報として、ピクチャタイプのみを選択することができるようにしたので、復号および符号化の処理が繰り返されるような場合においても、画像データの劣化を防ぐようにすることができる。
【０３６５】
なお、図３３のフローチャートによる説明においても、ステップＳ３２１において、以前の符号化における符号化のパラメータと、今回の符号化の条件とを比較して、所定の条件を満たしているか否かが判断されているが、例えば、データ伝送のシステムにおいて、固定となっているパラメータが存在するような場合においては、そのパラメータに関する判断処理が省略されるようにしても良い。
【０３６６】
なお、本発明は、例えば、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされているローディレイエンコードを行う場合においても適用可能である。
【０３６７】
また、本発明は、ローディレイコーディングとして各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合においても、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにした場合においても適用可能である。
【０３６８】
また、本発明は、フレーム内圧縮を行って画像を符号化する場合においても適用可能であることは言うまでもない。
【０３６９】
更に、上述の実施の形態においては、本発明をMPEG方式によって圧縮符号化する符号化部１６１、または、符号化部２４１に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。
【０３７０】
なお、上述の実施の形態においては、ストリームデータを変換するトランスコーダが、それぞれ、復号部と符号化部を有しているものとして説明したが、復号部および符号化部が、それぞれ、復号装置および符号化装置として、独立した装置として構成されている場合においても、本発明は適用可能である。
【０３７１】
すなわち、上述の実施の形態においては、それぞれのトランスコーダが、ストリームデータを変換するものとして説明したが、例えば、図３４に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置２７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置２７２が、それぞれ独立した装置として構成されていても良い。更に、復号装置２７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置２７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０３７２】
例えば、復号装置２７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置２７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行う符号化装置２７２の量子化における量子化値を再利用するか否かの決定において、本発明を適用することができるのは言うまでもない。
【０３７３】
更に、復号装置２７１が完全に復号したベースバンド信号を、符号化装置２７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置２７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置２７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０３７４】
更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置２５１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置２７２で構成されたトランスコーダ２８１においても、本発明は適用可能である。このようなトランスコーダ２８１は、例えば、スプライシングなどの編集を行う編集装置２８２が利用される場合などに用いられる。
【０３７５】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、トランスコーダ１５２や、トランスコーダ２３１は、図３５に示されるようなパーソナルコンピュータ３０１により構成される。
【０３７６】
図３５において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３７７】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０３７８】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０３７９】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０３８０】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０３８１】
この記録媒体は、図３５に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０３８２】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。
【０３８３】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０３８４】
【図１】フレーム編集を行う場合の再符号化が行われる従来のシステムを説明するための図である。
【図２】MPEGのLong GOPのビットレートを変更して再符号化することが可能な従来のシステムについて説明するための図である。
【図３】フレーム編集を行う場合の再符号化が行われる従来のシステムにおいて、符号化履歴情報を利用する場合について、説明するための図である。
【図４】MPEGのLong GOPのビットレートを変更して再符号化することが可能な従来のシステムで符号化履歴情報を利用する場合について、説明するための図である。
【図５】本発明を適用した、フレーム編集を行う場合の再符号化が行われるシステムの構成を示すブロックである。
【図６】図５の符号化装置の構成を示すブロック図である。
【図７】追加符号化情報を含む符号化データ生成処理１を説明するためのフローチャートである。
【図８】追加符号化情報を含む符号化データ生成処理２を説明するためのフローチャートである。
【図９】追加符号化情報を含む符号化データ生成処理３を説明するためのフローチャートである。
【図１０】SMPTE 329Mに規定されている、compressed_stream_format_of_MPEG_2_recoding_set（）のシンタックスについて説明するための図である。
【図１１】extension_and_user_data（2)内のuser_data(2)に記載されている情報について説明するための図である。
【図１２】図５の符号化部の構成を示すブロック図である。
【図１３】編集点検出について説明するための図である。
【図１４】再利用不可期間の開始点について説明するための図である。
【図１５】再利用不可期間中に再度編集点があった場合の再利用不可期間について説明するための図である。
【図１６】本発明を適用した、MPEGのLong GOPのビットレートを変更して再符号化することが可能なシステムの構成を示すブロック図である。
【図１７】図１６の符号化部の構成を示すブロック図である。
【図１８】編集点検出処理１について説明するためのフローチャートである。
【図１９】編集点検出処理２について説明するためのフローチャートである。
【図２０】編集点検出処理３について説明するためのフローチャートである。
【図２１】符号化処理１について説明するためのフローチャートである。
【図２２】再利用再開判定処理１について説明するためのフローチャートである。
【図２３】再利用再開判定処理１が実行された場合の再利用不可期間について説明するための図である。
【図２４】再利用再開判定処理２について説明するためのフローチャートである。
【図２５】再利用再開判定処理２が実行された場合の再利用不可期間について説明するための図である。
【図２６】再利用再開判定処理３について説明するためのフローチャートである。
【図２７】再利用再開判定処理３が実行された場合の再利用不可期間について説明するための図である。
【図２８】パラメータ再利用符号化処理について説明するフローチャートである。
【図２９】符号化処理２について説明するためのフローチャートである。
【図３０】部分または完全な再利用再開判定処理について説明するためのフローチャートである。
【図３１】部分または完全な再利用再開判定処理が実行された場合の再利用不可期間について説明するための図である。
【図３２】パラメータ部分的再利用符号化処理１について説明するためのフローチャートである。
【図３３】パラメータ部分的再利用符号化処理２について説明するためのフローチャートである。
【図３４】本発明を適用可能な異なる装置の構成について説明するための図である。
【図３５】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０３８５】
１１  伝送路，  ３  フレーム編集装置，  １１  伝送路，  １０１  トランスコーダ，  １１１  復号部，  １１２  符号化部，  １２１  復号部，  １５１  符号化装置，  １５２  トランスコーダ，  １８１  フレームカウンタ，  １８２  追加符号化情報生成部，  １８３  タイマ，  １８４  メモリ，  １８５  符号化部，  １６１  符号化部，  ２０１  ヒストリー抽出部，  ２０２  バッファ，  ２０３  画像並べ替え部，  ２０４  演算部，  ２０５  動きベクトル検出部，  ２０６  DCT部，  ２０７  量子化部，  ２０８  量子化値決定部，  ２０９  ＶＬＣ部，  ２１０  逆量子化部，  ２１１  逆DCT部，  ２１２  演算部，  ２１３  動き補償部，  ２１４  フレームメモリ，  ２１５  バッファ，  ２１６  制御部，  ２１７  編集点検出部，  ２１８  ヒストリー情報生成部，  ２１９  ストリームスイッチ，  ２３１  トランスコーダ，  ２４１  符号化部，  ２５１  パラメータ入力部
【図１】
2005094550.tif 000003
【図２】
2005094550.tif 000004
【図３】
2005094550.tif 000005
【図４】
2005094550.tif 000006
【図５】
2005094550.tif 000007
【図６】
2005094550.tif 000008
【図７】
2005094550.tif 000009
【図８】
2005094550.tif 000010
【図９】
2005094550.tif 000011
【図１０】
2005094550.tif 000012
【図１１】
2005094550.tif 000013
【図１２】
2005094550.tif 000014
【図１３】
2005094550.tif 000015
【図１４】
2005094550.tif 000016
【図１５】
2005094550.tif 000017
【図１６】
2005094550.tif 000018
【図１７】
2005094550.tif 000019
【図１８】
2005094550.tif 000020
【図１９】
2005094550.tif 000021
【図２０】
2005094550.tif 000022
【図２１】
2005094550.tif 000023
【図２２】
2005094550.tif 000024
【図２３】
2005094550.tif 000025
【図２４】
2005094550.tif 000026
【図２５】
2005094550.tif 000027
【図２６】
2005094550.tif 000028
【図２７】
2005094550.tif 000029
【図２８】
2005094550.tif 000030
【図２９】
2005094550.tif 000031
【図３０】
2005094550.tif 000032
【図３１】
2005094550.tif 000033
【図３２】
2005094550.tif 000034
【図３３】
2005094550.tif 000035
【図３４】
2005094550.tif 000036
【図３５】
2005094550.tif 000037