(57)【特許請求の範囲】
【請求項１】
画像フレームを含む伝送ストリームを処理するシステムで、第１の伝送ストリームから第２の伝送ストリームへほぼシームレスに遷移させるように遷移ストリームを生成する方法であって：
提供される前記第１の伝送ストリームの最終画像フレームを示す少なくとも一つのターゲットアウトフレームを含む前記第１の伝送ストリームの一部を復号化するステップと；
提供される前記第２の伝送ストリームの最終画像フレームを示す少なくとも一つのターゲットインフレームを含む前記第２の伝送ストリームの一部を復号化するステップと；
復号化された前記画像フレームのうちの少なくとも一つを、画素領域プロセスを用いて処理するステップと；
前記遷移ストリームが生成されるように、前記ターゲットアウトフレームと前記ターゲットインフレームを含む複数の復号化された前記画像フレームを符号化するステップと、
を備え、
前記第１及び第２の伝送ストリームにそれぞれインデックスを付けるステップをさらに備え、
前記インデックスを付けるステップは：
シーケンスヘッダとピクチャヘッダと所定の継ぎ合わせシンタックスのうちの少なくとも一つに関連するパケットが識別されるようにインデックスが付けられるストリームの伝送レイヤを構文解析するステップと；
インデックスが付けられる前記ストリーム内の各フレームに対して、ピクチャ番号とピクチャコードタイプとフレーム伝送パケット先頭番号とフレーム伝送パケット最終番号と表示タイムスタンプ（ＰＴＳ）と復号化タイムスタンプ（ＤＴＳ）のうちの少なくとも一つを決定するステップと、
を備え、
前記画素領域プロセスは、モーフィング、フェイド、ワイプ、ディゾルブ、プッシュ、リビール、ブラックフレーム、フレームのフリーズ及びクロマキーイング画素領域プロセスのうちの少なくとも一つを備える、方法。
【請求項２】
前記第１および第２の伝送ストリームから前記遷移ストリームを形成するのに用いられる前記映像フレームに関連する非映像データを抽出するステップと；
前記遷移ストリームに、抽出された前記非映像データを挿入するステップと、をさらに備える、請求項１の方法。
【請求項３】
前記非映像データは、音声データとメタデータと補助データと追加データのうちの少なくとも一つを備える、請求項２の方法。
【請求項４】
非映像領域プロセスを用いて、抽出された前記非映像データの少なくとも一部を処理するステップをさらに備える、請求項２の方法。
【請求項５】
復号化された複数の画像を符号化する前記ステップが、前記符号化された複数の画像フレームを伝送するステップを含む方法であって：
前記遷移ストリーム内に複数の伝送パケットを保持するステップであって、前記保持されたパケットは符号化された画像情報を格納するのに用いられない、当該ステップと；
前記抽出された非映像データが格納されるように、前記保持された複数の伝送パケットの少なくとも一部を用いるステップと、をさらに備える、請求項３の方法。
【請求項６】
前記第１の伝送ストリームと前記第２の伝送ストリームが、それぞれ第１と第２のマルチプログラム伝送ストリームに多重化される方法であって：
処理される伝送ストリームを含む各マルチプログラム伝送ストリームに対して、遷移ストリームに含まれる全ての画像フレームの最大範囲を決定するステップと；
各マルチプログラム伝送ストリームを脱多重化して、決定された最大範囲の各々を適応させるステップと、をさらに備える、請求項２の方法。
【請求項７】
画像データ範囲を決定する前記ステップは、遷移ストリームに含まれる画像フレームに関連する非映像データの全ての最大範囲を決定するステップを含み、前記最大範囲は前記画像データ範囲と非映像データ範囲の組み合わせを含む、請求項６の方法。
【請求項８】
前記フロムストリームと前記ツーストリームはそれぞれ、それに関連する映像バッファリングベリファイヤ（ＶＢＶ）パラメータを有する伝送ストリームを含む方法であって：
フロムストリームＶＢＶパラメータとツーストリームＶＢＶパラメータ間に相違があるかどうかを決定するステップと；
前記決定に対応して再符号化するステップを適応させるステップと、をさらに備える、請求項１の方法。
【請求項９】
前記適応させるステップは：
前記フロムストリームＶＢＶパラメータが前記ツーストリームＶＢＶパラメータを第１の閾値レベル分上回るという決定に応じて、レート制御ビットの割り当てを増やすステップと；
前記ツーストリームＶＢＶパラメータが前記フロムストリームＶＢＶパラメータを第２の閾値レベル分上回るという決定に応じて、前記レート制御ビットの割り当てを減らすステップと、を備える、請求項８の方法。
【発明の詳細な説明】
【０００１】
【関連出願のクロスリファレンス】
本出願は、援用文献であって１９９９年７月２日に出願された「情報ストリームをフレームアキュレイトでシームレスに継ぎ合わせる方法」（代理人事件整理番号１３２３５）というタイトルの米国出願０９／３４７，２１３の一部継続出願である。本出願は、援用文献であって１９９９年４月１４日に出願された米国仮出願Ｎｏ．６０／１２９，２７５の恩恵を享受することを請求するものである。
【０００２】
本発明は、一般的に通信システムに関し、特にほぼシームレスに情報ストリームを継ぎ合わせる、即ち、連結する方法に関する。
【０００３】
【発明の背景】
通信システムの中には、送信データを圧縮することによって利用可能な帯域幅を効率的に利用するものがある。例えば、動画エキスパートグループ（ＭＰＥＧ）はデジタルデータ伝送システムに関する複数の規格を発表している。第一に、ＩＳＯ／ＩＥＣ規格１１１７２はＭＰＥＧ−１として周知のものであって、それは本願の援用文献である。第二に、ＩＳＯ／ＩＥＣ規格１３８１８はＭＰＥＧ−２として周知のものであって、本願の援用文献である。圧縮されたデジタル映像システムは、高品位テレビシステム委員会（ＡＴＳＣ）のデジタルテレビ規格文書Ａ／５３に記述されており、それは本願の援用文献である。
【０００４】
テレビスタジオやその他の情報ストリームの「消費者」にとって重要なことは、情報ストリーム（例えば、映像や音声やその他の関連情報サブストリーム等を含む符号化された伝送プログラムストリーム）間をフレームアキュレイトでほぼシームレスに連結する、即ち、継ぎ合わせることができることである。「フレームアキュレイト」とは、符号化されたフレームのフレームタイプ（例えば、符号化されたＩフレームやＰフレームやＢフレーム）に関係なく、ユーザが選択した複数のフレームが正確に継ぎ合わされることである。「シームレスな継ぎ合わせ」とは、連続する有効なＭＰＥＧストリームが得られる継ぎ合わせを意味する。従って、フレームアキュレイトなシームレススプライサが、第１の情報ストリームをフレームアキュレイトでシームレスに継ぎ合わせて第２の情報ストリームを生成するときに、正確な数のフレームを保存する（例えば、９００個の映像フレームのコマーシャル描写を備える、符号化された伝送プログラムを、ちょうど９００個のフレームから成る一「スロット」にスケジュールすることができる）。
【０００５】
幾つかの周知の方法では、以下の手順を変更したものが利用される。即ち、「インストリーム」や「アウトストリーム」をベースバンド、即ち、基本レベルに復号化するステップと、継ぎ合わせを実行するステップと、その結果継ぎ合わされたストリームを再び符号化するステップである。これらの方法によって、フレームアキュレイトでシームレスに継ぎ合わせられるが、莫大な費用がかかる。
【０００６】
伝送ストリームレベルでシームレスな継ぎ合わせを可能にするよう改良された方法では、例えば映像情報等を含むＭＰＥＧやＭＰＥＧ準拠の情報ストリームは、比較的シームレスに継ぎ合わされるが、これは、適切なストリームの入口ポイントと出口ポイントの各々を示す各ストリームの「インポイント」と「アウトポイント」を定義することによって行われる。例えば、ＭＰＥＧ準拠の映像ストリーム内の映像シーケンスヘッダを含むパケットは、適切なインポイントを備える。ＭＰＥＧ準拠の情報ストリームはそのインポイントやアウトポイントを含むので、継ぎ合わせが可能であると考えられている。米国映画テレビ技術者協会（ＳＭＰＴＥ）ではそのような継ぎ合わせポイントを定義する規格ＳＭＰＴＥ３１２Ｍを提案しており、これは、「ＭＰＥＧ−２伝送ストリームの継ぎ合わせポイント」というタイトルであって援用文献である。
【０００７】
あいにく、このようなインポイントやアウトポイントの配置は、画像フレーム符号化モードやグループオブピクチャーズ（ＧＯＰ）構造等の要因によって定義される。従って、望ましい継ぎ合わせポイントが適切なインポイントやアウトポイントでない場合、情報ストリーム間のシームレスな継ぎ合わせを行おうとするエンドユーザは、「フレームアキュレイト」にそれを実行することはできない。
【０００８】
従って、ＭＰＥＧ準拠の伝送ストリームを、正確なフレームが得られるようにシームレスに継ぎ合わせる方法や装置を提供することが望ましい。さらに、フレームアキュレイトでシームレスに継ぎ合わせる方法や装置をテレビスタジオやその他の映像提供環境等の特定の環境に適用する方法や装置を備えることが望ましいと考えられる。
【０００９】
【発明の概要】
本発明は、遷移ストリームを生成し、画素領域プロセスや音声領域プロセスやその他のデータ領域プロセスを用いて、映像や音声や遷移ストリーム内のその他のデータをそれぞれ処理するための方法を備える。本発明の別の実施形態では、遷移ストリームを形成する画像フレームに関する非映像データが遷移ストリームに含まれることが保証される。本発明は、マルチ／シングルプログラム伝送ストリームの継ぎ合わせ処理を支援する。
【００１０】
特に、画像フレームを含む伝送ストリームを処理するシステムで、第１の伝送ストリームから第２の伝送ストリームへほぼシームレスに遷移させるために遷移ストリームを生成する方法であって、提供される第１の伝送ストリームの最終画像フレームを示す少なくとも一つのターゲットアウトフレームを含む第１の伝送ストリームの一部を復号化するステップと、提供される第２の伝送ストリームの最終画像フレームを示す少なくとも一つのターゲットインフレームを含む第２の伝送ストリームの一部を復号化するステップと、復号化された画像フレームのうちの少なくとも一つを画素領域プロセスを用いて処理するステップと、遷移ストリームを生成するためにターゲットアウトフレームとターゲットインフレームを含む復号化された画像フレームを符号化するステップを備える。
【００１１】
添付の図面で詳細な説明を検討することによって、本発明の教唆をすぐに理解することができる。
【００１２】
容易に理解できるように、複数の図で共通の同一の要素を示すために同一の参照番号を用いている。
【００１３】
【詳細な説明】
以下の説明を検討すれば、当業者はあらゆる情報処理システムで本発明の教唆をすぐに利用できることを明確に認識できる。尚、この情報処理システムでは、映像サブストリームを含むＭＰＥＧ準拠の伝送ストリーム等を正確なフレームが得られるようにシームレスに継ぎ合わせなければならない。
【００１４】
放送用コントローラによって、格納された映像ストリーム（例えば映像セグメント、即ち、「クリップ」）をサーバから検索し、それをフレームアキュレイトでシームレスに継ぎ合わし、例えば遠距離にあるデコーダに伝送するのに適したＭＰＥＧ−２準拠の映像ストリーム等を作成するテレビスタジオ環境に関して、本発明の一実施形態が説明される。しかしながら、本発明の範囲と教唆の適用範囲は非常に広く、開示された実施形態に本発明が限定されるものだと解釈されるべきではない。例えば、ケーブルヘッドエンドに対するサーバでのアセットストリーミングや、デジタル映画へのローカルなコマーシャルと予告編の挿入や、インターネットに基づき正確なフレームを得るためのＭＰＥＧ−２伝送ストリームのストリーミングや、限定された制作施設（即ち、ニュースやその他のアプリケーションの複数のセグメントを組み立てる制作施設）にも本発明を適用することができる。
【００１５】
本明細書では本発明を説明するために様々な用語が用いられている。以下の記述によって変更されない限り、それらの用語は次のように定義される。継ぎ合わされたストリームは、特定の継ぎ合わせポイントで出口ストリーム（即ち、フロムストリーム）と入口ストリーム（即ち、ツーストリーム）を連結されて形成されたストリームを備える。出口フレームは出口ストリームの最終フレームである。入口フレームは入口ストリームの第１のフレームである。
【００１６】
図１は、テレビスタジオの高レベルなブロック図を示す。特に図１のスタジオには、放送サーバ１１０と大容量記憶デバイス１１５と放送用コントローラ１２０とルータ１３０とネットワークインタフェースデバイス（ＮＩＤ）１４０が備えられている。
【００１７】
大容量記憶デバイス１１５を利用して、例えば、符号化された映像サブストリームとそれに関連する音声ストリームが含まれるＭＰＥＧ−２伝送ストリームを格納することよって番組を提供することができる。また、大容量記憶デバイス１１５を利用することによって、映像データと音声データとプログラム情報とその他のデータを含むパケット化基本ストリームや非パケット化基本ストリームなどのその他の種類の情報ストリームも格納することができる。
【００１８】
信号経路Ｓ１を介して、放送サーバ１１０は大容量記憶デバイス１１５から情報ストリームを検索する。放送用コントローラ１２０（例えば、プレイリスト）によって作成された制御信号に応じて検索された情報ストリームを処理することによって、複数の連結された伝送ストリームを備える出力伝送ストリームを作成することができる。放送サーバ１１０は出力伝送ストリームを供給し、信号経路Ｓ２を介してルータ１３０に接続される。
【００１９】
信号経路Ｓ３を介して放送用コントローラ１２０は放送サーバ１１０や他のスタジオ機器（図示せず）に制御信号を供給する。信号経路Ｓ３はルータ１３０に接続される。ルータ１３０を用いることによって、テレビスタジオ１００の様々な機能要素間の全制御情報やプログラム情報のルートを決定することができる。例えば、制御情報は信号経路Ｓ３を介して放送用コントローラ１２０からルータ１３０に送られ、その後、ルータ１３０はその制御情報を信号経路Ｓ２を介して放送サーバ１１０に送る。オプションとして、放送用コントローラ１２０と放送サーバ１１０間の直接制御接続線ＣＯＮＴＯＬを用いることによって制御情報を送信することができる。
【００２０】
信号経路Ｓ２を介してルータ１３０は放送サーバ１１０から出力伝送ストリームを受信し、すぐに出力伝送ストリームを信号経路Ｓ５を介して他のスタジオコンポーネント（例えば、エディタやオフライン記憶要素等）に、あるいは信号経路Ｓ６を介してネットワークインタフェースデバイス１４０に送る。
【００２１】
ネットワークインタフェースデバイス（ＮＩＤ）１４０を用いることによって、出力伝送ストリームや、制御情報や、図１のテレビスタジオ１００とその他のスタジオ（図示せず）間でのその他の情報を通信することができる。オプションとして、ＮＩＤは他のスタジオや離れたところにいるカメラクルーや放送局等から情報ストリームを受信する。これらのストリームは、放送サーバ１１０に与えられ、それはすぐに処理されて出力伝送ストリーム（例えば、ニュースイベントの「生」放送）が生成されたり、遅延処理されたり、あるいは（処理されて、もしくは、処理されずに）大容量記憶デバイスに格納される。
【００２２】
例えばカリフォルニア州マウンテンビューのＳＧＩ社製のオリジン（Ｏｒｉｇｉｎ）２０００の「放送／制作サーバ」等の圧縮ビットストリーム映像サーバを用いて放送サーバ１１０や大容量記憶デバイス１１５が実現される。
【００２３】
放送用コントローラ１２０は、放送サーバ１１０から出力された伝送ストリームの後に組み込まれる予定の情報ストリーム、即ち、クリップに対応するプレイリスト１２５を備える。プレイリスト１２５には、情報ストリーム、即ち、クリップの各々の正確なフレームの入口／出口位置情報が含まれる。尚、放送サーバによって、クリップは大容量記憶デバイス１１５から検索され、連結される、即ち、継ぎ合わされて、出力される伝送ストリームが生成される。また、プレイリスト１２５では、情報ストリーム、即ち、クリップの各々に対する第一のフレームと最終フレームが識別可能である。
【００２４】
プレイリスト１２５の少なくとも一部を提供する放送用コントローラからの制御信号に応じて、放送サーバ１１０は大容量記憶デバイスから適切なストリーム、即ち、クリップを検索し、制御信号のフレーム入口／出口情報に基づいてフレームアキュレイトでシームレスにクリップを継ぎ合わせることによって出力伝送ストリームが生成される。重要なことであるが、生成された出力伝送ストリームには、構文エラーや、ネットワークインタフェースデバイス１４０によって提供されたリモートフィードを含むその他のスタジオ要素に対する不連続部分がない。放送サーバによって行われる継ぎ合わせ、即ち、連結処理については、図２Ａ及び図２Ｂについて以下で詳細に説明される。
【００２５】
図２Ａと図２Ｂは、本発明を理解するために役立つ継ぎ合わせ処理を示す図表である。特に、図２Ａは、遷移クリップ（２３０）を用いて３０フレーム／秒で２つのＭＰＥＧ−２伝送ストリームクリップ（２１０、２２０）をフレームアキュレイトでシームレスに継ぎ合わせて、３０フレーム／秒で継ぎ合わされたＭＰＥＧ−２伝送ストリームクリップ（２４０）を生成する処理を図示したものである。第１のストリーム２１０の一部と第２のストリーム２２０の一部を用いて遷移ストリーム２３０が形成される。継ぎ合わされたストリーム２４０は、第１のストリーム２１０と遷移ストリーム２３０と第２のストリーム２２０の連結部を備える。継ぎ合わされたストリーム２４０には、第１のストリーム２１０のアウトポイント（２１０−ＯＵＴ）と第２のストリーム２２０のインポイント（２２０−ＩＮ）にある第１のストリームと第２のストリーム間の「ナイフエッジ」、即ち、正確なフレームを得るための継ぎ合わせ部分が備えられる。
【００２６】
図２Ｂは、図２Ａに示されたストリーム、即ち、クリップの様々なＳＭＰＴＥタイムコードを示す。第１のストリーム、即ち、クリップ２１０（ストリームＡ）は、ＳＭＰＴＥタイムコード００：００：００：００で示される時間ｔ0で始まる第１のフレーム２１０−ＳＴを含む複数のフレームと、時間ｔ1で始まる遷移アウトフレーム２１０−ＴＲＡＮＳとＳＭＰＴＥタイムコード００：００：０２：１３で示される時間ｔ2で終了するアウトフレーム２１０−ＯＵＴと、時間ｔ2後に始まる最終フレーム２１０−ＥＮＤを備える。
【００２７】
アウトフレーム２１０−ＯＵＴは、表示される第１のストリーム２１０の最終フレーム（即ち、望ましい継ぎ合わせポイントのすぐ前にあるフレーム）を備える。アウトフレーム２１０−ＯＵＴは遷移ストリーム２３０内に含まれる。遷移アウトフレーム２１０−ＴＲＡＮＳは伝送される第１のストリーム２１０の最終フレームを備える。つまり、遷移ストリーム２３０は遷移アウトフレーム２１０−ＴＲＡＮＳ直後の第１のストリーム２１０に連結される。
【００２８】
第２のストリーム、即ち、クリップ２２０（ストリームＢ）はＳＭＰＴＥタイムコード００：００：００：００で始まる第１のフレーム２２０−ＳＴと、ＳＭＰＴＥタイムコード００：００：００：２３で示される時間ｔ2で始まるインフレーム２２０−ＩＮと、時間ｔ3で始まる遷移インフレーム２２０−ＴＲＡＮＳと、ＳＭＰＴＥタイムコード００：００：０４：１７で示される時間ｔ4で終了する最終フレーム２１０−ＥＮＤを備える。
【００２９】
インフレーム２２０−ＩＮは、表示される第２のストリーム２２０の第１のフレーム（即ち、望ましい継ぎ合わせポイント直後のフレーム）を備える。インフレーム２２０−ＩＮは遷移ストリーム２３０内に含まれる。遷移インフレーム２１０−ＴＲＡＮＳは、伝送される第２のストリーム２２０の第一のフレームを備える。つまり、遷移インフレーム２２０−ＴＲＡＮＳは遷移ストリーム２３０に連結される第２のストリーム２１０の第１のフレームである。
【００３０】
遷移ストリーム、即ち、クリップ２３０（ストリームＴ）は映像ストリームをフレームアキュレイトでシームレスに継ぎ合わせるのに適したデータ構造である。遷移ストリーム、即ち、クリップ２３０（ストリームＴ）は時間ｔ1で始まる第１のフレーム２３０−ＳＴと時間ｔ3で終了する最終フレーム２３０−ＥＮＤを含む複数のフレームを備える。遷移クリップは、各インフレームとアウトフレームを含む第１のストリーム２１０と第２のストリーム２２０からのフレームを備える。図２では、遷移クリップの開始点と終了点はそれぞれ時間ｔ1とｔ3として示されている。これらの時間や遷移ストリームの実際の第１のフレームと最終フレームは、図８と９に関して以下で説明される方法で決定されることに注意されたい。
【００３１】
継ぎ合わされたストリーム２４０は、ＳＭＰＴＥタイムコード００：００：００：００で示される時間ｔ0で始まる第１のフレーム２４０−ＳＴと、ＳＭＰＴＥタイムコード００：００：０４：１７で示される時間ｔ4で終了する最終フレーム２４０−ＥＮＤを含むフレームを備える。継ぎ合わされたストリーム２４０は、第１のクリップ２１０（即ち、ｔ0からｔ2）からの７３個のフレームと第２のクリップ（即ち、ｔ2からｔ4）からの１１５個のフレームを備える。
【００３２】
図２Ａに示される継ぎ合わされたストリーム２４０には、ナイフエッジの継ぎ合わせ（タイムコード００：００：０２：１３で示される遷移ストリーム２４０）を実現するよう（遷移ストリーム２３０を用いて）に連結された第１のストリーム２１０と第２のストリーム２２０が含まれており、第１のストリーム２１０は明らかにアウトフレーム２１０−ＯＵＴで終わり、明らかにインフレーム２２０−ＩＮから第２のストリーム２２０が始まる。本発明を用いることによって、アウト（出口）フレームやイン（入口）フレームのフレームタイプに関係なく、フレームアキュレイトで継ぎ合わせ処理を行うことができる。
【００３３】
（ＳＭＰＴＥ３１２Ｍ継ぎ合わせ規格で議論された）理想的な継ぎ合わせ状態では遷移クリップは不要であることに注意されたい。しかしながら、ほとんどの状態下では、理想的な状態で生成されることがある「空フレーム」の遷移クリップではない多数のフレームが遷移クリップに含まれる。
【００３４】
図３は、図１のテレビスタジオでの使用に適する放送サーバに関する一実施形態を示す。特に、図３の模範的な放送サーバ１１０は、入出力（Ｉ／Ｏ）回路部３１０とサポート回路部３３０とプロセッサ３２０とメモリ部３４０と、オプションとしてのタイムベースコレクタ３５０を備える。電源やクロック回路やキャッシュメモリ等と同様に放送サーバ１１０内の様々なソフトウェアルーチンの実行を支援する回路部等の従来のサポート回路部３１０とプロセッサ３２０は、一緒に動作する。また、放送サーバ１１０と大容量記憶デバイス１１５とルータ１３０間のインタフェースを形成する入出力回路部３１０を放送サーバ１１０は含む。
【００３５】
メモリ部３４０には、本発明を実施するために適したプログラムやその他の情報が含まれる。特に、メモリ部３４０を利用して複数のプログラムを格納することができるが、それらがプロセッサ３２０によって実行されると、インデックス生成機能３４２と、遷移クリップ生成機能３４４と、オプションとして遷移クリップタイム再スタンピング機能３４５が実行される。オプションとして、メモリ部３４０は、インデックスライブラリ３４６とストリームライブラリ３４８のうちの１つまたはその両方を含む。
【００３６】
図２Ａや図２Ｂに関してすでに説明したような継ぎ合わせ処理を行うために、本発明は遷移クリップ生成機能３４４を利用する。遷移クリップ生成機能３４４では、遷移クリップを生成することによって、（例えば、遷移ストリームジェネレータによって決定された）第１の所定の伝送パケット境界で第１のストリーム２１０を終了し、生成された遷移クリップ２３０を実行し、第２の所定の伝送パケット境界から第２のストリーム２２０を入れることができる。第１のストリーム２１０と第２のストリーム２２０に対する実際の出口ポイント（２１０−ＴＲＡＮＳ）と入口ポイント（２２０−ＴＲＡＮＳ）は、通常、要求された実際のフレームとは一致しない。むしろ、継ぎ合わせを要求された第１のストリーム２１０の出口ポイント２１０−ＯＵＴの直前のフレームと、継ぎ合わせを要求された第２のストリーム２２０の入口ポイント２２０−ＩＮによって、遷移クリップは構成される。
【００３７】
本発明では、ストリーム間の遷移の質を最適化する方法で、遷移ストリームに含まれるフレームを選択することが好ましい。つまり、フレームアキュレイトでシームレスな継ぎ合わせ処理を行っても、継ぎ合わせポイント近傍で映像情報の質の劣化は起こりうる。これは、例えば映像バッファリングベリファイヤ（ＶＢＶ）レベルのミスマッチによる「ビット欠乏」やその他の符号化の偏差によって引き起こされる。本発明では、ＶＢＶレベルを適応してそのような偏差を最低限に抑える。
【００３８】
インデックス生成機能３４２について詳細に述べる。二種類の情報を用いることによって遷移クリップとフレームデータとＭＰＥＧデータを構築することができる。フロムストリームとツーストリームの特定のフレームに関する位置とコードタイプと表記順等の情報がフレームデータに含まれる。フレームデータを用いることによって、フロムストリームとツーストリームのどのフレームを再び符号化し遷移クリップを作成するかが決定される。フレームの寸法やビットレートやフレームフォーマット対フィールドフォーマットや映像バッファリングベリファイヤ（ＶＢＶ）遅延量やクロミナンスサンプリングフォーマット等の情報がＭＰＥＧデータに含まれる。ＭＰＥＧデータを用いることによって、伝送ストリームのＭＰＥＧ符号化特性を指定することができる。遷移クリップを入力ＴＳと同じＭＰＥＧパラメータを用いて符号化、即ち、再符号化することが好ましい。
【００３９】
遷移クリップ生成機能３４４によって遷移クリップの生成を支援するために、本発明ではインデックス生成機能３４２を用いる。特に、インデックス生成機能３４２を用いることによって、継ぎ合わされる各伝送を処理し、伝送ストリームの各フレームに関する複数のパラメータを決定することができる。インデックス生成機能３４２によって処理された各伝送ストリームがそれと関連をもつメタファイルを備えるように、決定されたパラメータはメタファイルに格納される。インデックス生成機能３４２によって処理された伝送ストリームは、大容量記憶デバイス１１５またはストリームライブラリ３４８に格納される。同様に、伝送ストリームに関連するメタファイルは、大容量記憶デバイス１１５またはインデックスライブラリ３４６に格納される。
【００４０】
模範的な実施形態では、インデックス生成機能３４２は、符号化された伝送映像ストリームの各映像フレームについて以下のものを決定する：
１）現在のピクチャ番号（表示順）と；
２）ピクチャコードタイプ（Ｉ、Ｐ、Ｂフレーム）と；
３）フレームの先頭を含む伝送パケット数と；
４）最終フレームを含む伝送パケット数と；
５）フレームの表示タイムスタンプ（ＰＴＳ）と；
６）フレームの復号化タイムスタンプ（ＤＴＳ）と；
７）フレームに先行するシーケンスヘッダの先頭を含む伝送パケット数と；
８）フレームに先行するピクチャヘッダの先頭を含む伝送パケット数と；
９）ＳＭＰＴＥ３１２Ｍ継ぎ合わせシンタックスに基づくフレームマーキング等によって与えられた適切なインフレームやアウトフレームを備えるフレームの印。
【００４１】
フレーム毎のデータの他に、インデックス生成機能３４２はオプションとして、シーケンスヘッダとピクチャヘッダ等のＭＰＥＧ−２構造共通の全フィールドを保存する。
【００４２】
従って、ストリームライブラリ３４８（または大容量記憶デバイス１１５）は、インデックス生成機能３４２によって処理された複数の伝送ストリームを備える。インデックス生成機能３４２の一実施形態は、図１０について以下で説明される。
【００４３】
伝送ストリームの構文解析は時間がかかるので、本発明の実施形態ではプリインデキシングが用いられる。即ち、大容量記憶デバイス１１５やストリームライブラリ３４８に格納された伝送ストリームは、その格納時か、もしくは、その後のできるだけ早いときに、インデックス生成機能３４２によって処理される。このように、遷移クリップを構築するのに必要な時間は大幅に短縮される。何故ならば、継ぎ合わせてストリームのＭＰＥＧパラメータとフレームを決定するときに、伝送ストリームを構文解析する必要がないからである。さらに、オプションとして、大容量記憶デバイス１１５やインデックスライブラリ３４６に格納されたメタファイルを用いることによって、放送サーバ１１０はスケジューリングやフレームレート等のその他の機能に必要な伝送ストリームの特性を素早く検索することができる。
【００４４】
図１０は、一情報ストリームにインデックスを付ける方法のフローチャートである。特に、図１０は方法１０００のフローチャートであり、図３の放送サーバ１１０のインデックス生成機能３４２で使用するのに適している。図１０の方法１０００は、図７の方法７００の実施ステップ７０５で使用するのに適している。
【００４５】
方法１０００はステップ１００５から始まり、インデックスが付けられる一つの情報ストリームが受信される。方法１０００はステップ１０１０に進む。
【００４６】
ステップ１０１０では、インデックス付けられる情報ストリームの伝送レイヤが構文解析される。つまり、構文解析される情報ストリーム内の各伝送パケットのヘッダ部をテストすることによって、伝送パケット数（ｔｒ）や伝送パケット内のシーケンスヘッダの有無や伝送パケット内のピクチャヘッダの有無やインフレームやアウトフレームの継ぎ合わせを示すＳＭＰＴＥ３１２Ｍ継ぎ合わせシンタックスの有無やその他の情報を識別することができる。方法１０００はステップ１０１５に進む。
【００４７】
ステップ１０１５では、第１のフレームまたは現在のフレームがテストされる。つまり、インデックス付けられる情報ストリームを、パケット化基本ストリーム（ＰＥＳ）レイヤに至るまで構文解析することによって、インデックス付けられる情報ストリーム内に含まれる映像基本ストリームの第１の映像フレームをテストすることができる。方法１０００はステップ１０２０に進む。
【００４８】
ステップ１０２０では、ステップ１０１５でテストされたフレームの様々なパラメータが決定される。特に、図１０２０−Ｄを参照すると、現在のピクチャ番号（表示順）やピクチャ符号化タイプ（Ｉ、ＰまたはＢフレーム）やフレームの先頭を含む伝送パケット数やフレームの最後を含む伝送パケット数やフレームの表示タイムスタンプ（ＰＴＳ）や復号化タイムスタンプ（ＤＴＳ）はステップ１０２０によって決定される。ステップ１０１０で前もって述べたが、フレームに先行するシーケンスヘッダの先頭を含む伝送パケットについて言及し、また、フレームに先行するピクチャヘッダの先頭を含む伝送パケット数について言及し、例えば、ＳＭＰＴＥ３１２Ｍ継ぎ合わせシンタックスに基づくフレームマーキングによって提供される適切なインフレームやアウトフレームを備えるフレームの印についても言及した。さらに、ステップ１０２０では、「ＣＢｄ」や「Ｂｄ」も決定される。次に、方法１０００はステップ１０２５に進む。
【００４９】
量Ｂｄはストリーム内でマークされたバッファ遅延量である。これは、ピクチャの第１のビットがＶＢＶバッファ内に残っている時間である。量ＣＢｄは計算されたバッファ遅延量である。インデクサはこの値を計算するが、それについてはＭＰＥＧ−２仕様書の付録Ｃで示されている。バッファ遅延量Ｂｄと計算されたバッファ遅延量ＣＢｄは一致しなければならないが、入口ストリームが不適切にマークされた場合には、この二つの量は一致しない。本発明は、バッファ遅延値を利用して、２１０ｔｒａｎｓと２２０ｔｒａｎｓ間のＶＢＶレベルを調整する方法を決める。ＶＢＶレベルは、遷移クリップで調整される。
【００５０】
ステップ１０２５では、インデックス情報に関する情報が、例えば大容量記憶デバイス１１５やインデックスライブラリ３４６に格納される。方法１０００はステップ１０３０に進む。
【００５１】
ステップ１０３０では、さらに多くのフレームを処理すべきかどうかについての問合せがなされる。その問合せの答えがいいえの場合、方法１０００はステップ１０４０に進み、そこで終了する。その問合せの答えがはいの場合、方法１０００はステップ１０３５とステップ１０１５に進む。ステップ１０３５では、次のフレームが待ち行列に入れられる。また、ステップ１０１５では次の待機フレームが検査される。
【００５２】
図１１は、図３のインデックスライブラリ３４６で使用するのに適したメタファイルを表形式で表わしたものである。特に、図１１の表１１００は、複数のレコード（１−５４）であって、その各レコードは各開始伝送パケットフィールド１１１０に関連する、当該レコードと、パケット化された基本ストリーム識別フィールド１１２０と、フレーム／フレームタイプ識別フィールド１１３０と、ＰＴＳフィールド１１４０と、ＤＴＳフィールド１１５０と、Ｂｄフィールド１１６０と、ＣＢｄフィールド１１７０と、マークされた継ぎ合わせポイントフィールド１１８０を備える。
【００５３】
本発明の一実施形態では、伝送ストリームを受信したり継ぎ合わせたりした後ではインデックス生成機能３４２は用いられない。本実施形態では、継ぎ合わされる各伝送ストリームの少なくとも一部をシングルパス処理することによってフレームが選択されるので、フロムストリームとツーストリームに関する複数のパラメータを決定することができる。
【００５４】
フロムストリームとツーストリームのどちらの場合でも、以下のパラメータが決定される。即ち、復号化開始のためのシーケンス＿ヘッダとピクチャ＿ヘッダの伝送パケットオフセットと、復号化するフレーム数と、廃棄される復号化されたフレーム数（例えば、遷移クリップに含まれるフレームを復号化するために必要なアンカーフレーム等）が決定される。
【００５５】
フロムストリームだけに対しては、以下のパラメータが決定される。即ち、フロムストリーム（即ち、新しい出口ポイント、即ち、出口フレーム）からプレイさせるための最終伝送パケットと、遷移クリップに表示するための第１のフレームのＰＴＳである。
【００５６】
ツーストリームだけに対しては、以下のパラメータが決定される。即ち、遷移クリップに対して送られるＩフレームの先頭と最後の伝送パケットと、遷移クリップに対して送られる残りのＧＯＰの先頭と最後の伝送パケットと、ツーストリーム（即ち、新規入口ポイント、即ち、入口フレーム）からプレイさせるための第１の伝送パケットと、コピーされるフレーム数である。
【００５７】
さらに、伝送ストリームを構文解析するときにインデックスライブラリによってＭＰＥＧフィールドが検索されるので、フレーム選択中に必要な符号化パラメータはすべて保存される。
【００５８】
ここで、遷移クリップ生成機能３４４について詳細に説明する。遷移クリップを構成するプロセスは、１）遷移クリップにどのフレームを組み入れるかを決定するステップと、２）遷移クリップに組み入れるフレームを復号化するステップと、３）遷移クリップを形成するフレームを符号化または再び符号化するステップと、４）遷移クリップを伝送用に符号化（即ち、パケット化）するステップを備える。
【００５９】
フレームを選択すると、出力される遷移クリップの大きさと、遷移クリップを生成するために必要な時間に影響し、再符号化された映像の質の最適化に関する拘束条件がエンコーダに与えられる。ここで議論されるフレーム選択方法によってフレーム依存の問題が解決される一方で、フレーム数が削減され、質を大きく損なうことなく映像を再符号化するために十分な遷移時間が与えられる。
【００６０】
符号化または再符号化のステップは、通常遷移クリップ生成機能３４４の中で最も時間のかかるステップであるが、再符号化するフレーム数を削減することによって時間を短縮することができる。しかしながら、遷移クリップを構築する主な理由のうちの１つは、継ぎ合わされる二つの伝送ストリーム間のＶＢＶレベルの相違を調和させることである。そのため、フレーム数を削減すると（特に、ＶＢＶレベルを下げると、ほんの少しのビットでフレームを符号化しなければならないため）、エンコーダはＶＢＶレベルを調整しながら映像の質を維持することがさらに難しくなる。ＶＢＶレベルを下げるために、バッファから取り出されるのではなくバッファに与えなければならないビットはほとんどない。これによって、エンコーダにとってピクチャ毎に用いるビット（平均して）はほとんどない。
【００６１】
図５は、本発明を理解する上で役立つように、画像フレームの表示順と画像フレームの伝送順を表形式で示す。特に、図５は、映像シーケンスの一部を構成する２４個の符号化された画像フレームを表示順に示した第１の表５１０と、映像シーケンスを構成する２４個の画像フレームを伝送順に示した第２の表５２０を示す。これについて議論する目的のために、図２の第１のストリーム２１０について既に説明したように、図５に示される映像シーケンスには、フロムストリーム映像シーケンス（即ち、継ぎ合わせられたシーケンス形式で表示される第１のシーケンス）の一部が含まれる。
【００６２】
特に、第１の表５１０によって画像フレームが表示され、以下のような（フレーム１からフレーム２４の）グループオブピクチャーズ（ＧＯＰ）構造に基づいて符号化される：
Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ。
【００６３】
さらに、第２の表５２０によって画像フレームが以下のフレーム順に伝送される：
１−４−２−３−７−５−６−１０−８−９−１３−１１−１２−１６−１４−１５−１９−１７−１８−２２−２０−２１−２５−２３。
【００６４】
以下で議論するために、図５に示された映像シーケンスが、Ｂフレームを備えるフレーム１５で終了することが望ましいと仮定する。つまり、フレーム１５は図５に示された出口ストリームであるアウトフレームを備える。以下で議論されるように、フレーム１０からフレーム１５は（表示順に）復号化される。フレーム１６は、伝送順でフレーム１５に先行するアンカーフレームであることに注意されたい。従って、フレーム１６を復号化した後で（Ｂフレームである）フレーム１４と１５を復号化しなければならない。遷移クリップに先行するフロムクリップの最終フレームは、フレーム１３である。つまり、フロムクリップはフレーム１６の直前で終了する。
【００６５】
図６は、本発明を理解する上で役に立つ、画像フレームの表示順と画像フレームの伝送順を示す表である。特に、図６は、映像シーケンスの一部を構成する２６個の符号化された画像フレームを表示順に示す第１の表６１０と、映像シーケンスを構成する２６個の画像フレームを伝送順に示す第２の表６２０を示す。これについて議論する目的で、図６に示された映像シーケンスは、図２の第２のストリーム２２０について既に説明したように、ツーストリーム映像シーケンス（即ち、継ぎ合わされたシーケンスに表示される第２のシーケンス）の一部を備える。
【００６６】
特に、第１の表６１０毎に画像フレームが表示され、以下のような（フレーム１からフレーム２６までの）グループオブピクチャーズ（ＧＯＰ）構造に基づいて符号化される：
Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｉ−Ｂ。
【００６７】
さらに、第２の表５２０毎に画像フレームが以下のフレーム順に伝送される：１−４−２−３−７−５−６−１０−８−９−１３−１１−１２−１６−１４−１５−１９−１７−１８−２２−２０−２１−２５−２３−２４−２８。
【００６８】
以下の議論を行う目的で、Ｂフレームを備えるフレーム１５から、図６に示された映像シーケンスに入ることが望ましいと仮定する。つまり、フレーム１５は、図６に示された入口ストリームであるインフレームを備える。以下で議論されるが、フレーム１０からフレーム１８が（表示順に）復号化される。ツーストリームから表示される第１のフレームはフレーム２５（遷移クリップに含まれないＩフレーム）であることに注意されたい。
【００６９】
図７は遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャートである。図７は方法７００のフローチャートであり、図３の放送サーバ１１０の遷移クリップ生成機能３４４で使用することに適している。
【００７０】
方法７００はステップ７０５から始まり、ここでは、「フロムストリーム」と「ツーストリーム」に注釈がつけられる。即ち、継ぎ合わせポイントに先行する情報を提供する情報ストリーム（フロムストリーム）と、継ぎ合わせポイント以降の情報を提供する情報ストリーム（ツーストリーム）に注釈をつけることによって、インデックス生成機能３４２に関して上述された様々なフレームパラメータをフレーム毎に識別することができる。情報ストリームに注釈をつける方法は、図１０で既に説明した。次に、方法７００はステップ７１０に進む。
【００７１】
ステップ７１０では、出口フレームに先行するフロムストリームの一部が復号化される。つまり、出口フレーム（即ち、表示されるフロムストリーム内の最終情報フレーム）を含むフロムストリーム内の複数の情報フレームが復号化される。次に、方法７００はステップ７１５に進む。
【００７２】
ステップ７１５では、入口フレームで始まるツーストリームの一部が復号化される。つまり、入口フレーム（即ち、表示されるツーストリームの第１フレーム）から始まるツーストリーム内の情報フレームが復号化される。次に、方法７００はステップ７５０に進む。
【００７３】
ステップ７２０では、フロムストリームとツーストリームの復号化された部分を再符号化することによって、遷移クリップ、即ち、遷移ストリームを生成する。伝送ストリームには、例えばフロムストリーム及びツーストリームに関する映像及び音声情報が含まれる。
【００７４】
図７の方法７００によって生成された遷移ストリーム、即ち、遷移クリップは例えば、図１及び図３の放送サーバ１１０によってフロムストリームとツーストリーム間の遷移用である。
【００７５】
【Ａ．フレームの選択】
遷移クリップ、即ち、遷移ストリームを構築する処理の第１のステップは、どのフレームを遷移クリップに含ませるかを決定するステップ（即ち、フレーム選択処理）を備える。
【００７６】
図８は、フロムストリーム内のどの情報フレームを遷移ストリームに含ませるかを決定する方法のフローチャートである。図８の方法８００は、図７の方法７００を実施するステップ７１０で使用することに適している。
【００７７】
方法８００はステップ８０５に入り、ここではフロムストリームの出口フレームが識別される。フロムストリームの出口フレームは、継ぎ合わせポイントに先行して表示されるフロムストリームの最終フレームである。例えば、図５に示されたフロムストリームを参照すると、出口フレーム（フレーム１５）は、フレーム５１３として示されるＢフレームを備える。次に、方法８００はステップ８１０に進む。
【００７８】
方法８００のステップ８１０では、出口フレームと、その直前の非アンカーフレームを表示順に復号化する。即ち、図５を再び参照すると、出口フレーム（フレーム１５）とその直前の非アンカーフレーム（フレーム１１と１２と１３と１４）が復号化される。フレーム１１、１２、１３はフレーム１０を用いて予測されるため、フレーム１０も復号化しなければならない。しかしながら、復号化されたフレーム１０はフレーム１１−１３が復号化された後に廃棄される。つまり、表示順に出口フレームの前のＩフレームから出口フレームまでの全フレームが復号化される。Ｉフレームはフレーム依存性がない（即ち、他のフレームを先に復号化せずに復号化できる）ので、Ｉフレームから始めなければならない。次に、方法８００はステップ８１５に進む。
【００７９】
ステップ８１５では、出口フレームがＢフレームであるかどうか問合せされる。ステップ８１５の問合せの答えがいいえであれば、方法はステップ８２０に進む。ステップ８１５の問合せの答えがはいであれば、方法８００はステップ８２５に進む。
【００８０】
ステップ８２０では、出口フレームはＩフレームまたはＰフレームのいずれかであるので、遷移ストリームフレームの前に表示される最終フロムストリームフレーム（即ち、遷移フレーム）は、伝送順で出口フレームの直前のフレームである。つまり、図５に示されたフロムストリームのフレーム１５がＢフレームではなくＰフレームまたはＩフレームであった場合は、表示される最終フロムストリームフレームはフレーム１４となる。出口フレームがＩまたはＰフレームならば、フレームの依存性および再順序付けによって、次のアンカーフレームの直前（即ち、出口フレームに依存する全てのＢフレームの後）の伝送フレームカットすることができる。これによって、再符号化するフレーム数が減り、遷移のためのＶＢＶレベルを調整する機会も減る。次に、方法８００はステップ８３０に進む。
【００８１】
ステップ８２５では、出口フレームがＢフレーム（図５に示されたフロムストリーム内の出口フレーム等）である場合、表示される最終フロムストリームのフレームは、伝送順でアンカーフレームの直前のフレームである。図５を参照すると、出口フレームに関するアンカーフレームに先行するフレームは、Ｐフレーム（フレーム１３）である。図５に示された２４個のフレームシーケンスのうち伝送される最終フレームはＢフレーム１２であるが、表示される最終フレームはＰフレーム１３であることに注意されたい。次に、方法８００はステップ８３０に進む。
【００８２】
ステップ８３０では、表示順で最終フロムストリームフレームの後の復号化されたフレーム（例えば、図５のフレーム１２として示されるＢフレーム）が遷移クリップ内に格納される。また、遷移ストリーム、即ち、クリップはツーストリームからのフレームも含むことに注意されたい。遷移クリップ内に格納されるフレームは全て再符号化され、符号化された遷移クリップ、即ち、遷移ストリームを形成する。
【００８３】
図９は、ツーストリーム内のどの情報フレームを遷移ストリーム内に含ませるかを決定する方法のフローチャートである。特に、図９の方法９００は、図７の遷移ストリーム生成方法７００の実施ステップ７１５で使用するのに適している。
【００８４】
方法９００はステップ９０５に入る。ステップ９０５ではツーストリームの入口フレームが識別される。ツーストリームの入口フレームは、継ぎ合わせポイントの後に表示されるツーストリーム内の第１のフレームである。例えば、図６に示されたツーストリームを参照すると、入口フレーム（フレーム１５）はＢフレームを備える。次に、方法９００はステップ９１０に進む。
【００８５】
ステップ９１０では、表示順で入口フレームと次のＩフレームの前にある全フレームが復号化される。つまり、図６を参照すると、入口フレーム（フレーム１５）と次のＩフレーム（フレーム１９）の前にある全フレーム（即ち、フレーム１６、１７、１８）が復号化される。図６に示されたツーストリーム映像シーケンス内のフレーム１７、１８は次のＩフレーム（フレーム１９）からの情報を用いて予測されるので、次のＩフレームも復号化しなければならない。しかしながら、復号化されたフレーム１９は、フレーム１７、１８が復号化された後に廃棄される。次に、方法９００はステップ９１５に進む。
【００８６】
ステップ９１５では、次のＩフレーム（例えば、映像シーケンス６１０のフレーム１９）は遷移クリップにコピーされる。つまり、ツーストリームを構成する伝送パケット内の映像情報（即ち、映像基本ストリーム情報）は伝送パケットから抽出され、遷移クリップにコピーされる。エンコーダの出力は映像基本ストリーム（ＶＥＳ）であるが、これはエンコーダからの出力を遷移クリップに直接コピーできるようにするためであることに注意されたい。その後、遷移クリップはパケット化される。次に、方法９００はステップ９２０に進む。
【００８７】
また、ステップ９２０では、次のＩフレーム（例えば、フレーム２５）とその次のＩフレーム（例えば、フレーム１９）間のフレーム（例えば、フレーム２０から２２）も遷移クリップに伝送順にコピーされる。ステップ９１５、９２０で遷移クリップにコピーされたフレーム（例えば、フレーム１９−２１）は、符号化されたフレームとして遷移クリップにコピーされることに注意されたい。従って、入口フレームと次のＩフレームの前にある全フレームとを備える復号化されたフレームと、次のＩフレームと、次のＩフレームとその次のＩフレーム間のすべてのフレームとを備える符号化されたフレームは、方法９００によって遷移クリップに追加される。
【００８８】
図８と図９で既に説明したフロムストリームとツーストリームのフレーム選択方法では、遷移ストリームのフレーム間のフレーム依存性と、フロムストリームとツーストリームのうちの１つまたはその両方のフレーム依存性が受け入れられる。以下の制約事項が守られなければならない。遷移クリップは閉ＧＯＰ構造として符号化される。つまり、遷移クリップは自己内蔵型映像クリップである。終了の伝送ストリームから、遷移クリップ内のフレームへの参照付けはない。開ＧＯＰ構造を用いて、入力される伝送ストリームが符号化される場合は、遷移クリップ内のフレームに参照付けられたフレームを含んでいてもよい。
【００８９】
本発明の重要な点は、遷移クリップを処理して、遷移クリップ内に含まれるフレームのフレーム依存性に適切に対処することである。フレーム依存性には、例えば、遷移クリップ外のアンカーフレームを用いて復号化する必要のある遷移クリップ内の予測フレーム（即ち、Ｐフレーム又はＢフレーム）が含まれる。外部フレーム依存性のない遷移クリップ（即ち、「自己内蔵型」クリップ）を作成することが望ましいが、本発明は、そのフレーム依存性を含むＭＰＥＧ準拠の遷移クリップを作成することができる。
【００９０】
【Ｂ．復号化】
遷移クリップ、即ち、遷移ストリームを構築する処理の第２のステップは、フレーム選択処理で選択されたフレームを復号化するステップを備える。選択されたフレームは、標準的なハードウェアまたはソフトウェアによる復号化技術を用いて復号化される。
【００９１】
どのフレームが復号化されるかに無関係に、Ｉフレームから復号化しなければならないことに注意されたい。ＭＰＥＧ符号化予測を用いるため、Ｉフレーム以外のフレームはすべて、最終的にその前のＩフレームに依存する。上述したフレーム選択方法ではこれらの依存性をなくすことによって、伝送ストリーム間をフレームアキュレイトでシームレスに継ぎ合わせることができる。
【００９２】
【Ｃ．符号化】
遷移クリップ、即ち、遷移ストリームを構築する処理の第３のステップは、フレーム選択処理および復号化処理によって復号化されたフレームを符号化するステップを備える。選択されたフレームは、標準的なハードウェアまたはソフトウェアによる復号化技術を用いて符号化される。
【００９３】
（上述したように）フレーム依存性をなくすこと以外に、遷移クリップを生成する主目的の一つは、継ぎ合わされた伝送ストリームを処理する遠距離にあるデコーダがオーバフロー、アンダーフロー、或いはデコーダバッファメモリの望ましくない動作の影響を受けないように、フロムストリームとツーストリーム間のＶＢＶレベルを調整することである。例えば、フロムストリームの出口ポイントのＶＢＶレベルがツーストリームの入口ポイントのＶＢＶレベルよりも低い場合は、継ぎ合わせ点から下流でアンダーフローが起こることがある。一般的なデコーダでは、これによって「フレームのフリーズ」が引き起こされ、デコーダはデータが利用可能になるまで待つ。フロムストリームの出口ポイントのＶＢＶレベルがツーストリームの入口ポイントのＶＢＶレベルよりも高いときは、もっと重大な問題が起こる。このため、継ぎ合わせ点から下流でＶＢＶオーバフローが発生することがある。バッファ可能な量より多くのデータが利用できるときにオーバフローが起こる。オーバフローはデータの損失および／または乱れを引き起こし、一般的に、視覚的なアーチファクト（artifacts）が復号化されたピクチャ内に発生し、デコーダをリセットしてしまうことさえある。
【００９４】
選択されたフレームがベースバンドに復号化されると、それらはＶＥＳに再符号化される。発明者らは、サーノフコーポレーション（Sarnoff Corporation）製のＤＴＶ／ＭＰＥＧ−２ソフトウェアエンコーダを用いて、全体性能とピクチャ品質とモジュール性を確実に高めた。エンコーダのレート制御アルゴリズムは、初期および最終ＶＢＶレベルを特定できるように修正され、エンコーダの入力モジュールはデコーダの出力ファイルフォーマットをサポートするように更新された。フレーム選択中に伝送ストリームから構文解析されたＭＰＥＧ符号化パラメータはエンコーダに送られて、継ぎ合わされるクリップと再符号化された映像がコンパチブルであることが保証される。
【００９５】
（遷移クリップの再符号化部分の全体的ピクチャ品質を最終的に決定する）レート制御について、ＶＢＶレベルを上げるように調整すると、選択されたフレームは元のストリームよりも少ないビットで符号化される。ＶＢＶレベルを上げると、出力品質はいくらか落ちるが、これはヒューマンビジュアルシステムのマスキングによるものである。また、シーン変化の際に映像品質がいくらか劣化することがあるが、これは視聴者には感知できない程度のものである。発明者らは、フレームアキュレイトでシームレスに継ぎ合わされたストリームにそのような視覚的な劣化が起っても、感知できるような映像の劣化を引き起こすことはないことがわかった。
【００９６】
本発明の一実施形態では、フロムストリームとツーストリームの各々は、映像バッファリングベリファイヤ（ＶＢＶ）をもつ伝送ストリームを備える。本発明は、フロムストリームＶＢＶとツーストリームＶＢＶ間に相違があるかどうかを確認し、必要に応じてその相違に対して再符号化処理を適用する。例えば、第１の閾値レベルによってフロムストリームＶＢＶがツーストリームＶＢＶを上回ると確認されたならば、レート制御ビットの割り当てを増やすことによって、また第２の閾値レベルによってツーストリームＶＢＶがフロムストリームＶＢＶを上回ると確認されたならば、レート制御ビットの割り当てを少なくすることによって、本発明は再符号化処理に対応することができる。
【００９７】
【Ｄ．パケット化】
遷移クリップ、即ち、遷移ストリームを構築する処理の第４のステップは、フレーム選択および復号化処理によって復号化されたフレームを符号化するステップを備える。
【００９８】
選択されたフレームを再符号化後に、ツーストリームからコピーされたＩフレームと残りのＧＯＰは、再符号化されたＶＥＳに追加される。時間＿基準フィールドの再スタンピングが実行されていないときに、遷移クリップには、構文として完全なＭＰＥＧ−２ストリーム（シーケンス＿エンド＿コードのないものは除く）が含まれ、また、その遷移内の全フレームが含まれる。最後のステップは、ＶＥＳを伝送ストリームにパケット化するステップである。
【００９９】
遷移ストリームをパケット化する第１のステップは、遷移ストリームを構文解析し、各フレームの先頭のオフセット（シーケンス＿ヘッダ又はピクチャ＿ヘッダ）とフレームタイプを遷移ストリーム内に配置する。このデータが利用可能になると、フレーム間の依存性が計算され、フレームの表示順が決定される。時間＿基準フィールドは、ＧＯＰの再構築のために現在無効であるため、この目的には適していないことに注意されたい。表示順が決定すると、時間＿基準フィールドは再スタンピングされ、遷移ストリームの各フレームに対して表示タイムスタンプ（ＰＴＳ）と復号化タイムスタンプ（ＤＴＳ）が計算される。
【０１００】
ＭＰＥＧ−２規格では、伝送ストリームに時間的不連続部分が許容されることに注意されたい。しかしながら、デコーダにはＭＰＥＧ−２規格に完全に準拠していないものもあるので、伝送ストリーム内の時間的不連続部分を許すことによって、デコーダの不適切な動作が引き起こされる。従って、再スタンピング処理によって伝送ストリーム内の時間的不連続部分を除去することが望ましい。
【０１０１】
再スタンピング処理の出力を用いてＰＥＳヘッダが生成され、フレームがＰＥＳストリームに出力される。各ＰＥＳヘッダの位置および各ＰＥＳパケットの大きさはこの処理の間に記録される。最終的に、伝送パケットが生成されて、ＰＥＳパケットが保持される。パケットの各レイヤではＴＳにオーバヘッドが与えられるので、わずかにサイズが大きくなる。結果として生じるＴＳ内のパケットは、継ぎ合わされる映像ストリームのＰＩＤを用いてスタンピングされる。パケット化処理の最後の出力は、シングルＶＥＳを含むＴＳである。このストリームにはプログラム特有情報（ＰＳＩ）は含まれていない。
【０１０２】
【Ｅ．再多重化】
遷移クリップ、即ち、遷移ストリームを構築する処理の最後のステップは、元のプログラムストリームからプログラム特有情報（ＰＳＩ）をもつ映像クリップ（ここでは、伝送ストリーム）を再多重化するステップを備える。
【０１０３】
再多重化ステップを達成するためにフロムストリームが検査され、プログラム関連テーブル（ＰＡＴ）とプログラムマップテーブル（ＰＭＴ）の一例が（伝送パケットとして）抽出される。単独のプログラム伝送ストリームを継ぎ合わせる場合、一つのＰＭＴだけが存在する。複数のプログラム伝送ストリームを継ぎ合わせる場合、複数のＰＭＴだけが存在する。オプションとして、ＡＴＳＣブロードキャストフォーマットを完全に用いるためには（当業者はわかっていることであるが）その他のテーブルも抽出しなければならない。
【０１０４】
ＰＡＴとＰＭＴを抽出した後、多重化ビットレートと遷移クリップ内のフレーム数とフレームレートに基づいて遷移クリップ内のパケット数が計算される。例えば、ＡＴＳＣ仕様では、少なくとも１００ｍｓごとにＰＡＴと少なくとも４００ｍｓごとにＰＭＴが必要となる。ＰＡＴテーブルとＰＭＴテーブル間のパケット数は、多重化ビットレートから決定される。
【０１０５】
遷移クリップ内のパケット数の計算後に、空伝送パケットから成る空遷移クリップが生成され、ＰＡＴテーブルとＰＭＴテーブルが、計算された間隔で（例えば、ＰＡＴは１００ｍＳ毎で、ＰＭＴは４００ｍＳ毎）挿入される。
【０１０６】
空遷移ストリーム内にＰＡＴとＰＭＴを適切に挿入した後で、残りの利用可能なパケット内のスペーシングパケットによって、空遷移ストリームに映像伝送ストリームが挿入されるので、出力伝送ストリームが形成される。
【０１０７】
ＰＡＴとＰＭＴと映像パケットを空遷移クリップに挿入するとき、各パケットは新規の継続カウンタによって再スタンピングされなければならないことに注意されたい。出口ストリーム、即ち、フロムストリームから、連続＿カウンタの開始値が各ＰＩＤ毎に決定される。映像クリップが非常に大きい場合は、遷移クリップ内には十分な伝送パケットはない。これは、遷移クリップの大きさが予測クリップ期間に基づいて計算されているからである。この計算では、フレーム数とフレームレートとＶＢＶ遅延量とマルチプレクスビットレート等を考慮に入れている。ＶＢＶレベルの調整がエンコーダによって適切に行われることは重要なことである。
【０１０８】
次に、完成した遷移クリップは、計算された伝送パケットオフセットで、継ぎ合わされた伝送ストリーム間に挿入され、これによってシームレスな継ぎ合わせを行うことができる。
【０１０９】
上述の本発明のメリットは、遷移ストリーム、即ち、クリップを用いて伝送ストリームをフレームアキュレイトでシームレスに継ぎ合わせる、即ち、連結することによって、伝送ストリーム全体を新規に構築する必要がないということである。処理中はフロムストリームもツーストリームも修正されない。何故ならば、遷移ストリームを作成するのに十分な情報を提供するためだけにそれらが用いられるからである。ストリーム間の変更を行うために遷移ストリームが用いられた後で、それはシステムによって廃棄されるか、または将来の使用のために保存される。
【０１１０】
映像ストリーム又はサブストリームを含むＭＰＥＧ−２伝送ストリームをシームレスに継ぎ合わせるために適している映像情報を含む遷移ストリームの生成に関連して本発明を基本的に説明した。その他の形式の情報もそのような映像ストリームに関係することは、当業者にとっては明らかなことである。例えば、複数の映像ストリームは対応する音声ストリームと関連する。また、データエッセンスおよびメタデータ等のその他の形式の情報は、映像情報を含む情報ストリームに組み込まれる。データエッセンスはストリーム内の映像および／または音声データとは無関係の内容のデータである。データエッセンスの例として、映像および／または音声データ等と関係のない株式情報、気象報告およびその他のニュースやお知らせ又は制御情報等が挙げられる。
【０１１１】
メタデータは、映像または音声ストリームの特性を記述するデータ等のその他のデータに関するデータである。メタデータの例として、別々のカメラアングル、映画俳優の名前、番組タイトル等の映像および音声フレームに関する映像またはインターネットデータブロードキャストパケットが挙げられる。
【０１１２】
映像情報ストリーム内の特定の映像フレームに関する音声情報、データエッセンスおよび／またはメタデータの場合、特定の映像フレームに関連する全データを映像フレームのレシーバが確実に利用可能であることが望ましい。従って、１つ以上の映像ストリームを連結することによって継ぎ合わされた映像ストリームを作成する継ぎ合わせアプリケーションの場合、継ぎ合わせを可能にする遷移クリップ内で用いられる映像フレームに関する音声情報、データエッセンスおよび／またはメタデータがその遷移クリップに含まれることが保証されることが望ましい。
【０１１３】
図４Ａは、本発明を理解する上で役に立つ継ぎ合わせ処理の図を含む。特に、図４Ａは、ストリームＡとして示されるフロムストリーム４１０と、ストリームＢとして示されるツーストリーム４２０と、ストリームＴとして示される遷移ストリーム、即ち、遷移クリップ４３０を備える。ストリームＡ（４１０）とＢ（４２０）とＴ（４３０）はそれぞれＭＰＥＧ伝送ストリームであり、映像フレーム（図示せず）とメタデータとデータエッセンスと音声データを備えることに注意されたい。これらの伝送ストリームは、複数のパケット化された情報を多重化することによって形成され、その結果、映像ストリームと音声ストリームとその他のデータストリームを含む情報ストリームが提供される。あいにく多重化処理では音声とデータエッセンスとメタデータのパケットはそれぞれの映像時間に正確に配列されない。つまり、伝送ストリーム内の各映像フレームについては、（ビットストリーム順で）映像フレームに関する音声データ、データエッセンス又はメタデータを含むパケットの前または後に映像フレームを含むパケットがくる。従って、出口または入口フレームを形成する映像パケットだけに関する遷移ストリームが形成される場合、出口または入口フレームに関するメタデータ、データエッセンスおよび／または音声データは失われるか、または不完全に遷移ストリームに提供されるだろう。
【０１１４】
ストリームＡ（４１０）は、スタート映像フレーム４１０−ＳＴとエンド映像フレーム４１０−ＥＮＤによってその範囲が制限される。ストリームＡは、出口映像フレーム４１０−ＯＵＴで終了するフロムストリームを備える。従って、遷移ストリーム生成方法について上述したように、遷移映像フレーム４１０−ＴＲＡＮで始まり、出口映像フレーム４１０−ＯＵＴで終わる複数の情報フレームは復号化され、遷移ストリームを形成するために用いられる。しかしながら、出口映像フレーム４１０−ＯＵＴは、メタデータ４１０−ＭＤ、データエッセンス４１０−ＤＥ及び音声データ４１０−ＡＤと関連しており、そのデータはストリームＡ内の出口映像フレーム４１０−ＯＵＴの後に配置される。そのデータは出口映像フレーム４１０−ＯＵＴの前に配置してもよいことに注意されたい。従って、この非映像データを遷移ストリームに組み込む場合は、非映像データを抽出し、復号化しなければならない。ストリームＡ（４１０）を参照すると、出口フレーム４１０−ＯＵＴに関する非映像データは、遷移フレーム４１０−ＴＲＡＮと範囲フレーム４１０−ＥＸＴによってその範囲が制限される。尚、この範囲フレームは非映像データと関連する最大境界（即ち、範囲）を定義するものである。
【０１１５】
ストリームＢ（４２０）は、スタート映像フレーム４２０−ＳＴとエンド映像フレーム４２０−ＥＮＤによってその範囲が制限される。ストリームＢは、入口映像フレーム４２０−ＩＮから始まるツーストリームを備える。従って、遷移ストリーム生成方法に関して上述したように、入口フレーム４２０−ＩＮで始まり、遷移映像フレーム４２０−ＴＲＡＮで終わる複数の情報フレームは、復号化されて、遷移ストリーム４３０を形成するために用いられる。しかしながら、入口映像フレーム４２０−ＩＮは、メタデータ４２０−ＮＤとデータエッセンス４２０−ＤＥと音声データ４２０−ＡＤと関連しており、そのデータはストリームＢ内の入口映像フレーム４２０−ＩＮの前に配置される。そのデータは入口映像フレーム４２０−ＩＮの後に配置することもできることに注意されたい。従って、この非映像データを遷移ストリーム４３０に組み込む場合は、非映像データを抽出して復号化しなければならない。ストリームＢ（４２０）を参照すると、入口フレーム４２０−ＩＮに関する非映像データは、範囲フレーム４２０−ＥＸＴと遷移フレーム４２０−ＴＲＡＮによってその範囲が制限される。範囲フレーム４２０−ＥＸＴは、ビットストリーム順で入口フレーム４２０−ＩＮの前にある非映像データに関連する最大境界（即ち、範囲）を定義する。
【０１１６】
従って、遷移ストリームに適切な全映像フレームと、それらの映像フレームに関連する非映像データの全てを取り込む場合、ストリームＡの分解された部分は４１０−ＴＲＡＮと４１０−ＥＸＴによってその範囲が制限される。同様に、ストリームＢの分解された部分は、４２０−ＥＸＴと４２０−ＥＸＴと４２０−ＴＲＡＮによって制限される。ストリームＡとＢからの映像データ、メタデータ、データエッセンス及び音声データを復号化および／または抽出したりした後で、遷移ストリーム４３０はそのデータを含むように形成される。従って、遷移ストリーム４３０は、スタートフレーム４３０−ＳＴとエンドフレーム４３０−ＥＮＤによってその範囲が制限される。適切な出口フレーム４１０−ＯＵＴと入口フレーム４２０ＩＮから始まる二つのストリーム間のフレームアキュレイトな継ぎ合わせ位置がＳＰＬＩＣＥポイントによって定義される。さらに、遷移ストリーム４３０内に含まれる映像フレームに関するメタデータ、データエッセンスおよび／または音声データも遷移ストリーム内に含まれる。この非映像データは、継ぎ合わせポイントに関係なく遷移ストリーム内に配置される。つまり、映像データパケットとそれ以外のデータパケット間の関係を保持しながら、映像データパケットを利用して非映像データを多重化することができる。
【０１１７】
図４Ｂは、本発明を理解する上で役に立つ継ぎ合わせ処理の図である。特に、図４Ｂは、第１のマルチプログラム伝送ストリーム４４０と第２のマルチプログラム伝送ストリーム４５０を備える。第１および第２のマルチプログラム伝送ストリーム４４０、４５０はそれぞれ、複数の伝送サブストリームを備える。本発明を用いることによって、非映像データとそれに関する映像データとの関係を保持しながら、そのマルチプログラム伝送ストリーム間でフレームアキュレイトでシームレスな継ぎ合わせを行うことができる。
【０１１８】
伝送多重化部Ａ４４０は、３つの伝送サブストリーム、即ち、プログラム１（４４１）とプログラム１（４４２）とプログラム（４４３）を備える。伝送多重化部Ｂ４５０は、３つの伝送サブストリーム、即ち、プログラムＡ（４５１）とプログラムＢ（４５２）とプログラムＣ（４５３）を備える。これについて議論するために、伝送多重化部Ｂはサブストリームレベルで伝送多重化部Ａと連結されていると仮定する。つまり、プログラム１  ４４１とプログラムＡ  ４５１は連結され、複数のサブストリームを備える遷移ストリーム内に第１の伝送サブストリームが形成される。特に、プログラム１はアウトフレーム４４１−ＯＵＴで終了し、プログラムＡはインフレーム４５１−ＩＮに入る。同様に、プログラム２はアウトフレーム４４２−ＯＵＴで終了する。一方、プログラムＢはインフレーム４５２−ＩＮに入る。プログラム３はアウトフレーム４４３−ＯＵＴで終了する。一方、プログラムＣはインフレーム４５３−ＩＮに入る。その結果、形成された遷移ストリームは伝送多重ストリームを備え、それは図４Ｂに示されて説明されたように正確なフレームが得られるような継ぎ合わせポイントを含む６つのストリームの全部分を備える。
【０１１９】
映像フレームの他に、各伝送サブストリームは、メタデータとデータエッセンスと音声データ等の非映像データを含む。図４Ｂに示すように、遷移ストリームに含まれる継ぎ合わせポイントや映像フレームはそれぞれ、ある範囲の非映像データに関連する。従って、各伝送多重化サブストリームを復号化するか、そうでなければ必要な映像データやそれ以外のデータの全てを抽出するように処理することによって、個々の遷移サブストリームを作成することができる。マルチプログラム遷移ストリームに個々の遷移サブストリームを組み込むことによって、第１のマルチプログラムストリームＡ（４４０）と第２のマルチプログラムストリームＢ（４５０）を連結することができる。
【０１２０】
図４Ｃは、本発明を理解する上で役に立つ継ぎ合わせ処理の図である。特に、図４Ｃは、構築中の遷移ストリーム４６０内の非映像パケットのプレースホルダの確保状態を示す。つまり、遷移ストリームを形成しているときに、継ぎ合わされるフレームからの復号化された映像フレームの符号化ステップが実行された後に、部分的に形成された遷移ストリームに非映像データを挿入するステップがおそらく実行される。遷移ストリーム内の非映像データを、それに関連する映像データの最近傍に確実に配置するために、映像符号化中にプレースホルダを確立して、遷移ストリーム内に非映像データを続けて挿入できるようにする。特に、図４Ｃで示されるように、複数の音声やデータエッセンスやメタデータのプレースホルダが構築中の遷移ストリーム内に挿入される。遷移ストリームが完成すると、これらのプレースホルダは非映像データを格納するためには用いられずに削除され、完成した遷移ストリーム４６０’が遷移ストリームとして用いられる。
【０１２１】
図４Ｂで既に説明したようなマルチプログラム伝送ストリームに関して、遷移ストリーム生成処理中に形成される各伝送サブストリームでは、非映像データのプレースホルダセットが用いられる。各ストリームが完成すると、不使用のプレースホルダを削除するか、そうでなければ「不使用」とするか、（例えば、ＮＵＬＬデータを挿入することによって）それを放棄して完全な遷移ストリームが形成される。
【０１２２】
得られた遷移ストリーム、即ち、遷移クリップ４３０は、ストリームＡとＢの各々からの映像情報と非映像情報を備える。
【０１２３】
図１２は、画素領域効果を含む遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャートである。特に、図１２は方法１２００のフローチャートであり、図３の放送サーバ１１０の遷移クリップ生成機能３４４で使用するのに適している。
【０１２４】
方法１２００はステップ１２１０に入り、ここでは「フロムストリーム」と「ツーストリーム」に注釈が付けられる。情報ストリームに注釈をつける方法は既に図１０で説明された。前述したように、この注釈付けは本発明を実施するために必ずしも必要なわけではない。しかしながら、ストリームに注釈を付ける処理は、次の処理ステップやその他の処理ステップでストリームを効率的に処理する際に役に立つ。次に、方法１２００はステップ１２２０に進む。
【０１２５】
ステップ１２２０では、図７の方法７００のステップ７１０で既に説明したように、出口フレームに先行するフロムストリームの一部が復号化される。次に、方法１２００はステップ１２３０に進む。
【０１２６】
ステップ１２３０では、図7の方法７００のステップ７１５で既に説明したように入口フレームから始まるツーストリームの一部が復号化される。次に、方法１２００はステップ１２４０に進む。
【０１２７】
ステップ１２４０では、フロムストリームとツーストリームの復号化された部分は、１つ以上の画素領域プロセスステップで処理されて、例えば、特定の効果やその他の処理効果が得られる。ステップ１２４０で得られる特定の効果には、ボックス１２４０で示される1つ以上の特定の効果が含まれる。即ち、モーフィングやフェイドやワイプやディゾルブ（dissolve）やプッシュやリビール(reveal)やブラックフレームやフレームのフリーズやその他の周知の画素領域プロセス効果が含まれる。モーフィングの効果には、一形態から別の形態への段階的な（例えば一フレーム毎の）変形が含まれる。ワイプの効果には、画像内の領域的変化による一画像から他の画像への変化、例えば、左から右へあるいは上から下へ第1及び第２の画像を描く垂直バーの位置の変化が含まれる。フェイド、即ち、ディゾルブ効果には、第1の画像を段階的にフェイド、即ち、ディゾルブさせて、第1の画像の下にある第２の画像を現わすことが含まれる。下にある画像をフェイドさせ、フェイドする第１の画像とは逆に出現させることもできる。ブラック（またはブルー）フレーム効果には、二つの画像間にモノクロフレームを挿入することが含まれる。「プッシュ」効果は、スクリーンに現れた新しい画像に押されたかのように古い画像がスクリーンからスライドしていくように見せるものである。古い画像と新しい画像を任意の方向にスライドさせることによって、この効果を生み出すことができる。「リビール」効果は、古い画像を除去し、下にある新しい画像を現すことである。リビール効果には、「コーナのめくり」、即ち、コーナのめくりのグラフィック表記によって古い画像の下にある新しい画像の一部が現われる「ピールバック」効果が含まれる。新しい画像を選択すると、古い画像はピールバックされるか、そうでなければコーナのめくり部分から始まるビューから除去され、下にある新しい画像が現われる。
【０１２８】
メタデータ領域に対する非画素領域効果には、文境界での字幕の変化が含まれることがある。音声領域に対する非画素領域効果には、ストリームＡの音声からフェイドし、沈黙期間を通して、ストリームＢに関する音声情報に戻ることで継ぎ合わされた情報ストリームを形成することが含まれる。
【０１２９】
画素領域プロセスステップを用いることによって、映像クリップ間を遷移する芸術的な、即ち、興味深い手段を提供することができる。注意効果は、例えば、フレーム１とフレーム６の一部を含む４つの介在フレームを介してフレーム１からフレーム６へ遷移させることによって、６フレームの遷移クリップで実現可能である。画素領域プロセスによって、ある形式の遷移情報を視聴者に確実に知らせることが望ましいが、遷移情報を知らせることは必ずしも必要なわけではない。次に、方法１２００はステップ１２５０に進む。
【０１３０】
本発明の一実施形態では、複数の伝送ストリームやその他のストリームに関して画素領域プロセスが実行される。特に、本発明は、連結される少なくとも画像情報を含む二つの伝送ストリームについて主に説明されてきた。これによって、少なくとも画像情報を含む継ぎ合わされた伝送ストリームを作成することができる。遷移ストリーム、即ち、遷移クリップの生成中は、画素領域プロセスによって処理するために画素領域情報が利用可能となるように、各伝送ストリーム内の画像情報が復号化される。本発明の一実施形態の画素領域または非画素領域プロセスステップでは、さらに別の画素領域（または非画素領域）情報が用いられる。クロマキー処理の一例として、Ｋストリームとして示されるクロマキーイング信号を含む伝送ストリームには、１つ以上のクロマキー処理された画像部を含む映像情報が含まれる。Ｋストリーム内のキー処理された第１の画像部は、第１の色によって示される。一方、Ｋストリーム内のキー処理された第２の画像部は、第２の色によって示される。キー処理された第１の部分に関する遷移クリップ内の画素領域情報は、第１の情報ソース、即ち、情報ストリームからの情報に置き換えられる。一方、キー処理された第２の部分に関する遷移クリップ内の画素領域情報は、第２の情報ソース、即ち、情報ストリームからの情報に置き換えられる。従って、ストリームＡはストリームＢに連結されたＫストリームを備えて、遷移ストリームを形成するが、（部分ストリーム１と部分ストリーム２として示された）さらに二つの情報ストリームを用いることによって、Ｋストリームの第１と第２のキー処理された部分をそれぞれ置き換えることができる。どのような数の領域も利用することができ、非画素情報も複数の領域に分割できることは当業者であれば理解している。
【０１３１】
ステップ１２５０では、復号化され処理された映像フレームを再符号化することによって、遷移ストリームを形成することができる。ステップ１２５０は、図７の方法７００のステップ７２０で既に述べた方法とほぼ同様に実施される。
【０１３２】
従って、遷移ストリーム、即ち、遷移クリップの生成の他に、図１２の方法１２００では、芸術的な、即ち、興味深い視覚的な目的のために、遷移ストリーム、即ち、遷移クリップに映像情報を適合させる。このように、フロムストリームが終了してツーストリームが入るときに、既知の画素領域プロセス技術を用いて、視聴者に対してより現実的な遷移の印象を与えることができる。図４Ａ−４Ｃで既に説明された非映像データについて非映像領域での処理が実行されることに注意されたい。
【０１３３】
従って、本発明の有用性は、画素自体の概念や、二つの画像ストリームだけの画像領域処理すること以上に及ぶ。むしろ、従属発明の方が広い適用性があり、例えば、複数の情報ストリームを用いることによって、生成される遷移ストリーム内の画素領域やその他の、即ち、非映像領域情報を処理することができる。このように、遷移クリップを構成する二つ以上のストリームからの映像情報や非映像情報とその映像情報と非映像情報をマージするように、多数の情報ソースに対応して遷移ストリーム、即ち、遷移クリップが生成される。
【０１３４】
遷移クリップ、即ち、遷移ストリームは所定数の映像フレームから構成されることに注意されたい。従って、既に説明されたＶＢＶ処理の機会に加えて、所定数のフレームを用いてフレームの一部を選択的に符号化することによって、特定の画素領域効果を得ることができる。例えば、遷移クリップが５つの映像フレームをもつ場合、５つのフレームの各々はフレーム内で６つの部分に分割される。第１のフレームは、ツーストリームからの１／６の映像データとフロムストリームからの５／６のデータを含み、第２のフレームは、フロムストリームからの２／６のデータとツーストリームからの４／６のデータを含み、第５フレームは、フロムストリームからの１／６のデータとツーストリームからの５／６のデータを含む。発明者らは、ユーザが選択できる３枚から２５枚の間（もしくは所定の）の数のフレームを遷移ストリームに与えることによって、ほとんどの画素領域プロセスとＶＢＶバッファ正規化機能を可能にする柔軟性を十分に提供することを決心した。
【０１３５】
図１３は、本発明の一実施形態に基づく遷移ストリーム、即ち、遷移クリップの生成方法のフローチャートである。特に、図１３は方法１３００のフローチャートであり、図３の放送サーバ１１０の遷移クリップ生成機能３４４で使用するのに適している。
【０１３６】
方法１３００はステップ１３１０から入り、出口フレームに先行するフロムストリーム映像の適切な部分が復号化される。次に、方法１３００はステップ１３２０に進む。
【０１３７】
ステップ１３２０では、復号化された映像部分に関連するフロムストリーム内のデータエッセンスや音声やメタデータやその他のデータ等の非映像情報が抽出されたり、復号化される。即ち、ステップ１３１０で復号化されたフロムストリーム内の映像フレームに関する前述の非映像データタイプ等の補助的な、即ち、付加的なデータを抽出したり、復号化することによって、遷移ストリーム、もしくは遷移クリップでそれを用いることができる。
【０１３８】
ステップ１３３０では、入口フレームで始まるツーストリーム映像の適切な部分が復号化される。次に、方法１３００はステップ１３２０に進む。
【０１３９】
ステップ１３４０では、ステップ１３３０で復号化された映像フレームに関連する非映像データが抽出されるか、もしくは、復号化される。つまり、ステップ１３３０で復号化された映像フレームに関連するツーストリーム内のデータエッセンスや音声やメタデータやその他のデータを抽出したり復号化することによって、遷移ストリーム、即ち、遷移クリップでそれを使用することができる。次に、方法１３００はステップ１３５０に進む。
【０１４０】
ステップ１３５０はオプションとしての処理ステップであり、部分的に形成された遷移ストリーム、即ち、遷移クリップで使用するのに適している。特に、オプションとしてのステップ１３５０は３つのオプションとしてのサブステップを含み、それらを別々にまたは組み合わせて用いることによって、ステップ１３１０、１３３０で復号化された映像データや、ステップ１３２０、１３４０で抽出されたり復号化された非映像データを処理することができる。
【０１４１】
オプションとしてのステップ１３５０の第１のサブステップ１３５２は、復号化された映像データを画素領域処理する性能を備える。つまり、図１２のステップ１２４０やボックス１２４５で既に説明された画素領域プロセス技術を少なくともいくつか用いることによって、それぞれステップ１３１０、１３３０で復号化されたツーストリーム映像情報とフロムストリーム映像情報を処理することができる。次に、方法１３００はステップ１３５４に進む。
【０１４２】
ステップ１３５０のオプションとしての第２のサブステップ１３５４では、ステップ１３２０やステップ１３４０から抽出され復号化された音声データの音声領域プロセスが実行される。そのような音声処理には、周知の音声領域プロセス技術を用いて、例えば、遷移の感覚やその他の音声的印象をリスナに与えることができる。次に、方法１３００はステップ１３５６に進む。
【０１４３】
ステップ１３５０のオプションとしての第３のサブステップ１３５６では、抽出されたり復号化されたデータエッセンスやメタデータや、ステップ１３２０、１３４０で抽出されたり復号化されたその他のデータに対してデータ領域プロセスが実行される。そのようなデータ処理には、例えば、ステップ１３５２で実行された画素領域プロセスに基づくメタデータやデータエッセンスの調整が含まれる。例えば、画素領域プロセスから得られた遷移クリップ映像フレームの画素領域プロパティをメタデータで記述する場合、対応する画素領域プロセスを反映するようにメタデータが処理される。その他のデータ処理機能も同様に実施される。次に、方法１３００はステップ１３６０に進む。
【０１４４】
ステップ１３６０では、遷移ストリーム、即ち、クリップが復号化され、オプションとして処理された映像部が再符号化される。さらに、抽出されたり復号化されたデータエッセンスや音声やメタデータや、ステップ１３５２−１３５６で処理された非映像データを含むその他のデータが適切なフォーマットで再符号化されるか、またはデータタイプに基づいて挿入される。即ち、ステップ１３１０−１３５０で作成され、オプションとして処理された映像情報やそれ以外の情報は再符号化されるか再び挿入されて、伝送ストリームフォーマットになり、遷移クリップ、即ち、遷移ストリームが形成される。
【０１４５】
図４Ｃで既に説明された本発明の一実施形態では、形成される遷移ストリームは、伝送ストリームやその他のストリームを備え、複数のパケットを用いて映像データや非映像データを表すことができる。本発明の本実施形態では、遷移ストリーム、即ち、遷移クリップを形成する前に、情報を保持するために用いられる利用可能なパケットの一部が非映像データ用に保持される。このように、映像フレームに最も近いデータプレースホルダを映像フレーム中に散在させて、この最も近い映像フレームに関連するデータを含ませるように、非映像情報処理の前に映像情報が処理される。従って、本発明の本実施形態では、図１３の方法１３００のステップ１３１０よりも先に、オプションとしてのステップ１３５０が用いられる。特に、ステップ１３５０では、形成される遷移ストリーム内にデータプレースホルダが含まれる。即ち、ステップ１３５０では、非映像用パケットを定義するプレースホルダ情報を備え、遷移ストリームに用いられるメモリの一部や複数のパケットを散在させる。次に、方法１３００はステップ１３１０からステップ１３６０に進む。
【０１４６】
ステップ１３６０はボックス１３６５に従って、適切なプレースホルダを利用して、オプションとして処理された音声やメタデータやデータエッセンスや、映像フレームに関連するその他のデータを含む非映像情報を格納する。遷移クリップが完成すると、即ち、非映像情報を全て処理し、処理された非映像情報を適切なプレースホルダに配置すると、未使用のプレースホルダは除去されるか、そうでなければその他の目的で使用される。
【０１４７】
前述したが、遷移クリップをさらに処理することによって、ほぼシームレスな継ぎ合わせを実行するようにフロムストリームとツーストリームのＶＢＶを確実に適応させることができる。
【０１４８】
二つのシングルプログラム伝送ストリーム、即ち、映画やテレビ番組やコマーシャル等のシングル音声ビジュアルプログラムを含む伝送ストリームを継ぎ合わせる、即ち、連結させる方法について本発明が主に説明されてきた。しかしながら、当業者であればわかっていることであるが、本発明では、マルチプログラム伝送ストリーム間でも同様に、正確なフレームを持つようにシームレスな継ぎ合わせが実行される。その継ぎ合わせを行うために、上述した方法を適用して、アウトフレームやインフレームやマルチプログラム伝送ストリーム内の各プログラムに対するその他の適切なパラメータを決定することができる。
【０１４９】
本発明の教唆を含む様々な実施形態がここで示され詳細に説明されたが、当業者であればこれらの教唆を含むその他の様々な実施形態をすぐに考案することが可能である。
【図面の簡単な説明】
【図１】  テレビスタジオの高レベルなブロック図を示す。
【図２Ａ】  本発明を理解する上で役に立つ継ぎ合わせ処理を示す。
【図２Ｂ】  本発明を理解する上で役に立つ継ぎ合わせ処理を示す。
【図３】  図１のテレビスタジオで使用するのに適する放送サーバの一実施形態を示す。
【図４Ａ】  本発明を理解する上で役に立つ継ぎ合わせ処理を示す。
【図４Ｂ】  本発明を理解する上で役に立つ継ぎ合わせ処理を示す。
【図４Ｃ】  本発明を理解する上で役に立つ継ぎ合わせ処理を示す。
【図５】  本発明を理解する上で役に立つイメージフレームの表示順と伝送順の表を示す。
【図６】  本発明を理解する上で役に立つイメージフレームの表示順と伝送順の表を示す。
【図７】  遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャートを示す。
【図８】  フロムストリーム内のどの情報フレームが遷移ストリーム内に含まれるべきであるかを決定する方法のフローチャートを示す。
【図９】  ツーストリーム内のどの情報フレームが遷移ストリーム内に含まれるべきであるかを決定する方法のフローチャートを示す。
【図１０】  情報ストリームにインデックスを付けるための方法のフローチャートを示す。
【図１１】  図３の放送サーバで使用するのに適したメタファイルの表を示す。
【図１２】  画素領域効果を含む遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャートを示す。
【図１３】  本発明の一実施形態にかかる遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャートを示す。
【符号の説明】
２１０  第１のストリーム
２２０  第２のストリーム
２３０  遷移ストリーム
２４０  継ぎ合わされたストリーム
【図１】
0004503858.tif 000002
【図２Ａ】
0004503858.tif 000003
【図２Ｂ】
0004503858.tif 000004
【図３】
0004503858.tif 000005
【図４Ａ】
0004503858.tif 000006
【図４Ｂ】
0004503858.tif 000007
【図４Ｃ】
0004503858.tif 000008
【図５】
0004503858.tif 000009
【図６】
0004503858.tif 000010
【図７】
0004503858.tif 000011
【図８】
0004503858.tif 000012
【図９】
0004503858.tif 000013
【図１０】
0004503858.tif 000014
【図１１】
0004503858.tif 000015
【図１２】
0004503858.tif 000016
【図１３】
0004503858.tif 000017