(57)【要約】【課題】  セグメントブラウザーを使用するトランスコーダでＭＰＥＧストリームを他の形態に変換して保存する時に発生するセグメンテーションメタデータとＡＶコンテンツとの同期化問題を解決するトランスコーディングシステム及び方法を提供する。【解決手段】  トランスコーディング以後にもセグメンテーションメタデータとの同期化が保持されるようにタイミングパラメータを調節するタイミング同期化部と、最終ユーザの使用環境に適するようにトランスコーディング条件を決定するトランスコーディング条件決定部と、決定された条件によって復元されたビデオシーケンスを再び圧縮し、調節されたタイミングパラメータのうちプレゼンテーションタイムスタンプを圧縮したビデオシーケンスに含めて記録するエンコーダよりなるトランスコーディングシステム。本発明によれば、セグメンテーションメタデータとＡＶコンテンツとの同期化問題を効率よく解決しうる。【選択図】  図１
2005229593.tif 000002
【特許請求の範囲】
【請求項１】
入力された伝送ストリームからタイミングパラメータ及び所定の方式で圧縮された形態のビデオデータを抽出する逆多重化器と、
トランスコーディング以後にもセグメンテーションメタデータとの同期化が保持されるように前記タイミングパラメータを調節するタイミング同期化部と、
前記抽出されたビデオデータを受信し、これを所定の方式で圧縮解除してビデオシーケンスを復元するデコーダと、
最終ユーザの使用環境に適するようにトランスコーディング条件を決定するトランスコーディング条件決定部と、
前記決定された条件によって前記復元されたビデオシーケンスを再び圧縮し、前記調節されたタイミングパラメータのうちプレゼンテーションタイムスタンプ（ＰＴＳ）を前記圧縮したビデオシーケンスに含めて記録するエンコーダと、
前記タイムスタンプが記録されたビデオシーケンス及びセグメンテーションメタデータを多重化して出力伝送ストリームを生成し、前記伝送ストリームヘッダに前記調節されたタイミングパラメータのうちプログラムクロックレファレンス（ＰＣＲ）を記録する多重化器と、を含むトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項２】
前記タイミング同期化部は、
トランスコーダでの総遅延時間及び総遅延カウントを算出する総遅延算出部と、
前記逆多重化器から入力されたプログラムクロックレファレンス（ＰＣＲ１）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ１）を出力するＰＬＬ部と、
前記ＰＬＬ部から出力されたシステム時間カウント（ＳＴＣ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＳＴＣ１＊）をＰＣＲ生成部に供給する第１加算器と、
前記第１加算器から供給されたシステム時間カウント（ＳＴＣ１＊）を伝達され、所定の周波数クロックによってプログラムクロックレファレンス（ＰＣＲ２）を生成して前記多重化器に伝達するＰＣＲ生成部と、
前記逆多重化器から出力されたプレゼンテーションタイムスタンプ（ＰＴＳ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＰＴＳ２）を前記トランスコーディング条件決定部に供給する第２加算器と、を含む請求項１に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項３】
前記タイミング同期化部は、
トランスコーダでの総遅延時間及び総遅延カウントを算出する総遅延算出部と、
前記逆多重化器から入力されたプログラムクロックレファレンス（ＰＣＲ１）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ１）を出力する第１ＰＬＬ部と、
前記第１ＰＬＬ部から出力されたシステム時間カウント（ＳＴＣ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＳＴＣ１＊）をＰＣＲ生成部に供給する第１加算器と、
前記第１加算器から入力されたシステムクロックカウント（ＳＴＣ１＊）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ２）を出力する第２ＰＬＬ部と、
前記第２ＰＬＬ部から供給されたシステム時間カウント（ＳＴＣ２）を伝達されて所定の周波数クロックによってプログラムクロックレファレンス（ＰＣＲ２）を生成して前記多重化器に伝達するＰＣＲ生成部と、
前記逆多重化器から出力されたプレゼンテーションタイムスタンプ（ＰＴＳ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＰＴＳ２）を前記トランスコーディング条件決定部に供給する第２加算器と、を含む請求項１に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項４】
前記所定の周波数クロックは、１０［Ｈｚ］クロックであることを特徴とする請求項２または３に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項５】
前記トランスコーディング条件決定部は、前記第２加算器からプレゼンテーションタイムスタンプ（ＰＴＳ２）を入力され、最終ユーザの使用環境に適するようにトランスコーディング条件を決定し、前記決定された条件によって変更されたプレゼンテーションタイムスタンプ（ＰＴＳ２＊）をレジスターを通じて前記エンコーダに伝達し、前記決定された条件によって変更された目的フレーム率を前記エンコーダに伝達することを特徴とする請求項２または３に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項６】
前記トランスコーディング条件決定部でのフレーム率の変更を決定した場合、変更されたプレゼンテーションタイムスタンプ（ＰＴＳ２＊）は、
「ＰＴＳ２＊（ｉ）＝ＰＴＳ＿ｓｔａｒｔ＋ΔＰＴＳ×（ｆ１／ｆ２）×ｉ」
と示される式によって決定されるが、
前記ｆ１は変更前のフレーム率を、ｆ２は変更後のフレーム率を、ＰＴＳ＿ｓｔａｒｔはフレーム変更の開始時点でのＰＴＳ２値を、ΔＰＴＳはＰＴＳ２のフレーム間のクロックカウントを、そしてｉはプレゼンテーションするフレーム順序に係るフレーム番号を示すことを特徴とする請求項５に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項７】
前記フレーム率の変更を決定した場合に、前記フレーム率によって一部のフレームを生成せねばならない場合には、前記エンコーダでフレーム補間を用いて前記一部のフレームを生成することを特徴とする請求項６に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項８】
前記タイミング同期化部は、
トランスコーダでの総遅延時間及び総遅延カウントを算出する総遅延算出部と、
前記逆多重化器から入力されたプログラムクロックレファレンス（ＰＣＲ１）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ１）を出力するＰＬＬ部と、
前記ＰＬＬ部から出力されたシステム時間カウント（ＳＴＣ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＳＴＣ２）をレジスター及びＰＣＲ生成部に供給する加算器と、
前記加算器から供給されたシステム時間カウント（ＳＴＣ２）を伝達されて所定の周波数クロックによってプログラムクロックレファレンス（ＰＣＲ２）を生成して前記多重化器に伝達するＰＣＲ生成部と、
前記加算器からシステム時間クロック（ＳＴＣ２）を供給され、前記エンコーダよりフレーム準備完了ロード信号を伝達される時のシステム時間クロック（ＳＴＣ２）値を最終プレゼンテーションタイムスタンプ（ＰＴＳ２＊）として前記エンコーダに供給するレジスターと、を含む請求項６に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項９】
前記タイミング同期化部は、
トランスコーダでの総遅延時間及び総遅延カウントを算出する総遅延算出部と、
前記逆多重化器から入力されたプログラムクロックレファレンス（ＰＣＲ１）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ１）を出力する第１ＰＬＬ部と、
前記第１ＰＬＬ部から出力されたシステム時間カウント（ＳＴＣ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＳＴＣ１＊）を第２ＰＬＬ部に供給する加算器と、
前記加算器から入力されたシステムクロックカウント（ＳＴＣ１＊）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ２）を出力する第２ＰＬＬ部と、
前記第２ＰＬＬ部から出力されたシステム時間カウント（ＳＴＣ２）を伝達されて所定の周波数クロックによってプログラムクロックレファレンス（ＰＣＲ２）を生成して前記多重化器に伝達するＰＣＲ生成部と、
前記加算器からシステム時間クロック（ＳＴＣ２）を供給され、前記エンコーダからフレーム準備完了ロード信号を伝達される時のシステム時間クロック（ＳＴＣ２）値を最終プレゼンテーションタイムスタンプ（ＰＴＳ２＊）として前記エンコーダに提供するレジスターと、を含む請求項１に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項１０】
前記トランスコーディング条件決定部は、最終ユーザの使用環境に適するようにトランスコーディング条件を決定して、該決定された条件によって変更された目的フレーム率をエンコーダに伝達することを特徴とする請求項８または９に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項１１】
前記目的フレーム率が元のフレーム率から変更された場合に、前記フレーム率によって一部のフレームを生成せねばならない場合には、前記エンコーダでフレーム補間を用いて前記一部のフレームを生成することを特徴とする請求項１０に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項１２】
前記タイミング同期化部は、
トランスコーダでの総遅延時間及び総遅延カウントを算出する総遅延算出部と、
前記逆多重化器から伝達されたプログラムクロックレファレンス（ＰＣＲ１）を前記総遅延算出部で算出した前記総遅延時間の間に保存しておいて、前記総遅延時間が経過すればＰＣＲ生成部にＰＣＲ値を提供するＰＣＲバッファと、
前記ＰＣＲバッファから供給されたプログラムクロックレファレンス（ＰＣＲ２）を伝達されて所定の周波数クロックによってプログラムクロックレファレンス（ＰＣＲ２）を生成して前記多重化器に伝達するＰＣＲ生成部と、
前記逆多重化器から伝達されたプレゼンテーションタイムスタンプ（ＰＴＳ１）を総遅延算出部で算出した前記総遅延時間の間に保存しておいて、前記総遅延時間が経過すれば、前記トランスコーディング条件決定部にプレゼンテーションタイムスタンプ（ＰＴＳ２）を提供するＰＴＳバッファと、を含む請求項１に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項１３】
前記トランスコーディング条件決定部でのフレーム率の変更を決定した場合には、変更されたプレゼンテーションタイムスタンプ（ＰＴＳ２＊）は、
「ＰＴＳ２＊（ｉ）＝ＰＴＳ＿ｓｔａｒｔ＋ΔＰＴＳ×（ｆ１／ｆ２）×ｉ」
と示される式によって決定されるが、
前記ｆ１は変更前のフレーム率を、ｆ２は変更後のフレーム率を、ＰＴＳ＿ｓｔａｒｔはフレーム変更の開始時点でのＰＴＳ２値を、ΔＰＴＳはＰＴＳ２のフレーム間のクロックカウントを、そしてｉはプレゼンテーションするフレーム順序によるフレーム番号を示すことを特徴とする請求項１２に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項１４】
前記総遅延カウントは、Ｍ／ｆ×Ｎで計算されるが、前記ＭはＰＴＳを算出するシステムクロック周波数であり、ｆは元のフレーム率であり、Ｎは総遅延時間の間にトランスコーディングされるフレームの数であることを特徴とする請求項２、３、８または９のうちの何れか１項に記載のトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディングシステム。
【請求項１５】
入力された伝送ストリームからタイミングパラメータ及び所定の方式で圧縮された形態のビデオデータを抽出する段階と、
トランスコーディング以後にもセグメンテーションメタデータとの同期化が保持されるように前記タイミングパラメータを調節する段階と、
前記抽出されたビデオデータを受信し、これを所定の方式で圧縮解除してビデオシーケンスを復元する段階と、
最終ユーザの使用環境に適するようにトランスコーディング条件を決定する段階と、
前記決定された条件によって前記復元されたビデオシーケンスを再び圧縮し、前記調節されたタイミングパラメータのうちプレゼンテーションタイムスタンプ（ＰＴＳ）を前記圧縮したビデオシーケンスに含めて記録する段階と、
前記タイムスタンプが記録されたビデオシーケンス及びセグメンテーションメタデータを多重化して出力伝送ストリームを生成し、前記伝送ストリームヘッダに前記調節されたタイミングパラメータのうちプログラムクロックレファレンス（ＰＣＲ）を記録する段階と、を含むトランスコーディング前後にタイミングパラメータを一定に保持させるトランスコーディング方法。
【請求項１６】
請求項１５に記載の方法をコンピュータ可読プログラムで記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ圧縮に係り、トランスコーダでＭＰＥＧストリームを他の形態（他のビット率、他のフレーム率、他のフレームサイズ、他の圧縮標準形式）に変換して保存または伝送し、このストリームを、セグメントブラウザーで再生する時に発生可能なセグメンテーションメタデータとＡＶコンテンツとの同期化問題を解決するためのトランスコーディングシステム及びその方法に関する。
【背景技術】
【０００２】
トランスコーディングとは、既存に圧縮されたビデオ信号を他の形態の信号、すなわち、他のビット率、他のフレーム率、他のフレームサイズ、または他の圧縮標準形式に変換する機能を示し、トランスコーダとは、このような機能を有する装置を示す。
【０００３】
多様なマルチメディアの応用が開発され、通信環境の発達につれて、他の通信ネットワークまたはプロトコル間に相互通信交換の必要性が増大している。例えば、異種ネットワーク間にビデオビットストリームを伝送する場合、ビデオソースからユーザに到達するまでに、異なる特性と収容能力とを有する経路が設定される。この場合、圧縮されたビデオが必要とするバンド幅は、ソースのエンコーディング時にネットワーク連結で最も厳しい（低い）ネットワークの伝送率に適するように調整される。
【０００４】
リアルタイムビデオの場合、これは、エンコーダのコーディングパラメータの変更によって調整される。しかし、この場合、最悪のリンクに適すべくエンコーディングビット率を下げねばならないために、画質においては犠牲を甘受せねばならない。すなわち、高画質の映像を収容しうるシステムでは、画質の低下が発生しうる。このように、このようなチャンネル特性と収容能力との問題によって、最近の通信環境のように多様なユーザ機器を使用する状況では色々な問題があり得る。
【０００５】
最近、ユーザは、ビデオ通信やインターネット接続のために携帯電話やＰＤＡのような小さな携帯用機器の使用を好むが、ほとんどの携帯用機器は制限された計算能力とディスプレイ能力を有している。したがって、このような機器は、高解像度のビデオデコーディングとディスプレイとには適していない。この場合、既に圧縮された高解像度のビデオは携帯用機器でのディスプレイのために低解像度に変換しなければならない。
【０００６】
Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４のような多様なビデオ圧縮標準の増加につれて異なる標準間に相互変換させようとする要求も増加している。また、ビデオソースを同じビデオストリームに含めて異なる収容能力を有する複数のクライアントチャンネルを介して伝送せねばならない場合、最終のビデオストリームはそれぞれのチャンネルによって特定のビット率に変換されねばならない。このような問題は、複数のビデオストリームを所望のビット率に変換して制限されたチャンネルに伝送せねばならない多地点ビデオ画像会議のような場合に頻繁に発生している。
【０００７】
ビデオトランスコーディングは、このような問題点を解決するための技術である。ビデオトランスコーディングは、異種ネットワークとユーザ機器間に圧縮されたビデオストリームを他の形態に変換して伝送するための技術より構成されている。ビデオトランスコーダは、ソースエンコーダと同様に、画質、フレーム率、解像度のような複数のパラメータを調整することによって、状況に合わせて映像データを変更しうる。
【０００８】
このようなトランスコーディングを行うためには、トランスコーディング以後のタイミングパラメータが適切になるように修正する作業が必須である。以下では、トランスコーディング時のタイミング調節作業に関する従来の技術を説明する。
【０００９】
ＭＰＥＧデコーダは、エンコーダ側の地域システム時間を含んでいるタイムスタンプを用いて自身の地域システム時間を調節する。原本入力ソースでは、一定比率のデータがエンコーダに入力される。エンコーダの出力では可変ビットを有するデータが出力され、これがエンコーダバッファを経つつ再び一定ビット率のストリームデータが出力される。出力されたストリームデータは、ＲＦ伝送チャンネルを通じて一定ビット率でデコーダバッファに入力され、可変ビット率でデコーダに入力されて一定のビット率のデータを出力する。このような可変または固定ビット率に変換されるデータを時間に合わせて動作させるための作用を行うのがタイミング同期化作業である。
【００１０】
従来の技術によるトランスコーダは、デコーダブロックと伝送端、エンコーダ端とをゼロ遅延と仮定して一定した遅延で動作する。デコーダは、エンコーダのタイムスタンプにより同期化して動作するが、詳細な同期化方法は次の通りである。エンコーダは、Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ（以下、ＳＴＣと称する）というメインオシレータとカウンターとを有している。ＳＴＣは、特定プログラムに属しており、ビデオ及びオーディオエンコーダのためのプログラムの主クロックである。
【００１１】
ＭＰＥＧ標準でタイムスタンプを使用しない場合もあるが、このような場合には他の構成要素との同期化を保証できない。エンコーダ入力でビデオフレームが発生するか、オーディオブロックが発生すれば、ＳＴＣをサンプリングさせる。サンプリング値とエンコーダバッファとデコーダバッファとの遅延だけの定数値を加算してＰｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ（以下、ＰＴＳと称する）を生成し、ピクチャーブロックまたはオーディオブロックの開始部分に挿入する。
【００１２】
フレーム再配置が発生する場合には、データがデコーダでデコーディングされねばならない時間を示すＤｅｃｏｄｅ  Ｔｉｍｅ  Ｓｔａｍｐ（以下、ＤＴＳと称する）を挿入する。Ｂピクチャーのフレーム再配置の場合を除いては、ＤＴＳ及びＰＴＳは同一である。ＤＴＳは、このようなフレーム再配置の場合にのみ追加的に必要である。ＤＴＳが使われる時には、ＰＴＳも常に存在し、これらは７００［ｍｓｅｃ］以内の間隔で挿入される。
【００１３】
ＡＴＳＣでは、それぞれのピクチャーの開始部分にＰＴＳとＤＴＳとを挿入するように定義されている。また、エンコーダバッファの出力は、伝送パケットレベルではプログラムクロックレファレンス（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ；以下、ＰＣＲと称する）というタイムスタンプを有するか、ＰＥＳレベルではＳＣＲ（Ｓｙｓｔｅｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）値を有する。そして、ＰＣＲタイムスタンプは、１００［ｍｓｅｃ］以内の間隔で発生し、ＳＣＲタイムスタンプは７００［ｍｓｅｃ］以内の間隔を有する。このようなＰＣＲまたはＳＣＲは、デコーダのＳＴＣとエンコーダのＳＴＣとを同期化するために使われる。
【００１４】
プログラムストリーム（ｐｒｏｇｒａｍ  ｓｔｒｅａｍ；以下、ＰＳと称する）でのクロックレファレンスはＳＣＲであり、伝送ストリーム（ｔｒａｎｓｐｏｒｔ  ｓｔｒｅａｍ；以下、ＴＳと称する）でのクロックレファレンスはＰＣＲである。あらゆるビデオストリーム及びオーディオストリームは、デコーダの同期化のために共通のＳＴＣに該当するそれぞれのタイムスタンプを有する。
【００１５】
セグメントブラウザーは、ＴＶ−Ａｎｙｔｉｍｅフォーラムで定義しているセグメンテーションメタデータを用いて放送ストリームを非線形的に再生できる機能を提供する。このようなＴＶ−Ａｎｙｔｉｍｅフォーラムは、あらゆるユーザが個人用保存装置に基づいて自分の所望の方法で所望の時間に多様な形（既存の放送サービス及びＯｎ−ｌｉｎｅ対話形サービスなど）のプログラムを視聴可能にすることを目的とする民間標準機構である。そして、究極的にはリアルタイム放送とインターネットとが結合された形の統合サービス環境での関連標準開発を指向している。
【００１６】
一方、セグメントブラウザーで使用するセグメンテーションメタデータは、コンテンツに対するハイライト、目次、ブックマークなどの付加的な情報を提供する。例えば、サッカーゲームのうち得点場面だけをハイライトで纏めて再生でき、ニュースのうち興味のある特定分野のニュースだけを再生して視聴できる機能を提供する。
【００１７】
放送ストリームは、コンテンツ提供者により提供されて放送局を通じて伝送され、セグメンテーションメタデータはメタデータ提供者により生成されて放送局、またはインターネットを通じてユーザに伝送される。すなわち、両情報の提供者が相異なるので、これを供給されるユーザに両情報の時点を一致させる同期化の過程が必須である。
【００１８】
特に、ユーザ環境の変化によって多様なプラットホームに対する要求が増大している実情がある。最近、放送ストリーム受信装置とデジタル保存媒体とが結合された形のＰｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｒｅｃｏｒｄｅｒ（ＰＤＲ）が登場し、このような装置では放送ストリームを再び他の形態で保存する必要性が増大している。これにより、サービス供給者は放送コンテンツをよく変換された形態で供給しなければならない必要性が増大している。このような役割を行うのが、トランスコーダである。トランスコーダは圧縮されたＭＰＥＧストリームをデコーディングした後、再び他のフォーマットで圧縮する役割を行う。
【００１９】
ＭＰＥＧで圧縮された放送ストリームは、保存媒体に伝送ストリームの形態で保存されるか、Ｐｒｏｇｒａｍ  Ｓｔｒｅａｍの形態で保存される。ストリーム内には、エンコーダとデコーダとの同期化のために挿入されたＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）値またはＳＣＲ（Ｓｙｓｔｅｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）、ＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）、ＡＶコンテンツ間の同期化のために挿入されたＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、ＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）情報がある。圧縮ストリームは、デコーダを通じて復元再生され、このような時間情報はエンコーダとデコーダとの同期化及びＡＶの同期化のために使われてから消える。
【００２０】
それだけでなく、セグメンテーションメタデータもビデオストリームまたはオーディオストリームと同期化できるようにＰＴＳ（ないしＤＴＳ）情報を各セグメント別に含んでいる。これを通じて最終デコーダ端で所望のセグメントを検索し、選択すれば、該当メタデータをユーザに出力すると共に、該当位置のビデオまたはオーディオをディスプレイできるようになる。
【００２１】
しかし、従来は、トランスコーダでのデコーディング及び再エンコーディング過程を経つつ、ＰＴＳ（またはＤＴＳ）を修正する場合や、複数の伝送ストリームを１つの伝送ストリームに多重化する場合に単純にビデオ及びオーディオの同期化を考慮してトランスコーダで発生する遅延時間だけＰＴＳ（またはＤＴＳ）を増加させて再エンコーディングする方法を使用する場合が多かった（例えば、特許文献１参照）。しかし、前述したようにＡ／Ｖデータ以外にメタデータを使用する場合、特にＡ／Ｖデータは放送局で生産し、メタデータはコンテンツ提供者が放送局と連係して生産し、これを最終ユーザに提供する場合には任意にＡ／ＶデータのＰＴＳ（またはＤＴＳ）を変更させると、最終ユーザがメタデータを正しく利用できなくなる。
【００２２】
したがって、ビデオフレームまたはオーディオブロックのＰＴＳないしＤＴＳを変更させずに、ストリームの同期を合わせうる方法を講ずる必要がある。
【特許文献１】特開２００３−２３００９２号公報
【発明の開示】
【発明が解決しようとする課題】
【００２３】
本発明は前記必要性を考慮して創案されたものであって、多様なプラットホーム上でマルチメディアサービスのために必須な変換圧縮装置のトランスコーダで、セグメントブラウザーとの連動のために時間同期化をするための方法を提供することを目的とする。
【００２４】
また、本発明の他の目的は、トランスコーディングの場合にも、セグメントブラウザーで正確なフレーム単位のアクセスのために時間情報を保存できる方法を提供することである。
【課題を解決するための手段】
【００２５】
前記目的を達成するために本発明に係るトランスコーディングシステムは、入力された伝送ストリームからタイミングパラメータ及び所定の方式で圧縮された形態のビデオデータを抽出する逆多重化器と、トランスコーディング以後にもセグメンテーションメタデータとの同期化が保持されるように前記タイミングパラメータを調節するタイミング同期化部と、前記抽出されたビデオデータを受信し、これを所定の方式で圧縮解除してビデオシーケンスを復元するデコーダと、最終ユーザの使用環境に適するようにトランスコーディング条件を決定するトランスコーディング条件決定部と、前記決定された条件によって前記復元されたビデオシーケンスを再び圧縮し、前記調節されたタイミングパラメータのうちプレゼンテーションタイムスタンプ（ＰＴＳ）を前記圧縮したビデオシーケンスに含めて記録するエンコーダと、前記タイムスタンプが記録されたビデオシーケンス及びセグメンテーションメタデータを多重化して出力伝送ストリームを生成し、前記伝送ストリームヘッダに前記調節されたタイミングパラメータのうちプログラムクロックレファレンス（ＰＣＲ）を記録する多重化器と、を含む。
【００２６】
前記タイミング同期化部は、トランスコーダでの総遅延時間及び総遅延カウントを算出する総遅延算出部と、前記逆多重化器から入力されたプログラムクロックレファレンス（ＰＣＲ１）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ１）を出力するＰＬＬ部と、前記ＰＬＬ部から出力されたシステム時間カウント（ＳＴＣ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＳＴＣ１＊）をＰＣＲ生成部に供給する第１加算器と、前記第１加算器から供給されたシステム時間カウント（ＳＴＣ１＊）を伝達され、所定の周波数クロックによってプログラムクロックレファレンス（ＰＣＲ２）を生成して前記多重化器に伝達するＰＣＲ生成部と、前記逆多重化器から出力されたプレゼンテーションタイムスタンプ（ＰＴＳ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＰＴＳ２）を前記トランスコーディング条件決定部に供給する第２加算器と、を含むことが望ましい。
【００２７】
前記タイミング同期化部は、トランスコーダでの総遅延時間及び総遅延カウントを算出する総遅延算出部と、前記逆多重化器から入力されたプログラムクロックレファレンス（ＰＣＲ１）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ１）を出力する第１ＰＬＬ部と、前記第１ＰＬＬ部から出力されたシステム時間カウント（ＳＴＣ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＳＴＣ１＊）をＰＣＲ生成部に供給する第１加算器と、前記第１加算器から入力されたシステムクロックカウント（ＳＴＣ１＊）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ２）を出力する第２ＰＬＬ部と、前記第２ＰＬＬ部から供給されたシステム時間カウント（ＳＴＣ２）を伝達されて所定の周波数クロックによってプログラムクロックレファレンス（ＰＣＲ２）を生成して前記多重化器に伝達するＰＣＲ生成部と、前記逆多重化器から出力されたプレゼンテーションタイムスタンプ（ＰＴＳ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＰＴＳ２）を前記トランスコーディング条件決定部に供給する第２加算器と、を含むことが望ましい。
【００２８】
前記所定の周波数クロックは、１０［Ｈｚ］クロックであることが望ましい。
【００２９】
前記トランスコーディング条件決定部は、前記第２加算器からプレゼンテーションタイムスタンプ（ＰＴＳ２）を入力され、最終ユーザの使用環境に適するようにトランスコーディング条件を決定し、前記決定された条件によって変更されたプレゼンテーションタイムスタンプ（ＰＴＳ２＊）をレジスターを通じて前記エンコーダに伝達し、前記決定された条件によって変更された目的フレーム率を前記エンコーダに伝達することが望ましい。
【００３０】
前記トランスコーディング条件決定部でのフレーム率の変更を決定した場合、変更されたプレゼンテーションタイムスタンプ（ＰＴＳ２＊）は、「ＰＴＳ２＊（ｉ）＝ＰＴＳ＿ｓｔａｒｔ＋ΔＰＴＳ×（ｆ１／ｆ２）×ｉ」と示される式によって決定されるが、前記ｆ１は変更前のフレーム率を、ｆ２は変更後のフレーム率を、ＰＴＳ＿ｓｔａｒｔはフレーム変更の開始時点でのＰＴＳ２値を、ΔＰＴＳはＰＴＳ２のフレーム間のクロックカウントを、そしてｉはプレゼンテーションするフレーム順序に係るフレーム番号を示すことが望ましい。
【００３１】
前記フレーム率の変更を決定した場合に、前記フレーム率によって一部のフレームを生成せねばならない場合には、前記エンコーダでフレーム補間を用いて前記一部のフレームを生成することが望ましい。
【００３２】
前記タイミング同期化部は、トランスコーダでの総遅延時間及び総遅延カウントを算出する総遅延算出部と、前記逆多重化器から入力されたプログラムクロックレファレンス（ＰＣＲ１）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ１）を出力するＰＬＬ部と、前記ＰＬＬ部から出力されたシステム時間カウント（ＳＴＣ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＳＴＣ２）をレジスター及びＰＣＲ生成部に供給する加算器と、前記加算器から供給されたシステム時間カウント（ＳＴＣ２）を伝達されて所定の周波数クロックによってプログラムクロックレファレンス（ＰＣＲ２）を生成して前記多重化器に伝達するＰＣＲ生成部と、前記加算器からシステム時間クロック（ＳＴＣ２）を供給され、前記エンコーダよりフレーム準備完了ロード信号を伝達される時のシステム時間クロック（ＳＴＣ２）値を最終プレゼンテーションタイムスタンプ（ＰＴＳ２＊）として前記エンコーダに供給するレジスターと、を含むことが望ましい。
【００３３】
前記タイミング同期化部は、トランスコーダでの総遅延時間及び総遅延カウントを算出する総遅延算出部と、前記逆多重化器から入力されたプログラムクロックレファレンス（ＰＣＲ１）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ１）を出力する第１ＰＬＬ部と、前記第１ＰＬＬ部から出力されたシステム時間カウント（ＳＴＣ１）及び前記総遅延算出部で算出された総遅延カウントを符号反転し、これを合わせた結果（ＳＴＣ１＊）を第２ＰＬＬ部に供給する加算器と、前記加算器から入力されたシステムクロックカウント（ＳＴＣ１＊）を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウント（ＳＴＣ２）を出力する第２ＰＬＬ部と、前記第２ＰＬＬ部から出力されたシステム時間カウント（ＳＴＣ２）を伝達されて所定の周波数クロックによってプログラムクロックレファレンス（ＰＣＲ２）を生成して前記多重化器に伝達するＰＣＲ生成部と、前記加算器からシステム時間クロック（ＳＴＣ２）を供給され、前記エンコーダからフレーム準備完了ロード信号を伝達される時のシステム時間クロック（ＳＴＣ２）値を最終プレゼンテーションタイムスタンプ（ＰＴＳ２＊）として前記エンコーダに提供するレジスターと、を含むことが望ましい。
【００３４】
前記タイミング同期化部は、トランスコーダでの総遅延時間及び総遅延カウントを算出する総遅延算出部と、前記逆多重化器から伝達されたプログラムクロックレファレンス（ＰＣＲ１）を前記総遅延算出部で算出した前記総遅延時間の間に保存しておいて、前記総遅延時間が経過すればＰＣＲ生成部にＰＣＲ値を提供するＰＣＲバッファと、前記ＰＣＲバッファから供給されたプログラムクロックレファレンス（ＰＣＲ２）を伝達されて所定の周波数クロックによってプログラムクロックレファレンス（ＰＣＲ２）を生成して前記多重化器に伝達するＰＣＲ生成部と、前記逆多重化器から伝達されたプレゼンテーションタイムスタンプ（ＰＴＳ１）を総遅延算出部で算出した前記総遅延時間の間に保存しておいて、前記総遅延時間が経過すれば、前記トランスコーディング条件決定部にプレゼンテーションタイムスタンプ（ＰＴＳ２）を提供するＰＴＳバッファと、を含むことが望ましい。
【００３５】
前記総遅延カウントは、Ｍ／ｆ×Ｎで計算されるが、前記ＭはＰＴＳを算出するシステムクロック周波数であり、ｆは元のフレーム率であり、Ｎは総遅延時間の間にトランスコーディングされるフレームの数であることが望ましい。
【００３６】
前記目的を達成するために本発明に係るトランスコーディング方法は、入力された伝送ストリームからタイミングパラメータ及び所定の方式で圧縮された形態のビデオデータを抽出する段階と、トランスコーディング以後にもセグメンテーションメタデータとの同期化が保持されるように前記タイミングパラメータを調節する段階と、前記抽出されたビデオデータを受信し、これを所定の方式で圧縮解除してビデオシーケンスを復元する段階と、最終ユーザの使用環境に適するようにトランスコーディング条件を決定する段階と、前記決定された条件によって前記復元されたビデオシーケンスを再び圧縮し、前記調節されたタイミングパラメータのうちプレゼンテーションタイムスタンプ（ＰＴＳ）を前記圧縮したビデオシーケンスに含めて記録する段階と、前記タイムスタンプが記録されたビデオシーケンス及びセグメンテーションメタデータを多重化して出力伝送ストリームを生成し、前記伝送ストリームヘッダに前記調節されたタイミングパラメータのうちプログラムクロックレファレンス（ＰＣＲ）を記録する段階と、を含むことが望ましい。
【発明の効果】
【００３７】
本発明によれば、セグメントブラウザーを使用する装置でＭＰＥＧストリームを他の形態（他のビット率、他のフレーム率、他のフレームサイズ、他の圧縮標準形式）に変換して保存する時に発生しうるセグメンテーションメタデータとＡＶコンテンツとの同期化問題を効率よく解決しうる。
【発明を実施するための最良の形態】
【００３８】
以下、添付した図面に基づいて本発明を詳細に説明する。本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。
【００３９】
図１は、本発明の全体構成を概略的に示すブロック図である。本発明に係るトランスコーダ１００は、タイミング同期化部９０、１９０、２９０、３９０または４９０（以下、“タイミング同期化部９０など”と称する）、デコーダ６０、及びエンコーダ７０を含み、本発明に係るトランスコーディングシステム２００は、前記トランスコーダ１００に逆多重化器６１及び多重化器７３をさらに含みうる。
【００４０】
逆多重化器６１は、入力伝送ストリーム（以下、ＴＳと称する）またはプログラムストリーム（以下、ＰＳと称する）を受信し、前記ＴＳからタイミングパラメータを抽出してタイミング同期化部９０に伝達し、前記ＴＳから所定の方式で圧縮された形態のビデオデータを抽出してデコーダ６０に伝達する。ここで、タイミングパラメータとは、前述したＰＴＳ、ＤＴＳ、及びＰＣＲを通称するものとする。
【００４１】
タイミング同期化部９０は、トランスコーディング以後にもセグメンテーションメタデータとの同期化が保持されるように前記タイミングパラメータを一定に保持し、それをエンコーダ７０及び多重化器７３に伝達する。
【００４２】
デコーダ６０は、逆多重化器６１から圧縮されたビデオデータを受信し、これを所定の圧縮解除方式を用いてビデオシーケンスを復元する。そして、復元されたビデオシーケンスをエンコーダ７０に提供する。
【００４３】
エンコーダ７０は、トランスコーディング条件決定部９５で決定した条件によって前記提供されたビデオシーケンスを再び圧縮し、タイミング同期化部９０などから伝達されたタイミングパラメータを前記圧縮されたビデオシーケンスに含めて記録し、それを多重化器７３に伝達する。
【００４４】
トランスコーディング条件決定部９５は、最終ユーザの使用環境に適するようにトランスコーディング条件を決定し、該決定された条件をエンコーダ７０及びタイミング同期化部９０などに提供する。前記トランスコーディング条件とは、トランスコーダでの所望する画質、解像度、ビット率、フレーム率などを意味する。
【００４５】
多重化器７３は、前記伝達されたビデオシーケンス及びセグメンテーションメタデータを多重化して出力伝送ストリームまたはプログラムストリームを生成し、前記伝送ストリームヘッダに前記タイミング同期化部から伝達されたタイミングパラメータを記録する。前記セグメンテーションメタデータは、逆多重化器６１から抽出されたものでもあり得ると共に、他のメタデータ提供者によって別途に受信したものでもあり得る。
【００４６】
本発明の全体として逆多重化器６１に入力されるストリームは、ＴＳ、またはＰＳであり、多重化器７３から出力されるストリームもＴＳ、またはＰＳであり得ることは周知のようである。すなわち、ＴＳ入力にＴＳ出力、ＴＳ入力にＰＳ出力、ＰＳ入力にＴＳ出力、またはＰＳ入力にＰＳ出力が何れも可能である。
【００４７】
しかし、以下の実施例の説明では説明の便宜上ＴＳを中心に記述する。したがって、ＰＣＲを基準時間レファレンスとして説明するが、ＰＳの場合にはＳＣＲで表示されねばならない。ＰＣＲが基準レファレンスとして入力されても、ＳＣＲが基準レファレンスとして出力でき、その反対の場合も可能であることは周知のようである。
【００４８】
図２Ａ及び図２Ｂは、ＭＰＥＧ−２の場合に各々ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケット構造及び伝送ストリームＴＳの構造を示した図面である。図２Ａを参照すれば、ＭＰＥＧ−２エンコーダによって圧縮されたＭＰＥＧ−２ビデオストリームは、所定サイズを有するＰＥＳパケットにパケット化される。ＰＥＳパケットはＰＥＳヘッダとＰＥＳ  ｐａｃｋｅ  ｔｄａｔａフィールドとで構成されるが、ＰＥＳヘッダには、ｏｐｔｉｏｎａｌ  ＰＥＳ  ＨＥＡＤＥＲ  ５００が含まれている。
【００４９】
Ｏｐｔｉｏｎａｌ  ＰＥＳ  ＨＥＡＤＥＲ５００には、ｏｐｔｉｏｎａｌフィールド５１０が含まれ、ｏｐｔｉｏｎａｌフィールド５１０にＰＴＳフィールド５１１、及びＤＴＳフィールド５１２が含まれる。ＰＴＳフィールド５１１には、ＰＴＳ情報が、ＤＴＳフィールド５１２にはＤＴＳ情報が記録される。
【００５０】
図２Ｂを参照すれば、多重化によって生成された伝送ストリームは１８８バイトの長さ単位よりなっており、ヘッダ６１０とペイロード６２０とで構成されている。ペイロード６２０にはＰＥＳパケットや、ＰＡＴ（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）などが記録される。
【００５１】
ヘッダ６１０には、ｓｙｎｃ  ｂｙｔｅを始めとして複数のフィールドを含むが、この中ではａｄａｐｔａｔｉｏｎフィールド６１１が含まれている。Ａｄａｐｔａｔｉｏｎフィールド６１１にはｏｐｔｉｏｎａｌフィールド６１２が含まれ、ｏｐｔｉｏｎａｌフィールド６１２にはＰＣＲフィールド６１３が含まれている。ＰＣＲフィールド６１３には時刻基準情報であるＰＣＲ情報が記録される。
【００５２】
図３は、本発明で目的とするトランスコーディング以後にもＰＴＳ及びＰＣＲを同一に保持させるための方法を説明するグラフである。ここで、ＰＴＳ１［ｔ］は時刻ｔでのＰＴＳ１の値とし、ＰＴＳ２［ｔ＋ｋ］は時刻ｔ＋ｋでのＰＴＳ２の値とし、そして時間ｋは同じフレームがトランスコーダに入力されてデコーディングされ、エンコーディングされるまでの時間遅延とし、これを総遅延時間と定義する。総遅延時間は、図４に示されたようにトランスコーダでのルックアヘッド遅延及びバッファ遅延の和となる。一方、総遅延時間に該当するクロックカウントの数を総遅延カウントと定義しうる。
【００５３】
更に、図３でＰＴＳ１［ｔ］＝ＰＴＳ２［ｔ＋ｋ］である。すなわち、時刻［ｔ］でＰＴＳ１を有するようにエンコーディングされたフレームは、時刻［ｔ＋ｋ］にＰＴＳ２を有するように、再びエンコーディングされねばならない。したがって、次の数１のようにならねばならない。ここで、ｃは所定の定数値である。
【００５４】
［数１］
ＰＴＳ１［ｔ］＝ＰＴＳ２［ｔ］＋総遅延カウント
ＰＣＲ１［ｔ］＝ＰＴＳ１［ｔ］−ｃ
ＰＣＲ２［ｔ］＝ＰＴＳ２［ｔ］−ｃ
【００５５】
すると、総遅延時間は次の数２のように表現される。
【００５６】
［数２］
総遅延カウント
＝ＰＴＳ１［ｔ］−ＰＴＳ２［ｔ］
＝ＰＣＲ１［ｔ］＋ｃ−（ＰＣＲ２［ｔ］−ｃ）
＝ＰＣＲ１［ｔ］−ＰＣＲ２［ｔ］
【００５７】
つまり、所定の時間ｔでのＰＴＳ２及びＰＣＲ２は次の数３の結果となる。
【００５８】
［数３］
ＰＴＳ２［ｔ］＝ＰＴＳ１［ｔ］−総遅延カウント
ＰＣＲ２［ｔ］＝ＰＣＲ１［ｔ］−総遅延カウント
【００５９】
前記数３の結果と同様に、正確なＰＴＳ時間補正のためには、トランスコーダへの入力時にＰＴＳ１［ｔ］を有するフレームが再びエンコーディングされるまでの総遅延カウントが定義されねばならない。このような総遅延カウントを決定するためには、まず、ｋ時間（総遅延時間）を決定せねばならないが、ｋ時間は同じフレームが逆多重化器から分離されてビデオエンコーディング部７１に入力されるまでにかかる時間、すなわちバッファ遅延及びルックアヘッド遅延を合わせた値として決定される。
【００６０】
元のフレーム率をｆ［ｆｒａｍｅ／ｓｅｃ］とし、ＰＴＳを算出するシステムクロック周波数をＭ（例えば、２７［ＭＨｚ］）とする。そして、Ｎを時間ｋの間にトランスコーディングされるフレームの数とすれば、１フレームのＰＴＳ間隔はＭ／ｆで表現される。つまり、総遅延カウントは、このＭ／ｆの倍数に該当する離散値を有するので、つまり総遅延カウント及び総遅延時間は数４のようである。
【００６１】
［数４］
総遅延カウント＝Ｍ／ｆ×Ｎ
【００６２】
図５ないし図８で示した実施例では、このように計算された総遅延カウントを用いることになる。
【００６３】
図５は、本発明の第１実施例に係るトランスコーディングシステム２００の構造を示す図面である。タイミング同期化部９０は、第１ＰＬＬ部１０、第２ＰＬＬ部２０、総遅延算出部８０、各種加算器９１、９２、レジスター３０、及びＰＣＲ生成部５０を含んで構成されうる。
【００６４】
伝送ストリーム（以下、ＴＳと称する）は、逆多重化器６１でＰＥＳパケットに分離された後、エンコーディングされたビデオデータ形態に出力されてデコーダバッファ６２に入力される。ビデオバッファ６２は、ＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）方式でビデオデータを一時保存しておいて、ビデオデコーディング部６３に伝達する。ビデオデコーディング部６３は伝達されたビデオデータを現在エンコーディングされた方式の逆にデコーディングしてビデオシーケンスを復元する。一方、逆多重化器６１は入力ＴＳからＰＣＲ１を抽出して第１ＰＬＬ部１０に伝達し、ＰＴＳ１を抽出して加算器９２に伝達する。
【００６５】
ＰＬＬ（Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ）回路は、基準周波数と入力信号の位相を比較して二信号を同期化する電気回路であって、入力クロックをフィードバッククロックと比較し、入力クロックの上昇エッジがフィードバッククロックと整列されるまで、オシレータクロックを調整する。
【００６６】
第１ＰＬＬ部１０は、このようなＰｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ回路で構成されるが、前記逆多重化器から入力されたプログラムクロックレファレンスＰＣＲ１を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウントＳＴＣ１を出力する。
【００６７】
具体的に、ＴＳから抽出されたＰＣＲ１は差分器１２とレジスター１４に供給される。差分器１２は、ＰＣＲ１とレジスター１４から出力されるＳＴＣ１との差分を計算して、その結果である誤差データを電圧制御発振器１１に伝達する。このような誤差データを用いて、電圧制御発振器１１は出力するシステムクロック信号の周波数を送信側（ソースエンコーダ側）のシステムクロック信号の周波数（２７ＭＨ）と一致させ、ＰＣＲ１によって基準時刻を正しく再現する。
【００６８】
電圧制御発振器１１から出力されたシステムクロック信号は、クロックカウンター１３に入力され、これを通じてクロックカウンター１３はシステムクロックのカウント、すなわちＳＴＣ１を計算する。ＳＴＣ１はレジスター１４に入力されて、前記ＰＣＲ１の供給タイミングを示す信号ロードが入力される時のＳＴＣ１が差分器１２に再入力される。
【００６９】
総遅延算出部８０は、バッファ遅延  及びルックアヘッド遅延を合わせたトランスコーダでの総遅延を前記数４を用いて算出する。
【００７０】
加算器９１は、レジスター１４から出力されたＳＴＣ１及び総遅延算出部８０で算出された総遅延カウントを符号反転し、これを合わせた結果、すなわちＳＴＣ１＊を第２ＰＬＬ部２０に供給する。
【００７１】
第２ＰＬＬ部２０も第１ＰＬＬ部１０と同様にＰｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ回路で構成され、加算器９１から入力されたシステムクロックカウントＳＴＣ１＊を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウントＳＴＣ２を出力する。
【００７２】
具体的に、加算器９１から供給されたＳＴＣ１＊は差分器２２とレジスター２４に供給される。差分器２２は、ＳＴＣ１＊とレジスター２４から出力されるＳＴＣ２との差分を計算し、その結果である誤差データを電圧制御発振器２１に伝達する。このような誤差データを用いて、電圧制御発振器２１は出力するシステムクロック信号の周波数を送信側（第１ＰＬＬ部）のシステムクロック信号の周波数（２７ＭＨ）と一致させ、ＳＴＣ１＊によって基準時刻を正しく再現する。
【００７３】
電圧制御発振器２１から出力されたシステムクロック信号は、クロックカウンター２３に入力され、これを通じてクロックカウンター２３はシステムクロックのカウント、すなわちＳＴＣ２を計算する。計算されたＳＴＣ２はレジスター２３に入力されて、前記ＳＴＣ１＊の供給タイミングを示す信号ロードが入力される時のＳＴＣ２が差分器２２に再入力される。
【００７４】
ＰＣＲ生成部４０は、前記クロックカウンター２３からＳＴＣ２を伝達されて所定の周波数クロックによってＰＣＲ２を生成して多重化器７３に伝達する。このようなＰＣＲ生成部４０は、ロードパルス生成器４１及びレジスター４２を含む。レジスター４２は、前記クロックカウンター２３から出力されたＳＴＣ２を入力され、ロードパルス生成器４１から１０［Ｈｚ］周波数を有するクロックが入力される時のＳＴＣ２をＰＣＲ２として多重化器７３に供給する。そうすると、多重化器７３は一定間隔（１０［Ｈｚ］）のＰＣＲ２を出力ＴＳのヘッダに記録する。
【００７５】
一方、加算器９２は、逆多重化器６１から出力されたＰＴＳ１及び総遅延算出部８０で算出された総遅延カウントを符号反転し、これを合わせた結果、すなわちＰＴＳ２をトランスコーディング条件決定部９５に供給する。
【００７６】
トランスコーディング条件決定部９５は、加算器９２からＰＴＳ２を入力され、最終ユーザの使用環境に適するようにトランスコーディング条件を決定し、該決定された条件によって変更されたＰＴＳ２＊をレジスター３０に伝達し、変更された目的フレーム率をビデオエンコーディング部７１に伝達する。
【００７７】
もし、画質、解像度またはビット率は変化させても、フレーム率を変化させない場合であれば、ＰＴＳを変更する必要がないので、ＰＴＳ２＊はそのままＰＴＳ２となり、目的フレーム率はそのまま元のフレーム率となる。
【００７８】
トランスコーディング条件決定部９５でフレーム率を変更することに決定した場合は、原本フレームが有していたＰＴＳをそのまま使用できなくなる。すなわち、新たに変更されたフレームがディスプレイされるＰＴＳが生成されねばならない。新たなＰＴＳ２＊は次の数５のように変更されねばならない。
【００７９】
［数５］
ＰＴＳ２＊（ｉ）＝ＰＴＳ＿ｓｔａｒｔ＋ΔＰＴＳ×（ｆ１／ｆ２）×ｉ
【００８０】
ここで、ｆ１は変更前のフレーム率を、ｆ２は変更後のフレーム率を、ＰＴＳ＿ｓｔａｒｔはフレーム変更を始める時点でのＰＴＳ２値を、ΔＰＴＳはＰＴＳ２のフレーム間のクロックカウントを、そしてｉはプレゼンテーションするフレーム順序によるフレーム番号を示す。
【００８１】
まず、フレーム率を増加させる場合を説明する。フレーム率の増加は、しばしば発生する場合はないが、このような場合にもＰＴＳを保持または一致させねばならない。まず、フレーム率を増加させるためには、フレーム補間を利用して存在していない映像を生成する過程が必要である。このような過程は、トランスコーディング条件決定部９５から目的フレーム率を伝達されたビデオエンコーダ７１で所定の圧縮方式で圧縮する直前に行われる。そして補間されたフレームを含む全体フレームのＰＴＳ２＊は数５のように求められる。
【００８２】
次いで、フレーム率を減少させる場合を説明する。すなわち、中間に１つずつフレームスキップを用いる場合には、スキップされるフレームに該当するＰＴＳを除き、残りの他のフレームには同じＰＴＳを有させうる。さらに他の場合は、一定比率でスキップし、残りのフレームは一定した間隔に補間してエンコーディングする場合である。このような場合、全体フレームのＰＴＳ２＊は数５のように変更させねばならない。
【００８３】
一方、ＤＴＳの変換は、エンコーダの方式によって変わるが、変更されたＤＴＳを求める方法はＰＴＳの場合と同様な変更過程によって行われる。
【００８４】
再び図５を参照すれば、ビデオエンコーディング部７１は、ビデオデコーディング部６３から受信したビデオシーケンスを入力されて、トランスコーディング条件決定部９５で決定された目的フレーム率によって必要時に補間フレームを生成した後、前記目的フレーム率によってフレームが準備完了されれば、レジスター３０にその完了を知らせるロード信号を伝送する。そして、レジスター３０からＰＴＳ２＊を伝送されて各フレームのヘッダに記録し、コーディングユニット（例えば、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ））単位で所定の圧縮方式によってビデオフレームを圧縮し、それをビデオバッファ７２を経て多重化器７３に伝達する。
【００８５】
多重化器７３は、ＴＳヘッダにＰＣＲ生成部４０から伝達されたＰＣＲ２を記録し、ＴＳペイロードにエンコーダ７０から受信したビデオストリームを所定の単位サイズに記録することによって出力ＴＳを生成する。
【００８６】
一方、レジスター３０は、トランスコーディング条件決定部９５から変更されたＰＴＳ２＊を入力されてビデオエンコーディング部７１からフレーム準備完了ロード信号を伝達される時、ＰＴＳ２＊をビデオエンコーディング部７１に提供する。
【００８７】
図６は、本発明の第２実施例に係るトランスコーディングシステム２００の構造を示す図面である。本実施例では、第１実施例とは違ってＰＴＳを入力されてこれを調節するものでなく、システムクロック、すなわちＳＴＣを総遅延カウントほど減少させることによって、同じ効果を奏しようとしたものである。
【００８８】
本実施例でタイミング同期化部１９０は、第１ＰＬＬ部１０、第２ＰＬＬ部２０、総遅延算出部８０、加算器９１、レジスター３０、及びＰＣＲ生成部４０を含んで構成されうる。
【００８９】
逆多重化器６１は、入力ＴＳからＰＣＲ１を抽出して第１ＰＬＬ部１０に伝達し、ＰＴＳ１を抽出して加算器９２に伝達する。
【００９０】
第１ＰＬＬ部１０は、Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ回路より構成されるが、前記逆多重化器６１から入力されたプログラムクロックレファレンスＰＣＲ１を入力クロックとしてシステムのクロックを調節し、該調節されたシステムクロックからシステム時間カウントＳＴＣ１を出力する。
【００９１】
具体的に、ＴＳで抽出されたＰＣＲ１は差分器１２とレジスター１４に供給される。差分器１２は、ＰＣＲ１とレジスター１４から出力されるＳＴＣ１との差分を計算し、その結果である誤差データを電圧制御発振器１１に伝達する。このような誤差データを用いて、電圧制御発振器１１は出力するシステムクロック信号の周波数を送信側（ソースエンコーダ側）のシステムクロック信号の周波数（２７ＭＨ）と一致させ、ＰＣＲ１によって基準時刻を正しく再現する。
【００９２】
電圧制御発振器１１から出力されたシステムクロック信号は、クロックカウンター１３に入力され、これを通じてクロックカウンター１３はシステムクロックのカウント、すなわちＳＴＣ１を計算する。ＳＴＣ１はレジスター１４に入力されて、前記ＰＣＲ１の供給タイミングを示す信号ロードが入力される時のＳＴＣ１が差分器１２に再び入力される。
総遅延算出部８０は、バッファ遅延及びルックアヘッド遅延を計算し、これを合わせることによってトランスコーダでの総遅延を算出する。
【００９３】
加算器９１は、レジスター１４から出力されたＳＴＣ１及び総遅延算出部８０で算出された総遅延カウントを符号反転してこれを合わせた結果、すなわちＳＴＣ１＊を第２ＰＬＬ部２０に供給する。
【００９４】
第２ＰＬＬ部２０も第１ＰＬＬ部１０と同様にＰｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ回路より構成されるが、具体的に、加算器９１から供給されたＳＴＣ１＊は差分器２２とレジスター２４に供給される。差分器２２は、ＳＴＣ１＊とレジスター２４から出力されるＳＴＣ２との差分を計算し、その結果である誤差データを電圧制御発振器２１に伝達する。このような誤差データを用いて、電圧制御発振器２１は出力するシステムクロック信号の周波数を送信側（第１ＰＬＬ部）のシステムクロック信号の周波数（２７ＭＨ）と一致させ、ＳＴＣ１＊によって基準時刻を正しく再現する。
【００９５】
電圧制御発振器２１から出力されたシステムクロック信号はクロックカウンター２３に入力され、これを通じてクロックカウンター２３はシステムクロックのカウント、すなわちＳＴＣ２を計算する。計算されたＳＴＣ２はレジスター２３に入力されて、前記ＳＴＣ１＊の供給タイミングを示す信号ロードが入力される時のＳＴＣ２が差分器２２に再び入力される。
【００９６】
ＰＣＲ生成部４０は、前記クロックカウンター２３からＳＴＣ２を伝達されて所定の周波数クロックによってＰＣＲ２を生成して多重化器７３に伝達する。このようなＰＣＲ生成部４０は、ロードパルス生成器４１及びレジスター４２を含む。レジスター４２は、前記クロックカウンター２３から出力されたＳＴＣ２を入力され、ロードパルス生成器４１から１０［Ｈｚ］周波数を有するクロックが入力される時のＳＴＣ２をＰＣＲ２として多重化器７３に供給する。多重化器７３は一定間隔（１０［Ｈｚ］）のＰＣＲ２を出力ＴＳのヘッダに記録する。
【００９７】
トランスコーディング条件決定部９５は、最終ユーザの使用環境に適するようにトランスコーディング条件を決定し、該決定された条件によって変更された目的フレーム率をビデオエンコーディング部７１に伝達する。トランスコーディング条件でフレーム率を増加させる場合には、フレーム補間を用いて存在しない映像を生成する過程が必要である。このような過程は、トランスコーディング条件決定部９５から目的フレーム率を伝達されたビデオエンコーダ７１で所定の圧縮方式で圧縮する直前に行われる。
【００９８】
そして、フレーム率を減少させる場合として、中間に１つずつフレームスキップを使用する場合には補間が不要であるが、他の場合として、一定割合でスキップする一般的な場合にはスキップした後、残ったフレームは一定間隔で補間してエンコーディングせねばならない。
【００９９】
再び図６を参照すれば、ビデオエンコーディング部７１は、ビデオシーケンスを入力されて、トランスコーディング条件決定部９５で決定された目的フレーム率によって必要時に補間フレームを生成した後、前記目的フレーム率によってフレームが準備完了されれば、レジスター３０にその完了を知らせるロード信号を伝送する。そして、レジスター３０からＰＴＳ２＊を伝送され、各フレームのヘッダに記録し、コーディングユニット単位で所定の圧縮方式によってビデオフレームを圧縮し、これをビデオバッファ７２を経て多重化器７３に伝達する。
【０１００】
多重化器７３は、ＴＳヘッダにレジスター４２から伝達されたＰＣＲ２を記録し、ＴＳペイロードにエンコーダ７０から受信したビデオストリームを所定の単位サイズで記録することによって出力ＴＳを生成する。
【０１０１】
一方、レジスター３０は、第２ＰＬＬ部２０のクロックカウンター２３から出力されたＳＴＣ２を入力され、ビデオエンコーディング部７１からフレーム準備完了ロード信号を伝達される時のＳＴＣ２値を最終プレゼンテーションタイムスタンプ、すなわちＰＴＳ２＊としてビデオエンコーディング部７１に提供する。
【０１０２】
図７は、本発明の第３実施例に係るトランスコーディングシステム２００の構造を示すものである。本実施例は、第１実施例とは違ってエンコーダ端とデコーダ端とに各々ＰＬＬ部を有するものでなく、１つのＰＬＬ部を用いて構成したものである。
【０１０３】
本実施例は、第１実施例で第２ＰＬＬ部が省略される。したがって、加算器９１からの出力、すなわち、ＳＴＣ１で総遅延カウントを引いた値は第２ＰＬＬ部に入力されるものではなく、レジスター４２に直ちに入力される。それ以外の点は、第１実施例と同様にして本実施例を行えることは、当業者ならば自明に分かるものであろう。
【０１０４】
図８は、本発明の第４実施例に係るトランスコーディングシステム２００の構造を示す図面である。本実施例は、第２実施例とは違ってエンコーダ端とデコーダ端とに各々ＰＬＬ部を有するものでなく、１つのＰＬＬ部を用いて構成したものである。
【０１０５】
本実施例は、第２実施例での第２ＰＬＬ部が省略される。したがって、加算器９１での出力、すなわちＳＴＣ１で総遅延カウントを引いた値は第２ＰＬＬ部に入力されるものでなく、各レジスター３０、４２に直ちに入力される。それ以外の点は第２実施例と同様にして本実施例を行えることを、当業者ならば自明に分かるものであろう。
【０１０６】
図９は、本発明の第５実施例に係るトランスコーディングシステム２００の構造を示す図面である。本実施例は、前記実施例とは違ってバッファにＰＣＲ及びＰＴＳを保存しておいて、ビデオエンコーディング時にその値をそのまま使用する方式である。
【０１０７】
ここで、タイミング同期化部４９０は、ＰＣＲバッファ９３、ＰＴＳバッファ９４、総遅延算出部８０、レジスター３０及びＰＣＲ生成部４０を含んで構成されうる。
【０１０８】
逆多重化器６１は、入力ＴＳからＰＣＲ１を抽出してＰＣＲバッファ９３に伝達し、ＰＴＳ１を抽出してＰＴＳバッファ９４に伝達する。
【０１０９】
そして、総遅延算出部８０は、数４のように総遅延時間を算出し、これをＰＣＲバッファ９３及びＰＴＳバッファ９４に提供する。
【０１１０】
ＰＣＲバッファ９３は、逆多重化器６１から伝達されたＰＣＲ１を総遅延算出部８０で算出した総遅延時間の間に保存しておいて、総遅延時間が経過すれば、レジスター４０にＰＣＲ値を提供する。
【０１１１】
また、ＰＴＳバッファ９４は、逆多重化器６１から伝達されたＰＴＳ１を総遅延算出部８０で算出した総遅延時間の間に保存しておいて、総遅延時間が経過すれば、トランスコーディング条件決定部９５にＰＴＳ２値を提供する。
【０１１２】
ＰＣＲ生成部４０は、ＰＣＲバッファ９３から供給されたＰＣＲ２を伝達されて所定の周波数クロックによってプログラムクロックレファレンスＰＣＲ２を生成して前記多重化器に伝達する。このようなＰＣＲ生成部４０は、ロードパルス生成器４１及びレジスター４２を含む。レジスター４２は、ＰＣＲバッファ９３から出力されたＰＣＲ２を入力され、ロードパルス生成器４１から１０［Ｈｚ］周波数を有するクロックが入力される時のＰＣＲ２を多重化器７３に供給する。そうすると、多重化器７３は一定間隔（１０［Ｈｚ］）のＰＣＲ２を出力ＴＳのヘッダに記録する。
【０１１３】
トランスコーディング条件決定部９５は、ＰＴＳバッファ９４からＰＴＳ１を入力され、最終ユーザの使用環境に適するようにトランスコーディング条件を決定し、該決定された条件によって変更されたＰＴＳ２＊をレジスター３０に伝達し、変更された目的フレーム率をビデオエンコーディング部７１に伝達する。もし、画質、解像度またはビット率は変化させてもフレーム率を変化させない場合ならば、ＰＴＳを変更する必要がないので、ＰＴＳ２＊はそのままＰＴＳ２となり、目的フレーム率はそのまま元のフレーム率になる。
【０１１４】
トランスコーディング条件決定部９５でフレーム率を変更することに決定した場合に、ＰＴＳ２＊は、前記数５のように変更されねばならない。フレーム率が増加する場合は、フレーム補間を用いて存在しない映像を生成する過程が必要である。このような過程は、トランスコーディング条件決定部９５から目的フレーム率を伝達されたビデオエンコーダ７１で所定の圧縮方式で圧縮する直前に行われる。そして、補間されたフレームを含む全体フレームのＰＴＳ２＊は数５のように求められる。
【０１１５】
フレーム率を減少させる場合のうち、中間に１つずつフレームスキップを使用する場合には、スキップされるフレームに該当するＰＴＳを除き、残りの他のフレームは同じＰＴＳを備えさせうる。さらに他の場合は、一定割合でスキップし、残りのフレームは一定間隔で補間してエンコーディングする場合である。このような場合も、全体フレームのＰＴＳ２＊は数５のように変更されねばならない。
【０１１６】
ビデオエンコーディング部７１は、ビデオデコーディング部６３から受信したビデオシーケンスを入力されて、トランスコーディング条件決定部９５で決定された目的フレーム率によって必要時に補間フレームを生成した後、前記目的フレーム率によってフレームが準備完了されれば、レジスター３０にその完了を知らせるロード信号を伝送する。そして、レジスター３０からＰＴＳ２＊を伝送されて各フレームのヘッダに記録してコーディングユニット単位で所定の圧縮方式によってビデオフレームを圧縮し、これをビデオバッファ７２を経て多重化器７３に伝達する。
【０１１７】
多重化器７３は、ＴＳヘッダにレジスター４０から伝達されたＰＣＲ２を記録し、ＴＳペイロードにエンコーダ７０から受信したビデオストリームを所定の単位サイズで記録することによって、出力ＴＳを生成する。一方、レジスター３０は、トランスコーディング条件決定部９５から変更されたＰＴＳ２＊を入力され、ビデオエンコーディング部７１からフレーム準備完了ロード信号を伝達される時、ＰＴＳ２＊をビデオエンコーディング部７１に提供する。
【０１１８】
以上、添付図を参照して本発明の実施例を説明したが、本発明が属する技術分野における当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。
【産業上の利用可能性】
【０１１９】
本発明は、セグメントブラウザーを使用するトランスコーダでＭＰＥＧストリームを他の形態に変換して保存する時に発生するセグメンテーションメタデータとＡＶコンテンツとの同期化問題を解決するためのトランスコーディングシステム関連技術分野に好適に適用されうる。
【図面の簡単な説明】
【０１２０】
【図１】本発明の全体構成を概略的に示すブロック図である。
【図２Ａ】ＰＥＳパケット構造を示す図面である。
【図２Ｂ】伝送ストリームの構造を示す図面である。
【図３】トランスコーディング以後にもＰＴＳ及びＰＣＲを同一に保持させるための方法を説明するグラフである。
【図４】総遅延を定義する図面である。
【図５】本発明の第１実施例に係るトランスコーディングシステムの構造を示す図面である。
【図６】本発明の第２実施例に係るトランスコーディングシステムの構造を示す図面である。
【図７】本発明の第３実施例に係るトランスコーディングシステムの構造を示す図面である。
【図８】本発明の第４実施例に係るトランスコーディングシステムの構造を示す図面である。
【図９】本発明の第５実施例に係るトランスコーディングシステムの構造を示す図面である。
【符号の説明】
【０１２１】
６０      デコーダ
７０      エンコーダ
９０      タイミング同期化部
９５      トランスコーディング条件決定部
１００      トランスコーダ
２００      トランスコーディングシステム
６１      逆多重化器
７３      多重化器
【図１】
2005229593.tif 000003
【図２Ａ】
2005229593.tif 000004
【図２Ｂ】
2005229593.tif 000005
【図３】
2005229593.tif 000006
【図４】
2005229593.tif 000007
【図５】
2005229593.tif 000008
【図６】
2005229593.tif 000009
【図７】
2005229593.tif 000010
【図８】
2005229593.tif 000011
【図９】
2005229593.tif 000012