(57)【要約】【課題】従来のＩＰベースのシステムでＡＶ同期を実現するには、外部のクロックへ同期する必要があり、そのクロックの確保はモバイル端末の環境で、実用的な方法が見つかっていない。そこで本発明は、外部のクロックへの依存性を解消し、送信機器と受信機器のみでＡＶ同期を実現する簡易方法を提案する。【解決手段】以上の目的を達成するために、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）などのトランスポートプロトコールを用いる送信機器と受信機器においてクロック関連の処理に新しいアルゴリズムを用いることで実現する。【選択図】図１
2007104263.tif 000002
【特許請求の範囲】
【請求項１】
映像信号と音声信号をＩＰ(Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ)パケット変換して所定のトランスポートプロトコールを用いて送受信する送信機器と受信機器で構成する転送システムであって、
前記送信機器は、映像信号と音声信号が送信機器にそれぞれ到着した時の、映像信号と音声信号をデジタル変換する際に用いるサンプリングクロックの値を取得し、変換後の情報にＴｉｍｅｓｔａｍｐとして付加するとともに、前記サンプリングクロックの瞬間値を含むＩＰパケットを一定周期で前記受信機器に送信し、
前記受信機器は、初期化段階において、前記瞬間値を含むＩＰパケットを複数回受信し、自分のシステムクロックとの比例関係を表現する比例係数を計算し平均値を取り、最初に受信した前記瞬間値を含むＩＰパケットに含まれた前記瞬間値と受信時の前記システムクロック値と前記比例係数を記録するとともに、前記映像信号又は音声信号の情報と前記Ｔｉｍｅｓｔａｍｐを含むＩＰパケットを再生する前に、自分のシステムクロック現在値と記録された前記瞬間値と前記システムクロック値と前記比例係数で映像信号又は音声信号の現在再生時刻を計算し、前記ＩＰパケットに含まれる前記Ｔｉｍｅｓｔａｍｐと比較し、すぐ再生するかどうかを判断する、
転送システム。
【請求項２】
前記初期段階で前記瞬間値の受信回数を２回に限定し、比例係数の計算を１回にして平均を取らないことで、所定のアルゴリズムにて、再生までの遅延を最小化することを特徴とする請求項１に記載の転送システム。
【請求項３】
再生途中に一定期間ごとに前記比例係数の計算と前記記録された瞬間値とシステムクロック値の更新を行うことで、補正を行うことを特徴とする請求項１に記載の転送システム。
【請求項４】
前記のトランスポートプロトコールはＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）であることを特徴とする請求項１に記載の転送システム。
【請求項５】
前記送信機器は自分のシステムクロックをＷａｌｌｃｌｏｃｋの代わりに送信し、受信機器が前記サンプリングクロックと同様に処理し、その結果を用いてサンプリングクロックのシミュレートプログラムに対して補正を行うことを特徴とする請求項４に記載の転送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）を介して映像と音声データを送受信する転送システム、送信機器、受信機器及び送受信方法に関する。
【背景技術】
【０００２】
図５で示したように、自然・人文の事象の信号を変換し、別の空間・時間にいる人に違和感なく伝えるために、同時に発生した音声・映像の情報を同時に再現する必要がある。技術的に、AV同期を以下のように定義できる：情報変換１に同時到着した信号Aと信号Vは、情報変換２から人間がずれを感知できない一定期間内に信号A’と信号V’が出力されることである。
【０００３】
図６で示したように、送信機器と受信機器のクロック系統を起因とする同期の誤差は開始誤差、ジッタ誤差、単位誤差の３種類である。開始誤差とは、情報変換１にて変換処理の開始時刻と情報変換２にて変換処理開始時刻の差及び、情報変換１と情報変換２の内部において音声情報と映像情報の処理開始時刻の差である。ジッタ誤差とはクロック系統が標準時間より一時的に速くまたは遅く進むことである。単位誤差とは、クロックが１を増加するには実際に経過した時間の差、クロック系統の周波数の差である。近年の技術の進歩により、ジッタ誤差がほぼ無視できるようなった。
【０００４】
図７で従来のＩＰベースのシステムにおけるＡＶ同期の実現方法を示した。送信機器と受信機器を同じ外部クロックに同期することで基本クロック（Ｗａｌｌｃｌｏｃｋ）の同期を得た上、さらに、送信機器が定期的に前記基本クロックと、映像信号又は音声信号それぞれのサンプリングクロックとの相対関係を示すＳｅｎｄｅｒＲｅｐｏｒｔを送信し、受信機器がこの相対関係情報で、前記ベースクロック情報とともに再生制御を行うことでＡＶ同期を実現する（特許文献３、非特許文献１−４参照）。映像又は音声片方のみ受信でき、情報変換１でＴｉｍｅｓｔａｍｐ情報を付加する時サンプリングクロックから標準クロックへの変換が不要となり、柔軟性がある設計である。ただし、ＡＶ同期制御手順の煩雑、送信機器と受信機器両方、特に受信機器が移動端末の場合は、送信機器と受信機器が同時にアクセスできかつＡＶ同期に必要な高精度を達成できるクロック提供手段の確保などには、課題が残っている。
【０００５】
図８でMPEG２システムによりAV同期の実現方法を示した。MPEG規格化の当初は、前記の情報変換１のクロックのジッタ誤差は著しいものとし、情報変換２にて、専用のＰＬＬ（ＰｈａｓｅＬｏｃｋｅｄＬｏｏｐ）回路により、情報変換１のクロックを完全に復元することを勧めていた、そうすることによって、再生装置でより単純な計算でAV同期を実現することができる。しかし、近年、半導体技術の進歩により、一定コスト・実装面積での計算能力を飛躍的な向上により、再生装置にも高速のＣＰＵとメモリ装置が搭載されることになった。以来、ＡＶ同期を取れる再生装置は２種類に別れ、その一つは、以前のＰＬＬ回路を継承するもの、回路を複雑になる代わりに、従来と同じ方法で精密の同期を取れる。もう一つは、簡易再生装置でPLL関連回路を省いて、ソフトウェアによるＡＶ同期を実現する（特許文献２参照）、回路が簡単になるが、制限があり、汎用性ある高精度のAV同期を実現できない。ただし、いずれはMPEGトランスポートシステム（ＳＴＣ、ＰＣＲ／ＳＣＲ諸要素）の存在を前提とし、ＲＴＰを初めとするＩＰ(Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ)ベース環境では使用できない。
【特許文献１】特開２００４−３２８４２３号公報
【特許文献２】特開２００４−１０４３００号公報
【特許文献３】特開２００４−１２９００９号公報
【非特許文献１】IETF RFC3550号勧告
【非特許文献２】IETF RFC1305号勧告
【非特許文献３】ETSI TS 102 005号勧告
【非特許文献４】ETSI EN302 304号規格
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来のＩＰベースのシステムでＡＶ同期を実現するには、外部のクロックへ同期する必要があり、そのクロックの確保はモバイル端末の環境で、実用的な方法が見つかっていない。
【０００７】
そこで本発明は、外部のクロックへの依存性を解消し、送信機器と受信機器のみでＡＶ同期を実現する簡易方法を提案する。
【課題を解決するための手段】
【０００８】
以上の目的を達成するために、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）などのトランスポートプロトコールを用いる送信機器と受信機器においてクロック関連の処理に新しいアルゴリズムを用いることで実現する。
【０００９】
具体的には、前記送信機器は、映像信号と音声信号をデジタル変換に用いるサンプリングクロックの前記映像信号と音声信号それぞれが送信機器に到着時の値を取得し、変換処理（ＡＤ、圧縮など）後の情報にＴｉｍｅｓｔａｍｐとして付加して前記トランスポートプロトコールのＰａｙｌｏａｄとして送信する。それに、送信機器が前記サンプリングクロックの瞬間値を含むパケットを制御情報として一定周期で受信機器に別途送信する。
【００１０】
前記受信機器は初期化段階に前記制御情報を複数回受信し、その中サンプリングクロックの瞬間値のみを取り出して、自分のシステムクロックとの比例関係を表現する比例係数を計算し平均値を取り、ローカルの記憶媒体に受信した一回目の前記制御情報に含まれた前記瞬間値と受信時の前記システムクロック値と前記比例係数とを記録する。
前記受信機器は前記映像信号又は音声信号の情報と前記Ｔｉｍｅｓｔａｍｐを含む前記トランスポートプロトコールのＰａｙｌｏａｄ部分を再生する前に、自分のシステムクロック現在値と記録された前記瞬間値と前記システムクロック値と前記比例係数で
ＰＣＬＫｉ＝Ｆｉ＊（ｔ−ＬＣｉ）＋ＳＣＬＫｉ            （数式１）
計算式により映像信号又は音声信号の現在再生時刻を計算し、前記Ｔｉｍｅｓｔａｍｐと比較し、すぐ再生するかどうかを判断する。
【００１１】
Ｔｉｍｅｓｔａｍｐが先行している場合、
Ｗａｉｔｉ＝（ＴＳｉ−ＰＣＬＫｉ）／Ｆｉ                （数式２）
の計算式により前記現在再生時刻の差分より待ち時間を計算し、映像または音声の再生スレッドを前記待ち時間分で一時停止する。
【００１２】
請求項２の発明は、前記初期段階で多重化クロック情報の受信回数を２回に限定し、平均を取らないことで、所定のアルゴリズムにて、再生までの遅延を最小化するものである。
請求項３の発明は、再生途中でも一定期間ごとに前記係数の計算と開始時刻の更新を行うことで、補正を行い、係数のずれを防ぐものである。
【００１３】
請求項４と請求項５の発明は、用いるトランスポートプロトコールは、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）に限定するものであり、その時の前記制御情報はＲＴＰ  Ｃｏｎｔｒｏｌ  ＰｒｏｔｏｃｏｌのＳｅｎｄｅｒＲｅｐｏｒｔパケットである。
【００１４】
請求項５の発明は、送信機器はＲＴＰ  Ｃｏｎｔｒｏｌ  ＰｒｏｔｏｃｏｌのＳｅｎｄｅｒＲｅｐｏｒｔパケットにあるＷａｌｌｃｌｏｃｋの領域に自分のシステムクロックの瞬間値を入れて、受信機器側でそれを参考してサンプリングクロックシミュレートに対して補正を行うものである。
【発明の効果】
【００１５】
以上のように、本発明に係る転送システムによれば、ＤＶＢ―Ｈ放送波を初めとする遅延一定の転送路を用いてＩＰパケットで映像と音声信号を転送する場合、外部クロック及びそれとの同期手段を必要とせず、送信機器と受信機器のみでＡＶ同期を実現することができる。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明の実施の形態における転送システムの構成を示す。３０１は送信機器、３０２は受信機器である。３０１送信機器に複数のサンプリングクロックを具備し、映像信号とＴｉｍｅｓｔａｍｐ情報（例：ＰＯＲＴ＝３０）、音声信号（例：ＰＯＲＴ＝５０）とＴｉｍｅｓｔａｍｐ情報をパケット化してＲＴＰプロトコールのＰａｙｌｏａｄとして、映像信号のサンプリングクロックの制御情報（ＰＯＲＴ＝３１）と音声信号のサンプリングクロックの制御情報（ＰＯＲＴ＝５１）をＲＴＣＰのＳｅｎｄｅｒＲｅｐｏｒｔとして、受信機器３０２に送信する。受信機器３０２にシステムクロックとクロックシミュレートプログラムとシミュレート対象クロックごとにパラメータ保存領域を具備し、送信機器側の複数サンプリングクロックをシミュレートする。
【００１７】
図２は、本発明の実施の形態における受信機器の構成を示すブロック図である。１００は受信手段、１０１はプログラム実行手段、１０２は記憶手段、１０３はクロック生成手段、１０４は表現手段である。１０２の記憶手段には、クロックシミュレートベクタ初期化プログラム（図３参照）と、クロックシミュレートプログラムと、再生制御プログラム（図４参照）と、第ｉ番目のサンプリングクロックの1回目の制御情報に含まれた瞬間値ＳＬＣＫｉと、その時のローカルシステムクロック値ＬＣｉと、送信機器サンプリングクロックとローカルシステムクロックとの関係を示す比例係数Fｉがクロックシミュレートベクタのｉ番目の記憶領域に記憶されている。
【００１８】
クロックシミュレートプログラムは、
ＰＣＬＫｉ＝Ｆｉ＊（ｔ−ＬＣｉ）＋ＳＣＬＫｉ            （数式１）
の数式で表される。ここで、ＰＣＬＫは、Ｃｕｒｒｅｎｔ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｉｎｇ  ｏｆ  Ｓｔｒｅａｍである。Ｆは、Ｃｏｅｆｆｉｃｉｅｎｔ  Ｂｅｔｗｅｅｎ  Ｓｔｒｅａｍ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｉｎｇ  ａｎｄ  Ｌｏｃａｌ  Ｓｙｓｔｅｍ  Ｔｉｍｅである。ｔは、Ｃｕｒｒｅｎｔ  Ｌｏｃａｌ  Ｓｙｓｔｅｍ  Ｔｉｍｅである。ＬＣは、Ｌｏｃａｌ  Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｗｈｅｎ  Ｆｉｎｉｓｈｅｄ  Ｒｅｃｅｐｔ  ｏｆ  Ｆｉｒｓｔ  ＳＲ  Ｐａｃｋｅｔ  ｏｆ  Ｓｔｒｅａｍである。ＳＣＬＫは、Ｔｉｍｅ  Ｓｔａｍｐ  ｏｆ  Ｓａｍｐｌｉｎｇ  Ｃｌｏｃｋ  ｉｎ  ｆｉｒｓｔ  ｒｅｃｉｅｖｅｄ  ＳＲ  Ｐａｃｋｅｔ  ｏｆ  Ｓｔｒｅａｍである。
【００１９】
また、Ｔｉｍｅｓｔａｍｐが先行している場合、
Ｗａｉｔｉ＝（ＴＳｉ−ＰＣＬＫｉ）／Ｆｉ                （数式２）
の計算式により前記現在再生時刻の差分より待ち時間を計算し、映像または音声の再生スレッドを前記待ち時間分で一時停止する。ここで、Ｗａｉｔは、Ｗａｉｔ  Ｔｉｍｅ  ｏｆ  Ｓｔｒｅａｍ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｈｒｅａｄである。ＰＣＬＫは、Ｃｕｒｒｅｎｔ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｉｎｇ  ｏｆ  Ｓｔｒｅａｍである。ＴＳは、Ｔｉｍｅｓｔａｍｐ  ｉｎ  Ｃｕｒｒｅｎｔ  Ｐａｙｌｏａｄ  Ｐａｃｋｅｔ  ｏｆ  Ｓｔｒｅａｍである。
【００２０】
上記のように構成された本発明の記録再生装置の動作について、図３と図４を参照しながら説明する。
【００２１】
再生を開始する前に、受信手段により、すべてのサンプリングクロックに対して、前記制御情報を受信する（例、音声信号に対して、ＵＤＰ  ５１番ＰＯＲＴより）。その中、第ｉ番目のサンプリングクロックに関する処理手順は以下である。最初の前記制御情報ＳＣＬＫｉ１が受信されるまで待ち続ける（S1）、受信できたら、その時のローカルシステムクロックＬＣｉ１を取得し（S2）、2回目の前記制御情報ＳＣＬＫｉ２をまって（S3）、2回目のローカルシステムクロックＬＣｉ２を取得する（S4）。所定の算式でローカルシステムクロックと前記制御情報の比例係数Ｆｉを計算し（S5）、1回目の前記制御情報（ＳＣＬＫｉ１）とローカルシステムクロック（ＬＣｉ1）とともに、前記記録手段に記憶する。
次は、表現制御方法図４を参照しながら説明する。
【００２２】
図３で示す方法で初期化を行い（S1）、第ｉ番目のサンプリングクロックに関連するＰａｙｌｏａｄデータを受信できたら（S2）、ローカルシステムクロックを取得し、数式１で示した式でＰＣＬＫｉを計算する、受信したデータに入っているＴｉｍｅｓｔａｍｐ情報と比較し（S4）、Ｔｉｍｅｓｔａｍｐが先行した場合、その差の時間を計算しその分の時間を待って（S5）、表現手段へ渡す（S6）
【産業上の利用可能性】
【００２３】
本発明に係る転送システムによれば、ＤＶＢ−Ｈ・Ｔ放送波をはじめとする遅延一定のパケット型デジタルネットワークで映像と音声信号を転送するシステムには有用である。
【図面の簡単な説明】
【００２４】
【図１】本発明の構成を示すブロック図
【図２】本発明の受信機の一例の構成を示す模式図
【図３】本発明の初期化動作を示すフローチャート
【図４】本発明の受信機器の動作を示すフローチャート
【図５】本発明の課題を説明する模式図
【図６】本発明の課題を説明する模式図
【図７】本発明の課題を説明する模式図
【図８】本発明の課題を説明する模式図
【符号の説明】
【００２５】
１００    受信手段
１０１    プログラム実行手段
１０２    記憶手段
１０３    クロック生成手段
１０４    表現手段
３０１    送信機器
３０２    受信機器
【図１】
2007104263.tif 000003
【図２】
2007104263.tif 000004
【図３】
2007104263.tif 000005
【図４】
2007104263.tif 000006
【図５】
2007104263.tif 000007
【図６】
2007104263.tif 000008
【図７】
2007104263.tif 000009
【図８】
2007104263.tif 000010