(57)【要約】【課題】受信データのタイムスタンプを受信側で正確に復元して、受信データの再生時刻を保証した再生を確実に行なえるようにする。【解決手段】受信データの受信時刻又は当該受信データに付与された時間情報を基に、該受信データの再生時刻を示すタイムスタンプを生成するタイムスタンプ復元手段３と、該タイムスタンプ復元手段３で得られたタイムスタンプを該受信データの再生時の基準タイミングと対応付けることにより補正するタイムスタンプ補正手段５とをそなえるように構成する。【選択図】        図３
2004282569.tif 000002
【特許請求の範囲】
【請求項１】
受信データの受信時刻又は当該受信データに付与された時間情報を基に、該受信データの再生時刻を示すタイムスタンプを生成するタイムスタンプ復元手段と、
該タイムスタンプ復元手段で得られたタイムスタンプを該受信データの再生時の基準タイミングと対応付けることにより補正するタイムスタンプ補正手段とをそなえたことを特徴とする、タイムスタンプ復元装置。
【請求項２】
該タイムスタンプ復元手段が、
現在及び過去の受信データの受信時刻と過去の受信データに付与された時間情報との相関に基づいて現在の受信データの時間情報を推定する第１時間情報推定部と、
該第１時間情報推定部により得られた時間情報に基づいてタイムスタンプを生成する第１タイムスタンプ生成部とをそなえたことを特徴とする、請求項１記載のタイムスタンプ復元装置。
【請求項３】
該タイムスタンプ復元手段が、
現在からｎ個前（ｎは自然数）までの時間情報を付与された各受信データについて、想定される時間情報の全ての組み合わせを計算し、得られた組み合わせの中から、正しいと推定される時間情報の組み合わせを選択する第２時間情報推定部と、
該第２時間情報推定部により得られた時間情報の組み合わせに基づいて、現在からｎ個前までの受信データのタイムスタンプを生成する第２タイムスタンプ生成部とをそなえたことを特徴とする、請求項１記載のタイムスタンプ復元装置。
【請求項４】
該タイムスタンプ復元手段が、
通信開始から現在までの時間情報を付与された受信データについて、想定される時間情報の全組み合わせの中から動的計画法によって正しいと推定される時間情報の組み合わせを求める第３時間情報推定部と、
該第３時間情報推定部により得られた時間情報の組み合わせに基づいて、通信開始から現在までの全受信データのタイムスタンプを生成する第３タイムスタンプ生成部とをそなえたことを特徴とする、請求項１記載のタイムスタンプ復元装置。
【請求項５】
受信データの受信時刻又は当該受信データに付与された時間情報を基に、該受信データの再生時刻を示すタイムスタンプを生成し、
該タイムスタンプを該受信データの再生時の基準タイミングと対応付けることにより補正することを特徴とする、タイムスタンプ復元方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、タイムスタンプ復元装置及び復元方法に関し、特に、送信側から送信されたデータの時間情報を受信側で必要とする場合に、その時間情報（タイムスタンプ）を復元するための技術に関する。
【０００２】
【従来の技術】
従来のタイムスタンプ復元システムは、例えば下記の特許文献１や特許文献２，特許文献３等に記載されているように、送信側が付加したデータをそのまま用いることが多い。つまり、受信側では受信したデータ（パケット）の時間情報を用いてデータの再生や表示、記録（蓄積）、使用等の時刻（時間情報）（以降、まとめて「再生時刻」と称する）を知ることが可能で、各目的に応じて使用することができる。
【０００３】
ここで、時間情報の付加の方法は大きく分けて２通りある。
第一の手法は、データの時間情報を反映した送信を行なう手法である。例えば、送信側において周期的に等間隔で生成（サンプリング）されるデータ（例えば、オーディオデータ）は、周期的に等間隔でオーディオパケットとして送信される。即ち、例えば、回線レートが６４ｋｂｐｓで、２０ｍｓｅｃ間隔で生成（サンプリング）されるデータは、１６０バイト間隔で送信データに多重化される（図１４の▲１▼，▲２▼参照）。
【０００４】
また、二種類以上のデータ（例えば、オーディオデータとビデオデータ）を（時分割）多重化する場合は、オーディオデータのサンプリング周期（送信周期）に対して一定の時間差〔スキュー（ｓｋｅｗ）〕をもって多重化される。
即ち、図１４の▲３▼，▲４▼に示すように、或るビデオサンプリング時刻でサンプリングされたエンコード後のビデオデータ（パケット）はオーディオパケットの送信時間以外の時間で送信される。この際、エンコード後のビデオパケットのサイズがオーディオパケットの送信時間内に納まらない場合、納まらない部分（符号１００，２００参照）は次のオーディオパケットの送信時間以外の時間で送信されることになる（図１４の▲５▼参照）。
【０００５】
このようにして、送信側において周期的に多重化されたデータ（パケット）は受信側で周期的に受信されるので、図１５に模式的に示すように、受信側において各パケットの受信時刻（ｔ０，ｔ１，ｔ２，ｔ３，ｔ４，ｔ５，ｔ６）からタイムスタンプ（オーディオタイムスタンプ及びビデオタイムスタンプ）を生成（復元）することが可能となる。
【０００６】
これに対し、第二の手法は、送信データ中に時間情報を埋め込んでおく手法である。この手法では、時間情報のフォーマットとして、１秒以上と１秒未満の組み合わせで時間情報を付加するものが多い。具体的に、時間情報のフォーマットとしては、大きく分けて以下の３パターンがある。
（１）１秒以上および１秒未満の情報共に絶対時刻で時間情報が提供される。
【０００７】
（２）１秒以上および１秒未満の情報共に差分時間で提供される。
（３）１秒以上の情報が前受信データとの差分時刻、１秒未満の情報が絶対時刻でそれぞれ提供される。
ここで、上記（１）の手法の特徴は前データの喪失による時間情報の誤りの累積がないため、エラー耐性に優れている。しかし、絶対時刻を付与するため、ヘッダサイズが大きくなり、符号化レートの悪化を招く。これに対し、上記（２）の手法では、逆に符号化レートは向上するが、エラーに非常に弱い。一つのフレームの喪失が将来のデータの時間情報すべてを狂わせてしまうからである。
【０００８】
一方、上記（３）の手法は、上記（１）及び（２）の手法の中間の特徴を有し、例えばＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）標準のＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−４で用いられている。以下、ＩＳＯ標準のＭＰＥＧ−４での時間情報の付加を例にして、上記（３）の手法について説明する。
ＭＰＥＧ−４におけるビデオフレームは、例えば図１６に示すように、ｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅとｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔと呼ばれる時間情報をもっている。ここで、ｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅは前ビデオフレームとの時間差（秒単位）を表しており、ｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔは１秒未満の絶対時間情報を表している。
【０００９】
即ち、この図１６に示すように、最初のビデオフレームのｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅが“０”で、ｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔが“３”であれば、そのビデオフレームの再生（復元）時刻は“３．３”秒、２番目のビデオフレームのｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅが“１”で、ｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔが“２”であれば、２番目のビデオフレームの再生時刻は“４．２”秒となる。
【００１０】
同様に、３番目のビデオフレームのｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅが“０”で、ｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔが“７”であれば、３番目のビデオフレームの再生時刻は“４．７”秒、４番目のビデオフレームのｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅが“１”で、ｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔが“５”であれば、４番目のビデオフレームの再生時刻は“５．５”秒となる。
なお、以上２通りの時間情報付加の手法は、単独で用いられる場合もあるし、組み合わせて用いられることもある。
【００１１】
【特許文献１】
特開平７−１８４１７８号公報
【特許文献２】
特開平１１−２３９１７９号公報
【特許文献３】
特許第３２７８７９４号公報
【００１２】
【発明が解決しようとする課題】
しかしながら、まず、上述した第一の手法では、単一種類のデータ（例えば、オーディオデータのみ）を受信する場合、受信時刻をそのまま用いてタイムスタンプを生成すると（即ち、タイムスタンプ＝受信時刻）、図１７に模式的に示すように、送信側での送信データ生成時のクロックジッタやスキューの変動により、実際の再生時刻（再生側のサンプリング時間）とは異なるタイムスタンプが生成されるおそれがある。
【００１３】
また、複数種類のデータ（例えば、オーディオデータとビデオデータ）の多重化を行なう場合に、上記第一の手法では、送信側において周期的に生成（サンプリング）されるデータをその時間的な周期を守りながら、スキューも守らなければならない。ところが、ビデオデータのように、データの情報量が一定でない場合は、情報量の大小が要因となって、例えば図１８に模式的に示すように、スキューを守れない状況が生じる。
【００１４】
即ち、図１８の▲５▼に示すように、３番目のビデオフレームの先頭は、本来、符号３００で示すタイミングで多重化ストリームに多重化されるべきであるが、１つ前のビデオフレームの一部が多重化（送信）されるため、当該タイミング３００で多重化することができず、時間的に後ろにずれた符号４００で示すタイミングでしか多重化することができない。
【００１５】
したがって、このような状況下ではビデオパケットの受信時刻から正確なタイムスタンプを生成することは困難である。
一方、上述した第二及び第三の手法においては、時間情報が前フレームとの差分で表されている場合にエラー耐性が弱いので、無線通信のように回線品質が有線に比べて悪く、回線エラーが受信データに多く重畳される状況では、時間情報が破壊されてしまうことが多い。
【００１６】
時間情報が全て絶対時刻で表されている場合には問題ないが、時間情報が前フレームの差分で表されている場合は、１フレームの時間情報が破壊されると、以後のフレームの時間情報は全て誤ることになる（図１９参照）。このようなエラーの伝播はＡＶ（Ａｕｄｉｏ  ａｎｄ  Ｖｉｓｕａｌ）同期などを狂わせ、オーディオとビデオの同期が徐々にずれていくような現象が生じる。
【００１７】
本発明は、このような課題に鑑み創案されたもので、受信データのタイムスタンプを受信側で正確に復元して、受信データの再生時刻を保証した再生を確実に行なえるようにした、タイムスタンプ復元装置及び復元方法を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記の目的を達成するために、本発明のタイムスタンプ復元装置（請求項１）は、以下の各手段をそなえたことを特徴としている。
（１）受信データの受信時刻又は当該受信データに付与された時間情報を基に、該受信データの再生時刻を示すタイムスタンプを生成するタイムスタンプ復元手段
（２）該タイムスタンプ復元手段で得られたタイムスタンプを該受信データの再生時の基準タイミングと対応付けることにより補正するタイムスタンプ補正手段ここで、該タイムスタンプ復元手段は、現在及び過去の受信データの受信時刻と過去の受信データに付与された時間情報との相関に基づいて現在の受信データの時間情報を推定する第１時間情報推定部と、該第１時間情報推定部により得られた時間情報に基づいてタイムスタンプを生成する第１タイムスタンプ生成部とをそなえていてもよい（請求項２）。
【００１９】
また、該タイムスタンプ復元手段は、現在からｎ個前（ｎは自然数）までの時間情報を付与された各受信データについて、想定される時間情報の全ての組み合わせを計算し、得られた組み合わせの中から、正しいと推定される時間情報の組み合わせを選択する第２時間情報推定部と、該第２時間情報推定部により得られた時間情報の組み合わせに基づいて、現在からｎ個前までの受信データのタイムスタンプを生成する第２タイムスタンプ生成部とをそなえていてもよい（請求項３）。
【００２０】
さらに、該タイムスタンプ復元手段は、通信開始から現在までの時間情報を付与された受信データについて、想定される時間情報の全組み合わせの中から動的計画法によって正しいと推定される時間情報の組み合わせを求める第３時間情報推定部と、該第３時間情報推定部により得られた時間情報の組み合わせに基づいて、通信開始から現在までの全受信データのタイムスタンプを生成する第３タイムスタンプ生成部とをそなえていてもよい（請求項４）。
【００２１】
また、本発明のタイムスタンプ復元方法（請求項５）は、受信データの受信時刻又は当該受信データに付与された時間情報を基に、該受信データの再生時刻を示すタイムスタンプを生成し、該タイムスタンプを該受信データの再生時の基準タイミングと対応付けることにより補正することを特徴としている。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
〔Ａ〕一実施形態の説明
図１及び図２はそれぞれ本発明の一実施形態としてのタイムスタンプ復元システムの構成を示す模式図で、図１は本発明のタイムスタンプ復元装置がモバイルネットワーク１０に接続する移動端末（モバイルノード）１１に適用でき、図２は本発明のタイムスタンプ復元装置をモバイルネットワーク１０，ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワーク２０，その他のネットワーク３０間を相互に接続するゲートウェイ等のノード４０に適用できることをそれぞれ表している。
【００２３】
また、図１には、本発明のタイムスタンプ復元装置により、移動端末１１において、モバイルネットワーク１０から受信されるデータ（パケット）のタイムスタンプを正確に復元してビデオデータとオーディオデータとの同期を確実にとりながら再生できることが模式的に表されている。
そして、図３は本実施形態のタイムスタンプ復元装置の構成を示すブロック図で、この図３に示すタイムスタンプ復元装置１は、その要部に着目すると、例えば、分離部２，タイムスタンプ生成部（タイムスタンプ復元部）３，再生タイミング生成部４及び再生タイミング時刻対応部５をそなえて構成されている。
【００２４】
ここで、分離部２は、モバイルネットワーク１０やＩＰネットワーク２０，その他のネットワーク３０から受信されるデータ（受信フレーム）を識別してビデオフレームとオーディオフレームとに分離するもので、分離されたビデオフレーム（又はオーディオフレーム）がタイムスタンプ生成部３へ入力されるようになっている。
【００２５】
タイムスタンプ生成部３は、分離部２から入力された受信フレームの受信時刻又は受信フレームに付与された（埋め込まれた）時間情報を基に、受信フレームの受信側での再生時刻を示すタイムスタンプを生成するものである。なお、本実施形態において、受信フレームの「再生」には、受信フレームの再生のほか、表示，記録（蓄積），使用等の概念も含まれるものとする。
【００２６】
再生タイミング生成部（基準タイミング生成手段）４は、上記受信フレームの再生時の基準タイミング（再生タイミング時刻）を生成するものである。なお、送信側での送信データのサンプリングは周期的な時間間隔で行なわれているから、受信側での「再生タイミング時刻」も送信側でのサンプリング時刻と同じ周期である。したがって、「再生タイミング時刻」＝「送信側でのサンプリング時刻」＋「オフセット」の関係が成り立つ。
【００２７】
再生タイミング時刻対応部（タイムスタンプ補正手段）５は、上記のタイムスタンプ生成部３により生成されたタイムスタンプを再生タイミング生成部４で生成される再生タイミング時刻と対応付けることにより補正するものである。つまり、本実施形態のタイムスタンプ復元装置１は、周期的な「再生タイミング時刻」のいずれかに受信フレームを対応付け、対応付けた「再生タイミング時刻」をタイムスタンプとするようになっている。
【００２８】
上述のごとく構成されたタイムスタンプ復元装置１では、受信フレームの受信時刻が再生タイミング時刻と比較され、最も近い時刻のものに対応付けされる。ただし、最も近い再生タイミング時刻が既に１つ前の受信フレームによって選択されていた場合には、その次の再生タイミング時刻が選択される。
例えば、タイムスタンプ生成部３によって多重化ストリーム中の受信フレームから生成される仮の時刻（再生時刻）を、
【００２９】
【数１】
2004282569.tif 000003
【００３０】
とする。これに対して再生タイミング生成部４によって生成される受信側の再生タイミング時刻を、
【００３１】
【数２】
2004282569.tif 000004
【００３２】
とする。ベクトルＶ中の各要素とベクトルＳ中の各要素の対応付けは、例えば図４に示すような対応付けとなる。つまり、まず仮の再生時刻νｉを求め、受信側の再生タイミング時刻との対応付けを行なうことによってタイムスタンプを復元するのである。
より具体的には、例えば図５に示すように、１秒間に１０回サンプリングを行なうデータの場合、タイムスタンプ生成部３が受信フレームの受信時刻又は当該受信フレームに埋め込まれている時間情報を基に生成した仮の時刻（ジッタを含む）（秒）が“３．９３”，“４．０８”，“４．２８”，“４．５２”，“４．８９”だったとすると、再生タイミング時刻対応部５は、これらの仮の時刻“３．９３”，“４．０８”，“４．２８”，“４．５２”，“４．８９”を、再生タイミング生成部４が生成する再生タイミング時刻“３．９０”，“４．００”，“４．１０”，…“４．８０”，“４．９０”と比較して、最も近い再生タイミング時刻に対応付けを行なう。
【００３３】
したがって、この図４の場合、仮の時刻“３．９３”は再生タイミング時刻“３．９０”、仮の時刻“４．０８”は再生タイミング時刻“４．１０”、仮の時刻“４．２８”は再生タイミング時刻“４．３０”、仮の時刻“４．５２”は再生タイミング時刻“４．５０”、仮の時刻“４．８９”は再生タイミング時刻“４．９０”へそれぞれ対応付けられることになる。
【００３４】
このようにして、以降、仮の再生時刻νｉに対応する再生タイミング時刻を復元されたタイムスタンプｓｉ（νｉ）として選択することで、受信フレームの再生時刻を受信側での基準再生時刻である再生タイミング時刻に常に合わせ込むことができる。したがって、再生時刻を保証したデータ再生が確実に可能となり、ビデオデータとオーディオデータの同期を確実にとることが可能となる。
【００３５】
〔Ｂ〕第１変形例の説明
図６は上述したタイムスタンプ復元装置の第１変形例を示すブロック図で、この図６に示すタイムスタンプ復元装置１Ａは、図１に示すものに比して、タイムスタンプ復元部３として、時間情報保持部３１，時間情報推定部３２及びタイムスタンプ生成部３３をそなえて構成されている点が異なる。なお、分離部２，再生タイミング生成部４及びサンプリング時刻対応部５は、それぞれ、特に断らない限り、図１により上述したものと同一もしくは同様のものである。
【００３６】
さてここで、上記の時間情報保持部３２は、時間情報が埋め込まれた受信フレームを受信した場合に、その時間情報を保持しておくものであり、時間情報推定部（第１時間情報推定部）３１は、この時間情報保持部３２に保持された現在の受信フレームよりも１つ前の過去の受信フレームに埋め込まれていた時間情報を基に現在の受信フレームの時間情報を推定するもので、ここでは、後述するように、現在及び過去の受信フレームの受信時刻と過去の受信フレームに付与された時間情報との相関に基づいて現在の受信データの時間情報を推定して復元するようになっている。
【００３７】
そして、タイムスタンプ生成部（第１タイムスタンプ生成部）３３は、上記時間情報推定部３１により得られた受信データの時間情報を基に受信側でのその再生時刻を示すタイムスタンプを生成（復元）するものである。
以下、上述のごとく構成されたタイムスタンプ復元装置１Ａの動作について説明する。
【００３８】
まず、受信フレームの再生時刻νｉの時刻情報が秒単位の情報と１秒未満の情報の組によって表され、双方の時刻情報が前受信フレームとの差分で表されている場合、再生時刻νｉは次式（３）で表すことができる。
【００３９】
【数３】
2004282569.tif 000005
【００４０】
ただし、この式（３）において、ｍｉは１秒以上の時間情報（差分時刻）を表し、ｎｉは１秒未満の時間情報（差分時刻）を表している。
一方、１秒以上の時刻が差分で、１秒未満の時刻が絶対時刻で表される場合、再生時刻νｉは、次式（４）で表すことができる。
【００４１】
【数４】
2004282569.tif 000006
【００４２】
この時間情報を用いてタイムスタンプを生成する。
まず、再生時刻νｉが式（４）で表される、即ち、１秒以上の時間情報が差分時刻で、１秒未満の時間情報が絶対時間で表されている場合のタイムスタンプ復元方法について述べる（これをケース１とする）。なお、この場合、再生時刻νｉの時刻情報が前受信フレームとの相対値によって表されているので、前受信フレームの時間情報が受信側で欠落すると、以降の時刻情報そのものが誤ったものになることは先に述べた通りである。
【００４３】
（ケース１）
前記の式（１）で表されるベクトルＶと式（２）で表されるベクトルＳとの対応付けは、本ケース１では１秒未満の時間情報が絶対時刻であるので、例えば図７に模式的に示すように秒単位の時間情報を推定し、この結果と再生タイミング時刻との対応付けとなる。１秒以上の差分時刻の値が決定されれば、１秒未満の時間情報は絶対時間のため、タイムスタンプは一意に決定される。以下、実際に最適解（正しいと推定される時間情報）を求めるための漸化式を導き出す。
【００４４】
まず、タイムスタンプ推定値の正当性を評価するための距離関数を次式（５）及び（６）により定義する。
【００４５】
【数５】
2004282569.tif 000007
【００４６】
【数６】
2004282569.tif 000008
【００４７】
ここで、式（５）において、ｗ（νｉ）は重み関数を表す。回線エラーの程度を考えると、前フレームとの時間差が２秒以上になることはほとんどないと考えられるので、重み関数ｗ（νｉ）を例えば次式（７）に示すように定義する。
【００４８】
【数７】
2004282569.tif 000009
【００４９】
以上から、再生時刻νｉの１秒以上の時刻ｍｉは次式（８）で与えられる。
【００５０】
【数８】
2004282569.tif 000010
【００５１】
ここで、ｎｉは１秒未満の時間を表し、ΔＶｉは、多重化ストリーム中の前受信データの挿入位置と時刻推定対象である受信データの挿入位置の時間差を表している。例えば、両者の差が１６０バイトで、かつ、回線のレートが６４ｋｂｐｓならば、時間差は２０ｍｓｅｃとなる。Δνｉと受信データの多重化ストリーム中の挿入位置とは相関が強いと考えられるので、式（７）の関係が成り立つ。また、βは１以上の実数で、βが大きければ大きいほどｍｉ＝２の可能性が小さくなる。
【００５２】
即ち、時間情報推定部３１は、式（８）により、時刻νｉにおいて、式（５）の関数が最小となる１秒以上の時間情報の値として、０か１か２のいずれかを選択することで１秒以上の時間情報（差分時間）の訂正を行なって時間情報ｍｉを復元するのである。
１秒未満の時間情報ｎｉは絶対時刻で表されているので、１秒未満の時間情報については受信フレームに埋め込まれている時間情報ｎｉをそのまま用いる。タイムスタンプ生成部３３は、このようにして求められた１秒以上の時間情報ｍｉと、絶対時刻で表されている１秒未満の時間情報ｎｉから仮の再生時刻νｉを生成する。
【００５３】
そして、このようにして得られた仮の再生時刻νｉについて、サンプリング時刻対応部５が、図４，図５により前述した対応付けと同様にして、再生タイミング時刻（タイムスタンプ）ｓｉ（νｉ）を選択する。
（ケース２）
次に、１秒以上の時間情報および１秒未満の時間情報の双方が前フレームとの差分時間で表されている場合を考える。１秒以上の時間は１秒以上の時間情報が差分時間で表されているもの（ケース１）と同じ手法を用いて計算する。次に、１秒未満の再生時刻に対しても同様の対応付けを行なう。
【００５４】
一つの手段としては、１秒以下の時刻は、仮に誤った対応付けを行なっても、ダメージが少なく、また、上述したケース１の手法によって１秒以上のデータ再生時刻の誤差を生じないので、差分時間情報から１秒未満の時刻を生成し、これを用いてサンプリング時刻との対応付けを行なう。つまり、サンプリング時刻対応部５は、次式（９）を解くことによってタイムスタンプの生成を行なう。
【００５５】
【数９】
2004282569.tif 000011
【００５６】
また、もう一つの手法として、１秒未満の時間情報の復元も上述したケース１での１秒以上の時間情報の復元と同様の手法を用いる方法もある。
ここで、νｉは前受信フレームの時刻との和で生成されるので、νｉは誤りを含んでいる可能性が高い。そこで、誤りを含む可能性のある時刻νｉをνｉ′とおく。νｉ′に最も時刻が近い再生タイミング時刻をｓｊ′とする。また、時刻ｓｊ＋ｎ′（ｎは整数）をＴｉ（ｎ）とおくと、誤りを含んだνｉ′の誤りを含む前の時刻はＴｉ（ｎ）のいずれかであると考えられる。今、距離関数を次式で定義する。
【００５７】
【数１０】
2004282569.tif 000012
【００５８】
タイムスタンプｓ（νｉ）は、νｉ−１を固定にして、Ｔｉ（ｎ）を以下の式（１１）及び（１２）に示す制限の下で上記の式（１０）を最小にする時刻を計算することによって求められる。
【００５９】
【数１１】
2004282569.tif 000013
【００６０】
【数１２】
2004282569.tif 000014
【００６１】
即ち、サンプリング時刻対応部５は、以下の式（１３）を解くことによって、１秒以上の時間情報復元後に１秒未満の時間情報を復元できる。
【００６２】
【数１３】
2004282569.tif 000015
【００６３】
なお、この式（１３）は、図８に模式的に示すように、時刻νｉに最も近い再生タイミング時刻Ｔｉ（０）を基準に、上記式（１２）で示される制限下でｋを動かして、ΔＶに最も近い時刻Ｔｉ（ｋ）−νｉ−１を求めることを意味している。
以上のように、本手法を用いれば、例えば、無線通信のように回線品質が悪く、データがエラーによって破壊されたり欠落してしまったりする環境下においても、破壊・欠落した時間情報を受信側で正確に推定・復元することが可能となる。したがって、例えば、第三世代通信システムで用いられるＨ．３２４Ｍ端末から出力される送信データ（ＡＶデータ）から、ビデオデータとオーディオデータのタイムスタンプを正確に復元して、再生時刻を保証した正確なＡＶ同期を実現できる。
【００６４】
〔Ｃ〕第２変形例の説明
図９は図１にて上述したタイムスタンプ復元装置の第２変形例を示すブロック図で、この図９に示すタイムスタンプ復元装置１Ｂは、図１に示すものに比して、タイムスタンプ復元部３として、時間情報推定部３１Ｂ，時間情報保持部３２Ｂ，タイムスタンプ生成部３３Ｂ及びデータ保持部３４をそなえて構成されている点が異なる。
【００６５】
ここで、時間情報保持部３２Ｂは、時間情報推定部３１Ｂで推定される、現在からｎ個（ｎは自然数）前までの時間情報を保持するものであり、データ保持部３４は、現在からｎ個前までの受信フレームのデータを保持するものである。
そして、時間情報推定部（第２時間情報推定部）３１Ｂは、時間情報保持部３２Ｂで保持されている現在からｎ個前（ｎは自然数）までの時間情報を用いて、想定される現在からｎ個前までの受信フレーム内の時間情報の全ての組み合わせを計算し、その組み合わせの中から正しいと推定される時間情報の組み合わせを選択することにより、現在受信したデータの時間を正しいと推定される値に修正するとともに、データ保持部３４に保持されている、過去に受信したｎ個前までの受信フレームの時間情報を修正する機能を有するものである。
【００６６】
タイムスタンプ生成部（第２タイムスタンプ生成部）３３Ｂは、上述のごとく修正された現在からｎ個前までの時間情報に基づいて、現在からｎ個前までの受信フレームの時間情報を生成（復元）するものである。
なお、分離部２，再生タイミング生成部４，サンプリング時刻対応部５は、いずれも、特に断らない限り、既述のものと同一もしくは同様のものである。
【００６７】
以下、上述のごとく構成されたタイムスタンプ復元装置１Ｂの動作について説明する。
まず、現在受信したフレーム（ｉ番目のデータとする）からｎ個前までの受信データのコスト関数（距離関数）は、前記の式（５）から次式（１４）で表される。
【００６８】
【数１４】
2004282569.tif 000016
【００６９】
したがって、時間情報推定部３１Ｂは、現在からｎ個前までの受信データについて上記のコスト関数式（１４）が最小となるｍｉの組み合わせを選択することによって、１秒以上の時間情報ｍｉを生成（復元）する。
例えば、現在受信したデータの１秒以上の時間情報ｍｉと、１個前に受信したデータの１秒以上の時間情報ｍｉ−１との組み合わせは、図１０に示す９通りがある。これらの９通りについて、前記の式（５）のコスト関数ｄ（νｉ，νｉ−１）を時間情報推定部３１Ｂにおいて計算し、その計算値が最も小さくなる時間情報ｍｉと時間情報ｍｉ−１の組み合わせをタイムスタンプ生成部３３Ｂが選択することで、現在から１個前までの受信データの１秒以上の時間情報ｍｉを生成復元する。
【００７０】
同様にして、時間情報推定部３１Ｂは、図１１に示すように、ｎ個前までの受信データについてもｍｉ〜ｍｉ−ｎの全ての組み合わせについて、式（５）のコスト関数ｄ（νｉ−ｎ，νｉ−ｎ−１）を計算し、その計算結果の累積値（式（１４））が最も小さくなるｍｉ〜ｍｉ−ｎを選択することで、現在からｎ個前までの受信データの１秒以上の時間情報ｍｉを復元する。
【００７１】
１秒未満の時間情報ｎｉについては、第１変形例のケース１又はケース２で述べた手法を用いて復元する。なお、１秒未満の時刻に関しても誤りを許容できない場合は、次式（１５）を最小にするνｋの組み合わせを計算することによって１秒未満の時間情報を生成する。
【００７２】
【数１５】
2004282569.tif 000017
【００７３】
以降は、タイムスタンプ生成部３３Ｂが、上述のようにして求められた１秒以上の時間情報ｍｉと１秒未満の時間情報ｍｉとで表される仮の再生時刻νｉを生成し、その再生時刻νｉについて、サンプリング時刻対応部５が、前述した対応付けと同様にして、再生タイミング時刻（タイムスタンプ）ｓｉを選択する。
このように、本第３変形例では、タイムスタンプの誤対応が発生した場合でも、受信を続けるうちに、現在からｎ個前までの時間情報の中で式（１４）又は式（１４）及び式（１５）を最小にする最適なタイムスタンプが復元されるので、通信を継続するほど、より再生時刻を正確に保証したデータ再生が可能となる。
【００７４】
なお、双方向通信のようなリアルタイム通信では、既に再生してしまったデータのタイムスタンプは復元する必要がないので、上記のデータ保持部３４は不要にしてもよい。
〔Ｄ〕第３変形例の説明
図１２は上述したタイムスタンプ復元装置の第３変形例を示すブロック図で、この図１２に示すタイムスタンプ復元装置１Ｃは、図９に示すものに比して、タイムスタンプ復元部３として、時間情報推定部３１Ｂ，時間情報保持部３２Ｂ，タイムスタンプ生成部３３Ｂ及びデータ保持部３４に代えて、時間情報推定部３１Ｃ，時間情報保持部３２Ｃ，タイムスタンプ生成部３３Ｃ及びデータ保持部３４Ｃをそなえるとともに、最適コスト関数値保持部３５と最適ブランチ保持部３６とをそなえて構成されている。
【００７５】
ここで、時間情報保持部３２Ｃは、時間情報推定部３１Ｃで推定される、通信開始から現在までに受信される全ての受信フレームについての時間情報を保持するものであり、最適ブランチ保持部３６は、過去の各時刻おける各ノードの１時刻前のノード間での最小距離となるブランチ情報（図１３参照）を保持しておくものであり、最適コスト関数値保持部３５は、過去の各ノードについての最適パスのコスト関数値を保持しておくものであり、データ保持部３４Ｃは、通信開始から現在までに受信した全てのフレーム（データ）を保持しておくものである。
【００７６】
そして、時間情報推定部（第３時間情報推定部）３１Ｃは、最適コスト関数値保持部３５と最適ブランチ保持部３６に保持されている情報を基に「動的計画法」（例えば、参考文献Ｈｉｒｏａｋｉ  Ｓａｋｏｅ  ａｎｄ  Ｓｅｉｂｉ  Ｃｈｉｂａ，“Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ  Ａｌｇｏｒｉｔｈｍ  Ｏｐｔｉｍｉｚａｔｉｏｎ  ｆｏｒ  Ｓｐｏｋｅｎ  Ｗｏｒｄ  Ｒｅｃｏｇｎｉｔｉｏｎ”，ＩＥＥＥ  Ｔｒａｎｓ．Ａｃｏｕｓｔ．，Ｓｐｅｅｃｈ，Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．ＡＳＳＰ−２６，Ｎｏ．１，ｐｐ．４３−４９，Ｆｅｂ．，１９７８．参照）を利用して、現在受信したフレームの時間情報を正しいと推定される値に修正するとともに、過去に受信したフレーム全ての時間情報を修正する機能を有するものである。
【００７７】
タイムスタンプ生成部（第３タイムスタンプ生成部）３３Ｃは、上述のごとく「動的計画法」を用いて修正された各受信フレームの時間情報に基づいて各受信フレームのタイムスタンプを生成（復元）するものである。
なお、この場合も、分離部２，再生タイミング生成部４及びサンプリング時刻対応部５は、いずれも、特に断らない限り、既述のものと同一もしくは同様のものである。
【００７８】
つまり、本変形例では、通信開始から現在までの全てのタイムスタンプを、コスト関数を最小にする最適解（正しいと推定される時間情報の組み合わせ）を求めることによって生成（復元）するのであるが、通信開始から現在までのタイムスタンプの復元に要する計算量は既述の第２変形例と比較して膨大になるため、「動的計画法」を利用して演算量を大幅に削減して最適解（時間情報の組み合わせ）を高速に計算できるようになっているのである。なお、「動的計画法」は、コスト関数を漸化式によって定義し、各時点でコスト関数を最小にする組み合わせを決定する手法である。
【００７９】
以下、上述のごとく構成された本変形例のタイムスタンプ復元装置１Ｃの動作について説明する。
まず、通信開始から現在までのタイムスタンプの復元において、最小化すべきコスト関数は次式（１６）で与えられる。
【００８０】
【数１６】
2004282569.tif 000018
【００８１】
ここで、時刻ｔνｉの１秒以上の時間をｍｉとすると、式（１６）を最小化するｍｉは次式（１７）及び（１８）の漸化式を解くことによって得られる。
【００８２】
【数１７】
2004282569.tif 000019
【００８３】
【数１８】
2004282569.tif 000020
【００８４】
即ち、時間情報推定部３１Ｃは、これらの式（１７）及び式（１８）を解くことによって、動的計画法による通信開始から現在までの全受信データの時間情報の復元を行なう。なお、式（１７）及び式（１８）によって漸化式を解く過程を図１３に示す。
これにより、通信の過程で一時的にタイムスタンプの誤対応が発生した場合でも、受信を続けるうちに全ての受信フレームの時間情報を正確に復元し直すことが可能になる。なお、この場合は、前述した第２変形例における“ｎ”の値を大きくした場合と比較して計算量が少ないという利点がある。
【００８５】
そして、１秒以上の時刻情報が生成されたら、▲１▼１秒未満の時刻が絶対時刻ならば、絶対時刻を１秒未満の時刻としてタイムスタンプを復元し、▲２▼差分時刻ならば、以下のように動的計画法によって求める。
まず、最小化すべきコスト関数を次式で定義する。
【００８６】
【数１９】
2004282569.tif 000021
【００８７】
このとき、動的計画法を実現するための漸化式は次式（２０）で与えられる。
【００８８】
【数２０】
2004282569.tif 000022
【００８９】
【数２１】
2004282569.tif 000023
【００９０】
以上を解くことによって、受信データにエラーが生じる環境下においても最適なタイムスタンプを生成することができる。
なお、上述した例においても、双方向通信のようなリアルタイム通信では、既に再生してしまったデータのタイムスタンプは復元する必要がないので、データ保持部３４Ｃおよび最適ブランチ保持部３６は不要にすることができる。
【００９１】
（Ｅ）その他
本発明は、上述した実施形態及び各変形例に限定されず、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述した実施形態及び各変形例では、いずれも、本発明を受信データとしてＡＶデータ（オーディオデータ及びビデオデータ）に適用した場合について説明したが、本発明はこれに限定されず、ＡＶデータ以外のデータ、例えば、テキストデータとビデオデータの同期など、様々なデータ形式においても本発明を適用することができる。
【００９２】
（Ｆ）付記
（付記１）  受信データの受信時刻又は当該受信データに付与された時間情報を基に、該受信データの再生時刻を示すタイムスタンプを生成するタイムスタンプ復元手段と、
該タイムスタンプ復元手段で得られたタイムスタンプを該受信データの再生時の基準タイミングと対応付けることにより補正するタイムスタンプ補正手段とをそなえたことを特徴とする、タイムスタンプ復元装置。
【００９３】
（付記２）  該タイムスタンプ復元手段が、
現在及び過去の受信データの受信時刻と過去の受信データに付与された時間情報との相関に基づいて現在の受信データの時間情報を推定する第１時間情報推定部と、
該第１時間情報推定部により得られた時間情報に基づいてタイムスタンプを生成する第１タイムスタンプ生成部とをそなえたことを特徴とする、付記１記載のタイムスタンプ復元装置。
【００９４】
（付記３）  該タイムスタンプ復元手段が、
現在からｎ個前（ｎは自然数）までの時間情報を付与された各受信データについて、想定される時間情報の全ての組み合わせを計算し、得られた組み合わせの中から、正しいと推定される時間情報の組み合わせを選択する第２時間情報推定部と、
該第２時間情報推定部により得られた時間情報の組み合わせに基づいて、現在からｎ個前までの受信データのタイムスタンプを生成する第２タイムスタンプ生成部とをそなえたことを特徴とする、付記１記載のタイムスタンプ復元装置。
【００９５】
（付記４）  該タイムスタンプ復元手段が、
通信開始から現在までの時間情報を付与された受信データについて、想定される時間情報の全組み合わせの中から動的計画法によって正しいと推定される時間情報の組み合わせを求める第３時間情報推定部と、
該第３時間情報推定部により得られた時間情報の組み合わせに基づいて、通信開始から現在までの全受信データのタイムスタンプを生成する第３タイムスタンプ生成部とをそなえたことを特徴とする、付記１記載のタイムスタンプ復元装置。
【００９６】
（付記５）  受信データの受信時刻又は当該受信データに付与された時間情報を基に、該受信データの再生時刻を示すタイムスタンプを生成し、
該タイムスタンプを該受信データの再生時の基準タイミングと対応付けることにより補正することを特徴とする、タイムスタンプ復元方法。
（付記６）  現在及び過去の受信データの受信時刻と過去の受信データに付与された時間情報との相関に基づいて現在の受信データの該タイムスタンプを生成することを特徴とする、付記５記載のタイムスタンプ復元方法。
【００９７】
（付記７）  現在からｎ個前（ｎは自然数）までの時間情報を付与された各受信データについて、想定される時間情報の全ての組み合わせを計算し、得られた時間情報の組み合わせの中から、正しいと推定される時間情報の組み合わせを選択することにより、現在からｎ個前までの受信データの該タイムスタンプを生成することを特徴とする、付記５記載のタイムスタンプ復元方法。
【００９８】
（付記８）  通信開始から現在までの時間情報を付与された受信データについて、想定される時間情報の全組み合わせの中から動的計画法によって正しいと推定される時間情報の組み合わせを求めて、通信開始から現在までの全受信データの該タイムスタンプを生成することを特徴とする、付記５記載のタイムスタンプ復元方法。
【００９９】
【発明の効果】
以上詳述したように、本発明によれば、次のような効果ないし利点が得られる。
（１）受信データの受信時刻又は当該受信データに付与された時間情報を基に、その受信データの再生時刻を示すタイムスタンプを生成（復元）し、得られたタイムスタンプを受信データの再生時の基準タイミングと対応付けることにより補正するので、受信データの再生時刻を受信側での基準再生タイミングに常に合わせ込むことができ、再生時刻を保証したデータ再生を確実に行なえる（請求項１，５）。
【０１００】
（２）また、現在及び過去の受信データの受信時刻と過去の受信データに付与された時間情報との相関に基づいて現在の受信データのタイムスタンプを生成（推定）することもできるので、例えば、無線通信のように回線品質が悪く、データがエラーによって破壊されたり欠落してしまったりする環境下においても、破壊・欠落した時間情報を受信側で正確に推定・復元して正確なタイムスタンプを得ることができる（請求項２）。
【０１０１】
（３）さらに、現在からｎ個前（ｎは自然数）までの時間情報を付与された各受信データについて、想定される時間情報の全ての組み合わせを計算し、得られた時間情報の組み合わせの中から、正しいと推定される時間情報の組み合わせを選択することにより、現在からｎ個前までの受信データのタイムスタンプを生成することもできるので、タイムスタンプの誤対応が発生した場合でも、通信を継続するほど、より再生時刻を正確に保証したデータ再生が可能になる（請求項３）。
【０１０２】
（４）また、通信開始から現在までの時間情報を付与された受信データについて、想定される時間情報の全組み合わせの中から動的計画法によって正しいと推定される時間情報の組み合わせを求めて、通信開始から現在までの全受信データのタイムスタンプを生成することもできるので、上記（３）と同様の利点が得られるほか、単純に上記ｎの値を大きくする場合に比して、演算量を大幅に削減して最適解（正しいと推定される時間情報の組み合わせ）を高速に計算できるという利点が得られる（請求項４）。
【図面の簡単な説明】
【図１】本発明の一実施形態としてのタイムスタンプ（時間情報）復元システムの構成を示す模式図である。
【図２】本発明の一実施形態としての他のタイムスタンプ（時間情報）復元システムの構成を示す模式図である。
【図３】本実施形態に係るタイムスタンプ復元装置の構成を示すブロック図である。
【図４】図３に示すタイムスタンプ復元装置の動作（仮の再生時刻と再生タイミング時刻との対応付け）を説明するための模式図である。
【図５】図３に示すタイムスタンプ復元装置の動作（仮の再生時刻と再生タイミング時刻との対応付け）を説明するための模式図である。
【図６】図３に示すタイムスタンプ復元装置の第１変形例を示すブロック図である。
【図７】図６に示すタイムスタンプ復元装置の動作（仮の再生時刻と再生タイミング時刻との対応付け）を説明するための模式図である。
【図８】図６に示すタイムスタンプ復元装置の動作（仮の再生時刻と再生タイミング時刻との対応付け）を説明するための模式図である。
【図９】図３に示すタイムスタンプ復元装置の第２変形例を示すブロック図である。
【図１０】図９に示すタイムスタンプ復元装置の動作を説明すべくコスト関数を示す模式図である。
【図１１】図９に示すタイムスタンプ復元装置の動作を説明すべくコスト関数による時間情報の組み合わせを示す模式図である。
【図１２】図３に示すタイムスタンプ復元装置の第３変形例を示すブロック図である。
【図１３】図１２に示すタイムスタンプ復元装置の動作（動的計画法）を説明するための模式図である。
【図１４】従来のタイムスタンプ復元システムの動作（第一の手法）を説明するための模式図である。
【図１５】従来のタイムスタンプ復元システムの動作（第二の手法）を説明するための模式図である。
【図１６】ＭＰＥＧ−４におけるビデオフレームのタイムスタンプ復元方法（第三の手法）を説明するための模式図である。
【図１７】図１４に示す第一の手法の課題を説明するための模式図である。
【図１８】図１４に示す第一の手法の課題を説明するための模式図である。
【図１９】図１５及び図１６に示す第二及び第三の手法の課題を説明するための模式図である。
【符号の説明】
１，１Ａ，１Ｂ，１Ｃ  タイムスタンプ復元装置
２  分離部
３  タイムスタンプ生成部（タイムスタンプ復元部）
３１，３１Ｂ，３１Ｃ  時間情報推定部
３２，３２Ｂ，３２Ｃ  時間情報保持部
３３，３３Ｂ，３３Ｃ  タイムスタンプ生成部
４  再生タイミング生成部
５  再生タイミング時刻対応部（タイムスタンプ補正部）
１０  モバイルネットワーク
１１  移動端末（モバイルノード）
２０  ＩＰネットワーク
３０  その他のネットワーク
【図１】
2004282569.tif 000024
【図２】
2004282569.tif 000025
【図３】
2004282569.tif 000026
【図４】
2004282569.tif 000027
【図５】
2004282569.tif 000028
【図６】
2004282569.tif 000029
【図７】
2004282569.tif 000030
【図８】
2004282569.tif 000031
【図９】
2004282569.tif 000032
【図１０】
2004282569.tif 000033
【図１１】
2004282569.tif 000034
【図１２】
2004282569.tif 000035
【図１３】
2004282569.tif 000036
【図１４】
2004282569.tif 000037
【図１５】
2004282569.tif 000038
【図１６】
2004282569.tif 000039
【図１７】
2004282569.tif 000040
【図１８】
2004282569.tif 000041
【図１９】
2004282569.tif 000042