(57)【要約】【課題】オーディオ信号とビデオ信号とを時間スケール修正をする時、これら両者の間に完璧な同期を保障することができる技術を得る。【解決手段】入力信号のオーディオサンプルストリームを多数の重畳された分析窓で区分して、その重畳長さを指定された時間スケール(変速率)αに対応される長さに変更して、その時の重畳区間を加重合成することで、時間スケールが修正された出力信号に変換する。このために、まず合成間隔Ssを指定された時間スケールαで分けた分析間隔Saが小数値を有する場合、その小数値と一番近い二つの自然数を修正分析間隔Sa´と補償分析間隔Sa″とにそれぞれ割り当てる。再生速度を可変させるためにソースオーディオサンプルの時間スケールを修正するにおいて、入力オーディオサンプルストリームを多数の連続的な分析窓で区分する時、修正分析間隔Sa'と補償分析間隔Sa"とを所定の条件が満足される度に交代に適用する。計算上推定される再生時間と実際再生時間との間の誤差を累積して、その算出された再生時間累積誤差が許容誤差範囲の上限値または下限値を脱する場合を前記所定の条件が満足される場合で判断する。【選択図】図１
2007511162.tif 000002
【特許請求の範囲】
【請求項１】
入力信号のオーディオサンプルストリームを多数の重畳された分析窓で区分して、その重畳長さを指定された変速率αに対応される長さに変更して、その時の重畳区間を加重合成することで、時間スケールが修正された出力信号に変換するデジタルオーディオ信号の時間スケール修正方法において、
a)入力オーディオサンプルのmSa番目(但し、mは周期インデックスである)サンプルからN+Kmax個のサンプルを現在周期mの分析窓Wmで決定するものの、所定の合成間隔Ssを前記変速率αで分けた値が自然数である時には、その値をそのまま分析間隔Saで適用して、小数値である時にはその小数値と一番近い二つの自然数をそれぞれ修正分析間隔Sa'と補償分析間隔Sa"との値で付与して所定の条件が満足される度に前記分析間隔Saの代りに前記修正分析間隔Sa'と補償分析間隔Sa"との値を交代に適用する段階と、
b)前記現在周期の分析窓Wmの前の部分を以前周期m-１の出力信号の最後の番目でOV+１番目のサンプルからKmax個サンプルの検索範囲を所定個数のサンプルをシフティングしながら、前記出力オーディオサンプルの最後の番目でOV個のサンプルと、これに重畳される前記現在周期の分析窓WmのOV個のサンプルらの間の波形類似度が一番高い時の前記現在周期の分析窓Wmのシフト値Kmを算出する段階と、
c)前記現在周期の分析窓Wmの前でKm+１番目のサンプルからN個のサンプルを現在周期の付加フレームで決定して、前記付加フレームの前の部分のOV個サンプルらを前記以前周期のフレームの最後の番目からOV個のサンプルらと加重合成する方式で付け加えて、現在周期mの出力信号として合成する段階と、及び
d)前記現在周期mの出力信号の実際再生時間と前記変速率αによって算出される計算上の再生時間の間の誤差を累積して、その累積した再生時間誤差が許容誤差範囲の上限値、または下限値を脱する場合を前記所定の条件が満足される場合で扱う段階と、
を具備することを特徴とするデジタルオーディオ信号の変速処理方法。
【請求項２】
前記変速率αの値が他の値に変われば、次の周期からはその値に基づいて分析間隔Saを再び算出して、変わった変速率と分析間隔Saの値を適用して時間スケール修正処理が遂行されるようにする段階をさらに具備することを特徴とする請求項１に記載のデジタルオーディオ信号の変速処理方法。
【請求項３】
前記変速率αは使用者が入力手段を利用して指定した変速率、またはオーディオサンプルの時間スケール修正と併行的に進行されるビデオ信号の変速処理で提供されるビデオ信号の実際変速率であることを特徴とする請求項１または２に記載のデジタルオーディオ信号の変速処理方法。
【請求項４】
前記分析窓Wmを前記検索範囲Kmax内で毎周期ごとにシフトさせる時、複数個のサンプルを飛ばす方式を取ることを特徴とする請求項１に記載のデジタルオーディオ信号の変速処理方法。
【請求項５】
前記波形類似度は、以前周期フレームの最後の番目から所定個数のサンプルでなされる重畳区間と、ここに重畳される前記現在周期の分析窓Wmの前記所定個数のサンプルらの間の相互相関度で決定されることを特徴とする請求項１ないし４のうちいずれか一つに記載のデジタルオーディオ信号の変速処理方法。
【請求項６】
前記以前周期フレームと前記現在周期の分析窓それぞれの全体サンプルらのうちでサンプルインデックスがk(但し、kは２以上の自然数)の倍数であるサンプルらのみを選択して、前記相互相関度の計算に参加させることを特徴とする請求項５に記載のデジタルオーディオ信号の変速処理方法。
【請求項７】
一つの入力デジタルオーディオ/ビデオ信号をオーディオ信号とビデオ信号で分離してそれぞれに対して同一な変速率αで変速処理する方法において、
a)前記ビデオ信号を前記変速率αの値に基づいて変速処理して得られた変速されたビデオ信号の実際変速率を周期的に算出する段階と、
b)変速処理されたビデオ信号の現在周期の実際変速率が以前周期の実際変速率と異なる値であるかをチェックして、他の値である場合前記現在周期の実際変速率をオーディオ信号の時間スケール修正の基準になる目標変速率α'に提供する段階と、及び
c)前記入力オーディオ信号のサンプルストリームを多数の重畳された分析窓に区分して、その重畳長さを前記目標変速率α'に対応される長さに変更して、その時の重畳区間を加重合成することで、時間スケールが修正された出力オーディオ信号に変換する段階と、
を具備することを特徴とするデジタルオーディオ/ビデオ信号の変速処理方法。
【請求項８】
前記入力オーディオ信号の時間スケール修正段階は、
a)前記入力オーディオ信号のmSa番目(但し、mは周期インデックスである)サンプルからN+Kmax個のサンプルを現在周期mの分析窓Wmで決定するが、所定の合成間隔Ssを前記目標変速率α'で分けた値が自然数である時には、その値をそのまま分析間隔Saで適用して、小数値である時にはその小数値と一番近い二つの自然数をそれぞれ修正分析間隔Sa'と補償分析間隔Sa"の値で付与して、所定の条件が満足される度に前記分析間隔Saの代りに前記修正分析間隔Sa'と補償分析間隔Sa"の値を交代に適用する段階と、
b)前記現在周期の分析窓Wmの前の部分を以前周期m-１の出力信号の最後の番目でOV+１番目のサンプルからKmax個サンプルの検索範囲を所定個数のサンプルをシフティングしながら、前記出力オーディオサンプルの最後の番目でOV個のサンプルと、これに重畳される前記現在周期の分析窓WmのOV個のサンプルらの間の波形類似度が一番高い時の前記現在周期の分析窓Wmのシフト値Kmを算出する段階と、
c)前記現在周期の分析窓Wmの前でKm+１番目のサンプルからN個のサンプルを現在周期の付加フレームで決定して、前記付加フレームの前の部分のOV個サンプルらを前記以前周期のフレームの最後の番目からOV個のサンプルらと加重合成する方式で付け加えて、現在周期mの出力信号として合成する段階と、及び
d)前記現在周期mの出力信号の実際再生時間と前記目標変速率α'とによって算出される計算上の再生時間の間の誤差を累積して、その累積した再生時間誤差が許容誤差範囲の上限値または下限値を脱する場合を前記所定の条件が満足される場合で扱う段階と、
を具備することを特徴とする請求項７に記載のデジタルオーディオ/ビデオ信号の変速処理方法。
【請求項９】
前記ビデオ信号の実際変速率は、過去のある時点Ｔ１から現在の時点Ｔ２までの実際経過時間Ｔ２-Ｔ１と、前記過去のある時点Ｔ１で変速処理されたビデオフレームのタイムスタンプ値ＴＳ１から現在の時点Ｔ２で変速処理されたビデオフレームのタイムスタンプ値ＴＳ２までの経過時間ＴＳ２-ＴＳ１の間の比であることを特徴とする請求項１、７及び８のうちいずれか一つに記載のデジタルオーディオ/ビデオ信号の変速処理方法。
【請求項１０】
前記許容誤差範囲の上限値と下限値は、前記オーディオ/ビデオ信号の変速再生時にリップシンク不一致が認知されない程度の誤差範囲以内で決定されることを特徴とする請求項７または８に記載のデジタルオーディオ/ビデオ信号の変速処理方法。
【請求項１１】
前記分析窓Wmを前記検索範囲Kmax内で毎周期ごとにシフトさせる時、複数個のサンプルを飛ばす方式を取ることを特徴とする請求項８に記載のデジタルオーディオ/ビデオ信号の変速処理方法。
【請求項１２】
前記波形類似度は、以前周期フレームの最後の番目から所定個数のサンプルでなされる重畳区間と、これに重畳される前記現在周期の分析窓Wmの前記所定個数のサンプルらの間の相互相関度で決定されることを特徴とする請求項８に記載のデジタルオーディオ/ビデオ信号の変速処理方法。
【請求項１３】
前記以前周期フレームと前記現在周期の分析窓それぞれの全体サンプルらのうちでサンプルインデックスがk(但し、kは２以上の自然数)の倍数であるサンプルらのみを選択して、前記相互相関度の計算に参加させることを特徴とする請求項１２に記載のデジタルオーディオ/ビデオ信号の変速処理方法。
【請求項１４】
ＭＰＥＧ方式で圧縮符号化されたデジタルテレビ放送信号のトランスポートストリームを受信して、リアルタイムでビデオとオーディオとを再生することができる装置を利用して前記放送信号を再生する方法において、
a)少なくとも使用者がフォン-ブレイクキー(phone-break key)を入力した時点からは受信されるデジタルテレビ放送信号を保存手段に順次に保存する段階と、
b)使用者がリターンキーを入力した時点からは、前記保存手段に保存されている放送信号を先入先出(FIFO)方式で読み出して、指定された変速率に基づいて読み出したビデオ信号とオーディオ信号それぞれに対して変速処理をするものの、特に前記オーディオ信号の変速処理は算出された前記ビデオ信号の実際変速率αに基づくが、前記指定された変速率を適用して前記ビデオ信号を変速処理した結果得られるビデオ信号の実際の変速率αを算出して、入力信号のオーディオサンプルストリームを多数の重畳された分析窓で区分して、その重畳長さを前記ビデオ信号の実際変速率αに対応される長さに変更して、その時の重畳区間を加重合成することで、時間スケール修正された出力信号に変換する方式でなされる段階と、及び
c)変速処理されたビデオ信号とオーディオ信号とを現在受信される放送信号の代りに出力する段階と、
を具備することを特徴とするデジタル放送信号変速再生方法。
【請求項１５】
前記変速率αを高速再生モード用の値で適用して、高速再生される放送信号と現在受信される放送信号との間の時間差が所定の誤差範囲以内で減ると、前記保存手段に保存された放送信号の代りに前記現在受信される放送信号を出力する段階をさらに具備することを特徴とする請求項１４に記載のデジタル放送信号変速再生方法。
【請求項１６】
前記フォン-ブレイクキーを入力した時点から前記リターンキーを入力した時点までのフォン-ブレイク時間が前記保存手段の前記放送信号の最大保存時間を超過する場合、前記保存手段に保存された放送信号を先に保存されたものから順次に現在受信される放送信号で取り替えて、前記フォン-ブレイク区間の開始点住所を現在時間から前記最大保存時間の前に受信された放送信号が保存された住所で修正する段階をさらに具備することを特徴とする請求項１４に記載のデジタル放送信号変速再生方法。
【請求項１７】
ＭＰＥＧ方式で圧縮符号化されたデジタルテレビ放送信号のトランスポートストリームを受信して、リアルタイムでビデオとオーディオとを再生することができる装置を利用して前記放送信号を再生する方法において、
a)前記放送信号を保存手段に順次に保存する段階と、
b)使用者によるバック-アンド-スローキー(back & slow key)の入力が検出されれば、前記保存手段に保存された放送信号のうちで、その時点から所定時間以前に受信された放送信号から先入先出(FIFO)方式で読み出して、その読み出したビデオ信号とオーディオ信号それぞれに対して低速モードの再生が可能になるように指定された変速率に基づいて変速処理をするものの、特に前記オーディオ信号の変速処理は算出された前記ビデオ信号の実際変速率αに基づくが、前記指定された変速率を適用して前記ビデオ信号を変速処理した結果得られるビデオ信号の実際の変速率αを算出して、入力信号のオーディオサンプルストリームを多数の重畳された分析窓で区分して、その重畳長さを前記ビデオ信号の実際変速率αに対応される長さに変更して、加重合成して時間スケール修正された出力信号に変換する方式でなされる段階と、及び
c)変速処理されたビデオ信号とオーディオ信号とを現在受信される放送信号の代りに出力する段階と、
を具備することを特徴とするデジタル放送信号変速再生方法。
【請求項１８】
a)使用者がリターンキーを入力すれば、その時点からは適用する変速率の値を高速モード用で修正して前記保存手段に保存された放送信号を高速モードで再生するための変速処理をして、b)高速再生される放送信号と現在受信される放送信号との間の時間差が所定の誤差範囲以内で減ると、前記保存手段に保存された放送信号の代りに前記現在受信される放送信号を出力する段階、
をさらに具備することを特徴とする請求項１７に記載のデジタル放送信号変速再生方法。
【請求項１９】
ＭＰＥＧ方式で圧縮符号化されたデジタルテレビ放送信号のトランスポートストリームを受信してリアルタイムでビデオとオーディオとを再生することができる装置を利用して前記放送信号を再生する方法において、
a)少なくとも使用者が即時スローキー(Immediate Slow Key)を入力した時点から前記放送信号を保存手段に順次に保存する段階と、
b)前記保存手段に保存された放送信号のうちで前記即時スローキーが入力された時点から先入先出(FIFO)方式で読み出して、その読み出したビデオ信号とオーディオ信号それぞれに対して低速モード再生が可能になるように指定された変速率に基づいて変速処理をするものの、特に前記オーディオ信号の変速処理は算出された前記ビデオ信号の実際変速率αに基づくが、前記指定された変速率を適用して前記ビデオ信号を変速処理した結果得られるビデオ信号の実際の変速率αを算出して、入力信号のオーディオサンプルストリームを多数の重畳された分析窓で区分して、その重畳長さを前記ビデオ信号の実際変速率αに対応される長さに変更して加重合成して、時間スケール修正された出力信号に変換する方式でなされる段階と、及び
c)変速処理されたビデオ信号とオーディオ信号とを現在受信される放送信号の代りに出力する段階と、
を具備することを特徴とするデジタル放送信号変速再生方法。
【請求項２０】
a)使用者がリターンキーを入力すれば、その時点からは適用する変速率の値を高速モード用で修正して前記保存手段に保存された放送信号を高速モードで再生するための変速処理をして、b)高速再生される放送信号と現在受信される放送信号との間の時間差が所定の誤差範囲以内で減ると、前記保存手段に保存された放送信号の代りに前記現在受信される放送信号を出力する段階をさらに具備することを特徴とする請求項１９に記載のデジタル放送信号変速再生方法。
【請求項２１】
前記オーディオ信号の変速処理は、
a)入力オーディオサンプルのmSa番目(但し、mは周期インデックスである)サンプルからN+Kmax個のサンプルを現在周期mの分析窓Wmで決定するが、所定の合成間隔Ssを前記変速率αで分けた値が自然数である時には、その値をそのまま分析間隔Saで適用して、小数値である時にはその小数値と一番近い二つの自然数をそれぞれ修正分析間隔Sa'と補償分析間隔Sa"の値で付与して、所定の条件が満足される度に前記分析間隔Saの代りに前記修正分析間隔Sa'と補償分析間隔Sa"との値を交代に適用する段階と、
b)前記現在周期の分析窓Wmの前の部分を以前周期m-１の出力信号の最後の番目でOV+１番目のサンプルからKmax個サンプルの検索範囲を所定個数のサンプルをシフティングしながら、前記出力オーディオサンプルの最後の番目でOV個のサンプルと、これに重畳される前記現在周期の分析窓WmのOV個のサンプルらの間の波形類似度が一番高い時の前記現在周期の分析窓Wmのシフト値Kmを算出する段階と、
c)前記現在周期の分析窓Wmの前でKm+１番目のサンプルからN個のサンプルを現在周期の付加フレームで決定して、前記付加フレームの前の部分のOV個サンプルらを前記以前周期のフレームの最後の番目からOV個のサンプルらと加重合成する方式で付け加えて、現在周期mの出力信号として合成する段階と、及び
d)前記現在周期mの出力信号の実際再生時間と前記変速率αによって算出される計算上の再生時間の間の誤差を累積して、その累積した再生時間誤差が許容誤差範囲の上限値または下限値を脱する場合を前記所定の条件が満足される場合で扱う段階と、
を遂行することによってなされることを特徴とする請求項１４ 、１７及び１９のうちいずれか一つに記載のデジタル放送信号変速再生方法。
【請求項２２】
前記保存手段に保存される放送信号を変速処理することに先立って、ＭＰＥＧデコーダーによってビデオ信号とオーディオ信号とをそれぞれ圧縮を解いてデコードする段階をさらに具備することを特徴とする請求項１４、１７及び１９のうちいずれか一つに記載のデジタル放送信号変速再生方法。
【請求項２３】
前記ビデオ信号の変速処理はビデオフレームらの出力時間の間隔を前記変速率程度に早く調整すること、または出力されるビデオフレームの個数を前記変速率程度で減少させるもののうちで、いずれか一つまたはこれらの組合によってなされることを特徴とする請求項１４、１７及び１９のうちいずれか一つに記載のデジタル放送信号変速再生方法。
【請求項２４】
前記ビデオフレームらの出力時間の間隔の調整はビデオフレームのプレゼンテーションタイムスタンプの値を調整することによってなされることを特徴とする請求項１４、１７及び１９のうちいずれか一つに記載のデジタル放送信号変速再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルオーディオ信号の時間スケール修正(time-scale modification：ＴＳＭ)技術に関し、より詳細にはＴＳＭ処理後のデジタルオーディオ信号の再生時間が指定された変速率(time-scaleまたは、variable speed ratio)の大きさにほぼ正確に比例して変更されるようにすることで、マルチメディア信号の変速再生時にビデオ信号とオーディオ信号との間の再生同期がほとんど完璧に維持されるようにする方法に関する。
【背景技術】
【０００２】
時間領域でデジタルオーディオ信号の再生速度を修正する方法は、かつてオーバーラップアッド法(overlap-add：ＯＬＡ)が知られた後からこれを基礎にして同期オーバーラップアッド法(synchronized overlap and add：ＳＯＬＡ)、波形類似度基盤オーバーラップアッド法(waveform similarity based overlap and add：ＷＳＯＬＡ)などでずっと発展して来た。これら技術の基本原理は元々のデジタルオーディオ信号すなわち、入力オーディオデータストリームに対して分析(analysis)と合成(synthesis)を通じてその入力オーディオデータストリームの時間スケールを修正するものである。
【０００３】
このＴＳＭ方法の基本概念は、入力オーディオ信号のデータストリームを所定大きさの連続的な多数のウィンドウ(または、フレーム)で切り捨てるが、この時、隣接ウィンドウ(またはフレーム)ら同士は所定の長さ程度で重畳されるように切り捨てる(分析段階)。その後、変速率α(これは正常モードの再生速度に対する変速モードの再生速度の比を示すものであり、使用者が指定する値である)の大きさが決定されると、その値によって分析段階で得られた多数のウィンドウ(または、フレーム)らに対して隣接ウィンドウらの間の重畳長さを再調整して合わせる。すなわち、変速率αの値にしたがって多数のウィンドウ(または、フレーム)らを隣接ウィンドウの重畳長さを減らすか、または伸ばして合わせる。この時、重畳区間に対しては隣接ウィンドウ(または、フレーム)らをウェイティング(weighting)して合成する(合成段階)。重畳されない区間は当然そのまま付け加える。オーディオデータストリームの再生速度を遅くするためには、オーディオデータ量がその程度で増えなければならないので、ＴＳＭ処理された出力オーディオ信号において、隣接ウィンドウらの重畳長さは元々の重畳長さよりさらに減らせば良い。これと反対に、再生速度を早くするためにはＴＳＭ処理された出力オーディオ信号の隣接ウィンドウらの重畳長さは元々の重畳長さよりさらに伸ばせば良い。
【０００４】
ＴＳＭ方法によるオーディオ信号処理において、変速率αの値は理論的に合成間隔Ssと分析間隔Saの比で定義される。すなわち、
【０００５】
【数１】
2007511162.tif 000003
【０００６】
である。ここで、合成間隔Ssは合成段階で多数の連続的なウィンドウを再配置する時、隣接ウィンドウWiとWi+１(または、フレーム)の開始点間隔を意味し、分析間隔Saは分析段階で元々のオーディオストリームを多数の連続的なウィンドウで切り捨てる時の隣接ウィンドウWiとWi+１(または、フレーム)の開始点間隔を意味する。ここで、隣接ウィンドウWiとWi+１の開始点間隔はオーディオサンプルの個数で表現されるので、合成間隔Ssと分析間隔Saは常に自然数の値のみを有する。
【０００７】
ＴＳＭ処理において、与えられる値は使用者が指定する変速率αの値と合成間隔Ssの値である。したがって、分析間隔Saの値はの上の関係式(１)を利用した計算によって決定される。ところで、分析間隔Saの計算値がSsとαの値によっては、自然数ではない小数になることができる。分析間隔Saが小数値を有することは不可能であるので、実際にはその小数値に一番近い自然数を適用するのが不可避である。例えば、上の計算式(１)で決定されるSaの値が３１．７であると仮定すれば、この値の代りにこの値より小さいでありながら(または、大きいでありながら)一番近い自然数３１(または、３２)を実際適用する分析間隔の値で定義する。ここで、実際に適用された分析間隔を‘修正分析間隔’と称してSa'で示す。
【０００８】
ところで、修正分析間隔Sa'を適用してデジタルオーディオデータをＴＳＭ方式で加工すれば、分析間隔Saと修正分析間隔Sa'の値の差によって再生時間の誤差が累積する。すなわち、分析間隔Saの代りに修正分析間隔Sa'を適用してＴＳＭ処理をするということは、実際に適用された変速率α'の値が使用者が設定した変速率αの値と異なることを意味し、これら二つの値の差程度の再生時間の誤差が生じるようになる。
【０００９】
このような再生時間の誤差はずっと累積することができる。ＴＳＭ加工されたオーディオ信号の再生時間が指定された変速率αに正確に比例する値に変わらないことはオーディオ信号のみの変速再生の場合には大きく問題にならないこともある。言い換えれば、使用者が２倍早く変速再生を指示する場合、例えば１．８倍または２．２倍の変速になって再生されると言っても使用者はその差を大きく認識することができないだけでなく、正確に２倍早い変速再生を要求する特殊な場合ではないなら大きく問題にならない。
【００１０】
しかし、ビデオ及びオーディオを含むマルチメディア信号の変速再生の場合、オーディオ信号の変速率が指定された変速率αに正確に比例しなくなれば、オーディオ信号とビデオ信号の再生時に同期不一致現象が起きる。その程度がひどくて再生時間の累積誤差が徐徐に増加すれば音と口の模様が別に遊ぶ、いわゆる‘リップシンク不一致’の問題が起こる。したがって、ＴＳＭ処理されたオーディオ信号の再生時間がリップシンク不一致問題を引き起こさない程度に正確に維持されることができる方案が必要である。受信されるデジタル放送信号に対するいろいろ有用な変速再生機能を提供するためには、変速処理されたオーディオ信号とビデオ信号との間の同期維持を完璧に保障することが絶対的に必要である。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上のようないくつかの点を考慮して、本発明はＴＳＭ処理されたデジタルオーディオ信号の実際変速率が指定された変速率と無視することができる程度のとても微細な誤差範囲内で一致するデジタルオーディオ信号のＴＳＭ方法を提供することを第１の目的とする。
【００１２】
本発明はまたデジタルＡＶ信号の変速再生時にビデオ信号とオーディオ信号との間の再生同期がほとんど完璧に維持されるようにするデジタルオーディオ信号のＴＳＭ方法を提供することを第２の目的とする。
【００１３】
ひいては本発明は、完璧な同期維持を保障することができるデジタルＡＶ信号の変速再生方法をデジタル放送信号の視聴に応用して、いろいろ有用な付加機能を提供することを第３の目的とする。
【課題を解決するための手段】
【００１４】
上の第１の目的を達成するための本発明によると、入力信号のオーディオサンプルストリームを多数の重畳された分析窓で区分して、その重畳長さを指定された変速率αに対応される長さに変更して、その時の重畳区間を加重合成することで、時間スケールが修正された出力信号で変換するデジタルオーディオ信号の時間スケール修正方法において、a)入力オーディオサンプルのmSa番目(但し、mは周期インデックスである)サンプルからN+Kmax個のサンプルを現在周期mの分析窓Wmで決定するが、所定の合成間隔Ssを前記変速率αで分けた値が自然数である時には、その値をそのまま分析間隔Saで適用して、小数値である時にはその小数値と一番近い二つの自然数をそれぞれ修正分析間隔Sa'と補償分析間隔Sa"との値で付与して、所定の条件が満足される度に前記分析間隔Saの代りに前記修正分析間隔Sa'と補償分析間隔Sa"の値を交代に適用する段階と、b)前記現在周期の分析窓Wmの前の部分を以前周期m-１の出力信号の最後の番目でOV+１番目のサンプルからKmax個サンプルの検索範囲を所定個数のサンプルをシフティングしながら前記出力オーディオサンプルの最後の番目でOV個のサンプルと、これに重畳される前記現在周期の分析窓WmのOV個のサンプルらの間の波形類似度が一番高い時の前記現在周期の分析窓Wmのシフト値Kmを算出する段階と、c)前記現在周期の分析窓Wmの前でKm+１番目のサンプルからN個のサンプルを現在周期の付加フレームで決定して、前記付加フレームの前の部分のOV個サンプルらを前記以前周期のフレームの最後の番目からOV個のサンプルらと加重合成する方式で付加して、d)現在周期mの出力信号として合成する段階と、及び前記現在周期mの出力信号の実際再生時間と前記変速率αによって算出される計算上の再生時間の間の誤差を累積して、その累積した再生時間誤差が許容誤差範囲の上限値、または下限値を脱する場合を前記所定の条件が満足される場合で扱う段階、を具備することを特徴とするデジタルオーディオ信号の変速処理方法が提供される。
【００１５】
使用者が入力手段を利用して指定した変速率値が前記変速率αの値になる。他の方案として、オーディオ信号の時間スケール修正と併行的に進行されるビデオ信号の変速処理で提供されるビデオ信号の実際変速率を前記変速率αの値で提供することもできる。
【００１６】
前記デジタルオーディオ信号の変速処理方法は前記変速率αの値が他の値に変われば、次の周期からはその値に基づいて分析間隔Saを再び算出して、変わった変速率と分析間隔Saの値を適用して時間スケール修正処理が遂行されるようにする段階をさらに具備することが望ましい。
【００１７】
前記デジタルオーディオ信号の変速処理方法は、最高波形類似度の地点Kmを捜すための計算時の演算量を減らすため、前記分析窓Wmを前記検索範囲Kmax内で毎周期ごとにシフトさせる時、複数個のサンプルを飛ばす方式を取るのが望ましい。
【００１８】
上で言及したデジタルオーディオ信号の変速処理方法において、前記波形類似度は以前周期フレームの最後の番目から所定個数のサンプルでなされる重畳区間と、これに重畳される前記現在周期の分析窓Wmの前記所定個数のサンプルらの間の相互相関度で決定されることができる。この場合、最大相互相関度の地点をKmを捜すための計算時の演算量を減らすために、前記以前周期フレームと前記現在周期の分析窓それぞれの全体サンプルらのうちでサンプルインデックスがk(但し、kは２以上の自然数)の倍数であるサンプルらのみを選択して前記相互相関度の計算に参加させるのが望ましい。
【００１９】
前記第２の目的を達成するための本発明によると、一つの入力デジタルオーディオ/ビデオ信号をオーディオ信号とビデオ信号とで分離してそれぞれに対して同一な変速率αで変速処理する方法において、a)前記ビデオ信号を前記変速率αの値に基づいて変速処理して得られた変速されたビデオ信号の実際変速率を周期的に算出する段階と、b)変速処理されたビデオ信号の現在周期の実際変速率が以前周期の実際変速率と異なる値であるか否かをチェックして、異なる値である場合前記現在周期の実際変速率をオーディオ信号の時間スケール修正の基準になる目標変速率α'に提供する段階と、及びc)前記入力オーディオ信号のサンプルストリームを多数の重畳された分析窓で区分してその重畳長さを前記目標変速率α'に対応される長さに変更して、その時の重畳区間を加重合成することで時間スケールが修正された出力オーディオ信号に変換する段階、を具備することを特徴とするデジタルオーディオ/ビデオ信号の変速処理方法が提供される。
【００２０】
ここで、前記デジタルオーディオ/ビデオ信号の変速処理方法において、前記入力オーディオ信号の時間スケール修正段階の具体的な処理内容は前記で言及した第１目的を達成するためのオーディオ信号の変速処理方法による。
【００２１】
前記デジタルオーディオ/ビデオ信号の変速処理方法において、前記ビデオ信号の実際変速率は過去のある時点(Ｔ１)から現在の時点(Ｔ２)までの実際経過時間(Ｔ２-Ｔ１)と前記過去のある時点(Ｔ１)で変速処理されたビデオフレームのタイムスタンプ値(ＴＳ１)から現在の時点(Ｔ２)で変速処理されたビデオフレームのタイムスタンプ値(ＴＳ２)までの経過時間(ＴＳ２-ＴＳ１)の間の比の値と同一である。
【００２２】
前記第３の目的を達成するための本発明の一側面によると、フォンブレイク区間の視聴機能のための方法が提供される。これによると、ＭＰＥＧ方式で圧縮符号化されたデジタルテレビ放送信号のトランスポートストリームを受信してリアルタイムでビデオとオーディオを再生することができる装置を利用して前記放送信号を再生する方法において、a)少なくとも使用者がフォン-ブレイクキー(phone-break key)を入力した時点からは受信されるデジタルテレビ放送信号を保存手段に順次に保存する段階と、b)使用者がリターンキーを入力した時点からは、前記保存手段に保存されている放送信号を先入先出(ＦＩＦＯ)方式で読み出して指定された変速率に基づいて読み出したビデオ信号とオーディオ信号それぞれに対して変速処理をするものの、特に前記オーディオ信号の変速処理は算出された前記ビデオ信号の実際変速率αに基づくが、前記指定された変速率を適用して前記ビデオ信号を変速処理した結果得られるビデオ信号の実際の変速率αを算出して、入力信号のオーディオサンプルストリームを多数の重畳された分析窓で区分して、その重畳長さを前記ビデオ信号の実際変速率αに対応される長さに変更して、その時の重畳区間を加重合成することで時間スケール修正された出力信号に変換する方式でなされる段階と、及びc)変速処理されたビデオ信号とオーディオ信号を現在受信される放送信号の代りに出力する段階、を具備することを特徴とするデジタル放送信号変速再生方法が提供される。
【００２３】
このようなデジタル放送信号変速再生方法は、前記変速率αを高速再生モード用値で適用して高速再生される放送信号と現在受信される放送信号との間の時間差が所定の誤差範囲以内で減ると、前記保存手段に保存された放送信号の代りに前記現在受信される放送信号を出力する段階をさらに具備することが望ましい。
【００２４】
また、前記デジタル放送信号変速再生方法は、前記フォン-ブレイクキーを入力した時点から前記リターンキーを入力した時点までのフォン-ブレイク時間が前記保存手段の前記放送信号の最大保存時間を超過する場合、前記保存手段に保存された放送信号を先に保存されたものから順次に現在受信される放送信号に取り替えて、前記フォン-ブレイク区間の開始点の住所を現在時間から前記最大保存時間の前に受信された放送信号が保存された住所に修正する段階をさらに具備することが望ましい。
【００２５】
前記第３の目的を達成するための本発明の他の側面によると、バック-アンド-スロー視聴機能のための方法が提供される。これによると、ＭＰＥＧ方式で圧縮符号化されたデジタルテレビ放送信号のトランスポートストリームを受信してリアルタイムでビデオとオーディオを再生することができる装置を利用して、前記放送信号を再生する方法において、a)前記放送信号を保存手段に順次に保存する段階と、b)使用者によるバック-アンド-スローキー(back &
slow key)の入力が検出されれば、前記保存手段に保存された放送信号のうちでその時点から所定時間以前に受信された放送信号から先入先出(ＦＩＦＯ)方式で読み出して、その読み出したビデオ信号とオーディオ信号それぞれに対して低速モードの再生が可能になるように指定された変速率に基づいて変速処理をするものの、特に前記オーディオ信号の変速処理は算出された前記ビデオ信号の実際変速率αに基づくが、前記指定された変速率を適用して前記ビデオ信号を変速処理した結果得られるビデオ信号の実際の変速率αを算出して、入力信号のオーディオサンプルストリームを多数の重畳された分析窓で区分して、その重畳長さを前記ビデオ信号の実際変速率αに対応される長さに変更して加重合成して、時間スケール修正された出力信号に変換する方式でなされる段階と、及びc)変速処理されたビデオ信号とオーディオ信号を現在受信される放送信号の代りに出力する段階、を具備することを特徴とするデジタル放送信号の変速再生方法が提供される。
【００２６】
前記デジタル放送信号の変速再生方法において、a)使用者がリターンキーを入力すれば、その時点からは適用する変速率の値を高速モード用で修正して前記保存手段に保存された放送信号を高速モードで再生するための変速処理をして、b)高速再生される放送信号と現在受信される放送信号との間の時間差が所定の誤差範囲以内で減ると、前記保存手段に保存された放送信号の代りに前記現在受信される放送信号を出力する段階、をさらに具備することが望ましい。
【００２７】
前記第３の目的を達成するための本発明の他の側面によると、即時スロー視聴機能のための方法が提供される。これによると、ＭＰＥＧ方式で圧縮符号化されたデジタルテレビ放送信号のトランスポートストリームを受信してリアルタイムでビデオとオーディオを再生することができる装置を利用して前記放送信号を再生する方法において、a)少なくとも使用者が即時スローキー(Immediate Slow Key)を入力した時点から前記放送信号を保存手段に順次に保存する段階と、b)前記保存手段に保存された放送信号のうちで前記即時スローキーが入力された時点から先入先出(ＦＩＦＯ)方式で読み出して、その読み出したビデオ信号とオーディオ信号それぞれに対して低速モード再生が可能になるように指定された変速率に基づいて変速処理をするものの、特に前記オーディオ信号の変速処理は算出された前記ビデオ信号の実際変速率αに基づくが、前記指定された変速率を適用して前記ビデオ信号を変速処理した結果得られるビデオ信号の実際の変速率αを算出して、入力信号のオーディオサンプルストリームを多数の重畳された分析窓で区分して、その重畳長さを前記ビデオ信号の実際変速率αに対応される長さに変更して加重合成して時間スケール修正された出力信号に変換する方式でなされる段階と、及びc)変速処理されたビデオ信号とオーディオ信号を現在受信される放送信号の代りに出力する段階を具備することを特徴とするデジタル放送信号変速再生方法が提供される。
【００２８】
前記変速再生方法はa)使用者がリターンキーを入力すれば、その時点からは適用する変速率の値を高速モード用に修正して前記保存手段に保存された放送信号を高速モードで再生するための変速処理をして、b)高速再生される放送信号と現在受信される放送信号との間の時間差が所定の誤差範囲以内に減ると、前記保存手段に保存された放送信号の代りに前記現在受信される放送信号を出力する段階、をさらに具備することが望ましい。
【００２９】
上の三つの側面によるデジタル放送信号の変速処理方法において、オーディオ信号の変速処理の具体的な内容は、処理内容は前で言及した第１の目的を達成するためのオーディオ信号の変速処理方法による。
【００３０】
また、上の三つの側面によるデジタル放送信号の変速処理方法は前記保存手段に保存される放送信号を変速処理するのに先立ってＭＰＥＧデコーダーによってビデオ信号とオーディオ信号とをそれぞれ圧縮を解いてデコードする段階をさらに具備することが望ましい。
【００３１】
ひいては、上の三つの側面によるデジタル放送信号の変速処理方法において、前記ビデオ信号の変速処理はビデオフレームらの出力時間の間隔を前記変速率程度に早く調整すること、または出力されるビデオフレームの個数を前記変速率程度に減少させることのうちで、いずれか一つまたはこれらの組合によってなされる。また、前記ビデオフレームらの出力時間の間隔の調整はビデオフレームのプレゼンテーションタイムスタンプの値を調整することによってなされる。
【発明の効果】
【００３２】
現在までデジタルオーディオ信号の変速技術はいろいろ知られている。しかし、知られた変速技術はマルチメディア信号の変速処理に適用される場合、ビデオとオーディオの同期を完璧に保障することができなくて、実際の商品化には成功をすることができない。
【００３３】
しかし、本発明はこのような問題点を完全に解決することができる。本発明を利用してオーディオ信号のＴＳＭ処理をする場合、特定値の変速率が指定されると、その指定された変速率に対応される計算上のオーディオ信号の再生時間とその変速率を適用して実際に変速処理オーディオ信号の再生時間の間の誤差はあらかじめ設定されたとても微細な誤差範囲を脱しないように制御されることができる。それだけでなく、変速率が他の値に変更されても直ちにその値を適用してオーディオ信号のＴＳＭ処理がなされる。その結果、本発明を利用してＴＳＭ処理をして得られるオーディオ信号は、その再生時間がどの時点にも常に使用者が指定した変速比から計算される再生時間と比較する時に無視しても良い程度の微細な誤差範囲内で一致するようになる。したがって、本発明はマルチメディア信号の変速再生に適用される時ビデオ信号とオーディオ信号との間の同期を完璧に保障することができる。特に、変速処理されたビデオ信号の実際変速率が使用者が指定した変速率に行き違ってどのような値になっても、その変速率を基準にオーディオ信号のＴＳＭ処理が即時適応的になされるという点で変速処理時のＡＶ信号同期維持を保障するのに負荷が小さくかかる。そして、このようなＡＶ信号間の完璧な同期維持が可能であるので、“フォン-ブレイク区間視聴機能”、“バック-アンド-スロー視聴機能”そして“即時-スロー視聴機能”などのようないろいろ有用な付加機能らが実際に利用することができるようになる。
【００３４】
本発明はプログラムで作成されてパーソナルコンピューター用マルチメディア再生機の一部機能で含ませることもできて、例えばＤＶＤプレーヤー、デジタルＶＴＲ、ＴＶフォン、ピ-ブイアール(personal video recorder：ＰＶＲ)、ＭＰ３プレーヤー、セットップバックスなどのようなデジタルマルチメディアまたはデジタル放送信号処理処置のチップに内蔵してオーディオ信号の変速機能を提供するのに広く活用されることができる。
【発明を実施するための最良の形態】
【００３５】
以下、添付された図面を参照して本発明の望ましい実施例を詳細に説明する。
【００３６】
本発明に対する理解のためには入力オーディオ信号のＴＳＭ処理がどのようになされるかに関する理解が先行される必要がある。図１はデジタルオーディオ信号のＴＳＭ方法の原理を説明するための図面である。本発明が採用するＴＳＭ方法は、入力信号のオーディオサンプルストリームを多数の重畳された分析窓で区分して、その重畳長さを願う変速率に対応される長さに変更し、その時の重畳区間を加重合成する方法である。ＴＳＭ処理は大きく、分析段階と合成段階でなされる。
【００３７】
分析段階は図１の(a)のような入力信号であるデジタルオーディオサンプルストリームを図１の(b)のように多数の重畳連続された分析窓Wmで区分する。但し、ここでmは１から始める自然数として周期を示し、分析窓のインデックスでもある。一つの分析窓WmはN個のサンプルでなされたフレームにKmax個のサンプルがさらに合されたN+Kmax個のサンプルらで構成される。分析段階において、各分析窓Wmの開始点は入力信号の最初サンプルでmSa番目のサンプルになる。ここで、Saは多数の重畳連続された分析窓らにおいて、二つの隣接した分析窓らの間の開始点間隔になって、これを'分析間隔'と呼ぶ。
【００３８】
図１の(c)と(d)はそれぞれ低速モードと高速モードでＴＳＭ処理された出力信号を示す。このような出力信号を得る段階がまさに合成段階である。合成段階では、分析窓Wmを利用して最大波形類似度の地点を探すが、実際合成に参加するサンプル数は分析窓Wm全体ではなく、検索範囲であるKmax個のサンプルを抜いた残りN個のサンプルすなわち、一フレーム分量のサンプルである。残りKmax個のサンプルらは捨てる。したがって、毎周期ごとに出力信号の合成にはN個のサンプルが利用される。実際の合成において、図１の(b)のような多数の重畳連続された分析窓らを元々の重畳長さOVmで願う他の重畳長さで再配置する。低速モード用でＴＳＭ処理をする場合は、図１の(c)に示すもののようにデータ量が増えなければならないので、再配置前の重畳長さOVmより再配置後の重畳長さOVm'がさらに小さな値になって、したがって、合成間隔Ss'は分析間隔Saより大きい値になる。高速モード用でＴＳＭ処理をする場合には、図１の(d)に示すもののようにデータ量が減らなければならないので、再配置前の重畳長さOVmより再配置後の重畳長さOVm"がさらに大きい値になって、したがって、合成間隔Ss"は分析間隔Saより小さな値になる。データ量が変化された分だけ、それを再生するのに必要となる時間が変わる。再配置された隣接フレームら(フレームは分析窓の一部である)の重畳長さOVm'またはOVm"のサンプルらはウェイティングして合成するものである。合成間隔Ss'またはSs"と分析間隔Saの比が結局指定された変速率αの値と同一でなければならない。このような関係を示した式がすぐ上の関係式(１)である。
【００３９】
隣接フレームらの重畳長さを変更すれば、不連続性が発生する。したがって、出力信号には隣接フレームらの間の不連続性によるノイズが含まれることがある。そのような不連続性によるノイズを最小化するための考慮が必要である。分析窓Wmの分析間隔Saを指定された変速率αの値によって計算される合成間隔Ssに単純に変更することのみでは、ノイズの最小化が不可能である。隣接フレームらの重畳長さを変更して再配置する時、重畳合成される現在周期のフレームと以前周期のフレームとの間に波形類似度が一番高い地点を探して、その地点で重畳合成すれば不連続性が最小化され、したがって、ノイズも最小化される。
【００４０】
図２は現在周期のフレームと以前周期のフレームとの間の最大波形類似度の地点を探す方法を説明するための図面である。最大波形類似度は現在周期の分析窓Wmと以前周期のフレームFm-１との間の特定区間のサンプルらに対する相互相関度の計算を通じて決定される。すなわち、現在周期の分析窓Wmを以前周期のフレームFm-１と重畳させて分析窓Wmの開始点を検索範囲Kmax内を移動させながら重畳区間OVm'(またはOVm")での両側サンプルら１０a、１０bの間の相互相関度を計算して捜す。相互相関度の計算方法は広く知られているので、当業者なら適切な方法を選択して適用することができる。図２に示すように、出力信号でなされた以前周期のフレームFm-１の最後の番目でOVm'(またはOVm")個のサンプルらが重畳区間を構成して、その重畳区間に隣接されたKmax個のサンプルらが検索範囲を構成する。そして、その検索範囲に対して入力信号のm番目の分析窓すなわち、現在周期の分析窓Wmを所定サンプル間隔でシフトしながら分析窓Wmと以前周期のフレームFm-１の重畳区間のサンプルら１０a、１０bに対する最大相互相関度を提供する地点Kmを探索する。最大相互相関度の地点Kmが決まれば、分析窓Wmの一部である現在周期のフレームFmを以前周期のフレームFm-１の端の部分に重畳合成する。分析窓Wmの前側のKm個のサンプルと裏側のKmax-Km個のサンプルを除いた残りN個のサンプルが現在周期で出力信号で付加するフレームFmになる。そして、重畳区間OVm'またはOVm"に属するサンプルら１０a、１０bは加重合成して、現在周期フレームFmの残りサンプルらはそのまま付け加える。合成に参加することができなかった分析窓Wmの残りサンプルらは無視すれば良い。これによって現在周期の出力信号が得られる。最大相互相関度の地点Kmで現在周期のフレームFmを以前周期フレームFm-１に合成すれば不連続性が一番小さな連結が具現されてフレームらの再配置によるノイズが最小化されることができる。このようなＴＳＭ処理は一フレームずつ順次になされる。
【００４１】
分析窓Wmと出力信号両側の重畳長さのサンプルらを合成する時に加重合成する理由は、出力信号の端の部分で分析窓の開始部分で自然に連結して、重畳長さでの信号の不連続性を最小化するためのものである。利用されることができる加重関数の代表的な例として次のような線形ランプ関数になることができるが、指数関数やその外の他の適切な関数を選択することもできる。
【００４２】
【数２】
2007511162.tif 000004
【００４３】
最大相互相関度の地点Kmを捜すことに多くの演算が必要である。演算量を減らすことができる方案を採用しないＴＳＭ方法は、過度な演算量によって組み込みシステム
用のプロセッサで実行されにくい場合が多い。演算量を減らすための一番目の方案は分析窓Wmのシフト間隔を広くするものである。すなわち、分析窓Wmのシフトは１サンプルずつすることもできるが、演算量を減らすために一回シフトする時、複数個のサンプルをシフトすることもできる。あまりにも多いサンプルをシフトすれば、最大相互相関度の地点が不正確になる。シフト量は演算量の減少と最大相互相関度の地点の正確性を考慮して決定される必要がある。演算量を減らすための二番目の方案は相互相関度の計算に参加するサンプルを重畳区間１０a、１０bのサンプルら全体に対してしないで、その一部のみに対してするものである。例えば、分析窓Wmの重畳区間１０aと以前周期フレームFm-１の重畳区間１０bそれぞれからサンプルインデックスがk(但し、kは２以上の自然数)の倍数であるサンプルらを抽出してその抽出されたサンプルらのみを有して相互相関度を計算する方式である。これら二つの方案をいっぺんに適用すれば、演算量減少の效果はさらに大きくなる。
【００４４】
合成段階で、重畳区間１０a、１０bはどのフレーム周期でも固定された長さで適用することができる。他の方案としては、毎フレーム周期ごとに重畳区間１０a、１０bの長さを異なるように適用することもできる。重畳区間１０a、１０bの長さがどのような値を有する時に、加重合成された区間１０cのオーディオデータに最小のノイズを含まれるかを見て、その長さを最適の重畳長さで決定する。最適の重畳長さを捜す方法としては相関係数(coefficient of correlation)を利用することができる。相関係数Rxyは下記の式を利用して求めた。
【００４５】
【数３】
2007511162.tif 000005
【００４６】
ここで、xとyは相関係数の計算に参加する二つの重畳区間１０aと１０b内のサンプルを示して、nは相関係数の計算に参加した各変数x、yのサンプル数を示して、σxとσyはそれぞれ変数x、yの分散値である。相関係数は-１００[％]から+１００[％]までの範囲に変わることができるが、その値が大きいほど相関度が高い。相関係数が７０％〜１００％の範囲に置かれるようになれば、相関度が高いと(high)評価される。したがって、分析窓と出力信号との間の相関係数Rxyが７０％以上である重畳区間の値を適用することが望ましい。この方案は、最適の重畳長さを捜すことによる演算量はさらに増えるようにする代わりに、出力信号の音質は向上させる。高音質の要求が強い場合に、この方案を適用すれば良い結果を得ることができる。
【００４７】
上で説明した演算量減縮方案と重畳区間とを可変長さ化する方案については本発明者がすでに‘可変長さ合成と相関度計算の減縮技法を利用したオーディオ信号の時間スケール修正方法(Audio signal time-scale modification method using variable length synthesis
and reduced cross-correlation computations)’という題目で、すでにＰＣＴ出願(出願番号：ＰＣＴ/ＫＲ０２/０１４９９)を通じて提案したことがある。このＰＣＴ出願で主張されたＴＳＭ方法は本発明と望ましく結合されることができる。前記ＰＣＴ出願で開示された技術は関連出願明細書と図面を参照すれば分かることができるので、本発明の技術主題の一部として含まれることを明らかにしておいて、重複を避けるためにここでは上のように簡略な説明で取り替える。本発明と結合されることができるＴＳＭ方法は、上のＰＣＴ出願の発明に限らない。時間領域でオーディオ信号の再生速度を可変させるためのＳＯＬＡ類またはＷＳＯＬＡ類のアルゴリズムなら、すでに知られたＴＳＭ方法でも、あるいはこれから新しく開発されるＴＳＭ方法でも、すべて適用することができる。但し、指定された変速率αの値に正確に比例する出力信号を合成し出すことができるＴＳＭアルゴリズムなら、本発明とさらに望ましく結合されることができる。
【００４８】
次に、ＴＳＭ処理された出力信号が指定された変速率に無視することができる程度の誤差範囲内で正確に比例するようにする方法を説明する。
【００４９】
デジタルオーディオ信号をＴＳＭ加工する時、関係式(１)によって計算された分析間隔Saが小数値を有する場合、その値に一番近い自然数で分析間隔を修正して適用することが不可避である。何故ならば、分析間隔Saの単位はサンプルの個数であるので、自然数ではなければならないからである。計算された分析間隔Saの代りに修正分析間隔Sa'を適用すれば実際の再生時間は指定された変速率による計算上の再生時間とは誤差が生じる。ここで、計算上の再生時間は分析間隔Saの小数値をそのまま適用した場合を仮定した時に、計算上得られる出力信号の再生時間を意味する。関係式(１)によって計算される分析間隔Saの値が自然数ではない小数である場合には、その小数点以下の値を捨てて(または、四捨五入して)残った整数部を修正分析間隔Sa'の値で割り当てて、その修正分析間隔Sa'を実際に適用する。修正分析間隔Sa'を適用することは、使用者が指定した変速率αの値ではない他の不正確な値の変速率(すなわち、修正された変速率)α'を適用してＴＳＭをしたものと同一である。したがって、ＴＳＭ処理された出力オーディオ信号の実際再生時間は使用者が設定した変速率αを適用したら得られる仮想の出力オーディオ信号の再生時間(これを‘計算上再生時間’と称する)とは差が発生する。その差は、ＴＳＭ処理が続きながら累積する。
【００５０】
本発明はこのような再生時間の累積誤差が所定の許容範囲を脱しないように抑制するための制御方法を適用する。この制御方法によると、所定の合成間隔Ssを前記変速率αで分けた値が自然数である時には、その値をそのまま分析間隔Saで適用する。しかし、その値が小数値である時にはその小数値と一番近い二つの自然数をそれぞれ修正分析間隔Sa'と補償分析間隔Sa"との値で付与して‘所定の条件’が満足される度に計算された分析間隔Saの代りに修正分析間隔Sa'と補償分析間隔Sa"の値を交代に適用する。この時、現在周期での出力信号の実際再生時間と変速率αによって算出される計算上再生時間の間の誤差を累積して、その累積した再生時間誤差が許容誤差範囲の上限値または下限値を脱する場合を前述した‘所定の条件’が満足される場合で扱う。ここで、許容誤差範囲はビデオとオーディオとの同期不一致すなわち、視聴者がリップシンク不一致現象を感じることができない程度の範囲内で決定することが望ましい。許容誤差範囲の上限値は、例えば数十ミリー秒以内で決定すれば良い。
【００５１】
図３はこのような制御方法の具体的な実行手続きを示す流れ図である。入力信号のオーディオサンプルストリームに対して上で説明したＴＳＭ方法を利用してオーディオサンプルのＴＳＭを実行する過程(Ｓ２０)で、ＴＳＭ処理が一フレームずつなされる度にその時点での出力信号の‘実際再生時間’と‘計算上再生時間’との間の差を累積する(Ｓ２２)。そして、両者間の累積誤差が許容誤差の上限値、または下限値を超過する場合には、まさにその誤差を減少させる誤差補償ルーチンを実行する(Ｓ２４、Ｓ２６、Ｓ２８、Ｓ３０)。修正分析間隔Sa'によって発生される誤差を償うために導入する変数がまさに‘補償分析間隔’Sa"である。ＴＳＭルーチンの実行(Ｓ２０)時に、計算された分析間隔Saの値が自然数ではない場合には、修正分析間隔Sa'と補償分析間隔Sa"を適切に適用して再生時間の累積誤差が所定の範囲を脱しないように制御する。
【００５２】
修正分析間隔Sa'を算出する過程は次のようである。まず、ＴＳＭ処理のための初期化を遂行する(Ｓ１０)。初期化段階ではＴＳＭルーチンを実行するのに、必要なさまざまな変数ら、例えばフレームサイズN、重畳長さOV、分析間隔Ss、現在の分析ウィンドウ(またはフレーム)の以前ウィンドウに対する検索範囲Kmax、変速率αなどに対して適切な値を付与する。その他にも修正分析間隔Sa'、補償分析間隔Sa"、そして再生時間とそれの累積誤差を計算するのに必要な変数らの初期化もする。初期化段階を終えた後、入力信号の一番目フレームF０は何らの処理をしないで、そのまま出力信号としてコピーして(Ｓ１１)、二番目フレームF１からＴＳＭルーチンを適用して時間スケールを修正する。このために、まず、使用者が指定する変速率αの値を読み込む(Ｓ１２)。使用者が特別に指定しなければ変速率αの値は初期化段階で付与された値、すなわち１になる。変速率αの値が決定されると、関係式(１)によって分析間隔Saを計算する(Ｓ１４)。その後、計算された分析間隔Saの値が自然数であるかの可否を判断する。仮に、自然数ならその値をそのままＳ２０段階のＴＳＭルーチン実行時に適用するようにする(Ｓ１６)。計算された分析間隔Saが小数値なら、小数点以下を切り捨てた整数部を修正分析間隔Sa'の値で割り当てる。ＴＳＭルーチン実行段階(Ｓ２０)で適用される分析間隔Saの値は修正分析間隔Sa'の値である(Ｓ１８)。これによって以後からのＴＳＭ処理時に適用される分析間隔は計算された分析間隔Saの値代りに修正分析間隔Sa'の値が適用される。このような措置を通じて計算された分析間隔Saが自然数を有しない場合に対する処理条件が備えられる。
【００５３】
Ｓ２０段階では上で説明したＴＳＭ方法によって現在周期の分析窓Wmに対するＴＳＭ処理を遂行する。すなわち、ＴＳＭルーチン(Ｓ２０)が一回遂行されるごとに一つの分析窓に対するＴＳＭ処理が完了する。したがって、フレーム(または、分析窓)インデックスmの値は１から始めてＳ２０段階が一回ずつ遂行される度に１ずつ増加される(Ｓ１９、Ｓ２１)。
【００５４】
一つのウィンドウに対するＴＳＭ処理がなされた後には、再生時間の累積誤差を算出する(Ｓ２２)。再生時間累積誤差を算出するためには、その時までの計算上の再生時間と実際再生時間をそれぞれ算出しなければならない。時間ドメインでオーディオ信号の再生時間はデジタルオーディオサンプルの個数と比例関係を有する。それで、前記実際再生時間はその現在周期までＴＳＭ処理されたデジタルオーディオサンプルの個数をカウントすれば得られる。他の方法で、ＴＳＭ処理されたオーディオサンプルのタイムスタンプを利用してオーディオ信号の実際再生時間を求めることもできる。前記計算上の再生時間は使用者が設定した変速率αの値を適用したら、その現在周期までＴＳＭ処理されるデジタルオーディオサンプルの個数を計算すれば得られる。このように計算上の再生時間と実際の再生時間が算出されれば、これらの差を算出する。そして、その計算された差値をその直前周期までの再生時間累積誤差値に合わせて現在周期までの再生時間累積誤差を新たに算出する。
【００５５】
再生時間の累積誤差が更新された後、その値が許容誤差の上限値(例えば、+５ms)を超過するかどうかをチェックする(Ｓ２４)。Ｓ２４の段階でトゥルー(true)なら、補償分析間隔Sa"を算出する(Ｓ２６)。そして、累積誤差を減少させるために次のフレーム周期からは補償分析間隔Sa"を適用する。計算された分析間隔Saの小数値を切り捨てて修正分析間隔Sa'を決めたら、補償分析間隔Sa"はその修正分析間隔Sa'の値に１を足した値で決めれば良い。仮に、計算された分析間隔Saの小数値を切り上げして修正分析間隔Sa'を決めたら、補償分析間隔Sa"は、その修正分析間隔Sa'の値に１を引いた値で決めれば良い。例えば、計算された分析間隔Saの値が３１．７である場合、修正分析間隔Sa'が３１(または、３２)で決まったら、補償分析間隔Sa"は３２(または、３１)で決定する。より迅速な誤差補償のために、補償分析間隔Sa"を求めるために修正分析間隔Sa'の値に加減する値で、１の代りに２や３のように１より大きい値を利用することもできる。このような方式で補償分析間隔Sa"を算出した後、その算出された値を分析間隔Saに割り当てて次のフレーム周期からＴＳＭルーチン(Ｓ２０)を実行する時に適用する。
【００５６】
補償分析間隔Sa"が適用されてＴＳＭ処理が繰り返されると、再生時間累積誤差は徐徐に減って０に近くなってから、その次からは反対符号方向に増加されて、ついには許容誤差の下限値(例えば、-５ms)値を脱するようになる。この場合には、再びＴＳＭルーチン実行時に適用される分析間隔Saの値をその時まで適用して来た補償分析間隔Sa"の代りに再び修正分析間隔Sa'の値で入れ替る。段階Ｓ２８とＳ３０がこのような処理をする段階である。修正分析間隔Sa'を適用すれば、その時からは再び再生時間累積誤差が徐徐に増加し始めて結局には許容誤差の上限値を超過するようになる。その時からは、再び補償分析間隔Sa"を適用する。このように計算された分析間隔Saの値が自然数ではない場合、計算上分析間隔Saの値を基準に、それに一番近い自然数二つを修正分析間隔Sa'と補償分析間隔Sa"の値でそれぞれ付与して、計算された分析間隔Saを適用する代りに、修正分析間隔Sa'と補償分析間隔Sa"を交代に適用する。再生時間累積誤差が許容誤差の上限値と下限値を超過する度に修正分析間隔Sa'と補償分析間隔Sa"とを交代に適用する。
【００５７】
このような制御方法によると、ＴＳＭ処理された出力信号の実際再生時間は指定された変速率による計算上の再生時間を基準に一定な範囲内でスイングする。許容誤差の範囲をいわゆるリップシンクが維持されることができる程度に設定する条件で本発明の制御方法をＡＶ信号の変速再生に適用すれば、人がＡＶ信号の同期誤差を認知することができない程度にほとんど完璧なＡＶ信号の同期が保障される。
【００５８】
一方、段階Ｓ２０から段階Ｓ３０までを経ると、一つの分析窓に対する処理が終わる。この段階で、さらに処理する入力信号のオーディオサンプルが存在するか否かをチェックする(Ｓ３２)。入力信号がこれ以上存在しなければ、直ちに終了をすれば良いし、そうでなければ次の分析窓を処理するための段階にリターンする。リターンする過程で変速率αの指定値が修正されたかを点検する(Ｓ３４)。変速率αの値が修正されなかったらＴＳＭルーチンの実行段階(Ｓ２０)に復帰して、次回の分析窓Wm+１に対するＴＳＭ処理を上のような方法で繰り返す。変速率αの修正があったら、その修正によって分析間隔Saと修正分析間隔Sa'などのような他の変数値も、再び計算されなければならないので段階Ｓ１２にリターンする(Ｓ３４)。
【００５９】
このような制御方法とＴＳＭ方法はソフトウェアエンジンの形態で具現されることができる。そのソフトウェアエンジンはメモリーに保存されてＣＰＵ、ＤＳＰ、マイクロプロセッサーまたはオーディオデコーダーチップなどのようなプロセッサによって実行されることができる。本発明の方法を実行するための装置の基本的な構成を図４に示す。この装置は図４に示すように、例えばＲＯＭまたはフラッシュメモリーなどのようにエンジンプログラムを保存するための不揮発性メモリー１１０、そのエンジンプログラムを実行して入力信号をＴＳＭ処理された出力信号に変換するプロセッサ１２０、ＴＳＭ処理前後のデータを保存するためのメモリー１３０が必要である。プロセッサ１２０は例えば、デジタル信号処理器(ＤＳＰ)、マイコンまたは中央演算処理ユニット(ＣＰＵ)などで具現することができるし、または特定用途で作られたオーディオチップ、オーディオ/ビデオチップ、ＭＰＥＧチップ、ＤＶＤチップなどになることもできる。このメモリー１３０は入力信号を臨時に保存する入力バッファー１３０aとＴＳＭ処理後の出力信号を臨時に保存する出力バッファー１３０b用の空間を提供して、プロセッサ１２０がさまざまな演算とデータ処理などをするのに必要な空間も提供する。その他にも使用者が指定する変速率α値をプロセッサ１３０に伝達する、例えば入力キーパッドまたはリモートコントローラーなどのような使用者入力手段１４０も必要である。
【００６０】
ＴＳＭ処理前の入力信号はＣＤロム(Read Only Memory)、ハードディスク、デ−コディングチップなどのような入力信号提供部１５０からメモリー１３０に設けられた入力バッファー１３０bに、臨時に保存されてからプロセッサ１２０によるＴＳＭ処理過程を経る。ＴＳＭ処理された信号は出力バッファー１３０bに臨時に保存されてから、オーディオ再生部１６０に伝達してＤ/Ａ変換過程を経ってスピーカーを通じて音に再生される。
【００６１】
本発明のＴＳＭ方法をＡＶ機器に適用すれば、変速再生時に完璧なＡＶ同期を保障することができる。これが可能な理由は本発明のＴＳＭ方法を利用する場合、変速処理されたオーディオ信号の再生時間は与えられた変速率値にほぼ正確に比例して修正されるという点である。他の一つの理由は、本発明のＴＳＭ方法は変速率の値が変われば、直ちに次のフレーム周期からその変化された変速率値を基準にＴＳＭ処理を遂行することができるという点である。ＡＶ信号を変速処理する場合に時間が経過することによって、変速処理されたビデオ信号の実際変速率は使用者が指定した変速率αと同一でなくなることもある。このような場合オーディオ信号の変速処理を使用者が指定した変速率の値を基準にすれば、変速処理されたＡＶ信号間に同期が維持されることができない。ＡＶ信号の変速処理時、いずれか一つの変速処理された信号の実際変速率を基準に他の信号の変速処理を遂行すると、ＡＶ信号の同期が維持されることができる。本発明は変速処理されたビデオ信号の実際変速率をリアルタイムでオーディオ信号のＴＳＭ処理に伝達することで、変速処理されたビデオ信号の実際変速率をオーディオ信号の変速処理時に基準になる変速率で利用する方法を提案する。この方法を利用すれば変速処理されたＡＶ信号の同期維持が保障されることができる。
【００６２】
さらにより具体的に説明すると、まず目標変速率という概念を取り入れる。変速処理された信号の再生過程で現われる実際変速率は時間によって変動されることができるが、目標変速率はその可変的な実際変速率が志向しなければならない基準になる変速率である。オーディオ信号のみの変速再生時には使用者が最初指定した変速率αが目標変速率になる。しかし、ＡＶ器機でＡＶ信号を変速再生する場合のビデオ信号の実際変速率を目標変速率にすることができるし、この場合その値は可変的な値になることができる。オーディオ信号のＴＳＭ処理においてビデオ信号の実際変速率は使用者が指定した変速率で見做せば良い。
【００６３】
一つのＡＶ信号をビデオ信号とオーディオ信号に分離して使用者が指定した同一な変速率を基準にそれぞれビデオ信号変速処理部１７０とオーディオ信号変速処理部１００によって別に変速処理される場合を仮定する(図４参照)。ビデオ信号とオーディオ信号との間の同期維持のためにビデオ信号の実際変速率を基準にしてオーディオ信号のＴＳＭ処理を遂行する。すなわち、ビデオ信号の実際変速率の値が変化すれば、その時からはオーディオ信号のＴＳＭ処理時に基準になる変速率をビデオ信号の実際変速率の変化された値に修正してオーディオ信号の変速処理を遂行する。具体的に、ビデオ信号変速処理部１７０は変速処理されたビデオ信号の実際変速率を周期的に算出した後、その算出された変速率が以前に算出された変速率と同一な値であるかをチェックする。以前変速率と異なる値なら、新たに算出された変速率をオーディオ信号のＴＳＭ処理を遂行するプロセッサ１２０に提供する。他の方案として、ビデオ信号変速処理部１７０はビデオ信号の実際変速率を周期的に算出してオーディオ信号変速処理部１００のプロセッサ１２０に伝達して、その変速率が変更されたかチェックすることはオーディオ信号変速処理部１００のプロセッサ１２０が遂行することもできる。いずれの方式によってもビデオ信号の実際変速率に変化があるかチェックすることは、使用者による変速率の修正があったのかを点検するＳ３４段階で一緒に遂行すれば良い。ビデオ信号の実際変速率すなわち、目標変速率α'の値が変更された場合には、段階Ｓ１２に戻って前で説明したように、その変更された目標変速率α'の値を読んだ後に分析間隔Saを再び計算するなど、Ｓ１２段階からＳ３２段階までの手続きを遂行する。目標変速率α'の値に変更がなければＳ２０段階に戻る。
【００６４】
このようにＡＶ信号の変速処理の場合、ビデオ信号の実際変速率をオーディオ信号の変速処理の基準になる目標変速率にして、オーディオ信号のＴＳＭを遂行すれば、ＡＶ信号の同期が常に保障されることができる。例えば、使用者が指定した変速率は２である場合(すなわち、２倍早く再生する場合)を仮定する。この値に基づいてＡＶ信号の変速再生処理が始まった後で、どのような原因によっても、ある特定周期でのビデオ信号の実際変速率が２．１になったとする。この場合、オーディオ信号変速処理部１００はビデオ信号変速処理部１７０からビデオ信号の実際変速率２．１を伝達されるが、その値は使用者が指定した変速率として見做す。そうすると、その以前まではオーディオ信号の変速再生において目標変速率が２．０であったものが２．１で新しく変更される。そして、その変わった値に基づいて分析間隔Sa、修正分析間隔Sa'、そして補償分析間隔Sa"の値が新たに算出される。この値らを適用してオーディオ信号のＴＳＭ処理を遂行する。
【００６５】
ＭＰＥＧ信号の場合、変速処理されたビデオ信号の実際変速率(すなわち、目標変速率)はタイムスタンプの時間から算出することができる。ビデオ信号変速処理部１７０は現在の時点で変速処理されたビデオフレームのタイムスタンプの時間値を読める。したがって、過去のある特定時点Ｔ１で変速処理されたビデオフレームのタイムスタンプ値ＴＳ１と現在の時点Ｔ２で変速処理されたビデオフレームのタイムスタンプ値ＴＳ２が分かれば、次の式(４)によって実際のビデオ信号の変速率αVが計算されることができる。すなわち、ビデオ信号の実際変速率は過去のある時点Ｔ１から現在の時点Ｔ２までの実際経過時間Ｔ２-Ｔ１と前記過去のある時点Ｔ１で変速処理されたビデオフレームのタイムスタンプ値ＴＳ１と現在の時点Ｔ２で変速処理されたビデオフレームのタイムスタンプ値ＴＳ２の間の比である。そして、その計算された値が、すなわちオーディオ信号の変速再生において新しい目標変速率α'で適用される値である。
【００６６】
【数４】
2007511162.tif 000006
【００６７】
このように本発明によると、ビデオ信号は使用者が指定した変速率を基準に変速処理されて、オーディオ信号はビデオ信号の実際変速率を基準に変速処理される。したがって、変速処理時にＡＶ信号間の同期維持はビデオ信号の実際再生速度がどのように変わろうが構わずに、その値にオーディオ信号の再生速度を一致させることができる。その結果、変速処理されたビデオ信号とオーディオ信号間の同期は完璧に維持されることができる。
【００６８】
一方、以上で説明した本発明によるオーディオ信号のＴＳＭ技術とＡＶ信号との同期維持技術をすでに広く知られたビデオ信号の変速再生技術と組み合わせてデジタル放送信号の変速再生に応用すれば、いろいろ有用な付加機能らを作り上げることができる。
【００６９】
このような有用な付加機能の一番目の例としては、“フォン-ブレイク区間視聴機能”を挙げることができる。この機能は放送視聴中に、例えばトイレ利用または、電話通話のために視聴することができなかったうちに(これを‘フォン-ブレイク区間’と称する)の放送信号を保存しておいてから、電話通話が終われば保存された放送信号をフォン-ブレイク区間の最初から順次に高速再生している途中、現在受信される放送信号をすべて追い付くようになれば、その時からは出力信号を保存された放送信号の代わりに現在受信される放送信号で入れ替る機能である。この機能を利用すれば放送信号を切れないで、連続的に視聴することができる。
【００７０】
付加機能の二番目の例は“バック-アンド-スロー視聴機能”である。この機能は放送視聴中に少し前の内容を再び詳細に視聴しようとする場合、保存手段に保存された放送信号を利用してその内容が出る部分に戻って、その内容を順次に低速モードまたは、正常速度で再生した後、再び正常な視聴のために保存された放送信号を高速モードで再生している途中、現在受信される放送信号をすべて追い付くようになれば、出力信号を現在受信される放送信号に切り換える機能である。
【００７１】
付加機能の三番目の例は“直ちにスロー機能(Immediate Slow Function)”である。この機能は受信される放送信号からより詳細に視聴する必要がある場合に有用な機能として、少なくとも現在の時点から、受信される放送信号を保存手段に保存すると同時に、他の一方では保存手段に保存された放送信号を低速モードで再生して、再び正常な視聴のために保存された放送信号を高速モードで再生している途中、現在受信される放送信号をすべて追い付くようになれば、出力信号を現在受信される放送信号に切り換えられるようにする機能である。
【００７２】
このような機能らは受信されるデジタル放送信号をメモリーやハードディスクなどのようなデータ保存手段に保存することを前提とする。したがって、このための装置の構成にはデジタル放送信号の保存手段、オーディオ信号とビデオ信号の変速処理手段などを具備する必要がある。図８はデジタルテレビ放送信号を変速処理して上のような付加機能らを提供することができるシステム２００の構成を示すブロック図である。このシステム２００はデジタルテレビセットまたはデジタル放送の受信機能を内蔵したＴＶフォン、個人型ビデオレコーダー(personal video recorder：ＰＶＲ)、セットップバックスなどの装置に内蔵することができる。
【００７３】
図８のシステムで処理される内容を簡単に説明する。ビデオ信号はデジタル化されてパケット化されて関連オーディオ信号及び/またはデータチャンネルと多重化処理されることができる。データチャンネルは関連ビデオと密接に係わることもあり、または全然無関係であることもある。これら多重化された信号をデジタル放送信号(または、放送プログラム)と称する。また、多くの放送プログラムらが単一のトランスポートストリームで多重化されることができる。デジタル放送信号はＭＰＥＧ標準として圧縮符号化されて送信ストリーム形態でデジタルＴＶに提供される。デジタル放送信号は地上波放送、衛星放送またはケーブル放送などを通じてテレビ視聴者らに提供されることができる。一応テレビで受信がなされると、放送信号に含まれたビデオ、オーディオ及び補助情報が、デマルチプレクサー２４５によってデマルチフレックスになってＭＰＥＧデコーダー２３０に伝達する。これと同時に前記で言及した機能らを提供するために、メモリー２４０にも保存される。ここでメモリー２４０は放送信号保存手段の代表的な例であるだけである。ＭＰＥＧデコーダー２３０のデータソースは二つであるが、その一つがデマルチプレクサー２４５を通じて直接提供される現在受信された放送信号であり、残り一つがメモリー２４０に保存された、過去に受信された放送信号である。ＭＰＥＧデコーダー２３０にどのソースデータが提供されなければならないかは、制御部２６５によって制御されることができる。ＭＰＥＧデコーダー２３０はＭＰＥＧ放送信号をビデオ信号とオーディオ信号とで分離して、各信号に対して別に圧縮を解いてデコーディングする。デコーディングされたオーディオ信号はＰＣＭデータになる。変速再生のための処理が必要ではない場合には、そのデコードされたビデオ信号とオーディオ信号とはそれぞれＡ/Ｖ同期部２５０に伝達する。Ａ/Ｖ同期部２５０はビデオ信号とオーディオ信号との同期化処理をする。同期化されたデジタルビデオ信号とオーディオ信号とは、ビデオエンコーダ２５５とオーディオデジタル-アナログ変換器(ＤＡＣ)２６０にそれぞれ伝達してアナログ映像信号とオーディオ信号とにそれぞれ変換されて、最終的には画面とスピーカーを通じて動画と音で出力される。仮に、ディスプレー手段がＬＣＤ、またはＰＤＰのようなデジタル駆動方式の画面手段である場合には、ビデオエンコーダ２５５の代わりに別途の駆動回路が具備される必要がある。各構成要素らはバス２７５で連結される。
【００７４】
上で言及した三つの機能らを遂行するためには、ビデオ信号とオーディオ信号とに対する変速処理がなされなければならない。このような場合にはＭＰＥＧデコーダー２３０から出力されるデコードされたビデオ信号とオーディオ信号とはそれぞれビデオ変速部２２０とオーディオ変速部２１０に提供されて、その所で変速処理された後にＡ/Ｖ同期部２５０に提供されなければならない。また、使用者の入力手段として使用されるリモートコントローラー２８０またはキー入力部２７０は上の三つの機能を指示するためのキーを具備する必要がある。図８に示すように、例えばリモートコントローラー２８０は“フォン-ブレイク区間視聴機能”を指示するためのフォン-ブレイクキー(Phone-Break Key)２８０a、“即時-スロー視聴機能”を指示するための即時-スローキー(Immediate Slow Key)２８０b、“バック-アンド-スロー視聴機能”を指示するためのバック-アンド-スローキー(Back & Slow Key)２８０c、放送信号追い付きを指示するためのリターンキー(Return Key)２８０d、再生速度のアップまたはダウンを指示するためのアップ/ダウンキー(Up/Down Key)２８０e、２８０fなどを具備することが機能利用に便利である。
【００７５】
図９に示すシステム２００-１は図８に示すシステム２００の変形例であるが、Ａ/Ｖ同期部２５０-１がＭＰＥＧデコーダー２３０と二つの変速部２２０、２１０との間に位置するという点で図８のシステム２００と異なる。図８のシステム２００は変速処理後にビデオ信号とオーディオ信号との同期処理を遂行することに比べて、図９のシステム２００-１は、ビデオ信号とオーディオ信号とを先に同期させた後に変速処理を遂行する。
【００７６】
図８と９に示すシステムでメモリー２４０は受信される放送信号の保存手段の代表的な例としてラム(ＲＡＭ)になることができる。放送信号はＭＰＥＧ方式で圧縮符号化されたデジタル信号として、特にビデオ信号のデータ量が多い。したがって、長い時間の放送信号を保存するためには、多くのラムを採用しなければならないが、これは費用において大きい負担になる。それで、デジタルＴＶやこれと組み合わせて使用されるセットップバックスや個人用デジタルビデオ録画器(personal video recorder：ＰＶＲ)の場合、ハードディスクのような低価の大容量保存手段をメモリー２４０の代用で使うのが有利である。また、ハードディスクとラムを組み合わせてメモリー２４０手段として使用されることができる。図８と９に示すシステムは、デジタルＴＶの構成例であるが、ＴＶ受信機能をいわゆるＴＶフォンの構成としても見られる。ＴＶフォンの場合リモートコントローラー２８０を使わないので、リモートコントローラー２８０の関連キー２８０a〜２８０fの機能をＴＶフォンの他のキーが引き受けるように修正する必要がある。
【００７７】
図５は“フォン-ブレイク区間視聴機能”の実行手続きを示す流れ図である。図１０aと１０bは図８または図９のシステム２００または２００-１を採用しているデジタルＴＶやＴＶフォン(以下、‘デジタルＴＶ’と称する)を利用してフォン-ブレイク区間視聴機能”を実行する場合の時間の経過による信号処理の内容を示す。メモリー２４０は最大４分間の放送信号を保存することができるサイズであることで仮定する。特に、図１０aと図１０bはそれぞれフォン-ブレイク区間が４分である場合と５分である場合を示す。メモリー２４０に放送信号を保存して読み出す時、先入先出(ＦＩＦＯ)方式を適用することが望ましい。ＦＩＦＯ方式を適用すれば、図１０bの場合に最近の４分間の放送信号のみがメモリー２４０に記憶されていて、その以前に受信された１分間の放送信号、すなわち１９時１０分から１９時１１分まで受信された放送信号はオーバーフローされて流失が不可避である。
【００７８】
使用者が放送を視聴している途中に電話通話、あるいは他のことのためにＴＶ放送を視聴することができなくなる状況が生じれば、フォン-ブレイクキー２８０aを押す(Ｓ４０)。後でフォン-ブレイクキー２８０aが入力された時点から保存された放送信号を読み出すことができるようにするために、そのキー入力時点に対応されるメモリー２４０の住所を記憶する(Ｓ４２)。受信される放送信号の保存は、少なくともフォン-ブレイクキー２８０aを押した時点からは始まらなければならない。“バック-アンド-スロー視聴機能”などの機能らを考慮すれば、受信放送信号の保存はキー入力と関係なく、常時的になされることが望ましい。フォン-ブレイク区間に受信される放送信号を画面とスピーカーに出力するかの可否は任意的である。
【００７９】
その後、図１０aに示すように使用者が電話通話が終わってＴＶを再び視聴するために、１９時１４分にリモートコントローラー２８０のリタンキー２８０dを押したら(Ｓ４４)、制御部２６５はその時からＭＰＥＧデコーダー２３０がメモリー２４０に保存された放送信号を読み込んでデコーディングするように制御する。これに、前記で制御部２６５はデコーディング対象になるメモリー開始住所に関する最終的な確定手続きを経る。すなわち、リタンキー２８０dが入力された時、フォン-ブレイクキー２８０aが入力された時点Ｔrからリターンキー２８０dが入力された時点Ｔbまでの時間Ｔr-Ｔbを計算して、その時間がメモリー２４０の最大保存時間Ｔmax(例えば、４分)を超過するかどうかをチェックする(Ｓ４６)。仮に、図１０bに示すようにＴr-Ｔb>Ｔmaxである場合なら、フォン-ブレイク区間の開始点住所を現在時間からＴmax分の前に受信された放送信号が保存された住所に更新する過程を経る(Ｓ４８)。図１０bの場合、フォン-ブレイク区間の開始点住所は現在メモリー２４０に保存された放送信号のうちで一番先に保存された放送信号が記録された住所、すなわち、１９時１１分に受信された放送信号が保存された住所に更新されて、１９時１０分から１９時１１分の間に受信された放送信号は、流失されたものとして処理される。仮に、図１０aに示すようにＴr-Ｔb≦Ｔmaxである場合なら、フォン-ブレイク区間がメモリー２４０の最大保存能力を超過しなかったので、フォン-ブレイク区間の開始点住所は変更する必要がなくてデータの流失もない。
【００８０】
フォン-ブレイク区間の開始点住所の確定手続きを終えた後、“放送信号追跡機能”を実行する。すなわち、ＭＰＥＧデコーダー２３０はメモリー２４０に保存された放送信号を、その確定された開始点住所から順次に読んで来てデコーディングする。ＭＰＥＧデコーダー２３０でデコードされたビデオ信号とオーディオ信号はそれぞれビデオ変速部２２０とオーディオ変速部２１０に伝達して、指定された変速率で高速再生される。各変速部２１０、２２０が基準にする再生速度は、基本的に正常速度の２倍早い速度にするものの、使用者がリモートコントローラー２８０の速度調節キー２８０e、２８０fを利用して他の値に修正するようにする。高速再生が可能になるように変速処理されたビデオ信号とオーディオ信号とはＡ/Ｖ同期部２５０を経って同期をより完全になした後、ビデオとオーディオに出力される。もちろん、図９のシステム２００-１の場合には前記で説明したようにＡ/Ｖ同期部２５０での同期処理が二つの変速部２１０、２２０の変速処理に先立って遂行される。
【００８１】
高速モードで再生すれば現在受信される放送信号とメモリー２４０に保存された放送信号の再生信号との間の時間差がますます減るようになる。そのような状態で所定の時間が経てば、再生信号が現在受信される放送信号をほとんど追い付くようになる。二つの信号間の時間差がとても小くなって設定された誤差範囲以内に減るようになれば、その時からはＭＰＥＧデコーダー２３０がデコーディングする信号はメモリー２４０に保存された放送信号の代りにデマルチプレクサー２４５を通じて提供される現在受信される放送信号に切り替える。その時以後からは、再び現在受信される放送信号がデジタルＴＶの画面とスピーカーに出力される。放送信号追い付きがなされたかは、タイムスタンプ値を比べると判断することができる。
【００８２】
次に、図６の流れ図は“バック-アンド-スロー視聴機能”の実行手続きを示す流れ図であり、図１１は“バック-アンド-スロー視聴機能”を実行する場合の時間の経過による信号処理の内容を示す。この機能のためには、現在受信される放送信号をリアルタイムでデコーディングして出力することと竝行してメモリー２４０に継続的に保存する必要がある(Ｓ６０)。この機能は、例えばサッカー競技を視聴した途中に、ただいま過ぎ去ったゴールイン場面をもう一度詳しく見ようとする場合に有用な機能である。したがって、主に数秒、あるいは数十秒前の内容に戻って再視聴することが普通であるので、メモリー２４０は少なくとも数十秒以上の放送信号を保存することができる保存能力を取り揃えれば十分である。
【００８３】
使用者が主要場面をもう一度見るために、１８時２０分２３秒にバック-アンド-スローキー２８０cを押したら(Ｓ６２)、制御部２６５はそのようなキー入力を認知して、その時からはＭＰＥＧデコーダー２３０がデマルチプレクサー２４５から直接提供される現在受信された放送信号の代りにメモリー２４０に保存された放送信号を読み込んで、デコーディングするように制御する(Ｓ６４)。バック-アンド-スローキー２８０cを一回押す度に所定時間、例えば１０秒ずつ過去に戻るようにプログラミングする。例えば、使用者がバック-アンド-スローキー２８０cを一回押したら１０秒前の放送信号に戻って１８時２０分１３秒の放送信号からＭＰＥＧデコーダー２３０に提供される。そして、ＭＰＥＧデコーダー２３０でデコーディングされたビデオ及びオーディオ信号は、それぞれビデオ変速部２２０とオーディオ変速部２１０とによって低速モードで、例えば２倍遅く再生されるように変速処理される。使用者の便宜性を考慮して、どの程度の時間ぐらい過去に戻ったのか及び/または現在受信される放送信号との時間差はどの程度出るのかなどを算出してＴＶ画面に表示することもできる(Ｓ６６)。
【００８４】
低速モードの再生を終了しようとしたら、使用者はリターンキー２８０dを押せば良い。リタンキー２８０cの入力が認知されれば、現在受信される放送信号を追い付くために制御部２６５は、その時からはメモリー２４０に保存された放送信号を高速再生されるように制御する(Ｓ７０)。Ｓ６４段階の低速モード再生とＳ７０段階の高速モードの再生において、基本的に適用される変速率をそれぞれ、例えば２倍遅くと、１．５倍早くで決定しておいて、使用者が異なる変速率がほしければボタン２８０e、２８０fを利用して調節することができるようにする。高速モード再生によって現在受信される放送信号を追い付くことは、前記の図５の段階Ｓ５２で説明したところのようである。例えば、１８時２０分４３秒にリターンキー２８０dを押したら、その時まで低速再生された信号は１８時２０分１３秒から２３秒までの放送信号である。したがって、１８時２０分２３秒からその後の放送信号をメモリー２４０から読み込んで高速で再生してこそ、現在受信される放送信号を追い付くことができる。例えば、メモリー２４０に保存された放送信号を１．５倍早く高速再生をすれば、１８時２１分２３秒には現在受信される放送信号を追い付くことができるようになる。その時からは、ＭＰＥＧデコーダー２３０は再びデマルチプレクサー２４５から直接提供される放送信号をデコーディングする。
【００８５】
次に、図７の流れ図は“即時-スロー視聴機能”の実行手続きを示す流れ図であり、図１２は“即時-スロー視聴機能”を実行する場合の時間の経過による信号処理の内容を示す。この機能のみのためなら、この機能の実行が指示される前には、敢えて放送信号をメモリー２４０に保存しておく必要はない。しかし、前の二つの機能とともに提供される機能なら、現在受信される放送信号がメモリー２４０に継続的に保存される(Ｓ８０)。この機能はＴＶを視聴しながら、注意深く見る必要がある内容が出る時、その時から低速モードで視聴することができるようにする機能であるので、使用者はそういう部分が出ると、即時-スローキー２８０bを押せば良い(Ｓ８２)。制御部２６５は即時-スローキー２８０bの入力が認知されれば、直ちにＭＰＥＧデコーダー２３０がメモリー２４０に保存された放送信号を読み込んでデコーディングするように制御する。デコードされたビデオ及びオーディオ信号はそれぞれビデオ変速部２２０とオーディオ変速部２１０によって指定された変速率によって変速処理され、これから得られたビデオとオーディオ信号とは低速モードで再生される(Ｓ８４)。前記で説明したところのように、使用者が低速モード視聴を終えて正常に視聴するためにリターンキー２８０dを押せば、制御部２６５がこれを認知して(Ｓ８６)、メモリー２４０に保存された放送信号を高速モードで再生する(Ｓ８８)。ひいては、このようなメモリー保存信号の高速モード再生によって現在受信される放送信号を追い付くようになれば、制御部２６５はその時からはＭＰＥＧデコーダー２３０が現在受信される放送信号をデコーディングするように制御することで、現在の受信放送信号に復帰する(Ｓ９０)。
【００８６】
図１２で、即時-スローキー２８０bを１８時２０分２０秒に押して、１０秒後である１８時２０分３０秒にリターンキー２８０dを押したならば、そして指定された変速率が２倍遅くすると１．５倍早くするならば、１８時２０分２０秒から５秒間の保存された放送信号が２０秒から３０秒まで１０秒の間に２倍遅く再生されて、リタンキー２８０dが押された３０秒からは、２５秒からの保存された放送信号が１．５倍早く再生される。その結果、１８時２０分４０秒になると、再生信号が現在受信される放送信号を追い付くようになる。その時からは現在受信される放送信号が直接出力される。
【００８７】
このような有用な付加機能らが実現することができることは、変速率がどのような値であっても、ＡＶ信号の間に完璧な同期を保障するからである。そして、完璧なＡＶ同期はなによりも前記で説明したところのように、本発明によるオーディオ信号の変速処理方式が弾力的で適応的という点のために可能なものである。すなわち、本発明はビデオ信号の再生速度がたとえ指定された変速率と差があっても、実際のビデオ信号の変速率を基準にオーディオ信号を変速処理して、このような適応的な変速処理をリアルタイムで実現することができるから、変速処理されたビデオとオーディオ信号はやっぱり常に完璧な同期を維持することができる。
【００８８】
上の説明で、デジタルビデオ信号の変速処理方法に対しては具体的に言及しなかった。ビデオ信号の変速処理技術はすでに広く知られたものがたくさんあって、そのうちで適切なものを選択して利用すれば良い。ビデオ信号の実際変速率を正確に算出することができる方式のビデオ信号の変速処理技術なら本発明に適用されることができる。
【００８９】
以上では本発明の実施例によって本発明が説明されたが、本発明の思想を逸脱しない範囲内で多様な変形が可能であることは本発明が属する技術分野の当業者なら明確に認知することができる。
【図面の簡単な説明】
【００９０】
本発明のさらなる目的と効果は、添付の図面と共に詳細な説明を参照する事で、より深く理解されるであろう。
【００９１】
【図１】本発明による時間スケール修正(time-scale modification：ＴＳＭ)方法の概念を説明するための図面である。
【図２】現在周期のフレームと以前周期のフレームとの間の最大波形類似度の地点を探す方法を説明するための図面である。
【図３】本発明の実施例によるものであり、再生時間の累積誤差が所定の許容範囲を脱しないように抑制するための制御方法の具体的な実行手続きを示す流れ図である。
【図４】本発明の制御方法を行うための装置の基本的な構成を示すブロック図である。
【図５】“フォン-ブレイク区間視聴機能”の実行手続きを示す流れ図である。
【図６】“バック-アンド-スロー視聴機能”の実行手続きを示す流れ図である。
【図７】“即時-スロー視聴機能”の実行手続きを示す流れ図である。
【図８】デジタルテレビ放送信号を変速処理して上のような付加機能らを提供することができるシステム２００の構成を示すブロック図である。
【図９】図８に示すシステム２００の変形例の構成を示すブロック図である。
【図１０ａ】図８または９のシステム２００または２００-１を採用しているデジタルＴＶやＴＶフォン(以下、‘デジタルＴＶ’と称する)を利用してフォン-ブレイク区間視聴機能”を実行する場合の時間の経過による信号処理の内容を示す。
【図１０ｂ】図８または９のシステム２００または２００-１を採用しているデジタルＴＶやＴＶフォン(以下、‘デジタルＴＶ’と称する)を利用してフォン-ブレイク区間視聴機能”を実行する場合の時間の経過による信号処理の内容を示す。
【図１１】“バック-アンド-スロー視聴機能”を実行する場合の時間の経過による信号処理の内容を示す。
【図１２】“即時-スロー視聴機能”を実行する場合の時間の経過による信号処理の内容を示す。
【図１】
2007511162.tif 000007
【図２】
2007511162.tif 000008
【図３】
2007511162.tif 000009
【図４】
2007511162.tif 000010
【図５】
2007511162.tif 000011
【図６】
2007511162.tif 000012
【図７】
2007511162.tif 000013
【図８】
2007511162.tif 000014
【図９】
2007511162.tif 000015
【図１０ａ】
2007511162.tif 000016
【図１０ｂ】
2007511162.tif 000017
【図１１】
2007511162.tif 000018
【図１２】
2007511162.tif 000019
【国際調査報告】
2007511162.tif 000020
2007511162.tif 000021