(57)【要約】【課題】映像データと音声データのフレーム長が異なり、しかも映像データと音声データのフレーム長を変えられないＡＶ記録装置において、ポーズ処理においてＡＶ同期ずれを起こさないＡＶ同期処理装置および方法を提供する。【解決手段】ポーズ指示により映像データフレーム基準で補正すべき音声データのずれ時間を求める。さらにポーズ中に映像データと音声データの周期ずれ時間を監視し、ポーズ解除時では、周期ずれ時間の最新値とポーズ指示時に求めた補正すべき音声データのずれ時間に基づいて、映像データを遅らせるか、音声データを遅らせるか、またはどちらも遅らせないかを決定する。ポーズ解除時に補正すべき音声ずれ時間については、システム起動時からの複数回のポーズ処理における補正すべき音声ずれ時間が累積加算され、決定される。【選択図】図１０
2005006095.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力し、ＡＶ同期処理を行った前記映像データと前記音声データを、時間情報（以下、ＰＴＳ）を付加してエンコーダに供給するＡＶ同期処理装置であって、
所定の周期に基づいて時間を計測するタイマ手段と、
前記タイマ手段に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する時間記憶手段を有し、
前記記憶した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する
ＡＶ同期処理装置。
【請求項２】
前記ポーズ指示があった時、映像データフレームの切れ目を基準として、音声データフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、
前記ポーズ指示後において、映像データの各フレームの開始時刻毎に、前記映像データに対する音声データのフレーム開始時刻の差分であるポーズ中ＡＶ差分値を算出し、
前記算出したポーズ時音声遅れ時間とポーズ中ＡＶ差分値に基づいて、前記前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、
複数のポーズ指示のそれぞれにおいて、ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、
前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する
請求項１に記載のＡＶ同期処理装置。
【請求項３】
前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、音声データが映像データに対して進んでいると判断した場合、前記ポーズ解除後に前記映像データを前記音声データに対して１フレーム分遅らせて入力する
請求項２に記載のＡＶ同期処理装置。
【請求項４】
前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、音声データが映像データに対して１フレーム分以上遅れていると判断した場合、前記ポーズ解除後に前記音声データを前記映像データに対して１フレーム分遅らせて入力する
請求項２に記載のＡＶ同期処理装置。
【請求項５】
それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力し、ＡＶ同期処理を行った前記映像データと前記音声データを、時間情報を付加してエンコーダに供給するＡＶ同期処理方法であって、
所定の周期に基づいて時刻を計測し、
前記計測した時刻に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶し、
前記記憶した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する
ＡＶ同期処理方法。
【請求項６】
前記ポーズ指示があった時、映像データフレームの切れ目を基準として、音声データフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、
前記ポーズ指示後において、映像データの各フレームの開始時刻毎に、前記映像データに対する音声データのフレーム開始時刻の差分であるポーズ中ＡＶ差分値を算出し、
前記算出したポーズ時音声遅れ時間とポーズ中ＡＶ差分値に基づいて、前記前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、
複数のポーズ指示のそれぞれにおいて、前記ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、
前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する
請求項６に記載のＡＶ同期処理方法。
【請求項７】
前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、音声データが映像データに対して１フレーム分以上遅れていると判断した場合、前記ポーズ解除後に前記音声データを前記映像データに対して１フレーム分遅らせて入力する
請求項７に記載のＡＶ同期処理方法。
【請求項８】
前記ポーズ解除要求があったときに、前記累積音声ずれ補正値に基づいて、音声データが映像データに対して１フレーム分以上遅れていると判断した場合、前記ポーズ解除後に前記音声データを前記映像データに対して１フレーム分遅らせて入力する
請求項７に記載のＡＶ同期処理方法。
【請求項９】
それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力して、ＡＶ同期処理を行い、ＰＴＳを付加してエンコーダに供給し、前記エンコーダでは前記映像データと前記音声データと前記ＰＴＳをコード化して多重化したビットストリームを出力するＡＶ記録装置であって、
所定の周期に基づいて時間を計測するタイマ手段と、
前記タイマ手段に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する時間記憶手段と、
前記ポーズ指示があった時、映像データフレームの切れ目を基準として、音声データフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、前記ポーズ指示後において、映像データの各フレームの開始時刻毎に、前記映像データに対する音声データのフレーム開始時刻の差分であるポーズ中ＡＶ差分値を算出し、前記算出したポーズ時音声遅れ時間とポーズ中ＡＶ差分値に基づいて、前記前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、複数のポーズ指示のそれぞれにおいて、ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定するＡＶ同期処理手段と、  前記映像データと前記音声データの各フレームの開始時刻に基づいて、前記映像データと前記音声データのＰＴＳを管理するＰＴＳ管理手段と、
を有する
ＡＶ記録装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は映像データおよび音声データの記録装置および記録方法に関する。特に、映像データおよび音声データの一時停止（ポーズ）時のＡＶ同期技術に関する。
【０００２】
【従来の技術】
映像データと音声データの記録装置（以下、ＡＶ記録装置）、例えば、ＭＰＥＧのエンコーダの入力装置においては、映像データと音声データの入力信号のフレーム長（フレーム周期）が異なる場合が一般的である。また、音声データ及び映像データの取り込み周期がそれぞれフレーム単位で行われる点に特徴がある。
以下、このような従来のＡＶ記録装置の構成及び作用について説明する。
【０００３】
図１５は従来のＡＶ記録装置のシステム構成図である。
このシステムは、メインＣＰＵ１ａから制御指示を受ける入力データ制御部２ａ及びシステムエンコード部３ａから構成される。
入力データ制御部２ａは、メインＣＰＵ１ａからの制御指示を音声／映像制御部２１ａが受け、時間情報発生ハードウェア２４ａからの時間情報に基づき、音声入力制御ハードウェア２２ａ、映像入力制御ハードウェア２６ａに対する制御を行う。
【０００４】
音声／映像制御部２１ａは、音声入力制御ハードウェア２２ａに制御指示を出すことで、音声データの入力制御を行い、入力された音声データは、音声用データメモリ２３ａに格納される。また、音声／映像制御部２１ａは、映像入力制御ハードウェア２６ａに制御指示を出すことで、映像データの入力制御を行い、入力された映像データは、映像用データメモリ２５ａに格納される。
入力データ制御部２ａは、時間情報発生ハードウェア２４ａからの時間情報に基づき、システムエンコード部３ａに、時間情報ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）を付加した音声データおよびＰＴＳを付加した映像データを提供する。
【０００５】
システムエンコード部３ａは、メインＣＰＵ１ａからの制御指示により制御される。音声エンコード部３１ａは、入力データ制御部２ａからのＰＴＳを付加した音声データをエンコードし、符号化する。映像エンコード部３３ａは、入力データ制御部２ａからのＰＴＳを付加した映像データをエンコードし、符号化する。マルチプレクサ部３２ａは、音声エンコード部３１ａと映像エンコード部３３ａにより符号化されたデータを多重化し、ビットストリームを生成する。
【０００６】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧのエンコーダを含むＡＶ記録装置では、ハードウエア上の制約から映像データと音声データのフレーム周期を変えられないことも多い。そのような場合に、映像データのフレームを基準にポーズ処理を行った時には、その後にポーズ解除を行ったときに、映像データに対する音声データのずれが発生するという問題（ＡＶ同期ずれ）がある。かかる問題に対し、適切な処置を行わない場合には同期のずれが蓄積され、視聴者に異和感となって知覚されることとなる。
【０００７】
以下、従来の問題点を図１６を用いて具体的に説明する。
図１６は、ポーズおよびポーズ解除の制御を行ったときのＡＶ同期ずれの例を示す図である。
【０００８】
図１５に示した従来のＡＶ記録装置においては、データの取り込み制御はフレーム単位でしか区切ることができず、またポーズ中も映像データと音声データのフレーム周期を変えることができない。
メインＣＰＵ１ａからポーズ指示を受けると、入力データ制御部２ａにおいてポーズ指示が反映されるのは、映像データ１のフレームの切れ目の時刻ｔ１６１である。音声データは、時刻ｔ１６１ではフレーム周期の途中であり、音声フレーム周期が変わったときにポーズ指示が反映されてポーズ状態になるので、ポーズ時映像データと音声データの差分ｔｐ１６１が生じる。
【０００９】
ポーズ中は、映像データのフレーム周期及び音声データのフレーム周期はそのまま変わらず、ポーズ時の映像データと音声データの差分ｔｐ１６１は生じたまま補正されていない状態である。
ＣＰＵ１ａからポーズ解除指示を受けると、入力データ制御部２ａにおいて、ポーズ解除指示が反映されるのは、映像データｎの入力開始である時刻ｔ１６２のタイミングである。ここで、ポーズ解除時に、ポーズ時の映像データと音声データの差分ｔｐ１６１を考慮して映像データに対する音声データの位相を合わせれば、ＡＶ同期のずれは生じない。
【００１０】
しかしながら、映像データと音声データのフレーム周期の差により、ポーズ解除の時刻ｔ１６２から音声入力データｎの入力開始時刻までの差分ｔｐ１６２が、ポーズ解除時の音声データと映像データの差分として発生するため、結果として、時刻ｔ１６１と時刻ｔｐ１６２からポーズ解除時にＡＶ同期のずれｔｐ１６３が生じる。
特に、映像データと音声データのフレーム周期が変えられない場合には、上記のずれ分ｔｐ１６３がポーズ指示毎に累積される可能性があり、このようなポーズ処理に伴うＡＶ同期のずれを解消することが要望される。
本発明は、かかる問題点に鑑みてなされたものであり、映像データと音声データのフレーム長が異なり、しかも映像データと音声データのフレーム長を変えられないＡＶ記録装置において、ＡＶ同期ずれを起こさないＡＶ同期処理装置および方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するため、本発明のＡＶ同期処理装置は、それぞれ異なる所定のフレーム長を持つ映像データと音声データを入力し、ＡＶ同期処理を行った前記映像データと前記音声データを、時間情報（以下、ＰＴＳ）を付加してエンコーダに供給するＡＶ同期処理装置であって、所定の周期に基づいて時間を計測するタイマ手段と、前記タイマ手段に基づいて、前記入力した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求があった時刻を記憶する時間記憶手段を有し、前記記憶した映像データと音声データの各フレームの開始時刻、前記ポーズ要求および前記ポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する。
特に、前記ポーズ指示があった時、映像データフレームの切れ目を基準として、音声データフレームの遅れ時間であるポーズ時音声遅れ時間を算出し、前記ポーズ指示後において、映像データの各フレームの開始時刻毎に、前記映像データに対する音声データのフレーム開始時刻の差分であるポーズ中ＡＶ差分値を算出し、前記算出したポーズ時音声遅れ時間とポーズ中ＡＶ差分値に基づいて、前記前記ポーズ解除後に補正されるべきポーズ解除時音声補正値を算出し、複数のポーズ指示のそれぞれにおいて、ポーズ解除時音声補正値を累積した累積音声ずれ補正値により、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅らせるか、またはいずれも遅らせないかを決定する。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照して説明する。
図１は、本発明に係るＡＶ記録装置のシステム構成の実施の形態である。
図１のＡＶ記録装置は、図１５の従来のＡＶ記録装置と比較して、システム構成が同一であるが、音声／映像制御部２１における制御に特徴がある。
【００１３】
以下、順を追って、音声／映像制御部２１における、メインＣＰＵ１からのＳＴＡＲＴ指示に基づく処理、定常時における処理、メインＣＰＵ１からのポーズ指示に基づく処理、ポーズ中における処理、メインＣＰＵ１からのポーズ解除指示に基づく処理、そしてポーズ及びポーズ解除指示よりに生じるＡＶ同期ずれを解消する処理について説明する。
【００１４】
まず、メインＣＰＵ１からのＳＴＡＲＴ指示に基づく、音声／映像制御部２１で行われる処理について説明する。
図２は、音声／映像制御部２１がメインＣＰＵ１からＳＴＡＲＴ指示を受けた場合の処理を表すフローチャートである。
ここで、音声／映像制御部２１は、メインＣＰＵ１からＳＴＡＲＴ指示を受けると、時間情報発生ハードウェア２４から時間情報を取得し、ＳＴＣ＿ｏｆｆｓｅｔとして図示しないメモリに格納する。なお、時間情報発生ハードウェア２４は、例えば、９０ｋＨｚの時間情報を発生するハードウェアである。
【００１５】
図２に入力データ制御部２におけるメインＣＰＵ１からのＳＴＡＲＴ指示の処理フローを示す。
図２において、音声／映像制御部２１は、メインＣＰＵ１からＳＴＡＲＴ指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（ＳＴ２１）、時間情報発生ハードウェア２４から時間情報を取得し、その情報をＳＴＣ＿ｏｆｆｓｅｔとして保存する（ＳＴ２２）。
次に、映像入力制御ハードウェア２６に映像データの入力開始指示を行い（ＳＴ２３）、さらに音声入力制御ハードウェア２２に音声データの入力開始指示を行い（ＳＴ２４）、ＣＰＵ１からのＳＴＡＲＴ指示における処理が終了する。
【００１６】
図３は、図２で示したメインＣＰＵ１からのＳＴＡＲＴ指示の処理フローチャートに基づいて、入力データ制御部２におけるＳＴＡＲＴ時のデータ入力開始タイミングと時間情報ＰＴＳのつけ方を示したものである。
メインＣＰＵ１からＳＴＡＲＴ指示を受けると、入力データ制御部２の音声／映像制御部２１は、映像のフレームを基準として、映像データと音声データの入力を開始する。そして、開始したときの時刻ｔ３１を時間情報ハードウェア２４から取得し、ＳＴＣ＿ｏｆｆｓｅｔとして保存する。
【００１７】
その後は、映像データおよび音声データそれぞれのフレームの切れ目において、時間情報ハードウェア２４から現在時刻を逐次取得し、ＳＴＡＲＴ時のＳＴＣ＿ｏｆｆｓｅｔ（ｔ３１）を引いた値をＰＴＳとして、システムエンコード部３に出力する。
例えば、図３においては、映像データフレームの切れ目を検出すると、時間情報ハードウェア２４から時刻ｔ３２を取得し、システムエンコード部３には、映像入力データとともに映像データのＰＴＳを通知する。同様に音声データフレームの切れ目を検出すると、時間情報ハードウェア２４から時刻ｔ３３を取得し、システムエンコード部３には、音声データとともに音声データのＰＴＳを通知する。
【００１８】
次に、メインＣＰＵ１からのＳＴＡＲＴ指示の処理後の定常時の処理について説明する。
図４は、入力データ制御部２がシステムエンコード部３に音声データを提供する際の、ＰＴＳを付加する処理のフローチャートを示したものである。
音声／映像制御部２１は、音声データのフレームの切れ目を検出すると（ＳＴ４１）、時間情報発生ハードウェア２４から時間情報の取得と保存を行う（ＳＴ４２）。そして、ＳＴＡＲＴ時に保存したＳＴＣ＿ｏｆｆｓｅｔと現在取得した時間情報から音声ＰＴＳを決定する（ＳＴ４３）。最後に、システムエンコード部３の音声エンコード部３１に、音声フレームデータにＰＴＳ情報を付加した情報を通知する（ＳＴ４４）。
以上の処理を定常処理時、音声入力フレーム毎に行う。
【００１９】
図５は、入力データ制御部２がシステムエンコード部３に映像データを提供する際の、ＰＴＳを付加する処理のフローチャートを示したものである。
音声／映像制御部２１は、映像データのフレームの切れ目を検出すると（ＳＴ５１）、時間情報発生ハードウェア２４から時間情報の取得と保存を行う（ＳＴ５２）。そして、ＳＴＡＲＴ時に保存したＳＴＣ＿ｏｆｆｓｅｔと現在取得した時間情報から映像ＰＴＳを決定する（ＳＴ５３）。最後に、システムエンコード部３の映像エンコード部３３に、映像フレームデータにＰＴＳ情報を付加した情報を通知する（ＳＴ５４）。
以上の処理を定常処理時、映像入力フレーム毎に行う。
【００２０】
上記の処理のフローチャートならびにタイミングに従って、入力データの入力開始ができ、定常状態において、ＰＴＳを付加したＡＶ同期のとれた音声データと映像データを入力データ制御部２からシステムエンコード部３に提供できるようになる。
【００２１】
次に、メインＣＰＵ１からのポーズ指示の処理について説明する。
図６は、メインＣＰＵ１からのポーズ指示に基づく音声／映像制御部２１における処理のフローチャートを示したものである。
ここで、メインＣＰＵ１からポーズ指示を受けたとき、音声／映像制御部２１が時間情報発生ハードウェア２４から取得する時間情報を格納する変数を、ｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔとしている。
【００２２】
音声／映像制御部２１は、メインＣＰＵ１からポーズ指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（ＳＴ６１）、時間情報発生ハードウェア２４から時間情報を取得し、ｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔとして保存する（ＳＴ６２）。さらに、映像入力制御ハードウェア２６に映像データの入力停止指示を行い（ＳＴ６３）、時間情報ハードウェア２４から時間情報を取得し、音声データと映像データのずれ時間測定を開始する（ＳＴ６４）。
次に、音声データのフレームの切れ目を待ち、音声フレームの切れ目を検出すると（ＳＴ６５）、時間情報発生ハードウェア２４から時間情報の取得を行い、音声データと映像データのずれ時間測定を終了する（ＳＴ６６）。同時に、音声データと映像データのずれ時間であるポーズ時音声遅れ時間ｄｅｌａｙを保存する（ＳＴ６７）。さらに、音声データの入力停止指示を行って（ＳＴ６８）、メインＣＰＵ１からのポーズ指示における処理が終了する。
【００２３】
図７は、ポーズ時のデータ入力一時停止タイミングと時間情報の管理を示したものである。
図７において、メインＣＰＵ１からポーズ指示を受けると、音声／映像制御部２１は、映像データのフレームを基準として、映像データの入力を停止する。このときの時間情報ハードウェア２４から取得した時刻ｔ７１をｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔとして保存する。映像データ入力を一時停止した時刻ｔ７１から、次に音声データのフレームの切れ目を検出した時、時間情報ハードウェア２４から時刻ｔ７２を取得し、ポーズ時音声遅れ時間ｄｅｌａｙを保存し、音声データの入力一時停止を行う。
【００２４】
次に、メインＣＰＵ１からのポーズ指示処理後（図７において時刻ｔ７２以降）における、ポーズ中の処理について説明する。
ポーズ中は、音声データと映像データのずれであるポーズ中ＡＶ差分値ｃｏｕｎｔの測定を行う。
図８は、ポーズ中の音声／映像制御部２１の処理のフローチャートを示したものである。
【００２５】
図８において、まず現在ポーズ中であるか否かの判定を行い（ＳＴ８１）、ポーズ中であれば、音声データのフレームの切れ目を待ち、音声のフレームの切れ目を検出すると（ＳＴ８２）、時間情報発生ハードウェア２４から時間情報を取得して保存し、音声データと映像データのずれ時間測定を開始する（ＳＴ８３）。
次に映像データのフレームの切れ目を待ち、映像のフレームの切れ目を検出すると（ＳＴ８４）、時間情報発生ハードウェア２４から時間情報を取得して保存し、音声データと映像データのずれ時間測定を終了する（ＳＴ８５）。
そして、ＳＴ８３における音声データと映像データのずれ時間測定開始時刻と、ＳＴ８５における音声データと映像データのずれ時間測定終了時刻から、ポーズ中ＡＶ差分値ｃｏｕｎｔを保存する（ＳＴ８６）。
以上の処理をポーズ中に繰り返し行い、ポーズ中ＡＶ差分値ｃｏｕｎｔの測定を続ける。ポーズ中ＡＶ差分値ｃｏｕｎｔは、音声／映像制御部２１内のメモリに上書きされていくため、ポーズ中における最新の音声データと映像データのずれ時間を示している。ここで、最新のポーズ中ＡＶ差分値を算出しているのは、いつポーズ解除指示があるか不明であり、その指示に備える必要があるためである。
【００２６】
図９は、図８のフローチャートをもとに説明したポーズ中ＡＶ差分値ｃｏｕｎｔの測定方法を、図示したものである。
音声データの切れ目を検出すると、音声／映像制御部２１は、時間情報ハードウェア２４から時間情報ｔ９１を取得し、音声データと映像データのずれ時間測定を開始する。
次に映像データの切れ目を検出すると、音声／映像制御部２１は、時間情報ハードウェア２４から時間情報ｔ９２を取得し、音声データと映像データのずれ時間測定（ｔ９２ーｔ９１）を行う。ここで、測定された音声データと映像データのずれ時間が、ポーズ中ＡＶ差分値ｃｏｕｎｔになる。
この制御をポーズ中、音声データを基準に繰り返し行い、常に最新のポーズ中ＡＶ差分値ｃｏｕｎｔを保存する。図９においては、ポーズ中ＡＶ差分値ｃｏｕｎｔの最新値は、時刻ｔ９５と時刻ｔ９６の差分（ｔ９６ーｔ９５）である。
【００２７】
次に、メインＣＰＵ１からのポーズ解除指示の処理について説明する。
メインＣＰＵ１からポーズ解除指示があった時に、ポーズ指示があった時とポーズ中に測定した音声データと映像データのずれに基づいて、音声／映像制御部２１が、音声データの入力再開を遅らせるか、映像データの入力再開を遅らせるか、またはどちらも遅らせないかを決定し、ＡＶ同期のずれを解消する方法を以下に述べる。
図１０は、メインＣＰＵ１からポーズ解除指示があった時の、音声／映像制御部２１で行われる処理のフローチャートである。
なお、図１０のフローチャートにおける変数ｄｉｆｆは、ポーズ時とポーズ解除時における音声データと映像データのずれであるポーズ解除時音声補正値を表している。また、図１０のフローチャートにおけるｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは、映像データに対する音声データのずれを蓄積していく変数である累積音声ずれ補正値であり、システム初期化時において０に初期化される。
また、既に述べたとおり、ポーズ中ＡＶ差分値ｃｏｕｎｔは映像データフレームの切れ目のタイミングで更新される。従って、時間軸において、音声データのフレームの切れ目から映像データのフレームの切れ目までの時間が、図１０のフローチャートにおいて、「音声データと映像データのずれ時間測定中」であることを意味している。
例えば、図９の横向きの矢印で示した時間が、音声データと映像データのずれ時間測定中であることを意味しており、それ以外の時間は音声データと映像データのずれ時間測定中ではないことを意味している。
【００２８】
図１０において、音声／映像制御部２１は、メインＣＰＵ１からポーズ解除指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（ＳＴ１０１）、ＳＴＣ＿ｏｆｆｓｅｔの更新を行う（ＳＴ１０２）。
その後、音声データと映像データのずれ時間測定中であるか否かの判定を行い（ＳＴ１０３）、音声データと映像データのずれ時間測定中であれば、後述の図１１に示す計算により、ポーズ時とポーズ解除時の音声データと映像データのずれ時間であるポーズ解除時音声補正値ｄｉｆｆを求める（ＳＴ１０４）。測定中でなければ、後述の図１２に示す計算により、ポーズ解除時音声補正値ｄｉｆｆを求める（ＳＴ１０５）。
ポーズ解除時音声補正値ｄｉｆｆの詳細については後述するが、ポーズ時音声遅れ時間ｄｅｌａｙとポーズ中ＡＶ差分値ｃｏｕｎｔに基づいて、そのポーズ処理において、ポーズ解除時において補正されるべき映像データに対する音声データのずれを表している。ポーズ解除時音声補正値ｄｉｆｆが正の値の時は、映像データに対して音声データが遅れていることを意味し、ポーズ解除時音声補正値ｄｉｆｆが負の時は、映像データに対して音声データが進んでいることを意味している。
【００２９】
次に、ステップＳＴ１０４またはステップＳＴ１０５で求められたポーズ解除時音声補正値ｄｉｆｆを、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに加算する（ＳＴ１０６）。
従って、システム起動時に初期値０である累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは、システム動作中の間、複数のポーズ処理に対して、逐次ステップＳＴ１０６において累積加算される。ポーズ解除時音声補正値ｄｉｆｆは各ポーズ処理時に補正されるべき音声データのずれ分であるのに対し、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは、各回のポーズ解除時音声補正値ｄｉｆｆを加算した累積値となるため、これが実際に補正されるべき映像データに対する音声データ補正値となる。
ステップＳＴ１０７以降は、システム動作中ポーズ処理毎に累積される累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙの値に基づいて、ＡＶ同期のずれをどのように制御するか、具体的には映像データに対する音声データのずれを補正すべきか否か、及び、補正する場合は音声データと映像データのどちらを遅らせるかについて決定する処理である。
【００３０】
まず、ステップＳＴ１０７において、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが負、つまり音声データが進んでいる時には、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに映像データの１フレーム長の時間を加算した（ＳＴ１０８）うえで、実際に映像データの再開を１フレーム遅らせる処理を行う。映像データの再開を１フレーム遅らせる処理は、映像データのフレーム切れ目を検出するまで映像データの入力再開を待つことにより実現される（ＳＴ１０９）。
映像フレームの切れ目を検出すると、映像データの入力を再開する（ＳＴ１１０）。
【００３１】
ステップＳＴ１０７において、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが負でない場合、つまり音声データが同じか遅れている時には、映像データは遅らせることなくそのまま入力を再開し（ＳＴ１１０）、ステップＳＴ１１１へ進む。
ステップＳＴ１１１においては、正である累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが１音声データフレーム以上である場合には、音声データの再開を遅らせる必要があるため、ステップＳＴ１１２以降に進む。
累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが、正ではあるが１音声データフレーム未満の場合には、音声データを遅らせることなく再開させる（ＳＴ１１４）。
ステップＳＴ１１２では、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに音声データの１フレーム長の時間を減算した（ＳＴ１１２）うえで、実際に音声データの再開を１フレーム遅らせる処理を行う。この音声データの再開を１フレーム遅らせる処理は、音声データのフレーム切れ目を検出するまで音声データの入力再開を待つことにより実現される（ＳＴ１１３）。
音声フレームの切れ目を検出すると、映像データの入力を再開する（ＳＴ１１４）。
【００３２】
次に、図１０のフローチャートのステップＳＴ１０４及びＳＴ１０５において算出しているポーズ解除時音声補正値ｄｉｆｆについて、その算出方法を図１１及び図１２により具体的に説明する。
図１１は、ポーズ中のずれ時間測定中の場合に、図１０のフローチャートに基づいて行われるポーズ解除時音声補正値ｄｉｆｆの計算を図示したものである。
これは、ポーズ中のずれ時間測定中の場合、すなわち、メインＣＰＵ１から音声／映像制御部２１に対するポーズ解除指示が、音声データのフレームの切れ目から映像データのフレームの切れ目の間に行われたため、そのポーズ解除指示後に求められるポーズ中ＡＶ差分値ｃｏｕｎｔの値を用いて、ポーズ解除時音声補正値ｄｉｆｆを算出する場合である。
以下、図１１に従って、ポーズ解除時音声補正値ｄｉｆｆを算出するために、図１０のステップＳＴ１０４で行われる手順について説明する。
【００３３】
音声／映像制御部２１は、メインＣＰＵ１からポーズ解除指示を受け取ると、映像のフレーム周期に合わせて、時間情報ハードウェア２４から時刻ｔ１１１を取得し、ポーズ指示時に保存していたｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔを基準としてＳＴＣ＿ｏｆｆｓｅｔを再設定する。
また、時刻ｔ１１１のタイミングにおいて、ポーズ中ＡＶ差分値ｃｏｕｎｔの測定も行われる。
ここで、ｄｅｌａｙは、すでに述べたとおり、ポーズ時における音声データと映像データのずれ時間であるポーズ時音声遅れ時間であり、ポーズ時に算出し保持していたデータである。また、ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅは、音声データのフレーム周期である。
図１１から明らかなように、下式（１）によりポーズ解除時音声補正値ｄｉｆｆを求めることができる。
【００３４】
【数１】
ｄｉｆｆ＝ｄｅｌａｙ＋ｃｏｕｎｔ−ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅ…（１）
【００３５】
図１２は、ポーズ中のずれ時間測定中でない場合に、図１０のフローチャートに基づいて行われるポーズ解除時音声補正値ｄｉｆｆの計算を図示したものである。
これは、ポーズ中のずれ時間測定中の場合、すなわち、メインＣＰＵ１から音声／映像制御部２１に対するポーズ解除指示が、映像データのフレームの切れ目から音声データのフレームの切れ目の間に行われたため、そのポーズ解除指示前に求めたポーズ中ＡＶ差分値ｃｏｕｎｔの値を用いて、ポーズ解除時音声補正値ｄｉｆｆを算出する場合である。
以下、図１２に従って、ポーズ解除時音声補正値ｄｉｆｆを算出するために、図１０のステップＳＴ１０５で行われる手順について説明する。
【００３６】
音声／映像制御部２１が、メインＣＰＵ１からポーズ解除指示を受け取ると、映像のフレーム周期に合わせて、時間情報ハードウェア２４から時刻ｔ１２１を取得し、ポーズ指示時に保存していたｐａｕｓｅ＿ＳＴＣ＿ｏｆｆｓｅｔを基準としてＳＴＣ＿ｏｆｆｓｅｔを再設定する。
ここで、ｄｅｌａｙは、すでに述べたとおり、ポーズ時の音声データと映像データずれ時間であるポーズ時音声遅れ時間であり、ポーズ時に算出し保持していたデータである。
また、ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅは、音声データのフレーム周期である。
ｖｉｄｅｏ＿ｆｒａｍｅ＿ｔｉｍｅは、映像データのフレーム周期である。
図１２から明らかなように、下式（２）によりポーズ解除時音声補正値ｄｉｆｆを求めることができる。
【００３７】
【数２】
ｄｉｆｆ＝ｄｅｌａｙ＋ｃｏｕｎｔ−ａｕｄｉｏ＿ｆｒａｍｅ＿ｔｉｍｅ＋ｖｉｄｅｏ＿ｆｒａｍｅ＿ｔｉｍｅ              …（２）
【００３８】
以上のようにして、ポーズ解除時音声補正値ｄｉｆｆが求められる。
【００３９】
次に、図１０のフローチャートを使って説明した、ポーズ解除時におけるＡＶ同期のずれを解消する処理について、図１３及び図１４を用いて具体的に説明する。
図１３は、映像データの入力再開を１フレーム遅らせる処理により、ＡＶ同期ずれを解消する処理を説明するための図である。
映像データの入力再開を遅らせる制御は、図１０のポーズ解除時のフローチャートに従ってすでに述べたとおり、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが負であるため（ＳＴ１０７）、ＡＶ同期ずれの補正を行い（ＳＴ１０８）、映像データのフレームの切れ目を見つけるまで、映像データの再開を１フレーム遅らせる処理を行う（ＳＴ１０９）ことにより実現される。
図１３において、音声／映像制御部２１がメインＣＰＵ１からのポーズ解除指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（時刻ｔ１３１）、図１０の処理フローに基づき累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙを算出する。これが負であるため、１映像フレーム待ってから映像データの入力を再開する（時刻ｔ１３２）。
【００４０】
図１４は、音声データの入力再開を１フレーム遅らせる処理により、ＡＶ同期ずれを解消する処理を説明するための図である。
音声データの入力再開を遅らせる制御は、図１０のポーズ解除時のフローチャートに従ってすでに述べたとおり、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが１音声フレーム以上の場合に、ＡＶ同期ずれの補正を行い（Ｓｔ１１２）、音声データのフレームの切れ目を見つけるまで、音声データの再開を１フレーム遅らせる処理を行う（ＳＴ１１３）処理によって実現される。
図１４において、音声／映像制御部２１が、メインＣＰＵ１からのポーズ解除指示を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（時刻ｔ１４１）、累積音声ずれ補正値ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが１音声フレームを超えているため、１音声フレーム待ってから音声データの入力を再開する（時刻ｔ１４２）。
【００４１】
図１０のフローチャートにおいて、ステップＳＴ１０７及びＳＴ１１１から明らかなように、蓄積音声ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが正であり１音声フレームを超えていない場合には、音声データ／映像データの入力再開のいずれも遅らせない。この場合には、この時ポーズ処理で生じた音声データと映像データのずれは、蓄積音声ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙに蓄積されていくことになる。
もっとも、音声データ／映像データの入力再開のいずれかを遅らせてＡＶ同期ずれの解消が行われた場合にも、図１０のステップＳＴ１０８及びＳＴ１１２の処理によって蓄積音声ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙは０にならないため、完全にＡＶ同期ずれが解消されることはない。
しかしながら、本発明に係るＡＶ記録装置によれば、当該ＡＶ記録装置が動作中において、蓄積ずれ時間ｔｏｔａｌ＿ａｕｄｉｏ＿ｄｅｌａｙが常に１音声データフレーム以内に収まることになるため、その差が視聴者に認識されることはなく、十分にＡＶ同期ずれを解消することが可能となる。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、音声の入力データの取り込み停止がフレーム単位で行われ、ポーズ中も音声データのフレーム間隔が変えられないＡＶ記録装置において、ポーズ時に生ずるＡＶ同期ずれを解消することができるため、ポーズ解除後においても視聴者が違和感を感じない。
【図面の簡単な説明】
【図１】本発明に係るＡＶ記録装置のシステム構成を示す図である。
【図２】メインＣＰＵからのＳＴＡＲＴ指示による処理のフローチャートである。
【図３】ＳＴＡＲＴ時のデータ入力開始タイミングと時間情報のつけ方を示した図である。
【図４】音声データ提供定常時のＰＴＳをつける処理のフローチャートである。
【図５】映像データ提供定常時のＰＴＳをつける処理のフローチャートである。
【図６】ポーズ時の処理のフローチャートである。
【図７】ポーズ時のデータ入力一時停止タイミングと時間情報の管理を示した図である。
【図８】ポーズ中の処理のフローチャートである。
【図９】ポーズ中の音声データと映像データのずれ測定を示した図である。
【図１０】ポーズ解除時の処理のフローチャートである。
【図１１】ポーズ解除時のＡＶ同期ずれの計算（測定中の場合）を示した図である。
【図１２】ポーズ解除時のＡＶ同期ずれの計算（測定中でない場合）を示した図である
【図１３】映像データの入力再開を１フレーム遅らせる処理により、ＡＶ同期のずれを解消する処理を説明するための図である。
【図１４】音声データの入力再開を１フレーム遅らせる処理により、ＡＶ同期のずれを解消する処理を説明するための図である。
【図１５】従来のＡＶ記録装置のシステム構成を示す図である。
【図１６】ポーズ及びポーズ解除処理に伴う従来のＡＶ記録装置の問題点を示した図である。
【符号の説明】
１，１ａ…メインＣＰＵ、２，２ａ…入力データ制御部、２１，２１ａ…音声／映像制御部、２２，２２ａ…音声入力制御ハードウェア、２３，２３ａ…音声用データメモリ、２４，２４ａ…時間情報発生ハードウェア、２５，２５ａ…映像用データメモリ、２６，２６ａ…映像入力制御ハードウェア、３，３ａ…システムエンコード部、３１，３１ａ…音声エンコード部、３２，３２ａ…マルチプレクサ部、３３，３３ａ…映像エンンコード部
【図１】
2005006095.tif 000003
【図２】
2005006095.tif 000004
【図３】
2005006095.tif 000005
【図４】
2005006095.tif 000006
【図５】
2005006095.tif 000007
【図６】
2005006095.tif 000008
【図７】
2005006095.tif 000009
【図８】
2005006095.tif 000010
【図９】
2005006095.tif 000011
【図１０】
2005006095.tif 000012
【図１１】
2005006095.tif 000013
【図１２】
2005006095.tif 000014
【図１３】
2005006095.tif 000015
【図１４】
2005006095.tif 000016
【図１５】
2005006095.tif 000017
【図１６】
2005006095.tif 000018