(57)【特許請求の範囲】
【請求項１】
Ｖｉｄｅｏデータの欠落を検出した場合に、Ａｕｄｉｏが先行して所定時間を超えるＡｕｄｉｏデータを圧縮しているときは、前記検出されたＶｉｄｅｏデータの欠落のうち先行しているＡｕｄｉｏデータに対応する部分を圧縮された前画像によって置き換えるとともに、前記検出されたＶｉｄｅｏデータの欠落のうち前記圧縮された前画像により置き換えられなかった部分を切り捨て、前記切り捨てられたＶｉｄｅｏデータの時刻に対応するＡｕｄｉｏデータの欠落および欠落していないＡｕｄｉｏデータを切り捨てることを特徴とするＡＶ圧縮装置。
【請求項２】
前記Ａｕｄｉｏデータの切り捨ては、最新のＡｕｄｉｏ再生終了時刻を更新することにより行うことを特徴とする請求項１記載のＡＶ圧縮装置。
【請求項３】
Ｖｉｄｅｏデータを圧縮するＶｉｄｅｏ圧縮手段と、Ｖｉｄｅｏデータの欠落分を挿入すべく欠落分のＦｒａｍｅを前画像で圧縮する前画像圧縮手段と、
Ａｕｄｉｏデータを圧縮するＡｕｄｉｏ圧縮手段と、Ａｕｄｉｏデータの欠落分を挿入すべく欠落分のＡＡＵを無音で圧縮する無音圧縮手段と、受け取ったＡｕｄｉｏデータの再生最終時刻をＡｕｄｉｏ再生開始／終了時刻保持部に格納されている最新のＡｕｄｉｏ再生終了時刻として更新するＡｕｄｉｏ再生終了時刻更新手段と
を備えるＡＶ圧縮装置であって、
画像データとその画像データが渡される時に付いてくるＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報を取得する画像データ・再生開始／終了時刻情報取得手段と、
前記画像データ・再生開始／終了時刻情報取得手段から渡されたＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報を、Ｖｉｄｅｏ再生開始／終了時刻保持部に格納されているＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報に照らしてチェックして不連続の場合には欠落があると判定するＶｉｄｅｏ欠落チェック手段と、
前記Ｖｉｄｅｏ欠落チェック手段がＶｉｄｅｏデータの欠落を検出した場合に、前記Ａｕｄｉｏ再生開始／終了時刻保持部に格納されている最新のＡｕｄｉｏ再生終了時刻とＶｉｄｅｏデータの欠落開始時刻を比較して、Ａｕｄｉｏが先行して所定時間を超えるＡｕｄｉｏデータを圧縮しているときは、前記検出されたＶｉｄｅｏデータの欠落のうち先行しているＡｕｄｉｏデータに対応する欠落分のＦｒａｍｅを前記前画像圧縮手段により圧縮された前画像によって置き換えるとともに、前記検出されたＶｉｄｅｏデータの欠落のうち前記圧縮された前画像により置き換えられなかった部分を切り捨て、前記切り捨てられたＶｉｄｅｏデータの時刻に対応するＡｕｄｉｏデータの欠落および欠落していないＡｕｄｉｏデータを切り捨てるＡｕｄｉｏ先行判定／処理手段と
を備えることを特徴とするＡＶ圧縮装置。
【請求項４】
Ｖｉｄｅｏデータを切り捨てた時に、切り捨てられたＶｉｄｅｏデータの時刻に対応するＡｕｄｉｏデータの欠落および欠落していないＡｕｄｉｏデータを切り捨てるべく前記Ａｕｄｉｏ再生開始／終了時刻保持部に格納されている最新のＡｕｄｉｏ再生終了時刻を更新する切捨時Ａｕｄｉｏ再生終了時刻更新手段を備えることを特徴とする請求項３記載のＡＶ圧縮装置。
【請求項５】
Ｖｉｄｅｏが先行していると判定されたときに、Ｖｉｄｅｏデータの欠落が所定の時間以上あるか否かを判定し、該所定の時間以上ある場合はＡｕｄｉｏデータも同じ時間分欠落したと見なして、ＶｉｄｅｏデータとＡｕｄｉｏデータの両方を切り捨てる欠落時間判定／処理手段を備えることを特徴とする請求項１から４のいずれか１項に記載のＡＶ圧縮装置。
【請求項６】
コンピュータに、Ｖｉｄｅｏデータの欠落を検出した場合に、Ａｕｄｉｏが先行して所定時間を超えるＡｕｄｉｏデータを圧縮しているときは、前記検出されたＶｉｄｅｏデータの欠落のうち先行しているＡｕｄｉｏデータに対応する部分を圧縮された前画像によって置き換える処理と、前記検出されたＶｉｄｅｏデータの欠落のうち前記圧縮された前画像により置き換えられなかった部分を切り捨て、前記切り捨てられたＶｉｄｅｏデータの時刻に対応するＡｕｄｉｏデータの欠落および欠落していないＡｕｄｉｏデータを切り捨てる処理とを実行させることを特徴とするプログラム。
【請求項７】
コンピュータに、前記Ａｕｄｉｏデータの切り捨ては、最新のＡｕｄｉｏ再生終了時刻を更新する処理を実行させることにより行うことを特徴とする請求項６記載のプログラム。
【請求項８】
コンピュータに、Ｖｉｄｅｏデータを圧縮するＶｉｄｅｏ圧縮処理と、Ｖｉｄｅｏデータの欠落分を挿入すべく欠落分のＦｒａｍｅを前画像で圧縮する前画像圧縮処理と、
Ａｕｄｉｏデータを圧縮するＡｕｄｉｏ圧縮処理と、Ａｕｄｉｏデータの欠落分を挿入すべく欠落分のＡＡＵを無音で圧縮する無音圧縮処理と、受け取ったＡｕｄｉｏデータの再生最終時刻をＡｕｄｉｏ再生開始／終了時刻保持部に格納されている最新のＡｕｄｉｏ再生終了時刻として更新するＡｕｄｉｏ再生終了時刻更新処理と、
画像データとその画像データが渡される時に付いてくるＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報を取得する画像データ・再生開始／終了時刻情報取得処理と、
渡されたＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報を、Ｖｉｄｅｏ再生開始／終了時刻保持部に格納されているＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報に照らしてチェックして不連続の場合には欠落があると判定するＶｉｄｅｏ欠落チェック処理と、
前記Ｖｉｄｅｏ欠落チェック処理でＶｉｄｅｏデータの欠落を検出した場合に、前記Ａｕｄｉｏ再生開始／終了時刻保持部に格納されている最新のＡｕｄｉｏ再生終了時刻とＶｉｄｅｏデータの欠落開始時刻を比較して、Ａｕｄｉｏが先行して所定時間を超えるＡｕｄｉｏデータを圧縮しているときは、前記検出されたＶｉｄｅｏデータの欠落のうち先行しているＡｕｄｉｏデータに対応する欠落分のＦｒａｍｅを前記前画像圧縮手段により圧縮された前画像によって置き換えるとともに、前記検出されたＶｉｄｅｏデータの欠落のうち前記圧縮された前画像により置き換えられなかった部分を切り捨て、前記切り捨てられたＶｉｄｅｏデータの時刻に対応するＡｕｄｉｏデータの欠落および欠落していないＡｕｄｉｏデータを切り捨てるＡｕｄｉｏ先行判定／処理処理と
を実行させることを特徴とするプログラム。
【請求項９】
コンピュータに、Ｖｉｄｅｏデータを切り捨てた時に、切り捨てられたＶｉｄｅｏデータの時刻に対応するＡｕｄｉｏデータの欠落および欠落していないＡｕｄｉｏデータを切り捨てるべく前記Ａｕｄｉｏ再生開始／終了時刻保持部に格納されている最新のＡｕｄｉｏ再生終了時刻を更新する切捨時Ａｕｄｉｏ再生終了時刻更新処理を実行させることを特徴とする請求項８記載のプログラム。
【請求項１０】
Ｖｉｄｅｏが先行していると判定されたときに、Ｖｉｄｅｏデータの欠落が所定の時間以上あるか否かを判定し、該所定の時間以上ある場合はＡｕｄｉｏデータも同じ時間分欠落したと見なして、ＶｉｄｅｏデータとＡｕｄｉｏデータの両方を切り捨てる欠落時間判定／処理手段を備えることを特徴とする請求項６から９のいずれか１項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号を変換する際に長く欠落した箇所があっても、ＡＶ同期を保つ技術に関する。
【背景技術】
【０００２】
デジタル放送の録画ファイルはＨＤ画像であり、サイズが大きいため、図５に示すようにＳＤ画像に変換してサイズを減らすことがある。
この際、元符号に欠落があると圧縮時に欠落を補正することが必要となる。
【０００３】
元符号に不正な箇所があるとその時刻のＶｉｄｅｏ又はＡｕｄｉｏのデータを受け取れない。そのため圧縮符号を変換する時には、図６に示すように欠落したＶｉｄｅｏは前画像を繰り返して圧縮し、また、欠落したＡｕｄｉｏは無音を補って圧縮し、ＡＶ同期を調整している。
【０００４】
関連技術として、ネットワーク混雑によりデータが欠落した時にＧＯＰ相当のデータをＡＶ共に破棄する技術が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００２−２４７５６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の技術では、ＶｉｄｅｏとＡｕｄｉｏの両方が欠落している場合には静止画・無音が続き、特に、長く欠落した箇所があると静止画・無音が長く続いてしまう。これを避けるためにはＶｉｄｅｏとＡｕｄｉｏの両方を切り捨てる必要がある。
【０００６】
ところが、ＶｉｄｅｏとＡｕｄｉｏは非同期で渡され、さらにそれぞれの欠落範囲は一致していない場合もあり、単純に欠落分を切り捨てる処理ではＡＶ同期を保つことができなくなるという問題があった。
【０００７】
また、Ａｕｄｉｏは一旦圧縮されると切り捨てる処理を行えなく、ＶｉｄｅｏよりＡｕｄｉｏが先行している場合は、圧縮済みのＡｕｄｉｏを有効利用することが効率的である。
【０００８】
本発明は、以上のような課題を解決するためになされたもので、欠落範囲が異なるＶｉｄｅｏとＡｕｄｉｏが非同期に渡されても、圧縮済みのＡｕｄｉｏを有効利用しつつＶｉｄｅｏとＡｕｄｉｏを切り捨ててＡＶ同期を保つことができるＡＶ圧縮装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第一のＡＶ圧縮装置は、Ｖｉｄｅｏデータの欠落を検出した場合に、Ａｕｄｉｏが先行して所定時間を超えるＡｕｄｉｏデータを圧縮しているときは、検出されたＶｉｄｅｏデータの欠落のうち先行しているＡｕｄｉｏデータに対応する部分を圧縮された前画像によって置き換えるとともに、検出されたＶｉｄｅｏデータの欠落のうち圧縮された前画像により置き換えられなかった部分を切り捨て、切り捨てられたＶｉｄｅｏデータの時刻に対応するＡｕｄｉｏデータの欠落および欠落していないＡｕｄｉｏデータを切り捨てることを特徴とする。
【００１０】
本発明の第二のＡＶ圧縮装置は、Ｖｉｄｅｏデータを圧縮するＶｉｄｅｏ圧縮手段と、Ｖｉｄｅｏデータの欠落分を挿入すべく欠落分のＦｒａｍｅを前画像で圧縮する前画像圧縮手段と、
Ａｕｄｉｏデータを圧縮するＡｕｄｉｏ圧縮手段と、Ａｕｄｉｏデータの欠落分を挿入すべく欠落分のＡＡＵを無音で圧縮する無音圧縮手段と、受け取ったＡｕｄｉｏデータの再生最終時刻をＡｕｄｉｏ再生開始／終了時刻保持部に格納されている最新のＡｕｄｉｏ再生終了時刻として更新するＡｕｄｉｏ再生終了時刻更新手段と
を備えるＡＶ圧縮装置であって、
画像データとその画像データが渡される時に付いてくるＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報を取得する画像データ・再生開始／終了時刻情報取得手段と、
前記画像データ・再生開始／終了時刻情報取得手段から渡されたＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏ像の再生終了時刻情報を、Ｖｉｄｅｏ再生開始／終了時刻保持部に格納されているＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報に照らしてチェックして不連続の場合には欠落があると判定するＶｉｄｅｏ欠落チェック手段と、
前記Ｖｉｄｅｏ欠落チェック手段がＶｉｄｅｏデータの欠落を検出した場合に、前記Ａｕｄｉｏ再生開始／終了時刻保持部に格納されている最新のＡｕｄｉｏ再生終了時刻とＶｉｄｅｏデータの欠落開始時刻を比較して、Ａｕｄｉｏが先行して所定時間を超えるＡｕｄｉｏデータを圧縮しているときは、検出されたＶｉｄｅｏデータの欠落のうち先行しているＡｕｄｉｏデータに対応する欠落分のＦｒａｍｅを前画像圧縮手段により圧縮された前画像によって置き換えるとともに、検出されたＶｉｄｅｏデータの欠落のうち圧縮された前画像により置き換えられなかった部分を切り捨て、切り捨てられたＶｉｄｅｏデータの時刻に対応するＡｕｄｉｏデータの欠落および欠落していないＡｕｄｉｏデータを切り捨てるＡｕｄｉｏ先行判定／処理手段と
を備えることを特徴とする。
【００１１】
また、本発明の第一のプログラムは、コンピュータに、Ｖｉｄｅｏデータの欠落を検出した場合に、Ａｕｄｉｏが先行して所定時間を超えるＡｕｄｉｏデータを圧縮しているときは、検出されたＶｉｄｅｏデータの欠落のうち先行しているＡｕｄｉｏデータに対応する部分を圧縮された前画像によって置き換える処理と、検出されたＶｉｄｅｏデータの欠落のうち圧縮された前画像により置き換えられなかった部分を切り捨て、切り捨てられたＶｉｄｅｏデータの時刻に対応するＡｕｄｉｏデータの欠落および欠落していないＡｕｄｉｏデータを切り捨てる処理とを実行させることを特徴とする。
【００１２】
また、本発明の第二のプログラムは、コンピュータに、Ｖｉｄｅｏデータを圧縮するＶｉｄｅｏ圧縮処理と、Ｖｉｄｅｏデータの欠落分を挿入すべく欠落分のＦｒａｍｅを前画像で圧縮する前画像圧縮処理と、
Ａｕｄｉｏデータを圧縮するＡｕｄｉｏ圧縮処理と、Ａｕｄｉｏデータの欠落分を挿入すべく欠落分のＡＡＵを無音で圧縮する無音圧縮処理と、受け取ったＡｕｄｉｏデータの再生最終時刻をＡｕｄｉｏ再生開始／終了時刻保持部に格納されている最新のＡｕｄｉｏ再生終了時刻として更新するＡｕｄｉｏ再生終了時刻更新処理と、
画像データとその画像データが渡される時に付いてくるＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報を取得する画像データ・再生開始／終了時刻情報取得処理と、
渡されたＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報を、Ｖｉｄｅｏ再生開始／終了時刻保持部に格納されているＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報に照らしてチェックして不連続の場合には欠落があると判定するＶｉｄｅｏ欠落チェック処理と、
前記Ｖｉｄｅｏ欠落チェック処理でＶｉｄｅｏデータの欠落を検出した場合に、前記Ａｕｄｉｏ再生開始／終了時刻保持部に格納されている最新のＡｕｄｉｏ再生終了時刻とＶｉｄｅｏデータの欠落開始時刻を比較して、Ａｕｄｉｏが先行して所定時間を超えるＡｕｄｉｏデータを圧縮しているときは、検出されたＶｉｄｅｏデータの欠落のうち先行しているＡｕｄｉｏデータに対応する欠落分のＦｒａｍｅを前画像圧縮手段により圧縮された前画像によって置き換えるとともに、検出されたＶｉｄｅｏデータの欠落のうち圧縮された前画像により置き換えられなかった部分を切り捨て、切り捨てられたＶｉｄｅｏデータの時刻に対応するＡｕｄｉｏデータの欠落および欠落していないＡｕｄｉｏデータを切り捨てるＡｕｄｉｏ先行判定／処理処理と
を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、欠落範囲が異なるＶｉｄｅｏとＡｕｄｉｏが非同期に渡されても、圧縮済みのＡｕｄｉｏを有効利用しつつＶｉｄｅｏとＡｕｄｉｏを切り捨ててＡＶ同期を保つことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１に示す本実施の形態におけるＡＶ圧縮装置１００は、制御部１１と、画像データ・再生開始／終了時刻情報取得部２１と、Ｖｉｄｅｏ欠落チェック部２２と、Ａｕｄｉｏ先行判定／処理部２３と、欠落時間判定／処理部２４と、前画像圧縮部２５と、切捨時Ａｕｄｉｏ再生終了時刻更新部２６と、Ｖｉｄｅｏ圧縮部２７と、Ｖｉｄｅｏ再生終了時刻更新部２８と、Ｖｉｄｅｏ再生開始／終了時刻保持部２９と、音声データ・再生開始／終了時刻情報取得部３１と、Ａｕｄｉｏ欠落チェック部３２と、無音圧縮部３３と、Ａｕｄｉｏ圧縮部３４と、Ａｕｄｉｏ再生終了時刻更新部３５と、Ａｕｄｉｏ再生開始／終了時刻保持部３６と、ＭＰＥＧ２ＰＳ多重化部４１から構成されている。
【００１５】
ＡＶ圧縮装置１００は、パーソナル・コンピュータ等の情報処理装置である。図５ではＤＶＤ−ＶＲエンコーダとして示されている。
【００１６】
制御部１１は、ＣＰＵの処理により実現され、ＡＶ圧縮装置１００の種々の制御を司る機能を有している。
【００１７】
画像データ・再生開始／終了時刻情報取得部２１は、画像データとその画像データが渡される時に付いてくるＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報（ＤｉｒｅｃｔＳｈｏｗではストリームタイムに相当する）を取得し、それらをＶｉｄｅｏ欠落チェック部２２に渡す機能を有している。
【００１８】
Ｖｉｄｅｏ欠落チェック部２２は、画像データ・再生開始／終了時刻情報取得部２１から渡されたＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報を、Ｖｉｄｅｏ再生開始／終了時刻保持部２９に格納されているＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報に照らしてチェックして不連続の場合には欠落があると判定する機能を有している。
【００１９】
Ａｕｄｉｏ先行判定／処理部２３は、図２に示すように、Ｖｉｄｅｏ欠落チェック部２２がＶｉｄｅｏデータの欠落を検出した場合に、Ａｕｄｉｏ再生開始／終了時刻保持部３６に格納されている最新のＡｕｄｉｏ再生終了時刻を参照して、既にＡｕｄｉｏが先行してその欠落開始時刻を所定時間（例えば０．５秒）超えるＡｕｄｉｏデータを圧縮しているか否かを判定する。そして所定時間（例えば０．５秒）超えるＡｕｄｉｏデータを圧縮しているときは、その分のＶｉｄｅｏデータを挿入するために前画像圧縮部２５に前画像を圧縮させてから残ったＶｉｄｅｏデータの欠落に合わせて、ＶｉｄｅｏとＡｕｄｉｏの両方を切り捨て、切捨時Ａｕｄｉｏ再生終了時刻更新部２６に所定の処理をさせる機能を有している。なお、通常はＡｕｄｉｏがＶｉｄｅｏより先行していることが多い。
【００２０】
欠落時間判定／処理部２４は、Ｖｉｄｅｏデータの欠落が所定の時間（例えば２秒）以上あるか否かを判定する。なお、Ａｕｄｉｏ先行判定／処理部２３によりＡｕｄｉｏが先行していない、すなわちＶｉｄｅｏが先行していると判定されたときに、Ｖｉｄｅｏデータの欠落が所定の時間（例えば２秒）以上あるか否かを判定することであってもよい。そして所定の時間（例えば２秒）以上ある場合はＡｕｄｉｏデータも同じ時間分欠落したと見なして、ＶｉｄｅｏデータとＡｕｄｉｏデータの両方を切り捨てる機能を有している。この場合は欠落していないＡｕｄｉｏデータがあっても強制的に切り捨てられることになる。
【００２１】
前画像圧縮部２５は、Ａｕｄｉｏデータが先行して所定時間（例えば０．５秒）超えるＡｕｄｉｏデータを圧縮している場合にはＡｕｄｉｏの再生終了時刻までＶｉｄｅｏのデータ欠落分を挿入すべく欠落分のＦｒａｍｅを前画像で圧縮したり、また、圧縮欠落時間判定／処理部２４により欠落が所定の時間（例えば２秒）より短いと判定されたときに、Ｖｉｄｅｏデータの欠落分を挿入すべく欠落分のＦｒａｍｅを前画像で圧縮する機能を有している。
【００２２】
切捨時Ａｕｄｉｏ再生終了時刻更新部２６は、Ｖｉｄｅｏデータを切り捨てた時に、切り捨てられたＶｉｄｅｏデータと同じ時刻分のＡｕｄｉｏデータを切り捨てるべくＡｕｄｉｏ再生開始／終了時刻保持部３６に格納されている最新のＡｕｄｉｏ再生終了時刻を更新する機能を有している。これによりＡｕｄｉｏ側では切り捨てられた時刻の音声データは圧縮されないで切り捨てられることとなる。
【００２３】
Ｖｉｄｅｏ圧縮部２７は受け取ったＶｉｄｅｏデータを圧縮する機能を有している。
【００２４】
Ｖｉｄｅｏ再生終了時刻更新部２８は、受け取ったＶｉｄｅｏデータの再生最終時刻をＶｉｄｅｏ再生開始／終了時刻保持部２９に格納されている最新のＶｉｄｅｏ再生終了時刻として更新する機能を有している。
【００２５】
音声データ・再生開始／終了時刻情報取得部３１は、音声データとその音声データが渡される時に付いてくるＡｕｄｉｏの再生開始時刻情報およびＡｕｄｉｏの再生終了時刻情報（ＤｉｒｅｃｔＳｈｏｗではストリームタイムに相当する）を取得し、それらをＡｕｄｉｏ欠落チェック部３２に渡す機能を有している。
【００２６】
Ａｕｄｉｏ欠落チェック部３２は、音声データ・再生開始／終了時刻情報取得部３１から渡されたＡｕｄｉｏの再生開始時刻情報およびＡｕｄｉｏの再生終了時刻情報を、Ａｕｄｉｏ再生開始／終了時刻保持部３６に格納されているＡｕｄｉｏの再生開始時刻情報およびＡｕｄｉｏの再生終了時刻情報に照らしてチェックして不連続の場合には欠落があると判定する機能を有している。
【００２７】
無音圧縮部３３は、Ａｕｄｉｏ欠落チェック部３２が受け取ったＡｕｄｉｏの再生開始時刻がＡｕｄｉｏの最新の再生終了時刻よりも進んでいるため欠落があると判断した場合に、Ａｕｄｉｏデータの欠落分を挿入すべく欠落分のＡＡＵを無音で圧縮する機能を有している。
【００２８】
Ａｕｄｉｏ圧縮部３４は受け取ったＡｕｄｉｏデータを圧縮する機能を有している。
【００２９】
Ａｕｄｉｏ再生終了時刻更新部３５は、受け取ったＡｕｄｉｏデータの再生最終時刻をＡｕｄｉｏ再生開始／終了時刻保持部３６に格納されている最新のＡｕｄｉｏ再生終了時刻として更新する機能を有している。
【００３０】
ＭＰＥＧ２ＰＳ多重化部４１は画像および音声の圧縮データを多重化してＭＰＥＧ２で出力する機能を有している。
【００３１】
次に、本実施の形態の動作について図３および図４を参照して詳細に説明する。図３はＶｉｄｅｏ側の処理を示すフローチャートであり、また図４はＡｕｄｉｏ側の処理を示すフローチャートである。
【００３２】
また、以下に図３および図４のフローチャートで行っている計算（＊１〜＊５）の計算式を示す。計算結果で小数点以下は桁上げ（又は切り捨てや四捨五入でも良い）する。
【００３３】
Acm:圧縮したAAU数（無音分も含む）
Adt:切り捨てたAAU数
Arv: Audioの受け取った再生開始時刻
Atp: Audioの先頭の再生開始時刻
Abm:Audioの最新の再生終了時刻
Aiv:1AAU分の再生時間
Aer:欠落したAAU数
【００３４】
Vcm:圧縮したFrame数（前画像分も含む）
Vdt:切り捨てたFrame数
Vrv: Videoの受け取った再生開始時刻
Vtp: Videoの先頭の再生開始時刻
Vbm:Videoの最新の再生終了時刻
Viv:1Frame分の再生時間
Ver:欠落したFrame数
Vpr:Audioに合わせて前画像圧縮するFrame数
【００３５】
＊１：Audioの欠落したAAU数を求める計算式
Aer = (Acm + Adt) − ((Arv − Atp) / Aiv）
【００３６】
＊２：Videoの欠落したFrame数を求める計算式
Ver = (Vcm + Vdt) − ((Vrv − Vtp) / Viv)
【００３７】
＊３：切り捨てる前に先行したAudioに合わせて補正するFrame数を求める計算式
Vpr = (Abm − Vrv) / Viv
【００３８】
＊４：Videoの切り捨てたFrame数
Vdt = Ver − Vpr
【００３９】
＊５：切り捨てたVideoに合わせて、更新する最終AAUの再生終了時刻を求める計算式
Adt = (Vdt * Viv) / Aiv
Abm = Abm + (Adt * Aiv)
【００４０】
まず、図３を参照すると、ＡＶ圧縮装置１００の画像データ・再生開始／終了時刻情報取得部２１は、画像データとその画像データが渡される時に付いてくるＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報（ＤｉｒｅｃｔＳｈｏｗではストリームタイムに相当する）を取得し、それらをＶｉｄｅｏ欠落チェック部２２に渡す。
Ｖｉｄｅｏ欠落チェック部２２は、画像データ・再生開始／終了時刻情報取得部２１から渡されたＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報を、Ｖｉｄｅｏ再生開始／終了時刻保持部２９に格納されているＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報に照らしてチェックして不連続の場合には欠落があると判定し上記の式＊２に基づき欠落を計算する（Ｓ３０１）。
【００４１】
欠落時間判定／処理部２４は、Ｖｉｄｅｏデータの欠落が２秒以上あるか否かを判定する（Ｓ３０２）。
そして２秒以上ある場合（Ｓ３０２／Ｙｅｓ）は、制御部１１は、Ａｕｄｉｏの最新の再生終了時刻とＶｉｄｅｏの受け取った再生開始時刻の差を上記の式＊３に基づき計算する（Ｓ３０３）。
【００４２】
ステップＳ３０３の結果、Ｖｉｄｅｏが２秒以上先行しているか判定し（Ｓ３０４）、Ｖｉｄｅｏが２秒以上先行している場合（Ｓ３０４／Ｙｅｓ）は、制御部１１は、Ａｕｄｉｏ圧縮を進めるために一時的にＳｌｅｅｐさせ（Ｓ３０５）、再生時刻の絶対値差が０．５秒以内であるか判定し（Ｓ３０６）、０．５秒以内である場合（Ｓ３０６／Ｙｅｓ）は、  Ａｕｄｉｏ圧縮に中断を通知する（Ｓ３０７）。
【００４３】
制御部１１は、Ａｕｄｉｏ圧縮が中断したか判定する（Ｓ３０８）。
【００４４】
Ａｕｄｉｏ圧縮が中断した場合（Ｓ３０８／Ｙｅｓ）は、Ａｕｄｉｏ先行判定／処理部２３は、既にＡｕｄｉｏが先行してその欠落開始時刻を０．５秒を超えるＡｕｄｉｏを圧縮しているか否かを判定する（Ｓ３０９）。
【００４５】
そして０．５秒を超えるＡｕｄｉｏデータを圧縮しているとき（Ｓ３０９／Ｙｅｓ）は、前画像圧縮部２５は１Ｆｒａｍｅ分の前画像を圧縮する（Ｓ３１０）。
【００４６】
制御部１１は、Audioの再生時刻を越える最小のＦｒａｍｅ数を圧縮したか判定し（Ｓ３１１）、圧縮した場合（Ｓ３１１／Ｙｅｓ）は、欠落したＶｉｄｅｏデータを上記の式＊４に基づき計算して切り捨てる（Ｓ３１２）。
【００４７】
切捨時Ａｕｄｉｏ再生終了時刻更新部２６は、切り捨てたＶｉｄｅｏデータの再生時間を越える最小ＡＡＵ数を切り捨てた後の再生終了時刻を上記の式＊５に基づき計算する（Ｓ３１３）。
【００４８】
切捨時Ａｕｄｉｏ再生終了時刻更新部２６は、Ｖｉｄｅｏデータを切り捨てた時に、切り捨てられたＶｉｄｅｏデータと同じ時刻分のＡｕｄｉｏデータを切り捨てるべくＡｕｄｉｏ再生開始／終了時刻保持部３６に格納されている最新のＡｕｄｉｏ再生終了時刻を更新する（Ｓ３１４）。
【００４９】
一方、２秒以上でない場合（Ｓ３０２／Ｎｏ）は、制御部１１は、欠落時間が１Ｆｒａｍｅを超えるか判定し（Ｓ３２１）、超える場合（Ｓ３２１／Ｙｅｓ）は、前画像圧縮部２５は、１Ｆｒａｍｅ分の前画像を圧縮する（Ｓ３２２）。
【００５０】
制御部１１は、欠落時間を越える最小のＦｒａｍｅ数を圧縮したか判定し（Ｓ３２３）、圧縮した場合（Ｓ３２３／Ｙｅｓ）は、Ｖｉｄｅｏ圧縮部２７は受け取ったＶｉｄｅｏの１Ｆｒａｍｅ分を圧縮する（Ｓ３２４）。
【００５１】
制御部１１は、受け取ったＶｉｄｅｏデータの全Ｆｒａｍｅを圧縮したか判定し（Ｓ３２５）、圧縮した場合（Ｓ３２５／Ｙｅｓ）は、Ｖｉｄｅｏ再生終了時刻更新部２８は、受け取ったＶｉｄｅｏデータの再生最終時刻をＶｉｄｅｏ再生開始／終了時刻保持部２９に格納されている最新のＶｉｄｅｏ再生終了時刻として更新する（Ｓ３２６）。
【００５２】
制御部１１は、Ａｕｄｉｏ圧縮を中断したか判定し（Ｓ３２７）、中断した場合（Ｓ３２７／Ｙｅｓ）は、Ａｕｄｉｏ圧縮に再開を通知する（Ｓ３２８）。
【００５３】
次に、図４を参照すると、ＡＶ圧縮装置１００の音声データ・再生開始／終了時刻情報取得部３１は、音声データとその音声データが渡される時に付いてくるＡｕｄｉｏの再生開始時刻情報およびＡｕｄｉｏの再生終了時刻情報（ＤｉｒｅｃｔＳｈｏｗではストリームタイムに相当する）を取得し、それらをＡｕｄｉｏ欠落チェック部３２に渡す。
Ａｕｄｉｏ欠落チェック部３２は、音声データ・再生開始／終了時刻情報取得部３１から渡されたＡｕｄｉｏの再生開始時刻情報を、Ａｕｄｉｏ再生開始／終了時刻保持部３６に格納されているＡｕｄｉｏの最新の再生終了時刻情報よりも戻っている（前である）かどうかを確認する（Ｓ４０１、Ｓ４０２）。
【００５４】
戻っている場合（Ｓ４０２／Ｙｅｓ）は、制御部１１は、戻っている分は切り捨てる（Ｓ４０３）。
Ｖｉｄｅｏ欠落チェック部２２は、画像データ・再生開始／終了時刻情報取得部２１から渡されたＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報を、Ｖｉｄｅｏ再生開始／終了時刻保持部２９に格納されているＶｉｄｅｏの再生開始時刻情報およびＶｉｄｅｏの再生終了時刻情報に照らしてチェックして不連続の場合には欠落があると判定し上記の式＊１に基づき欠落を計算する（Ｓ３０１）。
【００５５】
制御部１１は、欠落時間が１ＡＡＵを超えるか判定し（Ｓ４０５）、超える場合（Ｓ４０５／Ｙｅｓ）は、無音圧縮部３３は、は、１ＡＡＵ分の無音を圧縮する（Ｓ４０６）。
【００５６】
制御部１１は、Ｖｉｄｅｏ圧縮からの中断通知があるか否かを判定し（Ｓ４０７）、中断通知がない場合（Ｓ４０７／Ｎｏ）は、欠落時間を越える最小のＡＡＵ数を圧縮したか否かを判定する（Ｓ４０８）。
【００５７】
欠落時間を越える最小のＡＡＵ数を圧縮した場合（Ｓ４０８／Ｙｅｓ）は、Ａｕｄｉｏ圧縮部３４は受け取った１ＡＡＵ分を圧縮する（Ｓ４０９）。
【００５８】
制御部１１は、Ｖｉｄｅｏ圧縮からの中断通知があるか否かを判定し（Ｓ４１０）、中断通知がない場合（Ｓ４１０／Ｎｏ）は、受け取った全ＡＡＵ分を圧縮したか否かを判定する（Ｓ４１１）。
【００５９】
受け取った全ＡＡＵ分を圧縮した場合（Ｓ４１１／Ｙｅｓ）は、Ａｕｄｉｏ再生終了時刻更新部３５は、受け取ったＡｕｄｉｏデータの再生最終時刻をＡｕｄｉｏ再生開始／終了時刻保持部３６に格納されている最新のＡｕｄｉｏ再生終了時刻として更新する（Ｓ４１２）。
【００６０】
一方、中断通知がある場合（Ｓ４０７／Ｙｅｓ）は、制御部１１は、Ｖｉｄｅｏ圧縮からの再開通知があるか否かを判定し（Ｓ４２１）、ある場合（Ｓ４２１／Ｙｅｓ）は、処理を終了する。
【００６１】
上記の本実施の形態によれば、録画コンテンツがデータ欠落・エラーを含んでいる場合、再生不可・デコードスキップ、再生データがロストする場合があり、画質変換を行う再圧縮処理時にＡＶ同期がずれることを回避すべく、デコード済みデータの切捨て／削除手段とタイムスタンプ書き換え手段により、欠落データの補正処理を行い、違和感軽減を図るＡＶ圧縮処理を行うことができる。
【００６２】
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、ＡＶ圧縮装置１００の機能を実現するためのプログラムを装置に読込ませて実行することにより装置の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるＣＤ−ＲＯＭまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線などを介して伝送波により他のコンピュータシステムに伝送されてもよい。また、追加の装置により機能が分散されて実現される形態も本発明の範囲内である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態に係るＡＶ圧縮装置の機能ブロック図である。
【図２】本発明の実施の形態に係る圧縮済みのＡｕｄｉｏデータを有効利用しつつＶｉｄｅｏデータとＡｕｄｉｏデータを切り捨てることを説明する図である。
【図３】本発明の実施の形態に係るＶｉｄｅｏ側の動作を示すフローチャートである。
【図４】本発明の実施の形態に係るＡｕｄｉｏ側の動作を示すフローチャートである。
【図５】関連する圧縮技術の説明図である。
【図６】関連する圧縮技術の同期を説明する図である。
【符号の説明】
【００６４】
１１    制御部
２１    画像データ・再生開始／終了時刻情報取得部
２２    Ｖｉｄｅｏ欠落チェック部
２３    Ａｕｄｉｏ先行判定／処理部
２４    欠落時間判定／処理部
２５    前画像圧縮部
２６    切捨時Ａｕｄｉｏ再生終了時刻更新部
２７    Ｖｉｄｅｏ圧縮部
２８    Ｖｉｄｅｏ再生終了時刻更新部
２９    Ｖｉｄｅｏ再生開始／終了時刻保持部
３１    音声データ・再生開始／終了時刻情報取得部
３２    Ａｕｄｉｏ欠落チェック部
３３    無音圧縮部
３４    Ａｕｄｉｏ圧縮部
３５    Ａｕｄｉｏ再生終了時刻更新部
３６    Ａｕｄｉｏ再生開始／終了時刻保持部
４１    ＭＰＥＧ２ＰＳ多重化部
１００    ＡＶ圧縮装置
【図１】
0004944056.tif 000002
【図２】
0004944056.tif 000003
【図３】
0004944056.tif 000004
【図４】
0004944056.tif 000005
【図５】
0004944056.tif 000006
【図６】
0004944056.tif 000007