(57)【要約】【課題】  復号器が持つクロックと、符号器のシステムクロックとの間のずれが調整できない場合でも、画質、又は音質の劣化を低減した状態で、画像、又は音声を再生できる有用なストリーム情報再生装置を提供することを目的とする。【解決手段】  本発明のストリーム情報再生装置は、一連のフレーム情報を含むストリーム情報を取得し、前記フレーム情報をバッファに蓄積し、前記フレーム情報の前記バッファへの蓄積量の異常であるバッファ異常の発生を予測し、前記バッファ異常の発生を予測した時点から所定期間内に、バッファ中のフレーム情報から、再生を割愛するか、又は所定の時間と異なる時間再生しても認識しにくいフレームを示す対象フレーム情報を選択し、前記対象フレーム情報を所定の再生レートとは異なる再生レートを用いて再生する。【選択図】  図１
2004180282.tif 000002
【特許請求の範囲】
【請求項１】
一連のフレーム情報を含むストリーム情報を取得し、前記フレーム情報をバッファに蓄積し読み出して再生するストリーム情報再生装置であって、
前記フレーム情報の蓄積量の異常であるバッファ異常の発生を予測する予測手段と、
前記バッファ異常の発生を予測した時点から所定期間内に、バッファ中のフレーム情報から、再生レート調整の対象になる所定の条件を満たすフレーム情報である対象フレーム情報を選択する選択手段と、
前記対象フレーム情報を所定の再生レートと異なる再生レートを用いて再生する再生手段と
を備えることを特徴とするストリーム情報再生装置。
【請求項２】
前記予測手段は、前記バッファにおけるフレーム情報の蓄積量の不足を示すアンダーフローである前記バッファ異常の発生を予測し、
前記再生手段は、前記所定の再生レートより低い再生レートを用いて、前記対象フレーム情報を再生する
ことを特徴とする請求項１に記載のストリーム情報再生装置。
【請求項３】
前記ストリーム情報は、時刻情報を含み、
前記ストリーム情報再生装置は、更に、
内部クロックをカウントする計時手段と、
前記ストリーム情報から前記時刻情報を取得する時刻情報取得手段と、
を含み、
前記予測手段は、前記時刻情報と前記内部クロックのカウント値との比較結果を用いて、前記アンダーフローの発生を予測する
ことを特徴とする請求項２に記載のストリーム情報再生装置。
【請求項４】
前記予測手段は、前記内部クロックのカウント値と前記時刻情報との差分値を計算し、当該差分値が所定の閾値以上であれば、前記アンダーフローが発生すると予測する
ことを特徴とする請求項３に記載のストリーム情報再生装置。
【請求項５】
前記予測手段は、第１の計数値と第２の計数値を保持し、前記時刻情報取得手段が時刻情報を取得する度に、当該時刻情報と前記内部クロックのカウント値の大小を比較し、当該時刻情報が大きい場合、第１の計数値に１加算し、当該内部クロックのカウント値が大きい場合、第２の計数値に１加算し、当該第２の計数値と当該第１の計数値との差が所定の閾値以上である場合、前記アンダーフローが発生すると予測する
ことを特徴とする請求項３に記載のストリーム情報再生装置。
【請求項６】
前記予測手段は、前記バッファにおけるフレーム情報の蓄積量が所定の下限値以下となった場合に、アンダーフローが発生すると予測する
ことを特徴とする請求項２に記載のストリーム情報再生装置。
【請求項７】
前記フレーム情報は、画像を示し、
前記再生手段は、再生順序が連続した複数のフレーム情報について、それぞれの予定された再生時間の長短差が所定時間以上である場合に、前記長短差を減らすよう各再生時間を調整して再生する
ことを特徴とする請求項２に記載のストリーム情報再生装置。
【請求項８】
前記予測手段は、前記バッファにおけるフレーム情報の蓄積量の過剰を示すオーバーフローである前記バッファ異常の発生を予測し、
前記再生手段は、前記所定の再生レートより高い再生レートを用いて、前記対象フレーム情報を再生し、又は前記対象フレーム情報の再生を抑制する
ことを特徴とする請求項１に記載のストリーム情報再生装置。
【請求項９】
前記ストリーム情報は、時刻情報を含み、
前記ストリーム情報再生装置は、更に、
内部クロックをカウントする計時手段と、
前記ストリーム情報から前記時刻情報を取得する時刻情報取得手段と、
を含み、
前記予測手段は、前記時刻情報と前記内部クロックのカウント値との比較結果を用いて、前記オーバーフローの発生を予測する
ことを特徴とする請求項８に記載のストリーム情報再生装置。
【請求項１０】
前記予測手段は、前記時刻情報と前記内部クロックのカウント値との差分値を計算し、当該差分値が所定の閾値以上であれば、前記オーバーフローが発生すると予測する
ことを特徴とする請求項９に記載のストリーム情報再生装置。
【請求項１１】
前記予測手段は、第１の計数値と第２の計数値を保持し、前記時刻情報取得手段が時刻情報を取得した場合に、当該時刻情報と前記内部クロックのカウント値の大小を比較し、当該時刻情報が大きい場合、第１の計数値に１加算し、当該内部クロックのカウント値が大きい場合、第２の計数値に１加算し、当該第１の計数値と当該第２の計数値の差が所定の閾値以上である場合、前記オーバーフローが発生すると予測する
ことを特徴とする請求項９に記載のストリーム情報再生装置。
【請求項１２】
前記予測手段は、前記バッファにおけるフレーム情報の蓄積量が所定の上限値以上となった場合に、オーバーフローが発生すると予測する
ことを特徴とする請求項８に記載のストリーム情報再生装置。
【請求項１３】
前記フレーム情報は、画像を示し、
前記再生手段は、再生順序が連続した複数のフレーム情報について、それぞれの予定された再生時間の長短差が所定時間以上である場合に、前記長短差を減らすよう各再生時間を調整して再生する
ことを特徴とする請求項８に記載のストリーム情報再生装置。
【請求項１４】
前記再生手段は、前記対象フレーム情報について、所定の再生開始時刻よりも前に再生開始する
ことを特徴とする請求項８に記載のストリーム情報再生装置。
【請求項１５】
前記ストリーム情報は、番組開始時刻と番組終了時刻とから成る番組情報を含み、
前記ストリーム情報再生装置は、更に、
内部クロックをカウントする計時手段と、
前記番組情報を取得する番組情報取得手段と、
を含み、
前記選択手段は、前記対象フレーム情報として、前記内部クロックと前記番組情報とに基づき、前記番組開始又は番組終了時刻に対応するフレーム情報及びその前後所定数のフレーム情報の中からいずれかを選択する
ことを特徴とする請求項１に記載のストリーム情報再生装置。
【請求項１６】
前記フレーム情報は、画像を示し、
前記選択手段は、前記対象フレーム情報として、連続して再生されるべきフレーム情報であって、直前に再生されるフレーム情報からの変化量が所定値よりも小さいフレーム情報を選択する
ことを特徴とする請求項１に記載のストリーム情報再生装置。
【請求項１７】
前記フレーム情報は、音声を示し、
前記選択手段は、前記対象フレーム情報として、再生時の音量が所定値以下であるフレーム情報を選択する
ことを特徴とする請求項１に記載のストリーム情報再生装置。
【請求項１８】
前記一連のフレーム情報は、映像または音声のいずれかを示すフレーム情報が混在し、
前記選択手段は、前記対象フレーム情報として、再生時の音量が所定値以下である音声を示すフレーム情報に対応づけられた、映像を示すフレーム情報を選択する
ことを特徴とする請求項１に記載のストリーム情報再生装置。
【請求項１９】
前記ストリーム情報は、ＭＰＥＧ標準に従って符号化されており、
前記予測手段は、前記バッファにおけるフレーム情報の蓄積量の不足を示すアンダーフロー或いは蓄積量の過剰を示すオーバーフローである前記バッファ異常の発生を予測し、
前記選択手段は、前記対象フレーム情報として、前記予測手段がアンダーフローが発生すると予測した場合にＩピクチャ又はＰピクチャを示すフレーム情報を選択し、前記予測手段がオーバーフローが発生すると予測した場合にＢピクチャを示すフレーム情報を選択する
ことを特徴とする請求項１に記載のストリーム情報再生装置。
【請求項２０】
前記ストリーム情報は、ＭＰＥＧ標準に従い符号化されており、番組開始時刻と番組終了時刻とから成る番組情報を含み、
前記予測手段は、前記バッファにおけるフレーム情報の蓄積量の不足を示すアンダーフロー或いは蓄積量の過剰を示すオーバーフローである前記バッファ異常の発生を予測し、
前記ストリーム情報再生装置は、更に、
内部クロックをカウントする計時手段と、
前記番組情報を取得する番組情報取得手段と、
を含み、
前記選択手段は、前記バッファ異常の発生を予測してから所定期間内に、バッファ中のフレーム情報から前記対象フレーム情報として、前記番組開始時刻或いは番組終了時刻が、前記異常発生予測があってから所定時間内であれば、前記内部クロックと前記番組情報とに基づき、前記番組開始又は番組終了時刻に対応するフレーム情報及びその前後所定数のフレーム情報の中からいずれかを選択する第１選択を行い、
前記第１選択を行わなかった場合には、映像を示す連続して再生されるべきフレーム情報であって直前に再生されるフレーム情報からの変化量が所定値よりも小さいフレーム情報、或いは音声を示すフレーム情報であって再生時の音量が所定値以下であるフレーム情報の検出を試み、検出出来た場合に、当該検出したフレーム情報を選択する第２選択を行い、
前記第１及び第２選択を行わなかった場合には、前記発生予測がアンダーフローの発生予測であればＩピクチャ又はＰピクチャを示すフレーム情報を選択し、前記予測がオーバーフローの発生予測であれば、Ｂピクチャを示すフレーム情報を選択する
ことを特徴とする請求項１に記載のストリーム情報再生装置。
【請求項２１】
一連のフレーム情報を含むストリーム情報を取得し、前記フレーム情報をバッファに蓄積し読み出して再生するストリーム情報再生方法であって、
前記フレーム情報の蓄積量の異常であるバッファ異常の発生を予測する予測ステップと、
前記バッファ異常の発生を予測した時点から所定期間内に、バッファ中のフレーム情報から、再生レート調整の対象になる所定の条件を満たすフレーム情報である対象フレーム情報を選択する選択ステップと、
前記対象フレーム情報を所定の再生レートと異なる再生レートを用いて再生する再生ステップと
を含むことを特徴とするストリーム情報再生方法。
【請求項２２】
一連のフレーム情報を含むストリーム情報を取得し、前記フレーム情報をバッファに蓄積し読み出して再生するストリーム情報再生装置に適用されるプログラムであって、
前記フレーム情報の蓄積量の異常であるバッファ異常の発生を予測する予測ステップと、
前記バッファ異常の発生を予測した時点から所定期間内に、バッファ中のフレーム情報から、再生レート調整の対象になる所定の条件を満たすフレーム情報である対象フレーム情報を選択する選択ステップと、
前記対象フレーム情報を所定の再生レートと異なる再生レートを用いて再生する再生ステップと、
の各ステップをコンピュータに実行させるプログラム。
【請求項２３】
請求項１に記載のストリーム情報再生装置を含むデジタル放送受信機。
【請求項２４】
請求項２１に記載のストリーム情報再生方法を実行するデジタル放送受信機。
【請求項２５】
請求項２２に記載のプログラムを実行するデジタル放送受信機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像及び音声を含むストリーム情報を再生するストリーム情報再生技術に関し、特に映像、音声の再生に使用する基準クロックの調整を省略する技術に関する。
【背景技術】
【０００２】
近年、ディジタルテレビ放送等における動画像信号の符号化方式として、ＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２）が広く用いられている。
ＭＰＥＧ２システム規格では、ストリーム情報として、放送などの用途に適したＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）が規定されている。
【０００３】
符号器は、番組を構成する映像、或いは音声を、ＭＰＥＧ２のビデオ・オーディオ符号化規格に従い符号化してＥＳ（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）を作成する。
次に、符号器は、前記ＥＳをＭＰＥＧ２システム規格に基づき復号再生単位（ビデオは１フレーム、オーディオは１オーディオフレーム）毎に分割し、復号再生単位のそれぞれに対し、復号すべき時刻を示すＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）と、再生すべき時刻を示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）とを含むヘッダを付加して、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケットを作成する。
【０００４】
符号器は、さらに前記ＰＥＳパケットを１８４バイト単位で分割し、４バイトのヘッダを付加した１８８バイトのＴＳパケットを作成し、１つ或いは複数の番組に関するＴＳパケットを時分割多重してＴＳを作成する。
符号器は、ＭＰＥＧ２システム規格で規定されているテーブルの形式であり、多重された番組から任意の番組を選択し再生する場合に、どのパケットを取り出しどのように復号すればよいかという情報、或いは、番組のタイトル、開始時刻、終了時刻等の番組情報を含むＰＳＩ（Ｐｒｏｇｒａｍ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ）をＴＳに多重する。
【０００５】
復号器は、符号器とは逆の手順で、入力されたＴＳからＴＳパケットを生成し、ＴＳパケットからＰＥＳパケットを生成する。
復号器は、映像、音声を復号再生するための同期信号であるＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）を、復号器が備えている２７ＭＨｚのクロックに同期してカウントしており、前記復号再生単位のＤＴＳが当該ＳＴＣの値と一致した時に、当該復号再生単位を復号する。
【０００６】
また、前記復号再生単位のＰＴＳがＳＴＣの値と一致した時に、前記復号再生単位を再生出力する。
ここで、復号器が復号化の基準としているクロックの周波数と、符号器が符号化の基準としているクロックの周波数との間にずれがある場合、復号器に単位時間当たりに入力されるストリーム情報の量と、復号器が単位時間当たりに処理するストリーム情報の量との間に不整合が生じ、ストリーム情報を保持するためのバッファにおいて、バッファ異常であるアンダーフロー或いはオーバーフローが発生し、同一フレームを２回以上再生するフレームフリーズ、或いは提示すべきフレームを再生しないフレームスキップが生じる可能性がある（非特許文献１参照。）。
【０００７】
前記不整合を回避するために、復号器は、位相比較器、ローパスフィルタ、電圧制御発振器などで構成された帰還閉回路であるＰＬＬ（Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ）回路を用いて、復号器のクロック周波数を、符号器のクロック周波数に合わせる（非特許文献２参照。）。
前記ＴＳには、復号器のクロック周波数を符号器の意図通りに調整するための時刻情報であるＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）が間欠的に付与されており、復号器は、当該ＰＣＲを受信する毎に、ＰＬＬ回路を用いて、ＰＣＲの値とＳＴＣの値との差分を電圧に変換し、当該電圧に応じて、復号器のクロックの周波数を増減し、符号器の意図通りのクロック周波数を得る。
【非特許文献１】Ｉｎｔｅｒｆａｃｅ  ＣＱ出版社、２０００年１月号、Ｐ．１１７
【非特許文献２】マルチメディア通信研究会編  最新ＭＰＥＧ教科書  アスキー出版局、１９９５年１２月２１日、Ｐ．２３５−２３８
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、コスト低減のためにＰＬＬ回路を省略し、周波数の調整が出来ない固定周波数の水晶発振器を使用する場合、或いはＰＬＬ回路による復号器のクロック周波数の調整精度が悪い場合など、復号器が持つクロックの周波数と符号器のクロックの周波数との間のずれを調整できない場合、復号器に単位時間当たりに入力されるストリーム情報の量と、復号器が単位時間当たりに処理するストリーム情報の量との間に不整合が生じ、復号器がストリーム情報を保持するためのバッファにおいて、バッファ異常であるアンダーフロー或いはオーバーフローが発生し、フレームフリーズ、或いはフレームスキップが、ランダムなタイミングで生じる可能性がある。
【０００９】
本発明は、上記の問題に鑑み、復号器が持つクロックと、符号器のシステムクロックとの間のずれが調整できない場合でも、画質、又は音質の劣化を低減した状態で、画像、又は音声を再生できる有用なストリーム情報再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係るストリーム情報再生装置は、一連のフレーム情報を含むストリーム情報を取得し、前記フレーム情報をバッファに蓄積し読み出して再生するストリーム情報再生装置であって、前記フレーム情報の蓄積量の異常であるバッファ異常の発生を予測する予測手段と、前記バッファ異常の発生を予測した時点から所定期間内に、バッファ中のフレーム情報から、再生レート調整の対象になる所定の条件を満たすフレーム情報である対象フレーム情報を選択する選択手段と、前記対象フレーム情報を所定の再生レートと異なる再生レートを用いて再生する再生手段とを備える。
【発明の効果】
【００１１】
（１）本発明に係るストリーム情報再生装置は、上述の構成を備えることにより、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、バッファ異常の発生が予測された場合に、不正規な再生をしても分かりにくいフレームを所定の再生レートに従わずに再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００１２】
（２）また、前記（１）のストリーム情報再生装置は、前記予測手段は、前記バッファにおけるフレーム情報の蓄積量の不足を示すアンダーフローである前記バッファ異常の発生を予測し、前記再生手段は、前記所定の再生レートより低い再生レートを用いて、前記対象フレーム情報を再生してもよい。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、アンダーフローの発生を事前に予測し、アンダーフローが発生すると予測した場合には、不正規な再生をしても分かりにくいフレームについて、所定の再生時間を延長して再生して、バッファからの情報の読み出しと消去とを抑制し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００１３】
（３）また、前記（２）のストリーム情報再生装置は、前記ストリーム情報は、時刻情報を含み、前記ストリーム情報再生装置は、更に、内部クロックをカウントする計時手段と、前記ストリーム情報から前記時刻情報を取得する時刻情報取得手段とを含み、前記予測手段は、前記時刻情報と前記内部クロックのカウント値との比較結果を用いて、前記アンダーフローの発生を予測してもよい。
【００１４】
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、前記時刻情報と前記内部クロックのカウント値とを用いて、アンダーフローの発生を事前に予測し、アンダーフローが発生すると予測した場合には、不正規な再生をしても分かりにくいフレームについて、所定の再生時間を延長して再生して、バッファからの情報の読み出しと消去とを抑制し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００１５】
（４）また、前記（３）のストリーム情報再生装置は、前記予測手段は、前記内部クロックのカウント値と前記時刻情報との差分値を計算し、当該差分値が所定の閾値以上であれば、前記アンダーフローが発生すると予測してもよい。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、前記内部クロックのカウント値と前記時刻情報との差分値を用いて、アンダーフローの発生を事前に予測し、アンダーフローが発生すると予測した場合には、不正規な再生をしても分かりにくいフレームについて、所定の再生時間を延長して再生して、バッファからの情報の読み出しと消去とを抑制し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００１６】
（５）また、前記（３）のストリーム情報再生装置は、前記予測手段は、第１の計数値と第２の計数値を保持し、前記時刻情報取得手段が時刻情報を取得する度に、当該時刻情報と前記内部クロックのカウント値の大小を比較し、当該時刻情報が大きい場合、第１の計数値に１加算し、当該内部クロックのカウント値が大きい場合、第２の計数値に１加算し、当該第２の計数値と当該第１の計数値との差が所定の閾値以上である場合、前記アンダーフローが発生すると予測してもよい。
【００１７】
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、前記内部クロックのカウント値と前記時刻情報との大小比較の結果を計数し、計数結果を用いてアンダーフローの発生を事前に予測し、アンダーフローが発生すると予測した場合には、不正規な再生をしても分かりにくいフレームについて、所定の再生時間を延長して再生して、バッファからの情報の読み出しと消去とを抑制し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００１８】
（６）また、前記（２）のストリーム情報再生装置は、前記予測手段は、前記バッファにおけるフレーム情報の蓄積量が所定の下限値以下となった場合に、アンダーフローが発生すると予測してもよい。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファにおけるフレーム情報の蓄積量を用いてアンダーフローの発生を事前に予測し、アンダーフローが発生すると予測した場合に、不正規な再生をしても分かりにくいフレームについて、所定の再生時間を延長して再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００１９】
（７）また、前記（２）のストリーム情報再生装置は、前記フレーム情報は、画像を示し、前記再生手段は、再生順序が連続した複数のフレーム情報について、それぞれの予定された再生時間の長短差が所定時間以上である場合に、前記長短差を減らすよう各再生時間を調整して再生してもよい。
この構成によれば、再生順序が連続した複数のフレーム情報について、前記各フレームの予定された再生時間の長短差が所定時間以上である場合に、前記長短差を減らして、視聴者が感じる不自然さを低減することが出来る。
【００２０】
（８）また、前記（１）のストリーム情報再生装置は、前記予測手段は、前記バッファにおけるフレーム情報の蓄積量の過剰を示すオーバーフローである前記バッファ異常の発生を予測し、前記再生手段は、前記所定の再生レートより高い再生レートを用いて、前記対象フレーム情報を再生し、又は前記対象フレーム情報の再生を抑制してもよい。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、オーバーフローの発生を事前に予測し、オーバーフローが発生すると予測した場合には、不正規な再生をしても分かりにくいフレームについて、所定の再生時間を短縮するか、抑制することにより、バッファからの情報の読み出しと消去を促進し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００２１】
（９）また、前記（８）のストリーム情報再生装置は、前記ストリーム情報は、時刻情報を含み、前記ストリーム情報再生装置は、更に、内部クロックをカウントする計時手段と、前記ストリーム情報から前記時刻情報を取得する時刻情報取得手段とを含み、前記予測手段は、前記時刻情報と前記内部クロックのカウント値との比較結果を用いて、前記オーバーフローの発生を予測してもよい。
【００２２】
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、前記時刻情報と前記内部クロックのカウント値とを用いて、オーバーフローの発生を事前に予測し、オーバーフローが発生すると予測した場合には、不正規な再生をしても分かりにくいフレームについて、所定の再生時間を短縮するか、抑制することにより、バッファからの情報の読み出しと消去を促進し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００２３】
（１０）また、前記（９）のストリーム情報再生装置は、前記予測手段は、前記時刻情報と前記内部クロックのカウント値との差分値を計算し、当該差分値が所定の閾値以上であれば、前記オーバーフローが発生すると予測してもよい。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、前記内部クロックのカウント値と前記時刻情報との差分値を用いて、オーバーフローの発生を事前に予測し、オーバーフローが発生すると予測した場合には、不正規な再生をしても分かりにくいフレームについて、所定の再生時間を短縮するか、抑制することにより、バッファからの情報の読み出しと消去を促進し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００２４】
（１１）また、前記（９）のストリーム情報再生装置は、前記予測手段は、第１の計数値と第２の計数値を保持し、前記時刻情報取得手段が時刻情報を取得した場合に、当該時刻情報と前記内部クロックのカウント値の大小を比較し、当該時刻情報が大きい場合、第１の計数値に１加算し、当該内部クロックのカウント値が大きい場合、第２の計数値に１加算し、当該第１の計数値と当該第２の計数値の差が所定の閾値以上である場合、前記オーバーフローが発生すると予測してもよい。
【００２５】
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、前記内部クロックのカウント値と前記時刻情報との大小比較の結果を計数し、計数結果を用いてオーバーフローの発生を事前に予測し、オーバーフローが発生すると予測した場合には、不正規な再生をしても分かりにくいフレームについて、所定の再生時間を短縮するか、抑制することにより、バッファからの情報の読み出しと消去を促進し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００２６】
（１２）また、前記（８）のストリーム情報再生装置は、前記予測手段は、前記バッファにおけるフレーム情報の蓄積量が所定の上限値以上となった場合に、オーバーフローが発生すると予測してもよい。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファにおけるフレーム情報の蓄積量を用いてオーバーフローの発生を事前に予測し、オーバーフローが発生すると予測した場合に、不正規な再生をしても分かりにくいフレームについて、所定の再生時間を短縮するか、抑制することにより、バッファからの情報の読み出しと消去を促進し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００２７】
（１３）また、前記（８）のストリーム情報再生装置は、前記フレーム情報は、画像を示し、前記再生手段は、再生順序が連続した複数のフレーム情報について、それぞれの予定された再生時間の長短差が所定時間以上である場合に、前記長短差を減らすよう各再生時間を調整して再生してもよい。
この構成によれば、再生順序が連続した複数のフレーム情報について、前記各フレームの予定された再生時間の長短差が所定時間以上である場合に、前記長短差を減らして、視聴者が感じる不自然さを低減することが出来る。
【００２８】
（１４）また、前記（８）のストリーム情報再生装置は、前記再生手段は、前記対象フレーム情報について、所定の再生開始時刻よりも前に再生開始してもよい。
この構成によれば、オーバーフローの発生を事前に予測し、オーバーフローが発生すると予測した場合に、対象フレーム情報の再生を抑制することなく、所定の再生開始時刻よりも前に再生するため、画質の劣化を低減した状態で、画像を再生できる。
【００２９】
（１５）また、前記（１）のストリーム情報再生装置は、前記ストリーム情報は、番組開始時刻と番組終了時刻とから成る番組情報を含み、前記ストリーム情報再生装置は、更に、内部クロックをカウントする計時手段と、前記番組情報を取得する番組情報取得手段とを含み、前記選択手段は、前記対象フレーム情報として、前記内部クロックと前記番組情報とに基づき、前記番組開始又は番組終了時刻に対応するフレーム情報及びその前後所定数のフレーム情報の中からいずれかを選択してもよい。
【００３０】
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、バッファ異常の発生が予測された場合に、画質、又は音質への影響が少ない各番組からＣＭへの切り替わり、ＣＭから番組への切り替わりに再生すべきフレームを所定の再生レートに従わずに再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００３１】
（１６）また、前記（１）のストリーム情報再生装置は、前記フレーム情報は、画像を示し、前記選択手段は、前記対象フレーム情報として、連続して再生されるべきフレーム情報であって、直前に再生されるフレーム情報からの変化量が所定値よりも小さいフレーム情報を選択してもよい。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、バッファ異常の発生が予測された場合に、画質、又は音質への影響が少ない、画像フレーム情報間の変化量の小さいフレームを所定の再生レートに従わずに再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００３２】
（１７）  また、前記（１）のストリーム情報再生装置は、前記フレーム情報は、音声を示し、前記選択手段は、前記対象フレーム情報として、再生時の音量が所定値以下であるフレーム情報を選択してもよい。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、バッファ異常の発生が予測された場合に、音声を不正規に再生しても認識しにくい、音量の小さい音声を表すフレームを所定の再生レートに従わず再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００３３】
（１８）  また、前記（１）のストリーム情報再生装置は、前記一連のフレーム情報は、映像または音声のいずれかを示すフレーム情報が混在し、前記選択手段は、前記対象フレーム情報として、再生時の音量が所定値以下である音声を示すフレーム情報に対応づけられた、映像を示すフレーム情報を選択してもよい。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、バッファ異常の発生が予測された場合に、音量の小さい音声を表すフレームに対応するフレームを所定の再生レートに従わず再生し、音声と映像の同期再生を保つため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００３４】
（１９）また、前記（１）のストリーム情報再生装置は、前記ストリーム情報は、ＭＰＥＧ標準に従って符号化されており、前記予測手段は、前記バッファにおけるフレーム情報の蓄積量の不足を示すアンダーフロー或いは蓄積量の過剰を示すオーバーフローである前記バッファ異常の発生を予測し、前記選択手段は、前記対象フレーム情報として、前記予測手段がアンダーフローが発生すると予測した場合にＩピクチャ又はＰピクチャを示すフレーム情報を選択し、前記予測手段がオーバーフローが発生すると予測した場合にＢピクチャを示すフレーム情報を選択してもよい。
【００３５】
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、アンダーフローが発生すると予測した場合に、Ｂピクチャと比べて画質の高いＩピクチャ又はＰピクチャを選択し、オーバーフローが発生すると予測した場合に、Ｉ及びＰピクチャと比べて画質の低いＢピクチャを選択し、選択したフレーム情報を所定の再生レートに従わずに再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００３６】
（２０）また、前記（１）のストリーム情報再生装置は、前記ストリーム情報は、ＭＰＥＧ標準に従い符号化されており、番組開始時刻と番組終了時刻とから成る番組情報を含み、前記予測手段は、前記バッファにおけるフレーム情報の蓄積量の不足を示すアンダーフロー或いは蓄積量の過剰を示すオーバーフローである前記バッファ異常の発生を予測し、前記ストリーム情報再生装置は、更に、内部クロックをカウントする計時手段と、前記番組情報を取得する番組情報取得手段とを含み、前記選択手段は、前記バッファ異常の発生を予測してから所定期間内に、バッファ中のフレーム情報から前記対象フレーム情報として、前記番組開始時刻或いは番組終了時刻が、前記異常発生予測があってから所定時間内であれば、前記内部クロックと前記番組情報とに基づき、前記番組開始又は番組終了時刻に対応するフレーム情報及びその前後所定数のフレーム情報の中からいずれかを選択する第１選択を行い、前記第１選択を行わなかった場合には、映像を示す連続して再生されるべきフレーム情報であって直前に再生されるフレーム情報からの変化量が所定値よりも小さいフレーム情報、或いは音声を示すフレーム情報であって再生時の音量が所定値以下であるフレーム情報の検出を試み、検出出来た場合に、当該検出したフレーム情報を選択する第２選択を行い、前記第１及び第２選択を行わなかった場合には、前記発生予測がアンダーフローの発生予測であればＩピクチャ又はＰピクチャを示すフレーム情報を選択し、前記予測がオーバーフローの発生予測であれば、Ｂピクチャを示すフレーム情報を選択してもよい。
【００３７】
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、  不正規な再生をしても分かりにくいフレームを所定の再生レートに従わずに再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
（２１）本発明のストリーム情報再生方法は、一連のフレーム情報を含むストリーム情報を取得し、前記フレーム情報をバッファに蓄積し読み出して再生するストリーム情報再生方法であって、前記フレーム情報の蓄積量の異常であるバッファ異常の発生を予測する予測ステップと、前記バッファ異常の発生を予測した時点から所定期間内に、バッファ中のフレーム情報から、再生レート調整の対象になる所定の条件を満たすフレーム情報である対象フレーム情報を選択する選択ステップと、前記対象フレーム情報を前記異なる再生レートを用いて再生する再生ステップとを含む。
【００３８】
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、バッファ異常の発生が予測された場合に、不正規な再生をしても分かりにくいフレームを所定の再生レートに従わずに再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００３９】
（２２）本発明のプログラムは、一連のフレーム情報を含むストリーム情報を取得し、前記フレーム情報をバッファに蓄積し読み出して再生するストリーム情報再生装置に適用されるプログラムであって、前記フレーム情報の蓄積量の異常であるバッファ異常の発生を予測する予測ステップと、前記バッファ異常の発生を予測した時点から所定期間内に、バッファ中のフレーム情報から、再生レート調整の対象になる所定の条件を満たすフレーム情報である対象フレーム情報を選択する選択ステップと、前記対象フレーム情報を前記異なる再生レートを用いて再生する再生ステップとの各ステップをコンピュータに実行させる。
【００４０】
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、バッファ異常の発生が予測された場合に、不正規な再生をしても分かりにくいフレームを所定の再生レートに従わずに再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００４１】
（２３）  本発明に係るデジタル放送受信機は、請求項１に記載のストリーム情報再生装置を含む。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、バッファ異常の発生が予測された場合に、不正規な再生をしても分かりにくいフレームを所定の再生レートに従わずに再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００４２】
（２４）  本発明に係るデジタル放送受信機は、請求項２１に記載のストリーム情報再生方法を実行する。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、バッファ異常の発生が予測された場合に、不正規な再生をしても分かりにくいフレームを所定の再生レートに従わずに再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【００４３】
（２５）  本発明に係るデジタル放送受信機は、請求項２２に記載のプログラムを実行する。
この構成によれば、ＰＬＬ回路を省略した安価な構成とする場合、或いはＰＬＬ回路の性能が悪い場合であっても、バッファ異常の発生を事前に予測し、バッファ異常の発生が予測された場合に、不正規な再生をしても分かりにくいフレームを所定の再生レートに従わずに再生し、バッファの情報蓄積量を正常に戻すため、画質、又は音質の劣化を低減しつつ、画像、又は音声を再生出来る。
【発明を実施するための最良の形態】
【００４４】
発明の実施の形態におけるストリーム情報再生装置について、図面を参照しながら説明する。
＜１．概略＞
図１は、ストリーム情報再生装置１０の全体構成を示すブロック図である。
ストリーム情報再生装置１０は、具体的にはプロセッサ、プログラムを記憶しているＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、作業用のＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のハードウェア及びソフトウェアにより実現される。各構成要素の機能は、プロセッサがＲＯＭに記憶されているプログラムを実行することにより実現される。構成要素間におけるデータの受け渡しは、ＲＡＭ等のハードウェアを介して行われる。
【００４５】
ストリーム情報再生装置１０に入力されるストリーム情報は、放送局が制作した映像番組を所定の形式によりデジタルデータ化したＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）であり、画像フレーム或いは音声フレームが符号化されたフレーム情報と、前記映像番組の番組名、番組開始時刻、番組終了時刻を含む番組情報と、ＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）等の時刻情報とを含む。
【００４６】
入力されたＴＳについては、時刻情報取得部１０１が前記時刻情報を取得し、フレーム情報取得部１０４が前記フレーム情報を取得し、番組情報取得部１０６が前記番組情報を取得する。
フレーム情報取得部１０４は、取得したフレーム情報をストリームバッファ１０５に蓄積する。
【００４７】
予測部１０７は、ストリームバッファ１０５におけるフレーム情報の蓄積量と、時刻情報取得部１０１から取得するＰＣＲと、計時部１０３から取得するＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）とに基づき、ストリームバッファ１０５におけるバッファ異常であるアンダーフロー又はオーバーフローの発生を予測し、予測結果をフレーム選択部１０８に通知する。
【００４８】
ここで、アンダーフローとは、ストリームバッファ１０５に保持するデータが所定の下限値以下となるデータ不足状態であり、オーバーフローとは、ストリームバッファ１０５に保持するデータが所定の上限値以上となるデータ過剰状態である。
フレーム選択部１０８は、予測部１０７が前記バッファ異常を予測した場合、実際にストリームバッファ１０５にバッファ異常を生じさせるのを防ぐために、所定の再生レートと異なる再生レートで再生する対象フレームを選出する。
【００４９】
復号再生部１０９は、フレーム選択部１０８が選択した対象フレームを、所定の再生レートと異なる再生レートで再生することにより、バッファ異常が生じるのを防ぐ。
＜２．構成＞
時刻情報取得部１０１は、ＴＳに間欠的に付加されているＰＣＲを監視、取得し、前記取得したＰＣＲの値を予測部１０７に出力する。
【００５０】
水晶発振器１０２は、周波数が２７ＭＨｚのクロックを生成し、生成したクロックを計時部１０３に出力する。
水晶発振器１０２が生成する前記クロックは、ワーストケースとしてプラスマイナス２００ｐｐｍ（ｐａｒｔｓ  ｐｅｒ  ｍｉｌｌｉｏｎ）の誤差を持つものとする。
計時部１０３は、水晶発振器１０２から入力されるクロックに同期して、復号再生部１０９が画像フレーム或いは音声フレームの復号、再生に用いる基準時刻であるＳＴＣをカウントアップするカウンタと、前記カウンタとは別に、現在時刻を刻む時計とを備える。
【００５１】
計時部１０３が計測するカウンタ値及び刻む現在時刻は、予測部１０７から必要時に参照される。
フレーム情報取得部１０４は、ＴＳからフレーム情報を取得し、ストリームバッファ１０５に出力する。
ストリームバッファ１０５へのフレーム情報の入力レートは、３８４ｋｂｐｓ（Ｋｉｌｏ  ｂｉｔｓ  ｐｅｒ  ｓｅｃｏｎｄ）であるとする。
【００５２】
ストリームバッファ１０５は、１０キロバイトのマージン容量を含め、１メガバイトの容量を備え、復号再生部１０９により復号再生されるまで前記フレーム情報を一旦保持する。
前記マージン容量は、水晶発振器１０２がワーストケースである２００ｐｐｍの誤差を持つとした場合に、約１７分間、バッファがオーバーフロー或いはアンダーフローである破綻を起こさないための余裕分のメモリ容量である。
【００５３】
ストリームバッファ１０５には、水晶発振器１０２のクロック周波数に関係なく、３８４ｋｂｐｓのレートでデータが入力されるが、出力は、復号再生部１０９が、水晶発振器１０２のクロックに従って行う。
水晶発振器１０２に、例えばプラス２００ｐｐｍの誤差がある場合には、データが３８４．０７６８ｋｂｐｓのレートでストリームバッファ１０５から出力されるため、１秒間当たり０．０７６８キロビット余分にデータが出力される。
【００５４】
１０キロバイトのマージン容量は、約１７分間分の余分なデータに相当する。
番組情報取得部１０６は、入力されるＴＳから番組情報を取得し、保持する。
予測部１０７は、ストリームバッファ１０５の使用量をバッファ情報として保持し、当該バッファ情報を用いて、或いは前記ＰＣＲとＳＴＣを用いて、ストリームバッファ１０５におけるバッファ異常であるアンダーフロー又はオーバーフローの発生を予測し、バッファ異常が発生すると予測した場合、アンダーフロー予測であるかオーバーフロー予測であるかを示す予測情報をフレーム選択部１０８に出力する。
【００５５】
本実施形態では、予測部１０７は、３種類のバッファ異常予測方法を組み合わせて用いているが、全ての方法を用いる必要はなく、２種類以下の方法を用いてもよい。
以下、３種類のバッファ異常予測方法について説明する。
第１のバッファ異常予測方法は、予測部１０７がストリームバッファ１０５のバッファ使用量を用いてバッファ異常を予測する方法である。
【００５６】
図２は、第１のバッファ異常予測方法の動作を示すフローチャートである。
予測部１０７は、ストリームバッファ１０５におけるバッファ使用量を定期的に監視する（Ｓ１０１）。
予測部１０７は、前記バッファ使用量が所定の下限値である１０キロバイト以下であった場合（Ｓ１０２：ＹＥＳ）、アンダーフローが発生すると予測し、前記バッファ使用量が所定の上限値である０．９９メガバイト以上であった場合（Ｓ１０３：ＹＥＳ）、オーバーフローが発生すると予測する。
【００５７】
予測部１０７は、アンダーフローが発生すると予測した場合には、アンダーフロー予測を示す予測情報をフレーム選択部１０８に出力し（Ｓ１０４）、オーバーフローが発生すると予測した場合には、オーバーフロー予測を示す予測情報をフレーム選択部１０８に出力する（Ｓ１０５）。
第２のバッファ異常予測方法は、ＰＣＲが入力される毎に、ＰＣＲとＳＴＣの差分値から予測を行う方法である。
【００５８】
図３は、第２のバッファ異常予測方法の動作を示すフローチャートである。
時刻情報取得部１０１は、ＴＳに間欠的に含まれるＰＣＲを取得し、予測部１０７に取得したＰＣＲ値を出力する（Ｓ３０１）。
予測部１０７は、計時部１０３が計測しているＳＴＣ値を取得する（Ｓ３０２）。
予測部１０７は、ＰＣＲ値及びＳＴＣ値を比較し（Ｓ３０３）、両値の差分が所定値である１０キロバイトに相当するカウント値に満たない場合（Ｓ３０３：ＮＯ）、処理を終了し、差分が所定値以上である場合（Ｓ３０３：ＹＥＳ）、両値の大小を比較する（Ｓ３０４）。
【００５９】
予測部１０７は、ＳＴＣがＰＣＲよりも大きい場合（Ｓ３０４：ＹＥＳ）、アンダーフローが発生すると予測し、小さい場合（Ｓ３０４：ＮＯ）、オーバーフローが発生すると予測する。
予測部１０７は、アンダーフローの発生を予測した場合、アンダーフロー予測を示す予測情報をフレーム選択部１０８に出力する（Ｓ３０５）。
【００６０】
予測部１０７は、オーバーフローの発生を予測した場合、オーバーフロー予測を示す予測情報をフレーム選択部１０８に出力する（Ｓ３０６）。
なお、第２のバッファ異常予測は、時刻情報取得部１０１がＰＣＲを取得する毎に行うものとする。
第３のバッファ異常予測方法は、ＰＣＲが入力される毎にＰＣＲとＳＴＣの大小を比較し、ＳＴＣが大きい場合及びＳＴＣが小さい場合のそれぞれの回数をカウントし、当該回数を用いてバッファ異常を予測する方法である。
【００６１】
図４は、第３のバッファ異常予測方法の動作を示すフローチャートである。
時刻情報取得部１０１は、ＰＣＲを取得し、予測部１０７に取得したＰＣＲ値を出力する（Ｓ４０１）。
予測部１０７は、計時部１０３からＳＴＣ値を取得する（Ｓ４０２）。
予測部１０７は、ＰＣＲ値及びＳＴＣ値を比較し（Ｓ４０３及びＳ４０４）、ＳＴＣ値が大きい場合（Ｓ４０３：ＹＥＳ）ＳＴＣ進み回数に１を加え（Ｓ４０５）、ＳＴＣ値が小さい場合（Ｓ４０４：ＹＥＳ）、ＳＴＣ遅れ回数に１を加える（Ｓ４０６）。
【００６２】
また、ＰＣＲ値とＳＴＣ値が等しい場合（Ｓ４０４：ＮＯ）、処理を終了する。
予測部１０７は、前記ＳＴＣ進み回数と前記ＳＴＣ遅れ回数の差分が所定値以上であるか否かを判定し（Ｓ４０７）、差分値が所定値に満たない場合（Ｓ４０７：ＮＯ）、処理を終了する。
差分値が所定値以上である場合（Ｓ４０７：ＹＥＳ）、前記ＳＴＣ進み回数と前記ＳＴＣ遅れ回数の大小を比較し（Ｓ４０８）、前記ＳＴＣ進み回数が前記ＳＴＣ遅れ回数よりも大きい場合（Ｓ４０８：ＹＥＳ）、アンダーフローが発生すると予測し、前記ＳＴＣ進み回数が前記ＳＴＣ遅れ回数よりも小さい場合（Ｓ４０８：ＮＯ）、オーバーフローが発生すると予測する。
【００６３】
予測部１０７は、アンダーフローの発生を予測した場合、アンダーフロー予測を示す予測情報をフレーム選択部１０８に出力し（Ｓ４０９）、オーバーフローの発生を予測した場合、オーバーフロー予測を示す予測情報をフレーム選択部１０８に出力する（Ｓ４１０）。
バッファ異常の発生を予測した場合には、前記ＳＴＣ進み回数及び前記ＳＴＣ遅れ回数のそれぞれに値「０」を設定する（Ｓ４１１）。
【００６４】
予測部１０７は、第１乃至第３のバッファ異常予測方法による予測のうち、１つでもバッファ異常が発生すると予測した場合に、前記予測情報をフレーム選択部１０８に出力する。
フレーム選択部１０８は、ストリームバッファ１０５中に既に保持しているか、或いは所定期間内に蓄積されるフレーム情報から、前記予測部１０７から入力される予測情報がアンダーフロー予測であるかオーバーフロー予測であるかに応じて、対象フレーム情報を選択し、当該対象フレーム情報及び前記予測情報を、復号再生部１０９に対し出力する。
【００６５】
フレーム選択部１０８は、対象フレーム情報として、音量が非常に小さくなり、かつ映像がブラックアウトすることが多い、番組とＣＭの切り替わり時に再生されるフレームなど不正規に再生しても画質、又は音質の劣化にならないフレーム、或いは、映像に動きが無い、又は動きが少なく、映像がフリーズしていても画質劣化にならないフレーム、或いは、音量が非常に小さく不正規に再生しても、音質劣化にならないフレームに係るフレーム情報を選択する。
【００６６】
本実施形態では、対象フレーム情報の選択に関し、４つのフレーム選択方法を用いている。
以下、４つのフレーム選択方法について順に説明する。
第１のフレーム選択方法は、ＣＭと番組との切り替わり時に再生するフレームを選択するものである。
【００６７】
フレーム選択部１０８は、計時部１０３が備える時計が刻む日時と、番組情報取得部１０６が取得した前記番組情報に基づき、現在時刻から前記マージン容量に対応する１７分以内に、番組が放送開始或いは終了するか否かを判定する。
フレーム選択部１０８は、１７分以内に番組の放送開始或いは終了があると判定した場合には、前記放送開始或いは終了時刻の前後に再生すべきフレーム情報がストリームバッファ１０５に蓄積されている、前記放送開始或いは終了時刻の１秒前までは待つ。
【００６８】
前記待ち時間は、ストリームバッファ１０５の容量等に応じて変更すべき値であり、１秒に限定するものではない。
フレーム選択部１０８は、バッファ中のフレーム情報に係るＰＴＳを用いて番組開始時刻に再生すべきフレーム情報の直前に再生すべきフレーム情報を、対象フレーム情報として選択する。
【００６９】
フレーム選択部１０８は、前記対象フレーム情報及び前記予測情報を、復号再生部１０９に出力する。
ここで、前記番組情報が、番組の開始或いは終了時刻の他に、ＣＭの開始時刻或いは終了時刻を含む場合であれば、フレーム選択部１０８は、ＣＭの開始時刻或いは終了時刻に再生すべきフレーム情報を対象フレーム情報として選択してもよい。
【００７０】
第２のフレーム選択方法は、音量が極めて小さい音声を表す音声フレームを選択する方法である。
前記フレーム選択部１０８は、ストリームバッファ１０５中のフレーム情報から、音量が所定値以下である音声を表す前記音声フレーム情報を対象フレーム情報として選択し、当該選択した対象フレーム情報及び予測情報を復号再生部１０９に出力する。
【００７１】
また、音量が所定値以下である音声を表す前記音声フレームを対象フレーム情報として選択した場合には、音声フレーム情報と画像フレーム情報の同期再生を維持するために、当該音声フレーム情報の再生に併せて再生される画像フレーム情報も対象フレーム情報として選択してもよい。
第３のフレーム選択方法は、再生する画像が緩やかな動きであるフレームを選択するものである。
【００７２】
フレーム選択部１０８は、連続して再生されるべき画像フレームであって、画像フレーム間の変化量が所定値よりも小さい画像フレームを対象フレームとして選択し、当該選択した対象フレームを表す対象フレーム情報及び予測情報を復号再生部１０９に出力する。
第４のフレーム選択方法は、前記予測情報に応じて、Ｂピクチャ、或いはＩピクチャ、Ｐピクチャのいずれかを選択する方法である。
【００７３】
ストリームバッファ１０５で保持する一連の画像フレームは、ＭＰＥＧ標準で符号化されているものであり、それぞれの画像フレームが、Ｂピクチャ、Ｉピクチャ或いはＰピクチャのいずれかである。
フレーム選択部１０８は、前記予測部１０７から予測情報が入力された時、当該予測情報がオーバーフロー予測である場合、Ｂピクチャを対象フレームとして選択し、前記予測情報がアンダーフロー予測である場合、Ｉピクチャ又はＰピクチャを、対象フレームとして選択する。
【００７４】
前記選択した対象フレームを表す対象フレーム情報及び前記予測部１０７から入力された前記予測情報を、復号再生部１０９に出力する。
ここで、Ｂピクチャ、Ｉピクチャ、Ｐピクチャについて説明を補足すると、ＭＰＥＧの双方向予測符号化において、Ｂピクチャは画像の予測に使用されないため、粗く処理されており、Ｉピクチャ及びＰピクチャは、画質を高く保つよう処理されているため、再生を割愛する画像フレームとしてＢピクチャを対象フレームとして選択し、所定の時間と異なる時間再生する画像フレームとして、Ｉピクチャ及びＰピクチャを対象フレームとして選択している。
【００７５】
図５は、４つのフレーム選択方法を組み合わせた、フレーム選択処理の動作を示すフローチャートである。
フレーム選択部１０８は、予測部１０７から予測情報を受信する（Ｓ６０１）。
フレーム選択部１０８は、計時部１０３から現在時刻を取得し、番組情報取得部１０６から番組情報を取得する（Ｓ６０２）。
【００７６】
フレーム選択部１０８は、前記マージン容量に対応する所定時間である１７分以内に、番組が放送開始或いは終了するか否かを判定する（Ｓ６０３）。
１７分以内に番組開始或いは終了があると判定した場合（Ｓ６０３：ＹＥＳ）、番組開始或いは終了時刻前後のフレーム情報がストリームバッファ１０５に蓄積されるまで待つ（Ｓ６０４）。
【００７７】
Ｓ６０４では、前記開始或いは終了時刻の１秒前まで待つこととしている。
フレーム選択部１０８は、バッファ中のフレーム情報から、番組開始直前或いは番組終了直後のフレーム情報を、対象フレーム情報として選択する（Ｓ６０５）。
フレーム選択部１０８は、選択した対象フレームを、復号再生部１０９に通知する（Ｓ６０６）。
【００７８】
１７分以内に番組の開始或いは終了がないと判定した場合（Ｓ６０３：ＮＯ）、バッファ内に所定音量より小さい音声フレームがあるか否かを判定する（Ｓ６０７）。
前記所定音量より小さい音声フレームがあった場合（Ｓ６０７：ＹＥＳ）、当該音声フレームを対象フレームとして選択し（Ｓ６０８）、Ｓ６０６を実行する。
前記所定音量より小さい音声フレームが無かった場合（Ｓ６０７：ＮＯ）、画像間の動きが所定量以下の画像フレームが有るか否か判定する（Ｓ６０９）。
【００７９】
前記画像間の動きが所定量以下の画像フレームがあった場合（Ｓ６０９：ＹＥＳ）、当該所定量以下の画像フレームを、対象フレームとして選択し（Ｓ６１０）、Ｓ６０６を実行する。
前記画像間の動きが所定量以下の画像フレームが無かった場合（Ｓ６０９：ＮＯ）、前記予測情報を取得後、前記所定時間である前記マージン容量に対応する１７分が、予測情報受信時から経過したか否かを判定する（Ｓ６１１）。
【００８０】
前記所定時間が経過していない場合（Ｓ６１１：ＮＯ）、Ｓ６０７に戻り処理を続行する。
前記所定時間が経過した場合（Ｓ６１１：ＹＥＳ）、前記予測情報がオーバーフローを示すか否かを判定する（Ｓ６１２）。
前記予測情報がオーバーフローを示す場合（Ｓ６１２：ＹＥＳ）、バッファ中のＢピクチャで、再生時間の一番遅いものを対象フレームとして選択し（Ｓ６１３）、Ｓ６０６を実行する。
【００８１】
前記予測情報がオーバーフローを示さない、すなわちアンダーフローを示す場合（Ｓ６１２：ＮＯ）、バッファ中の任意のＰピクチャ又はＩピクチャを対象フレームとして選択し（Ｓ６１４）、Ｓ６０６を実行する。
本実施形態では、４つのフレーム選択方法の全てを用いてフレーム選択処理を行っているが、４つのうち１つのフレーム選択方法を用いてもよいし、３つ以下のフレーム選択方法を組み合わせて用いてもよい。
【００８２】
復号再生部１０９は、ストリームバッファ１０５が一時的に保持しているフレーム情報に含まれるＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）の値から、各フレーム情報の復号の順番を決定し、当該決定した順番に従い適宜前記フレーム情報の復号を行う。
また、フレーム情報に含まれるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）の値から、各フレーム情報の再生の順番を決定し、当該再生の順番に従い、所定の再生レートで再生する。
【００８３】
前記再生レートは、連続するフレームのＰＴＳ値を用いて算出する。
復号再生部１０９は、前記対象フレームについては、再生を禁止するか又は前記所定の再生レートと異なる再生レートで再生し、対象フレーム以外のフレームについては、所定の再生レートで順次再生する。
本発明のストリーム情報再生装置は、符号器側が意図する第１の再生レートでのフレームの再生に加え、第１の再生レートよりも早い第２の再生レートでも、フレームの再生が可能である。
【００８４】
ここで、符号器が意図する再生レートは１５ｆｐｓであるとする。
第１の再生レートは、前述した通り、フレームのＰＴＳ値から算出する。
第２の再生レートでフレームを再生する場合、第１の再生レートでフレームを再生するよりも、視聴者は画面のちらつきを感じにくい。
例えば、第２の再生レートが、３０ｆｐｓである場合、第１の再生レートである１５ｆｐｓで再生するよりも、フレーム１枚当たりの表示時間が短く、視聴者は、画面のちらつきを感じにくいため、視聴者は、画像フレームが１５ｆｐｓよりも３０ｆｐｓで再生されることを望む。
【００８５】
復号再生部１０９におけるフレーム再生の方法は、予測情報が無い場合、予測情報がアンダーフロー予測である場合、或いはオーバーフロー予測である場合で異なる。
まず、復号再生部１０９に、フレーム選択部１０８から前記予測情報が入力されない場合の動作を図６を用いて説明する。
復号再生部１０９は、前述したように、前記第１の再生レートに従ってフレームを再生する。
【００８６】
図６は、バッファ異常予測が無い場合のフレーム再生タイミングの概略を示す。
図６（ａ）は、ストリーム情報再生装置１０が、再生レート１５ｆｐｓでフレームを再生する場合である。
図中のＦ１〜Ｆ９は再生するフレームであり、図６（ａ）では、第１の再生レートである１５ｆｐｓでフレームを再生している。
【００８７】
図６（ｂ）は、ストリーム情報再生装置が、第２の再生レート３０ｆｐｓでフレームを再生する場合である。
この場合、フレームＦ１〜Ｆ９を、それぞれ２度ずつ再生する。
前述したように、視聴者は、第１の再生レートでの再生よりも、第２の再生レートでの再生の方が画面のちらつきを感じにくい。
【００８８】
次に、復号再生部１０９が、フレーム選択部１０８から予測情報としてアンダーフロー予測を入力された場合を、図７を用いて説明する。
図７は、アンダーフロー予測があった場合のフレーム再生タイミングの概略を示す。
前記予測情報がアンダーフロー予測である場合、復号再生部１０９でのフレームの再生が、符号器側の意図よりも早いタイミングになっており、フレームを再生するためにストリームバッファ１０５に保持されているべきフレーム情報が不足している状態である。
【００８９】
このため、復号再生部１０９は、対象フレームの再生を所定の時間よりも長くし、ストリームバッファ１０５におけるフレーム情報の不足を解消する。
図７（ａ）は、ストリーム情報再生装置が、符号器側が意図する再生レート１５ｆｐｓと同じ再生レートで、フレームを再生する場合である。
また予測情報は、アンダーフロー予測であり、対象フレーム情報がＦ２である場合であり、Ｔ１において、Ｆ２を再生する。
【００９０】
この場合、復号再生部１０９は、Ｆ２に関しては、他のフレームの２倍の時間再生するため、見かけ上は、７．５ｆｐｓの再生レートとなる。
図７（ｂ）は、第１の再生レートは１５ｆｐｓであり、復号器は第２の再生レートである６０ｆｐｓで再生する場合である。
また予測情報は、アンダーフロー予測であり、対象フレーム情報がＦ２とする。
【００９１】
この場合、復号再生部１０９は、図７（ａ）の場合と同様に、Ｆ３の再生の前に、Ｆ２の再生を延長するが、Ｆ１を４回、Ｆ２を８回、Ｆ３を４回ずつ再生する方法では、Ｆ２の再生回数のみが他のフレームよりも多くなり、視聴者が不自然に感じやすくなる。
よってＦ１、Ｆ２、Ｆ３、Ｆ４の再生フレーム数の調整、均等化を行う。
図７（ｂ）において、復号再生部１０９は、Ｆ１を５回、Ｆ２を６回、Ｆ３を５回ずつ再生するように調整している。
【００９２】
各々のフレームが再生される時間の長短の差を少なくすることにより、視聴者が感じる不自然さを、低減できる。
次に、復号再生部１０９が、フレーム選択部１０８から予測情報としてオーバーフロー予測を入力された場合を、図８を用いて説明する。
図８は、オーバーフロー予測があった場合のフレーム再生タイミングの概略を示す。
【００９３】
前記予測情報がオーバーフロー予測である場合、復号再生部１０９でのフレームの再生が、符号器側の意図よりも遅いタイミングになっており、フレームを再生するためにストリームバッファ１０５に保持されているフレーム情報が過剰であり、復号再生部１０９は、再生すべき全てのフレームを再生できない。
このため、復号再生部１０９は、対象フレームの再生を禁止する、或いは所定の時間よりも短く再生することにより、ストリームバッファ１０５におけるフレーム情報の過多を解消する。
【００９４】
図８（ａ）は、第１の再生レート及び第２の再生レートが１５ｆｐｓで、対象フレーム情報がフレームＦ６を示す場合である。
図８中のＴ２においてはＦ６の再生を禁止し、Ｆ７の再生を行う。
図８（ｂ）は、第１の再生レートが１５ｆｐｓであり、第２の再生レートが３０ｆｐｓであり、対象フレーム情報がＦ６である場合である。
【００９５】
復号再生部１０９は、フレーム再生タイミングＴ３において、Ｆ５の再生を行わず、Ｆ６を再生開始時刻を早めて再生し、フレーム再生タイミングＴ４においてＦ７を再生する。
復号再生部１０９は、Ｆ６の再生を禁止せず、Ｆ６を再生することにより、Ｆ６を再生しない場合に発生する視聴者が感じる不自然さを低減する。
【００９６】
また、Ｔ３においてＦ６を再生せず、Ｆ５を再生し、Ｆ６を再生しないこととしてもよい。
＜３．動作＞
図９に、ストリーム情報再生装置１０の動作の概略フローを示す。
ストリーム情報再生装置１０は、適宜入力されるストリーム情報に対し、以下に示すストリーム情報処理を行う（Ｓ７０１）。
【００９７】
水晶発振器１０２が出力するクロックを元に、計時部１０３がＳＴＣをカウントする。
入力されたストリーム情報に含まれるＰＣＲ、フレーム情報、番組情報については、それぞれ時刻情報取得部１０１がＰＣＲを取得して予測部１０７に出力し、フレーム情報取得部１０４がフレーム情報を取得してストリームバッファ１０５に保持し、番組情報取得部１０６が番組情報を取得して保持する。
【００９８】
予測部１０７は、バッファ異常の発生を予測する（Ｓ７０２）。
復号再生部１０９は、ストリームバッファ１０５に保持されている前記フレーム情報を復号する（Ｓ７０３）。
フレーム選択部１０８は、前記予測部１０７でバッファ異常の発生があるか否かを判定し（Ｓ７０４）、バッファ異常の発生が有ると予測した場合（Ｓ７０４：ＹＥＳ）に、ストリームバッファ中に蓄積されているか、又はストリームバッファに蓄積されるまで待って蓄積されたフレーム情報から、対象フレームを選択する（Ｓ７０５）。
バッファ異常の発生があると予測しなかった場合（Ｓ７０４：ＮＯ）には、Ｓ７０６へ進む。
【００９９】
復号再生部１０９は、前記対象フレームについては再生を禁止するか又は前記所定の時間と異なる時間再生し、対象フレーム以外のフレームについては、所定の時間ずつ順次再生する（Ｓ７０６）。
＜４．まとめ＞
以上説明したように、ストリーム情報再生装置１０は、ＰＬＬを用いない構成において、バッファがオーバーフロー又はアンダーフローすることを事前に予測し、再生を禁止するか、又は所定の時間と異なる時間再生しても視聴者が気付きにくいフレームについて、再生を禁止するか又は前記所定の時間と異なる時間再生することにより、画質及び音質の劣化を低減しつつ、映像、音声を再生する。
＜５．変形例＞
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）計時部１０３は、時刻情報取得部１０１がＰＣＲを取得する毎に、ＰＣＲの値をカウンタに設定してもよい。
（２）ストリームバッファ１０５から予測部１０７に出力するバッファ情報は、バッファ使用量でなく、バッファ残量でもよい。
【０１００】
この場合、予測部１０７は、バッファ残量が所定の下限値以下であった場合にオーバーフローを予測し、所定の上限値以上であった場合にアンダーフローを予測する。
（３）本実施形態では、フレーム選択部１０８は、番組開始直前或いは番組終了直後のフレーム情報を対象フレーム情報として選択しているが、番組開始時刻又は番組終了時刻に再生すべきフレーム情報を選択してもよいし、前記番組開始時刻又は番組終了時刻に再生すべきフレーム情報の前後数フレーム分のフレーム情報のうちのいずれかを選択してもよい。
（４）本実施形態では、再生レートに関し、符号器が意図する再生レートに１５ｆｐｓ、第１の再生レートに１５ｆｐｓ、第２の再生レートに３０ｆｐｓと６０ｆｐｓを用いて説明したが、再生レートそれぞれを１５ｆｐｓ、３０ｆｐｓ、６０ｆｐｓに限定せず、任意の値を用いてもよい。
（５）復号再生部１０９が、符号器の意図する再生レートの２倍或いは４倍の再生レートでフレームを再生する例を示しているが、復号再生部１０９におけるフレームの再生レートは、符号器の意図する再生レートの２倍或いは４倍以外の再生レートでもよい。
（６）入力されるストリームは、トランスポートストリームに限らず、プログラムストリームでもよい。
（７）ＭＰＥＧ２システムに限らず、ＭＰＥＧ４システムにおいて用いてもよい。
（８）前記第１のフレーム選択方法において、ＥＩＴが運用されている場合、ＥＩＴに含まれるＲｕｎｎｉｎｇ  Ｓｔａｔｕｓを番組の切り替わり時を検出するのに用いてもよい。
【０１０１】
またＲＳＴが運用されている場合は、ＲＳＴを番組の切り替わり時の検出に用いてもよい。
（９）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１０２】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
【０１０３】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
【０１０４】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（１０）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【図面の簡単な説明】
【０１０５】
【図１】ストリーム情報再生装置１０の全体構成を示すブロック図である。
【図２】第１のバッファ異常予測方法の動作を示すフローチャートである。
【図３】第２のバッファ異常予測方法の動作を示すフローチャートである。
【図４】第３のバッファ異常予測方法の動作を示すフローチャートである。
【図５】４つのフレーム選択方法を組み合わせた、フレーム選択処理の動作を示すフローチャートである。
【図６】バッファ異常予測が無い場合のフレーム再生タイミングの概略を示す。
【図７】アンダーフロー予測があった場合のフレーム再生タイミングの概略を示す。
【図８】オーバーフロー予測があった場合のフレーム再生タイミングの概略を示す。
【図９】ストリーム情報再生装置１０の動作の概略フローを示す。
【符号の説明】
【０１０６】
１０  ストリーム情報再生装置
１０１  時刻情報取得部
１０２  水晶発振器
１０３  計時部
１０４  フレーム情報取得部
１０５  ストリームバッファ
１０６  番組情報取得部
１０７  予測部
１０８  フレーム選択部
１０９  復号再生部
【図１】
2004180282.tif 000003
【図２】
2004180282.tif 000004
【図３】
2004180282.tif 000005
【図４】
2004180282.tif 000006
【図５】
2004180282.tif 000007
【図６】
2004180282.tif 000008
【図７】
2004180282.tif 000009
【図８】
2004180282.tif 000010
【図９】
2004180282.tif 000011