(57)【要約】【課題】コストを削減する。【解決手段】バッファサイズ設定部６１は、例えば、画像ストリームを一時記憶し、画像デコーダ５４Ｖに供給する画像バッファ５３Ｖのバッファサイズと、音声ストリームを一時記憶し、音声デコーダ５４Ａに供給する音声バッファ５３Ａのバッファサイズとのうちの、画像バッファ５３Ｖのバッファサイズを、シーケンスヘッダの情報等に基づいて設定する。バッファ制御部６２は、画像バッファ５３Ｖのバッファサイズを、バッファサイズ設定部６１が設定したバッファサイズに制御する。本発明は、例えば、ディジタル放送で放送されてくるストリームや、DVD等の記録媒体から再生されたストリームを処理するTV等に適用できる。【選択図】図１０
2008278190.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも、第１及び第２のデータを含むビットストリームを処理するデータ処理装置において、
前記第１のデータを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズと、前記第２のデータを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズとのうちの、前記第１のバッファサイズを、前記ビットストリームに含まれる情報に基づいて設定するバッファサイズ設定手段と、
前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するバッファ制御手段と
を備えるデータ処理装置。
【請求項２】
前記バッファサイズ設定手段は、さらに、前記第２のバッファサイズを、前記ビットストリームに含まれる情報に基づいて設定し、
前記バッファ制御手段は、さらに、前記第２のバッファのバッファサイズを、前記第２のバッファサイズに制御する
請求項１に記載のデータ処理装置。
【請求項３】
前記バッファ制御手段は、前記第１のバッファのオーバーフローを防止するための閾値を、前記第１のバッファサイズに対応する値に設定することにより、前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するとともに、前記第２のバッファのオーバーフローを防止するための閾値を、前記第２のバッファサイズに対応する値に設定することにより、前記第２のバッファのバッファサイズを、前記第２のバッファサイズに制御する
請求項２に記載のデータ処理装置。
【請求項４】
前記ビットストリームは、MPEG(Moving Picture Experts Group)の規格に準拠したMPEGストリームであり、
前記第１のデータは、画像データであり、
前記第２のデータは、音声データであり、
前記バッファサイズ設定手段は、シーケンスヘッダの情報に基づいて、前記第１のバッファサイズを設定するとともに、コーデックの情報に基づいて、前記第２のバッファサイズを設定する
請求項２に記載のデータ処理装置。
【請求項５】
前記MPEGストリームは、前記第１のデータとして、第１の種類の画像データ、及び第２の種類の画像データを含み、
ユーザの操作に応じて、第１の種類の画像データ、又は第２の種類の画像データのうちの一方の画像データから他方の画像データに、出力が切り換えられるときに、前記第１のバッファはクリアされる
請求項４に記載のデータ処理装置。
【請求項６】
前記MPEGストリームは、前記第２のデータとして、第１の種類の音声データ、及び第２の種類の音声データを含み、
ユーザの操作に応じて、第１の種類の音声データ、又は第２の種類の音声データのうちの一方の音声データから他方の音声データに、出力が切り換えられるときに、前記第２のバッファはクリアされる
請求項４に記載のデータ処理装置。
【請求項７】
少なくとも、第１及び第２のデータを含むビットストリームを処理するデータ処理方法において、
前記第１のデータを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズと、前記第２のデータを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズとのうちの、前記第１のバッファサイズを、前記ビットストリームに含まれる情報に基づいて設定し、
前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御する
ステップを含むデータ処理方法。
【請求項８】
少なくとも、第１及び第２のデータを含むビットストリームを処理するデータ処理装置として、コンピュータを機能させるプログラムにおいて、
前記第１のデータを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズと、前記第２のデータを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズとのうちの、前記第１のバッファサイズを、前記ビットストリームに含まれる情報に基づいて設定するバッファサイズ設定手段と、
前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するバッファ制御手段と
して、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置、データ処理方法、及びプログラムに関し、特に、例えば、TV(テレビジョン受像機)等の装置のコストを削減することができるようにするデータ処理装置、データ処理方法、及びプログラムに関する。
【背景技術】
【０００２】
図１は、従来のTVの一例の構成を示すブロック図である。
【０００３】
外部入力部１１には、例えば、地上ディジタル放送で送信されてくる、MPEG(Moving Picture Exterts Group)の規格に準拠したMPEGストリームとしての、例えば、TS(Transport Stream)が入力される。外部入力部１１は、MPEGストリームを、多重分離部１２に供給する。
【０００４】
多重分離部１２は、外部入力部１１からのMPEGストリームから、例えば、画像(video)データのES(Elementary Stream)（以下、適宜、画像ストリームともいう）と、音声(audio)データのES（以下、適宜、音声ストリームともいう）とを分離し、メモリ部１３に供給する。
【０００５】
メモリ部１３は、多重分離部１２から供給される画像ストリームと音声ストリームとを一時記憶し（バッファリングし）、デコーダ部１４に供給する。
【０００６】
すなわち、メモリ部１３は、後段のデコーダ部１４に供給される画像ストリーム及び音声ストリームのデータ量を調整するために、多重分離部１２から供給される画像ストリームと音声ストリームとを一時記憶し、デコーダ部１４に供給する。
【０００７】
デコーダ部１４は、メモリ部１３からの画像ストリームを、例えば、MPEGの規格に準拠した方式でデコードし、その結果得られるベースバンドの画像データを、外部出力部１５に供給する。また、デコーダ部１４は、メモリ部１３からの音声ストリームをデコードし、その結果得られるベースバンドの音声データを、外部出力部１５に供給する。
【０００８】
外部出力部１５は、デコーダ部１４からの画像データを、図示せぬディスプレイに供給して、対応する画像を表示させるとともに、デコーダ部１４からの音声データを、図示せぬスピーカに供給して、対応する音声（音）を出力させる。
【０００９】
次に、図２は、図１のメモリ部１３及びデコーダ部１４の構成例を示すブロック図である。
【００１０】
メモリ部１３は、画像バッファ１３Ｖ、及び音声バッファ１３Ａから構成される。
【００１１】
画像バッファ１３Ｖには、多重分離部１２から画像ストリームが供給される。画像バッファ１３Ｖは、多重分離部１２からの画像ストリームを一時記憶し、デコーダ部１４に供給する。なお、画像バッファ１３Ｖは、いわゆるVBV(Video Buffering Verifier)バッファに相当する。
【００１２】
音声バッファ１３Ａには、多重分離部１２から音声ストリームが供給される。音声バッファ１３Ａは、多重分離部１２からの音声ストリームを一時記憶し、デコーダ部１４に供給する。
【００１３】
デコーダ部１４は、画像デコーダ１４Ｖ、及び音声デコーダ１４Ａから構成される。
【００１４】
画像デコーダ１４Ｖには、画像バッファ１３Ｖから画像ストリームが供給される。画像デコーダ１４Ｖは、画像バッファ１３Ｖからの画像ストリームをデコードし、その結果得られる画像データを出力する。
【００１５】
音声デコーダ１４Ａには、音声バッファ１３Ａから音声ストリームが供給される。音声デコーダ１４Ａは、音声バッファ１３Ａからの音声ストリームをデコードし、その結果得られる音声データを出力する。
【００１６】
ところで、TVでは、地上ディジタル放送等で放送されてくるコンテンツの他に、コンテンツが記録された記録媒体からコンテンツを再生する再生装置、その他の外部機器（外部の機器）から入力されるコンテンツの画像が表示されることがある。
【００１７】
ここで、外部機器から入力されるコンテンツとしては、例えば、DVD(Digital Versatile Disc)に記録されたコンテンツ（DVDコンテンツ）や、ディジタルカメラ（スチルカメラ、ビデオカメラ）で得られたMPEG1等に準拠したコンテンツ等の、いわゆるSD(Standard Definition)画質の画像（以下、適宜、SD画像という）のコンテンツがある。
【００１８】
一方、近年においては、HD(High Definition)画質の画像（以下、適宜、HD画像という）の撮影が可能なディジタルカメラや、ディジタル放送番組としてのHD画像のコンテンツの録画が可能な録画装置、ブルーレイディスク等のHD画像のコンテンツの記録が可能な可能なメディア等が普及しつつある。
【００１９】
さらに、PC(Personal Computer)の高機能化により、HD画像のコンテンツを扱うことができる編集ツールが登場し、編集によって、SD画像とHD画像とが入り混じったコンテンツが作成されることが予想される。
【００２０】
したがって、今後は、TVにおいて、SD画像のコンテンツ（以下、適宜、SDコンテンツという）の他、HD画像のコンテンツ（以下、適宜、HDコンテンツという）や、SD画像とHD画像とが入り混じったコンテンツを扱う必要が生じることが予想される。
【００２１】
そこで、特許文献１には、SD画像のMPEGストリームと、HD画像のMPEGストリームとの両方のデコード（復号）を行うことが可能な装置が開示されている。
【００２２】
【特許文献１】特開2000-165816号公報
【発明の開示】
【発明が解決しようとする課題】
【００２３】
TVにおいて、SDコンテンツ、HDコンテンツ、及びSDコンテンツとHDコンテンツとが入り混じったコンテンツのすべて、つまり、SDコンテンツとHDコンテンツとの両方を扱う方法としては、TVに、SDコンテンツを処理するブロックと、HDコンテンツを処理するブロックとの両方を設ける方法が考えられる。
【００２４】
図３は、そのようなTVの構成例を示している。
【００２５】
図３において、外部入力部２１には、SDコンテンツ、又はHDコンテンツのMPEGストリームが入力される。外部入力部２１は、MPEGストリームが、SDコンテンツのMPEGストリームである場合、そのMPEGストリームを、SD処理部２２に供給し、MPEGストリームがHDコンテンツのMPEGストリームである場合、そのMPEGストリームを、HD処理部２３に供給する。
【００２６】
SD処理部２２は、多重分離部３２、メモリ部３３、デコーダ部３４、及び外部出力部３５で構成され、外部入力部２１からのSDコンテンツのMPEGストリームを処理する。
【００２７】
すなわち、SD処理部２２を構成する多重分離部３２、メモリ部３３、デコーダ部３４、及び外部出力部３５は、外部入力部２１からのSDコンテンツのMPEGストリームに対して、図１の多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５と同様の処理を施して、その結果得られるSD画像と、そのSD画像に付随する音声（以下、適宜、SD音声という）とを出力する。
【００２８】
ここで、多重分離部３２、メモリ部３３、デコーダ部３４、及び外部出力部３５は、図１の多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５とそれぞれ同様に構成されるため、その説明は省略する。
【００２９】
一方、HD処理部２３は、多重分離部４２、メモリ部４３、デコーダ部４４、及び外部出力部４５で構成され、外部入力部２１からのHDコンテンツのMPEGストリームを処理する。
【００３０】
すなわち、HD処理部２３を構成する多重分離部４２、メモリ部４３、デコーダ部４４、及び外部出力部４５は、外部入力部２１からのHDコンテンツのMPEGストリームに対して、図１の多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５と同様の処理を施して、その結果得られるHD画像と、そのHD画像に付随する音声（以下、適宜、HD音声という）とを出力する。
【００３１】
ここで、多重分離部４２、メモリ部４３、デコーダ部４４、及び外部出力部４５は、図１の多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５とそれぞれ同様に構成されるため、その説明は省略する。
【００３２】
以上のように、TVに、SDコンテンツのMPEGストリームを処理するブロックとしてのSD処理部２２と、HDコンテンツを処理するブロックとしてのHD処理部２３とを設ける場合には、TVのコストが大になる。さらに、回路基板の面積が増加し、TVが大型化する。また、SDコンテンツとHDコンテンツとが入り混じったコンテンツのMPEGストリームを適切に処理することができないことがあり得ることが予想される。
【００３３】
TVのコストが大になること等を防止するには、図１に示したように、MPEGストリームを処理するブロック（以下、適宜、MPEG処理ブロックという）としての多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５を、１セットだけ、TVに設けることが望ましい。
【００３４】
但し、TVに、１セットのMPEG処理ブロックとしての多重分離部１２、メモリ部１３、デコーダ部１４、及び外部出力部１５を設けて、SDコンテンツとHDコンテンツの両方のMPEGストリームを処理する場合には、SDコンテンツと、HDコンテンツとでは、メモリ部１３に必要とされる記憶容量が異なるため、メモリ部１３の記憶容量、すなわち、図２の画像バッファ１３Ｖ及び音声バッファ１３Ａのバッファサイズを大にする必要がある。
【００３５】
ここで、図４を参照し、画像（SD画像及びHD画像）を例にして、SDコンテンツとHDコンテンツのそれぞれに必要な画像バッファ１３Ｖのバッファサイズについて説明する。
【００３６】
すなわち、図４左から１番目は、１ピクチャのSD画像のデータ量DSと、１ピクチャのHD画像のデータ量DHとを示している。
【００３７】
HD画像のデータ量DHは、SD画像のデータ量DSよりも多い（SD画像のデータ量DSは、HD画像のデータ量DHよりも少ない）ので、HD画像を処理する場合には、SD画像を処理する場合よりも大きなバッファサイズの画像バッファ１３Ｖが必要となる。
【００３８】
図４左から２番目は、SDコンテンツに含まれるSD画像に適切なバッファサイズの画像バッファ１３Ｖを示している。
【００３９】
すなわち、図４左から２番目では、SD画像に適切な画像バッファ１３Ｖのバッファサイズが、必要十分なデータ量のSD画像を記憶することができるサイズVsになっている。
【００４０】
バッファサイズVSの画像バッファ１３Ｖによれば、１ピクチャがデータ量DSのSD画像を、必要十分なデータ量（多すぎることもないし、少なすぎることもないデータ量）だけ記憶することができる。
【００４１】
しかしながら、図４左から２番目では、バッファサイズVSが、１ピクチャのHD画像のデータ量DHより小さくなっており、したがって、バッファサイズVSの画像バッファ１３Ｖでは、必要十分なデータ量のHD画像を記憶することができない。
【００４２】
図４左から３番目（右から１番目）は、HDコンテンツに含まれるHD画像に適切なバッファサイズの画像バッファ１３Ｖを示している。
【００４３】
すなわち、図４左から３番目では、HD画像に適切な画像バッファ１３Ｖのバッファサイズが、必要十分なデータ量のSD画像を記憶することができるサイズVsよりも大きい、必要十分なデータ量のHD画像を記憶することができるサイズVHになっている。
【００４４】
バッファサイズVHの画像バッファ１３Ｖによれば、１ピクチャがデータ量DHのHD画像を、必要十分なデータ量だけ記憶することができる。
【００４５】
また、バッファサイズVHの画像バッファ１３Ｖによれば、１ピクチャがデータ量がHD画像よりも小のSD画像を、必要十分なデータ量を越えるデータ量だけ記憶することができる。
【００４６】
以上のように、画像バッファ１３Ｖのバッファサイズを、SD画像に適切なバッファサイズVSとすると、必要十分なデータ量のHD画像を記憶することができなくなり、最悪の場合には、デコーダ部１４の処理が破綻するおそれがあるため、画像バッファ１３Ｖのバッファサイズは、必要十分なデータ量のHD画像を記憶することができる、HD画像に適切なバッファサイズVHとする必要がある。
【００４７】
そして、画像バッファ１３Ｖのバッファサイズを、HD画像に適切なバッファサイズVHとすることで、デコーダ部１４では、SD画像及びHD画像の両方を処理することができる。
【００４８】
しかしながら、画像バッファ１３Ｖのバッファサイズを、HD画像に適切なバッファサイズVHとする場合には、画像バッファ１３Ｖにおいて、HD画像よりも小のデータ量DSのSD画像を、必要以上に記憶することができるため、画像バッファ１３Ｖ、又は音声バッファ１３Ａのうちの一方としての、例えば、音声バッファ１３Ａの記憶内容がクリアされるバッファフラッシュ(flush)が行われた場合に、音声が出力されない無音の時間が長時間続き、ユーザに不快感を与えることがあり得る。
【００４９】
ここで、図５ないし図７を参照して、音声バッファ１３Ａのバッファフラッシュが行われた場合に、無音の時間が長時間続くことについて説明する。
【００５０】
図５は、MPEGストリームの例を模式的に示している。
【００５１】
図５において、MPEGストリームには、１つの画像ストリームと、２種類の音声ストリームとしての第１音声ストリーム及び第２音声ストリームとが含まれている。
【００５２】
ここで、第１音声ストリームは、例えば、日本語の音声データであり、第２音声ストリームは、例えば、英語の音声データである。
【００５３】
以上のように、MPEGストリームに、第１音声ストリーム及び第２音声ストリームの２種類の音声ストリームが含まれる場合において、第１音声ストリーム、又は第２音声ストリームのうちの一方の音声ストリームとしての、例えば、第１音声ストリームが出力されているときに、ユーザが、音声の出力を、いま出力されている第１音声ストリームから、他方の音声ストリームとしての第２音声ストリームに切り換えるように操作を行うと、無音の時間が長時間続くことがある。
【００５４】
すなわち、図６は、SDコンテンツに適切なバッファサイズの画像バッファ１３Ｖ、及び音声バッファ１３Ａの記憶内容を示している。
【００５５】
図６左は、SD画像に適切なバッファサイズの画像バッファ１３Ｖの記憶内容を示している。
【００５６】
図６左において、SDコンテンツに適切なバッファサイズは、サイズVSとなっており、バッファサイズVSの画像バッファ１３Ｖは、例えば、２ピクチャ分（ないし３ピクチャ分）のSD画像を記憶することができるようになっている。
【００５７】
いま、図６左の上から１番目に示すように、バッファサイズVSの画像バッファ１３Ｖに、n番目のSD画像#nと、n+1番目のSD画像#n+1が記憶されている場合、画像バッファ１３Ｖに記憶されている最も古いn番目のSD画像#nのデコードのタイミングとなると、n番目のSD画像#nは、画像バッファ１３Ｖから読み出され、後段のデコーダ部１４に供給される。
【００５８】
また、図６左の上から２番目に示すように、前段の多重分離部１２から、画像バッファ１３Ｖに記憶されている最新の、n+1番目のSD画像#n+1の次の、n+2番目のSD画像#n+2が、画像バッファ１３Ｖに供給されて記憶される。
【００５９】
そして、画像バッファ１３Ｖに記憶されている最も古いn+1番目のSD画像#n+1のデコードのタイミングとなると、n+1番目のSD画像#n+1は、画像バッファ１３Ｖから読み出され、後段のデコーダ部１４に供給される。
【００６０】
また、図６左の上から３番目に示すように、前段の多重分離部１２から、画像バッファ１３Ｖに記憶されている最新の、n+2番目のSD画像#n+2の次の、n+3番目のSD画像n+3が、画像バッファ１３Ｖに供給されて記憶される。
【００６１】
以下、同様に、画像バッファ１３Ｖに対するSD画像の読み書きが行われる。
【００６２】
一方、図６右は、SD画像に付随するSD音声に適切なバッファサイズの音声バッファ１３Ａの記憶内容を示している。
【００６３】
図６右において、SD音声に適切なバッファサイズは、サイズVS'となっており、バッファサイズVS'の音声バッファ１３Ａは、例えば、２ピクチャ分ないし３ピクチャ分）のSD画像に付随するSD音声を記憶することができるようになっている。
【００６４】
すなわち、画像バッファ１３Ｖに記憶される画像と、音声バッファ１３Ａに記憶される音声とは、ほぼ同一時刻に出力すべき画像と音声（対応する画像と音声）になっており、したがって、画像バッファ１３Ｖにおいて、図６左の上から１番目に示したように、n番目のSD画像#nと、n+1番目のSD画像#n+1が記憶されている場合には、音声バッファ１３Ａには、図６右の上から１番目に示すように、n番目のSD画像#nに付随するSD音声#nと、n+1番目のSD画像#n+1に付随するSD音声#n+1が記憶される。
【００６５】
ここで、図５に示したように、MPEGストリームに、１つの画像ストリームと、２種類の音声ストリームとしての第１音声ストリーム及び第２音声ストリームとが含まれており、その第１音声ストリームと第２音声ストリームのうちの、例えば、第１音声ストリームを出力することが選択されている場合には、多重分離部１２（図１）は、音声ストリームについては、MPEGストリームから、第１音声ストリームを分離して、メモリ部１３の音声バッファ１３Ａに供給する。
【００６６】
したがって、第１音声ストリームに含まれるSD音声を、SD第１音声というとともに、第２音声ストリームに含まれるSD音声を、SD第２音声ということとすると、いまの場合、メモリ部１３の音声バッファ１３Ａには、n番目のSD画像#nに付随するSD第１音声#nと、n+1番目のSD画像#n+1に付随するSD第１音声#n+1が記憶される。
【００６７】
音声バッファ１３Ａに記憶された音声も、画像バッファ１３Ｖに記憶された画像と同様に、デコードのタイミングとなると、音声バッファ１３Ａから読み出され、後段のデコーダ部１４に供給される。
【００６８】
これにより、画像と音声とは、同期（AV(Audio Visual)同期）をとった状態で出力される。
【００６９】
上述したように、音声バッファ１３Ａには、画像バッファ１３Ｖに記憶される画像に対応する音声が記憶されるから、図６左で説明したように、SD画像#nが、画像バッファ１３Ｖから読み出され、さらに、前段の多重分離部１２から、n+2番目のSD画像#n+2が、画像バッファ１３Ｖに供給されて記憶されるときに（近いタイミングで）、音声バッファ１３Ａから、SD画像#nに付随するSD第１音声#nが読み出され、また、前段の多重分離部１２から、n+2番目のSD画像#n+2に付随するSD第２音声#n+2が、音声バッファ１３Ａに供給されて記憶される。
【００７０】
しかしながら、音声バッファ１３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、図６右の上から２番目に示すように、音声バッファ１３Ａのバッファフラッシュ、すなわち、音声バッファ１３Ａに記憶されているSD第１音声#n及び#n+1の破棄が実行される（音声バッファ１３Ａの記憶内容がクリアされる）。そして、その後、多重分離部１２（図１）は、MPEGストリームから分離する音声ストリームを、第１音声ストリームから第２音声ストリームに変更して、メモリ部１３の音声バッファ１３Ａに供給する。
【００７１】
なお、多重分離部１２は、MPEGストリームから分離した第２音声ストリームのうちの、音声バッファ１３Ａのバッファフラッシュを行ったときに、音声バッファ１３Ａに記憶されていた最新のSD第１音声#n+1の次の順番のSD第２音声#n+2から、音声バッファ１３Ａへの供給を開始する。
【００７２】
したがって、音声バッファ１３Ａのバッファフラッシュの直後、音声バッファ１３Ａには、図６右の上から３番目に示すように、SD第２音声#n+2及び#n+3が記憶される。
【００７３】
そして、音声バッファ１３Ａに記憶されたSD第２音声#n+2は、画像バッファ１３Ｖに記憶されている、SD第２音声#n+2が付随するSD画像#n+2の出力（表示）とAV同期がとれるタイミングで読み出され、後段のデコーダ部１４に供給される。
【００７４】
したがって、音声バッファ１３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、画像バッファ１３Ｖのバッファフラッシュは行われないので、SD画像は、連続して出力されるが、音声バッファ１３Ａのバッファフラッシュが行われるため、そのバッファフラッシュ時に、画像バッファ１３Ｖに記憶されていたSD画像#n及び#n+1に付随するSD音声（SD第１音声）#n及び#n+1は破棄され、その結果、SD画像#n及び#n+1の出力時には、無音となる。
【００７５】
そして、バッファフラッシュ後に音声バッファ１３Ａに記憶された最も古いSD第２音声#n+2が付随するSD画像#n+2の出力時から、SD音声（SD第２音声）の出力が再開される。
【００７６】
したがって、画像バッファ１３Ｖ、及び音声バッファ１３Ａのバッファサイズが、SDコンテンツに適切なバッファサイズとなっている場合には、SD第１音声、又はSD第２音声のうちの一方から他方に、出力を切り換えるときに、無音の時間が生じるが、その時間は、僅かな時間である。
【００７７】
一方、画像バッファ１３Ｖ、及び音声バッファ１３Ａのバッファサイズが、HDコンテンツに適切なバッファサイズとなっており、したがって、画像バッファ１３Ｖに、必要以上のSD画像を記憶することができる場合には、SD第１音声、又はSD第２音声のうちの一方から他方に、出力を切り換えるときに、長時間の無音が生じる。
【００７８】
すなわち、図７は、HDコンテンツに適切なバッファサイズの画像バッファ１３Ｖ、及び音声バッファ１３Ａの記憶内容を示している。
【００７９】
図７左は、HD画像に適切なバッファサイズの画像バッファ１３Ｖに記憶されたSD画像の記憶内容を示している。
【００８０】
図７左において、HDコンテンツに適切なバッファサイズは、サイズVHとなっており、バッファサイズVHの画像バッファ１３Ｖは、例えば、１０ピクチャ（以上）分のSD画像を記憶することができるようになっている。
【００８１】
いま、図７左の上から１番目に示すように、バッファサイズVHの画像バッファ１３Ｖに、n番目のSD画像#nないしn+9番目のSD画像#n+9が記憶されている場合、画像バッファ１３Ｖに記憶されている最も古いn番目のSD画像#nのデコードのタイミングとなると、n番目のSD画像#nは、画像バッファ１３Ｖから読み出され、後段のデコーダ部１４に供給される。
【００８２】
また、図７左の上から２番目に示すように、前段の多重分離部１２から、画像バッファ１３Ｖに記憶されている最新の、n+9番目のSD画像#n+9の次の、n+10番目のSD画像#n+10が、画像バッファ１３Ｖに供給されて記憶される。
【００８３】
そして、画像バッファ１３Ｖに記憶されている最も古いn+1番目のSD画像#n+1のデコードのタイミングとなると、n+1番目のSD画像#n+1は、画像バッファ１３Ｖから読み出され、後段のデコーダ部１４に供給される。
【００８４】
また、図７左の上から３番目に示すように、前段の多重分離部１２から、画像バッファ１３Ｖに記憶されている最新の、n+10番目のSD画像#n+10の次の、n+11番目のSD画像n+11が、画像バッファ１３Ｖに供給されて記憶される。
【００８５】
以下、同様に、画像バッファ１３Ｖに対するSD画像の読み書きが行われる。
【００８６】
一方、図７右は、HD画像に付随するHD音声に適切なバッファサイズの音声バッファ１３Ａの記憶内容を示している。
【００８７】
図７右において、HD音声に適切なバッファサイズは、サイズVH'となっており、バッファサイズVH'の音声バッファ１３Ａは、図７左のバッファサイズVHの画像バッファ１３Ｖが記憶することができる１０ピクチャ（以上）分のSD画像に対応する、１０ピクチャ（以上）分のSD画像に付随するSD音声を記憶することができるようになっている。
【００８８】
したがって、画像バッファ１３Ｖにおいて、図７左の上から１番目に示したように、n番目のSD画像#nないしn+9番目のSD画像#n+9が記憶されている場合には、音声バッファ１３Ａには、図７右の上から１番目に示すように、そのSD画像#nないし#n+9にそれぞれ付随するSD音声#nないし#n+9が記憶される。
【００８９】
ここで、図５に示したように、MPEGストリームに、１つの画像ストリームと、２種類の音声ストリームとしての第１音声ストリーム及び第２音声ストリームとが含まれており、その第１音声ストリームと第２音声ストリームのうちの、例えば、第１音声ストリームを出力することが選択されている場合には、多重分離部１２（図１）は、音声ストリームについては、MPEGストリームから、第１音声ストリームを分離して、メモリ部１３の音声バッファ１３Ａに供給する。
【００９０】
したがって、いまの場合、メモリ部１３の音声バッファ１３Ａには、SD第１音声#nないし#n+9が記憶される。
【００９１】
そして、音声バッファ１３Ａに記憶された最も古いSD第１音声#nは、AV同期がとれるように、音声バッファ１３Ａから読み出され、後段のデコーダ部１４に供給される。さらに、前段の多重分離部１２から、音声バッファ１３Ａに記憶されている最新のSD第１音声#n+9の次のSD第１音声#n+10が、音声バッファ１３Ａに供給されて記憶される。
【００９２】
ここで、図６で説明した場合と同様に、音声バッファ１３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、音声バッファ１３Ａのバッファフラッシュが行われ、図７右の上から２番目に示すように、音声バッファ１３Ａに記憶されているSD第１音声#nないし#n+9は破棄される。さらに、多重分離部１２（図１）は、MPEGストリームから分離する音声ストリームを、第１音声ストリームから第２音声ストリームに変更して、メモリ部１３の音声バッファ１３Ａに供給する。
【００９３】
図６で説明したように、多重分離部１２は、MPEGストリームから分離した第２音声ストリームのうちの、音声バッファ１３Ａのバッファフラッシュを行ったときに、音声バッファ１３Ａに記憶されていた最新のSD第１音声の次の順番のSD第２音声から、音声バッファ１３Ａへの供給を開始する。
【００９４】
したがって、音声バッファ１３Ａのバッファフラッシュの直後、音声バッファ１３Ａには、図７右の上から３番目に示すように、バッファフラッシュ時に音声バッファ１３Ａに記憶されていた最新のSD第１音声#n+9の次のSD第２音声#n+10からの１０ピクチャ分のSD第２音声#n+10ないし#n+19が記憶される。
【００９５】
そして、音声バッファ１３Ａに記憶されたSD第２音声#n+10ないし#n+19のうちの、最も古いSD第２音声#n+10は、画像バッファ１３Ｖに記憶されている、SD第２音声#n+10が付随するSD画像#n+10の出力（表示）とAV同期がとれるタイミングで読み出され、後段のデコーダ部１４に供給される。
【００９６】
したがって、音声バッファ１３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、画像バッファ１３Ｖのバッファフラッシュは行われないので、SD画像は、連続して出力されるが、音声バッファ１３Ａのバッファフラッシュが行われるため、そのバッファフラッシュ時に、画像バッファ１３Ｖに記憶されていたSD画像#nないし#n+9に付随するSD音声（SD第１音声）#nないし#n+9は破棄され、その結果、SD画像#nないし#n+9の出力時には、無音となる。
【００９７】
そして、その後のSD画像#n+10の出力時から、SD音声（SD第２音声）の出力が再開される。
【００９８】
したがって、SD画像#nないし#n+9が表示されている間、つまり、１０ピクチャ分の時間という長時間、無音が続くことになる。
【００９９】
以上のように、画像バッファ１３Ｖのバッファサイズを、HD画像に適切なバッファサイズVHとした場合には、画像バッファ１３Ｖにおいて、HD画像よりも小のデータ量DSのSD画像を、必要以上に記憶することができるため、音声バッファ１３Ａのバッファフラッシュが行われると、無音の時間が長時間続くことがある。
【０１００】
このような長時間の無音は、画像についても生じ得る。すなわち、例えば、MPEGストリームに、画像ストリームとして、第１の種類の画像ストリームと、第２の種類の画像ストリームとが含まれ、ユーザの操作等に応じて、画像の出力を、第１又は第２の種類の画像ストリームのうちの一方から他方に切り換える場合には、画像バッファ１３Ｖのバッファフラッシュを行う必要があり、この画像バッファ１３Ｖのバッファフラッシュに伴い、画像が表示されない（又は、画像がフリーズ(freeze)する）無画の時間が長時間続くことがある。
【０１０１】
なお、例えば、図７において、音声バッファ１３Ａのバッファフラッシュ後に音声バッファ１３Ａに記憶されたSD第２音声#n+10ないし#n+19の読み出しを、即座に開始すれば（いわゆる、フリーラン(Free Run)で、音声の出力を開始すれば）、無音の時間が生じることを防止することができるが、この場合、AV同期をとることができず、すなわち、SD画像と、そのSD画像に付随するSD音声とが、ずれて出力され、ユーザに不快感を与えることになる。
【０１０２】
そこで、メモリ部１３に、SD第１音声を含む第１音声ストリームを記憶するバッファと、SD第２音声を含む第２音声ストリームを記憶するバッファとを設ける方法が考えられる。
【０１０３】
すなわち、図８は、図１のメモリ部１３の他の構成例を示している。
【０１０４】
なお、図中、図２の場合と対応する部分については、同一の符号を付してある。
【０１０５】
すなわち、図８のメモリ部１３は、１つの音声バッファ１３Ａに代えて、２つの音声バッファ１３Ａ1及び１３Ａ2が設けられているとともに、スイッチSWが新たに設けられている他は、図２のメモリ部１３と同様に構成されている。
【０１０６】
図２では、多重分離部１２が、MPEGストリームから、画像ストリーム、第１音声ストリーム、及び第２音声ストリームを分離し、画像ストリームを画像バッファ１３Ｖに、第１音声ストリームを音声バッファ１３Ａ1に、第２音声ストリームを、音声バッファ１３Ａ2に、それぞれ供給する。
【０１０７】
音声バッファ１３Ａ1は、多重分離部１２から供給される第１音声ストリームを一時記憶し、スイッチSWの２つの端子のうちの一方に供給する。
【０１０８】
音声バッファ１３Ａ2は、多重分離部１２から供給される第２音声ストリームを一時記憶し、スイッチSWの２つの端子のうちの他方に供給する。
【０１０９】
スイッチSWは、ユーザの操作等に従い、２つの端子のうちのいずれか一方の端子を選択し、これにより、音声バッファ１３Ａ1、又は１３Ａ2のうちのいずれか一方から供給される音声ストリームを、音声デコーダ１４Ａに供給する。
【０１１０】
以上のように、メモリ部１３を、２つの音声バッファ１３Ａ1及び１３Ａ2と、スイッチSWとを設けて構成することにより、音声の出力を、第１音声ストリームの音声、又は第２音声ストリームの音声のうちの一方から他方に切り換えるときに、その切り換えに応じて、スイッチSWの選択を変換することで、図７で説明したような長時間の無音が生じることを防止することができる。
【０１１１】
しかしながら、この場合、２つの音声バッファ１３Ａ1及び１３Ａ2と、スイッチSWとが必要となるため、TVのコストが大になる。
【０１１２】
また、MPEGストリームに、第１の種類の画像ストリームと、第２の種類の画像ストリームとが含まれ、画像の出力を、第１又は第２の種類の画像ストリームのうちの一方から他方に切り換える場合をも考慮すると、画像バッファ１３Ｖも、第１の種類の画像ストリームを記憶するバッファと、第２の種類の画像ストリームを記憶するバッファとの２つのバッファに変更しなければならず、コストがさらに大になる。
【０１１３】
ところで、図１のTVにおいて、図６及び図７で説明したように、音声の出力を、第１音声ストリーム、又は第２音声ストリームのうちの、例えば、第１音声ストリームから第２音声ストリームに切り換える場合において、音声バッファ１３Ａのバッファフラッシュ後に、多重分離部１２が、バッファフラッシュの直前に音声バッファ１３Ａに記憶されていた最新のSD第１音声の次の順番のSD第２音声から、音声バッファ１３Ａへの供給を開始するのは、多重分離部１２に供給されるMPEGストリームが、地上波ディジタル放送等の放送で送信されてくる、いわばプッシュ(push)型のストリームであることによる。
【０１１４】
ここで、プッシュ型のストリームとは、送信側から、受信側の状態に関係なく送信されてくるストリームである。一方、送信側から、受信側の要求等に応じて送信されてくるストリームは、プル(pull)型のストリームと呼ばれる。
【０１１５】
メモリ部１３が、図２に示したように、１つの音声バッファ１３Ａしか有せず、MPEGストリームに、第１音声ストリームと第２音声ストリームとの２種類の音声ストリームが含まれる場合には、１つの音声バッファ１３Ａでは、１種類の音声ストリームしか記憶することができないので、多重分離部１２では、MPEGストリームから、第１音声ストリームと第２音声ストリームのうちのいずれか一方の音声ストリームだけを分離して、音声バッファ１３Ａに供給する必要があり、そのために、他方の音声ストリームは破棄される。
【０１１６】
MPEGストリームにおいて、あるSD画像に対応するSD第１音声とSD第２音声とは、近い位置に多重化されており、したがって、あるSD画像に対応するSD第１音声が、MPEGストリームから分離され、音声バッファ１３Ａに記憶されている場合には、そのSD画像に対応するSD第２音声は、既に破棄されてしまっていることが多い。
【０１１７】
このため、音声の出力を、第１音声ストリームから第２音声ストリームに切り換える場合においては、多重分離部１２は、音声バッファ１３Ａのバッファフラッシュ後、バッファフラッシュの直前に音声バッファ１３Ａに記憶されていた最新のSD第１音声の次のSD第２音声から、MPEGストリームからの分離を開始し、音声バッファ１３Ａに供給する。
【０１１８】
一方、多重分離部１２に供給されるMPEGストリームが、プル型のストリームである場合には、多重分離部１２で破棄したSD第２音声の再度の供給を要求することにより、無音の時間が生じることを防止する方法が考えられる。
【０１１９】
すなわち、外部入力部１１（図１）を介して、多重分離部１２に供給されるMPEGストリームが、例えば、DVDプレーヤ等の、ディスク状の記録媒体（ディスク状記録媒体）を再生する再生装置から供給されるMPEGストリームである場合には、ディスク状記録媒体の回転数等から、多重分離部１２が破棄したSD第２音声を認識し、そのSD第２音声の再度の読み出しを、再生装置に要求して、そのSD第２音声を、再生装置から再度取得することにより、無音の時間が生じることを防止する方法が考えられる。
【０１２０】
しかしながら、多重分離部１２が破棄したSD第２音声を認識し、そのSD第２音声の再度の読み出しを、再生装置に要求して、そのSD第２音声を、再生装置から取得する処理を行うハードウェア、又はソフトウェアを、別途開発することは、容易なことではない。
【０１２１】
また、ディスク状記録媒体に記録されているMPEGストリームが、例えば、ディジタルカメラで撮影された動画等のように、ファイルに格納されている場合に、そのファイルにおける、SD第２音声の位置が分からないときには、再生装置から、多重分離部１２が破棄したSD第２音声を再度取得することは難しい。
【０１２２】
本発明は、このような状況に鑑みてなされたものであり、装置のコストを削減すること（装置のコストが大になることを防止すること）ができるようにするものである。
【課題を解決するための手段】
【０１２３】
本発明の一側面のデータ処理装置、又は、プログラムは、少なくとも、第１及び第２のデータを含むビットストリームを処理するデータ処理装置、又は、データ処理装置として、コンピュータを機能させるプログラムであり、前記第１のデータを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズと、前記第２のデータを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズとのうちの、前記第１のバッファサイズを、前記ビットストリームに含まれる情報に基づいて設定するバッファサイズ設定手段と、前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するバッファ制御手段とを備えるデータ処理装置、又は、データ処理装置として、コンピュータを機能させるプログラムである。
【０１２４】
本発明の一側面のデータ処理方法は、少なくとも、第１及び第２のデータを含むビットストリームを処理するデータ処理方法であり、前記第１のデータを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズと、前記第２のデータを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズとのうちの、前記第１のバッファサイズを、前記ビットストリームに含まれる情報に基づいて設定し、前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するステップを含む。
【０１２５】
以上のような一側面においては、前記第１のデータを一時記憶し、第１のデコーダに供給する第１のバッファの第１のバッファサイズと、前記第２のデータを一時記憶し、第２のデコーダに供給する第２のバッファの第２のバッファサイズとのうちの、前記第１のバッファサイズが、前記ビットストリームに含まれる情報に基づいて設定される。そして、前記第１のバッファのバッファサイズが、前記第１のバッファサイズに制御される。
【０１２６】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して提供することができる。
【０１２７】
また、データ処理装置は、独立した装置であっても良いし、独立した装置を構成する内部ブロックであっても良い。
【発明の効果】
【０１２８】
本発明の一側面によれば、装置のコストを削減することができる。
【発明を実施するための最良の形態】
【０１２９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。したがって、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【０１３０】
本発明の一側面のデータ処理装置、又は、プログラムは、
少なくとも、第１及び第２のデータを含むビットストリームを処理するデータ処理装置、又は、データ処理装置として、コンピュータを機能させるプログラムであり、
前記第１のデータ（例えば、画像データのストリームである画像ストリーム）を一時記憶し、第１のデコーダ（例えば、図１０の画像デコーダ５４Ｖ）に供給する第１のバッファ（例えば、図１０の画像バッファ５３Ｖ）の第１のバッファサイズと、前記第２のデータ（例えば、音声データのストリームである音声ストリーム）を一時記憶し、第２のデコーダ（例えば、図１０の音声デコーダ５４Ａ）に供給する第２のバッファ（例えば、図１０の音声バッファ５３Ａ）の第２のバッファサイズとのうちの、前記第１のバッファサイズを、前記ビットストリームに含まれる情報（例えば、MPEGストリームに含まれるシーケンスヘッダ）に基づいて設定するバッファサイズ設定手段（例えば、図１０のバッファサイズ設定部６１）と、
前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御するバッファ制御手段（例えば、図１０のバッファ制御部６２）と
を備えるデータ処理装置、又は、データ処理装置として、コンピュータを機能させるプログラムである。
【０１３１】
本発明の一側面のデータ処理方法は、
少なくとも、第１及び第２のデータを含むビットストリームを処理するデータ処理方法であり、
前記第１のデータ（例えば、画像データのストリームである画像ストリーム）を一時記憶し、第１のデコーダ（例えば、図１０の画像デコーダ５４Ｖ）に供給する第１のバッファ（例えば、図１０の画像バッファ５３Ｖ）の第１のバッファサイズと、前記第２のデータ（例えば、音声データのストリームである音声ストリーム）を一時記憶し、第２のデコーダ（例えば、図１０の音声デコーダ５４Ａ）に供給する第２のバッファ（例えば、図１０の音声バッファ５３Ａ）の第２のバッファサイズとのうちの、前記第１のバッファサイズを、前記ビットストリームに含まれる情報（例えば、MPEGストリームに含まれるシーケンスヘッダ）に基づいて設定し（例えば、図１１のステップＳ１１）、
前記第１のバッファのバッファサイズを、前記第１のバッファサイズに制御する（例えば、図１１のステップＳ１２）
ステップを含む。
【０１３２】
以下、図面を参照して、本発明の実施の形態について説明する。
【０１３３】
図９は、本発明を適用したTVの一実施の形態の構成例を示すブロック図である。
【０１３４】
まず、図９のTVの概要について説明する。
【０１３５】
TVは、画音コンテンツをUSB(Universal Serial Bus)やEthernet（登録商標）等から取り込む外部入力部５１と、それら多重化されたデータをAudioやVideoなどの各種データに振り分ける多重分離部５２と、各種データを保持するメモリ部５３と、メモリ部５３のデータを処理（デコード）するデコーダ部５４等からなる。
【０１３６】
各種高機能な録画機や記録メディアの登場により、外部入力部５１からは多種多様なコンテンツが取り込まれる事が期待されている。CPU(Central Processing Unit)の高機能化等により、各種フォーマットを取り扱い可能な多重分離部５２やデコーダ部５４を備えるChipが多々存在する。
【０１３７】
一方、メモリ部５３に関しては、なるべく共有等の工夫を行う事でメモリ使用量を少なくする事が求められる。
【０１３８】
TVでは、画音コンテンツを再生する際に、メモリ部５３内のVideoのESバッファ（後述する図１０の画像バッファ５３Ｖ）で取り込まれるシーケンスヘッダの情報より、プロファイル情報、画サイズ情報、VBVバッファ情報、ビットレート情報を取得し、これらの情報を元にESバッファサイズ（後述する図１０の画像バッファ５３Ｖのバッファサイズ）を変更する。
【０１３９】
この際、TVでは、画サイズとプロファイル情報の一致を確認した後に、この２つの情報を主たる判断値として利用し、得られた画サイズが包括されるプロファイルで規定されている最大トータルVBVバッファ量をESバッファサイズとして利用する。プロファイル情報と画サイズ情報の不一致や、MPEG1などプロファイル規定がないものについては、TVは、画サイズ情報に優先度を持たせて、プロファイル規定最大VBV値に設定する。この際、TVは、VBVバッファ情報やビットレート情報を元にVerifyや微調整を行い細かい設定を行う。TVは、VBVバッファ情報やビットレート情報は正しくない値や大きく外れた値が入っている可能性を考慮して、変更に対して範囲を持たせて範囲外の値の場合は利用しない。
【０１４０】
TVが、シーケンスヘッダが来る毎にダイナミックにESバッファを変更する事で、HD/SDが入り混じるコンテンツ等であっても、バッファflush時に破棄される情報量を最小に抑える事ができ、無音時間や無画時間（Freeze時間）の縮小、及び、AV同期を合わせての再再生が可能となり、ユーザの不快感を減少させる事が可能となる。また、このシステムにより、放送などのpush型と上記のようなpull型を同じメモリ領域で扱うことが可能となり、コスト削減に繋がる。
【０１４１】
なお、本来はVBVバッファ情報をもとにバッファサイズを決定する事が理想であるが、この部分の情報が正しくないコンテンツも数多く存在している為、この情報のみでの実現は現実的ではない。もともとVBVは理想条件のもとで動作する事を仮定しての値であり、現実のデコーダの実現方式を規定しているものではない為、必要量よりも小さい値が書かれている場合はバッファの破綻をきたす恐れがあり危険である。また、ビットレートに関しても、規格上の最大ビットレートが書かれている場合が多く、この情報を主としてバッファサイズを決定した場合、ESバッファサイズをダイナミックに変更しない場合と同じ効果しか得られない可能性が高い。従って、TVにおいて、VBVバッファ情報やビットレート情報は判定情報のVerifyや微調整に使用し、最終判断材料としては用いない事により、現実的に存在する数多くのフォーマットファイルに対応することができる。
【０１４２】
以下、図９のTVについて、詳細に説明する。
【０１４３】
図９において、TVは、外部入力部５１、多重分離部５２、メモリ部５３、デコーダ部５４、外部出力部５５、及び制御部５６等から構成される。
【０１４４】
外部入力部５１は、例えば、地上ディジタル放送その他の放送を受信し、MPEGストリームを出力するチューナや、USBや、LAN，IEEE(Institute of Electrical and Electronics Engineers)1394の規格に準拠した通信を、図示せぬ外部機器と行うことで、MPEGストリームを受信して出力する通信インタフェース、メモリスティック（登録商標）等のメモリカードその他の記録媒体からMPEGストリームを読み出して出力するドライブ等であり、外部入力部５１が出力するMPEGストリームは、多重分離部５２に供給される。
【０１４５】
多重分離部５２は、外部入力部５１からのMPEGストリームから、例えば、画像データのESである画像ストリームと、音声データのESである音声ストリームとを分離し、メモリ部５３に供給する。
【０１４６】
さらに、多重分離部５２は、外部入力部５１からのMPEGストリームから、そこに含まれる画像データ及び音声データに関する情報としてのシーケンスヘッダその他の各種のヘッダ（の情報）を分離し、制御部５６に供給する。
【０１４７】
メモリ部５３は、多重分離部５２から供給される画像ストリームと音声ストリームとを一時記憶し（バッファリングし）、デコーダ部５４に供給する。
【０１４８】
すなわち、メモリ部５３は、後段のデコーダ部５４に供給される画像ストリーム及び音声ストリームのデータ量を調整するために、多重分離部５２から供給される画像ストリームと音声ストリームとを一時記憶し、デコーダ部５４に供給する。
【０１４９】
デコーダ部５４は、メモリ部５３からの画像ストリームを、例えば、MPEGの規格に準拠した方式でデコードし、その結果得られるベースバンドの画像データを、外部出力部５５に供給する。また、デコーダ部５４は、メモリ部５３からの音声ストリームをデコードし、その結果得られるベースバンドの音声データを、外部出力部５５に供給する。
【０１５０】
外部出力部５５は、デコーダ部５４からの画像データを、図示せぬLCD(Liquid Crystal Display)や、有機EL(Organic Electroluminescence)ディスプレイ等のディスプレイに供給して、対応する画像を表示させるとともに、デコーダ部５４からの音声データを、図示せぬスピーカに供給して、対応する音声（音）を出力させる。
【０１５１】
制御部５６は、CPU５７，RAM(Random Access Memory)５８、及びEEPROM(Electrically Erasable Programmable Read Only Memory)５９等から構成され、多重分離部５２からの情報に基づき、メモリ部５３を制御する。
【０１５２】
すなわち、CPU５７は、EEPROM５９に記憶されたプログラムを実行することにより、メモリ部５３を制御するバッファ制御処理等を行う。
【０１５３】
RAM５８は、CPU５７の動作上必要なデータ等を一時記憶する。
【０１５４】
EEPROM５９は、CPU５７が実行するプログラム等を記憶する。
【０１５５】
なお、CPU５７が実行するプログラムは、EEPROM５９にあらかじめ記憶させておく他、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に記録し、そのようなリムーバブル記録媒体から、TVのEEPROM５９にインストールすることができる。
【０１５６】
また、プログラムは、ディジタル放送等の無線の伝送媒体を介して、又は、インターネット等の有線の伝送媒体を介して、TVに送信し、TVでは、そのようにして送信されてくるプログラムを、EEPROM５９にインストールすることができる。
【０１５７】
以上のようなリムーバブル記録媒体や伝送媒体を利用した、EEPROM５９へのプログラムのインストールの手法は、EEPROM５９に記憶されているプログラムのバージョンアップにも利用することができる。
【０１５８】
次に、図１０は、図９のメモリ部５３、デコーダ部５４、及び制御部５６の構成例を示すブロック図である。
【０１５９】
メモリ部５３は、１つの画像バッファ５３Ｖ、及び１つの音声バッファ５３Ａから構成される。
【０１６０】
画像バッファ５３Ｖには、多重分離部５２から画像ストリームが供給される。画像バッファ５３Ｖは、多重分離部５２からの画像ストリームを一時記憶し、デコーダ部５４に供給する。なお、画像バッファ５３Ｖは、VBVバッファに相当する。
【０１６１】
音声バッファ５３Ａには、多重分離部５２から音声ストリームが供給される。音声バッファ５３Ａは、多重分離部５２からの音声ストリームを一時記憶し、デコーダ部５４に供給する。
【０１６２】
デコーダ部５４は、画像デコーダ５４Ｖ、及び音声デコーダ５４Ａから構成される。
【０１６３】
画像デコーダ５４Ｖには、画像バッファ５３Ｖから画像ストリームが供給される。画像デコーダ５４Ｖは、画像バッファ５３Ｖからの画像ストリームをデコードし、その結果得られる画像データを出力する。
【０１６４】
音声デコーダ５４Ａには、音声バッファ５３Ａから音声ストリームが供給される。音声デコーダ５４Ａは、音声バッファ５３Ａからの音声ストリームをデコードし、その結果得られる音声データを出力する。
【０１６５】
制御部５６は、バッファサイズ設定部６１、及びバッファ制御部６２から構成される。ここで、制御部５６では、図９のCPU５７が、EEPROM５９に記憶されたプログラムを実行することで、バッファサイズ設定部６１、及びバッファ制御部６２として機能する。
【０１６６】
バッファサイズ設定部６１には、多重分離部５２から、シーケンスヘッダ等のヘッダが供給される。バッファサイズ設定部６１は、画像バッファ５３Ｖのバッファサイズと、音声バッファ５３Ａのバッファサイズとを、多重分離部５２からのヘッダ等に基づいて設定し、それらのバッファサイズを表すサイズ情報を、バッファ制御部６２に供給する。
【０１６７】
バッファ制御部６２は、画像バッファ５３Ｖのバッファサイズを、バッファサイズ設定部６１からのサイズ情報が表すバッファサイズに制御するとともに、音声バッファ５３Ａのバッファサイズを、バッファサイズ設定部６１からのサイズ情報が表すバッファサイズに制御する。
【０１６８】
次に、図１１のフローチャートを参照して、図１０の制御部５６が行うバッファ制御処理について説明する。
【０１６９】
制御部５６のバッファサイズ設定部６１は、多重分離部５２からシーケンスヘッダ等のヘッダが供給されると、ステップＳ１１において、そのヘッダ等に基づいて、画像バッファ５３Ｖのバッファサイズと、音声バッファ５３Ａのバッファサイズとを設定し、それぞれのバッファサイズを表すサイズ情報を、バッファ制御部６２に供給して、処理は、ステップＳ１２に進む。
【０１７０】
すなわち、バッファサイズ設定部６１は、多重分離部５２からのヘッダのうちの、例えば、シーケンスヘッダに含まれるプロファイルや、画サイズ、VBVバッファサイズ、ビットレート等の情報に基づき、画像バッファ５３Ｖが、多重分離部５２からの画像ストリームを一時記憶するのに適切なバッファサイズを求めるとともに、コーデックの情報に基づき、音声バッファ５３Ａが、多重分離部５２からの音声ストリームを一時記憶するのに適切なバッファサイズを求め、それぞれのバッファサイズを表すサイズ情報を、バッファ制御部６２に供給する。
【０１７１】
ステップＳ１２では、バッファ制御部６２は、画像バッファ５３Ｖのバッファサイズと、音声バッファ５３Ａのバッファサイズとのそれぞれを、バッファサイズ設定部６１からのサイズ情報が表すバッファサイズに制御する。
【０１７２】
すなわち、バッファ制御部６２は、バッファサイズ設定部６１からのサイズ情報に従い、画像バッファ５３Ｖのバッファサイズを、多重分離部５２からの画像ストリームを一時記憶するのに適切なバッファサイズに制御するとともに、音声バッファ５３Ａのバッファサイズを、多重分離部５２からの音声ストリームを一時記憶するのに適切なバッファサイズに制御する。
【０１７３】
そして、例えば、次のシーケンスヘッダが、多重分離部５２からバッファサイズ設定部６１に供給されるのを待って、処理は、ステップＳ１２からステップＳ１１に戻り、以下、同様の処理が繰り返される。
【０１７４】
以上のように、制御部５６では、画像バッファ５３Ｖのバッファサイズが、多重分離部５２からの画像ストリームを記憶するのに適切なバッファサイズに制御されるとともに、音声バッファ５３Ａのバッファサイズが、多重分離部５２からの音声ストリームを記憶するのに適切なバッファサイズに制御される。
【０１７５】
次に、図１２を参照して、制御部５６による、画像バッファ５３Ｖ、及び音声バッファ５３Ａのバッファサイズの制御について説明する。
【０１７６】
図１２左は、バッファサイズが最大のバッファサイズVに制御された画像バッファ５３Ｖを示している。
【０１７７】
ここで、画像バッファ５３Ｖの最大のバッファサイズVは、例えば、TVで扱う最もデータ量（データレート）の大の画像を、必要十分なデータ量だけ記憶することができるサイズになっており、例えば、画像バッファ５３Ｖを構成するハードウェアであるメモリの記憶容量に等しい。
【０１７８】
図１２右は、多重分離部５２からの画像ストリームを記憶するのに適切なバッファサイズに制御された画像バッファ５３Ｖを示している。
【０１７９】
いま、多重分離部５２から画像バッファ５３Ｖに供給される画像ストリームとして、SDコンテンツの画像ストリームと、HDコンテンツの画像ストリームとがあり、１ピクチャのSD画像のデータ量が、データ量DSであり、１ピクチャのHD画像のデータ量が、データ量DSより大のデータ量DHであるとする。
【０１８０】
制御部５６は、多重分離部５２から画像バッファ５３Ｖに供給される画像ストリームが、SDコンテンツの画像ストリームである場合、画像バッファ５３Ｖのバッファサイズを、必要十分なデータ量のSD画像を記憶することができるバッファサイズVsに制御する。ここで、図１２では、バッファサイズVSは、例えば、２ピクチャ程度分のSD画像を記憶することができるバッファサイズになっている。
【０１８１】
また、制御部５６は、多重分離部５２から画像バッファ５３Ｖに供給される画像ストリームが、HDコンテンツの画像ストリームである場合、画像バッファ５３Ｖのバッファサイズを、必要十分なデータ量のHD画像を記憶することができるバッファサイズVHに制御する。ここで、図１２では、バッファサイズVHは、バッファサイズVSより大で、例えば、２ピクチャ程度分のHD画像を記憶することができるバッファサイズになっている。
【０１８２】
制御部５６は、音声バッファ５３Ａのバッファサイズも、画像バッファ５３Ｖのバッファサイズと同様に、音声バッファ５３Ａが多重分離部５２から供給される音声ストリームを一時記憶するのに適切なバッファサイズに制御する。
【０１８３】
以上のように、制御部５６が、画像バッファ５３Ｖと音声バッファ５３Ａそれぞれのバッファサイズを、多重分離部５２から供給されるESを一時記憶するのに適切なバッファサイズに、ダイナミックに制御することにより、画像バッファ５３Ｖと音声バッファ５３Ａに相当するバッファそれぞれを複数設けずに、すなわち、TVのコストが大になることを防止しつつ、前述の図７で説明した、バッファフラッシュ時に、無音や無画の時間が長時間続くことを防止することができる。
【０１８４】
次に、図１３及び図１４を参照して、制御部５６によって適切なバッファサイズに制御された画像バッファ５３Ｖと音声バッファ５３Ａの動作について説明する。
【０１８５】
なお、図１３及び図１４では、例えば、前述の図５に示した、１つの画像ストリームと、２種類の音声ストリームとしての第１音声ストリーム及び第２音声ストリームとが含まれるMPEGストリームが、外部入力部５１から多重分離部５２に供給され、多重分離部５２では、MPEGストリームから、画像ストリームが分離されて、画像バッファ５３Ｖに供給されるとともに、MPEGストリームから、第１音声ストリーム、又は第２音声ストリームが分離されて、音声バッファ５３Ａに供給されることとする。
【０１８６】
図１３は、多重分離部５２からメモリ部５３に供給される画像ストリーム及び音声ストリームが、例えば、SDコンテンツの画像ストリーム及び音声ストリームである場合の、画像バッファ５３Ｖ、及び音声バッファ５３Ａの記憶内容を示している。
【０１８７】
すなわち、図１３左は、SD画像に適切なバッファサイズに制御された画像バッファ５３ＶのSD画像の記憶内容を示している。
【０１８８】
図１３左において、SDコンテンツに適切なバッファサイズは、サイズVSとなっており、バッファサイズVSの画像バッファ５３Ｖは、例えば、２ピクチャ（ないし３ピクチャ）分のSD画像を記憶することができるようになっている。
【０１８９】
いま、図１３左の上から１番目に示すように、バッファサイズVSの画像バッファ５３Ｖに、n番目のSD画像#nと、n+1番目のSD画像#n+1が記憶されている場合、画像バッファ５３Ｖに記憶されている最も古いn番目のSD画像#nのデコードのタイミングとなると、n番目のSD画像#nは、画像バッファ５３Ｖから読み出され、後段のデコーダ部５４に供給される。
【０１９０】
また、図１３左の上から２番目に示すように、前段の多重分離部５２から、画像バッファ５３Ｖに記憶されている最新の、n+1番目のSD画像#n+1の次の、n+2番目のSD画像#n+2が、画像バッファ５３Ｖに供給されて記憶される。
【０１９１】
そして、図１３左の上から２番目では、画像バッファ５３Ｖに記憶されている最も古いn+1番目のSD画像#n+1のデコードのタイミングとなると、n+1番目のSD画像#n+1は、画像バッファ５３Ｖから読み出され、後段のデコーダ部５４に供給される。
【０１９２】
また、図１３左の上から３番目に示すように、前段の多重分離部５２から、画像バッファ５３Ｖに記憶されている最新の、n+2番目のSD画像#n+2の次の、n+3番目のSD画像n+3が、画像バッファ５３Ｖに供給されて記憶される。
【０１９３】
以下、同様に、画像バッファ５３Ｖに対するSD画像の読み書きが行われる。
【０１９４】
一方、図１３右は、SD画像に付随するSD音声に適切なバッファサイズに制御された音声バッファ５３ＡのSD音声の記憶内容を示している。
【０１９５】
図１３右において、SD音声に適切なバッファサイズは、サイズVS'となっており、バッファサイズVS'の音声バッファ５３Ａは、例えば、２ピクチャ（ないし３ピクチャ）分のSD画像に付随するSD音声を記憶することができるようになっている。
【０１９６】
すなわち、前述の図６で説明した場合と同様に、画像バッファ５３Ｖと音声バッファ５３Ａとには、対応する画像と音声とがそれぞれ記憶されるようになっており、したがって、画像バッファ５３Ｖにおいて、図１３左の上から１番目に示したように、n番目のSD画像#nと、n+1番目のSD画像#n+1が記憶されている場合には、音声バッファ５３Ａには、図１３右の上から１番目に示すように、n番目のSD画像#nに付随するSD音声#nと、n+1番目のSD画像#n+1に付随するSD音声#n+1が記憶される。
【０１９７】
ここで、外部入力部５１から多重分離部５２に供給されるMPEGストリームが、例えば、図５に示したように、１つの画像ストリームと、２種類の音声ストリームである第１音声ストリーム及び第２音声ストリームとを含むMPEGストリームであり、第１音声ストリームと第２音声ストリームのうちの、例えば、第１音声ストリームを出力することが選択されている場合には、多重分離部５２（図９）は、音声ストリームについては、MPEGストリームから、第１音声ストリームを分離して、メモリ部５３の音声バッファ５３Ａに供給する。
【０１９８】
したがって、第１音声ストリームに含まれるSD音声を、SD第１音声というとともに、第２音声ストリームに含まれるSD音声を、SD第２音声ということとすると、いまの場合、メモリ部５３の音声バッファ５３Ａには、n番目のSD画像#nに付随するSD第１音声#nと、n+1番目のSD画像#n+1に付随するSD第１音声#n+1が記憶される。
【０１９９】
音声バッファ５３Ａに記憶されたSD音声は、そのSD音声が付随する、画像バッファ５３Ｖに記憶されたSD画像とAV同期をとることができるタイミングで、音声バッファ５３Ａから読み出され、後段のデコーダ部５４に供給される。
【０２００】
上述したように、音声バッファ５３Ａには、画像バッファ５３Ｖに記憶される画像に対応する音声が記憶されるから、図１３左で説明したように、SD画像#nが、画像バッファ５３Ｖから読み出され、さらに、前段の多重分離部５２から、n+2番目のSD画像#n+2が、画像バッファ５３Ｖに供給されて記憶されるときに（近いタイミングで）、音声バッファ５３Ａから、SD画像#nに付随するSD第１音声#nが読み出され、前段の多重分離部５２から、n+2番目のSD画像#n+2に付随するSD第２音声#n+2が、音声バッファ５３Ａに供給されて記憶される。
【０２０１】
しかしながら、音声バッファ５３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、音声バッファ５３Ａのバッファフラッシュが行われ、図１３右の上から２番目に示すように、音声バッファ５３Ａに記憶されているSD第１音声#n及び#n+1が破棄される。
【０２０２】
そして、多重分離部５２（図９）は、MPEGストリームから分離する音声ストリームを、第１音声ストリームから第２音声ストリームに変更して、メモリ部５３の音声バッファ５３Ａに供給する。
【０２０３】
すなわち、多重分離部５２は、MPEGストリームから分離した第２音声ストリームのうちの、音声バッファ５３Ａのバッファフラッシュを行ったときに、音声バッファ５３Ａに記憶されていた最新のSD第１音声#n+1の次の順番のSD第２音声#n+2から、音声バッファ５３Ａへの供給を開始する。
【０２０４】
したがって、音声バッファ５３Ａのバッファフラッシュの直後、音声バッファ５３Ａには、図１３右の上から３番目に示すように、SD第２音声#n+2及び#n+3が記憶される。
【０２０５】
そして、音声バッファ５３Ａに記憶されたSD第２音声#n+2は、画像バッファ５３Ｖに記憶されている、SD第２音声#n+2が付随するSD画像#n+2の出力（表示）とAV同期がとれるタイミングで読み出され、後段のデコーダ部５４に供給される。
【０２０６】
したがって、音声バッファ５３Ａから、SD第１音声#nが読み出されるときに、ユーザが、音声の出力を、SD第１音声からSD第２音声に切り換えるように操作を行うと、画像バッファ５３Ｖのバッファフラッシュは行われないので、SD画像は、連続して出力されるが、音声バッファ５３Ａのバッファフラッシュが行われるため、そのバッファフラッシュ時に、画像バッファ５３Ｖに記憶されていたSD画像#n及び#n+1に付随するSD音声（SD第１音声）#n及び#n+1は破棄され、その結果、SD画像#n及び#n+1の出力時には、無音となる。すなわち、僅かな時間だけ、無音の時間が生じる。
【０２０７】
そして、バッファフラッシュ後に音声バッファ５３Ａに記憶された最も古いSD第２音声#n+2が付随するSD画像#n+2の出力時から、SD音声（SD第２音声#n+2）の出力が再開される。
【０２０８】
次に、図１４は、多重分離部５２からメモリ部５３に供給される画像ストリーム及び音声ストリームが、例えば、HDコンテンツの画像ストリーム及び音声ストリームである場合の、画像バッファ５３Ｖ、及び音声バッファ５３Ａの記憶内容を示している。
【０２０９】
すなわち、図１４左は、HD画像に適切なバッファサイズに制御された画像バッファ５３ＶのHD画像の記憶内容を示している。
【０２１０】
図１４左において、HDコンテンツに適切なバッファサイズは、サイズVHとなっており、バッファサイズVHの画像バッファ５３Ｖは、例えば、２ピクチャ（ないし３ピクチャ）分のHD画像を記憶することができるようになっている。
【０２１１】
いま、図１４左の上から１番目に示すように、バッファサイズVHの画像バッファ５３Ｖに、n番目のHD画像#nと、n+1番目のHD画像#n+1が記憶されている場合、画像バッファ５３Ｖに記憶されている最も古いn番目のHD画像#nのデコードのタイミングとなると、n番目のHD画像#nは、画像バッファ５３Ｖから読み出され、後段のデコーダ部５４に供給される。
【０２１２】
また、図１４左の上から２番目に示すように、前段の多重分離部５２から、画像バッファ５３Ｖに記憶されている最新の、n+1番目のHD画像#n+1の次の、n+2番目のHD画像#n+2が、画像バッファ５３Ｖに供給されて記憶される。
【０２１３】
そして、画像バッファ５３Ｖに記憶されている最も古いn+1番目のHD画像#n+1のデコードのタイミングとなると、n+1番目のHD画像#n+1は、画像バッファ５３Ｖから読み出され、後段のデコーダ部５４に供給される。
【０２１４】
また、図１４左の上から３番目に示すように、前段の多重分離部５２から、画像バッファ５３Ｖに記憶されている最新の、n+2番目のHD画像#n+2の次の、n+3番目のHD画像n+3が、画像バッファ５３Ｖに供給されて記憶される。
【０２１５】
以下、同様に、画像バッファ５３Ｖに対するHD画像の読み書きが行われる。
【０２１６】
一方、図１４右は、HD画像に付随するHD音声に適切なバッファサイズに制御された音声バッファ５３ＡのHD音声の記憶内容を示している。
【０２１７】
図１４右において、HD音声に適切なバッファサイズは、サイズVH'となっており、バッファサイズVH'の音声バッファ５３Ａは、例えば、２ピクチャ（ないし３ピクチャ）分のHD画像に付随するHD音声を記憶することができるようになっている。
【０２１８】
すなわち、画像バッファ５３Ｖと音声バッファ５３Ａとには、対応する画像と音声とがそれぞれ記憶されるようになっており、したがって、画像バッファ５３Ｖにおいて、図１４左の上から１番目に示したように、n番目のHD画像#nと、n+1番目のHD画像#n+1が記憶されている場合には、音声バッファ５３Ａには、図１４右の上から１番目に示すように、n番目のHD画像#nに付随するHD音声#nと、n+1番目のHD画像#n+1に付随するHD音声#n+1が記憶される。
【０２１９】
ここで、外部入力部５１から多重分離部５２に供給されるMPEGストリームが、例えば、図５に示したように、１つの画像ストリームと、２種類の音声ストリームである第１音声ストリーム及び第２音声ストリームとを含むMPEGストリームであり、第１音声ストリームと第２音声ストリームのうちの、例えば、第１音声ストリームを出力することが選択されている場合には、多重分離部５２（図９）は、音声ストリームについては、MPEGストリームから、第１音声ストリームを分離して、メモリ部５３の音声バッファ５３Ａに供給する。
【０２２０】
したがって、第１音声ストリームに含まれるHD音声を、HD第１音声というとともに、第２音声ストリームに含まれるHD音声を、HD第２音声ということとすると、いまの場合、メモリ部５３の音声バッファ５３Ａには、n番目のHD画像#nに付随するHD第１音声#nと、n+1番目のHD画像#n+1に付随するHD第１音声#n+1が記憶される。
【０２２１】
音声バッファ５３Ａに記憶されたHD音声は、そのHD音声が付随する、画像バッファ５３Ｖに記憶されたHD画像とAV同期をとることができるタイミングで、音声バッファ５３Ａから読み出され、後段のデコーダ部５４に供給される。
【０２２２】
上述したように、音声バッファ５３Ａには、画像バッファ５３Ｖに記憶される画像に対応する音声が記憶されるから、図１４左で説明したように、HD画像#nが、画像バッファ５３Ｖから読み出され、さらに、前段の多重分離部５２から、n+2番目のHD画像#n+2が、画像バッファ５３Ｖに供給されて記憶されるときに（近いタイミングで）、音声バッファ５３Ａから、HD画像#nに付随するHD第１音声#nが読み出され、前段の多重分離部５２から、n+2番目のHD画像#n+2に付随するHD第２音声#n+2が、音声バッファ５３Ａに供給されて記憶される。
【０２２３】
しかしながら、音声バッファ５３Ａから、HD第１音声#nが読み出されるときに、ユーザが、音声の出力を、HD第１音声からHD第２音声に切り換えるように操作を行うと、音声バッファ５３Ａのバッファフラッシュが行われ、図１４右の上から２番目に示すように、音声バッファ５３Ａに記憶されているHD第１音声#n及び#n+1が破棄される。
【０２２４】
そして、多重分離部５２（図９）は、MPEGストリームから分離する音声ストリームを、第１音声ストリームから第２音声ストリームに変更して、メモリ部５３の音声バッファ５３Ａに供給する。
【０２２５】
すなわち、多重分離部５２は、MPEGストリームから分離した第２音声ストリームのうちの、音声バッファ５３Ａのバッファフラッシュを行ったときに、音声バッファ５３Ａに記憶されていた最新のHD第１音声#n+1の次の順番のHD第２音声#n+2から、音声バッファ５３Ａへの供給を開始する。
【０２２６】
したがって、音声バッファ５３Ａのバッファフラッシュの直後、音声バッファ５３Ａには、図１４右の上から３番目に示すように、HD第２音声#n+2及び#n+3が記憶される。
【０２２７】
そして、音声バッファ５３Ａに記憶されたHD第２音声#n+2は、画像バッファ５３Ｖに記憶されている、HD第２音声#n+2が付随するHD画像#n+2の出力（表示）とAV同期がとれるタイミングで読み出され、後段のデコーダ部５４に供給される。
【０２２８】
したがって、音声バッファ５３Ａから、HD第１音声#nが読み出されるときに、ユーザが、音声の出力を、HD第１音声からHD第２音声に切り換えるように操作を行うと、画像バッファ５３Ｖのバッファフラッシュは行われないので、HD画像は、連続して出力されるが、音声バッファ５３Ａのバッファフラッシュが行われるため、そのバッファフラッシュ時に、画像バッファ５３Ｖに記憶されていたHD画像#n及び#n+1に付随するHD音声（HD第１音声）#n及び#n+1は破棄され、その結果、HD画像#n及び#n+1の出力時には、無音となる。すなわち、僅かな時間だけ、無音の時間が生じる。
【０２２９】
そして、バッファフラッシュ後に音声バッファ５３Ａに記憶された最も古いHD第２音声#n+2が付随するHD画像#n+2の出力時から、HD音声（HD第２音声#n+2）の出力が再開される。
【０２３０】
以上のように、画像バッファ５３Ｖと音声バッファ５３Ａそれぞれのバッファサイズが、多重分離部５２から供給される音声ストリームを一時記憶するのに適切なバッファサイズに、ダイナミックに変更されることにより、画像バッファ５３Ｖと音声バッファ５３Ａに相当するバッファそれぞれを複数設けずに、すなわち、TVのコストが大になることを防止しつつ、画像バッファ５３Ｖと音声バッファ５３Ａとのうちの一方の音声バッファ５３Ａのバッファフラッシュ時に、無音の時間が長時間続くことを防止することができる。
【０２３１】
なお、同様に、画像バッファ５３Ｖと音声バッファ５３Ａとのうちの他方の画像バッファ５３Ｖのバッファフラッシュ時においても、無画の時間が長時間続くことを防止することができる。すなわち、例えば、MPEGストリームに、画像ストリームとして、第１の種類の画像ストリームと、第２の種類の画像ストリームとが含まれ、ユーザの操作等に応じて、画像の出力を、第１又は第２の種類の画像ストリームのうちの一方から他方に切り換える場合には、画像バッファ５３Ｖのバッファフラッシュを行う必要があるが、この画像バッファ５３Ｖのバッファフラッシュ時にも、無画の時間が長時間続くことを防止することができる。
【０２３２】
次に、制御部５６は、上述したように、画像バッファ５３Ｖと音声バッファ５３Ａそれぞれのバッファサイズを、多重分離部５２から供給されるESを一時記憶するのに適切なバッファサイズに、ダイナミックに制御するが、この、制御部５６によるバッファサイズの制御では、例えば、ハードウェアであるメモリの記憶領域から、画像バッファ５３Ｖと音声バッファ５３Ａとして確保する記憶領域のサイズそれぞれを変更することにより、画像バッファ５３Ｖと音声バッファ５３Ａのバッファサイズそれぞれを、実際に変更する他、画像バッファ５３Ｖと音声バッファ５３Ａとして確保するメモリの記憶領域のサイズは変更せずに、画像バッファ５３Ｖと音声バッファ５３Ａのオーバーフローを防止するための閾値（以下、適宜、オーバーフロー閾値という）それぞれを制御することにより、画像バッファ５３Ｖと音声バッファ５３Ａのバッファサイズそれぞれを、いわば、実質的に（仮想的に）変更することができる。
【０２３３】
すなわち、図１５は、オーバーフロー閾値を制御することにより、画像バッファ５３Ｖのバッファサイズが実質的に変更されることを説明する図である。
【０２３４】
図１５左から１番目は、固定のバッファサイズVの画像バッファ５３Ｖを示している。
【０２３５】
いま、バッファサイズVの所定の割合の値Vthを、バッファサイズVの画像バッファ５３Ｖのオーバーフローを防止するための閾値（オーバーフロー閾値）THとして採用することとすると、可能であれば、画像デコーダ５４Ｖは、画像バッファ５３Ｖに記憶されるデータのデータ量（蓄積量）が、オーバーフロー閾値THである値Vthを越えないように、画像バッファ５３Ｖからのデータの読み出しを行う。さらに、可能であれば、多重分離部５２は、画像バッファ５３Ｖの蓄積量が、オーバーフロー閾値THである値Vthを越えないように、画像バッファ５３Ｖへのデータの書き込みを行う。
【０２３６】
この場合、制御部５６（図１０）のバッファサイズ設定部６１において、例えば、SD画像を記憶するのに適切な画像バッファ５３ＶのバッファサイズVSや、HD画像を記憶するのに適切な画像バッファ５３ＶのバッファサイズVHを設定した後、バッファ制御部６２において、画像バッファ５３Ｖのオーバーフロー閾値THを、適切なバッファサイズVSやVHに対応する値としての、例えば、適切なバッファサイズVSやVHの所定の割合の値に設定することにより、画像バッファ５３Ｖのバッファサイズを、実質的に、適切なバッファサイズVSやVHに制御することができる。
【０２３７】
すなわち、図１５左から２番目は、オーバーフロー閾値THが、HD画像に適切なバッファサイズVHに対応する値VHTに設定された画像バッファ５３Ｖを示している。
【０２３８】
この場合、可能であれば、画像デコーダ５４Ｖでは、画像バッファ５３Ｖの蓄積量が、オーバーフロー閾値THである値VHTを越えないように、画像バッファ５３Ｖからのデータの読み出しが行われ、さらに、可能であれば、多重分離部５２において、画像バッファ５３Ｖの蓄積量が、オーバーフロー閾値THである値VHTを越えないように、画像バッファ５３Ｖへのデータの書き込みが行われる。その結果、画像バッファ５３Ｖのバッファサイズは、実質的に、HD画像に適切なバッファサイズVHとなる。
【０２３９】
図１５左から３番目（右から１番目）は、オーバーフロー閾値THが、SD画像に適切なバッファサイズVSに対応する値VSTに設定された画像バッファ５３Ｖを示している。
【０２４０】
この場合、可能であれば、画像デコーダ５４Ｖでは、画像バッファ５３Ｖの蓄積量が、オーバーフロー閾値THである値VSTを越えないように、画像バッファ５３Ｖからのデータの読み出しが行われ、さらに、可能であれば、多重分離部５２において、画像バッファ５３Ｖの蓄積量が、オーバーフロー閾値THである値VSTを越えないように、画像バッファ５３Ｖへのデータの書き込みが行われる。その結果、画像バッファ５３Ｖのバッファサイズは、実質的に、SD画像に適切なバッファサイズVSとなる。
【０２４１】
音声バッファ５３Ａについても、画像バッファ５３Ｖと同様に、オーバーフロー閾値を設定することで、そのバッファサイズを実質的に制御することができる。
【０２４２】
なお、画像バッファ５３Ｖにおいて（音声バッファ５３Ａについても同様）、蓄積量が、オーバーフロー閾値THを越え、オーバーフロー状態となった場合には、例えば、バッファフラッシュを行って、オーバーフロー状態となっている画像バッファ５３Ｖに記憶されているデータ（画像ストリーム）を破棄してから、多重分離部５２から新たに供給される画像ストリームを記憶することができる。
【０２４３】
但し、オーバーフロー閾値THが大きい値から小さい値に変更された直後において、画像バッファ５３Ｖがオーバーフロー状態になった場合には、上述したようなオーバーフローを解消するためのデータの破棄は、制限される。
【０２４４】
すなわち、図１６は、オーバーフロー閾値THが大きい値から小さい値に変更されるときの画像バッファ５３Ｖを示している。
【０２４５】
図１６左から１番目では、画像バッファ５３Ｖには、n番目のHD画像#nと、n+1番目のHD画像#n+1とが記憶されており、また、画像バッファ５３Ｖの蓄積量は、HD画像についてのオーバーフロー閾値VHT以下になっている。
【０２４６】
画像バッファ５３Ｖに記憶されているHD画像#n及び#n+1は、順次読み出され、後段のデコーダ部５４に供給される。
【０２４７】
いま、n+1番目のHD画像#n+1の次の画像以降がSD画像となっていることとすると、多重分離部５２から画像バッファ５３Ｖには、n+2番目の画像として、SD画像#n+2が供給され、n+3番目の画像として、SD画像#n+3が供給される。以下、同様に、多重分離部５２から画像バッファ５３Ｖには、SD画像が供給される。
【０２４８】
また、多重分離部５２から画像バッファ５３ＶにSD画像の供給が開始されると、画像バッファ５３Ｖのオーバーフロー閾値THは、HD画像についてのオーバーフロー閾値VHTから、SD画像についてのオーバーフロー閾値VSTに変更される。
【０２４９】
図１６左から２番目は、多重分離部５２から画像バッファ５３ＶへのSD画像の供給が開始され、n+1番目のHD画像#n+1と、n+2番目のSD画像#n+2、及びn+3番目のSD画像#n+3とが記憶されている状態の画像バッファ５３Ｖを示している。
【０２５０】
図１６左から２番目では、上述したように、画像バッファ５３Ｖのオーバーフロー閾値THが、大きい値の、HD画像についてのオーバーフロー閾値VHTから、小さい値の、SD画像についてのオーバーフロー閾値VSTに変更されているため、HD画像#n+1、並びに、SD画像#n+2及び#n+3が記憶されている画像バッファ５３Ｖは、蓄積量がオーバーフロー閾値VSTを越えて、オーバーフロー状態になっている。
【０２５１】
この場合、オーバーフロー状態の画像バッファ５３Ｖに記憶されているHD画像#n+1、並びに、SD画像#n+2及び#n+3が破棄されてしまうと、画像が途切れることになる。
【０２５２】
そこで、オーバーフロー閾値THが大きい値から小さい値に変更された直後において、画像バッファ５３Ｖがオーバーフロー状態になった場合には、オーバーフローを解消するためのデータの破棄は、制限される。
【０２５３】
図１６左から３番目（右から１番目）は、n+1番目のHD画像#n+1がデコーダ部５４に読み出された直後の画像バッファ５３Ｖを示している。
【０２５４】
図１６左から３番目では、図１６左から２番目に示した状態の画像バッファ５３Ｖから、HD画像#n+1が読み出され、SD画像#n+2及び#n+3だけが記憶された状態になっており、その結果、蓄積量が、オーバーフロー閾値VST以下となって、オーバーフロー状態が解消している。
【０２５５】
画像バッファ５３Ｖのオーバーフロー閾値THが、大きい値の、HD画像についてのオーバーフロー閾値VHTから、小さい値の、SD画像についてのオーバーフロー閾値VSTに変更され、画像バッファ５３Ｖがオーバーフロー状態になった場合には、上述のように、画像バッファ５３Ｖからの画像の読み出しが行われ、これにより、画像バッファ５３Ｖの蓄積量が、SD画像についてのオーバーフロー閾値VST以下となって、画像バッファ５３Ｖのオーバーフロー状態が解消するまでは、オーバーフローを解消するためのデータの破棄は制限される。
【０２５６】
そして、画像バッファ５３Ｖの蓄積量が、SD画像についてのオーバーフロー閾値VST以下となって、画像バッファ５３Ｖのオーバーフロー状態が解消した後は、可能であれば、画像デコーダ５４Ｖでは、画像バッファ５３Ｖの蓄積量が、SD画像についてのオーバーフロー閾値VSTを越えないように、画像バッファ５３Ｖからのデータの読み出しが行われ、さらに、可能であれば、多重分離部５２において、画像バッファ５３Ｖの蓄積量が、SD画像についてのオーバーフロー閾値VSTを越えないように、画像バッファ５３Ｖへのデータの書き込みが行われる。
【０２５７】
なお、画像バッファ５３Ｖは、例えば、リングバッファで構成することができる。
【０２５８】
すなわち、図１７は、リングバッファを用いた画像バッファ５３Ｖの構成例を模式的に示している。
【０２５９】
図１７上において、円周は、リングバッファとしての画像バッファ５３Ｖの記憶領域を表している。
【０２６０】
また、図１７上において、円周上の四角形（□）で示す読み出しポイントRPは、画像バッファ５３Ｖからのデータの読み出し位置（アドレス）を表し、円周上の三角形（△）で示す書き込みポイントWPは、画像バッファ５３Ｖへのデータの書き込み位置（アドレス）を表す。
【０２６１】
いま、読み出しポイントRP、及び書き込みポイントWPが、図１７上の円周上を、時計回りに回転し、読み出しポイントRPの位置からデータが読み出され、書き込みポイントWPの位置にデータが書き込まれることとすると、読み出しポイントRPと、書き込みポイントWPとは、互いに、一方が他方を追い越さないように制御される。
【０２６２】
さらに、読み出しポイントRPから、時計回りに、書き込みポイントWPまでのデータ量Vcが、画像バッファ５３Ｖの蓄積量であり、この蓄積量が、オーバーフロー閾値THを越えないように、画像バッファ５３Ｖからのデータ読み出しや、画像バッファ５３Ｖへのデータの書き込みが制御される。
【０２６３】
なお、画像バッファ５３Ｖに記憶されているデータの破棄（画像バッファ５３Ｖのバッファフラッシュ）は、例えば、図１７下に示すように、読み出しポイントRPを、書き込みポイントRPの位置に移動すること等の、書き込みポイントWPと、読み出しポイントRPとの位置を一致させることによって行うことができる。
【０２６４】
次に、画像バッファ５３Ｖ、及び音声バッファ５３Ａのバッファサイズと、制御部５６による、画像バッファ５３Ｖ、及び音声バッファ５３Ａのバッファサイズの制御とについて、さらに説明する。
【０２６５】
画像バッファ５３Ｖ及び音声バッファ５３Ａの最大のバッファサイズは、TVで処理をすることを想定している画像及び音声のうちの、最もデータ量が大の画像及び音声のデータ量に基づいて決定される。
【０２６６】
現在行われているディジタル放送の画像及び音声が、最もデータ量が大の画像及び音声であるとすると、本件発明者の経験によれば、画像バッファ５３Ｖのバッファサイズとしては、1.5MB(Mega Byte)を採用し、音声バッファ５３Ａのバッファサイズとしては、128KB(Kilo Byte)を採用することが望ましい。
【０２６７】
なお、0xに続く値が１６進数を表し、1KBが1024B(Byte)であり、１MBが1024KBであるとすると、1.5MBは、１６進数で、0x180000Bと表すことができ、128KBは、１６進数で、0x20000Bと表すことができる。
【０２６８】
いま、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズそのものを変更せずに、図１５で説明したように、オーバーフロー閾値を制御することにより、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズを、実質的に変更することとすると、制御部５６において、オーバーフロー閾値は、シーケンスヘッダ等の情報から計算により求めることもできるし、あらかじめ作成された、シーケンスヘッダ等の情報とオーバーフロー閾値とが対応付けられたテーブルを参照することにより求めることもできる。
【０２６９】
制御部５６は、シーケンスヘッダ等に基づき、画像バッファ５３Ｖ及び音声バッファ５３Ａのオーバーフロー閾値として、以下のような値を設定する。
【０２７０】
すなわち、例えば、シーケンスヘッダにおける画サイズ、つまり、シーケンスヘッダ(Sequence_Header)におけるhorizontal_size_valueとvertical_size_valueとから把握される画像の横×縦の画素数が、1920×1080画素以上である場合（画サイズが、いわゆるFull-HDサイズ以上のサイズである場合）、画像バッファ５３Ｖのオーバーフロー閾値は、例えば、約1.2MB(=0x130000B)に設定される。
【０２７１】
さらに、例えば、シーケンスヘッダにおける画サイズが、352×240画素以下であり、かつ、計算上64KB以下である場合、画像バッファ５３Ｖのオーバーフロー閾値は、例えば、約64KB(=0x10000B)に設定される。
【０２７２】
また、例えば、シーケンスヘッダにおける、音声データのサンプリング周波数が、48kHzであり、ビットレートが、192kbpsであり、コーデック（Codec)がAAC(Advanced Audio Coding)である場合、音声バッファ５３Ａのオーバーフロー閾値は、例えば、約123KB(=0x1ec00B)に設定される。
【０２７３】
次に、制御部５６において、再生対象（TVで処理する対象）の画像に適した画像バッファ５３Ｖのバッファサイズは、シーケンスヘッダ、さらには、その他の必要な情報に基づき、例えば、以下のようにして求めることができる。
【０２７４】
すなわち、いま、再生対象のMPEGストリームが、例えば、プル型のストリームであり、ファイルに格納されていることとする。
【０２７５】
また、再生対象のMPEGストリームが格納されたファイルを選択するときに、サーバやInfoファイル等から取得することができるフォーマット情報を、Aと表す。さらに、MPEGストリームのシーケンスヘッダやピクチャヘッダから取得することができる情報として、画サイズ、ビットレート、VBVバッファサイズ(VBV_Buffer_Size)、プロファイル(Profile)、レベル(Level)、及び画像のコーデックがMPEG1かどうかを表す情報（以下、適宜、MPEG1フラグという）があり、画サイズをBと、ビットレートをCと、VBVバッファサイズをDと、プロファイル及びレベルをEと、MPEG1フラグをFと、それぞれ表す。
【０２７６】
ここで、MPEG1フラグFは、full_pel_forward_vector値等の複数の値より、画像のコーデックがMPEG1であるかどうかが判別されて設定される。
【０２７７】
また、MPEG2のプロファイルによって決まるVBVバッファの最大のサイズ（最大VBVサイズ）をGと表し、画像バッファ５３Ｖにデータを記憶しておくことができる時間（許容時間）をH[ミリ秒]と表す。
【０２７８】
ここで、許容時間Hは、経験則で決定される。
【０２７９】
制御部５６は、フォーマット情報A、プロファイル及びレベルE、並びに、MPEG1フラグFにより、プロファイルやフォーマットの一致などを確認し、プロファイル毎に割り当てた「テーブル」を選択する。
【０２８０】
なお、プロファイルが不一致であった場合に「テーブル」として何を選ぶかは、過去の傾向等より導き出されている。また、MPEG1ではプロファイルは規定されていないが、経験則より、仮想プロファイルを割り当てる。この時選んだプロファイルを、Iと表す。
【０２８１】
次に、制御部５６は、画サイズＢに基づき、テーブル内から画サイズ適正バッファサイズJを選択する。なお、「テーブル」は、MPEG規格、及び、経験則より事前に作成されている。
【０２８２】
その後、制御部５６は、ビットレートC及び許容時間Hより期待するバッファ量tmp1を、例えば、式tmp1=C×Hにより導く。
【０２８３】
そして、制御部５６は、得られたビットレートCが正しいとは限らないため、バッファ量tmp1を補正し、新たなバッファ量tmp1'を求める。
【０２８４】
すなわち、制御部５６は、バッファ量tmp1がプロファイルIで規定されている最大VBVサイズGよりも大きい場合には、新たなバッファ量tmp1'を、最大VBVサイズGとする(tmp1'=G)。また、制御部５６は、バッファ量tmp1がプロファイルIで規定されている最大VBVサイズGよりも大きくない場合には、バッファ量tmp1を、そのまま、新たなバッファ量tmp1'とする(tmp1'=tmp1=C×H)。
【０２８５】
さらに、制御部５６は、得られたビットレートCが正しいとは限らないため、VBVバッファサイズDを補正し、新たなVBVバッファサイズtmp2を求める。
【０２８６】
すなわち、制御部５６は、VBVバッファサイズDがプロファイルIで規定されている最大VBVサイズGよりも大きい場合には、新たな最大VBVバッファサイズtmp2を、最大VBVサイズGとする(tmp2=G)。また、制御部５６は、VBVバッファサイズDがプロファイルIで規定されている最大VBVサイズGよりも大きくない場合には、VBVバッファサイズDを、そのまま、新たなVBVバッファサイズtmp2とする(tmp2=D)。
【０２８７】
そして、制御部５６は、再生対象の画像に適した画像バッファ５３Ｖのバッファサイズtmpを、例えば、式tmp=(α×J+β×tmp1'+γ×tmp2)/3に従って求める。
【０２８８】
ここで、係数α，β、及びγは、経験則によりあらかじめ求められた重み係数である。
【０２８９】
なお、バッファサイズtmpが小さすぎる値の場合は、TVが正しく動作しない可能性があるので、制御部５６は、バッファサイズtmpが、あらかじめ決められた最小値MINより小さい場合には、バッファサイズtmpを、最小値MINに補正する(tmp=MIN)。
【０２９０】
ここで、最小値MINは、MPEG2プロファイルで規定されている値よりなどから決まる。なお、MPEG1ではプロファイルがないので、最小値MINとしては、非常に小さい値が算出される可能性がある。また、最小値MINは、実際には、TVで使用するIC(Integrated Circuit)の制約などを考慮して決められる。
【０２９１】
次に、制御部５６において、再生対象の音声に適した音声バッファ５３Ａのバッファサイズは、MPEGストリームに含まれる各種のヘッダ、さらには、その他に必要な情報に基づき、例えば、以下のようにして求めることができる。
【０２９２】
すなわち、いま、再生対象のMPEGストリームが、例えば、プル型のストリームであり、ファイルに格納されていることとする。
【０２９３】
また、再生対象のMPEGストリームが格納されたファイルを選択するときに、サーバやInfoファイル等から取得することができるコーデックの情報（コーデック情報）を、Aと表す。
【０２９４】
さらに、MPEGストリームのヘッダから取得することができる情報として、コーデック情報、ビットレート、及びサンプリング周波数があり、そのコーデック情報をBと、ビットレートをCと、サンプリング周波数をDと、それぞれ表す。
【０２９５】
また、音声バッファ５３Ａにデータを記憶しておくことができる時間（許容時間）をE[ミリ秒]と表す。
【０２９６】
ここで、許容時間Eは、経験則で決定される。
【０２９７】
制御部５６は、コーデック情報A及びBから、コーデックの一致を確認し、コーデック毎に割り当てた基準バッファ量Kを選択する。
【０２９８】
なお、制御部５６は、基準バッファ量Kについては、内部でテーブル化していて、一致するものを選択する。また、コーデックが不一致であった場合に、基準バッファ量Kとして何を選ぶかも、過去の傾向等より導き出されており、テーブルから選択することができる。
【０２９９】
次に、制御部５６は、サンプリング周波数Dより割合係数αを求める。
【０３００】
そして、制御部５６は、再生対象の音声に適した音声バッファ５３Ａのバッファサイズtmpを、例えば、式tmp=α×C×Kに従って求める。
【０３０１】
なお、MPEGストリームのヘッダから取得することができる情報が間違っている可能性もあるので、制御部５６は、バッファサイズtmpが、あらかじめ決められた最小値MINより小さい場合には、バッファサイズtmpを、最小値MINに補正し（tmp=MIN)、バッファサイズtmpが、あらかじめ決められた最大値MAXより大きい場合には、バッファサイズtmpを、最大値MAXに補正する（tmp=MAX)。
【０３０２】
ここで、最大値MAXは、例えば、メモリサイズ、及び、コーデック情報より決められる。また、最小値MINは、例えば、コーデック情報より算出可能な、デコードするのに必要な最小サンプルや、TVに使用するICの制約などを考慮して決められる。
【０３０３】
なお、例えば、ディジタル放送等で放送されるプッシュ型のMPEGストリームを処理するTV等の装置には、そのプッシュ型のMPEGストリームをデコードするデコーダと、プッシュ型のMPEGストリームを一時記憶するメモリ領域とを用いて、ディジタルスチルカメラや、HDのディジタルビデオカメラ(HD-CAM)等で撮影した動画のMPEGストリーム、その他の、スゴ録（商標）等のレコーダやVaio（商標）等のPC等のDLNA(Digital Living Network Alliance)サーバとして機能する、プル型のMPEGストリームを出力する装置からの、そのプル型のMPEGストリームを処理することが要請されている。
【０３０４】
これは、プッシュ型のMPEGストリームを処理するデコーダ及びメモリ領域とは別に、プル型のMPEGストリームを処理するデコーダ及びメモリ領域を設けると、コストや、基板面積、消費電力が増大するからである。
【０３０５】
しかしながら、プッシュ型のMPEGストリームを処理するデコーダ及びメモリ領域を用いて、プル型のMPEGストリームを処理する場合において、MPEGストリームに、複数種類の画像（例えば、SD画像とHD画像等）のエレメンタリストリームや、複数種類の音声（例えば、日本語の音声と英語の音声等）のエレメンタリストリーム、複数種類の字幕（例えば、日本語の字幕と英語の字幕等）のエレメンタリストリームが含まれるときに、出力する画像等を、ある種類の画像等から他の種類の画像等に切り換える操作、すなわち、例えば、DVDの再生中に、音声を日本語から英語に切り換える操作等がされると、その切り換えのために、エレメンタリストリームを記憶するメモリ領域としてのES(Elementary Stream)バッファのバッファフラッシュをする必要がある。
【０３０６】
そして、ESバッファのバッファフラッシュが行われると、前述の図７で説明したように、ESバッファのバッファサイズによっては、切り換え後の画像等の出力が開始されるまでに長時間を要し、ユーザに不快感を与えることになる。
【０３０７】
そこで、プッシュ型のMPEGストリームを処理するデコーダ及びメモリ領域を用いて、プル型のMPEGストリームを処理する場合には、ESバッファ（例えば、図１０の画像バッファ５３Ｖ及び音声バッファ５３Ａ）のバッファサイズ（ESバッファのオーバーフロー閾値）を、プッシュ型のMPEGストリームを処理するときと、プル型のMPEGストリームを処理するときとで変更し、これにより、例えば、DVDから再生されたMPEGストリーム等のプル型のMPEGストリームの処理中において、出力する画像等の切り換えのために、バッファフラッシュが行われたときに、切り換え後の画像等の出力が開始されるまでの時間を短くすることができる。
【０３０８】
すなわち、プル型のMPEGストリームを処理するときに、プッシュ型のMPEGストリームを処理するときよりも、ESバッファのバッファサイズを小さくすることで、バッファフラッシュ時に破棄される画像等のデータ量が少なくなり、その結果、切り換え後の画像等の出力が開始されるまでの時間を短くすることができる。
【０３０９】
なお、図９のTVにおいて、ファイルに格納されたMPEGストリームを再生対象とする場合には、その再生対象とするMPEGストリームが格納されたファイルを選択するときに、各種ファイルの情報を認識することができることが多い（Infoファイルや、サーバより情報を取得することができる）ので、その情報に基づいて、ESバッファとしての画像バッファ５３Ｖや音声バッファ５３Ａのバッファサイズ（オーバーフロー閾値）を変更することができる。
【０３１０】
例えば、ファイルに格納された再生対象のMPEGストリームが、MPEG2-TSであることが認識された場合には、MPEG-TSは、HD-CAMで撮影されたコンテンツのストリームや、ディジタル放送で放送されたコンテンツのストリームである可能性が高いので、HDコンテンツであることが多い。そこで、再生対象のMPEGストリームが、MPEG2-TSである場合には、TVでは、画像バッファ５３Ｖのバッファサイズを、HDコンテンツに適した大きい値の、例えば、約1.2MBに変更することができる。
【０３１１】
また、例えば、ファイルに格納された再生対象のMPEGストリームが、MPEG2-PS(Program Stream)であることが認識された場合には、そのMPEGストリームは、DVDに記録されたコンテンツのストリーム等の、SDコンテンツのストリームである可能性が高い。そこで、TVでは、再生対象のMPEGストリームが、MPEG2-PSである場合には、画像バッファ５３Ｖのバッファサイズを、SDコンテンツに適した小さな値の、例えば、約256KBに変更することができる。
【０３１２】
さらに、例えば、ファイルに格納された再生対象のMPEGストリームが、MPEG1システムストリームであることが認識された場合には、そのMPEGストリームについては、最大で、SDコンテンツのMPEG2-PSを処理するときと同様のバッファサイズが必要となる可能性がある。そこで、TVでは、再生対象のMPEGストリームが、MPEG1システムストリームである場合には、画像バッファ５３Ｖのバッファサイズを、例えば、上述した、SDコンテンツに適した約256KBに変更することができる。
【０３１３】
また、図９のTVでは、多重分離部５２から音声バッファ５３Ａに供給される音声ストリームのコーデックに基づいて、音声バッファ５３Ａのバッファサイズを変更することができる。
【０３１４】
例えば、音声ストリームのコーデックが、AACである場合には、約128KBに、MPEG-Audioである場合には、約32KBに、LPCM(Linear Pulse-Code Modulation)である場合には、約64KBに、AC3(Audio Code number 3)である場合には、約64KBに、それぞれ、音声バッファ５３Ａのバッファサイズを変更することができる。
【０３１５】
なお、再生対象とするMPEGストリームが格納されたファイルを選択するときに認識することができる情報にのみ基づき、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズを制御する場合には、ファイルの途中で、コーデックや、画サイズ、HD/SDが変更されているMPEGストリームに対応することが困難となる。
【０３１６】
そこで、再生対象とするMPEGストリームに含まれるシーケンスヘッダ等のヘッダにも基づいて、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズを、ダイナミックに制御することにより、コーデック等が途中で変更されているMPEGストリームに対して、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズを適切なバッファサイズに変更することができる。
【０３１７】
以上のように、図９のTVでは、MPEGストリームから、必要なESを分離して一時記憶し、デコードする処理を行っている最中に得られるシーケンスヘッダ等に含まれるプロファイル情報や、画サイズ、VBVバッファサイズ、ビットレート等に基づいて、画像バッファ５３Ｖのバッファサイズを、ダイナミックに制御することにより、画像バッファ５３Ｖ又は音声バッファ５３Ａのうちの一方のバッファフラッシュが行われた場合に、無画又は無音の時間を短くして、迅速に、AV同期がとれた画像と音声の出力を行うことができる。
【０３１８】
さらに、図９のTVでは、画像ストリームを記憶するESバッファとして、１つの画像バッファ５３Ｖだけが設けられているので、例えば、SD画像の画像ストリームを記憶するESバッファと、HD画像の画像ストリームを記憶するESバッファといったように、画像の種類ごとにESバッファを設ける場合に比較して、コストを削減することができる。
【０３１９】
また、図９のTVにおいて、多重分離部５２、メモリ部５３、デコーダ部５４、外部出力部５５、及び制御部５６を、ストリーム処理部ということとすると、図９のTVでは、例えば、HDコンテンツとSDコンテンツとを、単一のストリーム処理部で処理することができるので、HDコンテンツを処理するストリーム処理部と、SDコンテンツを処理するストリーム処理部とを別に設ける場合に比較して、メモリやCPU等の削減が可能となり、その結果、コストを削減することができる。
【０３２０】
さらに、基板面積の縮小が可能となり、装置の小型化を図ることができる。
【０３２１】
また、消費電力の削減を図ることができる。
【０３２２】
さらに、例えば、HDコンテンツとSDコンテンツとが入り混じるMPEGストリームの再生をスムーズに行うことが可能となり、ユーザに不快感を与えることを防止することができる。
【０３２３】
また、MPEGストリームに、音声ストリームとして、第１及び第２の種類の音声ストリームが含まれる場合において、ユーザの操作に応じて、出力する音声を、第１又は第２の種類の音声ストリームのうちの一方の音声ストリームから、他方の音声ストリームに切り換えるときに、音声バッファ５３Ａのバッファフラッシュによって生じる無音の時間、及び、AV同期があった画像と音声の出力が開始されるまでの時間を短縮することができる。同様に、MPEGストリームに、画像ストリームとして、第１及び第２の種類の画像ストリームが含まれる場合において、ユーザの操作に応じて、出力する画像を、第１又は第２の種類の画像ストリームのうちの一方の画像ストリームから、他方の画像ストリームに切り換えるときに、画像バッファ５３Ｖのバッファフラッシュによって生じる無画の時間、及び、AV同期があった画像と音声の出力が開始されるまでの時間を短縮することができる。
【０３２４】
その結果、無音の時間や、無画の時間、AV同期があった画像と音声の出力が開始されるまでの時間が長時間となることによって、ユーザに不快感を与えることを防止することができる。
【０３２５】
なお、音声バッファ５３Ａについては、多重分離部５２から音声バッファ５３Ａに供給される音声ストリームのコーデック（符号化の方法（方式））に基づき、そのコーデックの音声ストリームに適したバッファサイズに、音声バッファ５３Ａのバッファサイズを制御することができる。
【０３２６】
そして、画像バッファ５３Ｖ及び音声バッファ５３Ａのバッファサイズの両方を、適切なバッファサイズに制御することにより、画像バッファ５３Ｖ及び音声バッファ５３Ａの両方のバッファフラッシュが行われた場合に、AV同期があった画像と音声の出力が開始されるまでの時間を短縮することができ、AV同期があった画像と音声の出力が開始されるまでの時間が長時間となることによって、ユーザに不快感を与えることを防止することができる。
【０３２７】
さらに、例えば、ディジタル放送等で放送されてくるMPEGストリーム等の、プッシュ型のMPEGストリームと、ディジタルカメラで撮影された動画のMPEGストリーム等の、プル型のMPEGストリームとを、単一のストリーム処理部で処理することができ、コストを削減することができる。
【０３２８】
以上、本発明を、TVに適用した場合について説明したが、本発明は、その他、例えば、コンテンツを再生するプレーヤ等に適用可能である。
【０３２９】
また、処理の対象とするビットストリームは、MPEGストリームに限定されるものではない。さらに、メモリ部５３には、画像及び音声以外のメディアのES（例えば、字幕のES等）を記憶するESバッファをさらに設け、TVでは、そのESバッファのバッファサイズを、画像バッファ５３Ｖ及び音声バッファ５３Ａと同様に、適切なバッファサイズに制御することができる。
【０３３０】
ここで、本明細書において、コンピュータ（例えば、図９のCPU５７）に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３３１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
【０３３２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３３３】
【図１】従来のTVの一例の構成を示すブロック図である。
【図２】メモリ部１３及びデコーダ部１４の構成例を示すブロック図である。
【図３】SDコンテンツを処理するブロックと、HDコンテンツを処理するブロックとが設けられたTVの構成例を示すブロック図である。
【図４】SDコンテンツとHDコンテンツのそれぞれに必要な画像バッファ１３Ｖのバッファサイズを説明する図である。
【図５】MPEGストリームの例を示す図である。
【図６】SDコンテンツに適切なバッファサイズの画像バッファ１３Ｖ、及び音声バッファ１３Ａの記憶内容を示す図である。
【図７】HDコンテンツに適切なバッファサイズの画像バッファ１３Ｖ、及び音声バッファ１３Ａの記憶内容を示す図である。
【図８】メモリ部１３の他の構成例を示すブロック図である。
【図９】本発明を適用したTVの一実施の形態の構成例を示すブロック図である。
【図１０】メモリ部５３、デコーダ部５４、及び制御部５６の構成例を示すブロック図である。
【図１１】バッファ制御処理を説明するフローチャートである。
【図１２】画像バッファ５３Ｖ、及び音声バッファ５３Ａのバッファサイズの制御を説明する図である。
【図１３】画像バッファ５３Ｖと音声バッファ５３Ａの記憶内容を示す図である。
【図１４】画像バッファ５３Ｖと音声バッファ５３Ａの記憶内容を示す図である。
【図１５】オーバーフロー閾値を制御することにより、画像バッファ５３Ｖのバッファサイズが実質的に変更されることを説明する図である。
【図１６】オーバーフロー閾値THが大きい値から小さい値に変更されるときの画像バッファ５３Ｖの記憶内容を示す図である。
【図１７】リングバッファを用いた画像バッファ５３Ｖの構成例を示す図である。
【符号の説明】
【０３３４】
５１  外部入力部，  ５２  多重分離部，  ５３  メモリ部，  ５３Ａ  音声バッファ，  ５３Ｖ  画像バッファ，  ５４  デコーダ部，  ５４Ａ  音声デコーダ，  ５４Ｖ  画像デコーダ，  ５５  外部出力部，  ５６  制御部，  ５７  CPU，  ５８  RAM，  ５９  EEPROM，  ６１  バッファサイズ設定部，  ６２  バッファ制御部
【図１】
2008278190.tif 000003
【図２】
2008278190.tif 000004
【図３】
2008278190.tif 000005
【図４】
2008278190.tif 000006
【図５】
2008278190.tif 000007
【図６】
2008278190.tif 000008
【図７】
2008278190.tif 000009
【図８】
2008278190.tif 000010
【図９】
2008278190.tif 000011
【図１０】
2008278190.tif 000012
【図１１】
2008278190.tif 000013
【図１２】
2008278190.tif 000014
【図１３】
2008278190.tif 000015
【図１４】
2008278190.tif 000016
【図１５】
2008278190.tif 000017
【図１６】
2008278190.tif 000018
【図１７】
2008278190.tif 000019