(57)【要約】  大きな処理能力を必要とせずに、複数の符号化ストリームの再生を円滑に切り替える。  複数の符号化ストリームの１つを再生する符号化ストリーム再生装置（１００）であって、複数の符号化ストリームの１つを選択する出力選択部（１０９）と、選択された第１符号化ストリームと選択されていない第２符号化ストリームとを読み出すデータ読出し部（１０２）と、第１符号化ストリームに含まれる第１符号化ピクチャを復号化する復号化処理部（１０４）と、第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、第１符号化ストリームから第２符号化ストリームに円滑に表示を切り替えるための第２符号化ピクチャを、第２符号化ストリームから検出する対応データ検出部（１０３）とを備え、復号化処理部（１０４）は、さらに、検出された第２符号化ピクチャ、及び、第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する。
2010001609.tif 000002
【特許請求の範囲】
【請求項１】
複数の符号化ストリームの１つを再生する符号化ストリーム再生装置であって、
前記複数の符号化ストリームの１つを選択する選択部と、
前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、
前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、
前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、
前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
符号化ストリーム再生装置。
【請求項２】
前記符号化ストリーム再生装置は、さらに、
前記復号化部によって復号化された復号化ピクチャを蓄積する蓄積部と、
前記選択部によって選択された符号化ストリームから生成された復号化ピクチャを前記蓄積部から読み出して出力する出力部とを備え、
前記出力部は、前記選択部が前記第２符号化ストリームを選択した時、出力中の第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されて得られた第２復号化ピクチャを出力する
請求項１記載の符号化ストリーム再生装置。
【請求項３】
前記復号化部は、前記選択部が前記第２符号化ストリームを選択した時、前記出力部が出力していた第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されていない場合に、当該第２符号化ピクチャを復号化することで前記第２復号化ピクチャを生成する
請求項２記載の符号化ストリーム再生装置。
【請求項４】
前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
請求項１〜３のいずれか１項に記載の符号化ストリーム再生装置。
【請求項５】
前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近い時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
請求項４記載の符号化ストリーム再生装置。
【請求項６】
前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降、前記第１符号化ストリーム又は前記第２符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
請求項４記載の符号化ストリーム再生装置。
【請求項７】
前記第１符号化ストリームのフレームレートは、前記第２符号化ストリームのフレームレートより低く、
前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、前記表示時刻から、前記第１符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
請求項６記載の符号化ストリーム再生装置。
【請求項８】
前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャである場合、当該第２符号化ピクチャを復号化する
請求項１〜７のいずれか１項に記載の符号化ストリーム再生装置。
【請求項９】
前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャではなく、かつ、前記第３符号化ピクチャが復号化されていない場合、当該第３符号化ピクチャを復号化する
請求項１〜８のいずれか１項に記載の符号化ストリーム再生装置。
【請求項１０】
複数の符号化ストリームの１つを再生する符号化ストリーム再生方法であって、
前記複数の符号化ストリームの１つを選択する選択ステップと、
前記複数の符号化ストリームのうち、前記選択ステップで選択された符号化ストリームである第１符号化ストリームと、前記選択ステップで選択されていない符号化ストリームである第２符号化ストリームとを取得する取得ステップと、
前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化ステップと、
前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出ステップとを含み、
前記復号化ステップでは、さらに、前記対応データ検出ステップで検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
符号化ストリーム再生方法。
【請求項１１】
請求項１０記載の符号化ストリーム再生方法をコンピュータに実行させるためのプログラム。
【請求項１２】
複数の符号化ストリームの１つを再生する符号化ストリーム再生集積回路であって、
前記複数の符号化ストリームの１つを選択する選択部と、
前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、
前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、
前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、
前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
符号化ストリーム再生集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化ストリーム再生装置及び符号化ストリーム再生方法に関し、特に、比較的低い処理能力で複数の符号化ストリームの再生を円滑に切り替える符号化ストリーム再生装置及び符号化ストリーム再生方法に関する。
【背景技術】
【０００２】
近年、デジタル映像処理技術の発展とともに、扱われる画像データは増加の一途を辿っており、画像符号化による画像データの圧縮符号化は必須となっている。代表的な符号化規格には、ＭＰＥＧ−２（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−２）やＨ．２６４／ＡＶＣ（Ｈ．２６４／Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）などがある。【０００３】
これらの符号化規格では、所定数のピクチャをグループとして管理して符号化することが多い。ＭＰＥＧ−２におけるピクチャの管理単位であるＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）構造の一例を図７に示す。ＧＯＰは、他のピクチャを参照することなく符号化を行うＩピクチャ、表示順で前方のピクチャを参照して予測符号化を行うＰピクチャ、表示順で双方向のピクチャを参照して予測符号化を行うＢピクチャと呼ばれるピクチャで構成される。【０００４】
また、ＭＰＥＧ−２やＨ．２６４／ＡＶＣで符号化された画像データを記録するＢＤ−ＲＯＭ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録フォーマットには、マルチアングル機能が用意されている。マルチアングル機能とは、同じ時間に撮影された複数の符号化ストリームのそれぞれを復号化することで得られる複数の映像を切り替えて再生する機能である。【０００５】
図８は、同じ時間に複数の符号化ストリームが撮影された場合の各符号化ストリームの時間関係を表す図である。図８に示すように、任意のタイミングで再生中の符号化ストリームである第１ストリームから他の符号化ストリームである第２ストリームに切り替える場合について説明する。【０００６】
この場合、他の符号化ストリームの次の時刻のピクチャを復号化するには、そのピクチャよりも表示順で前方にあるＩピクチャから符号化ストリームの読出しを行い、復号化を始める必要がある。また、Ｈ．２６４／ＡＶＣ規格では、Ｐピクチャ及びＢピクチャの符号化時にＩピクチャを超えて他のピクチャを参照し符号化することが可能である。このため、さらにＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ）ピクチャまで遡って符号化ストリームの読み出しを行い、復号化を行う必要がある。なお、ＩＤＲピクチャとは、自ピクチャよりも前のピクチャを参照して符号化しないと定められたピクチャである。【０００７】
このように、符号化ストリームを切り替えようとしてから実際に符号化ストリームが切り替わるまでにタイムラグが発生し、シームレスな符号化ストリーム切り替えは実現できない。そこで、複数のストリームの映像を切り替えた際に、瞬時にシームレスな再生を実現するための技術が開示されている（例えば、特許文献１参照）。【０００８】
以下では、図９を参照しながら、特許文献１に開示されている従来の画像復号化装置の動作の概要を説明する。なお、図９は、同じ時間に撮影されて得られた２つの符号化ストリームが記録されている場合の従来の画像復号化装置４００の機能的な構成を示す機能ブロック図である。例えば、記録媒体４０１には、図８に示すような２つの符号化ストリームが記録されている。【０００９】
まず、データ読出し部４０２によって記録媒体４０１より読み出された２つの符号化ストリームは、逆多重化部４０３によって第１ストリームと第２ストリームとに分離される。第１ストリームは第１画像復号化部４０４によって、第２ストリームは第２画像復号化部４０５によって復号化され、画像蓄積部４０６に保持される。出力選択部４０８は、操作受付部４０９によって受け付けたユーザーの操作をもとに出力ストリームを選択する。出力切り替え部４０７は、出力選択部４０８によって選択されたストリームを表示部４１０に出力し、表示部４１０がストリームに含まれる映像を表示する。【００１０】
ユーザーからの出力ストリーム変更の操作を操作受付部４０９が受け付けた場合、出力選択部４０８はその操作情報に基づいて、出力ストリームとして選択するストリームを切り替える。ここで、２つのストリームはともに第１画像復号化部４０４及び第２画像復号化部４０５によって復号化された後、画像蓄積部４０６に保持されているため、出力の切り替えを瞬時に行うことができる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００６−２１７６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記従来技術では、複数の符号化ストリームの再生を円滑に切り替えるためには大きな処理能力を必要とするという課題があった。具体的には、以下の通りである。【００１３】
特許文献１で開示されている従来の技術では、複数の符号化ストリームを同時に復号化する必要がある。このため、Ｎ本の符号化ストリームのシームレスな切り替えを実現するためには、１本の符号化ストリームのみの復号化に対応した復号化装置に比べて、Ｎ倍の復号化能力が必要とされる。また、画像を保持するバッファもＮ倍の容量が必要となる。【００１４】
また、図１０に示すように、撮影時のフレームレートが異なる複数の符号化ストリームがある場合を想定する。図１０は、６０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）で撮影された符号化ストリームと２４０ｆｐｓで撮影された符号化ストリームとが同時に撮影された場合に得られた各符号化ストリームの時間関係を表す図である。【００１５】
この場合、特許文献１で開示されている従来の技術を用いてシームレスに符号化ストリームの切り替えを実現しようとすると、２つの符号化ストリームの時間関係を合わせるためには２４０ｆｐｓで撮影された符号化ストリームに関しては２４０ｆｐｓで復号化する必要がある。つまり、Ｎ倍速のフレームレートで撮影された符号化ストリームに関してはＮ倍速での復号化が必要である。【００１６】
以上のように、従来の技術を用いてシームレスに符号化ストリームの切り替えを実現するためには、復号化装置に大きな処理能力が必要とされた。【００１７】
そこで、本発明は、このような従来の課題を解決するためになされたもので、大きな処理能力を必要とすることなく、複数の符号化ストリームの再生を円滑に切り替える符号化ストリーム再生装置及び符号化ストリーム再生方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明に係る符号化ストリーム再生装置は、複数の符号化ストリームの１つを再生する符号化ストリーム再生装置であって、前記複数の符号化ストリームの１つを選択する選択部と、前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する。【００１９】
これにより、第１符号化ストリームを再生中に、第２符号化ストリームから第２符号化ピクチャを検出し、検出した第２符号化ピクチャ及び第３符号化ピクチャを復号化するので、複数の符号化ストリームの再生を円滑に切り替えることができる。このとき、第２符号化ストリームの全てのピクチャを復号化する訳ではないので、復号化部に大きな処理能力を必要とすることはない。【００２０】
また、前記符号化ストリーム再生装置は、さらに、前記復号化部によって復号化された復号化ピクチャを蓄積する蓄積部と、前記選択部によって選択された符号化ストリームから生成された復号化ピクチャを前記蓄積部から読み出して出力する出力部とを備え、前記出力部は、前記選択部が前記第２符号化ストリームを選択した時、出力中の第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されて得られた第２復号化ピクチャを出力してもよい。【００２１】
これにより、符号化ストリームの切り替えを行うときに出力中の第１符号化ピクチャに対応する第２復号化ピクチャを出力するので、円滑に複数の符号化ストリームの再生を切り替えることができる。【００２２】
また、前記復号化部は、前記選択部が前記第２符号化ストリームを選択した時、前記出力部が出力していた第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されていない場合に、当該第２符号化ピクチャを復号化することで前記第２復号化ピクチャを生成してもよい。【００２３】
これにより、出力時に目的となる復号化ピクチャが得られていない場合は、復号化してから出力するので、円滑に複数の符号化ストリームの再生を切り替えることができる。【００２４】
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。【００２５】
これにより、出力中の復号化ピクチャの表示時刻から所定期間内の表示時刻の符号化ピクチャを検出及び復号化するので、より円滑に複数の符号化ストリームの再生を切り替えることができる。【００２６】
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近い時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。【００２７】
これにより、出力中の復号化ピクチャの直後のピクチャを出力することができるので、シームレスに複数の符号化ストリームの再生を切り替えることができる。【００２８】
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降、前記第１符号化ストリーム又は前記第２符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。【００２９】
これにより、より円滑に複数の符号化ストリームの再生を切り替えることができる。【００３０】
また、前記第１符号化ストリームのフレームレートは、前記第２符号化ストリームのフレームレートより低く、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、前記表示時刻から、前記第１符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。【００３１】
これにより、より円滑に複数の符号化ストリームの再生を切り替えることができる。【００３２】
また、前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャである場合、当該第２符号化ピクチャを復号化してもよい。【００３３】
これにより、第２符号化ピクチャが参照ピクチャではない場合は第２符号化ピクチャを復号化しないので、復号化部の処理負荷をより低減することができる。【００３４】
また、前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャではなく、かつ、前記第３符号化ピクチャが復号化されていない場合、当該第３符号化ピクチャを復号化してもよい。【００３５】
これにより、第２符号化ピクチャが参照ピクチャではない場合は第２符号化ピクチャを復号化せず、第２符号化ピクチャの復号化時に参照される第３符号化ピクチャを復号化するので、第３符号化ピクチャを参照する符号化ピクチャの復号化が必要になった時に、直ちに符号化ピクチャを復号化することができる。【００３６】
なお、本発明は、符号化ストリーム再生装置として実現できるだけではなく、当該符号化ストリーム再生装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−ＲＯＭ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ−ＲＯＭ）、ＢＤ−ＲＯＭなどの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。【００３７】
また、上記の各符号化ストリーム再生装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００３８】
本発明の符号化ストリーム再生装置によれば、大きな処理能力を必要とすることなく、複数の符号化ストリームの再生を円滑に切り替えることができる。
【図面の簡単な説明】
【００３９】
【図１】図１は、本実施の形態の符号化ストリームの一例であるＭＰＥＧ２−ＴＳの構成を示す図である。
【図２】図２は、本実施の形態の符号化ストリーム再生装置の機能的な構成の一例を示すブロック図である。
【図３】図３は、本実施の形態の符号化ストリーム再生装置が再生する複数のストリームの一例を示す図である。
【図４】図４は、本実施の形態の符号化ストリーム再生装置が再生する複数のストリームの一例を示す図である。
【図５】図５は、本実施の形態の符号化ストリーム装置の再生動作の一例を示すフローチャートである。
【図６】図６は、本実施の形態の符号化ストリーム装置の再生動作のうち、再生中でない符号化ストリームの復号化処理の一例を示すフローチャートである。
【図７】図７は、ＧＯＰ構造の一例を示す図である。
【図８】図８は、同一のフレームレートの２つの符号化ストリームの時間関係を示す図である。
【図９】図９は、従来の画像復号化装置の機能的な構成を示すブロック図である。
【図１０】図１０は、異なるフレームレートの２つの符号化ストリームの時間関係を示す図である。
【発明を実施するための形態】
【００４０】
以下、本発明に係る符号化ストリーム再生装置の実施の形態について、図面を参照しながら説明する。
【００４１】
（実施の形態１）
本実施の形態の符号化ストリーム再生装置は、外部又は内部に着脱可能に配置された記録媒体に記録された複数の符号化ストリームの１つを再生する。具体的には、記録媒体から複数の符号化ストリームを読み出し、読み出した符号化ストリームの復号化を行い、復号化により得られた復号化ピクチャをディスプレイなどの外部装置に出力する構成を想定する。
【００４２】
まず、本実施の形態において、符号化ストリーム再生装置が記録媒体から読み出す符号化ストリームについて図面を参照しながら説明する。なお、本実施の形態においては、記録媒体からＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）で多重化された符号化ストリームを読み出す構成で記述するが、ＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ  Ｓｔｒｅａｍ）などの多重化方式を利用する構成でも構わない。また、符号化ストリームに含まれる画像データは、Ｈ．２６４／ＡＶＣを用いて符号化されているものとするが、画像データに適用される符号化方式は、例えば、ＭＰＥＧ−２、ＶＣ−１など、どのような符号化方式を用いても構わない。
【００４３】
（ＭＰＥＧ２−ＴＳの構成）
図１は、本実施の形態の符号化ストリームの一例であり、記録媒体に記録されるＭＰＥＧ２−ＴＳの構成を示す図である。図１に示すＭＰＥＧ２−ＴＳは、ＴＳパケット１１と呼ばれる固定長のパケットで構成される。ＴＳパケット１１により、映像や音声のデータが格納されたＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケット１２、及び、ＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）１３と呼ばれる基準クロック情報などが伝送される。
【００４４】
ＰＥＳパケット１２のＰＥＳパケットヘッダ１４には、ＰＥＳパケットペイロード１５に格納された映像や音声の復号化単位であるアクセスユニットの表示及び復号化タイミングをそれぞれ表すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、及び、ＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）と呼ばれる時刻情報が格納される。
【００４５】
また、映像データの各アクセスユニットには１ピクチャ分の符号化データが含まれている。具体的には、符号化ストリームに含まれるピクチャの画像データと、ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）やＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）などの画像復号化に用いられるパラメータと、各ピクチャのタイミング情報などの付加情報を含むＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）などの情報を格納した複数のＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）ユニット１６という単位のデータで、各アクセスユニットは構成される。また、各ＮＡＬユニット１６のヘッダには、そのＮＡＬユニットに他のＮＡＬユニットから参照され得るデータが含まれているか否かを示す情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）が含まれている。
【００４６】
以下、本実施の形態における符号化ストリーム再生装置について図面を参照しながら説明する。
【００４７】
（符号化ストリーム再生装置１００の構成）
図２は、本実施の形態の符号化ストリーム再生装置１００の構成の一例を示すブロック図である。同図の符号化ストリーム再生装置１００は、記録媒体１０１と、データ読出し部１０２と、対応データ検出部１０３と、復号化処理部１０４と、復号画像蓄積部１０５と、出力部１０６と、制御部１０７と、操作受付部１０８と、出力選択部１０９とを備える。
【００４８】
本実施の形態においては、再生するストリームとして選択されている符号化ストリームをＡストリーム、その他の符号化ストリームをＢストリームと記載する。符号化ストリーム再生装置１００の動作当初は、再生するストリームとしてＡストリームが選択されており、その後、ユーザー操作などに基づいて、再生するストリームがＡストリームからＢストリームに変更される。
【００４９】
以下では、図３に示すような６０ｆｐｓのフレームレートを有するＨ．２６４規格で符号化された符号化ストリームがＡストリームとして選択され、２４０ｆｐｓのフレームレートを有するＨ．２６４規格で符号化された符号化ストリームがＢストリームとして選択されている場合について説明する。
【００５０】
記録媒体１０１は、複数の符号化ストリームを蓄積することが可能な記録手段である。記録媒体１０１には、例えば、図３に示すＡストリームとＢストリームとが記録されている。記録媒体１０１に記録されている情報は、主に符号化ストリームであるが、静止画データや音楽データなど、どのようなデータを蓄積する構成にしてもよい。また、記録媒体１０１は、符号化ストリーム再生装置１００が内蔵するメモリなどであってもよく、又は、ＤＶＤ−ＲＡＭ、ＢＤ−ＲＡＭ、ＳＤメモリカードなどの着脱可能な記録媒体であってもよい。
【００５１】
データ読出し部１０２は、出力選択部１０９によって選択された符号化ストリームと、出力選択部１０９によって選択されていない符号化ストリームとを取得する取得部の一例である。具体的には、データ読出し部１０２は、記録媒体１０１に記録された複数の符号化ストリームのうち、再生中の符号化ストリームであるＡストリームと、他の符号化ストリームであるＢストリームとを記録媒体１０１から読み出す。例えば、データ読出し部１０２は、内部バッファ１１０を備え、制御部１０７の制御に基づいて、記録媒体１０１に記録されるＡストリーム及びＢストリームから１ピクチャ分に相当する画像データの読出しを行い、内部バッファ１１０に蓄積する。
【００５２】
内部バッファ１１０は、制御部１０７が画像データの読出しを行う際に利用され、読み出された画像データを一時的に記憶するメモリである。内部バッファ１１０に一時的に記録される情報は、主に符号化された画像データであるが、制御信号などを記録するようにしても構わない。内部バッファ１１０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ）、フラッシュメモリ、又は強誘電体メモリなどの記録可能な手段であればどのようなものを用いても構わない。
【００５３】
対応データ検出部１０３は、出力部１０６から出力されているＡストリームに含まれる復号化ピクチャの時刻情報に基づいて、ＡストリームからＢストリームに時間的に滑らかに表示を切り替えるための対応符号化ピクチャをＢストリームから検出する。例えば、対応データ検出部１０３は、出力部１０６から出力されているＡストリームに対応する復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有する符号化ピクチャを、対応符号化ピクチャとしてＢストリームから検出する。
【００５４】
予め定められた期間は、例えば、Ａストリーム又はＢストリームの連続する符号化ピクチャ間を示す期間、すなわち、Ａストリーム又はＢストリームのフレームレートの逆数が示す期間である。図３に示すように、Ａストリーム及びＢストリームのフレームレートが異なっている場合、フレームレートが低いＡストリームの連続するピクチャ間に含まれるピクチャを対応符号化ピクチャとしてＢストリームから検出する。
【００５５】
例えば、図３に示す例では、Ｉピクチャ２０１に対応する対応データが表すピクチャ（対応符号化ピクチャ）は、Ｉピクチャ２０７からＢピクチャ２０４の間に含まれる４枚のピクチャである。あるいは、Ｉピクチャ２０１に対応する対応データが表すピクチャは、同時刻のＩピクチャ２０７であってもよい。
【００５６】
本実施の形態では、より好ましい例として、対応データ検出部１０３は、出力部１０６から出力されているＡストリームに含まれる復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近接する時刻を示す時刻情報を有する符号化ピクチャを、対応符号化ピクチャとして検出する。具体的には、対応データ検出部１０３は、制御部１０７の制御に基づいて、データ読出し部１０２が読み出したＢストリームに含まれる１ピクチャ分に相当する画像データのうち、出力部１０６から出力している復号化ピクチャに対応する画像データが有する表示時刻よりも未来の時刻であって、かつ、最も近接した表示時刻を有する画像データを、対応データとして検出する。
【００５７】
例えば、図３に示す例では、Ｉピクチャ２０１に対応する対応データが表すピクチャ（対応符号化ピクチャ）は、Ｂピクチャ２０２である。Ｂピクチャ２０３に対応する対応データが表すピクチャは、Ｂピクチャ２０４である。Ｂピクチャ２０５に対応する対応データが表すピクチャは、Ｐピクチャ２０６である。
【００５８】
なお、対応データ検出部１０３は、出力部１０６から出力している復号化ピクチャの表示時刻に基づいて対応データを検出する構成に限定するものではなく、復号画像蓄積部１０５に蓄積される復号化ピクチャを用いて検出する構成でもよい。あるいは、対応データ検出部１０３は、記録媒体１０１に記憶されている符号化ストリームから直接検出する構成でもよく、どのような構成を用いても構わない。
【００５９】
復号化処理部１０４は、データ読出し部１０２によって読み出されたＡストリームに含まれる符号化ピクチャを復号化することで復号化ピクチャを生成する。さらに、復号化処理部１０４は、対応データ検出部１０３によって検出された対応符号化ピクチャ、及び、対応符号化ピクチャを復号化する際に参照されるピクチャの少なくとも一方を復号化する。
【００６０】
具体的には、復号化処理部１０４は、制御部１０７の制御に基づいて、ＰＣＲを基に、ＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）を生成し、データ読出し部１０２によって読み出されたＡストリームに含まれる１ピクチャ分に相当する画像データが有するＤＴＳ、又は、対応データ検出部１０３によって検出された対応データが有するＤＴＳと、生成したＳＴＣとが一致するタイミングで、画像データの復号化を行い、復号化した際に得られる復号画像を復号画像蓄積部１０５に出力する。
【００６１】
なお、復号化処理部１０４は、対応データが、他のピクチャを復号化するときに参照される参照ピクチャを示す参照画像データであれば、当該対応データを復号化する。例えば、対応データがＩピクチャ又はＰピクチャを表す場合に、復号化処理部１０４は対応データを復号化する。
【００６２】
一方で、復号化処理部１０４は、対応データを復号化するときに必要な参照ピクチャが復号化されていない場合、当該対応データが参照する符号化ピクチャを示す画像データを復号化する。例えば、対応データが、他のピクチャを復号化するときに参照されない非参照ピクチャを示す非参照画像データであれば、復号化処理部１０４は、当該対応データの復号化時に参照する画像データを復号化する。例えば、対応データがＢピクチャを表す場合に、復号化処理部１０４は、当該Ｂピクチャを復号化するときに参照されるＩピクチャ及びＰピクチャを復号化する。
【００６３】
復号画像蓄積部１０５は、復号化処理部１０４によって生成された復号化ピクチャを蓄積する。また、復号画像蓄積部１０５は、Ｂストリームに含まれる対応符号化ピクチャを復号化する際に参照された参照ピクチャも蓄積する。具体的には、復号画像蓄積部１０５は、制御部１０７の制御に基づいて、復号化処理部１０４から出力される復号化ピクチャを蓄積するメモリである。例えば、復号画像蓄積部１０５は、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、又は強誘電体メモリなどの記録可能な手段であればどのようなものを用いても構わない。このように、再生中のＡストリームの復号化ピクチャだけでなく、再生中でないＢストリームの復号化ピクチャも蓄積しておくことで、ストリームを切り替える際に滑らかに表示を切り替えることができる。
【００６４】
出力部１０６は、復号画像蓄積部１０５から、再生中の符号化ストリームから生成された復号化ピクチャを読み出して外部装置に出力する。また、出力選択部１０９によって、再生中の符号化ストリームと異なる符号化ストリームが選択されたときは、出力部１０６は、出力選択部１０９によって選択された符号化ストリームから生成された復号化ピクチャを、復号画像蓄積部１０５から読み出して出力する。
【００６５】
具体的には、出力部１０６は、制御部１０７の制御に基づいて、復号画像蓄積部１０５に蓄積される復号化ピクチャのうち、出力選択部１０９が選択するＡストリームに対応する復号化ピクチャを読み出し、外部装置に出力する。そして、出力選択部１０９がＢストリームを選択した場合、出力部１０６は、Ｂストリームに対応する復号化ピクチャを復号画像蓄積部１０５から読み出して外部装置に出力する。
【００６６】
なお、出力部１０６は、復号画像蓄積部１０５に出力対象となる復号化ピクチャが蓄積されているか否かを判定する。具体的には、復号化された画像データが有するＰＴＳとＳＴＣとを用いて判定を行う。出力対象となる復号化ピクチャは、出力部１０６が出力中のＡストリームの復号化ピクチャに対応する、Ｂストリームの符号化ピクチャが復号化して得られた復号化ピクチャである。出力対象となる復号化ピクチャが蓄積されていない場合は、出力部１０６は、制御部１０７を介して復号化処理部１０４に出力対象となる復号化ピクチャを生成するように、対応データを復号化させる。
【００６７】
なお、外部装置は、例えば、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、液晶ディスプレイ、有機ＥＬ表示装置など、復号化ピクチャを表示可能な表示手段を備える装置であればどのようなものを利用しても構わない。また、判定する際の情報は、ＰＴＳ及びＳＴＣに限定されるものではなく、出力対象となる画像データ情報と、復号画像蓄積部１０５に蓄積される復号化ピクチャとをマッチング可能な情報であれば、どのようなものを用いても構わない。
【００６８】
制御部１０７は、データ読出し部１０２、対応データ検出部１０３、復号化処理部１０４、復号画像蓄積部１０５、出力部１０６、操作受付部１０８、及び出力選択部１０９の動作を制御することにより、符号化ストリーム再生装置１００全体の動作を制御する。制御部１０７は、半導体素子などで実現可能であり、ハードウェアのみで構成しても構わない。あるいは、ハードウェアとソフトウェアとを組み合わせることにより実現しても構わない。また、複数のデバイスで構成しても構わない。なお、制御部１０７をソフトウェアで実装する場合は、マイクロプロセッサを用いることによって実現可能となる。
【００６９】
操作受付部１０８は、ユーザーからの各種の指示を操作信号として受け付けることが可能である。操作受付部１０８は、受け付けた操作信号を制御部１０７に出力する。また、受け付けた操作信号が、出力部１０６から外部装置に出力する符号化ストリームの切り替え操作に関する操作信号である場合、操作受付部１０８は、当該操作信号を出力選択部１０９に出力する。なお、操作受付部１０８は、例えば、リモコンから送信される操作信号を受信した際に操作信号を検出する構成としてもよい。あるいは、操作受付部１０８は、押圧操作が可能なボタンなどを設け、当該押圧操作がなされた際に操作信号を検出する構成でもよく、どのような構成でも構わない。
【００７０】
出力選択部１０９は、操作受付部１０８から出力される操作信号を検出すると、当該操作信号を基に、出力部１０６から出力する符号化ストリームを選択する選択信号を制御部１０７に出力する。
【００７１】
続いて、本実施の形態の符号化ストリーム再生装置１００が備える対応データ検出部１０３の動作の一例について説明する。具体的には、Ｂストリームの対応データを検出処理の一例について説明する。
【００７２】
符号化ストリームに含まれる１ピクチャ分に相当する画像データの表示時刻に関する時間関係は、画像データが有する表示時刻を表すＰＴＳより判別することができる。図３に示すＩピクチャ２０１に対応する対応データが表す対応符号化ピクチャを検出したい場合、各ストリームの時刻情報が同期しているとすると、Ｉピクチャ２０１に相当する画像データのＰＴＳよりも未来のＰＴＳであって、さらに、最も近いＰＴＳを有する画像データをＢストリームから検出すればよい。すなわち、対応データ検出部１０３は、Ｉピクチャ２０１の対応符号化ピクチャとして、Ｂピクチャ２０２を検出する。
【００７３】
なお、フレームレートが一定であれば、表示順で連続したピクチャのＰＴＳの間隔も一定であるため、過去に読み出した画像データが有するＰＴＳを基に、ストリーム中の各ピクチャのＰＴＳを計算できる。このため、Ｂストリームの過去に読み出した画像データが有するＰＴＳを基に、Ｂストリームの各ピクチャのＰＴＳを予め計算しておくことで、Ｉピクチャ２０１のＰＴＳを読み出した時点で、対応データが有すべきＰＴＳを判定できる。
【００７４】
一方、各ストリームの時刻情報が同期しておらず、ストリームの接続点のみが指定されている場合は、対応データ検出部１０３は、予め各ストリーム間の時刻情報のずれを算出しておく。図４に、各ストリームの時刻情報が同期していない場合の例を示す。
【００７５】
この場合、対応データ検出部１０３は、ストリームの接続点でのＡストリームの表示ピクチャ３０１のＰＴＳからＢストリームの表示ピクチャ３０２のＰＴＳを引いたＰＴＳ＿Ｏｆｆｓｅｔという値を予め算出し、保持しておく。ここで、Ｉピクチャ３１１に対応する対応データが表す対応符号化ピクチャを検出したい場合、Ｉピクチャ３１１に相当する画像データのＰＴＳからＰＴＳ＿Ｏｆｆｓｅｔ値を引いたＰＴＳよりも未来のＰＴＳであって、さらに、最も近いＰＴＳを有する画像データをＢストリームから検出すればよい。すなわち、対応データ検出部１０３は、Ｉピクチャ３１１の対応符号化ピクチャとして、Ｂピクチャ３１２を検出する。
【００７６】
以降、簡単のため各ストリームの時刻情報が同期している場合を想定し説明を行うが、各ストリームの時刻情報が同期していない場合も同様に、上記の方法により各ストリームの画像データの表示時刻に関する時間関係を判別することができる。
【００７７】
なお、複数のアクセスユニットが１つのＰＥＳパケットに多重化されている場合、パケットヘッダのＤＴＳ及びＰＴＳは、ＰＥＳパケット内の１番目のアクセスユニットに対応したものとなる。この場合、ＰＥＳパケット内の２番目以降のアクセスユニットの復号化時刻及び表示時刻は、表示順序を表すパラメータであるＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）値、又は、ＳＥＩ内のＢＰ＿ＳＥＩ（Ｂｕｆｆｅｒｉｎｇ  Ｐｅｒｉｏｄ＿ＳＥＩ）及びＰＴ＿ＳＥＩ（Ｐｉｃｔｕｒｅ  Ｔｉｍｉｎｇ＿ＳＥＩ）情報のうち少なくとも１つから算出される。
【００７８】
ＰＯＣ値によりアクセスユニットの復号化時刻及び表示時刻を表す場合、ＰＯＣ値とアクセスユニットの表示時刻との間に一定の関係が成り立ち、ＰＯＣ値より復号化時刻及び表示時刻を算出することができる。また、ＢＰ＿ＳＥＩは、ビデオシーケンスの先頭などの特定のアクセスユニットに含まれ、ＰＴ＿ＳＥＩは、全てのアクセスユニットに含まれる値である。このＰＴ＿ＳＥＩには、直前のＢＰ＿ＳＥＩを含むアクセスユニットからの復号化時刻の差分値、及び各アクセスユニットにおける復号化時刻と表示時刻との差分値が含まれることから、各アクセスユニットの復号化時刻及び表示時刻を算出できる。
【００７９】
続いて、本実施の形態の符号化ストリーム再生装置１００が備える復号化処理部１０４及び制御部１０７の動作の一例について説明する。具体的には、対応データ検出部１０３によって検出された対応データを復号化する際の処理の一例について説明する。
【００８０】
上述のように、復号化処理部１０４は、対応データが参照画像データであるか否か、及び、対応データを復号化する際に参照する画像データが生成されているか否かによって復号化するデータが異なる。
【００８１】
ここで、対応データが参照画像データとなり得るか否かは、対応データが有するデータのうち、ＮＡＬユニットのヘッダに格納されるｎａｌ＿ｒｅｆ＿ｉｄｃというフラグから判定できる。ｎａｌ＿ｒｅｆ＿ｉｄｃが１の場合、対応データは参照画像データと判定される。一方、ｎａｌ＿ｒｅｆ＿ｉｄｃが０の場合、対応データは参照画像データではないと判定される。この判定は、例えば、復号化処理部１０４によって実行される。
【００８２】
例えば、図３において、対応データ検出部１０３が、対応データとしてＢピクチャ２０２を示す画像データを検出した場合において、復号化処理部１０４は、Ｂピクチャ２０２を示す画像データのｎａｌ＿ｒｅｆ＿ｉｄｃから、Ｂピクチャ２０２が他の画像データの復号化に必要ではないと判定した場合、Ｉピクチャ２０７を示す画像データと、Ｐピクチャ２０８を示す画像データとを復号化し、得られる２つの復号化ピクチャを復号画像蓄積部１０５に出力する。
【００８３】
また、対応データ検出部１０３が、対応データとしてＰピクチャ２０６を示す画像データを検出した場合において、復号化処理部１０４は、Ｐピクチャ２０６を示す画像データのｎａｌ＿ｒｅｆ＿ｉｄｃから、Ｐピクチャ２０６が参照画像データであると判定した場合、このＰピクチャ２０６を復号化し、得られる復号化ピクチャを復号画像蓄積部１０５に出力する。
【００８４】
なお、Ｂピクチャ２０２を示す画像データに対し、Ｉピクチャ２０７を示す画像データと、Ｐピクチャ２０８を示す画像データと、Ｂピクチャ２０２を示す画像データとを復号化し、得られる３つの復号化ピクチャを復号画像蓄積部１０５に出力する構成にしても構わない。また、Ｂピクチャ２０２に対応する画像データのみを復号化し、得られる復号化ピクチャを復号画像蓄積部１０５に出力する構成にしても構わない。この場合、Ｂピクチャ２０２に対応する画像データを復号化するため、再生ストリームを切り替える際、さらに切り替えの効率化を図ることが可能となる。
【００８５】
（符号化ストリーム再生装置１００全体の動作）
以下では、上述したように構成された符号化ストリーム再生装置１００の動作について、図面を参照しながら説明する。
【００８６】
図５は、本実施の形態の符号化ストリーム再生装置１００の再生動作の一例を示すフローチャートである。
【００８７】
符号化ストリーム再生装置１００では、ユーザーからＡストリームの再生操作を操作受付部１０８が検出した場合、操作受付部１０８は、制御部１０７にその旨を通知し、ステップＳ１０２に進む（ステップＳ１０１）。
【００８８】
制御部１０７は、操作受付部１０８から通知を受けると、データ読出し部１０２を制御し、データ読出し部１０２は、記録媒体１０１に記録されているＡストリームに含まれる１ピクチャ分に相当する画像データを読み出し、復号化処理部１０４及び対応データ検出部１０３に出力し、ステップＳ１０３及びステップＳ１０４に進む（ステップＳ１０２）。
【００８９】
制御部１０７による制御に基づいて、復号化処理部１０４は、データ読出し部１０２によって読み出された画像データの復号化を行い、復号画像蓄積部１０５に出力し、ステップＳ１０５に進む（ステップＳ１０３）。
【００９０】
また、制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ１０３と並行して、読み出したＡストリームの画像データに対応するＢストリームに含まれる画像データの復号化を行い、得られる復号化ピクチャを復号画像蓄積部１０５に出力し、ステップＳ１０５に進む（ステップＳ１０４）。なお、Ｂストリームに含まれる画像データの復号化処理については、図６を用いて後で詳しく説明する。
【００９１】
なお、制御部１０７は、ステップＳ１０３と、ステップＳ１０４とを並行して処理する動作でも構わないし、ステップＳ１０４を処理した後、ステップＳ１０３を処理する動作でも構わないし、ステップＳ１０３を処理した後、ステップＳ１０４を処理する動作でも構わない。
【００９２】
制御部１０７による制御に基づいて、復号画像蓄積部１０５は、復号化処理部１０４において画像データを復号化した際に得られる復号化ピクチャを蓄積し、ステップＳ１０６に進む（ステップＳ１０５）。
【００９３】
制御部１０７は、出力選択部１０９から符号化ストリームの切り替え操作に関する操作信号が出力されているか否かを判定する（ステップＳ１０６）。符号化ストリームの切り替え操作に関する操作信号が出力されていない場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０７に進み、出力されている場合は（ステップＳ１０６でＮｏ）、ステップＳ１０９に進む。
【００９４】
制御部１０７による制御に基づいて、出力部１０６は、復号画像蓄積部１０５からＡストリームに対応する復号化ピクチャを読み出し、出力し、ステップＳ１０８に進む（ステップＳ１０７）。
【００９５】
制御部１０７は、符号化ストリームの再生動作の終了を判定する（ステップＳ１０８）。終了と判定された場合は（ステップＳ１０８でＹｅｓ）、そのまま動作を終了する。一方、再生動作が継続されると判定された場合は（ステップＳ１０８でＮｏ）、ステップＳ１０２に戻り、同様の動作を繰り返す。なお、再生動作が終了する判定は、制御部１０７において行う構成にしても構わないし、別途判定を行う判定部を符号化ストリーム再生装置１００が備える構成にしても構わない。
【００９６】
一方、符号化ストリームの切り替え操作に関する操作信号を検出した場合（ステップＳ１０６でＮｏ）、制御部１０７による制御に基づいて、出力部１０６は、出力すべき復号化ピクチャが復号画像蓄積部１０５に蓄積されているか否かを判定する（ステップＳ１０９）。出力すべき復号化ピクチャが蓄積されていると判定された場合は（ステップＳ１０９でＹｅｓ）、ステップＳ１０７に進み、蓄積されていないと判定された場合は（ステップＳ１０９でＮｏ）、ステップＳ１１０に進む。なお、この判定は、制御部１０７で行う構成にしても構わないし、別途蓄積されているか否かを判定する判定部を符号化ストリーム再生装置１００が備える構成にしても構わない。
【００９７】
出力すべき復号化ピクチャが蓄積されていないと判定された場合（ステップＳ１０９でＮｏ）、制御部１０７は、復号化処理部１０４を制御し、復号化処理部１０４は、出力部１０６から出力する予定の復号化ピクチャを、復号画像蓄積部１０５が蓄積している復号化ピクチャを基に復号化し、復号画像蓄積部１０５に出力し、ステップＳ１０７に進む（ステップＳ１１０）。
【００９８】
（Ｂストリームを復号化する際の復号化処理部１０４の動作）
次に、復号化処理部１０４がＢストリームに含まれる画像データを復号化する際の動作について図面を参照しながら説明する。なお、ＰＴＳ＿Ａを、データ読出し部１０２が読み出したＡストリームの画像データが有するＰＴＳとし、ＰＴＳ＿Ｂを、データ読出し部１０２が読み出したＢストリームの画像データが有するＰＴＳとする。
【００９９】
図６は、本実施の形態の符号化ストリーム再生装置１００の再生動作のうち、再生中でない符号化ストリームの復号化処理の一例を示すフローチャートである。
【０１００】
まず、制御部１０７による制御に基づいて、対応データ検出部１０３は、ステップＳ１０２においてデータ読出し部１０２が読み出した画像データのＰＴＳ＿Ａを検出し、ステップＳ２０２に進む（ステップＳ２０１）。
【０１０１】
次に、制御部１０７による制御に基づいて、データ読出し部１０２は、記録媒体１０１からＢストリームに含まれる画像データを読み出し、ステップＳ２０３に進む（ステップＳ２０２）。
【０１０２】
制御部１０７による制御に基づいて、対応データ検出部１０３は、ステップＳ２０１において検出したＰＴＳ＿Ａと、ステップＳ２０２において読み出されたＢストリームに含まれる画像データが有するＰＴＳ＿Ｂとを比較する（ステップＳ２０３）。ＰＴＳ＿ＢがＰＴＳ＿Ａよりも未来のＰＴＳであって、さらに、最も近接したＰＴＳである場合（ステップＳ２０３でＹｅｓ）、対応データ検出部１０３は、ＰＴＳ＿Ｂを有する画像データを対応データとして復号化処理部１０４へ出力し、ステップＳ２０４に進む。そうでない場合は（ステップＳ２０３でＮｏ）、ステップＳ２０２に戻り、データ読出し部１０２はＢストリームに含まれる次の画像データを読み出す。
【０１０３】
次に、制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ２０３において出力された対応データのヘッダに有するｎａｌ＿ｒｅｆ＿ｉｄｃを基に、当該画像データが参照画像データであるか否かを判定する（ステップＳ２０４）。当該対応データが参照画像データである場合は（ステップＳ２０４でＹｅｓ）、ステップＳ２０５に進む。参照画像データではない場合は（ステップＳ２０４でＮｏ）、ステップＳ２０７に進む。
【０１０４】
当該対応データが参照画像データであると判定された場合（ステップＳ２０４でＹｅｓ）、制御部１０７は、当該対応データが復号化済みであるか否かを判定する（ステップＳ２０５）。復号化済みである場合は（ステップＳ２０５でＹｅｓ）、そのまま動作を終了する。復号化されていない場合は（ステップＳ２０５でＮｏ）、ステップＳ２０６に進む。なお、復号化済みであるか否かの判定は、対応データに含まれるＰＴＳなど、当該画像データが有するヘッダ情報を利用する構成にしても構わない。
【０１０５】
制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ２０３において出力された対応データの復号化を行い、動作を終了する（ステップＳ２０６）。
【０１０６】
当該対応データが参照画像データではないと判定された場合（ステップＳ２０４でＮｏ）、制御部１０７は、当該対応データに対応する参照画像データが復号化されているか否かを判定する（ステップＳ２０７）。当該対応データに対応する参照画像データが復号化されていると判定された場合（ステップＳ２０７でＹｅｓ）、そのまま動作を終了する。そうではない場合は（ステップＳ２０７でＮｏ）、ステップＳ２０８に進む。
【０１０７】
参照画像データが復号化されていないと判定された場合（ステップＳ２０７でＮｏ）、制御部１０７による制御に基づいて、復号化処理部１０４は、当該参照画像データの復号化を行い復号画像蓄積部１０５に出力し、動作を終了する（ステップＳ２０８）。
【０１０８】
なお、ステップＳ２０３において、記録媒体１０１から読み出されたＢストリームの画像データが対応データではないと判定され、かつ、当該画像データが参照画像データとなり得る場合、制御部１０７が当該画像の記録媒体１０１における記録位置を記憶する構成としてもよい。これにより、ステップＳ２０８において参照画像を復号化する場合に、直ちに当該参照画像を記録媒体１０１から読み出すことができる。
【０１０９】
また、同様にステップＳ２０３において、記録媒体１０１から読み出されたＢストリームの画像データが対応データではないと判定され、かつ、当該画像データが参照画像データとなり得る場合、各画像データの復号順及び表示順に関する情報を、ヘッダ情報から読み出し、あるいは算出し、制御部１０７が記憶する構成としてもよい。これにより、ステップＳ２０６〜ステップＳ２０８において参照画像の検出及び復号化処理を行う際に、当該参照画像の選択を復号順又は表示順の情報を基に実行する場合、制御部１０７に記憶されている各画像データの復号順及び表示順に関する情報を用いることができる。
【０１１０】
あるいは、ステップＳ２０２において、記録媒体１０１から読み出されたＢストリームの各画像データのＰＴＳ＿Ｂを、制御部１０７が記憶する構成としてもよい。これにより、既に読み出されたＢストリームの画像データに対応データが含まれる場合に、ステップＳ２０３において直ちに対応データを検出することができる。
【０１１１】
以上のように構成される本実施の形態に係る符号化ストリーム再生装置１００は、Ａストリームに含まれる１ピクチャ分に相当する画像データを記録媒体１０１から読み出し、読み出した画像データの表示時刻よりも未来の表示時刻であって、さらに、最も近接する表示時刻を有するＢストリームに含まれる画像データを対応データとして検出する。そして、検出した対応データが参照画像データである場合、復号化して蓄積し、参照画像データではない場合は、当該対応データに対応する参照画像データを復号化し蓄積することが可能となる。
【０１１２】
これにより、図３に示す２本の符号化ストリームのシームレスな切り替えを実現する場合、再生中のＡストリームの復号化と並行してＢストリームの復号化を行う必要があるが、Ｂストリームについては全体の約１／３のピクチャのみ（図３の例では、主にＩピクチャとＰピクチャ）を復号化すればよいため、低い処理能力で、シームレスなストリーム切り替えを実現できる。
【０１１３】
なお、本実施の形態においては、フレームレートの異なる２つの符号化ストリームを切り替える場合を例に、符号化ストリーム再生装置１００の動作の説明を行ったが、同じフレームレートの符号化ストリームを切り替える場合及び、３つ以上の符号化ストリームを切り替える場合などについても同様の方法により比較的低い処理能力でストリームの切り替えを実現できる。
【０１１４】
また、本実施の形態においては、フレームレートが低い符号化ストリームから高い符号化ストリームへ再生を切り替える構成について説明したが、この構成に限定されず、フレームレートの高い符号化ストリームから、低い符号化ストリームへ再生を切り替える構成にしても構わない。この場合、例えば、図３に示すようにＢピクチャ２０２からＢピクチャ２０３へ再生を切り替える際、Ｂピクチャ２０２から直ちにＢピクチャ２０３に再生を切り替える構成にしても構わない。あるいは、Ｐピクチャ２０８まで再生した後、Ｂピクチャ２０３に切り替える構成にしても構わないし、又は、Ｂピクチャ２０２と、Ｐピクチャ２０８との間に存在するピクチャまで再生した後、Ｂピクチャ２０３に再生を切り替える構成にしても構わない。上記の構成により、フレームレートが高い符号化ストリームから再生を切り替える場合であっても、シームレスに符号化ストリームを切り替えることが可能な効果を奏する。
【０１１５】
以上のように、本発明の実施の形態に係る符号化ストリーム再生装置は、比較的低い処理能力で、複数の符号化ストリームの再生を円滑に切り替えることができる。
【０１１６】
以上、本発明に係る符号化ストリーム再生装置及び符号化ストリーム再生方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１１７】
例えば、本実施の形態の符号化ストリーム再生装置１００では、記録媒体１０１に記録された複数の符号化ストリームを読み出す構成について説明したが、ネットワークなどの通信回線を介して複数の符号化ストリームを取得してもよい。
【０１１８】
なお、本発明に係る符号化ストリーム再生装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、システムＬＳＩ、ＲＡＭ、ＲＯＭ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ネットワークインターフェースなどを備えるとしてもよい。さらに、ＤＶＤ−ＲＡＭ、Ｂｌｕ−ｒａｙディスク、ＳＤメモリカードのような可搬性の記録媒体に対して読出し可能なドライブ装置を備えるとしてもよい。
【０１１９】
なお、符号化ストリーム再生装置１００は、デジタルビデオカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、携帯電話機などのような組み込みシステムとしてもよい。
【０１２０】
さらに、ＨＤＤ又はＲＯＭなどに、符号化ストリーム再生装置１００を制御するプログラム（以下、符号化プログラムと呼称する）がインストールされており、符号化プログラムが実行されることによって、符号化ストリーム再生装置１００の各機能が実現されるとしてもよい。
【０１２１】
なお、符号化プログラムは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。これによって、符号化ストリーム再生装置１００の各機能を他のハードウェアシステムに実現することができる。ここで、コンピュータシステム読み取り可能な記録媒体として、光学記録媒体（例えば、ＣＤ−ＲＯＭなど）、磁気記録媒体（例えば、ハードディスクなど）、光磁気記録媒体（例えば、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ  ｄｉｓｋ）など）、半導体メモリ（例えば、メモリカードなど）などがある。
【０１２２】
また、符号化プログラムは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。これによって、符号化ストリーム再生装置の各機能を他のハードウェアシステムに実現することができる。ここで、ネットワークとして、地上放送網、衛星放送網、ＰＬＣ（Ｐｏｗｅｒ  Ｌｉｎｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、移動電話網、有線通信網（例えば、ＩＥＥＥ８０２．３など）、無線通信網（例えば、ＩＥＥＥ８０２．１１など）がある。
【０１２３】
なお、符号化ストリーム再生装置１００は、フルカスタムＬＳＩ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのようなセミカスタムＬＳＩ、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＣＰＬＤ（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）などのようなプログラマブルロジックデバイス、又は、動的に回路構成が書き換え可能なダイナミックリコンフィギュラブルデバイスに形成されるとしてもよい。
【０１２４】
さらに、符号化ストリーム再生装置１００の各機能を符号化ストリーム再生用の集積回路に形成する設計データは、ハードウェア記述言語によって記述されたプログラム（以下、ＨＤＬプログラムと称す）としてもよい。さらに、ＨＤＬプログラムを論理合成して得られるゲートレベルのネットリストとしてもよい。また、ゲートレベルのネットリストに、配置情報、プロセス条件などを付加したマクロセル情報としてもよい。また、寸法、タイミングなどが規定されたマスクデータとしてもよい。ここで、ハードウェア記述言語として、ＶＨＤＬ（Ｖｅｒｙ  ｈｉｇｈ  ｓｐｅｅｄ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ  Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）、Ｖｅｒｉｌｏｇ−ＨＤＬ、ＳｙｓｔｅｍＣなどがある。
【０１２５】
さらに、設計データは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。そして、これらの記録媒体を介して他のハードウェアシステムに読み取られた設計データが、ダウンロードケーブルを介して、プログラマブルロジックデバイスにダウンロードされるとしてもよい。
【０１２６】
または、設計データは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。そして、これらのネットワークを介して他のハードウェアシステムに取得された設計データが、ダウンロードケーブルを介して、プログラマブルロジックデバイスにダウンロードされるとしてよい。
【０１２７】
または、設計データは、通電時にＦＰＧＡに転送され得るように、シリアルＲＯＭに記録しておくとしてもよい。そして、シリアルＲＯＭに記録された設計データは、通電時に、直接、ＦＰＧＡにダウンロードされるとしてもよい。
【０１２８】
または、設計データは、通電時に、マイクロプロセッサによって生成されて、ＦＰＧＡにダウンロードされるとしてもよい。
【産業上の利用可能性】
【０１２９】
本発明に係る符号化ストリーム再生装置は、比較的低い処理能力で複数の符号化ストリームの再生を円滑に切り替えることができるという効果を奏し、例えば、フレームレートの異なる複数のストリームを復号化する符号化ストリーム再生装置において有用である。
【符号の説明】
【０１３０】
１１  ＴＳパケット
１２  ＰＥＳパケット
１３  ＰＣＲ
１４  ＰＥＳパケットヘッダ
１５  ＰＥＳパケットペイロード
１６  ＮＡＬユニット
１００  符号化ストリーム再生装置
１０１、４０１  記録媒体
１０２、４０２  データ読出し部
１０３  対応データ検出部
１０４  復号化処理部
１０５  復号画像蓄積部
１０６  出力部
１０７  制御部
１０８、４０９  操作受付部
１０９、４０８  出力選択部
１１０  内部バッファ
２０１、２０７、３１１  Ｉピクチャ
２０２、２０３、２０４、２０５、３１２  Ｂピクチャ
２０６、２０８  Ｐピクチャ
３０１、３０２  表示ピクチャ
４００  画像復号化装置
４０３  逆多重化部
４０４  第１画像復号化部
４０５  第２画像復号化部
４０６  画像蓄積部
４０７  出力切り替え部
４１０  表示部
【図１】
2010001609.tif 000003
【図２】
2010001609.tif 000004
【図３】
2010001609.tif 000005
【図４】
2010001609.tif 000006
【図５】
2010001609.tif 000007
【図６】
2010001609.tif 000008
【図７】
2010001609.tif 000009
【図８】
2010001609.tif 000010
【図９】
2010001609.tif 000011
【図１０】
2010001609.tif 000012
【手続補正書】
【提出日】平成22年11月29日(2010.11.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化ストリーム再生装置及び符号化ストリーム再生方法に関し、特に、比較的低い処理能力で複数の符号化ストリームの再生を円滑に切り替える符号化ストリーム再生装置及び符号化ストリーム再生方法に関する。
【背景技術】
【０００２】
近年、デジタル映像処理技術の発展とともに、扱われる画像データは増加の一途を辿っており、画像符号化による画像データの圧縮符号化は必須となっている。代表的な符号化規格には、ＭＰＥＧ−２（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−２）やＨ．２６４／ＡＶＣ（Ｈ．２６４／Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）などがある。
【０００３】
これらの符号化規格では、所定数のピクチャをグループとして管理して符号化することが多い。ＭＰＥＧ−２におけるピクチャの管理単位であるＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）構造の一例を図７に示す。ＧＯＰは、他のピクチャを参照することなく符号化を行うＩピクチャ、表示順で前方のピクチャを参照して予測符号化を行うＰピクチャ、表示順で双方向のピクチャを参照して予測符号化を行うＢピクチャと呼ばれるピクチャで構成される。
【０００４】
また、ＭＰＥＧ−２やＨ．２６４／ＡＶＣで符号化された画像データを記録するＢＤ−ＲＯＭ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録フォーマットには、マルチアングル機能が用意されている。マルチアングル機能とは、同じ時間に撮影された複数の符号化ストリームのそれぞれを復号化することで得られる複数の映像を切り替えて再生する機能である。
【０００５】
図８は、同じ時間に複数の符号化ストリームが撮影された場合の各符号化ストリームの時間関係を表す図である。図８に示すように、任意のタイミングで再生中の符号化ストリームである第１ストリームから他の符号化ストリームである第２ストリームに切り替える場合について説明する。
【０００６】
この場合、他の符号化ストリームの次の時刻のピクチャを復号化するには、そのピクチャよりも表示順で前方にあるＩピクチャから符号化ストリームの読出しを行い、復号化を始める必要がある。また、Ｈ．２６４／ＡＶＣ規格では、Ｐピクチャ及びＢピクチャの符号化時にＩピクチャを超えて他のピクチャを参照し符号化することが可能である。このため、さらにＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ）ピクチャまで遡って符号化ストリームの読み出しを行い、復号化を行う必要がある。なお、ＩＤＲピクチャとは、自ピクチャよりも前のピクチャを参照して符号化しないと定められたピクチャである。
【０００７】
このように、符号化ストリームを切り替えようとしてから実際に符号化ストリームが切り替わるまでにタイムラグが発生し、シームレスな符号化ストリーム切り替えは実現できない。そこで、複数のストリームの映像を切り替えた際に、瞬時にシームレスな再生を実現するための技術が開示されている（例えば、特許文献１参照）。
【０００８】
以下では、図９を参照しながら、特許文献１に開示されている従来の画像復号化装置の動作の概要を説明する。なお、図９は、同じ時間に撮影されて得られた２つの符号化ストリームが記録されている場合の従来の画像復号化装置４００の機能的な構成を示す機能ブロック図である。例えば、記録媒体４０１には、図８に示すような２つの符号化ストリームが記録されている。
【０００９】
まず、データ読出し部４０２によって記録媒体４０１より読み出された２つの符号化ストリームは、逆多重化部４０３によって第１ストリームと第２ストリームとに分離される。第１ストリームは第１画像復号化部４０４によって、第２ストリームは第２画像復号化部４０５によって復号化され、画像蓄積部４０６に保持される。出力選択部４０８は、操作受付部４０９によって受け付けたユーザーの操作をもとに出力ストリームを選択する。出力切り替え部４０７は、出力選択部４０８によって選択されたストリームを表示部４１０に出力し、表示部４１０がストリームに含まれる映像を表示する。
【００１０】
ユーザーからの出力ストリーム変更の操作を操作受付部４０９が受け付けた場合、出力選択部４０８はその操作情報に基づいて、出力ストリームとして選択するストリームを切り替える。ここで、２つのストリームはともに第１画像復号化部４０４及び第２画像復号化部４０５によって復号化された後、画像蓄積部４０６に保持されているため、出力の切り替えを瞬時に行うことができる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００６−２１７６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記従来技術では、複数の符号化ストリームの再生を円滑に切り替えるためには大きな処理能力を必要とするという課題があった。具体的には、以下の通りである。
【００１３】
特許文献１で開示されている従来の技術では、複数の符号化ストリームを同時に復号化する必要がある。このため、Ｎ本の符号化ストリームのシームレスな切り替えを実現するためには、１本の符号化ストリームのみの復号化に対応した復号化装置に比べて、Ｎ倍の復号化能力が必要とされる。また、画像を保持するバッファもＮ倍の容量が必要となる。
【００１４】
また、図１０に示すように、撮影時のフレームレートが異なる複数の符号化ストリームがある場合を想定する。図１０は、６０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）で撮影された符号化ストリームと２４０ｆｐｓで撮影された符号化ストリームとが同時に撮影された場合に得られた各符号化ストリームの時間関係を表す図である。
【００１５】
この場合、特許文献１で開示されている従来の技術を用いてシームレスに符号化ストリームの切り替えを実現しようとすると、２つの符号化ストリームの時間関係を合わせるためには２４０ｆｐｓで撮影された符号化ストリームに関しては２４０ｆｐｓで復号化する必要がある。つまり、Ｎ倍速のフレームレートで撮影された符号化ストリームに関してはＮ倍速での復号化が必要である。
【００１６】
以上のように、従来の技術を用いてシームレスに符号化ストリームの切り替えを実現するためには、復号化装置に大きな処理能力が必要とされた。
【００１７】
そこで、本発明は、このような従来の課題を解決するためになされたもので、大きな処理能力を必要とすることなく、複数の符号化ストリームの再生を円滑に切り替える符号化ストリーム再生装置及び符号化ストリーム再生方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明に係る符号化ストリーム再生装置は、複数の符号化ストリームの１つを再生する符号化ストリーム再生装置であって、前記複数の符号化ストリームの１つを選択する選択部と、前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する。
【００１９】
これにより、第１符号化ストリームを再生中に、第２符号化ストリームから第２符号化ピクチャを検出し、検出した第２符号化ピクチャ及び第３符号化ピクチャを復号化するので、複数の符号化ストリームの再生を円滑に切り替えることができる。このとき、第２符号化ストリームの全てのピクチャを復号化する訳ではないので、復号化部に大きな処理能力を必要とすることはない。
【００２０】
また、前記符号化ストリーム再生装置は、さらに、前記復号化部によって復号化された復号化ピクチャを蓄積する蓄積部と、前記選択部によって選択された符号化ストリームから生成された復号化ピクチャを前記蓄積部から読み出して出力する出力部とを備え、前記出力部は、前記選択部が前記第２符号化ストリームを選択した時、出力中の第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されて得られた第２復号化ピクチャを出力してもよい。
【００２１】
これにより、符号化ストリームの切り替えを行うときに出力中の第１符号化ピクチャに対応する第２復号化ピクチャを出力するので、円滑に複数の符号化ストリームの再生を切り替えることができる。
【００２２】
また、前記復号化部は、前記選択部が前記第２符号化ストリームを選択した時、前記出力部が出力していた第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されていない場合に、当該第２符号化ピクチャを復号化することで前記第２復号化ピクチャを生成してもよい。
【００２３】
これにより、出力時に目的となる復号化ピクチャが得られていない場合は、復号化してから出力するので、円滑に複数の符号化ストリームの再生を切り替えることができる。
【００２４】
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
【００２５】
これにより、出力中の復号化ピクチャの表示時刻から所定期間内の表示時刻の符号化ピクチャを検出及び復号化するので、より円滑に複数の符号化ストリームの再生を切り替えることができる。
【００２６】
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近い時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
【００２７】
これにより、出力中の復号化ピクチャの直後のピクチャを出力することができるので、シームレスに複数の符号化ストリームの再生を切り替えることができる。
【００２８】
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降、前記第１符号化ストリーム又は前記第２符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
【００２９】
これにより、より円滑に複数の符号化ストリームの再生を切り替えることができる。
【００３０】
また、前記第１符号化ストリームのフレームレートは、前記第２符号化ストリームのフレームレートより低く、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、前記表示時刻から、前記第１符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
【００３１】
これにより、より円滑に複数の符号化ストリームの再生を切り替えることができる。
【００３２】
また、前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャである場合、当該第２符号化ピクチャを復号化してもよい。
【００３３】
これにより、第２符号化ピクチャが参照ピクチャではない場合は第２符号化ピクチャを復号化しないので、復号化部の処理負荷をより低減することができる。
【００３４】
また、前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャではなく、かつ、前記第３符号化ピクチャが復号化されていない場合、当該第３符号化ピクチャを復号化してもよい。
【００３５】
これにより、第２符号化ピクチャが参照ピクチャではない場合は第２符号化ピクチャを復号化せず、第２符号化ピクチャの復号化時に参照される第３符号化ピクチャを復号化するので、第３符号化ピクチャを参照する符号化ピクチャの復号化が必要になった時に、直ちに符号化ピクチャを復号化することができる。
【００３６】
なお、本発明は、符号化ストリーム再生装置として実現できるだけではなく、当該符号化ストリーム再生装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−ＲＯＭ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ−ＲＯＭ）、ＢＤ−ＲＯＭなどの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
【００３７】
また、上記の各符号化ストリーム再生装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００３８】
本発明の符号化ストリーム再生装置によれば、大きな処理能力を必要とすることなく、複数の符号化ストリームの再生を円滑に切り替えることができる。
【図面の簡単な説明】
【００３９】
【図１】図１は、本実施の形態の符号化ストリームの一例であるＭＰＥＧ２−ＴＳの構成を示す図である。
【図２】図２は、本実施の形態の符号化ストリーム再生装置の機能的な構成の一例を示すブロック図である。
【図３】図３は、本実施の形態の符号化ストリーム再生装置が再生する複数のストリームの一例を示す図である。
【図４】図４は、本実施の形態の符号化ストリーム再生装置が再生する複数のストリームの一例を示す図である。
【図５】図５は、本実施の形態の符号化ストリーム再生装置の再生動作の一例を示すフローチャートである。
【図６】図６は、本実施の形態の符号化ストリーム再生装置の再生動作のうち、再生中でない符号化ストリームの復号化処理の一例を示すフローチャートである。
【図７】図７は、ＧＯＰ構造の一例を示す図である。
【図８】図８は、同一のフレームレートの２つの符号化ストリームの時間関係を示す図である。
【図９】図９は、従来の画像復号化装置の機能的な構成を示すブロック図である。
【図１０】図１０は、異なるフレームレートの２つの符号化ストリームの時間関係を示す図である。
【発明を実施するための形態】
【００４０】
以下、本発明に係る符号化ストリーム再生装置の実施の形態について、図面を参照しながら説明する。
【００４１】
本実施の形態の符号化ストリーム再生装置は、外部又は内部に着脱可能に配置された記録媒体に記録された複数の符号化ストリームの１つを再生する。具体的には、記録媒体から複数の符号化ストリームを読み出し、読み出した符号化ストリームの復号化を行い、復号化により得られた復号化ピクチャをディスプレイなどの外部装置に出力する構成を想定する。
【００４２】
まず、本実施の形態において、符号化ストリーム再生装置が記録媒体から読み出す符号化ストリームについて図面を参照しながら説明する。なお、本実施の形態においては、記録媒体からＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）で多重化された符号化ストリームを読み出す構成で記述するが、ＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ  Ｓｔｒｅａｍ）などの多重化方式を利用する構成でも構わない。また、符号化ストリームに含まれる画像データは、Ｈ．２６４／ＡＶＣを用いて符号化されているものとするが、画像データに適用される符号化方式は、例えば、ＭＰＥＧ−２、ＶＣ−１など、どのような符号化方式を用いても構わない。
【００４３】
（ＭＰＥＧ２−ＴＳの構成）
図１は、本実施の形態の符号化ストリームの一例であり、記録媒体に記録されるＭＰＥＧ２−ＴＳの構成を示す図である。図１に示すＭＰＥＧ２−ＴＳは、ＴＳパケット１１と呼ばれる固定長のパケットで構成される。ＴＳパケット１１により、映像や音声のデータが格納されたＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケット１２、及び、ＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）１３と呼ばれる基準クロック情報などが伝送される。
【００４４】
ＰＥＳパケット１２のＰＥＳパケットヘッダ１４には、ＰＥＳパケットペイロード１５に格納された映像や音声の復号化単位であるアクセスユニットの表示及び復号化タイミングをそれぞれ表すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、及び、ＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）と呼ばれる時刻情報が格納される。
【００４５】
また、映像データの各アクセスユニットには１ピクチャ分の符号化データが含まれている。具体的には、符号化ストリームに含まれるピクチャの画像データと、ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）やＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）などの画像復号化に用いられるパラメータと、各ピクチャのタイミング情報などの付加情報を含むＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）などの情報を格納した複数のＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）ユニット１６という単位のデータで、各アクセスユニットは構成される。また、各ＮＡＬユニット１６のヘッダには、そのＮＡＬユニットに他のＮＡＬユニットから参照され得るデータが含まれているか否かを示す情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）が含まれている。
【００４６】
以下、本実施の形態における符号化ストリーム再生装置について図面を参照しながら説明する。
【００４７】
（符号化ストリーム再生装置１００の構成）
図２は、本実施の形態の符号化ストリーム再生装置１００の構成の一例を示すブロック図である。同図の符号化ストリーム再生装置１００は、記録媒体１０１と、データ読出し部１０２と、対応データ検出部１０３と、復号化処理部１０４と、復号画像蓄積部１０５と、出力部１０６と、制御部１０７と、操作受付部１０８と、出力選択部１０９とを備える。
【００４８】
本実施の形態においては、再生するストリームとして選択されている符号化ストリームをＡストリーム、その他の符号化ストリームをＢストリームと記載する。符号化ストリーム再生装置１００の動作当初は、再生するストリームとしてＡストリームが選択されており、その後、ユーザー操作などに基づいて、再生するストリームがＡストリームからＢストリームに変更される。
【００４９】
以下では、図３に示すような６０ｆｐｓのフレームレートを有するＨ．２６４規格で符号化された符号化ストリームがＡストリームとして選択され、２４０ｆｐｓのフレームレートを有するＨ．２６４規格で符号化された符号化ストリームがＢストリームとして選択されている場合について説明する。
【００５０】
記録媒体１０１は、複数の符号化ストリームを蓄積することが可能な記録手段である。記録媒体１０１には、例えば、図３に示すＡストリームとＢストリームとが記録されている。記録媒体１０１に記録されている情報は、主に符号化ストリームであるが、静止画データや音楽データなど、どのようなデータを蓄積する構成にしてもよい。また、記録媒体１０１は、符号化ストリーム再生装置１００が内蔵するメモリなどであってもよく、又は、ＤＶＤ−ＲＡＭ、ＢＤ−ＲＡＭ、ＳＤメモリカードなどの着脱可能な記録媒体であってもよい。
【００５１】
データ読出し部１０２は、出力選択部１０９によって選択された符号化ストリームと、出力選択部１０９によって選択されていない符号化ストリームとを取得する取得部の一例である。具体的には、データ読出し部１０２は、記録媒体１０１に記録された複数の符号化ストリームのうち、再生中の符号化ストリームであるＡストリームと、他の符号化ストリームであるＢストリームとを記録媒体１０１から読み出す。例えば、データ読出し部１０２は、内部バッファ１１０を備え、制御部１０７の制御に基づいて、記録媒体１０１に記録されるＡストリーム及びＢストリームから１ピクチャ分に相当する画像データの読出しを行い、内部バッファ１１０に蓄積する。
【００５２】
内部バッファ１１０は、制御部１０７が画像データの読出しを行う際に利用され、読み出された画像データを一時的に記憶するメモリである。内部バッファ１１０に一時的に記録される情報は、主に符号化された画像データであるが、制御信号などを記録するようにしても構わない。内部バッファ１１０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ）、フラッシュメモリ、又は強誘電体メモリなどの記録可能な手段であればどのようなものを用いても構わない。
【００５３】
対応データ検出部１０３は、出力部１０６から出力されているＡストリームに含まれる復号化ピクチャの時刻情報に基づいて、ＡストリームからＢストリームに時間的に滑らかに表示を切り替えるための対応符号化ピクチャをＢストリームから検出する。例えば、対応データ検出部１０３は、出力部１０６から出力されているＡストリームに対応する復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有する符号化ピクチャを、対応符号化ピクチャとしてＢストリームから検出する。
【００５４】
予め定められた期間は、例えば、Ａストリーム又はＢストリームの連続する符号化ピクチャ間を示す期間、すなわち、Ａストリーム又はＢストリームのフレームレートの逆数が示す期間である。図３に示すように、Ａストリーム及びＢストリームのフレームレートが異なっている場合、フレームレートが低いＡストリームの連続するピクチャ間に含まれるピクチャを対応符号化ピクチャとしてＢストリームから検出する。
【００５５】
例えば、図３に示す例では、Ｉピクチャ２０１に対応する対応データが表すピクチャ（対応符号化ピクチャ）は、Ｉピクチャ２０７からＢピクチャ２０４の間に含まれる４枚のピクチャである。あるいは、Ｉピクチャ２０１に対応する対応データが表すピクチャは、同時刻のＩピクチャ２０７であってもよい。
【００５６】
本実施の形態では、より好ましい例として、対応データ検出部１０３は、出力部１０６から出力されているＡストリームに含まれる復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近接する時刻を示す時刻情報を有する符号化ピクチャを、対応符号化ピクチャとして検出する。具体的には、対応データ検出部１０３は、制御部１０７の制御に基づいて、データ読出し部１０２が読み出したＢストリームに含まれる１ピクチャ分に相当する画像データのうち、出力部１０６から出力している復号化ピクチャに対応する画像データが有する表示時刻よりも未来の時刻であって、かつ、最も近接した表示時刻を有する画像データを、対応データとして検出する。
【００５７】
例えば、図３に示す例では、Ｉピクチャ２０１に対応する対応データが表すピクチャ（対応符号化ピクチャ）は、Ｂピクチャ２０２である。Ｂピクチャ２０３に対応する対応データが表すピクチャは、Ｂピクチャ２０４である。Ｂピクチャ２０５に対応する対応データが表すピクチャは、Ｐピクチャ２０６である。
【００５８】
なお、対応データ検出部１０３は、出力部１０６から出力している復号化ピクチャの表示時刻に基づいて対応データを検出する構成に限定するものではなく、復号画像蓄積部１０５に蓄積される復号化ピクチャを用いて検出する構成でもよい。あるいは、対応データ検出部１０３は、記録媒体１０１に記憶されている符号化ストリームから直接検出する構成でもよく、どのような構成を用いても構わない。
【００５９】
復号化処理部１０４は、データ読出し部１０２によって読み出されたＡストリームに含まれる符号化ピクチャを復号化することで復号化ピクチャを生成する。さらに、復号化処理部１０４は、対応データ検出部１０３によって検出された対応符号化ピクチャ、及び、対応符号化ピクチャを復号化する際に参照されるピクチャの少なくとも一方を復号化する。
【００６０】
具体的には、復号化処理部１０４は、制御部１０７の制御に基づいて、ＰＣＲを基に、ＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）を生成し、データ読出し部１０２によって読み出されたＡストリームに含まれる１ピクチャ分に相当する画像データが有するＤＴＳ、又は、対応データ検出部１０３によって検出された対応データが有するＤＴＳと、生成したＳＴＣとが一致するタイミングで、画像データの復号化を行い、復号化した際に得られる復号画像を復号画像蓄積部１０５に出力する。
【００６１】
なお、復号化処理部１０４は、対応データが、他のピクチャを復号化するときに参照される参照ピクチャを示す参照画像データであれば、当該対応データを復号化する。例えば、対応データがＩピクチャ又はＰピクチャを表す場合に、復号化処理部１０４は対応データを復号化する。
【００６２】
一方で、復号化処理部１０４は、対応データを復号化するときに必要な参照ピクチャが復号化されていない場合、当該対応データが参照する符号化ピクチャを示す画像データを復号化する。例えば、対応データが、他のピクチャを復号化するときに参照されない非参照ピクチャを示す非参照画像データであれば、復号化処理部１０４は、当該対応データの復号化時に参照する画像データを復号化する。例えば、対応データがＢピクチャを表す場合に、復号化処理部１０４は、当該Ｂピクチャを復号化するときに参照されるＩピクチャ及びＰピクチャを復号化する。
【００６３】
復号画像蓄積部１０５は、復号化処理部１０４によって生成された復号化ピクチャを蓄積する。また、復号画像蓄積部１０５は、Ｂストリームに含まれる対応符号化ピクチャを復号化する際に参照された参照ピクチャも蓄積する。具体的には、復号画像蓄積部１０５は、制御部１０７の制御に基づいて、復号化処理部１０４から出力される復号化ピクチャを蓄積するメモリである。例えば、復号画像蓄積部１０５は、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、又は強誘電体メモリなどの記録可能な手段であればどのようなものを用いても構わない。このように、再生中のＡストリームの復号化ピクチャだけでなく、再生中でないＢストリームの復号化ピクチャも蓄積しておくことで、ストリームを切り替える際に滑らかに表示を切り替えることができる。
【００６４】
出力部１０６は、復号画像蓄積部１０５から、再生中の符号化ストリームから生成された復号化ピクチャを読み出して外部装置に出力する。また、出力選択部１０９によって、再生中の符号化ストリームと異なる符号化ストリームが選択されたときは、出力部１０６は、出力選択部１０９によって選択された符号化ストリームから生成された復号化ピクチャを、復号画像蓄積部１０５から読み出して出力する。
【００６５】
具体的には、出力部１０６は、制御部１０７の制御に基づいて、復号画像蓄積部１０５に蓄積される復号化ピクチャのうち、出力選択部１０９が選択するＡストリームに対応する復号化ピクチャを読み出し、外部装置に出力する。そして、出力選択部１０９がＢストリームを選択した場合、出力部１０６は、Ｂストリームに対応する復号化ピクチャを復号画像蓄積部１０５から読み出して外部装置に出力する。
【００６６】
なお、出力部１０６は、復号画像蓄積部１０５に出力対象となる復号化ピクチャが蓄積されているか否かを判定する。具体的には、復号化された画像データが有するＰＴＳとＳＴＣとを用いて判定を行う。出力対象となる復号化ピクチャは、出力部１０６が出力中のＡストリームの復号化ピクチャに対応する、Ｂストリームの符号化ピクチャが復号化して得られた復号化ピクチャである。出力対象となる復号化ピクチャが蓄積されていない場合は、出力部１０６は、制御部１０７を介して復号化処理部１０４に出力対象となる復号化ピクチャを生成するように、対応データを復号化させる。
【００６７】
なお、外部装置は、例えば、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、液晶ディスプレイ、有機ＥＬ表示装置など、復号化ピクチャを表示可能な表示手段を備える装置であればどのようなものを利用しても構わない。また、判定する際の情報は、ＰＴＳ及びＳＴＣに限定されるものではなく、出力対象となる画像データ情報と、復号画像蓄積部１０５に蓄積される復号化ピクチャとをマッチング可能な情報であれば、どのようなものを用いても構わない。
【００６８】
制御部１０７は、データ読出し部１０２、対応データ検出部１０３、復号化処理部１０４、復号画像蓄積部１０５、出力部１０６、操作受付部１０８、及び出力選択部１０９の動作を制御することにより、符号化ストリーム再生装置１００全体の動作を制御する。制御部１０７は、半導体素子などで実現可能であり、ハードウェアのみで構成しても構わない。あるいは、ハードウェアとソフトウェアとを組み合わせることにより実現しても構わない。また、複数のデバイスで構成しても構わない。なお、制御部１０７をソフトウェアで実装する場合は、マイクロプロセッサを用いることによって実現可能となる。
【００６９】
操作受付部１０８は、ユーザーからの各種の指示を操作信号として受け付けることが可能である。操作受付部１０８は、受け付けた操作信号を制御部１０７に出力する。また、受け付けた操作信号が、出力部１０６から外部装置に出力する符号化ストリームの切り替え操作に関する操作信号である場合、操作受付部１０８は、当該操作信号を出力選択部１０９に出力する。なお、操作受付部１０８は、例えば、リモコンから送信される操作信号を受信した際に操作信号を検出する構成としてもよい。あるいは、操作受付部１０８は、押圧操作が可能なボタンなどを設け、当該押圧操作がなされた際に操作信号を検出する構成でもよく、どのような構成でも構わない。
【００７０】
出力選択部１０９は、操作受付部１０８から出力される操作信号を検出すると、当該操作信号を基に、出力部１０６から出力する符号化ストリームを選択する選択信号を制御部１０７に出力する。
【００７１】
続いて、本実施の形態の符号化ストリーム再生装置１００が備える対応データ検出部１０３の動作の一例について説明する。具体的には、Ｂストリームの対応データを検出処理の一例について説明する。
【００７２】
符号化ストリームに含まれる１ピクチャ分に相当する画像データの表示時刻に関する時間関係は、画像データが有する表示時刻を表すＰＴＳより判別することができる。図３に示すＩピクチャ２０１に対応する対応データが表す対応符号化ピクチャを検出したい場合、各ストリームの時刻情報が同期しているとすると、Ｉピクチャ２０１に相当する画像データのＰＴＳよりも未来のＰＴＳであって、さらに、最も近いＰＴＳを有する画像データをＢストリームから検出すればよい。すなわち、対応データ検出部１０３は、Ｉピクチャ２０１の対応符号化ピクチャとして、Ｂピクチャ２０２を検出する。
【００７３】
なお、フレームレートが一定であれば、表示順で連続したピクチャのＰＴＳの間隔も一定であるため、過去に読み出した画像データが有するＰＴＳを基に、ストリーム中の各ピクチャのＰＴＳを計算できる。このため、Ｂストリームの過去に読み出した画像データが有するＰＴＳを基に、Ｂストリームの各ピクチャのＰＴＳを予め計算しておくことで、Ｉピクチャ２０１のＰＴＳを読み出した時点で、対応データが有すべきＰＴＳを判定できる。
【００７４】
一方、各ストリームの時刻情報が同期しておらず、ストリームの接続点のみが指定されている場合は、対応データ検出部１０３は、予め各ストリーム間の時刻情報のずれを算出しておく。図４に、各ストリームの時刻情報が同期していない場合の例を示す。
【００７５】
この場合、対応データ検出部１０３は、ストリームの接続点でのＡストリームの表示ピクチャ３０１のＰＴＳからＢストリームの表示ピクチャ３０２のＰＴＳを引いたＰＴＳ＿Ｏｆｆｓｅｔという値を予め算出し、保持しておく。ここで、Ｉピクチャ３１１に対応する対応データが表す対応符号化ピクチャを検出したい場合、Ｉピクチャ３１１に相当する画像データのＰＴＳからＰＴＳ＿Ｏｆｆｓｅｔ値を引いたＰＴＳよりも未来のＰＴＳであって、さらに、最も近いＰＴＳを有する画像データをＢストリームから検出すればよい。すなわち、対応データ検出部１０３は、Ｉピクチャ３１１の対応符号化ピクチャとして、Ｂピクチャ３１２を検出する。
【００７６】
以降、簡単のため各ストリームの時刻情報が同期している場合を想定し説明を行うが、各ストリームの時刻情報が同期していない場合も同様に、上記の方法により各ストリームの画像データの表示時刻に関する時間関係を判別することができる。
【００７７】
なお、複数のアクセスユニットが１つのＰＥＳパケットに多重化されている場合、パケットヘッダのＤＴＳ及びＰＴＳは、ＰＥＳパケット内の１番目のアクセスユニットに対応したものとなる。この場合、ＰＥＳパケット内の２番目以降のアクセスユニットの復号化時刻及び表示時刻は、表示順序を表すパラメータであるＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）値、又は、ＳＥＩ内のＢＰ＿ＳＥＩ（Ｂｕｆｆｅｒｉｎｇ  Ｐｅｒｉｏｄ＿ＳＥＩ）及びＰＴ＿ＳＥＩ（Ｐｉｃｔｕｒｅ  Ｔｉｍｉｎｇ＿ＳＥＩ）情報のうち少なくとも１つから算出される。
【００７８】
ＰＯＣ値によりアクセスユニットの復号化時刻及び表示時刻を表す場合、ＰＯＣ値とアクセスユニットの表示時刻との間に一定の関係が成り立ち、ＰＯＣ値より復号化時刻及び表示時刻を算出することができる。また、ＢＰ＿ＳＥＩは、ビデオシーケンスの先頭などの特定のアクセスユニットに含まれ、ＰＴ＿ＳＥＩは、全てのアクセスユニットに含まれる値である。このＰＴ＿ＳＥＩには、直前のＢＰ＿ＳＥＩを含むアクセスユニットからの復号化時刻の差分値、及び各アクセスユニットにおける復号化時刻と表示時刻との差分値が含まれることから、各アクセスユニットの復号化時刻及び表示時刻を算出できる。
【００７９】
続いて、本実施の形態の符号化ストリーム再生装置１００が備える復号化処理部１０４及び制御部１０７の動作の一例について説明する。具体的には、対応データ検出部１０３によって検出された対応データを復号化する際の処理の一例について説明する。
【００８０】
上述のように、復号化処理部１０４は、対応データが参照画像データであるか否か、及び、対応データを復号化する際に参照する画像データが生成されているか否かによって復号化するデータが異なる。
【００８１】
ここで、対応データが参照画像データとなり得るか否かは、対応データが有するデータのうち、ＮＡＬユニットのヘッダに格納されるｎａｌ＿ｒｅｆ＿ｉｄｃというフラグから判定できる。ｎａｌ＿ｒｅｆ＿ｉｄｃが１の場合、対応データは参照画像データと判定される。一方、ｎａｌ＿ｒｅｆ＿ｉｄｃが０の場合、対応データは参照画像データではないと判定される。この判定は、例えば、復号化処理部１０４によって実行される。
【００８２】
例えば、図３において、対応データ検出部１０３が、対応データとしてＢピクチャ２０２を示す画像データを検出した場合において、復号化処理部１０４は、Ｂピクチャ２０２を示す画像データのｎａｌ＿ｒｅｆ＿ｉｄｃから、Ｂピクチャ２０２が他の画像データの復号化に必要ではないと判定した場合、Ｉピクチャ２０７を示す画像データと、Ｐピクチャ２０８を示す画像データとを復号化し、得られる２つの復号化ピクチャを復号画像蓄積部１０５に出力する。
【００８３】
また、対応データ検出部１０３が、対応データとしてＰピクチャ２０６を示す画像データを検出した場合において、復号化処理部１０４は、Ｐピクチャ２０６を示す画像データのｎａｌ＿ｒｅｆ＿ｉｄｃから、Ｐピクチャ２０６が参照画像データであると判定した場合、このＰピクチャ２０６を復号化し、得られる復号化ピクチャを復号画像蓄積部１０５に出力する。
【００８４】
なお、Ｂピクチャ２０２を示す画像データに対し、Ｉピクチャ２０７を示す画像データと、Ｐピクチャ２０８を示す画像データと、Ｂピクチャ２０２を示す画像データとを復号化し、得られる３つの復号化ピクチャを復号画像蓄積部１０５に出力する構成にしても構わない。また、Ｂピクチャ２０２に対応する画像データのみを復号化し、得られる復号化ピクチャを復号画像蓄積部１０５に出力する構成にしても構わない。この場合、Ｂピクチャ２０２に対応する画像データを復号化するため、再生ストリームを切り替える際、さらに切り替えの効率化を図ることが可能となる。
【００８５】
（符号化ストリーム再生装置１００全体の動作）
以下では、上述したように構成された符号化ストリーム再生装置１００の動作について、図面を参照しながら説明する。
【００８６】
図５は、本実施の形態の符号化ストリーム再生装置１００の再生動作の一例を示すフローチャートである。
【００８７】
符号化ストリーム再生装置１００では、ユーザーからＡストリームの再生操作を操作受付部１０８が検出した場合、操作受付部１０８は、制御部１０７にその旨を通知し、ステップＳ１０２に進む（ステップＳ１０１）。
【００８８】
制御部１０７は、操作受付部１０８から通知を受けると、データ読出し部１０２を制御し、データ読出し部１０２は、記録媒体１０１に記録されているＡストリームに含まれる１ピクチャ分に相当する画像データを読み出し、復号化処理部１０４及び対応データ検出部１０３に出力し、ステップＳ１０３及びステップＳ１０４に進む（ステップＳ１０２）。
【００８９】
制御部１０７による制御に基づいて、復号化処理部１０４は、データ読出し部１０２によって読み出された画像データの復号化を行い、復号画像蓄積部１０５に出力し、ステップＳ１０５に進む（ステップＳ１０３）。
【００９０】
また、制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ１０３と並行して、読み出したＡストリームの画像データに対応するＢストリームに含まれる画像データの復号化を行い、得られる復号化ピクチャを復号画像蓄積部１０５に出力し、ステップＳ１０５に進む（ステップＳ１０４）。なお、Ｂストリームに含まれる画像データの復号化処理については、図６を用いて後で詳しく説明する。
【００９１】
なお、制御部１０７は、ステップＳ１０３と、ステップＳ１０４とを並行して処理する動作でも構わないし、ステップＳ１０４を処理した後、ステップＳ１０３を処理する動作でも構わないし、ステップＳ１０３を処理した後、ステップＳ１０４を処理する動作でも構わない。
【００９２】
制御部１０７による制御に基づいて、復号画像蓄積部１０５は、復号化処理部１０４において画像データを復号化した際に得られる復号化ピクチャを蓄積し、ステップＳ１０６に進む（ステップＳ１０５）。
【００９３】
制御部１０７は、出力選択部１０９から符号化ストリームの切り替え操作に関する操作信号が出力されているか否かを判定する（ステップＳ１０６）。符号化ストリームの切り替え操作に関する操作信号が出力されていない場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０７に進み、出力されている場合は（ステップＳ１０６でＮｏ）、ステップＳ１０９に進む。
【００９４】
制御部１０７による制御に基づいて、出力部１０６は、復号画像蓄積部１０５からＡストリームに対応する復号化ピクチャを読み出し、出力し、ステップＳ１０８に進む（ステップＳ１０７）。
【００９５】
制御部１０７は、符号化ストリームの再生動作の終了を判定する（ステップＳ１０８）。終了と判定された場合は（ステップＳ１０８でＹｅｓ）、そのまま動作を終了する。一方、再生動作が継続されると判定された場合は（ステップＳ１０８でＮｏ）、ステップＳ１０２に戻り、同様の動作を繰り返す。なお、再生動作が終了する判定は、制御部１０７において行う構成にしても構わないし、別途判定を行う判定部を符号化ストリーム再生装置１００が備える構成にしても構わない。
【００９６】
一方、符号化ストリームの切り替え操作に関する操作信号を検出した場合（ステップＳ１０６でＮｏ）、制御部１０７による制御に基づいて、出力部１０６は、出力すべき復号化ピクチャが復号画像蓄積部１０５に蓄積されているか否かを判定する（ステップＳ１０９）。出力すべき復号化ピクチャが蓄積されていると判定された場合は（ステップＳ１０９でＹｅｓ）、ステップＳ１０７に進み、蓄積されていないと判定された場合は（ステップＳ１０９でＮｏ）、ステップＳ１１０に進む。なお、この判定は、制御部１０７で行う構成にしても構わないし、別途蓄積されているか否かを判定する判定部を符号化ストリーム再生装置１００が備える構成にしても構わない。
【００９７】
出力すべき復号化ピクチャが蓄積されていないと判定された場合（ステップＳ１０９でＮｏ）、制御部１０７は、復号化処理部１０４を制御し、復号化処理部１０４は、出力部１０６から出力する予定の復号化ピクチャを、復号画像蓄積部１０５が蓄積している復号化ピクチャを基に復号化し、復号画像蓄積部１０５に出力し、ステップＳ１０７に進む（ステップＳ１１０）。
【００９８】
（Ｂストリームを復号化する際の復号化処理部１０４の動作）
次に、復号化処理部１０４がＢストリームに含まれる画像データを復号化する際の動作について図面を参照しながら説明する。なお、ＰＴＳ＿Ａを、データ読出し部１０２が読み出したＡストリームの画像データが有するＰＴＳとし、ＰＴＳ＿Ｂを、データ読出し部１０２が読み出したＢストリームの画像データが有するＰＴＳとする。
【００９９】
図６は、本実施の形態の符号化ストリーム再生装置１００の再生動作のうち、再生中でない符号化ストリームの復号化処理の一例を示すフローチャートである。
【０１００】
まず、制御部１０７による制御に基づいて、対応データ検出部１０３は、ステップＳ１０２においてデータ読出し部１０２が読み出した画像データのＰＴＳ＿Ａを検出し、ステップＳ２０２に進む（ステップＳ２０１）。
【０１０１】
次に、制御部１０７による制御に基づいて、データ読出し部１０２は、記録媒体１０１からＢストリームに含まれる画像データを読み出し、ステップＳ２０３に進む（ステップＳ２０２）。
【０１０２】
制御部１０７による制御に基づいて、対応データ検出部１０３は、ステップＳ２０１において検出したＰＴＳ＿Ａと、ステップＳ２０２において読み出されたＢストリームに含まれる画像データが有するＰＴＳ＿Ｂとを比較する（ステップＳ２０３）。ＰＴＳ＿ＢがＰＴＳ＿Ａよりも未来のＰＴＳであって、さらに、最も近接したＰＴＳである場合（ステップＳ２０３でＹｅｓ）、対応データ検出部１０３は、ＰＴＳ＿Ｂを有する画像データを対応データとして復号化処理部１０４へ出力し、ステップＳ２０４に進む。そうでない場合は（ステップＳ２０３でＮｏ）、ステップＳ２０２に戻り、データ読出し部１０２はＢストリームに含まれる次の画像データを読み出す。
【０１０３】
次に、制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ２０３において出力された対応データのヘッダに有するｎａｌ＿ｒｅｆ＿ｉｄｃを基に、当該画像データが参照画像データであるか否かを判定する（ステップＳ２０４）。当該対応データが参照画像データである場合は（ステップＳ２０４でＹｅｓ）、ステップＳ２０５に進む。参照画像データではない場合は（ステップＳ２０４でＮｏ）、ステップＳ２０７に進む。
【０１０４】
当該対応データが参照画像データであると判定された場合（ステップＳ２０４でＹｅｓ）、制御部１０７は、当該対応データが復号化済みであるか否かを判定する（ステップＳ２０５）。復号化済みである場合は（ステップＳ２０５でＹｅｓ）、そのまま動作を終了する。復号化されていない場合は（ステップＳ２０５でＮｏ）、ステップＳ２０６に進む。なお、復号化済みであるか否かの判定は、対応データに含まれるＰＴＳなど、当該画像データが有するヘッダ情報を利用する構成にしても構わない。
【０１０５】
制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ２０３において出力された対応データの復号化を行い、動作を終了する（ステップＳ２０６）。
【０１０６】
当該対応データが参照画像データではないと判定された場合（ステップＳ２０４でＮｏ）、制御部１０７は、当該対応データに対応する参照画像データが復号化されているか否かを判定する（ステップＳ２０７）。当該対応データに対応する参照画像データが復号化されていると判定された場合（ステップＳ２０７でＹｅｓ）、そのまま動作を終了する。そうではない場合は（ステップＳ２０７でＮｏ）、ステップＳ２０８に進む。
【０１０７】
参照画像データが復号化されていないと判定された場合（ステップＳ２０７でＮｏ）、制御部１０７による制御に基づいて、復号化処理部１０４は、当該参照画像データの復号化を行い復号画像蓄積部１０５に出力し、動作を終了する（ステップＳ２０８）。
【０１０８】
なお、ステップＳ２０３において、記録媒体１０１から読み出されたＢストリームの画像データが対応データではないと判定され、かつ、当該画像データが参照画像データとなり得る場合、制御部１０７が当該画像の記録媒体１０１における記録位置を記憶する構成としてもよい。これにより、ステップＳ２０８において参照画像を復号化する場合に、直ちに当該参照画像を記録媒体１０１から読み出すことができる。
【０１０９】
また、同様にステップＳ２０３において、記録媒体１０１から読み出されたＢストリームの画像データが対応データではないと判定され、かつ、当該画像データが参照画像データとなり得る場合、各画像データの復号順及び表示順に関する情報を、ヘッダ情報から読み出し、あるいは算出し、制御部１０７が記憶する構成としてもよい。これにより、ステップＳ２０６〜ステップＳ２０８において参照画像の検出及び復号化処理を行う際に、当該参照画像の選択を復号順又は表示順の情報を基に実行する場合、制御部１０７に記憶されている各画像データの復号順及び表示順に関する情報を用いることができる。
【０１１０】
あるいは、ステップＳ２０２において、記録媒体１０１から読み出されたＢストリームの各画像データのＰＴＳ＿Ｂを、制御部１０７が記憶する構成としてもよい。これにより、既に読み出されたＢストリームの画像データに対応データが含まれる場合に、ステップＳ２０３において直ちに対応データを検出することができる。
【０１１１】
以上のように構成される本実施の形態に係る符号化ストリーム再生装置１００は、Ａストリームに含まれる１ピクチャ分に相当する画像データを記録媒体１０１から読み出し、読み出した画像データの表示時刻よりも未来の表示時刻であって、さらに、最も近接する表示時刻を有するＢストリームに含まれる画像データを対応データとして検出する。そして、検出した対応データが参照画像データである場合、復号化して蓄積し、参照画像データではない場合は、当該対応データに対応する参照画像データを復号化し蓄積することが可能となる。
【０１１２】
これにより、図３に示す２本の符号化ストリームのシームレスな切り替えを実現する場合、再生中のＡストリームの復号化と並行してＢストリームの復号化を行う必要があるが、Ｂストリームについては全体の約１／３のピクチャのみ（図３の例では、主にＩピクチャとＰピクチャ）を復号化すればよいため、低い処理能力で、シームレスなストリーム切り替えを実現できる。
【０１１３】
なお、本実施の形態においては、フレームレートの異なる２つの符号化ストリームを切り替える場合を例に、符号化ストリーム再生装置１００の動作の説明を行ったが、同じフレームレートの符号化ストリームを切り替える場合及び、３つ以上の符号化ストリームを切り替える場合などについても同様の方法により比較的低い処理能力でストリームの切り替えを実現できる。
【０１１４】
また、本実施の形態においては、フレームレートが低い符号化ストリームから高い符号化ストリームへ再生を切り替える構成について説明したが、この構成に限定されず、フレームレートの高い符号化ストリームから、低い符号化ストリームへ再生を切り替える構成にしても構わない。この場合、例えば、図３に示すようにＢピクチャ２０２からＢピクチャ２０３へ再生を切り替える際、Ｂピクチャ２０２から直ちにＢピクチャ２０３に再生を切り替える構成にしても構わない。あるいは、Ｐピクチャ２０８まで再生した後、Ｂピクチャ２０３に切り替える構成にしても構わないし、又は、Ｂピクチャ２０２と、Ｐピクチャ２０８との間に存在するピクチャまで再生した後、Ｂピクチャ２０３に再生を切り替える構成にしても構わない。上記の構成により、フレームレートが高い符号化ストリームから再生を切り替える場合であっても、シームレスに符号化ストリームを切り替えることが可能な効果を奏する。
【０１１５】
以上のように、本発明の実施の形態に係る符号化ストリーム再生装置は、比較的低い処理能力で、複数の符号化ストリームの再生を円滑に切り替えることができる。
【０１１６】
以上、本発明に係る符号化ストリーム再生装置及び符号化ストリーム再生方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１１７】
例えば、本実施の形態の符号化ストリーム再生装置１００では、記録媒体１０１に記録された複数の符号化ストリームを読み出す構成について説明したが、ネットワークなどの通信回線を介して複数の符号化ストリームを取得してもよい。
【０１１８】
なお、本発明に係る符号化ストリーム再生装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、システムＬＳＩ、ＲＡＭ、ＲＯＭ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ネットワークインターフェースなどを備えるとしてもよい。さらに、ＤＶＤ−ＲＡＭ、Ｂｌｕ−ｒａｙディスク、ＳＤメモリカードのような可搬性の記録媒体に対して読出し可能なドライブ装置を備えるとしてもよい。
【０１１９】
なお、符号化ストリーム再生装置１００は、デジタルビデオカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、携帯電話機などのような組み込みシステムとしてもよい。
【０１２０】
さらに、ＨＤＤ又はＲＯＭなどに、符号化ストリーム再生装置１００を制御するプログラム（以下、符号化プログラムと呼称する）がインストールされており、符号化プログラムが実行されることによって、符号化ストリーム再生装置１００の各機能が実現されるとしてもよい。
【０１２１】
なお、符号化プログラムは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。これによって、符号化ストリーム再生装置１００の各機能を他のハードウェアシステムに実現することができる。ここで、コンピュータシステム読み取り可能な記録媒体として、光学記録媒体（例えば、ＣＤ−ＲＯＭなど）、磁気記録媒体（例えば、ハードディスクなど）、光磁気記録媒体（例えば、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ  ｄｉｓｋ）など）、半導体メモリ（例えば、メモリカードなど）などがある。
【０１２２】
また、符号化プログラムは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。これによって、符号化ストリーム再生装置の各機能を他のハードウェアシステムに実現することができる。ここで、ネットワークとして、地上放送網、衛星放送網、ＰＬＣ（Ｐｏｗｅｒ  Ｌｉｎｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、移動電話網、有線通信網（例えば、ＩＥＥＥ８０２．３など）、無線通信網（例えば、ＩＥＥＥ８０２．１１など）がある。
【０１２３】
なお、符号化ストリーム再生装置１００は、フルカスタムＬＳＩ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのようなセミカスタムＬＳＩ、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＣＰＬＤ（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）などのようなプログラマブルロジックデバイス、又は、動的に回路構成が書き換え可能なダイナミックリコンフィギュラブルデバイスに形成されるとしてもよい。
【０１２４】
さらに、符号化ストリーム再生装置１００の各機能を符号化ストリーム再生用の集積回路に形成する設計データは、ハードウェア記述言語によって記述されたプログラム（以下、ＨＤＬプログラムと称す）としてもよい。さらに、ＨＤＬプログラムを論理合成して得られるゲートレベルのネットリストとしてもよい。また、ゲートレベルのネットリストに、配置情報、プロセス条件などを付加したマクロセル情報としてもよい。また、寸法、タイミングなどが規定されたマスクデータとしてもよい。ここで、ハードウェア記述言語として、ＶＨＤＬ（Ｖｅｒｙ  ｈｉｇｈ  ｓｐｅｅｄ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ  Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）、Ｖｅｒｉｌｏｇ−ＨＤＬ、ＳｙｓｔｅｍＣなどがある。
【０１２５】
さらに、設計データは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。そして、これらの記録媒体を介して他のハードウェアシステムに読み取られた設計データが、ダウンロードケーブルを介して、プログラマブルロジックデバイスにダウンロードされるとしてもよい。
【０１２６】
または、設計データは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。そして、これらのネットワークを介して他のハードウェアシステムに取得された設計データが、ダウンロードケーブルを介して、プログラマブルロジックデバイスにダウンロードされるとしてもよい。
【０１２７】
または、設計データは、通電時にＦＰＧＡに転送され得るように、シリアルＲＯＭに記録しておくとしてもよい。そして、シリアルＲＯＭに記録された設計データは、通電時に、直接、ＦＰＧＡにダウンロードされるとしてもよい。
【０１２８】
または、設計データは、通電時に、マイクロプロセッサによって生成されて、ＦＰＧＡにダウンロードされるとしてもよい。
【産業上の利用可能性】
【０１２９】
本発明に係る符号化ストリーム再生装置は、比較的低い処理能力で複数の符号化ストリームの再生を円滑に切り替えることができるという効果を奏し、例えば、フレームレートの異なる複数のストリームを復号化する符号化ストリーム再生装置において有用である。
【符号の説明】
【０１３０】
１１  ＴＳパケット
１２  ＰＥＳパケット
１３  ＰＣＲ
１４  ＰＥＳパケットヘッダ
１５  ＰＥＳパケットペイロード
１６  ＮＡＬユニット
１００  符号化ストリーム再生装置
１０１、４０１  記録媒体
１０２、４０２  データ読出し部
１０３  対応データ検出部
１０４  復号化処理部
１０５  復号画像蓄積部
１０６  出力部
１０７  制御部
１０８、４０９  操作受付部
１０９、４０８  出力選択部
１１０  内部バッファ
２０１、２０７、３１１  Ｉピクチャ
２０２、２０３、２０４、２０５、３１２  Ｂピクチャ
２０６、２０８  Ｐピクチャ
３０１、３０２  表示ピクチャ
４００  画像復号化装置
４０３  逆多重化部
４０４  第１画像復号化部
４０５  第２画像復号化部
４０６  画像蓄積部
４０７  出力切り替え部
４１０  表示部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の符号化ストリームの１つを再生する符号化ストリーム再生装置であって、
前記複数の符号化ストリームの１つを選択する選択部と、
前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、
前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、
前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、
前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
符号化ストリーム再生装置。
【請求項２】
前記符号化ストリーム再生装置は、さらに、
前記復号化部によって復号化された復号化ピクチャを蓄積する蓄積部と、
前記選択部によって選択された符号化ストリームから生成された復号化ピクチャを前記蓄積部から読み出して出力する出力部とを備え、
前記出力部は、前記選択部が前記第２符号化ストリームを選択した時、出力中の第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されて得られた第２復号化ピクチャを出力する
請求項１記載の符号化ストリーム再生装置。
【請求項３】
前記復号化部は、前記選択部が前記第２符号化ストリームを選択した時、前記出力部が出力していた第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されていない場合に、当該第２符号化ピクチャを復号化することで前記第２復号化ピクチャを生成する
請求項２記載の符号化ストリーム再生装置。
【請求項４】
前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
請求項１〜３のいずれか１項に記載の符号化ストリーム再生装置。
【請求項５】
前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近い時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
請求項４記載の符号化ストリーム再生装置。
【請求項６】
前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降、前記第１符号化ストリーム又は前記第２符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
請求項４記載の符号化ストリーム再生装置。
【請求項７】
前記第１符号化ストリームのフレームレートは、前記第２符号化ストリームのフレームレートより低く、
前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、前記表示時刻から、前記第１符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
請求項６記載の符号化ストリーム再生装置。
【請求項８】
前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャである場合、当該第２符号化ピクチャを復号化する
請求項１〜７のいずれか１項に記載の符号化ストリーム再生装置。
【請求項９】
前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャではなく、かつ、前記第３符号化ピクチャが復号化されていない場合、当該第３符号化ピクチャを復号化する
請求項１〜８のいずれか１項に記載の符号化ストリーム再生装置。
【請求項１０】
複数の符号化ストリームの１つを再生する符号化ストリーム再生方法であって、
前記複数の符号化ストリームの１つを選択する選択ステップと、
前記複数の符号化ストリームのうち、前記選択ステップで選択された符号化ストリームである第１符号化ストリームと、前記選択ステップで選択されていない符号化ストリームである第２符号化ストリームとを取得する取得ステップと、
前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化ステップと、
前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出ステップとを含み、
前記復号化ステップでは、さらに、前記対応データ検出ステップで検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
符号化ストリーム再生方法。
【請求項１１】
請求項１０記載の符号化ストリーム再生方法をコンピュータに実行させるためのプログラム。
【請求項１２】
複数の符号化ストリームの１つを再生する符号化ストリーム再生集積回路であって、
前記複数の符号化ストリームの１つを選択する選択部と、
前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、
前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、
前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、
前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
符号化ストリーム再生集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010001609.tif 000013
【図２】
2010001609.tif 000014
【図３】
2010001609.tif 000015
【図４】
2010001609.tif 000016
【図５】
2010001609.tif 000017
【図６】
2010001609.tif 000018
【図７】
2010001609.tif 000019
【図８】
2010001609.tif 000020
【図９】
2010001609.tif 000021
【図１０】
2010001609.tif 000022
【国際調査報告】
2010001609.tif 000023
2010001609.tif 000024
2010001609.tif 000025
2010001609.tif 000026