(57)【要約】  複数チャンネルの符号化動画像を復号化し、同一画面上に合成して再生する動画像復号化装置は、各チャンネルの符号化動画像を復号化する復号化部（５１１ａ，５１１ｂ）と、復号化されたフレーム画像データを蓄積するフレームメモリ（５２０ａ，５２０ｂ）と、これらを制御する制御部（１５１）とを備えている。制御部（１５１）は、所定の特殊再生モードが指示されたとき、ストラクチャ情報に基づいて、要デコード枚数の各チャンネル間の差分に基づく評価指標が所定の閾値以上のフレーム群を、表示ターゲットの対象から外して、処理を行う。
2008132774.tif 000002
【特許請求の範囲】
【請求項１】
複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化方法であって、
各チャンネルについて、前記符号化動画像のストラクチャ情報を取得するステップと、
所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となる表示ターゲットを、前記ストラクチャ情報に基づいて、決定するステップと、
前記表示ターゲットをそれぞれ復号化するステップとを備え、
前記表示ターゲット決定ステップにおいて、
各チャンネルの同一時刻におけるフレーム群のうち、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数の各チャンネル間の差分に基づく評価指標が、所定の閾値以上のものは、表示ターゲットの対象から外す
ことを特徴とする動画像復号化方法。
【請求項２】
請求項１記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、前記符号化動画像の画像サイズ情報を取得し、
前記表示ターゲット決定ステップにおいて、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標として、前記画像サイズ情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化方法。
【請求項３】
請求項１記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、前記符号化動画像の符号化規格情報を取得し、
前記表示ターゲット決定ステップにおいて、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標として、前記符号化規格情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化方法。
【請求項４】
請求項１記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、各チャンネルにおいて、各フレームの符号量を取得し、
前記表示ターゲット決定ステップにおいて、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、前記ストラクチャ情報と前記各フレームの符号量とに基づいて求められた、復号化のために必要となる符号量である要デコード符号量の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化方法。
【請求項５】
請求項４記載の動画像復号化方法において、
前記取得ステップにおいて、前記各フレームの符号量を、前記符号化動画像を復号化のために一時的に蓄えるバッファメモリから出力されるポインタ情報に基づいて、求める
ことを特徴とする動画像復号化方法。
【請求項６】
請求項１記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、各チャンネルにおいて、各フレームのデコード時間を取得し、
前記表示ターゲット決定ステップにおいて、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、前記ストラクチャ情報と前記各フレームのデコード時間とに基づいて求められた、復号化のために必要となるデコード時間である要デコード時間の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化方法。
【請求項７】
請求項１，５，６のうちいずれか１項記載の動画像復号化方法において、
前記表示ターゲット決定ステップにおいて、
前記評価指標が所定の閾値以上となる表示ターゲット候補を、キャンセルする処理を有し、
予め指定された優先チャンネルについて、前記表示ターゲット候補のキャンセルが所定回数以上起こったとき、前記表示ターゲット候補のキャンセルを無効化する
ことを特徴とする動画像復号化方法。
【請求項８】
複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化方法であって、
各チャンネルについて、前記符号化動画像のストラクチャ情報を取得するステップと、
所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となるフレームである表示ターゲットを、決定するステップと、
前記表示ターゲットについて、前記ストラクチャ情報に基づいて、復号化が最も遅くなると予測されるチャンネルである遅滞チャンネルを特定するステップと、
前記表示ターゲットを復号化し、前記遅滞チャンネルのフレームの復号化が完了した後に、各チャンネルについてタイミングを合わせて、復号化された画像データを合成して再生するステップとを備え、
前記遅滞チャンネル特定ステップにおいて、
前記表示ターゲットとなるフレーム群の中で、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数が、最大となるフレームを求め、当該フレームのチャンネルを前記遅滞チャンネルとして特定する
ことを特徴とする動画像復号化方法。
【請求項９】
請求項８記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、前記符号化動画像の画像サイズ情報を取得し、
前記遅滞チャンネル特定ステップにおいて、
前記要デコード枚数として、前記画像サイズ情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化方法。
【請求項１０】
請求項８記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、前記符号化動画像の符号化規格情報を取得し、
前記遅滞チャンネル特定ステップにおいて、
前記要デコード枚数として、前記符号化規格情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化方法。
【請求項１１】
請求項８記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、各チャンネルにおいて、各フレームの符号量を取得し、
前記遅滞チャンネル特定ステップにおいて、
前記要デコード枚数に代えて、前記ストラクチャ情報と前記各フレームの符号量とに基づいて求められた、復号化のために必要となる符号量である要デコード符号量を、用いる
ことを特徴とする動画像復号化方法。
【請求項１２】
請求項８記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、各チャンネルにおいて、各フレームのデコード時間を取得し、
前記遅滞チャンネル特定ステップにおいて、
前記要デコード枚数に代えて、前記ストラクチャ情報と前記各フレームのデコード時間とに基づいて求められた、復号化のために必要となるデコード時間である要デコード時間を、用いる
ことを特徴とする動画像復号化方法。
【請求項１３】
請求項８，１１および１２のうちいずれか１項記載の動画像復号化方法において、
前記表示ターゲット決定ステップにおいて、
各チャンネルの同一時刻におけるフレーム群のうち、前記要デコード枚数、前記要デコード符号量、または、前記要デコード時間の各チャンネル間の差分に基づく評価指標が、所定の閾値以上のものは、表示ターゲットの対象から外す
ことを特徴とする動画像復号化方法。
【請求項１４】
請求項１記載の動画像復号化方法において、
前記表示ターゲット決定ステップにおいて、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、ＧＯＰにおける当該フレームに至るまでのフレームの枚数である要到達枚数の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化方法。
【請求項１５】
請求項１〜１４のうちいずれか１項に記載の動画像復号化方法において、
前記所定の特殊再生モードは、逆スロー再生モードである
ことを特徴とする動画像復号化方法。
【請求項１６】
複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化装置であって、
各チャンネルの符号化動画像を復号化するとともに、前記符号化動画像のストラクチャ情報を取得する復号化部と、
前記復号化部から出力されたフレーム画像データをチャンネル毎にそれぞれ蓄積する複数のフレームメモリと、
前記復号化部および前記各フレームメモリを制御するものであり、かつ、前記復号化部から前記ストラクチャ情報を受ける制御部とを備え、
前記制御部は、
所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となるる表示ターゲットを、前記ストラクチャ情報に基づいて、決定する処理と、
前記復号化部に、前記表示ターゲットを復号化するよう指示する処理とを行うものであり、かつ、
前記表示ターゲット決定処理において、
各チャンネルの同一時刻におけるフレーム群のうち、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数の各チャンネル間の差分に基づく評価指標が、所定の閾値以上のものは、表示ターゲットの対象から外す
ことを特徴とする動画像復号化装置。
【請求項１７】
請求項１６記載の動画像復号化装置において、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、前記符号化動画像の画像サイズ情報を受けるものであり、かつ、
前記表示ターゲット決定処理において、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標として、前記画像サイズ情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化装置。
【請求項１８】
請求項１６記載の動画像復号化装置において、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、前記符号化動画像の符号化規格情報を受けるものであり、かつ、
前記表示ターゲット決定処理において、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標として、前記符号化規格情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化装置。
【請求項１９】
請求項１６記載の動画像復号化装置において、
前記符号化動画像を復号化のために一時的に蓄えるバッファメモリを備え、
前記制御部は、前記バッファメモリから出力されるポインタ情報を受け、このポインタ情報に基づいて、各チャンネルにおける各フレームの符号量を求めるものであり、かつ、
前記表示ターゲット決定処理において、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、前記ストラクチャ情報と前記各フレームの符号量とに基づいて求められた、復号化のために必要となる符号量である要デコード符号量の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化装置。
【請求項２０】
請求項１６記載の動画像復号化装置において、
時刻情報を出力する計時部を備え、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、デコードタイミング情報を受け、このデコードタイミング情報と前記計時部から出力された時刻情報とを基にして、各チャンネルにおける各フレームのデコード時間を求めるものであり、かつ、
前記表示ターゲット決定処理において、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、前記ストラクチャ情報と前記各フレームのデコード時間とに基づいて求められた、復号化のために必要となるデコード時間である要デコード時間の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化装置。
【請求項２１】
請求項１６，１９，２０のうちいずれか１項記載の動画像復号化装置において、
前記制御部は、前記表示ターゲット決定処理において、
前記評価指標が所定の閾値以上となる表示ターゲット候補を、キャンセルする処理を有し、
予め指定された優先チャンネルについて、前記表示ターゲット候補のキャンセルが所定回数以上起こったとき、前記表示ターゲット候補のキャンセルを無効化する
ことを特徴とする動画像復号化装置。
【請求項２２】
複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化装置であって、
各チャンネルの符号化動画像を復号化するとともに、前記符号化動画像のストラクチャ情報を取得する復号化部と、
前記復号化部から出力されたフレーム画像データをチャンネル毎にそれぞれ蓄積する複数のフレームメモリと、
前記復号化部および前記各フレームメモリを制御するものであり、かつ、前記復号化部から前記ストラクチャ情報を受ける制御部とを備え、
前記制御部は、
所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となるフレームである表示ターゲットを、決定する処理と、
前記表示ターゲットについて、前記ストラクチャ情報に基づいて、復号化が最も遅くなると予測されるチャンネルである遅滞チャンネルを特定する処理と、
前記復号化部に、前記表示ターゲットを復号化するよう指示するとともに、前記遅滞チャンネルのフレームの復号化が完了した後に、前記各フレームメモリに、各チャンネルについてタイミングを合わせて、復号化された画像データを合成して再生するよう指示する処理とを行うものであり、
前記遅滞チャンネル特定処理において、
前記表示ターゲットとなるフレーム群の中で、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数が、最大となるフレームを求め、当該フレームのチャンネルを前記遅滞チャンネルとして特定する
ことを特徴とする動画像復号化装置。
【請求項２３】
請求項２２記載の動画像復号化装置において、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、前記符号化動画像の画像サイズ情報を受けるものであり、かつ、
前記遅滞チャンネル特定処理において、
前記要デコード枚数として、前記画像サイズ情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化装置。
【請求項２４】
請求項２２記載の動画像復号化装置において、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、前記符号化動画像の符号化規格情報を受けるものであり、かつ、
前記遅滞チャンネル特定処理において、
前記要デコード枚数として、前記符号化規格情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化装置。
【請求項２５】
請求項２２記載の動画像復号化装置において、
前記符号化動画像を復号化のために一時的に蓄えるバッファメモリを備え、
前記制御部は、前記バッファメモリから出力されるポインタ情報を受け、このポインタ情報に基づいて、各チャンネルにおける各フレームの符号量を求めるものであり、かつ、
前記遅滞チャンネル特定処理において、
前記要デコード枚数に代えて、前記ストラクチャ情報と前記各フレームの符号量とに基づいて求められた、復号化のために必要となる符号量である要デコード符号量を、用いる
ことを特徴とする動画像復号化装置。
【請求項２６】
請求項２２記載の動画像復号化装置において、
時刻情報を出力する計時部を備え、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、デコードタイミング情報を受け、このデコードタイミング情報と前記計時部から出力された時刻情報とを基にして、各チャンネルにおける各フレームのデコード時間を求めるものであり、かつ、    前記遅滞チャンネル特定処理において、
前記要デコード枚数に代えて、前記ストラクチャ情報と前記各フレームのデコード時間とに基づいて求められた、復号化のために必要となるデコード時間である要デコード時間を、用いる
ことを特徴とする動画像復号化装置。
【請求項２７】
請求項２２，２５および２６のうちいずれか１項記載の動画像復号化装置において、
前記制御部は、前記表示ターゲット決定処理において、
各チャンネルの同一時刻におけるフレーム群のうち、前記要デコード枚数、前記要デコード符号量、または、前記要デコード時間の各チャンネル間の差分に基づく評価指標が、所定の閾値以上のものは、表示ターゲットの対象から外す
ことを特徴とする動画像復号化装置。
【請求項２８】
請求項１６記載の動画像復号化装置において、
前記制御部は、前記表示ターゲット決定処理において、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、ＧＯＰにおける当該フレームに至るまでのフレームの枚数である要到達枚数の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化装置。
【請求項２９】
請求項１６〜２８のうちいずれか１項に記載の動画像復号化装置において、
前記所定の特殊再生モードは、逆スロー再生モードである
ことを特徴とする動画像復号化装置。
【請求項３０】
請求項１６〜２９のうちいずれか１項に記載の動画像復号化装置と、
前記動画像復号化装置に、各チャンネルの符号化動画像を供給するビットストリーム供給部と、
前記動画像復号化装置から出力された再生画像を、表示のために出力する画像出力部とを備えた
ことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された動画像を復号化して再生する技術に関し、特に、複数の動画像を同時再生するための技術に関する。
【背景技術】
【０００２】
近年、ディジタル技術の本格的な実用化の時代を迎え、動画像を、記録再生装置、パソコン、ホームサーバーといった装置で記録・再生したり、インターネットをはじめとする通信網を用いて遠距離間を伝送したりすることが可能になってきた。携帯電話などのディジタル移動体通信機器においても、その場で動画像を撮影し即座に他者へその動画像を送る手段が提供されている。また、放送の分野においても、テレビジョン等において、ディジタル技術を用いた伝送及び符号化方式が採用されている。【０００３】
その中でも、より高精細なハイビジョン画像を収めたＢｌｕ−ｒａｙディスクやＨＤ−ＤＶＤといった光ディスクは、従来のＶｉｄｅｏＣＤやＤＶＤと比較して、大容量のディジタル動画像のデータを収容でき、高画質な再生画像を格納できるのみならず、２つのビットストリームの同時再生を行い同一画面に表示するピクチャインピクチャ（Picture-in-Picture、以後、ＰｉｎＰと略す）という機能をもサポートしている。ＰｉｎＰは、例えば、野球の録画においてピッチャーとバッターを別のビットストリームにして同時に表示させたり、マルチアングルの２つのストリームを同時に表示したりするのに用いることができる。【０００４】
このＰｉｎＰの再生においては、２つのビットストリームを互いに同期させつつ再生することが要求される。従来から、２つのビットストリームを各々復号した結果を合成して再生画像を得る動画像復号化装置が知られている（例えば、特許文献１参照）。【０００５】
以下では、図３１〜図３４を参照しながら、上記従来の装置で用いられている動画像復号化方法について説明する。【０００６】
図３１は従来の動画像復号化装置の構成例を示すブロック図である。図３１において、５００ａ，５００ｂは各チャンネルのビットストリームを蓄えるためのバッファ、５１０ａ，５１０ｂは復号化部、５５０は制御部、５２０ａ，５２０ｂはフレームメモリ、５３０は合成部である。ここで、符号に付した小文字の接尾文字ａ，ｂは、「ａ」はチャンネルＡ用であることを、「ｂ」はチャンネルＢ用であることを、それぞれ示している。以後、とりわけ言及なき場合はこれに従うものとする。【０００７】
まず、チャンネルＡ，Ｂの２チャンネルの動画像のビットストリームは、各々バッファ５００ａ，５００ｂに入力された後、後続の復号化部５１０ａ，５１０ｂで復号化され、復元された画像がフレームメモリ５２０ａ，５２０ｂに格納される。ここでの復号化は例えば、国際標準規格である通称ＭＰＥＧ２(Moving Picture Experts Group Phase2)と呼ばれる「インフォメーション・テクノロジー ジェネリック・コーディング・オブ・ムービング・ピクチャーズ・アンド・アソシエーティッド・オーディオ・インフォメーション」に記載の方法に準じた方法を用いる。【０００８】
ここで、上記ＭＰＥＧ２規格での画像の符号化方法について概要を説明する。図３２に示すように、一続きの画像群は、そのフレームのデータのみで完全に復号可能なＩフレーム(Intra-coded frame)、他の１枚のフレーム（ＩまたはＰフレーム）を用いて復号化されるＰフレーム(Predictive-coded frame)、さらに、他の最大２枚のフレーム（ＩまたはＰフレーム）を用いて復号化されるＢフレーム(Bi-Directionally Predictive-coded frame)の３種類から成り、通常、規則正しいパターンで割り当てられる。これらは、通常は０．５〜１秒分程度の複数フレームがグループ化されたＧＯＰ(Group Of Pictures)と呼ぶ単位で送られてくる。【０００９】
図３２の場合、復号化の順は、Ｉ０，Ｐ３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，…となる。ここで、Ｐ３フレームの作成にはＩ０フレームが必要であり、Ｂ１またはＢ２フレームの作成にはＩ０とＰ３フレームが必要となる。このため、Ｉ，Ｐフレームは後続の画像フレームの作成のために、表示された後も画像メモリ上に保存しておかなくてはならない。このような他の画像フレームの再生のために必要となるフレームのことを、参照フレームと呼ぶ。すなわち、Ｐ，Ｂフレームの再生にはそれらの参照フレームのデコードが不可欠である。【００１０】
デコードして得られたＩ，Ｐ，Ｂフレームは、フレームメモリ５２０ａ，５２０ｂに格納される。格納された各フレームは、適切な表示順で再生画像が得られるように制御部５５０が指示した順番に、フレームメモリ５２０ａ，５２０ｂから出力される。これらの結果は、合成部５３０で同一画面に合成されてＰｉｎＰの画像となり、出力される。【００１１】
次に、特殊再生時の動作について説明する。特殊再生とは、上述したような時間軸上で過去から未来に向けて順方向に画像を復号し１枚ごとに順に再生する通常再生以外の、再生モードのことである。例えば、順方向にとびとびの画像を選択して再生する早送り再生、順方向に１倍速より遅い速度で再生するスロー再生を始め、逆方向にとびとびの画像を選択して再生する早戻し再生、逆方向に１倍速より遅い速度で再生する逆スロー再生などの逆再生を含む。最近の大抵の動画像復号化装置は特殊再生機能を備えており、ユーザーの便宜に供している。【００１２】
以下では、特殊再生の一例として、逆スロー再生を例にとって、そのときの動作について、図３３を用いて説明する。以下では、一方のチャンネルであるチャンネルＡについて説明しているが、他方のチャンネルＢについても同様に再生を行い、得られた画像を合成することによって、ＰｉｎＰにおいて時間的に過去へ遡る再生画像を得ることができる。【００１３】
図３３（Ａ）において、現在表示中の画像はＩ’０フレームであり、逆スロー再生において、その直前のＰ６からＢ４，Ｂ２，Ｉ０という順で画像を表示するものとする（その他の画像は読み飛ばされる）。表示すべき画像を得るためには、逐一、そのフレームを含むＧＯＰのビットストームをバッファ５００ａに転送し、次に表示すべきフレーム（以下、これを表示ターゲットと呼ぶ。）が得られるまでデコードを続けるように、制御部５５０が復号化部５１０ａを制御する。【００１４】
すなわち、Ｐ６フレームが表示ターゲットのとき、このＰ６のデコードにはＩ０とＰ３の画像が必要となるため、Ｉ０とＰ３をデコードした後にＰ６のデコードを行う。この間は、Ｉ’０がずっと表示され続ける。Ｐ６がデコードされると、制御部５５０はようやく、完成したそのＰ６の画像を出力するようにフレームメモリ５２０ａを制御する。つまり、現在表示中のフレームがＰ６に移るように制御する。次に、表示ターゲットがＢ４となったときも同様に、そのＧＯＰを含むビットストリームを転送し、制御部５５０が復号化部５１０ａ及びフレームメモリ５２０ａを制御して、Ｉ０とＰ３とＰ６をデコードした後に、Ｂ４をデコードして表示させる。次に表示ターゲットがＢ２となったときも同様である。表示ターゲットがそのＧＯＰの先頭に達すると、現在のＧＯＰより時間的にひとつ前のＧＯＰを新たに転送し、その後尾を表示ターゲットして、逆スロー再生を継続して行う。【００１５】
図３３（Ｂ）はこのときの再生画像の見え方の一例を図示したものである。復号化部が１倍速相当のデコード能力を有する場合、１フレームのデコードには最大１フレーム表示時間がかかる。最初に逆スロー画像として表示されるＰ６フレームをデコードするのに必要なフレーム枚数は、Ｉ０，Ｐ３と最終結果のＰ６の計３枚となる。すなわち、３フレーム時間の間、Ｉ’０フレームが表示され続けた後、Ｐ６が表示される。次のＢ４のデコードには、順にＩ０，Ｐ３，Ｐ６，Ｂ４の４フレームのデコードが必要であるから、４フレーム時間の間、Ｐ６が表示され続けた後、Ｂ４が表示される。同様にＢ２のデコードには、順にＩ０，Ｐ３，Ｂ２の３フレームのデコードが必要であるから、３フレーム時間の間、Ｂ４が表示され続けた後、Ｂ２が表示される。【００１６】
ここで、Ｂ１のデコードが必要でないのは、Ｂ２フレームは他のＢフレームを参照することはないためである。実際にはＢ１のビットストリームを読み捨てるだけでよく、通常この時間は十分に短い時間で終了する。このため、デコード時間に比較してＢフレームの読み飛ばしにかかる時間の影響は無視できる。【００１７】
図３３（Ｃ）は逆スロー再生時に見える画像の見え方を模式的に示した図である。図３３（Ｃ）では、画像が表示され続ける期間を矢印の長さで表現している。なお、図３３（Ｃ）では、表示されるフレームを復号化するために必要となるフレーム枚数を、要デコード枚数として記載している。
【特許文献１】特開２００７−３７０６８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかし、上記従来の構成では、特殊再生時、その一例として特に逆スロー再生時では、チャンネル間でストリームのストラクチャ構造、画像サイズ、符号化規格、各画像の符号量等が異なることが原因で、チャンネル間の画面更新時刻が不揃いになる場合がある。これにより、本来同時刻の内容を表示すべきところが異なる時刻の画像同士が合成されてしまい、再生画像がぎこちなく不自然になることがある、という問題があった。図３４を用いてこの問題を説明する。【００１９】
図３４（Ａ）は２チャンネルのビットストリームの符号化タイプの分布の一例を示している。なお、ビットストリーム中のＧＯＰに含まれる枚数、ＧＯＰ中の画像の符号化タイプや並び順といった情報は、デコード処理には重要なものであり、総称してストラクチャと呼ばれている。図３４（Ａ）では、チャンネルＡは図３３と同様の符号化タイプの分布を有する一方、チャンネルＢは図３３とは異なり、Ｂフレームが含まれていない分布を有する場合を想定している。また図３４（Ａ）では、各フレームが表示ターゲットとなった場合の要デコード枚数についても併せて示している。【００２０】
このとき、逆スロー再生時に見える画像の見え方は図３４（Ｂ）のようになる。図３４（Ｂ）に示すように、チャンネルＡのＰ６の要デコード枚数は３であり、その再生は３フレーム時間で済むのに対して、チャンネルＢのＰ６の要デコード枚数は７であり、その再生には７フレーム時間を要する。このため、その差分の４フレーム時間分だけ、再生に時間差が生じる。すなわち、チャンネル間で画面の更新時刻が著しく不揃いになってしまう。したがって、それらを合成したＰｉｎＰ画像は、本来同時刻の内容を表示すべきところが異なる時刻の画像の合成結果となってしまい、再生画像がぎこちなく不自然になってしまう。【００２１】
また、チャンネル間でビットストリームの画像サイズが異なる場合には、チャンネル間の画面の更新時刻の不揃いがさらに起こりやすくなる。例えば、２チャンネルの一方がＨＤサイズ（ハイビジョンサイズ：1920画素＊1080画素）で、他方がＳＤサイズ（標準テレビジョンサイズ：720画素＊４８０画素）である場合、ＨＤサイズ画像は、ＳＤサイズ画像の６倍の画素を含むため、ＳＤサイズ画像に比べてデコード時間がかかる傾向にある。このため、２チャンネル間の画面の更新時刻の不揃いが起こりやすくなる。【００２２】
また、チャンネル間のビットストリームの規格が異なる場合にも、チャンネル間の画面の更新時刻の不揃いがさらに起こりやすくなる。例えば、２チャンネルの一方がＭＰＥＧ２規格で、他方が同じく国際標準のＨ．２６４規格である場合、Ｈ．２６４規格は、ＭＰＥＧ２より後年に策定され様々な工夫と予測技術を駆使したより効率が高い符号化規格であるがゆえに、復号化時にＭＰＥＧ２より多くの演算処理を要するため、ＭＰＥＧ２に比べてデコード時間がかかる傾向にある。このため、２チャンネル間の画面の更新時刻の不揃いが起こりやすくなる。【００２３】
さらに、チャンネル間のビットストリーム中の画像の符号量が異なる場合にも、チャンネル間の画面の更新時刻の不揃いがさらに起こりやすくなる。例えば、２チャンネルの一方の画像が１００ｋバイトで、他方が５００ｋバイトである場合、後者の方が処理すべき符号量が多いためデコード時間が掛かる傾向にある。このため、２チャンネル間の画面の更新時刻の不揃いが起こりやすくなる。【００２４】
本発明は、上記従来の問題点に鑑みて提案されたものであり、複数チャネルの動画像を同一画面上に合成して再生するための動画像復号化において、チャンネル間の画面更新時刻の極端な不揃いを解消し、より自然な再生画像が得られるようにすることを目的とする。
【課題を解決するための手段】
【００２５】
本発明は、複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化として、各チャンネルについて、前記符号化動画像のストラクチャ情報を取得し、所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となる表示ターゲットを、前記ストラクチャ情報に基づいて、決定し、前記表示ターゲットをそれぞれ復号化するものであり、かつ、前記表示ターゲットの決定において、各チャンネルの同一時刻におけるフレーム群のうち、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数の各チャンネル間の差分に基づく評価指標が、所定の閾値以上のものは、表示ターゲットの対象から外すものである。【００２６】
本発明によると、要デコード枚数の差分に基づく評価指標が所定の閾値以上のフレーム群は、表示ターゲットの対象から外されることになるので、これにより、チャンネル間の画面更新時刻の不揃いの原因となる、要デコード枚数の差の大きなフレーム群が、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像を得ることができる。【００２７】
また、本発明において、要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、復号化のために必要となる符号量である要デコード符号量の各チャンネル間の差分に基づく評価指標や、復号化のために必要となるデコード時間である要デコード時間の各チャンネル間の差分に基づく評価指標を用いてもよい。【００２８】
また、本発明は、複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化として、各チャンネルについて、前記符号化動画像のストラクチャ情報を取得し、所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となるフレームである表示ターゲットを決定し、前記表示ターゲットについて、復号化が最も遅くなると予測されるチャンネルである遅滞チャンネルを特定し、前記表示ターゲットを復号化し、前記遅滞チャンネルのフレームの復号化が完了した後に、各チャンネルについてタイミングを合わせて、復号化された画像データを合成して再生するものであり、かつ、前記遅滞チャンネルの特定において、前記表示ターゲットとなるフレーム群の中で、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数が、最大となるフレームを求め、当該フレームのチャンネルを前記遅滞チャンネルとして特定するものである。【００２９】
本発明によると、表示ターゲットについて、要デコード枚数が最大となるチャンネルを遅滞チャンネルとして特定し、遅滞チャンネルのフレームの復号化が完了するまで、各チャンネルの再生を待つので、これにより、チャンネル間の画面更新時刻の不揃いが解消され、より自然な再生画像を得ることができる。【００３０】
また、本発明において、復号化のために必要となる符号量である要デコード符号量が最大となるチャンネルを遅滞チャンネルとして特定してもよいし、復号化のために必要となるデコード時間である要デコード時間が最大となるチャンネルを遅滞チャンネルとして特定してもよい。
【発明の効果】
【００３１】
本発明によれば、複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する際に、チャンネル間の画面更新時刻の不揃いが解消され、より自然な再生画像を得ることができる。
【図面の簡単な説明】
【００３２】
【図１】図１は本発明の実施形態１に係る動画像復号化装置の構成図である。
【図２】図２（Ａ）は２つのチャンネルのビットストリームのストラクチャの例、図２（Ｂ）は実施形態１における再生画像の見え方を示す模式図である。
【図３】図３（Ａ）は実施形態１における制御部の基本動作となる制御フロー、図３（Ｂ）は図３（Ａ）における表示ターゲット決定処理の詳細フローである。
【図４】図４（Ａ）は図３（Ａ）における特殊再生処理の詳細フロー、図４（Ｂ）は図３（Ａ）における通常再生処理の詳細フローである。
【図５】図５は本発明の実施形態２に係る動画像復号化装置の構成図である。
【図６】図６（Ａ）は実施形態２における制御部の基本動作となる制御フロー、図６（Ｂ）は図６（Ａ）における表示ターゲット決定処理の詳細フローである。
【図７】図７（Ａ）は図６（Ａ）における特殊再生処理の詳細フロー、図７（Ｂ）は図６（Ａ）における通常再生処理の詳細フローである。
【図８】図８は本発明の実施形態３に係る動画像復号化装置の構成図である。
【図９】図９（Ａ）は実施形態３における制御部の基本動作となる制御フロー、図９（Ｂ）は図９（Ａ）における表示ターゲット決定処理の詳細フローである。
【図１０】図１０（Ａ）は図９（Ａ）における特殊再生処理の詳細フロー、図１０（Ｂ）は図９（Ａ）における通常再生処理の詳細フローである。
【図１１】図１１は本発明の実施形態４に係る動画像復号化装置の構成図である。
【図１２】図１２（Ａ）は実施形態４における制御部の基本動作となる制御フロー、図１２（Ｂ）は図１２（Ａ）における表示ターゲット決定処理の詳細フローである。
【図１３】図１３（Ａ）は図１２（Ａ）における特殊再生処理の詳細フロー、図１３（Ｂ）は図１２（Ａ）における通常再生処理の詳細フローである。
【図１４】図１４は本発明の実施形態５に係る動画像復号化装置の構成図である。
【図１５】図１５（Ａ）は実施形態５における制御部の基本動作となる制御フロー、図１５（Ｂ）は図１５（Ａ）における表示ターゲット決定処理の詳細フローである。
【図１６】図１６（Ａ）は図１５（Ａ）における特殊再生処理の詳細フロー、図１６（Ｂ）は図１５（Ａ）における通常再生処理の詳細フローである。
【図１７】図１７は本発明の実施形態６に係る動画像復号化装置の構成図である。
【図１８】図１８は実施形態６における再生画像の見え方の一例を示す模式図である。
【図１９】図１９（Ａ）は実施形態６における制御部の基本動作となる制御フロー、図１９（Ｂ）は図１９（Ａ）における表示ターゲット決定処理の詳細フローである。
【図２０】図２０は図１９（Ａ）における特殊再生処理の詳細フローである。
【図２１】図２１は本発明の実施形態７に係る動画像復号化装置の構成図である。
【図２２】図２２（Ａ）は実施形態７における制御部の基本動作となる制御フロー、図２２（Ｂ）は図２２（Ａ）における表示ターゲット決定処理の詳細フローである。
【図２３】図２０は図２２（Ａ）における特殊再生処理の詳細フローである。
【図２４】図２４は本発明の実施形態８に係る動画像復号化装置の構成図である。
【図２５】図２５（Ａ）は再生画像の見え方の一例を示す模式図、図２５（Ｂ），（Ｃ）は実施形態８におけるデコードの時分割処理を示す図である。
【図２６】図２６は実施形態８における制御部の基本動作となる制御フローである。
【図２７】図２７は図２６における特殊再生処理の詳細フローである。
【図２８】図２８は本発明に係る動画像復号化装置を有する電子機器の構成例を示すブロック図である。
【図２９】図２９は電子機器の一例としての光ディスク再生装置の外観図である。
【図３０】図３０は本発明に係る動画像復号化装置を有する電子機器の構成例を示すブロック図である。
【図３１】図３１は従来の動画像復号化装置の構成例を示すブロック図である。
【図３２】図３２はＧＯＰ構造の一例である。
【図３３】図３３（Ａ）はピクチャ構成の一例、図３３（Ｂ），（Ｃ）は再生画像の見え方を示す図である。
【図３４】図３４（Ａ）は２チャンネルの場合のピクチャ構成の一例、図３４（Ｂ）は再生画像の見え方を示す図である。
【符号の説明】
【００３３】
１５１，１５２，１５３，１５４，１５５，１７０，１８０，５６０  制御部
１６０  計時部
５０１ａ，５０１ｂ  バッファメモリ
５１１ａ，５１１ｂ，５１２ａ，５１２ｂ，５１３ａ，５１３ｂ，５１５ａ，５１５ｂ  復号化部
５１６  復号化部
５２０ａ，５２０ｂ  フレームメモリ
７００，７１０  スイッチ
Ｃ１０  ビットストリーム供給部
Ｃ２０  動画像復号化装置
Ｃ３０  画像出力部
Ｃ１００，Ｃ１１０  電子装置
【発明を実施するための最良の形態】
【００３４】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。【００３５】
なお、以下の各実施形態では、所定の特殊再生モードの一例として、逆スロー再生を例にとって説明を行う。ただし、他の特殊再生、例えば、早送り再生、スロー再生、早戻し再生等についても、各実施形態で説明する手法は、同様に適用することができる。【００３６】
（実施形態１）
図１は本発明の実施形態１に係る動画像復号化装置の構成図である。図１において、図３１と共通の構成要素には図３１と同一の符号を付している。図１において、５１１ａ，５１１ｂは復号化部、１５１は制御部であり、復号化部５１１ａ，５１１ｂおよび制御部１５１における処理が、図３１の構成とは大きく異なっている。【００３７】
まず、チャンネルＡ、チャンネルＢの２チャンネルの動画像のビットストリームは、それぞれ、バッファ（バッファメモリ）５００ａ，５００ｂに入力された後、後続の復号化部５１１ａ，５１１ｂにおいて復号化される。復元された画像はそれぞれ、フレームメモリ５２０ａ，５２０ｂに格納される。ここで、図３１の構成と異なるのは、復号化部５１１ａ，５１１ｂが、チャンネルＡ，Ｂ各々のビットストリームについてのストラクチャ情報を出力する点である。復号化部５１１ａ，５１１ｂは、ビットストリームを順再生のためにデコードしている際に、ストラクチャ情報を予め解析しておく。復号化部５１１ａ，５１１ｂから出力されたストラクチャ情報は、制御部１５１が有する情報記憶手段に格納される。【００３８】
ここで、「ストラクチャ情報」とは、ビットストリームのストラクチャに関する情報、すなわち、ビットストリーム中のＧＯＰに含まれるフレーム画像の枚数、ＧＯＰ中のフレーム画像の符号化タイプや並び順を示す情報のことをいう。【００３９】
フレームメモリ５２０ａ，５２０ｂに格納された画像は、制御部１５１が指示した順に出力される。制御部１５１は、適切な表示順で再生画像が得られるように、画像の出力順を指示する。フレームメモリ５２０ａ，５２０ｂから出力された画像は、合成部５３０において、同一画面上に重畳されてＰｉｎＰ画像として出力される。【００４０】
また制御部１５１は、所定の特殊再生モードとして逆スロー再生モードが指示されたとき、復号化部５１１ａ，５１１ｂから受けたストラクチャ情報に基づいて、再生対象となるフレームである表示ターゲットを決定する。すなわち、「表示ターゲット」とは、各チャンネルの同一時刻におけるフレーム群であって、再生対象となるもののことをいう。制御部１５１は、表示ターゲットが決定されるまでデコードを続けるように、復号化部５１１ａ，５１１ｂを制御する。【００４１】
図２（Ａ）はチャンネルＡ，Ｂのビットストリームのストラクチャの例を示している。図２（Ａ）において、チャンネルＡは図３２と同様のストラクチャであるが、チャンネルＢは図３２とは異なり、Ｂフレームが含まれていないストラクチャである。図２（Ａ）において、現在表示中のフレームがＩ’０フレームであり、その直前のＰ６から順次、逆スロー再生を行うものとする。そしてチャンネルＡでは、逆スロー再生において、Ｐ６，Ｂ４，Ｂ２，Ｉ０という順で画像が表示されることを想定する。チャンネルＢにおいても同様に、Ｐ６，Ｐ４，Ｐ２，Ｉ０という順で画像が表示されるものとする。【００４２】
表示すべきフレームすなわち表示ターゲットの画像を得るためには、その表示ターゲットを含むＧＯＰのビットストリームをバッファ５００ａ，５００ｂに転送し、当該表示ターゲットの画像データが得られるまで、復号化部５１１ａ，５１１ｂにデコードを実行させる必要がある。また、表示ターゲットがそのＧＯＰの先頭に達したときは、現在のＧＯＰより時間的にひとつ前のＧＯＰを新たにバッファ５００ａ，５００ｂに転送し、その後尾を表示ターゲットとして、逆スロー再生を継続する。【００４３】
図２（Ａ）では、各フレームについて、当該フレームが表示ターゲットとなった場合に復号化のために必要となるフレーム枚数である要デコード枚数を、それぞれ記している。【００４４】
本実施形態において、制御部１５１が逆スロー再生において表示ターゲットを決定する処理について、詳細に説明する。【００４５】
制御部１５１は、まず、指示された逆スロー再生モードに従って、各チャンネルＡ，Ｂの所定時刻におけるフレームを、表示ターゲット候補として定める。そして、各表示ターゲット候補について、復号化部５１１ａ，５１１ｂから受けた各チャンネルＡ，Ｂのストラクチャ情報に基づいて、要デコード枚数をそれぞれ算出する。さらに、算出した要デコード枚数の、各チャンネルＡ，Ｂ間の差分を算出し、これを所定の閾値（枚数）と比較する。要デコード枚数の差分が所定の閾値よりも小さい場合は、各表示ターゲット候補を表示ターゲットとして決定する。一方、要デコード枚数の差分が所定の閾値以上の場合は、各表示ターゲット候補をキャンセルし、キャンセルした各表示ターゲット候補より時間的に前に位置しており、かつ、要デコード枚数の差分が所定の閾値よりも小さいフレームを探し、これを表示ターゲットとして決定する。【００４６】
この処理を、図２を用いて具体的に説明する。ここでは、要デコード枚数の差分と比較する所定の閾値は「２」とする。【００４７】
まず、表示ターゲット候補として、チャンネルＡのＰ６とチャンネルＢのＰ６が定められる。図２（Ａ）に示すとおり、要デコード枚数は、チャンネルＡのＰ６については３、チャンネルＢのＰ６については７となる。したがって、要デコード枚数の差分は４となり、所定の閾値である２よりも大きいので、この場合の表示ターゲット候補はキャンセルされる。【００４８】
次に、チャンネルＡのＰ６とチャンネルＢのＰ６よりも時間的に前に位置する、チャンネルＡのＢ５とチャンネルＢのＰ５を表示ターゲット候補とし、評価する。図２（Ａ）に示すとおり、要デコード枚数は、チャンネルＡのＢ５については４、チャンネルＢのＰ５については６となる。したがって、要デコード枚数の差分は２となり、所定の閾値である２と等しいので、この場合の表示ターゲット候補もキャンセルされる。【００４９】
次に、チャンネルＡのＢ５とチャンネルＢのＰ５よりも時間的に前に位置する、チャンネルＡのＢ４とチャンネルＢのＰ４を表示ターゲット候補とし、評価する。図２（Ａ）に示すとおり、要デコード枚数は、チャンネルＡのＢ４については４、チャンネルＢのＰ４については５となる。したがって、要デコード枚数の差分は１となり、所定の閾値である２よりも小さいので、この場合の表示ターゲット候補を表示ターゲットとして決定する。すなわち、チャンネルＡのＢ４とチャンネルＢのＰ４が表示ターゲットとして決定される。【００５０】
制御部１５１は、表示ターゲットとして決定されたチャンネルＡのＢ４とチャンネルＢのＰ４の画像が復号化されて出力されるように、復号化部５１１ａ，５１１ｂおよびフレームメモリ５２０ａ，５２０ｂを制御する。このような処理によって、当初はＩ’０フレーム画像が画面に表示されているが、チャンネルＡのＢ４とチャンネルＢのＰ４の画像が再生され次第、それぞれのチャンネルにおいて、その画像が画面に表示される。以降、同様に、表示ターゲットが決定されて、決定された表示ターゲットの画像が再生されていく。【００５１】
図２（Ｂ）は再生画像の見え方を示す模式図である。ここでは、復号化部５１１ａ，５１１ｂが１倍速相当のデコード能力を有する場合を想定している。【００５２】
なお、上述した動作では、最初の表示ターゲットは、表示ターゲット候補を２回キャンセルした後、３回目の評価で決定したが、キャンセル回数が多い場合、すなわち、要デコード枚数のチャンネル間の差分が大きいフレームが連続している場合には、現在表示中のフレームと表示ターゲットとの間隔が広くなってしまう。ただし、例えばＭＰＥＧ２規格では、ＧＯＰに必ず１枚以上のＩフレームを含むという規則があり、少なくともＩフレーム（要デコード枚数が１）は表示ターゲットとして決定されるため、表示ターゲットが全く見つからずに画面更新が完全に停止状態になる、といった問題は生じない。【００５３】
図３および図４は制御部１５１の具体的な動作を示すフローチャートである。図３（Ａ）は基本動作となる制御フロー、図３（Ｂ）は図３（Ａ）における表示ターゲット決定処理Ｓ２００の詳細フロー、図４（Ａ）は図３（Ａ）における特殊再生処理Ｓ３００の詳細フロー、図４（Ｂ）は図３（Ａ）における通常再生処理Ｓ４００の詳細フローである。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。すなわち、図１では動画像のチャンネル数は２であるものとして装置構成を示したが、３以上のチャンネルがあってもよい。以下の実施形態でも同様である。【００５４】
まず図３（Ａ）に示すように、通常再生か特殊再生かといった、ユーザーにより指示された再生モードを判定し（Ｓ１００）、通常再生の場合は通常再生処理Ｓ４００を行い、特殊再生の場合は、表示ターゲット決定処理Ｓ２００を行った後、特殊再生処理Ｓ３００を行う。なお、制御部１５１は、特殊再生処理Ｓ３００および通常再生処理Ｓ４００は、各チャンネルに対して実施する。以下では、チャンネルＡに対して実施するものとして記載するが、他の全てのチャンネル（チャンネルＢ含む）についても同様に実施する。【００５５】
通常再生処理Ｓ４００では、図４（Ｂ）に示すように、制御部１５１はまず、復号化部５１１ａにビットストリームのピクチャ層以上のヘッダ解析を指示し（Ｓ３０１）、その結果得られたストラクチャ情報を記憶する（Ｓ３０２）。その後、復号化部５１１ａにピクチャ層より下位の階層のデータであるピクチャデータの復号を指示する（Ｓ３０７）。１フレーム分の復号処理が完了すると、正しく並び替えられた画像が表示されるように、フレームメモリ５２０ａにデコード済み画像の中から適切な画像を表示するよう指示する（Ｓ３０８Ａ）。【００５６】
表示ターゲット決定処理Ｓ２００では、図３（Ｂ）に示すように、制御部１５１はまず、表示ターゲット候補を設定する（Ｓ２０１）。そして、ストラクチャ情報に基づいて、各チャンネルの表示ターゲット候補の要デコード枚数Ｆ（ｘ）をそれぞれ求める（Ｓ２０２）。ここで、ｘはチャンネルを表す。次に、全チャンネル間での要デコード枚数Ｆ（ｘ）の差分の最大値ｍａｘＦｄを求め（Ｓ２０３）、この最大値ｍａｘＦｄを所定の閾値Ｆｄｔｈと比較する（Ｓ２０４）。最大値ｍａｘＦｄが閾値Ｆｄｔｈ未満のときは、現在の表示ターゲット候補を表示ターゲットとして決定して（Ｓ２０６）処理を終了する。一方、最大値ｍａｘＦｄが閾値Ｆｄｔｈ以上のときは、現在の表示ターゲット候補を取り消して、次の表示ターゲット候補を設定し（Ｓ２０５）、再びＳ２０２から処理を行う。【００５７】
なお、この表示ターゲット決定処理Ｓ２００では、要デコード枚数のチャンネル間の差分に基づく評価指標として、要デコード枚数の差分の最大値を用いるものとしたが、他の値を用いてもかまわない。例えば、任意の２チャンネル間の差分の平均値をとり、これを評価指標としてもよい。あるいは、符号化条件を反映するような補正係数を、要デコード枚数の差分に乗じるようにしてもかまわない。【００５８】
特殊再生処理Ｓ３００では、図４（Ａ）に示すように、制御部１５１はまず、復号化部５１１ａにビットストリームのピクチャ層以上のヘッダ解析を指示し（Ｓ３０１）、その結果得られたストラクチャ情報を記憶する（Ｓ３０２）。次に、フレームが表示ターゲットと一致するか否かを判定し（Ｓ３０３）、一致した場合、復号手段５１１ａにピクチャデータを復号指示し（Ｓ３０７）、その画像を表示するようにフレームメモリ５２０ａに指示する（Ｓ３０８）。一方、フレームが表示ターゲットと一致しなかった場合、そのフレームの符号化タイプを判定し（Ｓ３０４）、Ｂフレームのときは次のフレームまでピクチャデータを読み捨てるように復号化部５１１ａに指示する（Ｓ３０６）。Ｂフレーム以外のときは、そのフレームを復号するように復号化部５１１ａに指示する（Ｓ３０５）。【００５９】
以上のように本実施形態では、各チャンネルの表示ターゲット候補について要デコード枚数をそれぞれ算出し、この要デコード枚数の差分に基づく評価指標が所定の閾値より小さい場合は、表示ターゲット候補を表示ターゲットとして決定する一方、そうでない場合は、表示ターゲット候補をキャンセルするようにした。すなわち、要デコード枚数の差分に基づく評価指標が所定の閾値以上のフレーム群は、表示ターゲットの対象から外すようにした。これにより、チャンネル間の画面更新時刻の不揃いの原因となる、要デコード枚数の差の大きなフレーム群が、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像を得ることができる。【００６０】
（実施形態２）
図５は本発明の実施形態２に係る動画像復号化装置の構成図である。図５において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図５の構成では、復号化部５１２ａ，５１２ｂおよび制御部１５２における処理が、実施形態１に係る図１の構成と異なっている。【００６１】
本実施形態が実施形態１と異なるのは、復号化部５１２ａ，５１２ｂが、ストラクチャ情報に加えて画像サイズ情報も出力し、制御部１５２が、ストラクチャ情報に加えて画像サイズ情報も用いて、表示ターゲットを決定する点である。ここでの画像サイズ情報とは例えば、１フレーム当たりの画素数である。復号化部５１２ａ，５１２ｂは、ビットストリームを順再生のためにデコードしている際に、ストラクチャ情報と画像サイズ情報を予め解析しておく。復号化部５１２ａ，５１２ｂから出力されたストラクチャ情報と画像サイズ情報は、制御部１５２が有する情報記憶手段に格納される。【００６２】
図６および図７は制御部１５２の具体的な動作を示すフローチャートである。図６および図７において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図６（Ａ）は基本動作となる制御フロー、図６（Ｂ）は図６（Ａ）における表示ターゲット決定処理Ｓ２２０の詳細フロー、図７（Ａ）は図６（Ａ）における特殊再生処理Ｓ３２０の詳細フロー、図７（Ｂ）は図６（Ａ）における通常再生処理Ｓ４２０の詳細フローである。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。【００６３】
図７（Ａ），（Ｂ）に示すように、本実施形態における特殊再生処理Ｓ３２０および通常再生処理Ｓ４２０が、実施形態１における特殊再生処理Ｓ３００および通常再生処理Ｓ４００と異なるのは、処理Ｓ３１２のみである。すなわち、処理Ｓ３１２では、ストラクチャ情報に加えて、画像サイズ情報も記憶しておく。この画像サイズ情報は、ストラクチャ情報とともに、表示ターゲット決定処理Ｓ２２０において用いられる。【００６４】
また、図６（Ｂ）に示すように、本実施形態における表示ターゲット決定処理Ｓ２２０が、実施形態１における表示ターゲット決定処理Ｓ２００と異なるのは、処理Ｓ２１２が加わった点である。すなわち本実施形態の表示ターゲット決定処理Ｓ２２０では、ストラクチャ情報に基づいて、各チャンネルの表示ターゲット候補の要デコード枚数Ｆ（ｘ）をそれぞれ求めた（Ｓ２０２）後に、この要デコード枚数Ｆ（ｘ）を画像サイズ情報に基づいて補正する（Ｓ２１２）。それ以外の処理は、実施形態１の表示ターゲット決定処理Ｓ２００と同様である。【００６５】
画像サイズ情報に基づく補正の一例としては、例えば、チャンネル間の画像サイズ比を考慮して、各チャンネルの要デコード枚数Ｆ（ｘ）を補正する。例えば、チャンネルＡがＨＤサイズであり、チャンネルＢが横方向半分のハーフＨＤサイズの場合、チャンネルＡのＦ（ｘ）はそのままとし（スケーリング率＝１）、チャンネルＢのＦ（ｘ）を１／２倍（スケーリング率＝０．５）として用いる。一般的に、１回の処理単位であるマクロブロックの大きさは同じであるから、画像サイズが大きければ大きいほどデコードに時間がかかる傾向になるため、補正後の値は、表示ターゲット候補の画像を得るまでにかかる時間と概ね相関があると考えることができる。【００６６】
以上のように本実施形態によると、実施形態１と同様の作用効果が得られるのに加えて、さらに、要デコード枚数の各チャンネル間の差分に基づく評価指標として、画像サイズ情報に基づいて補正されたものを用いることによって、表示ターゲット決定処理において画像サイズまで考慮することができる。これにより、各チャンネル間の実際のデコード時間差をより正確に表示ターゲット決定処理に反映させることができ、より自然な再生画像を得ることができる。【００６７】
（実施形態３）
図８は本発明の実施形態３に係る動画像復号化装置の構成図である。図８において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図８の構成では、復号化部５１３ａ，５１３ｂおよび制御部１５３における処理が、実施形態１に係る図１の構成と異なっている。【００６８】
本実施形態が実施形態１と異なるのは、復号化部５１３ａ，５１３ｂが、ストラクチャ情報に加えて符号化規格情報も出力し、制御部１５３が、ストラクチャ情報に加えて符号化規格情報も用いて、表示ターゲットを決定する点である。復号化部５１３ａ，５１３ｂは、ビットストリームを順再生のためにデコードしている際に、ストラクチャ情報と符号化規格情報を予め解析しておく。復号化部５１３ａ，５１３ｂから出力されたストラクチャ情報と符号化規格情報は、制御部１５３が有する情報記憶手段に格納される。【００６９】
図９および図１０は制御部１５３の具体的な動作を示すフローチャートである。図９および図１０において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図９（Ａ）は基本動作となる制御フロー、図９（Ｂ）は図９（Ａ）における表示ターゲット決定処理Ｓ２３０の詳細フロー、図１０（Ａ）は図９（Ａ）における特殊再生処理Ｓ３３０の詳細フロー、図１０（Ｂ）は図９（Ａ）における通常再生処理Ｓ４３０の詳細フローである。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。【００７０】
図１０（Ａ），（Ｂ）に示すように、本実施形態における特殊再生処理Ｓ３３０および通常再生処理Ｓ４３０が、実施形態１における特殊再生処理Ｓ３００および通常再生処理Ｓ４００と異なるのは、処理Ｓ３１３のみである。すなわち、処理Ｓ３１３では、ストラクチャ情報に加えて、符号化規格情報も記憶しておく。この符号化規格情報は、ストラクチャ情報とともに、表示ターゲット決定処理Ｓ２３０において用いられる。【００７１】
また、図９（Ｂ）に示すように、本実施形態における表示ターゲット決定処理Ｓ２３０が、実施形態１における表示ターゲット決定処理Ｓ２００と異なるのは、処理Ｓ２１３が加わった点である。すなわち本実施形態の表示ターゲット決定処理Ｓ２３０では、ストラクチャ情報に基づいて、各チャンネルの表示ターゲット候補の要デコード枚数Ｆ（ｘ）をそれぞれ求めた（Ｓ２０２）後に、この要デコード枚数Ｆ（ｘ）を符号化規格情報に基づいて補正する（Ｓ２１３）。それ以外の処理は、実施形態１の表示ターゲット決定処理Ｓ２００と同様である。【００７２】
符号化規格情報に基づく補正の一例としては、例えば、各チャンネルの符号化規格における平均デコード時間の比を考慮して、各チャンネルの要デコード枚数Ｆ（ｘ）を補正する。例えば、チャンネルＡがＭＰＥＧ２規格であり、チャンネルＢがＨ．２６４規格である場合、チャンネルＡのＦ（ｘ）を１／２倍（スケーリング率＝０．５）し、チャンネルＢのＦ（ｘ）はそのまま（スケーリング率＝１）で用いる。一般的に、符号化規格が複雑であれば複雑であるほどデコードに時間がかかる傾向になるため、補正後の値は、表示ターゲット候補の画像を得るまでに掛かる時間と概ね相関があると考えることができる。【００７３】
以上のように本実施形態によると、実施形態１と同様の作用効果が得られるのに加えて、さらに、要デコード枚数の差分に基づく評価指標として、符号化規格情報に基づいて補正されたものを用いることによって、表示ターゲット決定処理において符号化規格まで考慮することができる。これにより、各チャンネル間の実際のデコード時間差をより正確に表示ターゲット決定処理に反映させることができ、より自然な再生画像を得ることができる。【００７４】
なお、符号化規格はビットストリーム中で煩雑に変わるものではないため、各チャンネルの符号化規格情報は、ピクチャ層のヘッダ解析処理ごとに毎回取得する必要は必ずしもない。例えば、符号化規格情報を、別途、外部から当該装置へ与えるようにしてもよいのはもちろんである。【００７５】
（実施形態４）
図１１は本発明の実施形態４に係る動画像復号化装置の構成図である。図１１において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図１１の構成では、バッファ（バッファメモリ）５０１ａ，５０１ｂの機能と制御部１５４における処理とが、実施形態１に係る図１の構成と異なっている。【００７６】
本実施形態が実施形態１と異なるのは、バッファ５０１ａ，５０１ｂが、ビットストリームを復号化部５１１ａ，５１１ｂに出力するのに加えて、ポインタ情報を制御部１５４に出力し、制御部１５４が、ストラクチャ情報に加えてポインタ情報も用いて、表示ターゲットを決定する点である。ポインタ情報とは例えば、バッファ５０１ａ，５０１ｂの読み出し側のポインタ位置の変化を示す情報である。このポインタ情報から、各フレーム毎のポインタ位置の移動量、すなわち、各フレームの符号量を取得することができる。バッファ５０１ａ，５０１ｂから出力されたポインタ情報は、復号化部５１１ａから出力されたストラクチャ情報とともに、制御部１５４が有する情報記憶手段に格納される。【００７７】
図１２および図１３は制御部１５４の具体的な動作を示すフローチャートである。図１２および図１３において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図１２（Ａ）は基本動作となる制御フロー、図１２（Ｂ）は図１２（Ａ）における表示ターゲット決定処理Ｓ２４０の詳細フロー、図１３（Ａ）は図１２（Ａ）における特殊再生処理Ｓ３４０の詳細フロー、図１３（Ｂ）は図１２（Ａ）における通常再生処理Ｓ４４０の詳細フローである。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。【００７８】
図１３（Ａ），（Ｂ）に示すように、本実施形態における特殊再生処理Ｓ３４０および通常再生処理Ｓ４４０が、実施形態１における特殊再生処理Ｓ３００および通常再生処理Ｓ４００と異なるのは、処理Ｓ３１４のみである。すなわち、処理Ｓ３１４では、ストラクチャ情報に加えて、ポインタ情報も記憶しておく。このポインタ情報は、ストラクチャ情報とともに、表示ターゲット決定処理Ｓ２４０において用いられる。【００７９】
また、図１２（Ｂ）に示すように、本実施形態における表示ターゲット決定処理Ｓ２４０が、実施形態１における表示ターゲット決定処理Ｓ２００と異なるのは、処理Ｓ２０２，Ｓ２０３，Ｓ２０４に代えて、処理Ｓ２４１，Ｓ２４２，Ｓ２４３が加わった点である。すなわち本実施形態の表示ターゲット決定処理Ｓ２４０では、ストラクチャ情報とポインタ情報とに基づいて、各チャンネルの表示ターゲット候補について、復号化のために必要となる符号量である要デコード符号量Ｂ（ｘ）をそれぞれ算出する（Ｓ２４１）。ｘはチャンネルを表す。ここで、制御部１５４は、ポインタ情報に含まれたポインタ位置の変化に基づいて、各フレームの符号量を算出することができる。そして、算出した各フレームの符号量を用いて、表示ターゲット候補を得るまでにデコードしなくてはならない符号量の総計、すなわち要デコード符号量Ｂ（ｘ）を求めることができる。一般的に、符号量が多ければ多いほどデコードに時間がかかる傾向になるため、要デコード符号量は、表示ターゲット候補の画像を得るまでにかかる時間と概ね相関があると考えることができる。【００８０】
その後、全チャンネル間での要デコード符号量Ｂ（ｘ）の差分の最大値ｍａｘＢｄを求め（Ｓ２４２）、この最大値ｍａｘＢｄを所定の閾値Ｂｄｔｈと比較する（Ｓ２４３）。最大値ｍａｘＢｄが閾値Ｂｄｔｈ未満のときは、現在の表示ターゲット候補を表示ターゲットとして決定して（Ｓ２０６）処理を終了する。一方、最大値ｍａｘＢｄが閾値Ｂｄｔｈ以上のときは、現在の表示ターゲット候補を取り消して、次の表示ターゲット候補を設定し（Ｓ２０５）、再びＳ２５０から処理を行う。【００８１】
なお、この表示ターゲット決定処理Ｓ２４０では、要デコード符号量のチャンネル間の差分に基づく評価指標として、要デコード符号量の差分の最大値を用いるものとしたが、他の値を用いてもかまわない。例えば、任意の２チャンネル間の差分の平均値をとり、これを評価指標としてもよい。【００８２】
以上のように本実施形態では、各チャンネルの表示ターゲット候補について要デコード符号量をそれぞれ算出し、この要デコード符号量の差分に基づく評価指標が所定の閾値より小さい場合は、表示ターゲット候補を表示ターゲットとして決定する一方、そうでない場合は、表示ターゲット候補をキャンセルするようにした。すなわち、要デコード符号量の差分に基づく評価指標が所定の閾値以上のフレーム群は、表示ターゲットの対象から外すようにした。これにより、チャンネル間の画面更新時刻の不揃いの原因となる、要デコード符号量の差の大きなフレームが、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。【００８３】
なお、本実施形態では、バッファ５０１ａ，５０１ｂから出力されたポインタ情報に基づいて、各フレームの符号量を取得するものとしたが、ポインタ情報を用いる代わりに、例えば、復号化部５１１ａ，５１１ｂが有する可変長復号器において、復号化した符号量をカウントし、このカウントした符号量を用いて、各フレームの符号量を取得するようにしてもかまわない。【００８４】
（実施形態５）
図１４は本発明の実施形態５に係る動画像復号化装置の構成図である。図１４において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図１４の構成では、復号化部５１５ａ，５１５ｂおよび制御部１５５における処理が、実施形態１に係る図１の構成と異なっている。さらに、計時部１６０が追加されている。通常、動画像の復号化装置では、映像だけでなく音声の復号化機能も具備していることが多く、その場合、映像と音声のタイムスタンプ情報を基準時刻と比較し、両者がほぼ同時に出力されるように調整する処理（ＡＶ同期処理またはリップシンク）を行う。例えば、この基準時刻を保持する手段を、計時部１６０として利用可能である。【００８５】
本実施形態が実施形態１と異なるのは、復号化部５１５ａ，５１５ｂが、ストラクチャ情報に加えてデコードタイミング情報も出力し、制御部１５５が、ストラクチャ情報に加えてデコードタイミング情報も用いて、表示ターゲットを決定する点である。デコードタイミング情報とは例えば、各フレームをデコードする際の先頭タイミングおよび終了タイミングを示す情報である。復号化部５１５ａ，５１５ｂは、ビットストリームを順再生のためにデコードしている際に、デコードタイミング情報を出力する。制御部１５５は、復号化部５１５ａ，５１５ｂからデコードタイミング情報を受けたとき、その時刻を計時部１６０の時刻情報を参照して求め、情報記憶手段に格納する。これにより、各フレームのデコード開始および終了時刻が制御部１５５に記憶される。【００８６】
図１５および図１６は制御部１５５の具体的な動作を示すフローチャートである。図１５および図１６において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図１５（Ａ）は基本動作となる制御フロー、図１５（Ｂ）は図１５（Ａ）における表示ターゲット決定処理Ｓ２５０の詳細フロー、図１６（Ａ）は図１５（Ａ）における特殊再生処理Ｓ３５０の詳細フロー、図１６（Ｂ）は図１５（Ａ）における通常再生処理Ｓ４５０の詳細フローである。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。【００８７】
図１６（Ａ），（Ｂ）に示すように、本実施形態における特殊再生処理Ｓ３５０および通常再生処理Ｓ４５０が、実施形態１における特殊再生処理Ｓ３００および通常再生処理Ｓ４００と異なるのは、処理Ｓ３１５のみである。すなわち、処理Ｓ３１５では、ストラクチャ情報に加えて、デコードタイミング情報を基にして得たデコード時刻も記憶しておく。このデコード時刻は、ストラクチャ情報とともに、表示ターゲット決定処理Ｓ２５０において用いられる。【００８８】
また、図１５（Ｂ）に示すように、本実施形態における表示ターゲット決定処理Ｓ２５０が、実施形態１における表示ターゲット決定処理Ｓ２００と異なるのは、処理Ｓ２０２，Ｓ２０３，Ｓ２０４に代えて、処理Ｓ２５１，Ｓ２５２，Ｓ２５３が加わった点である。すなわち本実施形態の表示ターゲット決定処理Ｓ２５０では、ストラクチャ情報とデコード時刻とに基づいて、各チャンネルの表示ターゲット候補について、復号化のために必要となるデコード時間である要デコード時間Ｔ（ｘ）をそれぞれ算出する（Ｓ２５１）。ｘはチャンネルを表す。ここで、制御部１５５は、各フレームの先頭のデコード時刻と終了のデコード時刻とに基づいて、各フレームのデコード時間を算出することができる。そして、算出した各フレームのデコード時間を用いて、表示ターゲット候補を得るまでのデコードに要する時間の総計、すなわち要デコード時間Ｔ（ｘ）を求めることができる。【００８９】
その後、全チャンネル間での要デコード時間Ｔ（ｘ）の差分の最大値ｍａｘＴｄを求め（Ｓ２５２）、この最大値ｍａｘＴｄを所定の閾値Ｔｄｔｈと比較する（Ｓ２５３）。最大値ｍａｘＴｄが閾値Ｔｄｔｈ未満のときは、現在の表示ターゲット候補を表示ターゲットとして決定して（Ｓ２０６）処理を終了する。一方、最大値ｍａｘＴｄが閾値Ｔｄｔｈ以上のときは、現在の表示ターゲット候補を取り消して、次の表示ターゲット候補を設定し（Ｓ２０５）、再びＳ２６０から処理を行う。【００９０】
なお、この表示ターゲット決定処理Ｓ２５０では、要デコード時間のチャンネル間の差分に基づく評価指標として、要デコード時間の差分の最大値を用いるものとしたが、他の値を用いてもかまわない。例えば、任意の２チャンネル間の差分の平均値をとり、これを評価指標としてもよい。【００９１】
以上のように本実施形態では、各チャンネルの表示ターゲット候補について要デコード時間をそれぞれ算出し、この要デコード時間の差分に基づく評価指標が所定の閾値より小さい場合は、表示ターゲット候補を表示ターゲットとして決定する一方、そうでない場合は、表示ターゲット候補をキャンセルするようにした。すなわち、要デコード時間の差分に基づく評価指標が所定の閾値以上のフレーム群は、表示ターゲットの対象から外すようにした。これにより、チャンネル間の画面更新時刻の不揃いの原因となる、要デコード時間の差の大きなフレームが、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。さらに、実際に各フレームのデコードに要した時間を計測することによって、各チャンネル間の実際のデコード時間差をより正確に表示ターゲット決定処理に反映させることができ、より自然な再生画像を得ることができる。【００９２】
なお、上述の実施形態１〜５において、表示ターゲット候補のキャンセルがあまりにも連続して起こる場合、画面更新の頻度が極端に低下してしまうため、準静止画のように見えるようになり、動画として不自然さが増す、という問題が起こりうる。この問題を回避するために、表示ターゲット候補のキャンセルが所定回数以上生じた場合、キャンセルを無効化して、その表示ターゲット候補を強制的に表示ターゲットとして決定し、表示させるようにしてもよい。特に一例として、ＰｉｎＰ画像において主にユーザーが注視する機会が多いと考えられるプライマリ映像（より大面積で表示されるチャンネルの映像）について、セカンダリ映像（小面積で表示されるチャンネルの映像）よりも画面更新の頻度を上げるために、プライマリ映像のチャンネルを予め優先チャンネルとして指定しておき、このチャンネルについてのみ、上のようなキャンセル無効化処理を行うようにしてもよい。【００９３】
なお、上述の実施形態１〜５では、表示ターゲット決定処理において、表示ターゲット候補について要デコード枚数、要デコード符号量または要デコード時間の差分に基づく評価指標を求め、これを所定の閾値と比較することによって、この表示ターゲット候補を表示ターゲットとして決定するかキャンセルするかを判定するようにした。これに代えて、例えば次のような処理を行ってもよい。すなわち、同一時刻のフレーム群のそれぞれについて、予め、要デコード枚数等の差分に基づく評価指標を求めておき、その評価指標が所定の閾値よりも小さいものの中から、指示された特殊再生モードに従って、表示ターゲットを選択するようにしてもよい。このような処理によっても、要デコード枚数等の差分に基づく評価指標が所定の閾値以上のフレーム群は、表示ターゲットの対象から外すことができるので、上述の各実施形態１〜５と同様に、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像を得ることができる。【００９４】
（実施形態６）
図１７は本発明の実施形態６に係る動画像復号化装置の構成図である。図１７において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図１７の構成では、制御部１７０における処理が、実施形態１に係る図１の構成と異なっている。【００９５】
上述の実施形態１〜５では、表示ターゲットが決定されると、各チャンネルにおいて、表示ターゲットの復号化が完了すれば、これに続いて、得られた画像データを再生するようにしていた。これに対して本実施形態では、表示ターゲットについて、復号化が最も遅くなると予測されるチャンネル（以下では、遅滞チャンネルと呼ぶ）を求めて、この遅滞チャンネルにおける復号化が完了するまでは、他のチャンネルにおいても画像表示更新を行わずに待っておき、表示タイミングを合わせることを特徴とする。【００９６】
図１８は本実施形態における再生画像の見え方の一例を示す模式図である。図１８に示すように、チャンネルＡの方がチャンネルＢよりも早く復号化が完了すると想定される場合は、チャンネルＡの表示更新を、チャンネルＢの復号化が完了するまで待って、チャンネルＢの表示更新に合わせて行う。また、逆に、チャンネルＢの方がチャンネルＡよりも早く復号化が完了すると想定される場合は、チャンネルＢの表示更新を、チャンネルＡの復号化が完了するまで待って、チャンネルＡの表示更新に合わせて行う。【００９７】
本実施形態では、表示ターゲットの決定は、指示された所定の特殊再生モードに従って行うものとする。すなわち、上述の実施形態１〜５では、要デコード枚数等を用いた所定の規範に照らして、表示ターゲット候補のキャンセルを行っていたが、本実施形態ではそのような表示ターゲット候補のキャンセルは行わないものとする。例えば、逆スロー再生が指示された場合は、所定のフレーム間隔で遡るように、表示ターゲットを決定する。【００９８】
図１９および図２０は制御部１７０の具体的な動作を示すフローチャートである。図１９および図２０において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図１９（Ａ）は基本動作となる制御フロー、図１９（Ｂ）は図１９（Ａ）における遅滞チャンネル特定処理Ｓ２６０の詳細フロー、図２０は図１９（Ａ）における特殊再生処理Ｓ３６０の詳細フローである。また、図１９（Ａ）における通常再生処理Ｓ４００は図４（Ｂ）に示したものと同様である。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。【００９９】
図１９（Ａ）に示すように、特殊再生の場合は、まず、指示された特殊再生モードに従って表示ターゲットを決定する（Ｓ２０１Ａ）。次に、遅滞チャンネル特定処理Ｓ２６０を行う。遅滞チャンネル特定処理Ｓ２６０では、図１９（Ｂ）に示すように、ストラクチャ情報に基づいて、各チャンネルの表示ターゲットの要デコード枚数Ｆ（ｘ）を求め（Ｓ２６１）、この要デコード枚数Ｆ（ｘ）が最大となるチャンネルＸを求める（Ｓ２６２）。このチャンネルＸが、遅滞チャンネルとなる。【０１００】
次に、特殊再生処理Ｓ３６０を行う。本実施形態における特殊再生処理Ｓ３６０が、実施形態１における特殊再生処理Ｓ３００と異なるのは、処理Ｓ３０９のみである。すなわち、処理Ｓ３０９では、ピクチャデータを復号指示した（Ｓ３０７）後、復号化された画像データがフレームメモリ５２０ａ，５２０ｂに格納されたとき、画像表示の指示は行わないで、その画像の表示が可能となったことを記憶する。ここで、このまだ表示更新に用いられない表示ターゲットの画像のことを、表示候補画像と呼ぶことにする。【０１０１】
各チャンネルに対する特殊再生処理Ｓ３６０の結果、遅滞チャンネルＸで表示ターゲットの復号化が完了し、遅滞チャンネルＸの表示候補画像が決定したとき（Ｓ５００）、各チャンネルのフレームメモリ５２０ａ，５２０ｂに、格納されている表示候補画像を表示するよう指示する（Ｓ６００）。【０１０２】
なお、上述の例では、処理Ｓ５００において遅滞チャンネルＸの表示ターゲットの復号化が完了するまで待つものとしたが、待ち時間が所定時間以上になった場合に、タイムアウト処理として次の処理Ｓ６００へ移行するようにしてもよい。この場合、次の表示更新までの時間が余りにも長い場合を抑制でき、より自然な再生画像が得られる。【０１０３】
以上のように本実施形態では、表示ターゲットについて要デコード枚数をそれぞれ算出し、この要デコード枚数が最大となるチャンネルを遅滞チャンネルとして特定し、この遅滞チャンネルのフレームの復号化が完了するまで各チャンネルの表示更新を待ち、表示タイミングを合わせるようにした。これにより、チャンネル間の画面更新時刻の不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。【０１０４】
なお、本実施形態では、遅滞チャンネルを特定するために、要デコード枚数Ｆ（ｘ）を用いたが、上述の実施形態２，３で示したような、要デコード枚数Ｆ（ｘ）を画像サイズ情報や符号化規格情報によって補正したものを用いてもよい。あるいは、上述の実施形態４で示したような要デコード符号量Ｂ（ｘ）を用いてもよいし、上述の実施形態５で示したような要デコード時間Ｔ（ｘ）を用いてもよい。これらのいずれの場合でも、チャンネル間の画面更新時刻の不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。【０１０５】
なお、各チャンネルの表示更新を遅滞チャンネルの表示更新に合わせて行うものとしたが、この代わりに例えば、遅滞チャンネルの表示更新が可能な状態になった後、さらに所定時間が経過した後に、各チャンネルの表示更新を行うようにしてもよい。【０１０６】
なお、本実施形態では、表示ターゲットの決定は、ただ単に、指示された特殊再生モードに従って行うものとしたが、上述の実施形態１〜５で示したような、要デコード枚数等の各チャンネル間の差分に基づく評価指標を用いた、表示ターゲットの選択処理を合わせて行うようにしてもかまわない。例えば、図１９（Ａ）に示す制御フローにおいて、処理Ｓ２０１Ａに代えて、実施形態１〜５で説明した表示ターゲット決定処理Ｓ２００，Ｓ２２０，Ｓ２３０，Ｓ２４０，Ｓ２５０を実行するようにしてもよい。【０１０７】
（実施形態７）
図２１は本発明の実施形態７に係る動画像復号化装置の構成図である。図２１において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図２１の構成では、制御部１８０における処理が、実施形態１に係る図１の構成と異なっている。【０１０８】
上述の実施形態１〜５では、特殊再生処理において、Ｂフレームについてはピクチャデータを読み捨てる（Ｓ３０６）ものとしていた。これは、Ｂフレームは参照フレームではなく、他のフレームの復号化のために必要でないからである。これに対して本実施形態では、Ｂフレームについても他の符号化タイプのフレームと同様に、そのピクチャデータを復号化するものとする。【０１０９】
また実施形態１では、表示ターゲット決定処理において、復号化のために必要となるフレーム枚数である要デコード枚数を用いて、評価を行うものとしていた。これに対して本実施形態では、復号化のために必要となるフレーム枚数ではなく、当該ＧＯＰにおいて、表示ターゲット候補に到達するまでに存在する全てのフレームの枚数を用いて、評価を行うものとする。ここでは、この表示ターゲット候補に至るまでのフレームの枚数のことを、要到達枚数と呼ぶ。【０１１０】
このような処理を採用することによって、特殊再生処理において、各フレームの復号化はＢフレームか否かによらず必ず行われることになり、フローが単純化され、制御が簡単になるというメリットがある。【０１１１】
図２２および図２３は制御部１８０の具体的な動作を示すフローチャートである。図２２および図２３において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図２２（Ａ）は基本動作となる制御フロー、図２２（Ｂ）は図２２（Ａ）における表示ターゲット決定処理Ｓ２７０の詳細フロー、図２３は図２２（Ａ）における特殊再生処理Ｓ３７０の詳細フローである。また、図２２（Ａ）における通常再生処理Ｓ４００は図４（Ｂ）に示したものと同様である。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。【０１１２】
表示ターゲット決定処理Ｓ２７０では、図２２（Ｂ）に示すように、要デコード枚数Ｆ（ｘ）に代えて、要到達枚数Ｆ’（ｘ）を用いる。すなわち、制御部１８０は、ストラクチャ情報に基づいて、各チャンネルの表示ターゲット候補の要到達枚数Ｆ’（ｘ）をそれぞれ求める（Ｓ２０２Ａ）。次に、全チャンネル間での要到達枚数Ｆ’（ｘ）の差分の最大値ｍａｘＦｄ’を求め（Ｓ２０３Ａ）、この最大値ｍａｘＦｄ’を所定の閾値Ｆｄｔｈ’と比較する（Ｓ２０４Ａ）。最大値ｍａｘＦｄ’が閾値Ｆｄｔｈ’未満のときは、現在の表示ターゲット候補を表示ターゲットとして決定して（Ｓ２０６）処理を終了する。一方、最大値ｍａｘＦｄ’が閾値Ｆｄｔｈ’以上のときは、現在の表示ターゲット候補を取り消して、次の表示ターゲット候補を設定し（Ｓ２０５）、再びＳ２０２Ａから処理を行う。【０１１３】
特殊再生処理Ｓ３７０では、図２３に示すように、符号化タイプにかかわらず全てのフレームのピクチャデータを復号化する。すなわち、制御部１８０はまず、復号化部５１１ａにビットストリームのピクチャ層以上のヘッダ解析を指示し（Ｓ３０１）、その結果得られたストラクチャ情報を記憶する（Ｓ３０２）。次に、復号手段５１１ａにピクチャデータを復号指示する（Ｓ３０７）。次に、フレームが表示ターゲットと一致するか否かを判定し（Ｓ３０３）、一致したときは、その画像を表示するようにフレームメモリ５２０ａに指示する（Ｓ３０８）。一方、フレームが表示ターゲットと一致しなかった場合、Ｓ３０１に戻り、次のフレームの処理を開始する。【０１１４】
以上のように本実施形態では、各チャンネルの表示ターゲット候補について要到達枚数をそれぞれ算出し、この要到達枚数の差分に基づく評価指標が所定の閾値より小さい場合は、表示ターゲット候補を表示ターゲットとして決定する一方、そうでない場合は、表示ターゲット候補をキャンセルするようにした。これにより、チャンネル間の画面更新時刻の不揃いの原因となる、要到達枚数の差の大きなフレーム群が、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。【０１１５】
なお、本実施形態では、表示ターゲットを決定するために、要到達枚数Ｆ’（ｘ）を用いたが、上述の実施形態２，３と同様に、要到達枚数Ｆ’（ｘ）を画像サイズ情報や符号化規格情報によって補正したものを用いてもよい。あるいは、上述の実施形態４と同様に、表示ターゲット候補に至るまでの全フレームの総符号量である要到達符号量Ｂ’（ｘ）を用いてもよいし、上述の実施形態５と同様に、表示ターゲット候補に至るまでの全フレームの総デコード時間である要到達時間Ｔ’（ｘ）を用いてもよい。これらのいずれの場合でも、チャンネル間の画面更新時刻の不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。【０１１６】
（実施形態８）
図２４は本発明の実施形態８に係る動画像復号化装置の構成図である。図２４において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。【０１１７】
上述の実施形態１では、各チャンネルのデコード処理は、別個の復号化部５１１ａ，５１１ｂによってそれぞれ実行された。これに対して本実施形態では、図２４に示すように、復号化部５１６を一系統のみ備えた構成とし、各チャンネルのデコード処理を時分割処理によって行うものとする。７００，７１０はスイッチであり、スイッチ７００は復号化部５１６の入力の切替を行い、スイッチ７１０は復号化部５１６の出力の切替を行う。制御部５６０は、復号化部５１６およびフレームメモリ５２０ａ，５２０ｂに加えて、スイッチ７００，７１０の制御も行う。【０１１８】
すなわち、本発明における復号化部は、上述の各実施形態のように、各チャンネル毎に設けられた複数の復号化部によって構成されていてもよいし、本実施形態のように、単一の復号化部と入出力の切替を行うスイッチとの組み合わせによって構成されていてもよい。【０１１９】
チャンネルＡ，Ｂの動画像のビットストリームは、それぞれバッファ５００ａ，５００ｂに格納される。各チャンネルのビットストリームは、スイッチ７００経由で復号化部５１６に供給され、復元された画像はスイッチ７１０経由でフレームメモリ５２０ａまたは５２０ｂに格納される。ここで、制御部５６０は、現在どちらのチャンネルをデコード中かを管理していて、スイッチ７００，７１０に対して、デコード処理を行っている側のビットストリーム及びフレームメモリを選択するように制御する。【０１２０】
図２５は本実施形態におけるデコードの時分割処理を示す図である。図２５（Ａ）のような画像再生を実現する場合、図２５（Ｂ）のように、各チャンネルのデコード処理を、１フレーム単位で切り替えつつ行う。【０１２１】
図２６は制御部５６０の基本動作となる制御フローである。実施形態１に係る図３（Ａ）の制御フローとの相違点は２つある。１つは、特殊再生モードが指示されたとき、表示ターゲットが出力されたか否かを判定するステップＳ８００が追加された点である。未出力の場合は表示ターゲット決定処理Ｓ２００をバイパスする。２つめは、通常再生と特殊再生のそれぞれにおいて、チャンネルＡの処理とチャンネルＢの処理が逐次に実行される点である。すなわち、特殊再生では、チャンネルＡの特殊再生処理Ｓ３００ａとチャンネルＢの特殊再生処理Ｓ３００ｂとが実行され、通常再生では、チャンネルＡの通常再生処理Ｓ４００ａとチャンネルＢの通常再生処理Ｓ４００ｂとが実行される。なお、チャンネルＡとチャンネルＢの処理の実行順は逆でもよい。また、チャンネル数が２よりも多い場合は、各チャンネルについてそれぞれ処理を実行すればよい。【０１２２】
表示ターゲット決定処理Ｓ２００は、実施形態１に係る図３（Ｂ）と同様である。また、通常再生処理Ｓ４００ａ，Ｓ４００ｂは、基本的には実施形態１に係る図４（Ｂ）と同様であるが、通常再生処理Ｓ４００ａでは、スイッチ７００をバッファ５００ａ側、スイッチ７１０をフレームメモリ５２０ａ側に切り替える一方、通常再生処理Ｓ４００ｂでは、スイッチ７００をバッファ５００ｂ側、スイッチ７１０をフレームメモリ５２０ｂ側に切り替える。【０１２３】
図２７は特殊再生処理Ｓ３００ａ，Ｓ３００ｂの詳細フローである。実施形態１に係る図４（Ａ）と異なるのは、処理Ｓ３０５，Ｓ３０６の後に、次のピクチャのヘッダ解析を行う処理Ｓ３０１に飛ぶのではなく、処理を終了する点である。また、特殊再生処理Ｓ３００ａでは、スイッチ７００をバッファ５００ａ側、スイッチ７１０をフレームメモリ５２０ａ側に切り替える一方、特殊再生処理Ｓ３００ｂでは、スイッチ７００をバッファ５００ｂ側、スイッチ７１０をフレームメモリ５２０ｂ側に切り替える。【０１２４】
本実施形態によると、実施形態１と同様に、チャンネル間の画面更新時刻の不揃いの原因となる、要デコード枚数の差の大きなフレーム群が、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。また、本実施形態では、通常多くの回路ブロックから構成される復号化部が１つだけで済むため、復号化装置の回路規模を小さくでき、したがって、復号化装置を低価格で提供できるというメリットを有する。ただし、デコードするチャンネルがｎチャンネルで同じ画像サイズの映像の場合、復号化部５１６はｎ倍速以上のデコード能力を有する必要がある。高いデコード能力を得るためには、一般的に、動作周波数が高くなる結果、消費電力が増大するというトレードオフの関係がある。【０１２５】
なお、デコード処理を１フレーム単位で必ず他のチャンネルへ切り替えるのではなく、表示ターゲットが出力されたチャンネルの特殊再生処理については休止する代わりに、未出力のチャンネルの処理を優先して行うように、特殊再生処理Ｓ３００ａ、Ｓ３００ｂを構成してもよい。すなわち、図２５（Ｃ）に示すように、チャンネルＢのＰ４フレームについて、対となるチャンネルＡ側のＢ４フレームのデコード処理が完了して出力済みとなった場合、チャンネルＡ側には切り替えず、引き続きＰ４フレームが出力できるまで特殊再生処理を継続する。こうすることで、画面更新をより均すことができ、自然な再生画像が得られるというメリットが生じる。【０１２６】
なお、本実施形態のような復号化部を１つのみ備えた構成は、実施形態１以外の実施形態２〜７にも適用可能であることはいうまでもない。【０１２７】
なお、上述の各実施形態では、動画像のチャンネル数は２であるものとして説明を行ったが、３以上のチャンネルがあってもよい。この場合、要デコード枚数（要デコード符号量、要デコード時間、要到達枚数）の各チャンネル間の差分に基づく評価指標としては、例えば次のようなものを用いればよい。すなわち、要デコード枚数等を各チャンネルについて算出した後、その中の最大値と最小値との差分を、各チャンネル間の差分に基づく評価指標として用いる。あるいは、任意の２つのチャンネル間の差分の平均値を、各チャンネル間の差分に基づく評価指標として用いてもかまわない。【０１２８】
また、上述の各実施形態では、動画像のビットストリームのデータはＭＰＥＧ２規格にて符号化されたものとして説明を行ったが、他の符号化規格、例えばＭＰＥＧ１規格、ＭＰＥＧ４規格、Ｈ．２６１規格、Ｈ．２６３規格、Ｈ．２６４規格、ＶＣ−１規格等に従った復号化処理を行う動画像復号化方法及び動画像復号化装置に適用できることは言うまでもない。ただし、上述の説明では、特殊再生時において現在デコード中のフレームが表示ターゲット以外のときにＢフレームを読み捨てる場合があったが、Ｈ．２６４規格のように符号化規格によっては、Ｂフレームでも一部の種類のものは参照される可能性がある。このため、そのような符号化規格の場合は、参照される可能性のあるＢフレームについては、読み捨てないように処理を変更する。【０１２９】
また、上述の各実施形態における動画像のビットストリームは、画像データのみからなるものに限定されるものではなく、一例として、音声データ、テキストデータ、字幕データ、メニュー等のＧＵＩ用の静止画データといったような、画像データに付随するデータを含んだビットストリームについても、同様に適用できることは、もちろんである。【０１３０】
また、上述の各実施形態では、特殊再生の一例として、逆スロー再生を例にとって説明したが、他の特殊再生、例えば、早送り再生、スロー再生、早戻し再生等にも同様に適用することができる。【０１３１】
（電子機器への適用例１）
図２８は本発明に係る動画像復号化装置を有する電子機器の構成例を示すブロック図である。図２８に示すように、電子機器Ｃ１００は、本発明に係る動画像復号化装置Ｃ２０に加えて、ビットストリーム供給部Ｃ１０、画像出力部Ｃ３０、蓄積メディアＣ６０およびユーザー操作入力部Ｃ５０を有する。また、周辺装置として、ユーザー操作装置Ｃ４０と画像表示装置Ｃ７０とを有する。なお、蓄積メディアＣ６０は、電子機器Ｃ１００に外部から装着される場合もある。【０１３２】
ここで、ビットストリーム供給部Ｃ１０は、ブルーレイやＤＶＤといった光ディスク等の蓄積メディアＣ６０に格納されたビットストリームを供給する。動画像復号化装置Ｃ２０は、ビットストリーム供給部Ｃ１０から入力されたビットストリームに対応した動画像を再生する。ユーザー操作装置Ｃ４０は、電子機器Ｃ１００の動作モードをユーザーが指示するためのものである。ユーザー操作部Ｃ５０は、ユーザー操作装置Ｃ４０の出力を受ける。画像出力部Ｃ３０は、動画像復号化装置Ｃ２０から再生された画像を外部に出力するものであり、ディスプレイなどの画像表示装置Ｃ７０とのインターフェースの機能を持つ。【０１３３】
図２９は電子機器の一例としての光ディスク再生装置の外観図を示す。図２９の光ディスク再生装置は、ディスクに格納されたビットストリームを読み出すビットストリーム供給部としてのドライブ装置Ｕ１０や、再生された動画像を表示する画像表示装置としてのディスプレイＵ３０や、再生の開始・停止や特殊再生の指示を与える操作スイッチＵ４０を備える。【０１３４】
なお、蓄積メディアＣ６０は、光ディスク以外、例えばメモリカード等であってもかまわない。ビットストリーム供給部Ｃ１０は、光ディスクドライブ以外、例えばメモリカードリーダ等であってもかまわない。ユーザー操作装置Ｃ４０は、例えば入力パネルやボタン、リモートコントロール送信器等であってもよい。画像出力部Ｃ３０は、例えばＮＴＳＣ，ＰＡＬ等のアナログビデオ出力のインターフェースやディジタルビデオインターフェース等であってもよい。画像表示装置Ｃ７０は、液晶ディスプレイ、ＰＤＰ、ＣＲＴ等であってもよい。【０１３５】
（電子機器への適用例２）
図３０は本発明に係る動画像復号化装置を有する電子機器の構成例を示すブロック図である。図３０に示すように、電子機器Ｃ１１０は、蓄積メディアの代わりに、放送・ネットワークからビットストリームを受信する。ビットストリーム供給部Ｃ１０は例えば、ネットワーク入力インターフェースによって構成される。このような電子機器Ｃ１１０の例としては、ネットワークや放送からストリームを受信する携帯情報端末、携帯電話、セットトップボックス等が考えられる。【０１３６】
なお、上述の適用例１，２において、ユーザー操作装置Ｃ４０と画像表示装置Ｃ７０は、電子機器Ｃ１００と一体に構成されていてもよいし、分離して構成されていて有線または無線で接続されていてもかまわない。【０１３７】
なお、本発明を適用できる電子機器として、上に挙げた例以外にも、パソコンや、メモリカードやＨＤＤを利用してストリームを蓄積再生する装置等、種々の電子機器を考えることができる。
【産業上の利用可能性】
【０１３８】
本発明は、例えば、動画像の復号化および再生機能を有する集積回路やそのような集積回路を有する光ディスク再生装置、パソコンやメモリカードやＨＤＤなどのストリームを蓄積する装置やネットワークや放送からストリームを受信する携帯情報端末、携帯電話、セットトップボックスの装置に利用することが可能である。
【図１】
2008132774.tif 000003
【図２】
2008132774.tif 000004
【図３】
2008132774.tif 000005
【図４】
2008132774.tif 000006
【図５】
2008132774.tif 000007
【図６】
2008132774.tif 000008
【図７】
2008132774.tif 000009
【図８】
2008132774.tif 000010
【図９】
2008132774.tif 000011
【図１０】
2008132774.tif 000012
【図１１】
2008132774.tif 000013
【図１２】
2008132774.tif 000014
【図１３】
2008132774.tif 000015
【図１４】
2008132774.tif 000016
【図１５】
2008132774.tif 000017
【図１６】
2008132774.tif 000018
【図１７】
2008132774.tif 000019
【図１８】
2008132774.tif 000020
【図１９】
2008132774.tif 000021
【図２０】
2008132774.tif 000022
【図２１】
2008132774.tif 000023
【図２２】
2008132774.tif 000024
【図２３】
2008132774.tif 000025
【図２４】
2008132774.tif 000026
【図２５】
2008132774.tif 000027
【図２６】
2008132774.tif 000028
【図２７】
2008132774.tif 000029
【図２８】
2008132774.tif 000030
【図２９】
2008132774.tif 000031
【図３０】
2008132774.tif 000032
【図３１】
2008132774.tif 000033
【図３２】
2008132774.tif 000034
【図３３】
2008132774.tif 000035
【図３４】
2008132774.tif 000036
【手続補正書】
【提出日】平成21年5月26日(2009.5.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化方法であって、
各チャンネルについて、前記符号化動画像のストラクチャ情報を取得するステップと、
所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となる表示ターゲットを、前記ストラクチャ情報に基づいて、決定するステップと、
前記表示ターゲットをそれぞれ復号化するステップとを備え、
前記表示ターゲット決定ステップにおいて、
各チャンネルの同一時刻におけるフレーム群のうち、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数の各チャンネル間の差分に基づく評価指標が、所定の閾値以上のものは、表示ターゲットの対象から外す
ことを特徴とする動画像復号化方法。
【請求項２】
請求項１記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、前記符号化動画像の画像サイズ情報を取得し、
前記表示ターゲット決定ステップにおいて、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標として、前記画像サイズ情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化方法。
【請求項３】
請求項１記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、前記符号化動画像の符号化規格情報を取得し、
前記表示ターゲット決定ステップにおいて、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標として、前記符号化規格情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化方法。
【請求項４】
請求項１記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、各チャンネルにおいて、各フレームの符号量を取得し、
前記表示ターゲット決定ステップにおいて、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、前記ストラクチャ情報と前記各フレームの符号量とに基づいて求められた、復号化のために必要となる符号量である要デコード符号量の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化方法。
【請求項５】
請求項４記載の動画像復号化方法において、
前記取得ステップにおいて、前記各フレームの符号量を、前記符号化動画像を復号化のために一時的に蓄えるバッファメモリから出力されるポインタ情報に基づいて、求める
ことを特徴とする動画像復号化方法。
【請求項６】
請求項１記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、各チャンネルにおいて、各フレームのデコード時間を取得し、
前記表示ターゲット決定ステップにおいて、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、前記ストラクチャ情報と前記各フレームのデコード時間とに基づいて求められた、復号化のために必要となるデコード時間である要デコード時間の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化方法。
【請求項７】
請求項１，５，６のうちいずれか１項記載の動画像復号化方法において、
前記表示ターゲット決定ステップにおいて、
前記評価指標が所定の閾値以上となる表示ターゲット候補を、キャンセルする処理を有し、
予め指定された優先チャンネルについて、前記表示ターゲット候補のキャンセルが所定回数以上起こったとき、前記表示ターゲット候補のキャンセルを無効化する
ことを特徴とする動画像復号化方法。
【請求項８】
複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化方法であって、
各チャンネルについて、前記符号化動画像のストラクチャ情報を取得するステップと、
所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となるフレームである表示ターゲットを、決定するステップと、
前記表示ターゲットについて、前記ストラクチャ情報に基づいて、復号化が最も遅くなると予測されるチャンネルである遅滞チャンネルを特定するステップと、
前記表示ターゲットを復号化し、前記遅滞チャンネルのフレームの復号化が完了した後に、各チャンネルについてタイミングを合わせて、復号化された画像データを合成して再生するステップとを備え、
前記遅滞チャンネル特定ステップにおいて、
前記表示ターゲットとなるフレーム群の中で、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数が、最大となるフレームを求め、当該フレームのチャンネルを前記遅滞チャンネルとして特定する
ことを特徴とする動画像復号化方法。
【請求項９】
請求項８記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、前記符号化動画像の画像サイズ情報を取得し、
前記遅滞チャンネル特定ステップにおいて、
前記要デコード枚数として、前記画像サイズ情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化方法。
【請求項１０】
請求項８記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、前記符号化動画像の符号化規格情報を取得し、
前記遅滞チャンネル特定ステップにおいて、
前記要デコード枚数として、前記符号化規格情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化方法。
【請求項１１】
請求項８記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、各チャンネルにおいて、各フレームの符号量を取得し、
前記遅滞チャンネル特定ステップにおいて、
前記要デコード枚数に代えて、前記ストラクチャ情報と前記各フレームの符号量とに基づいて求められた、復号化のために必要となる符号量である要デコード符号量を、用いる
ことを特徴とする動画像復号化方法。
【請求項１２】
請求項８記載の動画像復号化方法において、
前記取得ステップにおいて、前記ストラクチャ情報に加えて、各チャンネルにおいて、各フレームのデコード時間を取得し、
前記遅滞チャンネル特定ステップにおいて、
前記要デコード枚数に代えて、前記ストラクチャ情報と前記各フレームのデコード時間とに基づいて求められた、復号化のために必要となるデコード時間である要デコード時間を、用いる
ことを特徴とする動画像復号化方法。
【請求項１３】
請求項８，１１および１２のうちいずれか１項記載の動画像復号化方法において、
前記表示ターゲット決定ステップにおいて、
各チャンネルの同一時刻におけるフレーム群のうち、前記要デコード枚数、前記要デコード符号量、または、前記要デコード時間の各チャンネル間の差分に基づく評価指標が、所定の閾値以上のものは、表示ターゲットの対象から外す
ことを特徴とする動画像復号化方法。
【請求項１４】
請求項１記載の動画像復号化方法において、
前記表示ターゲット決定ステップにおいて、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、ＧＯＰにおける当該フレームに至るまでのフレームの枚数である要到達枚数の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化方法。
【請求項１５】
請求項１〜１４のうちいずれか１項に記載の動画像復号化方法において、
前記所定の特殊再生モードは、逆スロー再生モードである
ことを特徴とする動画像復号化方法。
【請求項１６】
複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化装置であって、
各チャンネルの符号化動画像を復号化するとともに、前記符号化動画像のストラクチャ情報を取得する復号化部と、
前記復号化部から出力されたフレーム画像データをチャンネル毎にそれぞれ蓄積する複数のフレームメモリと、
前記復号化部および前記各フレームメモリを制御するものであり、かつ、前記復号化部から前記ストラクチャ情報を受ける制御部とを備え、
前記制御部は、
所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となるる表示ターゲットを、前記ストラクチャ情報に基づいて、決定する処理と、
前記復号化部に、前記表示ターゲットを復号化するよう指示する処理とを行うものであり、かつ、
前記表示ターゲット決定処理において、
各チャンネルの同一時刻におけるフレーム群のうち、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数の各チャンネル間の差分に基づく評価指標が、所定の閾値以上のものは、表示ターゲットの対象から外す
ことを特徴とする動画像復号化装置。
【請求項１７】
請求項１６記載の動画像復号化装置において、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、前記符号化動画像の画像サイズ情報を受けるものであり、かつ、
前記表示ターゲット決定処理において、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標として、前記画像サイズ情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化装置。
【請求項１８】
請求項１６記載の動画像復号化装置において、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、前記符号化動画像の符号化規格情報を受けるものであり、かつ、
前記表示ターゲット決定処理において、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標として、前記符号化規格情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化装置。
【請求項１９】
請求項１６記載の動画像復号化装置において、
前記符号化動画像を復号化のために一時的に蓄えるバッファメモリを備え、
前記制御部は、前記バッファメモリから出力されるポインタ情報を受け、このポインタ情報に基づいて、各チャンネルにおける各フレームの符号量を求めるものであり、かつ、
前記表示ターゲット決定処理において、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、前記ストラクチャ情報と前記各フレームの符号量とに基づいて求められた、復号化のために必要となる符号量である要デコード符号量の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化装置。
【請求項２０】
請求項１６記載の動画像復号化装置において、
時刻情報を出力する計時部を備え、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、デコードタイミング情報を受け、このデコードタイミング情報と前記計時部から出力された時刻情報とを基にして、各チャンネルにおける各フレームのデコード時間を求めるものであり、かつ、
前記表示ターゲット決定処理において、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、前記ストラクチャ情報と前記各フレームのデコード時間とに基づいて求められた、復号化のために必要となるデコード時間である要デコード時間の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化装置。
【請求項２１】
請求項１６，１９，２０のうちいずれか１項記載の動画像復号化装置において、
前記制御部は、前記表示ターゲット決定処理において、
前記評価指標が所定の閾値以上となる表示ターゲット候補を、キャンセルする処理を有し、
予め指定された優先チャンネルについて、前記表示ターゲット候補のキャンセルが所定回数以上起こったとき、前記表示ターゲット候補のキャンセルを無効化する
ことを特徴とする動画像復号化装置。
【請求項２２】
複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化装置であって、
各チャンネルの符号化動画像を復号化するとともに、前記符号化動画像のストラクチャ情報を取得する復号化部と、
前記復号化部から出力されたフレーム画像データをチャンネル毎にそれぞれ蓄積する複数のフレームメモリと、
前記復号化部および前記各フレームメモリを制御するものであり、かつ、前記復号化部から前記ストラクチャ情報を受ける制御部とを備え、
前記制御部は、
所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となるフレームである表示ターゲットを、決定する処理と、
前記表示ターゲットについて、前記ストラクチャ情報に基づいて、復号化が最も遅くなると予測されるチャンネルである遅滞チャンネルを特定する処理と、
前記復号化部に、前記表示ターゲットを復号化するよう指示するとともに、前記遅滞チャンネルのフレームの復号化が完了した後に、前記各フレームメモリに、各チャンネルについてタイミングを合わせて、復号化された画像データを合成して再生するよう指示する処理とを行うものであり、
前記遅滞チャンネル特定処理において、
前記表示ターゲットとなるフレーム群の中で、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数が、最大となるフレームを求め、当該フレームのチャンネルを前記遅滞チャンネルとして特定する
ことを特徴とする動画像復号化装置。
【請求項２３】
請求項２２記載の動画像復号化装置において、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、前記符号化動画像の画像サイズ情報を受けるものであり、かつ、
前記遅滞チャンネル特定処理において、
前記要デコード枚数として、前記画像サイズ情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化装置。
【請求項２４】
請求項２２記載の動画像復号化装置において、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、前記符号化動画像の符号化規格情報を受けるものであり、かつ、
前記遅滞チャンネル特定処理において、
前記要デコード枚数として、前記符号化規格情報に基づいて補正されたものを用いる
ことを特徴とする動画像復号化装置。
【請求項２５】
請求項２２記載の動画像復号化装置において、
前記符号化動画像を復号化のために一時的に蓄えるバッファメモリを備え、
前記制御部は、前記バッファメモリから出力されるポインタ情報を受け、このポインタ情報に基づいて、各チャンネルにおける各フレームの符号量を求めるものであり、かつ、
前記遅滞チャンネル特定処理において、
前記要デコード枚数に代えて、前記ストラクチャ情報と前記各フレームの符号量とに基づいて求められた、復号化のために必要となる符号量である要デコード符号量を、用いる
ことを特徴とする動画像復号化装置。
【請求項２６】
請求項２２記載の動画像復号化装置において、
時刻情報を出力する計時部を備え、
前記制御部は、前記復号化部から、前記ストラクチャ情報に加えて、デコードタイミング情報を受け、このデコードタイミング情報と前記計時部から出力された時刻情報とを基にして、各チャンネルにおける各フレームのデコード時間を求めるものであり、かつ、
前記遅滞チャンネル特定処理において、
前記要デコード枚数に代えて、前記ストラクチャ情報と前記各フレームのデコード時間とに基づいて求められた、復号化のために必要となるデコード時間である要デコード時間を、用いる
ことを特徴とする動画像復号化装置。
【請求項２７】
請求項２２，２５および２６のうちいずれか１項記載の動画像復号化装置において、
前記制御部は、前記表示ターゲット決定処理において、
各チャンネルの同一時刻におけるフレーム群のうち、前記要デコード枚数、前記要デコード符号量、または、前記要デコード時間の各チャンネル間の差分に基づく評価指標が、所定の閾値以上のものは、表示ターゲットの対象から外す
ことを特徴とする動画像復号化装置。
【請求項２８】
請求項１６記載の動画像復号化装置において、
前記制御部は、前記表示ターゲット決定処理において、
前記要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、ＧＯＰにおける当該フレームに至るまでのフレームの枚数である要到達枚数の各チャンネル間の差分に基づく評価指標を、用いる
ことを特徴とする動画像復号化装置。
【請求項２９】
請求項１６〜２８のうちいずれか１項に記載の動画像復号化装置において、
前記所定の特殊再生モードは、逆スロー再生モードである
ことを特徴とする動画像復号化装置。
【請求項３０】
請求項１６〜２９のうちいずれか１項に記載の動画像復号化装置と、
前記動画像復号化装置に、各チャンネルの符号化動画像を供給するビットストリーム供給部と、
前記動画像復号化装置から出力された再生画像を、表示のために出力する画像出力部とを備えた
ことを特徴とする電子機器。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された動画像を復号化して再生する技術に関し、特に、複数の動画像を同時再生するための技術に関する。
【背景技術】
【０００２】
近年、ディジタル技術の本格的な実用化の時代を迎え、動画像を、記録再生装置、パソコン、ホームサーバーといった装置で記録・再生したり、インターネットをはじめとする通信網を用いて遠距離間を伝送したりすることが可能になってきた。携帯電話などのディジタル移動体通信機器においても、その場で動画像を撮影し即座に他者へその動画像を送る手段が提供されている。また、放送の分野においても、テレビジョン等において、ディジタル技術を用いた伝送及び符号化方式が採用されている。
【０００３】
その中でも、より高精細なハイビジョン画像を収めたＢｌｕ−ｒａｙディスクやＨＤ−ＤＶＤといった光ディスクは、従来のＶｉｄｅｏＣＤやＤＶＤと比較して、大容量のディジタル動画像のデータを収容でき、高画質な再生画像を格納できるのみならず、２つのビットストリームの同時再生を行い同一画面に表示するピクチャインピクチャ（Picture-in-Picture、以後、ＰｉｎＰと略す）という機能をもサポートしている。ＰｉｎＰは、例えば、野球の録画においてピッチャーとバッターを別のビットストリームにして同時に表示させたり、マルチアングルの２つのストリームを同時に表示したりするのに用いることができる。
【０００４】
このＰｉｎＰの再生においては、２つのビットストリームを互いに同期させつつ再生することが要求される。従来から、２つのビットストリームを各々復号した結果を合成して再生画像を得る動画像復号化装置が知られている（例えば、特許文献１参照）。
【０００５】
以下では、図３１〜図３４を参照しながら、上記従来の装置で用いられている動画像復号化方法について説明する。
【０００６】
図３１は従来の動画像復号化装置の構成例を示すブロック図である。図３１において、５００ａ，５００ｂは各チャンネルのビットストリームを蓄えるためのバッファ、５１０ａ，５１０ｂは復号化部、５５０は制御部、５２０ａ，５２０ｂはフレームメモリ、５３０は合成部である。ここで、符号に付した小文字の接尾文字ａ，ｂは、「ａ」はチャンネルＡ用であることを、「ｂ」はチャンネルＢ用であることを、それぞれ示している。以後、とりわけ言及なき場合はこれに従うものとする。
【０００７】
まず、チャンネルＡ，Ｂの２チャンネルの動画像のビットストリームは、各々バッファ５００ａ，５００ｂに入力された後、後続の復号化部５１０ａ，５１０ｂで復号化され、復元された画像がフレームメモリ５２０ａ，５２０ｂに格納される。ここでの復号化は例えば、国際標準規格である通称ＭＰＥＧ２(Moving Picture Experts Group Phase2)と呼ばれる「インフォメーション・テクノロジー ジェネリック・コーディング・オブ・ムービング・ピクチャーズ・アンド・アソシエーティッド・オーディオ・インフォメーション」に記載の方法に準じた方法を用いる。
【０００８】
ここで、上記ＭＰＥＧ２規格での画像の符号化方法について概要を説明する。図３２に示すように、一続きの画像群は、そのフレームのデータのみで完全に復号可能なＩフレーム(Intra-coded frame)、他の１枚のフレーム（ＩまたはＰフレーム）を用いて復号化されるＰフレーム(Predictive-coded frame)、さらに、他の最大２枚のフレーム（ＩまたはＰフレーム）を用いて復号化されるＢフレーム(Bi-Directionally Predictive-coded frame)の３種類から成り、通常、規則正しいパターンで割り当てられる。これらは、通常は０．５〜１秒分程度の複数フレームがグループ化されたＧＯＰ(Group Of Pictures)と呼ぶ単位で送られてくる。
【０００９】
図３２の場合、復号化の順は、Ｉ０，Ｐ３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，…となる。ここで、Ｐ３フレームの作成にはＩ０フレームが必要であり、Ｂ１またはＢ２フレームの作成にはＩ０とＰ３フレームが必要となる。このため、Ｉ，Ｐフレームは後続の画像フレームの作成のために、表示された後も画像メモリ上に保存しておかなくてはならない。このような他の画像フレームの再生のために必要となるフレームのことを、参照フレームと呼ぶ。すなわち、Ｐ，Ｂフレームの再生にはそれらの参照フレームのデコードが不可欠である。
【００１０】
デコードして得られたＩ，Ｐ，Ｂフレームは、フレームメモリ５２０ａ，５２０ｂに格納される。格納された各フレームは、適切な表示順で再生画像が得られるように制御部５５０が指示した順番に、フレームメモリ５２０ａ，５２０ｂから出力される。これらの結果は、合成部５３０で同一画面に合成されてＰｉｎＰの画像となり、出力される。
【００１１】
次に、特殊再生時の動作について説明する。特殊再生とは、上述したような時間軸上で過去から未来に向けて順方向に画像を復号し１枚ごとに順に再生する通常再生以外の、再生モードのことである。例えば、順方向にとびとびの画像を選択して再生する早送り再生、順方向に１倍速より遅い速度で再生するスロー再生を始め、逆方向にとびとびの画像を選択して再生する早戻し再生、逆方向に１倍速より遅い速度で再生する逆スロー再生などの逆再生を含む。最近の大抵の動画像復号化装置は特殊再生機能を備えており、ユーザーの便宜に供している。
【００１２】
以下では、特殊再生の一例として、逆スロー再生を例にとって、そのときの動作について、図３３を用いて説明する。以下では、一方のチャンネルであるチャンネルＡについて説明しているが、他方のチャンネルＢについても同様に再生を行い、得られた画像を合成することによって、ＰｉｎＰにおいて時間的に過去へ遡る再生画像を得ることができる。
【００１３】
図３３（Ａ）において、現在表示中の画像はＩ’０フレームであり、逆スロー再生において、その直前のＰ６からＢ４，Ｂ２，Ｉ０という順で画像を表示するものとする（その他の画像は読み飛ばされる）。表示すべき画像を得るためには、逐一、そのフレームを含むＧＯＰのビットストームをバッファ５００ａに転送し、次に表示すべきフレーム（以下、これを表示ターゲットと呼ぶ。）が得られるまでデコードを続けるように、制御部５５０が復号化部５１０ａを制御する。
【００１４】
すなわち、Ｐ６フレームが表示ターゲットのとき、このＰ６のデコードにはＩ０とＰ３の画像が必要となるため、Ｉ０とＰ３をデコードした後にＰ６のデコードを行う。この間は、Ｉ’０がずっと表示され続ける。Ｐ６がデコードされると、制御部５５０はようやく、完成したそのＰ６の画像を出力するようにフレームメモリ５２０ａを制御する。つまり、現在表示中のフレームがＰ６に移るように制御する。次に、表示ターゲットがＢ４となったときも同様に、そのＧＯＰを含むビットストリームを転送し、制御部５５０が復号化部５１０ａ及びフレームメモリ５２０ａを制御して、Ｉ０とＰ３とＰ６をデコードした後に、Ｂ４をデコードして表示させる。次に表示ターゲットがＢ２となったときも同様である。表示ターゲットがそのＧＯＰの先頭に達すると、現在のＧＯＰより時間的にひとつ前のＧＯＰを新たに転送し、その後尾を表示ターゲットして、逆スロー再生を継続して行う。
【００１５】
図３３（Ｂ）はこのときの再生画像の見え方の一例を図示したものである。復号化部が１倍速相当のデコード能力を有する場合、１フレームのデコードには最大１フレーム表示時間がかかる。最初に逆スロー画像として表示されるＰ６フレームをデコードするのに必要なフレーム枚数は、Ｉ０，Ｐ３と最終結果のＰ６の計３枚となる。すなわち、３フレーム時間の間、Ｉ’０フレームが表示され続けた後、Ｐ６が表示される。次のＢ４のデコードには、順にＩ０，Ｐ３，Ｐ６，Ｂ４の４フレームのデコードが必要であるから、４フレーム時間の間、Ｐ６が表示され続けた後、Ｂ４が表示される。同様にＢ２のデコードには、順にＩ０，Ｐ３，Ｂ２の３フレームのデコードが必要であるから、３フレーム時間の間、Ｂ４が表示され続けた後、Ｂ２が表示される。
【００１６】
ここで、Ｂ１のデコードが必要でないのは、Ｂ２フレームは他のＢフレームを参照することはないためである。実際にはＢ１のビットストリームを読み捨てるだけでよく、通常この時間は十分に短い時間で終了する。このため、デコード時間に比較してＢフレームの読み飛ばしにかかる時間の影響は無視できる。
【００１７】
図３３（Ｃ）は逆スロー再生時に見える画像の見え方を模式的に示した図である。図３３（Ｃ）では、画像が表示され続ける期間を矢印の長さで表現している。なお、図３３（Ｃ）では、表示されるフレームを復号化するために必要となるフレーム枚数を、要デコード枚数として記載している。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００７−３７０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
しかし、上記従来の構成では、特殊再生時、その一例として特に逆スロー再生時では、チャンネル間でストリームのストラクチャ構造、画像サイズ、符号化規格、各画像の符号量等が異なることが原因で、チャンネル間の画面更新時刻が不揃いになる場合がある。これにより、本来同時刻の内容を表示すべきところが異なる時刻の画像同士が合成されてしまい、再生画像がぎこちなく不自然になることがある、という問題があった。図３４を用いてこの問題を説明する。
【００２０】
図３４（Ａ）は２チャンネルのビットストリームの符号化タイプの分布の一例を示している。なお、ビットストリーム中のＧＯＰに含まれる枚数、ＧＯＰ中の画像の符号化タイプや並び順といった情報は、デコード処理には重要なものであり、総称してストラクチャと呼ばれている。図３４（Ａ）では、チャンネルＡは図３３と同様の符号化タイプの分布を有する一方、チャンネルＢは図３３とは異なり、Ｂフレームが含まれていない分布を有する場合を想定している。また図３４（Ａ）では、各フレームが表示ターゲットとなった場合の要デコード枚数についても併せて示している。
【００２１】
このとき、逆スロー再生時に見える画像の見え方は図３４（Ｂ）のようになる。図３４（Ｂ）に示すように、チャンネルＡのＰ６の要デコード枚数は３であり、その再生は３フレーム時間で済むのに対して、チャンネルＢのＰ６の要デコード枚数は７であり、その再生には７フレーム時間を要する。このため、その差分の４フレーム時間分だけ、再生に時間差が生じる。すなわち、チャンネル間で画面の更新時刻が著しく不揃いになってしまう。したがって、それらを合成したＰｉｎＰ画像は、本来同時刻の内容を表示すべきところが異なる時刻の画像の合成結果となってしまい、再生画像がぎこちなく不自然になってしまう。
【００２２】
また、チャンネル間でビットストリームの画像サイズが異なる場合には、チャンネル間の画面の更新時刻の不揃いがさらに起こりやすくなる。例えば、２チャンネルの一方がＨＤサイズ（ハイビジョンサイズ：1920画素＊1080画素）で、他方がＳＤサイズ（標準テレビジョンサイズ：720画素＊４８０画素）である場合、ＨＤサイズ画像は、ＳＤサイズ画像の６倍の画素を含むため、ＳＤサイズ画像に比べてデコード時間がかかる傾向にある。このため、２チャンネル間の画面の更新時刻の不揃いが起こりやすくなる。
【００２３】
また、チャンネル間のビットストリームの規格が異なる場合にも、チャンネル間の画面の更新時刻の不揃いがさらに起こりやすくなる。例えば、２チャンネルの一方がＭＰＥＧ２規格で、他方が同じく国際標準のＨ．２６４規格である場合、Ｈ．２６４規格は、ＭＰＥＧ２より後年に策定され様々な工夫と予測技術を駆使したより効率が高い符号化規格であるがゆえに、復号化時にＭＰＥＧ２より多くの演算処理を要するため、ＭＰＥＧ２に比べてデコード時間がかかる傾向にある。このため、２チャンネル間の画面の更新時刻の不揃いが起こりやすくなる。
【００２４】
さらに、チャンネル間のビットストリーム中の画像の符号量が異なる場合にも、チャンネル間の画面の更新時刻の不揃いがさらに起こりやすくなる。例えば、２チャンネルの一方の画像が１００ｋバイトで、他方が５００ｋバイトである場合、後者の方が処理すべき符号量が多いためデコード時間が掛かる傾向にある。このため、２チャンネル間の画面の更新時刻の不揃いが起こりやすくなる。
【００２５】
本発明は、上記従来の問題点に鑑みて提案されたものであり、複数チャネルの動画像を同一画面上に合成して再生するための動画像復号化において、チャンネル間の画面更新時刻の極端な不揃いを解消し、より自然な再生画像が得られるようにすることを目的とする。
【課題を解決するための手段】
【００２６】
本発明は、複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化として、各チャンネルについて、前記符号化動画像のストラクチャ情報を取得し、所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となる表示ターゲットを、前記ストラクチャ情報に基づいて、決定し、前記表示ターゲットをそれぞれ復号化するものであり、かつ、前記表示ターゲットの決定において、各チャンネルの同一時刻におけるフレーム群のうち、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数の各チャンネル間の差分に基づく評価指標が、所定の閾値以上のものは、表示ターゲットの対象から外すものである。
【００２７】
本発明によると、要デコード枚数の差分に基づく評価指標が所定の閾値以上のフレーム群は、表示ターゲットの対象から外されることになるので、これにより、チャンネル間の画面更新時刻の不揃いの原因となる、要デコード枚数の差の大きなフレーム群が、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像を得ることができる。
【００２８】
また、本発明において、要デコード枚数の各チャンネル間の差分に基づく評価指標に代えて、復号化のために必要となる符号量である要デコード符号量の各チャンネル間の差分に基づく評価指標や、復号化のために必要となるデコード時間である要デコード時間の各チャンネル間の差分に基づく評価指標を用いてもよい。
【００２９】
また、本発明は、複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する動画像復号化として、各チャンネルについて、前記符号化動画像のストラクチャ情報を取得し、所定の特殊再生モードが指示された場合において、各チャンネルの同一時刻におけるフレーム群であって再生対象となるフレームである表示ターゲットを決定し、前記表示ターゲットについて、復号化が最も遅くなると予測されるチャンネルである遅滞チャンネルを特定し、前記表示ターゲットを復号化し、前記遅滞チャンネルのフレームの復号化が完了した後に、各チャンネルについてタイミングを合わせて、復号化された画像データを合成して再生するものであり、かつ、前記遅滞チャンネルの特定において、前記表示ターゲットとなるフレーム群の中で、前記ストラクチャ情報に基づいて求められた、復号化のために必要となるフレーム枚数である要デコード枚数が、最大となるフレームを求め、当該フレームのチャンネルを前記遅滞チャンネルとして特定するものである。
【００３０】
本発明によると、表示ターゲットについて、要デコード枚数が最大となるチャンネルを遅滞チャンネルとして特定し、遅滞チャンネルのフレームの復号化が完了するまで、各チャンネルの再生を待つので、これにより、チャンネル間の画面更新時刻の不揃いが解消され、より自然な再生画像を得ることができる。
【００３１】
また、本発明において、復号化のために必要となる符号量である要デコード符号量が最大となるチャンネルを遅滞チャンネルとして特定してもよいし、復号化のために必要となるデコード時間である要デコード時間が最大となるチャンネルを遅滞チャンネルとして特定してもよい。
【発明の効果】
【００３２】
本発明によれば、複数のチャンネルの符号化動画像をそれぞれ復号化して、同一画面上に合成して再生する際に、チャンネル間の画面更新時刻の不揃いが解消され、より自然な再生画像を得ることができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態１に係る動画像復号化装置の構成図である。
【図２】（Ａ）は２つのチャンネルのビットストリームのストラクチャの例、（Ｂ）は実施形態１における再生画像の見え方を示す模式図である。
【図３】（Ａ）は実施形態１における制御部の基本動作となる制御フロー、（Ｂ）は図３（Ａ）における表示ターゲット決定処理の詳細フローである。
【図４】（Ａ）は図３（Ａ）における特殊再生処理の詳細フロー、（Ｂ）は図３（Ａ）における通常再生処理の詳細フローである。
【図５】本発明の実施形態２に係る動画像復号化装置の構成図である。
【図６】（Ａ）は実施形態２における制御部の基本動作となる制御フロー、（Ｂ）は図６（Ａ）における表示ターゲット決定処理の詳細フローである。
【図７】（Ａ）は図６（Ａ）における特殊再生処理の詳細フロー、（Ｂ）は図６（Ａ）における通常再生処理の詳細フローである。
【図８】本発明の実施形態３に係る動画像復号化装置の構成図である。
【図９】（Ａ）は実施形態３における制御部の基本動作となる制御フロー、（Ｂ）は図９（Ａ）における表示ターゲット決定処理の詳細フローである。
【図１０】（Ａ）は図９（Ａ）における特殊再生処理の詳細フロー、（Ｂ）は図９（Ａ）における通常再生処理の詳細フローである。
【図１１】本発明の実施形態４に係る動画像復号化装置の構成図である。
【図１２】（Ａ）は実施形態４における制御部の基本動作となる制御フロー、（Ｂ）は図１２（Ａ）における表示ターゲット決定処理の詳細フローである。
【図１３】（Ａ）は図１２（Ａ）における特殊再生処理の詳細フロー、（Ｂ）は図１２（Ａ）における通常再生処理の詳細フローである。
【図１４】本発明の実施形態５に係る動画像復号化装置の構成図である。
【図１５】（Ａ）は実施形態５における制御部の基本動作となる制御フロー、（Ｂ）は図１５（Ａ）における表示ターゲット決定処理の詳細フローである。
【図１６】（Ａ）は図１５（Ａ）における特殊再生処理の詳細フロー、（Ｂ）は図１５（Ａ）における通常再生処理の詳細フローである。
【図１７】本発明の実施形態６に係る動画像復号化装置の構成図である。
【図１８】実施形態６における再生画像の見え方の一例を示す模式図である。
【図１９】（Ａ）は実施形態６における制御部の基本動作となる制御フロー、（Ｂ）は図１９（Ａ）における表示ターゲット決定処理の詳細フローである。
【図２０】図１９（Ａ）における特殊再生処理の詳細フローである。
【図２１】本発明の実施形態７に係る動画像復号化装置の構成図である。
【図２２】（Ａ）は実施形態７における制御部の基本動作となる制御フロー、（Ｂ）は図２２（Ａ）における表示ターゲット決定処理の詳細フローである。
【図２３】図２２（Ａ）における特殊再生処理の詳細フローである。
【図２４】本発明の実施形態８に係る動画像復号化装置の構成図である。
【図２５】（Ａ）は再生画像の見え方の一例を示す模式図、（Ｂ），（Ｃ）は実施形態８におけるデコードの時分割処理を示す図である。
【図２６】実施形態８における制御部の基本動作となる制御フローである。
【図２７】図２６における特殊再生処理の詳細フローである。
【図２８】本発明に係る動画像復号化装置を有する電子機器の構成例を示すブロック図である。
【図２９】電子機器の一例としての光ディスク再生装置の外観図である。
【図３０】本発明に係る動画像復号化装置を有する電子機器の構成例を示すブロック図である。
【図３１】従来の動画像復号化装置の構成例を示すブロック図である。
【図３２】ＧＯＰ構造の一例である。
【図３３】（Ａ）はピクチャ構成の一例、（Ｂ），（Ｃ）は再生画像の見え方を示す図である。
【図３４】（Ａ）は２チャンネルの場合のピクチャ構成の一例、（Ｂ）は再生画像の見え方を示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００３５】
なお、以下の各実施形態では、所定の特殊再生モードの一例として、逆スロー再生を例にとって説明を行う。ただし、他の特殊再生、例えば、早送り再生、スロー再生、早戻し再生等についても、各実施形態で説明する手法は、同様に適用することができる。
【００３６】
（実施形態１）
図１は本発明の実施形態１に係る動画像復号化装置の構成図である。図１において、図３１と共通の構成要素には図３１と同一の符号を付している。図１において、５１１ａ，５１１ｂは復号化部、１５１は制御部であり、復号化部５１１ａ，５１１ｂおよび制御部１５１における処理が、図３１の構成とは大きく異なっている。
【００３７】
まず、チャンネルＡ、チャンネルＢの２チャンネルの動画像のビットストリームは、それぞれ、バッファ（バッファメモリ）５００ａ，５００ｂに入力された後、後続の復号化部５１１ａ，５１１ｂにおいて復号化される。復元された画像はそれぞれ、フレームメモリ５２０ａ，５２０ｂに格納される。ここで、図３１の構成と異なるのは、復号化部５１１ａ，５１１ｂが、チャンネルＡ，Ｂ各々のビットストリームについてのストラクチャ情報を出力する点である。復号化部５１１ａ，５１１ｂは、ビットストリームを順再生のためにデコードしている際に、ストラクチャ情報を予め解析しておく。復号化部５１１ａ，５１１ｂから出力されたストラクチャ情報は、制御部１５１が有する情報記憶手段に格納される。
【００３８】
ここで、「ストラクチャ情報」とは、ビットストリームのストラクチャに関する情報、すなわち、ビットストリーム中のＧＯＰに含まれるフレーム画像の枚数、ＧＯＰ中のフレーム画像の符号化タイプや並び順を示す情報のことをいう。
【００３９】
フレームメモリ５２０ａ，５２０ｂに格納された画像は、制御部１５１が指示した順に出力される。制御部１５１は、適切な表示順で再生画像が得られるように、画像の出力順を指示する。フレームメモリ５２０ａ，５２０ｂから出力された画像は、合成部５３０において、同一画面上に重畳されてＰｉｎＰ画像として出力される。
【００４０】
また制御部１５１は、所定の特殊再生モードとして逆スロー再生モードが指示されたとき、復号化部５１１ａ，５１１ｂから受けたストラクチャ情報に基づいて、再生対象となるフレームである表示ターゲットを決定する。すなわち、「表示ターゲット」とは、各チャンネルの同一時刻におけるフレーム群であって、再生対象となるもののことをいう。制御部１５１は、表示ターゲットが決定されるまでデコードを続けるように、復号化部５１１ａ，５１１ｂを制御する。
【００４１】
図２（Ａ）はチャンネルＡ，Ｂのビットストリームのストラクチャの例を示している。図２（Ａ）において、チャンネルＡは図３２と同様のストラクチャであるが、チャンネルＢは図３２とは異なり、Ｂフレームが含まれていないストラクチャである。図２（Ａ）において、現在表示中のフレームがＩ’０フレームであり、その直前のＰ６から順次、逆スロー再生を行うものとする。そしてチャンネルＡでは、逆スロー再生において、Ｐ６，Ｂ４，Ｂ２，Ｉ０という順で画像が表示されることを想定する。チャンネルＢにおいても同様に、Ｐ６，Ｐ４，Ｐ２，Ｉ０という順で画像が表示されるものとする。
【００４２】
表示すべきフレームすなわち表示ターゲットの画像を得るためには、その表示ターゲットを含むＧＯＰのビットストリームをバッファ５００ａ，５００ｂに転送し、当該表示ターゲットの画像データが得られるまで、復号化部５１１ａ，５１１ｂにデコードを実行させる必要がある。また、表示ターゲットがそのＧＯＰの先頭に達したときは、現在のＧＯＰより時間的にひとつ前のＧＯＰを新たにバッファ５００ａ，５００ｂに転送し、その後尾を表示ターゲットとして、逆スロー再生を継続する。
【００４３】
図２（Ａ）では、各フレームについて、当該フレームが表示ターゲットとなった場合に復号化のために必要となるフレーム枚数である要デコード枚数を、それぞれ記している。
【００４４】
本実施形態において、制御部１５１が逆スロー再生において表示ターゲットを決定する処理について、詳細に説明する。
【００４５】
制御部１５１は、まず、指示された逆スロー再生モードに従って、各チャンネルＡ，Ｂの所定時刻におけるフレームを、表示ターゲット候補として定める。そして、各表示ターゲット候補について、復号化部５１１ａ，５１１ｂから受けた各チャンネルＡ，Ｂのストラクチャ情報に基づいて、要デコード枚数をそれぞれ算出する。さらに、算出した要デコード枚数の、各チャンネルＡ，Ｂ間の差分を算出し、これを所定の閾値（枚数）と比較する。要デコード枚数の差分が所定の閾値よりも小さい場合は、各表示ターゲット候補を表示ターゲットとして決定する。一方、要デコード枚数の差分が所定の閾値以上の場合は、各表示ターゲット候補をキャンセルし、キャンセルした各表示ターゲット候補より時間的に前に位置しており、かつ、要デコード枚数の差分が所定の閾値よりも小さいフレームを探し、これを表示ターゲットとして決定する。
【００４６】
この処理を、図２を用いて具体的に説明する。ここでは、要デコード枚数の差分と比較する所定の閾値は「２」とする。
【００４７】
まず、表示ターゲット候補として、チャンネルＡのＰ６とチャンネルＢのＰ６が定められる。図２（Ａ）に示すとおり、要デコード枚数は、チャンネルＡのＰ６については３、チャンネルＢのＰ６については７となる。したがって、要デコード枚数の差分は４となり、所定の閾値である２よりも大きいので、この場合の表示ターゲット候補はキャンセルされる。
【００４８】
次に、チャンネルＡのＰ６とチャンネルＢのＰ６よりも時間的に前に位置する、チャンネルＡのＢ５とチャンネルＢのＰ５を表示ターゲット候補とし、評価する。図２（Ａ）に示すとおり、要デコード枚数は、チャンネルＡのＢ５については４、チャンネルＢのＰ５については６となる。したがって、要デコード枚数の差分は２となり、所定の閾値である２と等しいので、この場合の表示ターゲット候補もキャンセルされる。
【００４９】
次に、チャンネルＡのＢ５とチャンネルＢのＰ５よりも時間的に前に位置する、チャンネルＡのＢ４とチャンネルＢのＰ４を表示ターゲット候補とし、評価する。図２（Ａ）に示すとおり、要デコード枚数は、チャンネルＡのＢ４については４、チャンネルＢのＰ４については５となる。したがって、要デコード枚数の差分は１となり、所定の閾値である２よりも小さいので、この場合の表示ターゲット候補を表示ターゲットとして決定する。すなわち、チャンネルＡのＢ４とチャンネルＢのＰ４が表示ターゲットとして決定される。
【００５０】
制御部１５１は、表示ターゲットとして決定されたチャンネルＡのＢ４とチャンネルＢのＰ４の画像が復号化されて出力されるように、復号化部５１１ａ，５１１ｂおよびフレームメモリ５２０ａ，５２０ｂを制御する。このような処理によって、当初はＩ’０フレーム画像が画面に表示されているが、チャンネルＡのＢ４とチャンネルＢのＰ４の画像が再生され次第、それぞれのチャンネルにおいて、その画像が画面に表示される。以降、同様に、表示ターゲットが決定されて、決定された表示ターゲットの画像が再生されていく。
【００５１】
図２（Ｂ）は再生画像の見え方を示す模式図である。ここでは、復号化部５１１ａ，５１１ｂが１倍速相当のデコード能力を有する場合を想定している。
【００５２】
なお、上述した動作では、最初の表示ターゲットは、表示ターゲット候補を２回キャンセルした後、３回目の評価で決定したが、キャンセル回数が多い場合、すなわち、要デコード枚数のチャンネル間の差分が大きいフレームが連続している場合には、現在表示中のフレームと表示ターゲットとの間隔が広くなってしまう。ただし、例えばＭＰＥＧ２規格では、ＧＯＰに必ず１枚以上のＩフレームを含むという規則があり、少なくともＩフレーム（要デコード枚数が１）は表示ターゲットとして決定されるため、表示ターゲットが全く見つからずに画面更新が完全に停止状態になる、といった問題は生じない。
【００５３】
図３および図４は制御部１５１の具体的な動作を示すフローチャートである。図３（Ａ）は基本動作となる制御フロー、図３（Ｂ）は図３（Ａ）における表示ターゲット決定処理Ｓ２００の詳細フロー、図４（Ａ）は図３（Ａ）における特殊再生処理Ｓ３００の詳細フロー、図４（Ｂ）は図３（Ａ）における通常再生処理Ｓ４００の詳細フローである。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。すなわち、図１では動画像のチャンネル数は２であるものとして装置構成を示したが、３以上のチャンネルがあってもよい。以下の実施形態でも同様である。
【００５４】
まず図３（Ａ）に示すように、通常再生か特殊再生かといった、ユーザーにより指示された再生モードを判定し（Ｓ１００）、通常再生の場合は通常再生処理Ｓ４００を行い、特殊再生の場合は、表示ターゲット決定処理Ｓ２００を行った後、特殊再生処理Ｓ３００を行う。なお、制御部１５１は、特殊再生処理Ｓ３００および通常再生処理Ｓ４００は、各チャンネルに対して実施する。以下では、チャンネルＡに対して実施するものとして記載するが、他の全てのチャンネル（チャンネルＢ含む）についても同様に実施する。
【００５５】
通常再生処理Ｓ４００では、図４（Ｂ）に示すように、制御部１５１はまず、復号化部５１１ａにビットストリームのピクチャ層以上のヘッダ解析を指示し（Ｓ３０１）、その結果得られたストラクチャ情報を記憶する（Ｓ３０２）。その後、復号化部５１１ａにピクチャ層より下位の階層のデータであるピクチャデータの復号を指示する（Ｓ３０７）。１フレーム分の復号処理が完了すると、正しく並び替えられた画像が表示されるように、フレームメモリ５２０ａにデコード済み画像の中から適切な画像を表示するよう指示する（Ｓ３０８Ａ）。
【００５６】
表示ターゲット決定処理Ｓ２００では、図３（Ｂ）に示すように、制御部１５１はまず、表示ターゲット候補を設定する（Ｓ２０１）。そして、ストラクチャ情報に基づいて、各チャンネルの表示ターゲット候補の要デコード枚数Ｆ（ｘ）をそれぞれ求める（Ｓ２０２）。ここで、ｘはチャンネルを表す。次に、全チャンネル間での要デコード枚数Ｆ（ｘ）の差分の最大値ｍａｘＦｄを求め（Ｓ２０３）、この最大値ｍａｘＦｄを所定の閾値Ｆｄｔｈと比較する（Ｓ２０４）。最大値ｍａｘＦｄが閾値Ｆｄｔｈ未満のときは、現在の表示ターゲット候補を表示ターゲットとして決定して（Ｓ２０６）処理を終了する。一方、最大値ｍａｘＦｄが閾値Ｆｄｔｈ以上のときは、現在の表示ターゲット候補を取り消して、次の表示ターゲット候補を設定し（Ｓ２０５）、再びＳ２０２から処理を行う。
【００５７】
なお、この表示ターゲット決定処理Ｓ２００では、要デコード枚数のチャンネル間の差分に基づく評価指標として、要デコード枚数の差分の最大値を用いるものとしたが、他の値を用いてもかまわない。例えば、任意の２チャンネル間の差分の平均値をとり、これを評価指標としてもよい。あるいは、符号化条件を反映するような補正係数を、要デコード枚数の差分に乗じるようにしてもかまわない。
【００５８】
特殊再生処理Ｓ３００では、図４（Ａ）に示すように、制御部１５１はまず、復号化部５１１ａにビットストリームのピクチャ層以上のヘッダ解析を指示し（Ｓ３０１）、その結果得られたストラクチャ情報を記憶する（Ｓ３０２）。次に、フレームが表示ターゲットと一致するか否かを判定し（Ｓ３０３）、一致した場合、復号手段５１１ａにピクチャデータを復号指示し（Ｓ３０７）、その画像を表示するようにフレームメモリ５２０ａに指示する（Ｓ３０８）。一方、フレームが表示ターゲットと一致しなかった場合、そのフレームの符号化タイプを判定し（Ｓ３０４）、Ｂフレームのときは次のフレームまでピクチャデータを読み捨てるように復号化部５１１ａに指示する（Ｓ３０６）。Ｂフレーム以外のときは、そのフレームを復号するように復号化部５１１ａに指示する（Ｓ３０５）。
【００５９】
以上のように本実施形態では、各チャンネルの表示ターゲット候補について要デコード枚数をそれぞれ算出し、この要デコード枚数の差分に基づく評価指標が所定の閾値より小さい場合は、表示ターゲット候補を表示ターゲットとして決定する一方、そうでない場合は、表示ターゲット候補をキャンセルするようにした。すなわち、要デコード枚数の差分に基づく評価指標が所定の閾値以上のフレーム群は、表示ターゲットの対象から外すようにした。これにより、チャンネル間の画面更新時刻の不揃いの原因となる、要デコード枚数の差の大きなフレーム群が、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像を得ることができる。
【００６０】
（実施形態２）
図５は本発明の実施形態２に係る動画像復号化装置の構成図である。図５において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図５の構成では、復号化部５１２ａ，５１２ｂおよび制御部１５２における処理が、実施形態１に係る図１の構成と異なっている。
【００６１】
本実施形態が実施形態１と異なるのは、復号化部５１２ａ，５１２ｂが、ストラクチャ情報に加えて画像サイズ情報も出力し、制御部１５２が、ストラクチャ情報に加えて画像サイズ情報も用いて、表示ターゲットを決定する点である。ここでの画像サイズ情報とは例えば、１フレーム当たりの画素数である。復号化部５１２ａ，５１２ｂは、ビットストリームを順再生のためにデコードしている際に、ストラクチャ情報と画像サイズ情報を予め解析しておく。復号化部５１２ａ，５１２ｂから出力されたストラクチャ情報と画像サイズ情報は、制御部１５２が有する情報記憶手段に格納される。
【００６２】
図６および図７は制御部１５２の具体的な動作を示すフローチャートである。図６および図７において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図６（Ａ）は基本動作となる制御フロー、図６（Ｂ）は図６（Ａ）における表示ターゲット決定処理Ｓ２２０の詳細フロー、図７（Ａ）は図６（Ａ）における特殊再生処理Ｓ３２０の詳細フロー、図７（Ｂ）は図６（Ａ）における通常再生処理Ｓ４２０の詳細フローである。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。
【００６３】
図７（Ａ），（Ｂ）に示すように、本実施形態における特殊再生処理Ｓ３２０および通常再生処理Ｓ４２０が、実施形態１における特殊再生処理Ｓ３００および通常再生処理Ｓ４００と異なるのは、処理Ｓ３１２のみである。すなわち、処理Ｓ３１２では、ストラクチャ情報に加えて、画像サイズ情報も記憶しておく。この画像サイズ情報は、ストラクチャ情報とともに、表示ターゲット決定処理Ｓ２２０において用いられる。
【００６４】
また、図６（Ｂ）に示すように、本実施形態における表示ターゲット決定処理Ｓ２２０が、実施形態１における表示ターゲット決定処理Ｓ２００と異なるのは、処理Ｓ２１２が加わった点である。すなわち本実施形態の表示ターゲット決定処理Ｓ２２０では、ストラクチャ情報に基づいて、各チャンネルの表示ターゲット候補の要デコード枚数Ｆ（ｘ）をそれぞれ求めた（Ｓ２０２）後に、この要デコード枚数Ｆ（ｘ）を画像サイズ情報に基づいて補正する（Ｓ２１２）。それ以外の処理は、実施形態１の表示ターゲット決定処理Ｓ２００と同様である。
【００６５】
画像サイズ情報に基づく補正の一例としては、例えば、チャンネル間の画像サイズ比を考慮して、各チャンネルの要デコード枚数Ｆ（ｘ）を補正する。例えば、チャンネルＡがＨＤサイズであり、チャンネルＢが横方向半分のハーフＨＤサイズの場合、チャンネルＡのＦ（ｘ）はそのままとし（スケーリング率＝１）、チャンネルＢのＦ（ｘ）を１／２倍（スケーリング率＝０．５）として用いる。一般的に、１回の処理単位であるマクロブロックの大きさは同じであるから、画像サイズが大きければ大きいほどデコードに時間がかかる傾向になるため、補正後の値は、表示ターゲット候補の画像を得るまでにかかる時間と概ね相関があると考えることができる。
【００６６】
以上のように本実施形態によると、実施形態１と同様の作用効果が得られるのに加えて、さらに、要デコード枚数の各チャンネル間の差分に基づく評価指標として、画像サイズ情報に基づいて補正されたものを用いることによって、表示ターゲット決定処理において画像サイズまで考慮することができる。これにより、各チャンネル間の実際のデコード時間差をより正確に表示ターゲット決定処理に反映させることができ、より自然な再生画像を得ることができる。
【００６７】
（実施形態３）
図８は本発明の実施形態３に係る動画像復号化装置の構成図である。図８において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図８の構成では、復号化部５１３ａ，５１３ｂおよび制御部１５３における処理が、実施形態１に係る図１の構成と異なっている。
【００６８】
本実施形態が実施形態１と異なるのは、復号化部５１３ａ，５１３ｂが、ストラクチャ情報に加えて符号化規格情報も出力し、制御部１５３が、ストラクチャ情報に加えて符号化規格情報も用いて、表示ターゲットを決定する点である。復号化部５１３ａ，５１３ｂは、ビットストリームを順再生のためにデコードしている際に、ストラクチャ情報と符号化規格情報を予め解析しておく。復号化部５１３ａ，５１３ｂから出力されたストラクチャ情報と符号化規格情報は、制御部１５３が有する情報記憶手段に格納される。
【００６９】
図９および図１０は制御部１５３の具体的な動作を示すフローチャートである。図９および図１０において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図９（Ａ）は基本動作となる制御フロー、図９（Ｂ）は図９（Ａ）における表示ターゲット決定処理Ｓ２３０の詳細フロー、図１０（Ａ）は図９（Ａ）における特殊再生処理Ｓ３３０の詳細フロー、図１０（Ｂ）は図９（Ａ）における通常再生処理Ｓ４３０の詳細フローである。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。
【００７０】
図１０（Ａ），（Ｂ）に示すように、本実施形態における特殊再生処理Ｓ３３０および通常再生処理Ｓ４３０が、実施形態１における特殊再生処理Ｓ３００および通常再生処理Ｓ４００と異なるのは、処理Ｓ３１３のみである。すなわち、処理Ｓ３１３では、ストラクチャ情報に加えて、符号化規格情報も記憶しておく。この符号化規格情報は、ストラクチャ情報とともに、表示ターゲット決定処理Ｓ２３０において用いられる。
【００７１】
また、図９（Ｂ）に示すように、本実施形態における表示ターゲット決定処理Ｓ２３０が、実施形態１における表示ターゲット決定処理Ｓ２００と異なるのは、処理Ｓ２１３が加わった点である。すなわち本実施形態の表示ターゲット決定処理Ｓ２３０では、ストラクチャ情報に基づいて、各チャンネルの表示ターゲット候補の要デコード枚数Ｆ（ｘ）をそれぞれ求めた（Ｓ２０２）後に、この要デコード枚数Ｆ（ｘ）を符号化規格情報に基づいて補正する（Ｓ２１３）。それ以外の処理は、実施形態１の表示ターゲット決定処理Ｓ２００と同様である。
【００７２】
符号化規格情報に基づく補正の一例としては、例えば、各チャンネルの符号化規格における平均デコード時間の比を考慮して、各チャンネルの要デコード枚数Ｆ（ｘ）を補正する。例えば、チャンネルＡがＭＰＥＧ２規格であり、チャンネルＢがＨ．２６４規格である場合、チャンネルＡのＦ（ｘ）を１／２倍（スケーリング率＝０．５）し、チャンネルＢのＦ（ｘ）はそのまま（スケーリング率＝１）で用いる。一般的に、符号化規格が複雑であれば複雑であるほどデコードに時間がかかる傾向になるため、補正後の値は、表示ターゲット候補の画像を得るまでに掛かる時間と概ね相関があると考えることができる。
【００７３】
以上のように本実施形態によると、実施形態１と同様の作用効果が得られるのに加えて、さらに、要デコード枚数の差分に基づく評価指標として、符号化規格情報に基づいて補正されたものを用いることによって、表示ターゲット決定処理において符号化規格まで考慮することができる。これにより、各チャンネル間の実際のデコード時間差をより正確に表示ターゲット決定処理に反映させることができ、より自然な再生画像を得ることができる。
【００７４】
なお、符号化規格はビットストリーム中で煩雑に変わるものではないため、各チャンネルの符号化規格情報は、ピクチャ層のヘッダ解析処理ごとに毎回取得する必要は必ずしもない。例えば、符号化規格情報を、別途、外部から当該装置へ与えるようにしてもよいのはもちろんである。
【００７５】
（実施形態４）
図１１は本発明の実施形態４に係る動画像復号化装置の構成図である。図１１において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図１１の構成では、バッファ（バッファメモリ）５０１ａ，５０１ｂの機能と制御部１５４における処理とが、実施形態１に係る図１の構成と異なっている。
【００７６】
本実施形態が実施形態１と異なるのは、バッファ５０１ａ，５０１ｂが、ビットストリームを復号化部５１１ａ，５１１ｂに出力するのに加えて、ポインタ情報を制御部１５４に出力し、制御部１５４が、ストラクチャ情報に加えてポインタ情報も用いて、表示ターゲットを決定する点である。ポインタ情報とは例えば、バッファ５０１ａ，５０１ｂの読み出し側のポインタ位置の変化を示す情報である。このポインタ情報から、各フレーム毎のポインタ位置の移動量、すなわち、各フレームの符号量を取得することができる。バッファ５０１ａ，５０１ｂから出力されたポインタ情報は、復号化部５１１ａから出力されたストラクチャ情報とともに、制御部１５４が有する情報記憶手段に格納される。
【００７７】
図１２および図１３は制御部１５４の具体的な動作を示すフローチャートである。図１２および図１３において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図１２（Ａ）は基本動作となる制御フロー、図１２（Ｂ）は図１２（Ａ）における表示ターゲット決定処理Ｓ２４０の詳細フロー、図１３（Ａ）は図１２（Ａ）における特殊再生処理Ｓ３４０の詳細フロー、図１３（Ｂ）は図１２（Ａ）における通常再生処理Ｓ４４０の詳細フローである。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。
【００７８】
図１３（Ａ），（Ｂ）に示すように、本実施形態における特殊再生処理Ｓ３４０および通常再生処理Ｓ４４０が、実施形態１における特殊再生処理Ｓ３００および通常再生処理Ｓ４００と異なるのは、処理Ｓ３１４のみである。すなわち、処理Ｓ３１４では、ストラクチャ情報に加えて、ポインタ情報も記憶しておく。このポインタ情報は、ストラクチャ情報とともに、表示ターゲット決定処理Ｓ２４０において用いられる。
【００７９】
また、図１２（Ｂ）に示すように、本実施形態における表示ターゲット決定処理Ｓ２４０が、実施形態１における表示ターゲット決定処理Ｓ２００と異なるのは、処理Ｓ２０２，Ｓ２０３，Ｓ２０４に代えて、処理Ｓ２４１，Ｓ２４２，Ｓ２４３が加わった点である。すなわち本実施形態の表示ターゲット決定処理Ｓ２４０では、ストラクチャ情報とポインタ情報とに基づいて、各チャンネルの表示ターゲット候補について、復号化のために必要となる符号量である要デコード符号量Ｂ（ｘ）をそれぞれ算出する（Ｓ２４１）。ｘはチャンネルを表す。ここで、制御部１５４は、ポインタ情報に含まれたポインタ位置の変化に基づいて、各フレームの符号量を算出することができる。そして、算出した各フレームの符号量を用いて、表示ターゲット候補を得るまでにデコードしなくてはならない符号量の総計、すなわち要デコード符号量Ｂ（ｘ）を求めることができる。一般的に、符号量が多ければ多いほどデコードに時間がかかる傾向になるため、要デコード符号量は、表示ターゲット候補の画像を得るまでにかかる時間と概ね相関があると考えることができる。
【００８０】
その後、全チャンネル間での要デコード符号量Ｂ（ｘ）の差分の最大値ｍａｘＢｄを求め（Ｓ２４２）、この最大値ｍａｘＢｄを所定の閾値Ｂｄｔｈと比較する（Ｓ２４３）。最大値ｍａｘＢｄが閾値Ｂｄｔｈ未満のときは、現在の表示ターゲット候補を表示ターゲットとして決定して（Ｓ２０６）処理を終了する。一方、最大値ｍａｘＢｄが閾値Ｂｄｔｈ以上のときは、現在の表示ターゲット候補を取り消して、次の表示ターゲット候補を設定し（Ｓ２０５）、再びＳ２５０から処理を行う。
【００８１】
なお、この表示ターゲット決定処理Ｓ２４０では、要デコード符号量のチャンネル間の差分に基づく評価指標として、要デコード符号量の差分の最大値を用いるものとしたが、他の値を用いてもかまわない。例えば、任意の２チャンネル間の差分の平均値をとり、これを評価指標としてもよい。
【００８２】
以上のように本実施形態では、各チャンネルの表示ターゲット候補について要デコード符号量をそれぞれ算出し、この要デコード符号量の差分に基づく評価指標が所定の閾値より小さい場合は、表示ターゲット候補を表示ターゲットとして決定する一方、そうでない場合は、表示ターゲット候補をキャンセルするようにした。すなわち、要デコード符号量の差分に基づく評価指標が所定の閾値以上のフレーム群は、表示ターゲットの対象から外すようにした。これにより、チャンネル間の画面更新時刻の不揃いの原因となる、要デコード符号量の差の大きなフレームが、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。
【００８３】
なお、本実施形態では、バッファ５０１ａ，５０１ｂから出力されたポインタ情報に基づいて、各フレームの符号量を取得するものとしたが、ポインタ情報を用いる代わりに、例えば、復号化部５１１ａ，５１１ｂが有する可変長復号器において、復号化した符号量をカウントし、このカウントした符号量を用いて、各フレームの符号量を取得するようにしてもかまわない。
【００８４】
（実施形態５）
図１４は本発明の実施形態５に係る動画像復号化装置の構成図である。図１４において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図１４の構成では、復号化部５１５ａ，５１５ｂおよび制御部１５５における処理が、実施形態１に係る図１の構成と異なっている。さらに、計時部１６０が追加されている。通常、動画像の復号化装置では、映像だけでなく音声の復号化機能も具備していることが多く、その場合、映像と音声のタイムスタンプ情報を基準時刻と比較し、両者がほぼ同時に出力されるように調整する処理（ＡＶ同期処理またはリップシンク）を行う。例えば、この基準時刻を保持する手段を、計時部１６０として利用可能である。
【００８５】
本実施形態が実施形態１と異なるのは、復号化部５１５ａ，５１５ｂが、ストラクチャ情報に加えてデコードタイミング情報も出力し、制御部１５５が、ストラクチャ情報に加えてデコードタイミング情報も用いて、表示ターゲットを決定する点である。デコードタイミング情報とは例えば、各フレームをデコードする際の先頭タイミングおよび終了タイミングを示す情報である。復号化部５１５ａ，５１５ｂは、ビットストリームを順再生のためにデコードしている際に、デコードタイミング情報を出力する。制御部１５５は、復号化部５１５ａ，５１５ｂからデコードタイミング情報を受けたとき、その時刻を計時部１６０の時刻情報を参照して求め、情報記憶手段に格納する。これにより、各フレームのデコード開始および終了時刻が制御部１５５に記憶される。
【００８６】
図１５および図１６は制御部１５５の具体的な動作を示すフローチャートである。図１５および図１６において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図１５（Ａ）は基本動作となる制御フロー、図１５（Ｂ）は図１５（Ａ）における表示ターゲット決定処理Ｓ２５０の詳細フロー、図１６（Ａ）は図１５（Ａ）における特殊再生処理Ｓ３５０の詳細フロー、図１６（Ｂ）は図１５（Ａ）における通常再生処理Ｓ４５０の詳細フローである。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。
【００８７】
図１６（Ａ），（Ｂ）に示すように、本実施形態における特殊再生処理Ｓ３５０および通常再生処理Ｓ４５０が、実施形態１における特殊再生処理Ｓ３００および通常再生処理Ｓ４００と異なるのは、処理Ｓ３１５のみである。すなわち、処理Ｓ３１５では、ストラクチャ情報に加えて、デコードタイミング情報を基にして得たデコード時刻も記憶しておく。このデコード時刻は、ストラクチャ情報とともに、表示ターゲット決定処理Ｓ２５０において用いられる。
【００８８】
また、図１５（Ｂ）に示すように、本実施形態における表示ターゲット決定処理Ｓ２５０が、実施形態１における表示ターゲット決定処理Ｓ２００と異なるのは、処理Ｓ２０２，Ｓ２０３，Ｓ２０４に代えて、処理Ｓ２５１，Ｓ２５２，Ｓ２５３が加わった点である。すなわち本実施形態の表示ターゲット決定処理Ｓ２５０では、ストラクチャ情報とデコード時刻とに基づいて、各チャンネルの表示ターゲット候補について、復号化のために必要となるデコード時間である要デコード時間Ｔ（ｘ）をそれぞれ算出する（Ｓ２５１）。ｘはチャンネルを表す。ここで、制御部１５５は、各フレームの先頭のデコード時刻と終了のデコード時刻とに基づいて、各フレームのデコード時間を算出することができる。そして、算出した各フレームのデコード時間を用いて、表示ターゲット候補を得るまでのデコードに要する時間の総計、すなわち要デコード時間Ｔ（ｘ）を求めることができる。
【００８９】
その後、全チャンネル間での要デコード時間Ｔ（ｘ）の差分の最大値ｍａｘＴｄを求め（Ｓ２５２）、この最大値ｍａｘＴｄを所定の閾値Ｔｄｔｈと比較する（Ｓ２５３）。最大値ｍａｘＴｄが閾値Ｔｄｔｈ未満のときは、現在の表示ターゲット候補を表示ターゲットとして決定して（Ｓ２０６）処理を終了する。一方、最大値ｍａｘＴｄが閾値Ｔｄｔｈ以上のときは、現在の表示ターゲット候補を取り消して、次の表示ターゲット候補を設定し（Ｓ２０５）、再びＳ２６０から処理を行う。
【００９０】
なお、この表示ターゲット決定処理Ｓ２５０では、要デコード時間のチャンネル間の差分に基づく評価指標として、要デコード時間の差分の最大値を用いるものとしたが、他の値を用いてもかまわない。例えば、任意の２チャンネル間の差分の平均値をとり、これを評価指標としてもよい。
【００９１】
以上のように本実施形態では、各チャンネルの表示ターゲット候補について要デコード時間をそれぞれ算出し、この要デコード時間の差分に基づく評価指標が所定の閾値より小さい場合は、表示ターゲット候補を表示ターゲットとして決定する一方、そうでない場合は、表示ターゲット候補をキャンセルするようにした。すなわち、要デコード時間の差分に基づく評価指標が所定の閾値以上のフレーム群は、表示ターゲットの対象から外すようにした。これにより、チャンネル間の画面更新時刻の不揃いの原因となる、要デコード時間の差の大きなフレームが、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。さらに、実際に各フレームのデコードに要した時間を計測することによって、各チャンネル間の実際のデコード時間差をより正確に表示ターゲット決定処理に反映させることができ、より自然な再生画像を得ることができる。
【００９２】
なお、上述の実施形態１〜５において、表示ターゲット候補のキャンセルがあまりにも連続して起こる場合、画面更新の頻度が極端に低下してしまうため、準静止画のように見えるようになり、動画として不自然さが増す、という問題が起こりうる。この問題を回避するために、表示ターゲット候補のキャンセルが所定回数以上生じた場合、キャンセルを無効化して、その表示ターゲット候補を強制的に表示ターゲットとして決定し、表示させるようにしてもよい。特に一例として、ＰｉｎＰ画像において主にユーザーが注視する機会が多いと考えられるプライマリ映像（より大面積で表示されるチャンネルの映像）について、セカンダリ映像（小面積で表示されるチャンネルの映像）よりも画面更新の頻度を上げるために、プライマリ映像のチャンネルを予め優先チャンネルとして指定しておき、このチャンネルについてのみ、上のようなキャンセル無効化処理を行うようにしてもよい。
【００９３】
なお、上述の実施形態１〜５では、表示ターゲット決定処理において、表示ターゲット候補について要デコード枚数、要デコード符号量または要デコード時間の差分に基づく評価指標を求め、これを所定の閾値と比較することによって、この表示ターゲット候補を表示ターゲットとして決定するかキャンセルするかを判定するようにした。これに代えて、例えば次のような処理を行ってもよい。すなわち、同一時刻のフレーム群のそれぞれについて、予め、要デコード枚数等の差分に基づく評価指標を求めておき、その評価指標が所定の閾値よりも小さいものの中から、指示された特殊再生モードに従って、表示ターゲットを選択するようにしてもよい。このような処理によっても、要デコード枚数等の差分に基づく評価指標が所定の閾値以上のフレーム群は、表示ターゲットの対象から外すことができるので、上述の各実施形態１〜５と同様に、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像を得ることができる。
【００９４】
（実施形態６）
図１７は本発明の実施形態６に係る動画像復号化装置の構成図である。図１７において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図１７の構成では、制御部１７０における処理が、実施形態１に係る図１の構成と異なっている。
【００９５】
上述の実施形態１〜５では、表示ターゲットが決定されると、各チャンネルにおいて、表示ターゲットの復号化が完了すれば、これに続いて、得られた画像データを再生するようにしていた。これに対して本実施形態では、表示ターゲットについて、復号化が最も遅くなると予測されるチャンネル（以下では、遅滞チャンネルと呼ぶ）を求めて、この遅滞チャンネルにおける復号化が完了するまでは、他のチャンネルにおいても画像表示更新を行わずに待っておき、表示タイミングを合わせることを特徴とする。
【００９６】
図１８は本実施形態における再生画像の見え方の一例を示す模式図である。図１８に示すように、チャンネルＡの方がチャンネルＢよりも早く復号化が完了すると想定される場合は、チャンネルＡの表示更新を、チャンネルＢの復号化が完了するまで待って、チャンネルＢの表示更新に合わせて行う。また、逆に、チャンネルＢの方がチャンネルＡよりも早く復号化が完了すると想定される場合は、チャンネルＢの表示更新を、チャンネルＡの復号化が完了するまで待って、チャンネルＡの表示更新に合わせて行う。
【００９７】
本実施形態では、表示ターゲットの決定は、指示された所定の特殊再生モードに従って行うものとする。すなわち、上述の実施形態１〜５では、要デコード枚数等を用いた所定の規範に照らして、表示ターゲット候補のキャンセルを行っていたが、本実施形態ではそのような表示ターゲット候補のキャンセルは行わないものとする。例えば、逆スロー再生が指示された場合は、所定のフレーム間隔で遡るように、表示ターゲットを決定する。
【００９８】
図１９および図２０は制御部１７０の具体的な動作を示すフローチャートである。図１９および図２０において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図１９（Ａ）は基本動作となる制御フロー、図１９（Ｂ）は図１９（Ａ）における遅滞チャンネル特定処理Ｓ２６０の詳細フロー、図２０は図１９（Ａ）における特殊再生処理Ｓ３６０の詳細フローである。また、図１９（Ａ）における通常再生処理Ｓ４００は図４（Ｂ）に示したものと同様である。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。
【００９９】
図１９（Ａ）に示すように、特殊再生の場合は、まず、指示された特殊再生モードに従って表示ターゲットを決定する（Ｓ２０１Ａ）。次に、遅滞チャンネル特定処理Ｓ２６０を行う。遅滞チャンネル特定処理Ｓ２６０では、図１９（Ｂ）に示すように、ストラクチャ情報に基づいて、各チャンネルの表示ターゲットの要デコード枚数Ｆ（ｘ）を求め（Ｓ２６１）、この要デコード枚数Ｆ（ｘ）が最大となるチャンネルＸを求める（Ｓ２６２）。このチャンネルＸが、遅滞チャンネルとなる。
【０１００】
次に、特殊再生処理Ｓ３６０を行う。本実施形態における特殊再生処理Ｓ３６０が、実施形態１における特殊再生処理Ｓ３００と異なるのは、処理Ｓ３０９のみである。すなわち、処理Ｓ３０９では、ピクチャデータを復号指示した（Ｓ３０７）後、復号化された画像データがフレームメモリ５２０ａ，５２０ｂに格納されたとき、画像表示の指示は行わないで、その画像の表示が可能となったことを記憶する。ここで、このまだ表示更新に用いられない表示ターゲットの画像のことを、表示候補画像と呼ぶことにする。
【０１０１】
各チャンネルに対する特殊再生処理Ｓ３６０の結果、遅滞チャンネルＸで表示ターゲットの復号化が完了し、遅滞チャンネルＸの表示候補画像が決定したとき（Ｓ５００）、各チャンネルのフレームメモリ５２０ａ，５２０ｂに、格納されている表示候補画像を表示するよう指示する（Ｓ６００）。
【０１０２】
なお、上述の例では、処理Ｓ５００において遅滞チャンネルＸの表示ターゲットの復号化が完了するまで待つものとしたが、待ち時間が所定時間以上になった場合に、タイムアウト処理として次の処理Ｓ６００へ移行するようにしてもよい。この場合、次の表示更新までの時間が余りにも長い場合を抑制でき、より自然な再生画像が得られる。
【０１０３】
以上のように本実施形態では、表示ターゲットについて要デコード枚数をそれぞれ算出し、この要デコード枚数が最大となるチャンネルを遅滞チャンネルとして特定し、この遅滞チャンネルのフレームの復号化が完了するまで各チャンネルの表示更新を待ち、表示タイミングを合わせるようにした。これにより、チャンネル間の画面更新時刻の不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。
【０１０４】
なお、本実施形態では、遅滞チャンネルを特定するために、要デコード枚数Ｆ（ｘ）を用いたが、上述の実施形態２，３で示したような、要デコード枚数Ｆ（ｘ）を画像サイズ情報や符号化規格情報によって補正したものを用いてもよい。あるいは、上述の実施形態４で示したような要デコード符号量Ｂ（ｘ）を用いてもよいし、上述の実施形態５で示したような要デコード時間Ｔ（ｘ）を用いてもよい。これらのいずれの場合でも、チャンネル間の画面更新時刻の不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。
【０１０５】
なお、各チャンネルの表示更新を遅滞チャンネルの表示更新に合わせて行うものとしたが、この代わりに例えば、遅滞チャンネルの表示更新が可能な状態になった後、さらに所定時間が経過した後に、各チャンネルの表示更新を行うようにしてもよい。
【０１０６】
なお、本実施形態では、表示ターゲットの決定は、ただ単に、指示された特殊再生モードに従って行うものとしたが、上述の実施形態１〜５で示したような、要デコード枚数等の各チャンネル間の差分に基づく評価指標を用いた、表示ターゲットの選択処理を合わせて行うようにしてもかまわない。例えば、図１９（Ａ）に示す制御フローにおいて、処理Ｓ２０１Ａに代えて、実施形態１〜５で説明した表示ターゲット決定処理Ｓ２００，Ｓ２２０，Ｓ２３０，Ｓ２４０，Ｓ２５０を実行するようにしてもよい。
【０１０７】
（実施形態７）
図２１は本発明の実施形態７に係る動画像復号化装置の構成図である。図２１において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。図２１の構成では、制御部１８０における処理が、実施形態１に係る図１の構成と異なっている。
【０１０８】
上述の実施形態１〜５では、特殊再生処理において、Ｂフレームについてはピクチャデータを読み捨てる（Ｓ３０６）ものとしていた。これは、Ｂフレームは参照フレームではなく、他のフレームの復号化のために必要でないからである。これに対して本実施形態では、Ｂフレームについても他の符号化タイプのフレームと同様に、そのピクチャデータを復号化するものとする。
【０１０９】
また実施形態１では、表示ターゲット決定処理において、復号化のために必要となるフレーム枚数である要デコード枚数を用いて、評価を行うものとしていた。これに対して本実施形態では、復号化のために必要となるフレーム枚数ではなく、当該ＧＯＰにおいて、表示ターゲット候補に到達するまでに存在する全てのフレームの枚数を用いて、評価を行うものとする。ここでは、この表示ターゲット候補に至るまでのフレームの枚数のことを、要到達枚数と呼ぶ。
【０１１０】
このような処理を採用することによって、特殊再生処理において、各フレームの復号化はＢフレームか否かによらず必ず行われることになり、フローが単純化され、制御が簡単になるというメリットがある。
【０１１１】
図２２および図２３は制御部１８０の具体的な動作を示すフローチャートである。図２２および図２３において、実施形態１における図３および図４と共通のステップには同一の符号を付しており、ここではその詳細な説明は省略する。図２２（Ａ）は基本動作となる制御フロー、図２２（Ｂ）は図２２（Ａ）における表示ターゲット決定処理Ｓ２７０の詳細フロー、図２３は図２２（Ａ）における特殊再生処理Ｓ３７０の詳細フローである。また、図２２（Ａ）における通常再生処理Ｓ４００は図４（Ｂ）に示したものと同様である。なお、ここでは、チャンネルＡ，Ｂを含む複数のチャンネルを対象とするものとする。
【０１１２】
表示ターゲット決定処理Ｓ２７０では、図２２（Ｂ）に示すように、要デコード枚数Ｆ（ｘ）に代えて、要到達枚数Ｆ’（ｘ）を用いる。すなわち、制御部１８０は、ストラクチャ情報に基づいて、各チャンネルの表示ターゲット候補の要到達枚数Ｆ’（ｘ）をそれぞれ求める（Ｓ２０２Ａ）。次に、全チャンネル間での要到達枚数Ｆ’（ｘ）の差分の最大値ｍａｘＦｄ’を求め（Ｓ２０３Ａ）、この最大値ｍａｘＦｄ’を所定の閾値Ｆｄｔｈ’と比較する（Ｓ２０４Ａ）。最大値ｍａｘＦｄ’が閾値Ｆｄｔｈ’未満のときは、現在の表示ターゲット候補を表示ターゲットとして決定して（Ｓ２０６）処理を終了する。一方、最大値ｍａｘＦｄ’が閾値Ｆｄｔｈ’以上のときは、現在の表示ターゲット候補を取り消して、次の表示ターゲット候補を設定し（Ｓ２０５）、再びＳ２０２Ａから処理を行う。
【０１１３】
特殊再生処理Ｓ３７０では、図２３に示すように、符号化タイプにかかわらず全てのフレームのピクチャデータを復号化する。すなわち、制御部１８０はまず、復号化部５１１ａにビットストリームのピクチャ層以上のヘッダ解析を指示し（Ｓ３０１）、その結果得られたストラクチャ情報を記憶する（Ｓ３０２）。次に、復号手段５１１ａにピクチャデータを復号指示する（Ｓ３０７）。次に、フレームが表示ターゲットと一致するか否かを判定し（Ｓ３０３）、一致したときは、その画像を表示するようにフレームメモリ５２０ａに指示する（Ｓ３０８）。一方、フレームが表示ターゲットと一致しなかった場合、Ｓ３０１に戻り、次のフレームの処理を開始する。
【０１１４】
以上のように本実施形態では、各チャンネルの表示ターゲット候補について要到達枚数をそれぞれ算出し、この要到達枚数の差分に基づく評価指標が所定の閾値より小さい場合は、表示ターゲット候補を表示ターゲットとして決定する一方、そうでない場合は、表示ターゲット候補をキャンセルするようにした。これにより、チャンネル間の画面更新時刻の不揃いの原因となる、要到達枚数の差の大きなフレーム群が、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。
【０１１５】
なお、本実施形態では、表示ターゲットを決定するために、要到達枚数Ｆ’（ｘ）を用いたが、上述の実施形態２，３と同様に、要到達枚数Ｆ’（ｘ）を画像サイズ情報や符号化規格情報によって補正したものを用いてもよい。あるいは、上述の実施形態４と同様に、表示ターゲット候補に至るまでの全フレームの総符号量である要到達符号量Ｂ’（ｘ）を用いてもよいし、上述の実施形態５と同様に、表示ターゲット候補に至るまでの全フレームの総デコード時間である要到達時間Ｔ’（ｘ）を用いてもよい。これらのいずれの場合でも、チャンネル間の画面更新時刻の不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。
【０１１６】
（実施形態８）
図２４は本発明の実施形態８に係る動画像復号化装置の構成図である。図２４において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。
【０１１７】
上述の実施形態１では、各チャンネルのデコード処理は、別個の復号化部５１１ａ，５１１ｂによってそれぞれ実行された。これに対して本実施形態では、図２４に示すように、復号化部５１６を一系統のみ備えた構成とし、各チャンネルのデコード処理を時分割処理によって行うものとする。７００，７１０はスイッチであり、スイッチ７００は復号化部５１６の入力の切替を行い、スイッチ７１０は復号化部５１６の出力の切替を行う。制御部５６０は、復号化部５１６およびフレームメモリ５２０ａ，５２０ｂに加えて、スイッチ７００，７１０の制御も行う。
【０１１８】
すなわち、本発明における復号化部は、上述の各実施形態のように、各チャンネル毎に設けられた複数の復号化部によって構成されていてもよいし、本実施形態のように、単一の復号化部と入出力の切替を行うスイッチとの組み合わせによって構成されていてもよい。
【０１１９】
チャンネルＡ，Ｂの動画像のビットストリームは、それぞれバッファ５００ａ，５００ｂに格納される。各チャンネルのビットストリームは、スイッチ７００経由で復号化部５１６に供給され、復元された画像はスイッチ７１０経由でフレームメモリ５２０ａまたは５２０ｂに格納される。ここで、制御部５６０は、現在どちらのチャンネルをデコード中かを管理していて、スイッチ７００，７１０に対して、デコード処理を行っている側のビットストリーム及びフレームメモリを選択するように制御する。
【０１２０】
図２５は本実施形態におけるデコードの時分割処理を示す図である。図２５（Ａ）のような画像再生を実現する場合、図２５（Ｂ）のように、各チャンネルのデコード処理を、１フレーム単位で切り替えつつ行う。
【０１２１】
図２６は制御部５６０の基本動作となる制御フローである。実施形態１に係る図３（Ａ）の制御フローとの相違点は２つある。１つは、特殊再生モードが指示されたとき、表示ターゲットが出力されたか否かを判定するステップＳ８００が追加された点である。未出力の場合は表示ターゲット決定処理Ｓ２００をバイパスする。２つめは、通常再生と特殊再生のそれぞれにおいて、チャンネルＡの処理とチャンネルＢの処理が逐次に実行される点である。すなわち、特殊再生では、チャンネルＡの特殊再生処理Ｓ３００ａとチャンネルＢの特殊再生処理Ｓ３００ｂとが実行され、通常再生では、チャンネルＡの通常再生処理Ｓ４００ａとチャンネルＢの通常再生処理Ｓ４００ｂとが実行される。なお、チャンネルＡとチャンネルＢの処理の実行順は逆でもよい。また、チャンネル数が２よりも多い場合は、各チャンネルについてそれぞれ処理を実行すればよい。
【０１２２】
表示ターゲット決定処理Ｓ２００は、実施形態１に係る図３（Ｂ）と同様である。また、通常再生処理Ｓ４００ａ，Ｓ４００ｂは、基本的には実施形態１に係る図４（Ｂ）と同様であるが、通常再生処理Ｓ４００ａでは、スイッチ７００をバッファ５００ａ側、スイッチ７１０をフレームメモリ５２０ａ側に切り替える一方、通常再生処理Ｓ４００ｂでは、スイッチ７００をバッファ５００ｂ側、スイッチ７１０をフレームメモリ５２０ｂ側に切り替える。
【０１２３】
図２７は特殊再生処理Ｓ３００ａ，Ｓ３００ｂの詳細フローである。実施形態１に係る図４（Ａ）と異なるのは、処理Ｓ３０５，Ｓ３０６の後に、次のピクチャのヘッダ解析を行う処理Ｓ３０１に飛ぶのではなく、処理を終了する点である。また、特殊再生処理Ｓ３００ａでは、スイッチ７００をバッファ５００ａ側、スイッチ７１０をフレームメモリ５２０ａ側に切り替える一方、特殊再生処理Ｓ３００ｂでは、スイッチ７００をバッファ５００ｂ側、スイッチ７１０をフレームメモリ５２０ｂ側に切り替える。
【０１２４】
本実施形態によると、実施形態１と同様に、チャンネル間の画面更新時刻の不揃いの原因となる、要デコード枚数の差の大きなフレーム群が、表示ターゲットとして設定されないことになり、チャンネル間の画面更新の著しい不揃いが解消され、より自然な再生画像が得られるという効果を得ることができる。また、本実施形態では、通常多くの回路ブロックから構成される復号化部が１つだけで済むため、復号化装置の回路規模を小さくでき、したがって、復号化装置を低価格で提供できるというメリットを有する。ただし、デコードするチャンネルがｎチャンネルで同じ画像サイズの映像の場合、復号化部５１６はｎ倍速以上のデコード能力を有する必要がある。高いデコード能力を得るためには、一般的に、動作周波数が高くなる結果、消費電力が増大するというトレードオフの関係がある。
【０１２５】
なお、デコード処理を１フレーム単位で必ず他のチャンネルへ切り替えるのではなく、表示ターゲットが出力されたチャンネルの特殊再生処理については休止する代わりに、未出力のチャンネルの処理を優先して行うように、特殊再生処理Ｓ３００ａ、Ｓ３００ｂを構成してもよい。すなわち、図２５（Ｃ）に示すように、チャンネルＢのＰ４フレームについて、対となるチャンネルＡ側のＢ４フレームのデコード処理が完了して出力済みとなった場合、チャンネルＡ側には切り替えず、引き続きＰ４フレームが出力できるまで特殊再生処理を継続する。こうすることで、画面更新をより均すことができ、自然な再生画像が得られるというメリットが生じる。
【０１２６】
なお、本実施形態のような復号化部を１つのみ備えた構成は、実施形態１以外の実施形態２〜７にも適用可能であることはいうまでもない。
【０１２７】
なお、上述の各実施形態では、動画像のチャンネル数は２であるものとして説明を行ったが、３以上のチャンネルがあってもよい。この場合、要デコード枚数（要デコード符号量、要デコード時間、要到達枚数）の各チャンネル間の差分に基づく評価指標としては、例えば次のようなものを用いればよい。すなわち、要デコード枚数等を各チャンネルについて算出した後、その中の最大値と最小値との差分を、各チャンネル間の差分に基づく評価指標として用いる。あるいは、任意の２つのチャンネル間の差分の平均値を、各チャンネル間の差分に基づく評価指標として用いてもかまわない。
【０１２８】
また、上述の各実施形態では、動画像のビットストリームのデータはＭＰＥＧ２規格にて符号化されたものとして説明を行ったが、他の符号化規格、例えばＭＰＥＧ１規格、ＭＰＥＧ４規格、Ｈ．２６１規格、Ｈ．２６３規格、Ｈ．２６４規格、ＶＣ−１規格等に従った復号化処理を行う動画像復号化方法及び動画像復号化装置に適用できることは言うまでもない。ただし、上述の説明では、特殊再生時において現在デコード中のフレームが表示ターゲット以外のときにＢフレームを読み捨てる場合があったが、Ｈ．２６４規格のように符号化規格によっては、Ｂフレームでも一部の種類のものは参照される可能性がある。このため、そのような符号化規格の場合は、参照される可能性のあるＢフレームについては、読み捨てないように処理を変更する。
【０１２９】
また、上述の各実施形態における動画像のビットストリームは、画像データのみからなるものに限定されるものではなく、一例として、音声データ、テキストデータ、字幕データ、メニュー等のＧＵＩ用の静止画データといったような、画像データに付随するデータを含んだビットストリームについても、同様に適用できることは、もちろんである。
【０１３０】
また、上述の各実施形態では、特殊再生の一例として、逆スロー再生を例にとって説明したが、他の特殊再生、例えば、早送り再生、スロー再生、早戻し再生等にも同様に適用することができる。
【０１３１】
（電子機器への適用例１）
図２８は本発明に係る動画像復号化装置を有する電子機器の構成例を示すブロック図である。図２８に示すように、電子機器Ｃ１００は、本発明に係る動画像復号化装置Ｃ２０に加えて、ビットストリーム供給部Ｃ１０、画像出力部Ｃ３０、蓄積メディアＣ６０およびユーザー操作入力部Ｃ５０を有する。また、周辺装置として、ユーザー操作装置Ｃ４０と画像表示装置Ｃ７０とを有する。なお、蓄積メディアＣ６０は、電子機器Ｃ１００に外部から装着される場合もある。
【０１３２】
ここで、ビットストリーム供給部Ｃ１０は、ブルーレイやＤＶＤといった光ディスク等の蓄積メディアＣ６０に格納されたビットストリームを供給する。動画像復号化装置Ｃ２０は、ビットストリーム供給部Ｃ１０から入力されたビットストリームに対応した動画像を再生する。ユーザー操作装置Ｃ４０は、電子機器Ｃ１００の動作モードをユーザーが指示するためのものである。ユーザー操作部Ｃ５０は、ユーザー操作装置Ｃ４０の出力を受ける。画像出力部Ｃ３０は、動画像復号化装置Ｃ２０から再生された画像を外部に出力するものであり、ディスプレイなどの画像表示装置Ｃ７０とのインターフェースの機能を持つ。
【０１３３】
図２９は電子機器の一例としての光ディスク再生装置の外観図を示す。図２９の光ディスク再生装置は、ディスクに格納されたビットストリームを読み出すビットストリーム供給部としてのドライブ装置Ｕ１０や、再生された動画像を表示する画像表示装置としてのディスプレイＵ３０や、再生の開始・停止や特殊再生の指示を与える操作スイッチＵ４０を備える。
【０１３４】
なお、蓄積メディアＣ６０は、光ディスク以外、例えばメモリカード等であってもかまわない。ビットストリーム供給部Ｃ１０は、光ディスクドライブ以外、例えばメモリカードリーダ等であってもかまわない。ユーザー操作装置Ｃ４０は、例えば入力パネルやボタン、リモートコントロール送信器等であってもよい。画像出力部Ｃ３０は、例えばＮＴＳＣ，ＰＡＬ等のアナログビデオ出力のインターフェースやディジタルビデオインターフェース等であってもよい。画像表示装置Ｃ７０は、液晶ディスプレイ、ＰＤＰ、ＣＲＴ等であってもよい。
【０１３５】
（電子機器への適用例２）
図３０は本発明に係る動画像復号化装置を有する電子機器の構成例を示すブロック図である。図３０に示すように、電子機器Ｃ１１０は、蓄積メディアの代わりに、放送・ネットワークからビットストリームを受信する。ビットストリーム供給部Ｃ１０は例えば、ネットワーク入力インターフェースによって構成される。このような電子機器Ｃ１１０の例としては、ネットワークや放送からストリームを受信する携帯情報端末、携帯電話、セットトップボックス等が考えられる。
【０１３６】
なお、上述の適用例１，２において、ユーザー操作装置Ｃ４０と画像表示装置Ｃ７０は、電子機器Ｃ１００と一体に構成されていてもよいし、分離して構成されていて有線または無線で接続されていてもかまわない。
【０１３７】
なお、本発明を適用できる電子機器として、上に挙げた例以外にも、パソコンや、メモリカードやＨＤＤを利用してストリームを蓄積再生する装置等、種々の電子機器を考えることができる。
【産業上の利用可能性】
【０１３８】
本発明は、例えば、動画像の復号化および再生機能を有する集積回路やそのような集積回路を有する光ディスク再生装置、パソコンやメモリカードやＨＤＤなどのストリームを蓄積する装置やネットワークや放送からストリームを受信する携帯情報端末、携帯電話、セットトップボックスの装置に利用することが可能である。
【符号の説明】
【０１３９】
１５１，１５２，１５３，１５４，１５５，１７０，１８０，５６０  制御部
１６０  計時部
５０１ａ，５０１ｂ  バッファメモリ
５１１ａ，５１１ｂ，５１２ａ，５１２ｂ，５１３ａ，５１３ｂ，５１５ａ，５１５ｂ  復号化部
５１６  復号化部
５２０ａ，５２０ｂ  フレームメモリ
７００，７１０  スイッチ
Ｃ１０  ビットストリーム供給部
Ｃ２０  動画像復号化装置
Ｃ３０  画像出力部
Ｃ１００，Ｃ１１０  電子装置
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008132774.tif 000037
【図２】
2008132774.tif 000038
【図３】
2008132774.tif 000039
【図４】
2008132774.tif 000040
【図５】
2008132774.tif 000041
【図６】
2008132774.tif 000042
【図７】
2008132774.tif 000043
【図８】
2008132774.tif 000044
【図９】
2008132774.tif 000045
【図１０】
2008132774.tif 000046
【図１１】
2008132774.tif 000047
【図１２】
2008132774.tif 000048
【図１３】
2008132774.tif 000049
【図１４】
2008132774.tif 000050
【図１５】
2008132774.tif 000051
【図１６】
2008132774.tif 000052
【図１７】
2008132774.tif 000053
【図１８】
2008132774.tif 000054
【図１９】
2008132774.tif 000055
【図２０】
2008132774.tif 000056
【図２１】
2008132774.tif 000057
【図２２】
2008132774.tif 000058
【図２３】
2008132774.tif 000059
【図２４】
2008132774.tif 000060
【図２５】
2008132774.tif 000061
【図２６】
2008132774.tif 000062
【図２７】
2008132774.tif 000063
【図２８】
2008132774.tif 000064
【図２９】
2008132774.tif 000065
【図３０】
2008132774.tif 000066
【図３１】
2008132774.tif 000067
【図３２】
2008132774.tif 000068
【図３３】
2008132774.tif 000069
【図３４】
2008132774.tif 000070
【国際調査報告】
2008132774.tif 000071
2008132774.tif 000072
2008132774.tif 000073
2008132774.tif 000074