(57)【要約】【課題】処理負荷の高い圧縮方式のストリームは、処理能力の低い演算装置では再生できないことがある。あるいはフレームレートが低くなりすぎて円滑に再生できないこと。【解決手段】演算処理能力判定手段１００と、ストリーム入力手段１０１と、取り込み映像／音声分離手段１０２と、映像復元手段１１０と、映像復元手段の内部手段の一部として、時間方向間引き手段１０３および空間内間引き手段１０４と、音声復元手段１０５と、映像／音声表示手段１０６とを備え、片フィールド間引き手段２５０と空間内歪除去手段２５１とで空間内間引き手段１０４を構成することにより、演算装置の処理能力に応じて空間内の処理負荷を段階的に軽減する組合せを採用することが可能となり、フレームレートの低下を抑えてより円滑な再生装置を提供することが可能となる。【選択図】図３
2007288559.tif 000002
【特許請求の範囲】
【請求項１】
入力されたストリームを圧縮された映像と音声のストリームに分離するＡｕｄｉｏ／Ｖｉｄｅｏ分離ステップと、
圧縮された映像のストリームを復元する映像復元ステップと、
圧縮された音声のストリームを復元する音声復元ステップと、
復元された映像と音声のストリームを、同期をとって表示する映像／音声表示ステップとを有し、
前記映像復元ステップは、時間軸方向のデータを省略するための時間方向間引きステップと
同一時間のフレーム内のデータを省略するための空間方向間引きステップとを有する再生方法。
【請求項２】
前記時間方向間引きステップはＩＰＢ再生、ＩＰ再生、Ｉ再生を切り替えることを特徴とする、請求項１に記載の再生方法。
【請求項３】
前記空間方向間引きステップは片フィールド間引きと空間内歪除去の要・不要、あるいはその組合せを切り替えることを特徴とする、請求項１に記載の再生方法。
【請求項４】
入力されたストリームを圧縮された映像と音声のストリームに分離するＡｕｄｉｏ／Ｖｉｄｅｏ分離手段と、
圧縮された映像のストリームを復元する映像復元手段と、
圧縮された音声のストリームを復元する音声復元手段と、
復元された映像と音声のストリームを、同期をとって表示する映像／音声表示手段とを備え、
前記映像復元手段は、時間軸方向のデータを省略するための時間方向間引き手段と
同一時間のフレーム内のデータを省略するための空間方向間引き手段とを備えた再生装置。
【請求項５】
前記時間方向間引き手段はＩＰＢ再生、ＩＰ再生、Ｉ再生を切り替えることを特徴とする、請求項４に記載の再生装置。
【請求項６】
前記空間方向間引き手段は片フィールド間引き手段と空間内歪除去手段の要・不要、あるいはその組合せを切り替えることを特徴とする、請求項４に記載の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ復元装置、デコーダ、デジタル映像及び画像データ復元方法及び装置に関するものである。
【背景技術】
【０００２】
従来の復元ディジタル・ビデオ信号を生成する方法および再生装置は、本特許と目的を同じくしており、使用されるプラットフォームの処理能力に応じて選択的に映像の復元装置の設定を変更しうるディジタル・ビデオ・シーケンスの復元システムを実現することである（例えば、特許文献１参照）。
【０００３】
図４において圧縮動画ストリームを入力される制御器２０１は、フレームレートを初期設定されている映像復元手段２１０に供給される。その映像復元手段の出力がモニタされて、映像復元手段が適正なタイミングで復元映像ストリームの出力を生成しているかどうかが判断される。次いで、映像復元手段２１０が適正なタイミングで復元映像ストリームの出力を生成していない場合は、その制御器からの設定フレームレートの指示によって映像復元手段２１０を構成する時間方向間引き手段２０２によって入力ストリームの中の少なくとも１つのフレームをその出力ストリームから省き、復元映像ストリームが調整される。その際、省かれた１つ以上のフレームのフレーム消失値（数）が算出され、そのフレーム消失値に応じて設定フレームレートが回帰的に調整される。
【特許文献１】特許第２９０４５８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来の構成では、処理能力に応じてフレームレートを減らす方向に変化させて調整を行うのみの方法なので、例えばＨ．２６４といった処理負荷が非常に大きい圧縮方式のストリームを処理能力の低い演算装置で再生するような場合、フレーム消失値が大きくなり過ぎて再生すること自体ができなくなったり、復元映像ストリームのフレームレートが低くなりすぎて滑らかな再生ができないという課題を有していた。
【０００５】
本発明は、前記従来の課題を解決するもので、多少の画質の劣化が発生するが処理負荷を低減することが可能なフレーム内の復元処理の一部を演算装置の処理能力に応じて間引くことにより、処理負荷高い圧縮方式のストリームを、処理能力の低い演算装置でも再生可能とする、あるいはより高いフレームレートで円滑に再生可能とする方法およびその再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記従来の課題を解決するために、本発明の再生方法及び装置は、演算処理能力判定手段を有し、映像復元手段として時間方向間引き手段と共に空間内間引き手段を有し、空間内の処理の間引きと時間方向の間引きの双方の手段を利用可能な構成とする。本構成によって、演算装置の処理能力に応じて空間内の復元処理で行われる一部処理を省略することが可能となるために演算処理が軽減され、この処理の軽減によって時間方向の間引きの度合いを低減してより円滑な再生が可能となる。
【０００７】
また、本発明の再生方法及び装置は、時間方向の間引きとして全種類のフレームを再生する手段であるＩＰＢ再生手段、双方向参照をするフレームのみをスキップするＩＰ再生手段、参照フレームを全てスキップするＩ再生手段の切り替えとし、映像復元手段内のフレームレートの低下処理を簡潔にする構成とする。本構成によって、単純な演算装置の処理能力だけの判定により時間方向の間引きを簡単に決定することが可能となる。
【０００８】
更に、本発明の再生方法及び装置は、空間内の間引きとしてフレームの復元時にフレームを構成する奇数フィールド、偶数フィールドの方フィールドだけを利用することにより処理を低減する片フィールド間引き手段や、空間内のブロック単位の境界に出現する復元歪を除去するような空間内歪除去手段を省略する経路を設ける構成とする。本構成によって、演算装置の処理能力に応じて空間内の処理負荷を段階的に軽減する組合せを採用することが可能となり、フレームレートの低下を抑えてより円滑な再生装置を提供することが可能となる。
【発明の効果】
【０００９】
本発明の画質とフレームレートを低下させる方法およびその再生装置によれば、従来はフレームの消失数が大きくなり過ぎて再生すること自体ができなかったり、復元映像ストリームのフレームレートが低くなりすぎて滑らかな再生ができなかったようなストリームデータやあるいは処理負荷の高い圧縮方式により圧縮されたストリームであっても、従来より処理能力の低い演算装置でも再生可能としたり、あるいは同じ処理能力の場合は従来より高いフレームレートで再生可能とすることができる。
【発明を実施するための最良の形態】
【００１０】
以下本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１における処理能力に応じて画質とフレームレートを低下させる再生装置のブロック図である。図１において、演算処理能力判定手段１００は、演算装置の処理能力を調べてその処理能力に応じた間引き情報を生成する手段である。ストリーム入力手段１０１は例えば３０フレーム／秒の圧縮動画ストリーム２０を本装置に取り込み映像／音声分離手段１０２に送ると同時にストリーム情報５を前記演算処理能力判定手段に送る。前記取り込み映像／音声分離手段１０２は、圧縮動画ストリーム２０を分離して圧縮映像ストリーム３０と圧縮音声ストリーム４０に分けて同期情報を付加して出力する。前記圧縮映像ストリーム３０は、映像復元手段１１０に入力され圧縮されたデータを復元されて復元映像ストリーム５０として出力する。前記映像復元手段１１０は内部手段の一部として、時間方向間引き手段１０３でフレームレートを低減した復元途中映像ストリーム３５を生成し、復元途中映像ストリーム３５が空間内間引き手段１０４に入力されてフレーム単位での復元処理時に処理の一部を軽減できる構成となっている。音声復元手段１０５は前記圧縮音声ストリーム４０を復元して復元音声ストリーム５０として出力するものであり、映像／音声表示手段１０５は、このように復元された復元映像ストリーム５０と復元音声ストリーム４０を視覚的に見え、聴覚的に聞こえる状態を提供する。
【００１２】
次に動作について説明する。例えば、ＭＩＰＳ値１０００の演算装置ＡとＭＩＰＳ値４０００の演算装置Ｂがある場合、これらの装置を利用してＭＩＰＳ換算で３５００の処理が必要となる例えばＨ．２６４形式で圧縮された３０フレーム／秒で８Ｍビット／秒のストリームデータを再生する場合を考える。ストリーム入力手段１０１では、例えばＨ．２６４のエレメンタリビデオストリームを圧縮映像ストリームとして内包したＭＰＥＧ２−ＴＳの動画ストリームが入力され、例えば元のストリームの圧縮形式であるＨ．２６４、圧縮率である８Ｍｂｐｓ、解像度である７２０ｘ４８０といった情報をストリーム情報として演算処理能力判定手段１００に送ると同時に、圧縮映像ストリームを映像／音声分離手段１０２に送出する。演算処理能力判定手段１００では、入力されたストリーム情報から、例えば内部で保持している演算処理量変換表に基づいて入力されたストリームはＭＩＰＳ値３５００相当のストリームであると判定する。同時に再生機器に搭載されている演算装置の情報も取得し、例えば演算装置Ｂが搭載されていることが判別され、例えば内部に保持されている演算装置の処理能力表に基づいて処理能力はＭＩＰＳ値で４０００であると判定する。演算処理能力判定手段では、演算装置Ｂの処理能力では入力されたストリームの処理負荷に対して１０％以上の余裕があり、十分再生能力があるためそのまま再生しても問題がないと判定し、その結果間引き情報１０としては「間引き処理無し」を映像復元手段１１０に送る。「間引き処理無し」の間引き情報を取得した映像復元手段１１０では、時間方向間引き手段１０３も空間内間引き手段１０４も特に間引き処理をせずに通常の復元処理をするように指示して復元映像ストリーム５０が生成される。一方、前記演算処理能力判定手段１００で、例えば入力ストリームの処理量がＭＩＰＳ値で３５００あり、かつ演算装置Ａが搭載されていることが判明し、処理能力がＭＩＰＳ値で１０００であると判定された場合、処理を約１／４に間引きしないと旨く再生できないため間引き情報１０として「１／４」を映像復元手段１１０に送る。「１／４」の間引き情報を取得した映像復元手段１１０では、まず空間内間引き手段１０４に対して最大の空間内の間引き処理を指示し、その結果例えばストリーム処理量を１／２に軽減できるようになる。次に時間方向間引き手段にも１／２の時間方向の間引きを指示し、結果として例えば３０ｆｐｓを１５ｆｐｓにフレームスキップさせて処理を軽減させる。映像／音声表示手段では前記映像復元手段からの復元映像ストリーム５０と、圧縮音声ストリーム４０を音声復元手段１０５によって復元した復元音声ストリーム６０を例えば液晶表示装置とスピーカから同期があうように再生する。
【００１３】
このように、一例として取り上げた演算装置の処理能力の４倍の処理量が発生する圧縮動画ストリームの再生において、従来の技術では３０ｆｐｓの１／４で約７ｆｐｓでしか再生できなかったが、本発明のように空間内間引き手段と併用して処理を軽減できる構成とすることにより、１５ｆｐｓでの再生が可能となり、より動きの滑らかな再生をすることができる。
【００１４】
なお、本実施の形態において、演算装置の処理能力を調べてその処理能力に応じた間引き情報を生成する手段として演算処理能力判定手段１００を設けたが、復元映像ストリームや復元音声ストリームの状況を調べてその結果をフィードバックする構成としたり、刻々と変化する演算処理の増加・減少傾向から将来の演算量を予測し、それに基づいて間引き情報を変化させる構成としても良い。
【００１５】
また、本実施例では、時間方向間引き手段のあとに空間内間引き手段を配置しているが、この順序を逆にして空間内間引き手段のあとに時間方向間引き手段を配置したり、空間内間引き手段と時間方向間引き手段を併行して処理をしたり、空間内間引き手段の異なる間引き手段を時間方向間引き手段の前後にそれぞれは位置したり、空間内間引き手段だけとする構成としてもよい。
【００１６】
（実施の形態２）
図２は、本発明の実施の形態２における処理能力に応じて画質とフレームレートを低下させる再生装置のブロック図である。図２において、図１および図３と同じ構成要素については同じ符号を用い、説明を省略する。図２において映像復元手段１１０は、ＩＰＢ再生手段１５０とＩＰ再生手段１５１とＩ再生手段１５２とで時間方向間引き手段１０３を構成している。ＩＰＢ再生手段１５０は例えばＭＰＥＧやＨ．２６４のような圧縮映像ストリームの場合に、フレーム内予測のみのＩピクチャタイプ、１つの参照ピクチャを利用するＰピクチャタイプ、一つ以上の参照ピクチャを利用するＢピクチャタイプの全ての種類のピクチャの再生をする手段であり、この手段を利用する場合はフレームレートの低下をさせることなく再生ができる。ＩＰ再生手段１５１は、Ｂピクチャの再生をスキップする再生手段であり、例えばＧＯＰ内のピクチャ数をＮ、ＧＯＰ内のＩ，Ｐピクチャ間隔をＭとした場合、ＩＰ再生手段ではフレームレートが１／Ｍに低下させる。同じくＩ再生手段１５２は、Ｉフレームのみを再生する手段であり、前記ＧＯＰ構成の場合フレームレートは１／Ｍに低下させる。このように本構成では入力されたストリームが例えばＭＰＥＧやＨ．２６４のようなＧＯＰ構成を持つストリームである場合、そのＧＯＰ構成をストリーム情報５として同時に取得することで演算処理能力判定手段１００からの間引き情報１１にＧＯＰ情報も内包し、時間方向間引き手段では、空間間引き後に必要となる処理の軽減量に応じて、間引き情報１１のＧＯＰ情報からどの再生手段を選択するだけで複雑なフレームのスキップ制御をすることなく、フレームスキップを実現することができる。（省略  以下、実施の形態１の記載方法と同様とする）
（実施の形態３）
図３は、本発明の実施の形態３における処理能力に応じて画質とフレームレートを低下させる再生装置のブロック図である。図３において、図１および図２と同じ構成要素については同じ符号を用い、説明を省略する。
【００１７】
図３において映像復元手段１１０は、片フィールド間引き手段２５０と空間内歪除去手段２５１とで空間内間引き手段１０４を構成している。例えばＭＰＥＧやＨ．２６４のような圧縮映像ストリームの場合は、通常７２０ｘ２４０ドットの奇数フィールドと７２０ｘ２４０ドットの偶数フィールドの２つのフィールドをそれぞれ復元処理してから７２０ｘ４８０ドットのフレームを構成する。片フィールド間引き手段２５０は、例えば７２０ｘ４８０のフレームの映像を復元する際に奇数フィールドの７２０ｘ２４０ドットのデータだけを利用して７２０ｘ２４０の映像を復元し、この奇数フィールドをそのまま偶数フィールドとして複写して７２０ｘ４８０ドットのフレームを構成する。このように片フィールドだけを利用することで空間内の復元に要する演算量を半減させることができる。空間内歪除去手段２５１は、例えばＨ．２６４のような圧縮映像ストリームの場合は、整数変換のブロック境界を平滑化してブロックノイズの発生を抑制するデブロッキングフィルターのように空間内の歪を除去するための手段であり、この手段により画質の改善を計ることを目的とし、この手段をスキップする映像の復元ができなくなる手段ではない。なお、本実施の形態において、片フィールド間引き手段２５０では片方のフィールドから復元した７２０ｘ２４０の映像を他方に複写して結果として７２０ｘ４８０のデータを作成したが、復元された７２０ｘ２４０のデータの横方向も１／２に間引いて３６０ｘ２４０の復元映像ストリームを作成する構成とすることで更に処理量を軽減する構成としても良い。
【００１８】
このように本構成では映像復元手段１１０に入力されたストリームから復元されて出力される復元映像ストリーム５０の画質の劣化は伴うが、演算量を軽減できるような手段を複数備え、その手段の組合せによって画質の劣化と演算量の低減を選択できるような空間内間引き手段となる。
【００１９】
なお、本実施の形態において、空間内間引き手段の構成として、片フィールド間引き手段と空間内歪除去手段を例示して説明をしたが、例えば７２０ｘ４８０のドットを３６０ｘ２４０ドットにリサイズするようなリサイズ手段を加える構成としても良い。
【産業上の利用可能性】
【００２０】
本発明にかかる処理能力に応じて画質とフレームレートを低下させる方法およびその再生装置は、従来より処理能力の低い演算装置での再生や、あるいは従来より高いフレームレートでの再生が可能になるので、画像データ復元装置、デコーダ、デジタル映像及び画像データ復元方法等として有用である。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態１における処理能力に応じて画質とフレームレートを低下させる再生装置の図
【図２】本発明の実施の形態２における処理能力に応じて画質とフレームレートを低下させる再生装置の図
【図３】本発明の実施の形態３における処理能力に応じて画質とフレームレートを低下させる再生装置の図
【図４】従来の処理能力に応じてフレームレートを低下させる再生装置の図
【符号の説明】
【００２２】
１００    演算処理能力判定手段
１０１    ストリーム入力手段
１０２    映像／音声分離手段
１０３    時間方向間引き手段
１０４    空間内間引き手段
１０５    音声復元手段
１０６    映像／音声表示手段
１１０    映像復元手段
１５０    ＩＰＢ再生手段
１５１    ＩＰ再生手段
１５２    Ｉ再生手段
２０１    制御器
２０２    時間方向間引き手段
２０３    フレームバッファ
２１０    映像復元手段
２５０    片フィールド間引き手段
２５１    空間内歪除去手段
５    ストリーム情報
１０    間引き情報
１１    間引き情報
２０    圧縮動画ストリーム
３０    圧縮映像ストリーム
３５    復元途中映像ストリーム
４０    圧縮音声ストリーム
５０    復元映像ストリーム
６０    復元音声ストリーム
【図１】
2007288559.tif 000003
【図２】
2007288559.tif 000004
【図３】
2007288559.tif 000005
【図４】
2007288559.tif 000006