(57)【特許請求の範囲】
【請求項１】
圧縮された映像信号を再生する映像再生装置において、
記録媒体より読み出した映像信号からデコードするフレームを選択するフレーム選択部と、
選択されたフレームをデコードするデコード部と、
デコードされた複数のフレームを用いて超解像処理により高画質フレームを作成する超解像処理部と、
上記フレーム選択部と上記超解像処理部を制御する制御部とを備え、
該制御部は、再生モードが可変速再生であって、再生速度Ｖが当該装置のデコード処理能力で決まる閾値Ｖｔｈ以下の場合は、全てのフレームをデコードするとともに超解像処理を適用し、
再生速度Ｖが閾値Ｖｔｈを超える場合は、表示するフレームのみをデコードし超解像処理を適用しないことを特徴とする映像再生装置。
【請求項２】
圧縮された映像信号を再生する映像再生装置において、
記録媒体より読み出した映像信号からデコードするフレームを選択するフレーム選択部と、
選択されたフレームをデコードするデコード部と、
デコードされた複数のフレームを用いて超解像処理により高画質フレームを作成する超解像処理部と、
上記フレーム選択部と上記超解像処理部を制御する制御部とを備え、
該制御部は、再生モードがダイジェストシーンの再生である場合は、シーン開始直後のフレームについてはデコードをするが超解像処理を適用しないことを特徴とする映像再生装置。
【請求項３】
請求項２に記載の映像再生装置において、
前記超解像処理に用いるフレーム数をＮとするとき、前記ダイジェストシーンの再生においてシーン開始直後の（Ｎ−１）枚について超解像処理を適用しないことを特徴とする映像再生装置。
【請求項４】
圧縮された映像信号を再生する映像再生方法において、
記録媒体より読み出した映像信号からデコードするフレームを選択するステップと、
選択されたフレームをデコードするステップと、
デコードされた複数のフレームを用いて超解像処理により高画質フレームを作成するステップとを備え、
再生モードが可変速再生であって、再生速度Ｖがデコード処理能力で決まる閾値Ｖｔｈ以下の場合は、全てのフレームをデコードするとともに超解像処理を適用し、
再生速度Ｖが閾値Ｖｔｈを超える場合は、表示するフレームのみをデコードし超解像処理を適用しないことを特徴とする映像再生方法。
【請求項５】
圧縮された映像信号を再生する映像再生方法において、
記録媒体より読み出した映像信号からデコードするフレームを選択するステップと、
選択されたフレームをデコードするステップと、
デコードされた複数のフレームを用いて超解像処理により高画質フレームを作成するステップとを備え、
再生モードがダイジェストシーンの再生である場合は、シーン開始直後のフレームについてはデコードをするが超解像処理を適用しないことを特徴とする映像再生方法。
【請求項６】
請求項５に記載の映像再生方法において、
前記超解像処理に用いるフレーム数をＮとするとき、前記ダイジェストシーンの再生においてシーン開始直後の（Ｎ−１）枚について超解像処理を適用しないことを特徴とする映像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮された映像信号を高画質化して再生する映像再生装置及び映像再生方法に関するものである。
【背景技術】
【０００２】
近年のＤＶＤレコーダやＨＤＤレコーダでは、映像・音声信号はＭＰＥＧ方式などで圧縮符号化（エンコード）された状態で記録媒体に記録し、再生時はこれを復号化（デコード）して視聴する。そして、早送り・スロー再生などの特殊再生時は、再生速度に応じてデコード処理量が変動するので、装置の処理能力の範囲内で処理せねばならない。
【０００３】
特許文献１には、圧縮動画データを早送りでデコードする際の処理量を削減することを目的とし、早送りで再生する際の出力するピクチャを除く動画データ、または出力ピクチャとその参照ピクチャを除く動画データを削除してデコードする技術が開示される。
【０００４】
一方、複数の画像から高解像度の画像を生成する、いわゆる「超解像処理」技術が知られている。これは、複数のフレームを正確に位置合わせして１枚の画像を合成し、画素の微小なずれ（位相差）を利用して高精細化を実現するものである（例えば、特許文献２参照）。
【０００５】
【特許文献１】特開２００５−１９２０１３号公報
【特許文献２】特開平８−３３６０４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献２に示されるような超解像処理技術を上記ＤＶＤレコーダ等の再生において利用すれば、ユーザはより高画質な画像を視聴することができる。しかしながら、早送り・巻き戻しのような高速特殊再生時に適用する場合、装置のデコード能力が障害になる。なぜなら、早送りや巻き戻しで表示するＩピクチャに対して超解像を適用するためには、Ｉピクチャの直前の表示しない複数のフレームについてもデコードしておく必要があり、処理量が大幅に増加するからである。表示に用いないフレームまでデコードすることにより、処理回路の消費電力の増大にもつながる。
【０００７】
特許文献１の技術はデコード処理を削減するものであるが、出力するピクチャのみ（Ｉピクチャ）、あるいはデコードの際に参照するピクチャを加えてデコードすれば足りるので、装置への負荷はそれほど大きくならない。これに対して超解像処理を適用する場合は、デコード処理能力不足の問題は深刻となる。
【０００８】
本発明の目的は、特殊再生時のデコード処理負荷の増加を抑えつつ、高解像度の映像を提供することである。
【課題を解決するための手段】
【０００９】
本発明は、圧縮された映像信号を再生する映像再生装置であって、記録媒体より読み出した映像信号からデコードするフレームを選択するフレーム選択部と、選択されたフレームをデコードするデコード部と、デコードされた複数のフレームを用いて超解像処理により高画質フレームを作成する超解像処理部と、フレーム選択部と超解像処理部を制御する制御部とを備え、制御部は、再生モードに応じてデコードするフレームを選択させるとともに、デコードされたフレームに対する超解像処理の適用を制御する。
【００１０】
ここに前記制御部は、再生モードが通常再生、スロー再生、コマ送り再生のいずれかの場合は、全てのフレームをデコードするとともに超解像処理を適用し、再生モードが早送り再生又は巻き戻し再生の場合は、表示するフレームのみをデコードし超解像処理を適用しない。
【００１１】
ここに前記制御部は、再生モードが可変速再生であって、再生速度Ｖが当該装置のデコード処理能力で決まる閾値Ｖｔｈ以下の場合は、全てのフレームをデコードするとともに超解像処理を適用し、再生速度Ｖが閾値Ｖｔｈを超える場合は、表示するフレームのみをデコードし超解像処理を適用しない。
【００１２】
ここに前記制御部は、再生モードがダイジェストシーンの再生である場合は、シーン開始直後のフレームについてはデコードをするが超解像処理を適用しない。
【００１３】
本発明は、圧縮された映像信号を再生する映像再生方法であって、記録媒体より読み出した映像信号からデコードするフレームを選択するステップと、選択されたフレームをデコードするステップと、デコードされた複数のフレームを用いて超解像処理により高画質フレームを作成するステップとを備え、再生モードに応じてデコードするフレームを選択し、デコードされたフレームに対する超解像処理の適用を制御する。
【発明の効果】
【００１４】
本発明によれば、特殊再生時のデコード処理を安定に行うとともに、高解像度の映像を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を図面を用いて説明する。
【実施例１】
【００１６】
図１は、本発明にかかる映像再生装置の一実施例を示すブロック図である。ハードディスクや光ディスクなどの記録媒体１１には、圧縮映像データ（ストリーム）が記録保存されている。ここでは映像データはＭＰＥＧ−２方式にて符号化されているものとする。フレーム選択部１２は読み出した映像データから、再生モードに従い復号化（デコード）するフレームを選択する。映像デコード部１３は選択されたフレームをデコード処理する。超解像処理部１５はデコードされた複数の画像を用いて高解像度の画像を作成する。スイッチ１４は、映像デコード部１３からのデコード画像を、超解像処理部１５にて処理を実行するか否かを選択する。出力部１６は、超解像処理を施した画像信号、または超解像処理を行わないデコード画像を出力する。制御部１７は、指定された再生モードに応じて、フレーム選択部１２、スイッチ１４、超解像処理部１５を制御する。通常再生であれば全てのフレームに対して超解像処理を実行させるが、特殊再生（トリック再生）の場合は、表示に必要なフレームを選択し処理能力に応じてデコード及び超解像処理を実行する。このように本実施例の映像再生装置では、再生モードに応じて超解像処理の適用を制限する。なお、図１の構成では音声信号に対する処理を省略している。また再生機能部分のみを示したが、記録機能を合わせて備える記録再生装置であってもよいことは言うまでもない。
【００１７】
図２は、本実施例における各再生モードに対するデコード及び超解像処理の適用を示す図である。ここでは再生モードをグループ１，２，３に区分して説明する。なお圧縮映像データは、ＭＰＥＧ−２方式に従い、Ｉピクチャ（フレーム内符号化画像）、Ｐピクチャ（フレーム間順方向予測符号化画像）、Ｂピクチャ（双方向予測符号化画像）のフレームを組み合わせて構成される。
【００１８】
グループ１：通常再生時は、全てのフレームをデコードし、全てのフレームに対して超解像処理を適用する。スロー再生、コマ送り再生の場合も同様に処理する。
【００１９】
グループ２：早送り再生、巻き戻し再生の場合は、表示するフレーム（Ｉフレーム）のみをデコードする。この場合、全てのフレームをデコードすると処理量が非常に多くなりデコード部の能力が不足するから、フレームをスキップしてデコードする。また超解像処理については、画像合成に用いるフレームが欠落するので超解像処理を適用しない。
【００２０】
グループ３：可変速再生の場合は、その再生速度Ｖを閾値Ｖｔｈと比較して適用を決定する。この閾値Ｖｔｈはデコード部の処理能力（単位時間当たりの処理フレーム数）の上限値から決める。Ｖ≦Ｖｔｈであれば全フレームをデコードし、表示フレームについて超解像処理を適用する。Ｖ＞Ｖｔｈであれば表示フレーム（Ｉフレーム）のみをデコードし、超解像処理は適用しない。すなわち可変速再生では、高速になるとフレームの一部をスキップしてデコード・表示するため、超解像処理は行わない。
【００２１】
但し、Ｖ＞Ｖｔｈであっても超解像処理を適用できる場合がある。すなわち、スキップするフレーム数が少なく、表示フレームの超解像処理に用いる先行フレームを含めてデコード可能であれば、超解像処理を行うことができる。
【００２２】
図３は、再生速度とデコード処理量の関係を示す図であり、横軸は再生速度Ｖ、縦軸はデコード処理量Ｃである。通常再生の速度Ｖｏに対する処理量をＣｏ、処理能力の上限値Ｃｔｈに対する再生速度の閾値をＶｔｈで示す。領域（１）では再生速度Ｖが閾値Ｖｔｈ以下であり処理量は上限値Ｃｔｈ以下であるので、全フレームに対してデコード可能である（超解像処理を適用）。領域（２）では再生速度Ｖが閾値Ｖｔｈを超えて処理量が上限値Ｃｔｈを超えてしまうので、一部のフレームをスキップしてデコードする（超解像処理非適用）。領域（３）ではさらに再生速度Ｖが大きい場合で、フレームのスキップを大きくさせて処理量を上限値Ｃｔｈ以下に抑える。
【００２３】
上述したように、領域（２）において、一部のフレームをスキップしてデコードしても、超解像処理に用いる先行フレームがデコードされていれば超解像処理を適用することは可能である。これは、超解像処理に用いる画像の枚数Ｎが少ない場合（例えば２枚）が相当し、再生速度の閾値Ｖｔｈ’は上記の値Ｖｔｈよりも大きくなる。
【００２４】
図４は、本実施例の再生方法をフローチャートで示したものである。
ユーザにより再生モードが指示されると（Ｓ１０１）、記録媒体１１から所定量のデータを読み出す（Ｓ１０２）。フレーム選択部１２は、再生モードに応じて読み出したデータの中からデコードするフレームを選択する（Ｓ１０３）。映像デコード部１３は選択されたフレームに対してデコード処理を行う（Ｓ１０４）。次に再生モードの判定を行う（Ｓ１０５）。再生モードがグループ１（通常／スロー再生など）であれば、超解像処理を行い（Ｓ１０７）、映像出力する（Ｓ１０８）。再生モードがグループ２（早送り／巻き戻し）であれば、超解像処理を行わずに映像出力する（Ｓ１０８）。再生モードがグループ３（可変速再生）であれば、その再生速度Ｖを閾値Ｖｔｈと比較する（Ｓ１０６）。Ｖ≦Ｖｔｈであれば、表示フレームについて超解像処理を行い（Ｓ１０７）、映像出力する（Ｓ１０８）。Ｖ＞Ｖｔｈであれば、超解像処理を行わずに映像出力する（Ｓ１０８）。対象となるデータを全て再生して処理を終了する（Ｓ１０９）。
【００２５】
図５は、超解像処理部１５にて行う超解像処理の原理を説明する図である。まず、入力する複数枚（ここでは２枚）の低解像画像フレーム５１，５２について、小数精度で位置合わせを行う。位置合わせは、回転や拡大・縮小などの動きも考慮する。こうして標本化位置が整数画素位置からずれた１枚の合成画像５３を生成した後、目的とする解像度で再度サンプリングしなおして高精細画像５４を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法、あるいは、点広がり関数の逆関数を適用するなどの方法で周辺画素の影響を畳み込みながら、画素値を決定するものである。なお、画像合成に用いる先行するフレームを補助フレーム（補助画像）と呼ぶ。ここではフレーム５１が補助フレームに相当する。
【００２６】
以下、各再生モードにおけるフレーム列に対するデコード処理と超解像処理について具体的に説明する。なお、ここでの超解像処理は、自己フレームと直前の２枚の補助フレームから高解像度の画像を合成する場合とする。
【００２７】
図６は、通常再生時のフレーム処理を示す図である。図中のＩ，Ｐ，ＢはそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャのフレームを示し、数字はフレームの入力順に付している。入力するフレーム列に対して（ａ）はデコード処理を行うフレーム（実線の枠）、（ｂ）はフレームの表示順、（ｃ）は超解像処理を行うフレーム（枠内をドットで表示）を示す。
【００２８】
通常再生時の場合は、全てのフレームに対してデコード処理を行う。そして、全てのフレームに対して超解像処理を行う。例えばＩ１フレームの超解像処理では、直前のフレームＢ３とＢ４を補助画像として利用する。超解像処理後のフレームは表示レートに従い出力される。
【００２９】
通常再生処理の場合は、表示フレームを更新する毎に１枚のフレームをデコード処理すればよい。さらに、スロー再生やコマ送り再生では、表示フレームの更新間隔がより長くなるので、デコード処理量は減少し処理能力不足が問題になることはない。
【００３０】
図７は、早送り再生時のフレーム処理を示す図である。この場合、（ａ）のデコード処理は、表示するＩフレーム（Ｉ１，Ｉ１３，・・・）のみとし、（ｃ）の超解像処理は行わない。そして、デコードしたＩフレーム（Ｉ１，Ｉ１３，・・・）のみを表示する。この場合の再生速度は、通常再生の１２倍速となる。
【００３１】
ここで、早送り再生において超解像処理を適用した場合を仮定する。（ｃ）の超解像処理においてＩ１フレームを合成する際、直前のフレームＢ３，Ｂ４の補助画像を利用する。よって（ａ）のデコード処理において、フレームＢ３，Ｂ４をデコード処理しておく必要がある（一点鎖線で示す）。その結果、表示フレームの更新間隔（Ｉ１からＩ１３まで）に対して、Ｉ１，Ｂ３，Ｂ４の３枚のフレームをデコード処理することになり、またＢ３，Ｂ４をデコードするためには参照画像としてＩ１とその前のＩまたはＰフレームをデコード処理する必要があるので、処理量は通常再生時の４倍以上に増大してしまう。これに対する装置の処理能力が不足する場合、再生処理が破綻してしまう。
【００３２】
そこで、超解像処理を非適用にすることで、再生動作を安定に実行させることができる。巻き戻し再生の場合は再生方向が逆転するだけで、他の動作は同様である。
【００３３】
図８は、可変速再生時のフレーム処理を示す図である。ここでは再生速度が通常再生の２倍速である場合を示す。（ａ）のデコード処理は全フレームに対して行い、（ｃ）の超解像処理は表示するフレーム、すなわちフレーム１枚おき（Ｂ３，Ｉ１，Ｂ７，・・・）に行う。
【００３４】
この場合、表示フレームの更新間隔に対して、新たに２枚のフレームをデコードすればよい。すなわち処理量は通常再生時の２倍に増大するが、装置の処理能力が足りればデコード処理と超解像処理を行っても破綻することはない。
【００３５】
上記実施例によれば、再生モードに応じて超解像処理の適用／非適用を制御するので、デコード処理量が過剰になり再生動作が破綻することを防止できる。また可変速再生時には、再生速度を処理能力で決まる閾値と比較して適用／非適用の制御を行うので、装置の能力に応じて高解像度の画像を効率よく提供することができる。
【実施例２】
【００３６】
次に、本発明の映像再生装置をビデオダイジェスト再生に適用した一例を説明する。
図９は、ビデオダイジェスト再生を説明する図である。記録した一連の映像・音声情報について、重要となるシーン（ダイジェストシーン、ハイライトシーンなどと呼ばれる）９１，９２，９３を抽出しておく。ダイジェストシーン抽出のために、例えば映像信号の輝度の変化や音声レベルの大きさなどから、番組等の中で盛り上がりの大きいシーンを自動的に検出する。抽出したシーンには、ダイジェストシーンであることを示すラベル等を貼り付けておく。そしてダイジェスト再生では、ダイジェストシーン９１，９２，９３の部分を順次再生することで、ユーザは重要なシーンのみを短時間で視聴することができる。このダイジェスト再生においても、超解像処理を適用することができる。
【００３７】
図１０は、ダイジェスト再生において超解像処理を適用するためのフレーム処理の一例を示す図である。ダイジェストシーンを構成する全てのフレームに対して超解像処理を適用すると、デコード処理の負担が増大する。本実施例はこの負担を軽減させるものである。（ａ）はデコード処理を行うフレーム、（ｂ）はフレーム表示順、（ｃ）は超解像処理を行うフレームを示す。ここでは、ダイジェストシーンがフレームＩ１から開始しているものとする。また超解像処理を行うために、直前の２枚の補助フレームを利用するものとする。
【００３８】
（ｃ）においてシーン開始部分Ｉ１の超解像処理を行うには、補助画像としてフレームＢ３とＢ４のデコード画像を必要とする。またフレームＢ６の超解像処理を行うには、補助画像としてフレームＢ４とＩ１のデコード画像を必要とする。またＢ３，Ｂ４をデコードするためには、参照画像としてＩ１とその前のＩまたはＰフレームをデコード処理する必要がある。そのため、フレームＩ１に対しては４フレーム分以上のデコード処理が、フレームＢ６に対しては３フレーム分以上のデコード処理が必要になる。その後は、１フレーム分のデコード処理で足りる。このようにシーンの開始時点でのデコード処理量が増大し、装置の処理能力が不足すると再生画像が乱れる原因となる。
【００３９】
本実施例ではこれを防止するため、シーン開始直後のフレームについてはデコード処理は行うものの超解像処理を適用しないようにする。具体的には、シーン開始直後の２枚のフレームについて超解像処理なしのフレームを出力し、３枚目のフレームＢ７から超解像処理を適用したフレームを出力する。超解像処理の非適用期間は、超解像処理に用いるフレーム数Ｎに依存する。好ましくは、超解像処理を停止するフレーム数は、シーン開始直後の（Ｎ−１）枚とすればよい。これによりデコード処理が増大することがなく、ダイジェストシーンの再生動作を安定化させることができる。
【図面の簡単な説明】
【００４０】
【図１】本発明にかかる映像再生装置の一実施例を示すブロック図。
【図２】各再生モードに対するデコード及び超解像処理の適用を示す図。
【図３】再生速度とデコード処理量の関係を示す図。
【図４】本実施例の再生方法を示すフローチャート。
【図５】超解像処理の原理を説明する図。
【図６】通常再生時のフレーム処理を示す図。
【図７】早送り再生時のフレーム処理を示す図。
【図８】可変速再生時のフレーム処理を示す図。
【図９】ビデオダイジェスト再生を説明する図。
【図１０】ダイジェスト再生におけるフレーム処理を示す図。
【符号の説明】
【００４１】
１１…記録媒体
１２…フレーム選択部
１３…映像デコード部
１４…スイッチ
１５…超解像処理部
１６…出力部
１７…制御部。
【図１】
0004834636.tif 000002
【図２】
0004834636.tif 000003
【図３】
0004834636.tif 000004
【図４】
0004834636.tif 000005
【図５】
0004834636.tif 000006
【図６】
0004834636.tif 000007
【図７】
0004834636.tif 000008
【図８】
0004834636.tif 000009
【図９】
0004834636.tif 000010
【図１０】
0004834636.tif 000011