(57)【要約】【課題】プロセッサへの負荷を低減して低消費電力化でき、人間の知覚能力では十分に高画質と認識できるフレーム補間を行う。【解決手段】非同期IDR検出部１２０がシーンチェンジの発生を検出し、フレーム補間処理制御部１３０が、シーンチェンジの場合に人間の目では画質の優劣を認識しにくいことや、高画質な補間フレームを生成できないことに着目し、シーンチェンジしたフレーム（非周期IDRフレーム）を検出した場合（フレーム補間の必要性が低い場合）には、その前後において、簡略化した処理で補間フレームを生成し、それ以外の場合（フレーム補間の必要性が高い場合）には、高画質な補間フレームを生成するように、フレーム補間部１４０を制御するようにしたものである。【選択図】      図２
2010136292.tif 000002
【特許請求の範囲】
【請求項１】
符号化された複数の動画像フレームおよび各符号化された動画像フレームを復号する際に参照される符号化情報とからなるデータを受信する受信手段と、
前記受信手段によって受信したデータを復号し、複数の動画像フレームと符号化情報を抽出する復号手段と、
前記復号手段が抽出した複数の時間的に連続する動画像フレームの間に挿入する補間フレームを生成する補間フレーム生成手段と、
前記復号手段で抽出した符号化情報に基づいて、特定の動画像フレームを検出する検出手段とを備え、
前記補間フレーム生成手段は、前記検出手段が特定の動画像フレームを検出した場合は、検出された特定の動画像フレームとこの特定の動画像フレームの１つ前の動画像フレームとの間に挿入される補間フレームを、検出された特定の動画像フレームまたは１つ前の動画像フレームを複製することで生成し、前記検出手段が特定の動画像フレームを検出しない場合は、特定の動画像フレームと検出されなかった動画像フレームと、この動画像フレームの１つ前の動画像フレームとの間に挿入される補間フレームを、この補間フレームを構成するブロック単位で求めた動きベクトルに基づいて生成することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、非周期的なＩＤＲフレームを検出した場合に前記特定の動画像フレームであると判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補間フレーム生成手段は、前記検出手段によって特定の動画像フレームでないことが検出された場合、前記動きベクトルを、前記補間フレームを構成するブロックであって、かつ動きベクトルを求めるブロックに隣接するブロックに対して既に求められている動きベクトルに基づいて求めることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記補間フレーム生成手段は、前記検出手段によって特定の動画像フレームでないことが検出された場合、補間フレームを構成するブロックの動きベクトルを、この補間フレームの前または後に存在する復号された動画像フレームを構成し、前記動きベクトルを求める保管フレームを構成するブロックと同じ位置にあるブロックの動きベクトルとすることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像の品質を改善する画像処理装置に関する。
【背景技術】
【０００２】
周知のように、単位時間当たりの表示フレーム数を増加させるフレーム補間技術がある。このフレーム補間技術は、入力信号である動画像フレームからそれらフレーム間に存在するであろうフレームを予測して内挿することで、単位時間当たりの表示フレーム数を増加させるものであり、このフレーム補間によってフレーム間のつながりが滑らかになるだけでなく、表示のボケ感がなくなるなどの利点が得られる。
【０００３】
また、フレーム間差分や符号化情報（動きベクトルやピクチャタイプや符号化タイプ）などを用いてシーンチェンジ検出を行い、シーンチェンジの際には、フレーム補間をスキップする技術が提案されている（例えば、特許文献１）。この手法では、イントラマクロブロックの頻度情報に基づいてシーンチェンジを検出するため、シーンチェンジを誤検出することがある。しかし、再帰的なフレーム補間技術を採用する場合は、誤ってシーンチェンジを検出してフレーム補間をスキップすると、前補間フレームに割り当てられるべき動き情報が生成されず、次補間フレームの画質が劣化する。
【０００４】
また、フレーム補間技術には、多くの信号処理を必要とする。携帯電話などの携帯型電子機器では、プロセッサの処理能力が限られるので、フレーム補間は、プロセッサに多大な負荷を与えることになる。そしてまた携帯型電子機器は、バッテリで駆動するため、使用できる電力が限られており、フレーム補間を行う場合、消費電力が増大して運用時間が短縮してしまうという問題がある。
【特許文献１】特開２００４−１１２２２９
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のフレーム補間を行う画像処理装置では、シーンチェンジを誤検出することがあり、画質を劣化させていた。またフレーム補間のためにプロセッサに与える負荷が小さくなく、また消費電力も大きいという問題があった。  
この発明は上記の問題を解決すべくなされたもので、プロセッサへの負荷を軽減し、低消費電力で、人間の知覚能力で十分に高画質と認識できるフレーム補間を行うことが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、この発明は、符号化された複数の動画像フレームおよび各符号化された動画像フレームを復号する際に参照される符号化情報とからなるデータを受信する受信手段と、受信手段によって受信したデータを復号し、複数の動画像フレームと符号化情報を抽出する復号手段と、復号手段が抽出した複数の時間的に連続する動画像フレームの間に挿入する補間フレームを生成する補間フレーム生成手段と、復号手段で抽出した符号化情報に基づいて、特定の動画像フレームを検出する検出手段とを備え、補間フレーム生成手段は、検出手段が特定の動画像フレームを検出した場合は、検出された特定の動画像フレームとこの特定の動画像フレームの１つ前の動画像フレームとの間に挿入される補間フレームを、検出された特定の動画像フレームまたは１つ前の動画像フレームを複製することで生成し、検出手段が特定の動画像フレームを検出しない場合は、特定の動画像フレームと検出されなかった動画像フレームと、この動画像フレームの１つ前の動画像フレームとの間に挿入される補間フレームを、この補間フレームを構成するブロック単位で求めた動きベクトルに基づいて生成するようにしたことを特徴とする。
【発明の効果】
【０００７】
以上述べたように、この発明では、符号化データを復号して得られる符号化情報に基づいて、フレーム補間の必要性を判定し、この判定結果に応じた予測精度の補間フレームを生成するようにしている。
【０００８】
したがって、この発明によれば、フレーム補間の必要性が低い場合には、処理負荷が小さい予測精度の低い補間フレームを生成し、一方、フレーム補間の必要性が高い場合には、処理負荷が大きく予測精度の高い補間フレームを生成することができるので、処理全体として、プロセッサへの負荷を軽減し、低消費電力で、人間の知覚能力で十分に高画質と認識できるフレーム補間を行うことが可能な画像処理装置を提供できる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して、この発明の一実施形態について説明する。  
図１は、この発明の一実施形態に係わる画像処理装置を適用した移動無線端末装置の構成を示すブロック図である。この移動無線端末装置は、図１に示すように、主な構成要素として、制御部１００と、無線通信部１０と、表示部２０と、通話部３０と、操作部４０と、記憶部５０と、放送受信部６０とを備え、基地局装置ＢＳおよび移動通信網ＮＷを介して通信し、音声通話やデータ通信（電子メールの送受信やＷｅｂ閲覧）を行う通信機能と、放送局ＢＣから送信される地上デジタル放送信号を受信する放送受信機能と、放送信号や記憶部５０が記憶するコンテンツデータに基づく映像や音声を出力する再生機能とを備える。
【００１０】
無線通信部１０は、制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳと無線通信を行うものであって、この無線通信により、音声データや電子メールデータなどの送受信、Ｗｅｂデータやストリーミングデータなどの受信を行う。  
表示部２０は、例えばLCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどを用いた表示手段であって、制御部１００の制御により、画像（静止画像および動画像）や文字情報などを表示して、視覚的にユーザに情報を伝達するものである。
【００１１】
通話部３０は、スピーカ３１やマイクロホン３２を接続し、マイクロホン３２を通じて入力されたユーザの音声を音声データに変換して制御部１００に出力したり、通話相手などから受信した音声データを復号してスピーカ３１から出力するものである。  
操作部４０は、複数のキースイッチなどを備え、これを通じてユーザから指示を受け付けるものである。
【００１２】
記憶部５０は、制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などが対応づけられて管理されるアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶したり、ストリーミングデータなどを一時的に記憶するものである。なお、具体的には、ＨＤＤ、ＲＡＭ、ＲＯＭ、フラッシュメモリなどで構成され、これらの１つ、または複数を組み合わせて構成することができる。
【００１３】
放送受信部６０は、放送局ＢＣから送信される地上デジタル放送信号を受信するチューナであって、例えば上記放送信号のうち、移動体向けのワンセグ放送を受信する。なお、このワンセグ放送に含まれる信号には、動画像データがＨ．２６４などの符号化方式に従って符号化された符号化動画像データ、音声・オーディオデータがＡＡＣなどの符号化方式に従って符号化された符号化音声・オーディオデータ、またテキストデータが多重化された放送コンテンツデータである。
【００１４】
制御部１００は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、当該移動無線端末装置の各部を統括して制御し、音声通信やデータ通信を実現するものである。また制御部１００は、記憶部５０が記憶するアプリケーションソフトウェアにしたがって動作し、電子メールの送受信や、Ｗｅｂブラウジングを行うデータ通信制御機能、音声通信を行う音声通信制御機能、そして上記コンテンツデータ、上記ストリーミングデータあるいは上記放送コンテンツに基づいて動画像を表示部２０に表示する再生制御機能を備える。
【００１５】
そして制御部１００は、上記再生制御機能を実現するための構成として、図２に示すように、動画像復号部１１０と、非周期IDR検出部１２０と、フレーム補間処理制御部１３０と、フレーム補間部１４０と、表示ドライバ１５０とを備える。これらは動画像データを処理するための構成であるが、この他に、図示しないが、符号化音声・オーディオデータを復号するオーディオ復号部も備える。
【００１６】
動画像復号部１１０は、符号化動画像データ（Video Elementary Stream）を復号し、これによって複数の動画像フレームFtで構成される動画像データ、及び符号化情報を得る。
【００１７】
なお、動画像復号部１１０で得られる動画像フレームのフレームレートは、１５Ｈｚとする。そして、上記動画像データは、フレーム補間部１４０と、表示ドライバ１５０に出力され、一方、符号化情報は、非周期IDR検出部１２０に出力される。また、符号化情報には、IDRの他に、量子化パラメータQPや動きベクトルMVや予測モード情報(イントラ予測/インター予測)やブロック分割などがある。例えばQPはシーンチェンジで変化しやすいためシーンチェンジ検出の一情報として利用する。またMVもそのばらつき具合などからフレーム補間を行う必要性を判断する情報として利用しても良い。
【００１８】
非周期IDR検出部１２０は、符号化情報を参照し、周期的にIDR(Instantaneous Decoder Refresh)が設定される間隔を計測する。ワンセグ放送の規格では、IDRフレームは２秒以内に発生することになっているが、IDRフレームは符号化効率があまり高くないため必要以上に使用しないことが多い。つまり計測した周期間隔が２秒以下となった場合、そのIDRフレームは、周期的なものではなく、再生映像においてシーンチェンジが発生した場合のフレーム（以下、非周期IDRフレームと称する）である可能性が高い。このため、非周期IDR検出部１２０は、計測した周期間隔が２秒未満となった場合、そのIDRフレームを非周期IDRフレームと見なし、非周期IDR判定フラグを１に変更する。また、非周期IDR検出部１２０の内部に、バッファを設け、非周期IDR判定フラグとして記憶することができる。また、バッファを複数用意しておけば、過去の非周期IDR判定フラグも保持しておくことも可能であり、この場合、配列の０番目に現在入力されたフレームの判定結果を、そして１番目以降はそれ以前の過去の入力フレームの判定結果を時系列順に格納しておくことになる。つまり新しい判定結果が生じるたびにソートが行われる。そして、この非周期IDR判定フラグバッファをフレーム補間処理制御部１３０の制御情報として渡す。
【００１９】
一方、ワンセグ放送のような２秒間隔の法則がない映像、例えばネット配信に関しては，２秒周期法則は使えないので，毎フレームにシーンチェンジ検出を行う。簡易的なシーンチェンジ検出方法としてフレーム間差分(Fｔ-Ft-1)の大きさによって判定する方法が一般的である。
【００２０】
フレーム補間処理制御部１３０は、非周期IDR検出部１２０からの通知に応じて、フレーム補間部１４０によるフレーム補間を制御するものである。すなわち、フレーム補間処理制御部１３０は、非周期IDR検出部１２０からの通知に応じて、フレーム補間部１４０が備える３つの補間処理（コピーフレーム生成処理、簡易フレーム生成処理および高画質フレーム生成処理）を選択的に行わせる。
【００２１】
フレーム補間部１４０は、復号画像コピー部１４１と、予測ベクトル候補決定部１４２と、動きベクトル検出部１４３と、動きベクトル更新部１４４と、αブレンディング部１４５と、動きベクトル平滑化部１４６とを備え、フレーム補間処理制御部１３０からの指示に基づいて補間フレームの生成を行う。そして、コピーフレーム生成処理を行う場合には、図３に示すように、復号画像コピー部１４１が動作する。また、簡易フレーム生成処理を行う場合には、図４に示すように、予測ベクトル候補決定部１４２と、動きベクトル検出部１４３と、動きベクトル更新部１４４と、αブレンディング部１４５とが動作する。そして、高画質フレーム生成処理を行う場合には、図５に示すように、予測ベクトル候補決定部１４２、動きベクトル検出部１４３と、動きベクトル平滑化部１４６、動きベクトル更新部１４４と、αブレンディング部１４５とが動作する。
【００２２】
以下、フレーム補間部１４０を構成する各部の機能について説明する。
【００２３】
復号画像コピー部１４１は、動画像復号部１１０によって復号された動画像フレームを複製して、補間フレームとして出力するものである。
【００２４】
予測ベクトル候補決定部１４２は、補間フレームを構成する矩形ブロックごとに、複数の予測ベクトルの候補を求める．予測ベクトルの候補は、（１）補間フレーム上の当該ブロックに隣接して既に動きベクトル検出を終えたブロックが有している動きベクトル、（２）過去の補間フレーム上で当該ブロックと空間的に同じ位置にある、または隣接しているブロックが有している動きベクトル、（３）復号フレーム上で当該ブロックと空間的に同じ位置にある、または隣接しているブロックが有している動きベクトル、などを用いる。なお、全て用いる必要はないが、当該ブロックを中心に対象に動きベクトルをサンプリングしてくるよう配慮することが重要である。動きベクトル検出部１４３は、矩形ブロックごとに、予測ベクトル候補決定部１４２が求めた予測ベクトルの候補を、当該ブロックに割り当てた際に時系列的に両端にある復号された動画像フレーム上で指し示されているブロックの誤差(Fｔ(x-pmvx,y-pmvy)-Ft-1(x+-pmvx,y+pmvy), x,y：当該ブロックの座標， pmvx, pmvy：予測ベクトル)を算出し、この算出された誤差が最小となった予測ベクトルを、当該ブロックの動きベクトルとする。そして、これらの処理は、補間フレームを構成する各矩形ブロックについて、ラスタスキャン順に実施される。
【００２５】
動きベクトル平滑化部１４６は、矩形ブロック毎に、動きベクトル検出部１４３で決定した動きベクトルに平滑化処理を実施して、インパルスノイズ的な動きベクトルを除去する。なお、上記動きベクトルの平滑化処理は、例えば当該ブロックとその隣接ブロックの動きベクトル情報９本の中間値を出力する。またこの際、中間値は１次元ベクトルでも２次元ベクトルでもどちらでも良い。
【００２６】
動きベクトル更新部１４４は、予測ベクトル候補決定部１４２で得た動きベクトル、もしくは動きベクトル平滑化部１４６で平滑化された動きベクトルに対して、隣接ブロックが有する動きベクトルを参照した上で、隣接ブロックが有する動きベクトルとの乖離を小さくするための補正（微調整）を行う。具体的には既に決定している動きベクトルを上下左右に１画素の範囲で動かし、その中で予測誤差が小さくなる動きベクトルに補正する。
【００２７】
αブレンディング部１４５は、動きベクトル部１４４で補正された動きベクトルに基づいて、画像の統計量、歪みおよび動きベクトルの各連続性から上記動きベクトル更新部１４４、または動きベクトル平滑化部１４６で決定した動きベクトルの信頼度を算出する。そして、αブレンディング部１４５は、上記信頼度に基づいて、補間フレームを構成する補償ブロックを生成する。そして、これらのブロックを対応するもの同士で合成して、補間フレームを生成する。なお、この合成の際に、上記信頼度に基づく合成比で合成する。
【００２８】
ここで、上記の信頼度とは、例えば以下の式に基づいて算出されるmotionSADおよびzeroSADによって判断される。
【数１】
2010136292.tif 000003
【００２９】
即ち、動きベクトル部１４４で求めた動きベクトルが正しければ、motionSADは物体を追従していることになるため、その値は小さくなる。一方、motionSADがzeroSADより大きい場合は、求められた動きベクトルの精度が良くないことが分かる。そこで、motionSADおよびzeroSADを信頼度としてアルファブレンディングが行われる。
【００３０】
フレーム補間処理制御部１３０は、非同期IDRフレームFtとその１つ前のフレームFt-1との間を補間する補間フレームFt-0.5を生成する場合に、フレーム補間部１４０にコピーフレーム生成処理（図３）を実行させ、これにより復号画像コピー部１４１が、非同期IDRフレームの前のフレームを複製して、これをフレーム補間部１４０が補間フレームFt-0.5として出力する。なお、非同期IDRフレームを複製して、これで補間するようにしてもよい。
【００３１】
またフレーム補間処理制御部１３０は、非同期IDRフレームを検出した場合に、その後の所定の時間の間（数秒間、すなわち数十フレーム）は、フレーム補間部１４０に簡易フレーム生成処理（図４）を実行させて、簡略化した処理により、低画質の補間フレームを生成させる。これは、シーンチェンジ後（非同期フレーム検出後）においては、人間の目では新しい動きを捉えるまでに、ある程度の時間がかかることに着目したものであって、処理量の少ない簡略化した処理によって、補間フレームを生成する。
【００３２】
そしてフレーム補間処理制御部１３０は、非同期IDRフレームを検出しない場合に、フレーム補間部１４０に高画質フレーム生成処理（図５）を実行させて、高画質の補間フレームを生成させる。これは、シーンチェンジがない動画像が再生される場合においては、人間の目が画質の優劣に敏感であることに着目したものであって、処理量の多い処理によって、補間フレームを生成する。
【００３３】
すなわち、簡易フレーム生成処理では、動きベクトル平滑化部１４６は動作させないが、高画質フレーム生成処理では、動きベクトル平滑化部１４６は動作させることで、高画質の補間フレームを生成する。
【００３４】
表示ドライバ１５０は、動画像復号部１１０から与えられる動画像フレームFtと、フレーム補間部１４０から与えられる補間フレームFt-0.5とをバッファメモリに記憶し、これらのフレームを交互に表示部２０に出力する。動画像フレームFtおよび補間フレームFt-0.5は、それぞれフレームレートが１５Ｈｚであるが、これらを表示ドライバ１５０が交互に出力することで３０Ｈｚのフレームレートの動画像データを出力することができる。そして、表示部２０は、３０Ｈｚのフレームレートの動画像データを表示する。
【００３５】
以上のように、上記構成の画像処理装置では、動画像の符号化データを復号して得られる符号化情報に基づいて、フレーム補間の必要性を判断し、この必要性の高さに応じて、高画質（処理負荷の大きい）の補間フレームを生成するようにしている。より具体的には、シーンチェンジが生じた場合には、人間の目では画質の優劣を認識しにくいことや、高画質な補間フレームを生成できないことに着目し、シーンチェンジしたフレーム（非周期IDRフレーム）を検出した場合（フレーム補間の必要性が低い場合）には、その前後において、簡略化した処理で補間フレームを生成し、それ以外の場合（フレーム補間の必要性が高い場合）には、高画質な補間フレームを生成するようにしている。
【００３６】
したがって、上記構成の画像処理装置によれば、シーンチェンジが生じた場合において、制御部１００への負荷を低減して低消費電力化でき、人間の知覚能力では十分に高画質と認識できるフレーム補間を行うことができる。
【００３７】
また、シーンチェンジを行う前後を補間する場合には、非同期IDRフレームの前のフレームを複製して、補間フレームを生成するようにしているので、補間フレームを合成する場合に比べて、処理負荷を低減することができる。
【００３８】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【００３９】
その一例として例えば、上記実施の形態では、シーンチェンジを行う前後を補間する場合には、非同期IDRフレームの前のフレームを複製して、これで補間するようにしたが、これに代わって例えば、非同期IDRフレームを複製して、これで補間するようにしてもよい。
【００４０】
また上記実施の形態では、シーンチェンジが生じたか否かでフレーム補間の必要性を判断するようにしたが、符号化情報に含まれるその他の情報に基づいて、フレーム補間の必要性を判断するようにしてもよい。  
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【図面の簡単な説明】
【００４１】
【図１】この発明に係わる画像処理装置を備えた移動無線端末装置の実施形態の構成を示す回路ブロック図。
【図２】図１に示した画像処理装置のフレーム補間に関わる構成を示す回路ブロック図。
【図３】図２に示したフレーム補間部の動作を説明するための図。
【図４】図２に示したフレーム補間部の動作を説明するための図。
【図５】図２に示したフレーム補間部の動作を説明するための図。
【符号の説明】
【００４２】
１０…無線通信部、２０…表示部、３０…通話部、３１…スピーカ、３２…マイクロホン、４０…操作部、５０…記憶部、６０…放送受信部、１００…制御部、１１０…動画像復号部、１２０…検出部、１３０…フレーム補間処理制御部、１４０…フレーム補間部、１４１…復号画像コピー部、１４２…予測ベクトル候補決定部、１４３…動きベクトル検出部、１４４…ベクトル更新部、１４５…ブレンディング部、１４６…ベクトル平滑化部、１５０…表示ドライバ、ＢＣ…放送局、ＢＳ…基地局装置、ＮＷ…移動通信網。
【図１】
2010136292.tif 000004
【図２】
2010136292.tif 000005
【図３】
2010136292.tif 000006
【図４】
2010136292.tif 000007
【図５】
2010136292.tif 000008