(57)【要約】【課題】  プログラムによる処理能力を低く抑えながらも高画質の動画像を表示する動画像復号装置及び動画像復号方法を提供することを目的とする。【解決手段】  フレーム内予測フレーム及びフレーム間予測フレームからなる符号化された動画像情報を復号する際、それがフレーム内予測フレームであった場合には、このフレームについてソフトウェアによりフレーム内予測画像復号処理を行なって出力フレームを生成し、フレーム内予測フレームでなかった場合には、ソフトウェアによるこの種別のフレームの処理が能力的に可能であればこのフレームについてソフトウェアにより動きベクトル復号処理及びフレーム間予測画像復号処理を行なって出力フレームを生成するが、そうでない場合には処理をハードウェアに委ねることで処理装置の負荷を抑える。【選択図】  図３
2007318222.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内予測フレーム及びフレーム間予測フレームからなる符号化された動画像情報を復号する動画像復号装置であって、
動画像情報に含まれる符号化されたフレームを復号化した、ある時点のフレームの情報を記憶するためのメモリと、
符号化されたある時点のフレーム間予測フレームと前記メモリに記憶した情報から、当該フレーム間予測フレームを予測しこれを出力するフレーム補間装置と、
ソフトウェアとして記述されたプログラムを処理する演算部を有し、符号化されたフレームを復号して動画像情報を出力するフレーム復号手段とを備え、
前記フレーム復号手段は、
ある時点の符号化されたフレームがフレーム内予測フレームかどうか、及び前記演算部の処理負荷状況から符号化フレームのフレーム間予測処理の実行が可能か否かを判定し、
当該フレームがフレーム内予測フレームであった場合、このフレームについてフレーム内予測画像復号処理を行い、
一方、当該フレームがフレーム間予測フレームであった場合であって、
フレーム間予測処理が可能であると判定されたときは動きベクトル復号処理及びフレーム間予測画像復号処理を行ない、
フレーム間予測処理が可能でないと判定されたときは当該フレームの復号処理を前記フレーム補間装置に委ねる
ことを特徴とする動画像復号装置。
【請求項２】
前記動画像情報の前記フレーム内予測フレームはＩピクチャ、前記メモリに記憶したフレームの情報を参照する前記フレーム間予測フレームはＰピクチャあるいはＢピクチャであることを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
フレーム内予測フレーム及びフレーム間予測フレームからなる符号化された動画像情報を復号する動画像復号方法において、
動画像情報に含まれる、ある時点のフレームがフレーム内予測フレームであるか否かを判定し、
フレーム内予測フレームであった場合、このフレームについてソフトウェアによりフレーム内予測画像復号処理を行なって出力フレームを生成し、
フレーム内予測フレームでなかった場合には、処理負荷状況からみてソフトウェアによるこの種別のフレームの処理に必要な処理能力があるか否かを判定し、
処理能力があると判定された場合、当該フレームについてソフトウェアにより動きベクトル復号処理及びフレーム間予測画像復号処理を行なって出力フレームを生成し、
それ以外の場合、ハードウェアによる前記動きベクトル復号処理及びフレーム間予測画像復号処理が可能な装置に当該フレームの処理を委ね出力フレームを生成する
ことを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレームから構成された動画像の復号装置及び復号方法に関し、特に各フレームがフレーム内予測フレーム（Ｉピクチャ）及びフレーム間予測フレーム（P、Bピクチャ）とからなる動画像の復号処理に関する。
【背景技術】
【０００２】
動画像を圧縮せずに送ると膨大なデータ量となるため、画像情報を符号化することで圧縮した情報を伝送している。このような目的で、ITU-TのVideo Coding Experts Group (VCEG)によって策定された動画圧縮の規格であるH.264などが利用されるようになってきた。
【０００３】
しかしながら圧縮した画像情報の画質を保ちながらリアルタイムに復号するには高い処理能力を必要とする一方、駆動時間を長くかつ筐体サイズを抑えるためには処理能力を高くすることができないという、相反する要求がある。
【０００４】
このため復号処理することなく動画像のフレーム間を擬似的に補間し、実際に伝送される復号が必要なフレーム数より多くのフレームを見せることで画質を向上させる画像処理装置が提案されている（特許文献１参照）。
【特許文献１】特開平１０−３３６５９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
動画像を高画質で送るためには高い圧縮率で動画像を圧縮する必要があるが、反面、復号するための処理能力が要求される。しかしながらプログラムによる処理能力が高い処理装置は総じて電力消費量及び発熱量が多く、またマルチタスク環境においては他のタスクの処理が滞ってしまうことも考えられる。
【０００６】
本発明は上記問題に鑑みてなされたもので、プログラムによる処理能力を低く抑えながらも高画質の動画像を表示する動画像復号装置及び動画像復号方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明にかかる動画像復号装置とすれば、フレーム内予測フレーム及びフレーム間予測フレームからなる符号化された動画像情報を復号する動画像復号装置であって、動画像情報に含まれる符号化されたフレームを復号化した、ある時点のフレームの情報を記憶するためのメモリと、符号化されたある時点のフレーム間予測フレームと前記メモリに記憶した情報から、当該フレーム間予測フレームを予測しこれを出力するフレーム補間装置と、ソフトウェアとして記述されたプログラムを処理する演算部を有し、符号化されたフレームを復号して動画像情報を出力するフレーム復号手段とを備え、前記フレーム復号手段は、ある時点の符号化されたフレームがフレーム内予測フレームかどうか、及び前記演算部の処理負荷状況から符号化フレームのフレーム間予測処理の実行が可能か否かを判定し、当該フレームがフレーム内予測フレームであった場合、このフレームについてフレーム内予測画像復号処理を行い、一方、当該フレームがフレーム間予測フレームであった場合であって、フレーム間予測処理が可能であると判定されたときは動きベクトル復号処理及びフレーム間予測画像復号処理を行ない、フレーム間予測処理が可能でないと判定されたときは当該フレームの復号処理を前記フレーム補間装置に委ねることを特徴とする動画像復号装置が提供される。
【０００８】
また本発明にかかる動画像復号方法によれば、フレーム内予測フレーム及びフレーム間予測フレームからなる符号化された動画像情報を復号する動画像復号方法において、動画像情報に含まれる、ある時点のフレームがフレーム内予測フレームであるか否かを判定し、  フレーム内予測フレームであった場合、このフレームについてソフトウェアによりフレーム内予測画像復号処理を行なって出力フレームを生成し、フレーム内予測フレームでなかった場合には、処理負荷状況からみてソフトウェアによるこの種別のフレームの処理に必要な処理能力があるか否かを判定し、処理能力があると判定された場合、当該フレームについてソフトウェアにより動きベクトル復号処理及びフレーム間予測画像復号処理を行なって出力フレームを生成し、それ以外の場合、ハードウェアによる前記動きベクトル復号処理及びフレーム間予測画像復号処理が可能な装置に当該フレームの処理を委ね出力フレームを生成することを特徴とする動画像復号方法が提供される。
【発明の効果】
【０００９】
本発明によれば、プログラムによる処理能力を低く抑えながらも高画質の動画像を表示する動画像復号装置及び動画像復号方法が提供される。
【発明を実施するための最良の形態】
【００１０】
本実施形態における動画像情報は、たとえばH.264として規格化されている動画像の形式に基づいたフォーマットで伝送される。
【００１１】
図１に、本実施形態にかかる動画像のピクチャ構成の一例を示す。図１（ａ）は各ピクチャの関係を示している。ここでは、Ｉピクチャ１００、Ｂピクチャ１０１及びＰピクチャ１０２の３種類が示されており、Ｉピクチャ１００、Ｐピクチャ１０２、Ｂピクチャ１０１の順に含まれる情報量が減っていく。
【００１２】
この中ではＩピクチャ１００が一番多くの符号化された情報を含んでおり、これだけでこのＩピクチャ１００に相当する１フレーム分の情報を復号化することができる。
【００１３】
次にＰピクチャ１０２は、自身に含まれる符号化された情報とＩピクチャ１００から復号化したフレームの情報とを組み合わせて、このＰピクチャ１０２に相当する１フレーム分のフレームを予測する。つまりＰピクチャ１０２自身では１フレーム分の情報は含んでおらず、以前に復号したフレームに含まれる情報と組み合わせることで初めて１フレーム分の画像を得ることができる。Pピクチャ１０２ではさらに動き補償の処理が必要となる。動き補償とは動画像の符号化における動特性を向上させる技術であり、１つ前のフレームの中から、ある画素に一番近いと思われる領域がどれだけ動いているかを示す移動量（動きベクトル）にも基づいてフレーム間予測することである。
【００１４】
次にＢピクチャ１０１は、自身に含まれる符号化された情報と、以前及び／または以後に連なる復号したフレームに含まれる情報を組み合わせて、このＢピクチャ１０１に相当する１フレーム分のフレームを予測する。Ｂピクチャ１０１の場合、Ｐピクチャ１０２のフレーム間予測と異なるのはさらに一つ前及び／または一つ後ろのフレームに対する動きベクトルを考慮する点である。このため他のピクチャと比べて計算量が増加するものの、あるフレームの符号化後の容量を抑えることができる。Ｂピクチャ１０１もＰピクチャ１０２と同様に、自身だけでは１フレーム分の画像を得ることはできない。
【００１５】
Ｐピクチャ１０２、Ｂピクチャ１０１については上述のように自身のみでは１フレーム分の画像を得ることはできないが、動画像情報は各フレームの連なりとして構成されていることから、いくつかのフレームをＰピクチャ１０２あるいはＢピクチャ１０１形式で構成すると同じ動画像であっても全体の容量を小さくすることができる。
【００１６】
図１（ｂ）は、ある動画像の構成の一例を示している。動画像の先頭はＩピクチャ１００から始まり、その後にＢピクチャ１０１あるいはＰピクチャ１０２が続く。そして次のＩピクチャ１００が始まるまでをＧＯＰ１０３（Group Of Pictures）と呼ぶ管理単位となっている。またＢピクチャ１０１と、これを従えるＩピクチャ１００あるいはＰピクチャ１０２を先頭とするグループをサブグループ１０４と呼ぶ。Ｐピクチャ１０２は以前の復号済みフレームを、Ｂピクチャ１０１は以前及び／または以後に連なる復号済みフレームの情報があって初めてフレームを予測できる。よってどの位置にあるどの種類のピクチャの処理をするかに応じてあらかじめ記憶しておく必要がある。このフレーム予測に使用される復号済みフレームは参照フレームと呼ばれる。
【００１７】
図２は、本実施形態にかかる動画像再生システムの一例を示す図である。図２では、動画像記憶装置２００、動画像再生装置２０１、フレーム復号部２０２、記憶装置２０３、メモリ２０４、フレーム補間装置２０５及びディスプレイ２０６が示されている。
【００１８】
動画像記憶装置２００は、動画像情報を記憶した磁気ディスク装置（Hard Disk Drive）であり、ＤＶＤメディア等のリムーバブルメディアに動画像情報が記録されている場合にはこれを読み出す装置に相当する。動画像記憶装置２００はＵＳＢ（Universal Serial Bus）、ＬＡＮ（Local Area Network）等の有線で接続されている場合に限らず、無線ＬＡＮや放送波を介して動画像情報を受信する構成になっていても良い。
【００１９】
動画像再生装置２０１は、動画像記憶装置２００に符号化され記憶されている動画像情報を入力とし、その動画像情報を復号化した後の動画像情報を出力する装置である。
【００２０】
フレーム復号部２０２は、符号化された動画像情報を入力とし、これを復号する機能を有する。フレーム復号部２０２でのこの処理はソフトウェアによって記述されたプログラムを実行することで実現されており、このプログラムを逐次実行する演算処理装置に相当する処理部を備えている。また処理部の現在の処理能力を検出する機構を備え、必要に応じて、実行しなければならない復号化処理の一部を外部の装置に依頼することができるようになっている。
【００２１】
記憶装置２０３は、フレーム復号部２０２が備えている処理部が実行するプログラムを記憶している記憶装置である。この装置は、たとえばＲＯＭ（Read Only Memory）などの半導体メモリや磁気ディスク装置（Hard Disk Drive）により構成されている。記憶しているプログラムはフレーム復号部２０２により適宜読み出される。
【００２２】
メモリ２０４は、作業域（Work Area）や復号化したフレーム情報を一時的に記憶しておくフレームバッファ領域として利用されるメモリである。具体的には半導体で構成された読み書き可能なＲＡＭ（Random Access Memory）などが考えられる。
【００２３】
フレーム補間装置２０５は、フレーム復号部２０２から依頼された、Iピクチャを除くフレーム間予測が必要なＰピクチャまたはＢピクチャのフレーム間予測を行い、動画像情報におけるそのピクチャに相当するフレームを補間する機能を有する。この機能の処理に際してはメモリ２０４のフレームバッファ領域として確保された領域に記憶されたフレーム情報を参照フレームとして読み出して当該ピクチャのフレーム間予測に利用する。予測したフレームの情報は、以降のフレーム間予測のために必要であればメモリ２０４に記憶しておく。
【００２４】
ディスプレイ２０６は、動画像再生装置２０１が出力する動画像情報を受け取り画面表示する機能を有する。具体的にはＣＲＴや液晶ディスプレイを備えた表示装置を備えており、受け取った動画像情報を表示できるデータ形式に変換する機能を備えていてもかまわない。
【００２５】
図３は、本実施形態にかかる動画像復号装置のブロック図の一例を示す図である。図３では、フレーム復号部２０２の内部処理の流れとメモリ２０４内に設けられたフレームメモリ３０４及びフレーム補間装置２０５との間の情報のやり取りが示されている。
【００２６】
図４は、本実施形態にかかる動画像復号装置の処理フローの一例を示す図である。以降、図３及び図４を参照しながら動画像復号装置の処理について説明する。
【００２７】
まず、符号化された動画像情報のうちのフレーム復号部２０２に入力された１のピクチャがＩピクチャであるか否かを判定する（ステップＳ０１）。これがＩピクチャであった場合（Ｙｅｓ）、スイッチＳ１をフレーム内予測画像復号処理３００側に切り替え、このピクチャに対応するフレームのソフトウェアによるフレーム内予測画像復号処理（ステップＳ０２）を実行する。その後、出力フレーム３０１を生成する（ステップＳ０３）。復号した出力フレームは、以降のフレームの復号の際に使用される参照フレームとしてフレームメモリ３０４に記憶される。
【００２８】
ステップＳ０１でＩピクチャではないと判定された場合（Ｎｏ）、スイッチＳ１をスイッチＳ２側に切り替える。次にフレーム復号部２０２の処理能力が、このピクチャのフレーム間予測処理までをソフトウェアで行なった場合に不足するか否かを判定する（ステップＳ０４）。この処理が実行できるだけの処理能力がフレーム復号部２０２に残されていると判定した場合（Ｎｏ）、この処理をするのに必要な能力を満足するとしてスイッチＳ２を切り替えて、まず動きベクトル復号処理３０２が実行される（ステップＳ０５）。その後、そのフレームについてフレーム間予測画像復号処理３０３が実行され（ステップＳ０６）、出力フレーム３０１を生成する（ステップＳ０３）。復号した出力フレームは、必要に応じて以降のフレームの復号の際に使用される参照フレームとしてフレームメモリ３０４に記憶される。
【００２９】
ステップＳ０４でピクチャのフレーム間予測処理までをソフトウェアで行なう処理能力が残されておらず、これを処理するには処理能力が不足すると判定された場合（Ｙｅｓ）、このピクチャの情報はフレーム補間装置２０５に送られ画像生成処理される（ステップＳ０７）。フレーム間処理装置２０５はフレームメモリ３０４に記憶された参照フレームの情報も参照して当該フレームの画像を予測し、出力フレームを生成する（ステップＳ０３）。出力フレームは、必要に応じて以降のフレームの復号の際に使用される参照フレームとしてフレームメモリ３０４に記憶される。
【００３０】
このように構成することにより、動画像復号装置のプログラムによる処理能力を低く抑えながらも、負荷の状況に応じた高画質の動画像を表示する動画像復号装置を提供することができる。
【００３１】
フレーム間処理装置２０５が生成するフレーム（補間フレーム）は、好ましくはその動画像の符号化規格に忠実に従って復号されるべきである。しかしながら、たとえばフレーム間処理装置２０５の構成が複雑あるいは回路規模が大きくなり過ぎる等の理由から、規格に則った復号結果とはならないものの別の手法により補間をしたフレームを生成するようにしても良い。この場合、要求される動画像の画質に応じてフレーム間処理装置２０５を含む全体の回路規模を抑えることができるなど設計の自由度を上げることができる。
【００３２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００３３】
【図１】本実施形態にかかる動画像のピクチャ構成の一例を示す図である。
【図２】本実施形態にかかる動画像再生システムの一例を示す図である。
【図３】本実施形態にかかる動画像復号装置のブロック図の一例を示す図である。
【図４】本実施形態にかかる動画像復号装置の処理フローの一例を示す図である。
【符号の説明】
【００３４】
１００・・・Ｉピクチャ、１０１・・・Ｂピクチャ、１０２・・・Ｐピクチャ、１０３・・・ＧＯＰ、１０４・・・サブグループ、２００・・・動画像記憶装置、２０１・・・動画像再生装置、２０２・・・フレーム復号部、２０３・・・記憶装置、２０４・・・メモリ、２０５・・・フレーム補間装置、２０６・・・ディスプレイ
【図１】
2007318222.tif 000003
【図２】
2007318222.tif 000004
【図３】
2007318222.tif 000005
【図４】
2007318222.tif 000006