(57)【要約】本発明は、電池を有するハンドヘルド機器用のビデオデータブロック符号化方法に関する。この方法は、様々な電力消費量レベルを有する予測関数のセットの使用から残留誤差ブロックを計算する段階を有する。この方法は更に、電池の所定のレベルに対して、セットの予測関数の関連付けられる電力消費量レベルに依存して、該予測関数を有効又は無効にする段階を有する。最後に、この方法は、残留誤差ブロックを符号化するために、有効にされた予測関数のセットから予測関数を選択する段階を有する。
2006518563.tif 000002
【特許請求の範囲】
【請求項１】
電池を有するハンドヘルド機器用のビデオデータブロック符号化方法であって、
様々な電力消費量レベルを有する予測関数のセットの使用から残留誤差ブロックを計算する段階と、
前記電池の所定のレベルに対して、前記セットの予測関数の関連付けられる電力消費量レベルに依存して、該予測関数を有効又は無効にする段階と、
前記残留誤差ブロックを符号化するために、有効にされた予測関数のセットから予測関数を選択する段階と、
を有するビデオ符号化方法。
【請求項２】
前記選択段階は、ランレングス符号化後の残留データの現在のブロックのエントロピーと、対応する復号化されたブロックと基準ブロックとの再構成誤差と、前記現在のブロックの量子化値とに依存する費用値に基づく請求項１記載のビデオ符号化方法。
【請求項３】
予測関数は、現在のブロックの現在の画素と、前記現在のブロックの左側に隣接する画素の垂直セグメント及び／又は前記現在のブロックの上側に隣接する画素の水平セグメントの少なくとも値の差から計算される請求項１記載のビデオ符号化方法。
【請求項４】
予測関数は、現在のフレームにおける現在のブロックの現在の画素と、直前のフレームにおける対応するブロックの対応する画素の差から計算される請求項１記載のビデオ符号化方法。
【請求項５】
予測関数は、現在のフレームにおける現在のブロックの現在の画素と、直前のフレームにおける対応するブロックのヒストグラムの最大値の差から計算され、
前記最大値は、前記現在の画素の値に最も近い請求項１記載のビデオ符号化方法。
【請求項６】
電池を有するハンドヘルド機器用のビデオコーダであって、
前記電池は、該ビデオコーダに給電し、
前記ビデオコーダは、ビデオデータブロックを符号化可能であり、また、
様々な電力消費量レベルを有する予測関数のセットの使用から残留誤差ブロックを計算する手段と、
前記電池の所定のレベルに対して、前記セットの予測関数の関連付けられる電力消費量レベルに依存して、該予測関数を有効又は無効にする手段と、
前記残留誤差ブロックを符号化するために、有効にされた予測関数のセットから予測関数を選択する手段と、
を有するビデオコーダ。
【請求項７】
請求項７に記載したビデオコーダと、
該ビデオコーダに給電するための電池と、
を有するハンドヘルド機器。
【請求項８】
プロセッサによって実行される場合に、請求項１に記載のビデオ符号化方法を実施するためのプログラム命令を有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電池を有するハンドヘルド機器用のビデオデータブロック符号化方法に係る。
【０００２】
本発明は、特に、携帯電話又は携帯情報端末といった移動機器に関連があり、この機器は、ビデオデータを獲得しそれを送信する前に符号化可能である埋め込みされたカメラを有する。
【背景技術】
【０００３】
今日まで、ビデオ符号化方法は、圧縮効率に関して評価されてきた。最初のビデオ規格の目的は、ＣＤ上へのフィルムの格納（ＭＰＥＧ−１）、テレビジョン番組のケーブル／衛星上での放送（ＭＰＥＧ−２）、及びインターネットを介するビデオコンテンツのストリーミング／ダウンローディング（ＭＰＥＧ−４）であった。制約は、帯域幅と記憶容量制限であった。第２の評価基準は、特に、リアルタイム符号化が必要なアプリケーションにおける計算上の複雑さであった。今日では、圧縮効率は依然として求められている一方で、計算上の複雑さは、プロセッサの増加する速度によってあまり問題にはならなくなってきている。しかし、新しいアプリケーションでは、第３の基準がより重要となってきている。第３の基準とは、電力消費量である。携帯情報端末又は携帯電話といった移動装置は、近い将来においてビデオ符号化機能を提供することが期待されている。しかし、現行の技術的自立性は劇的に不足である。電池の寿命延長や、ハードウェア実施における進歩が、技術的自立性を増加し得るが、当然、十分ではない。
【０００４】
従来技術において、電力消費量は、アーキテクチャ的か又はアルゴリズム的な観点から制御されている。
【０００５】
アーキテクチャ的なアプローチでは、ビデオアーキテクチャを所定のビデオアルゴリズムにマッピングし及び最適化するよう一部の研究が行われている。例えば、非特許文献１は、低消費電力ビデオ装置について説明する。この装置は、中央処理演算ユニットＣＰＵ及びコプロセッサの付近に位置付けられる埋め込みメモリを有し、それにより、それらのデータにアクセスするためのケーブルは少なく、また、放散されるエネルギーも少ない。しかし、この従来のアプローチでは、電力事項はあまりにも遅くに考慮され、結果として最適ではない解決策をもたらす。
【０００６】
非特許文献２は、低電力方法について説明する。この文献では、低消費電力は、メモリアクセス及び転送を低減することによって達成される。このために、動き推定は簡易化されるが、これは、圧縮性能を犠牲にしている。
【非特許文献１】C.  W.  Yoon外、「An  80/20  MHz  160  mW  multimedia  processor  integrated  with  embedded  DRAM,  MPEG-4  accelerator  and  3-D  rending  engine  for  mobile  applications」、IEEE  Journal  of  Solid-State  Circuits、第３６巻、第１１版、２００１年１１月、ｐ１７５８−１７６７
【非特許文献２】C.  De  Vleeschouwer、T.  Nilsson、「Motion  Estimation  for  Low  Power  Video  Devices」、International  Conference  on  Image  Processing,  2001、第２巻、２００１年、ｐ９５３−９５６
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、電力消費量を相当に減少し、また、他に負けない圧縮効率を維持する、電池を有するハンドヘルド機器用のビデオ符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
このために、本発明の符号化方法は、以下の段階を有する。
【０００９】
様々な電力消費量レベルを有する予測関数のセットの使用から残留誤差ブロックを計算する段階と、
電池の所定のレベルに対して、セットの予測関数の関連付けられる電力消費量レベルに依存して、該予測関数を有効又は無効にする段階と、
残留誤差ブロックを符号化するために、有効にされた予測関数のセットから予測関数を選択する段階を有する。
【００１０】
本発明のビデオ符号化方法は、予測関数の一部を有効又は無効にすることによってその方法を適応するよう電池レベル情報を利用する。次に、本発明のビデオ符号化方法は、全ての利用可能な予測関数から、例えば、費用関数を最小限にする予測関数といった現在のブロックに対し最も適応する予測関数を選択する。従って、電池レベルに依存して、ビデオ品質は、高い又は低い。そして、電池の寿命は延ばされる。
【００１１】
本発明では、電力消費量は、アーキテクチャの事項としてだけ見られるのではなく、アルゴリズム的な設計の事項としても見られ、これは、低減された電力消費量をもたらす。更に、ビデオ符号化チップのエネルギー放散量を低減することにより、そのチップの信頼度を高め、また、冷却努力の相当の減衰を可能にする。従って、製造費用は、非常に低くされる。
【００１２】
本発明は更に、上述のビデオ符号化方法を実施するビデオコーダにも関する。
【００１３】
本発明は、このビデオコーダと、そのビデオコーダに給電する電池を有するハンドヘルド機器に関する。
【００１４】
本発明は更に、プロセッサによって実行される場合に、本発明のビデオ符号化方法を実施するためのプログラム命令を有するコンピュータプログラムに関する。
【発明を実施するための最良の形態】
【００１５】
本発明の上述の及び他の面は、以下に記載する実施例から明らかとなり、また、実施例を参照しながら説明する。
【００１６】
本発明を、添付図面を参照しながら例示的により詳細に説明する。
【００１７】
本発明は、ビデオコーデック（コーダ−デコーダ）の電力消費量を現在の電池レベルに適応させる方法に関する。この方法は、携帯電話又は携帯情報端末といったハンドヘルド装置のためのものである。
【００１８】
この方法は、より具体的には、Ｈ．２６４符号化されたシーケンスに関するが、当業者には、上述した方法は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ−２６１、又はＨ−２６３規格によって与えられるビデオシーケンスといったように予測ブロックに基づいた技術で符号化された任意のタイプのビデオシーケンスにも適用可能であることは明らかであろう。
【００１９】
本発明は、以下の原理に基づいている。電池がフル又は略フルである場合、本発明のビデオコーデックは、より多くの電力を消費し、それにより、非適応性の従来の低電力方法と比較して向上したビデオ品質をもたらすよう適応される。電池が中間状態である場合、動作は、非適応性の従来の低電力方法と実質的に同等である。電池が空又は略空である場合、ビデオコーデックは、ビデオの品質を徐々に低減しながらより長い寿命を与えるよう電力消費量を少なくするよう適応される。この原理を図１に示す。図１は、従来のコーデック（１１）及び本発明のコーデック（１２）についての電池レベル（ＢＬ）の関数としてのビデオコーデックの電力消費量（Ｐｏｗ）を示す。
【００２０】
図２は、従来のコーデック（２１）と本発明のコーデック（２２）との使用時間（ｔ）の関数としての電池レベル（ＢＬ）の比較である。電池がフルである場合、電力消費量は、より多く、また、画質はより良い。この場合、ハンドヘルド機器を頻繁にコンセントに差し込み充電できる人は、増加された品質を常に有することになる。一方で、電池レベルが低くなると、ハンドヘルド機器は、低品質という犠牲を伴うが、シャットダウンするのではなく依然としてビデオを符号化及び／又は復号化することが可能である。
【００２１】
専用コプロセッサに結合された中央処理演算ユニットＣＰＵと、外部メモリモジュールを有する従来のビデオアーキテクチャを考える。何年もの間、中央処理演算ユニットＣＰＵは、電力消費量に関してこれら３つの素子のうち最もどん欲であると考えられ、これは、アルゴリズムの計算上の複雑さもそのエネルギー消費量を決定したことを示唆する。今日では、計算上の負荷とメモリアクセス間の配分はよりバランスが取られている。現在の進化を考えるに、メモリアクセスが優勢となることはすぐに予見されることである。従って、このようなアーキテクチャを考慮するに、低電力アプリケーションは、現在のアルゴリズムに比較してメモリアクセスの相当な低減を必要とする。更に、これらのアクセスのローカル性も重要である。というのは、ＣＰＵにメモリモジュールがより近いことは、データをアクセスするときのエネルギー放散が少ないことを意味するからである。
【００２２】
図３に示す従来のビデオコーダの場合、上述した素子は、離散コサイン変換ＤＣＴ（３１）、スカラー量子化Ｑ（３２）、可変長符号化ＶＬＣ（３３）、逆量子化ＩＣ（３４）、逆離散コサイン変換ＩＤＣＴ（３５）、動き補償ＭＣ（３６）、及び動き推定ＭＥ（３８）を行うよう適応される。電力消費量に関してのボトルネックは、このビデオアーキテクチャの様々なユニット間の転送の量である。本発明は、メモリ転送の多くは、従来の動き推定からくるという観察に基づいている。ビデオデータブロックが符号化される場合、動き推定ＭＥは、幾つかのブロックから前のフレームにおいて最適に適合する基準ブロックを探す。残留値と称する結果として得られる値は符号化され、また、現在のブロックと動き推定ＭＥによって見つけられた基準ブロックの画素間の差に対応する。これは、画素、従って、外部メモリモジュールへの多くのアクセスを意味する。検索範囲が大きいほど、メモリのサイズ、従って、電力放散量も大きい。従って、この種類の予測は、電力消費量事項について適応されない。
【００２３】
電力消費量を低減しながら他に負けない圧縮効率を維持するために、本発明は、従来の動き推定ＭＥを、Ｎ個の同時予測関数（ｐｆ１、ｐｆ２、…、ｐｆＮ）に置き換えることを提案する。予測関数は、現在のフレームにおいて、現在のブロック、即ち、符号化されることを意図するブロックを、同じフレームか、或いは、前の又は将来のフレームにある他のブロックからの画素に基づいて予測する方法として定義される。つまり、予測関数は、現在のブロックと別のブロックとの残留誤差を計算することが可能である。これらの予測関数は、電力消費量スケーラビリティを実施するよう良好に適応される。この予測関数の主な特徴は、全てローカルで動作し、また、非常に少ないデータに対処することである。従って、電力を節約するために、小型で高速且つ費用のあまりかからない内部メモリであるレジスタを使用することが可能である。更に、ビデオデータブロックは、個別に符号化され、これは、この処理を非常に並列処理可能とする。従って、全ての予測関数を使用することは、従来の動き推定よりも必要とするエネルギーが少ない。圧縮効率に関して、動き推定がないことは、増加された計算努力によって釣り合いが取られる。
【００２４】
以下の実施例において、Ｎ＝５個の予測関数を使用する。これらは、以下に示す。
【００２５】
第１の予測関数ｐｆ１は、Ｈ．２６４イントラ予測に基づく。符号化するための現在のブロックＸにおける所与の画素ｘ（ｉ，ｊ）に対し、残留値ｒ（ｉ，ｊ）は、図５に示すようにブロックＸの左側隣接列と上側隣接線から計算される。残留値ｒ（ｉ，ｊ）は、以下のように計算される。
【００２６】
ｒ（ｉ，ｊ）＝ｘ（ｉ，ｊ）−ａｖｇ（Ａ，Ｂ）
ただし、ａｖｇ（Ａ，Ｂ）は、セグメントＡ及びＢの平均値を計算可能な関数である。
【００２７】
この第１の空間予測は、均一の領域に特に適応される。
【００２８】
第２の予測関数ｐｆ２は、Ｈ．２６４イントラ垂直予測に基づく。図５に与える記号を用いて、残留値は、以下のように計算される。
【００２９】
ｒ（ｉ，ｊ）＝ｘ（ｉ，ｊ）−ｂ（ｉ）
この第２の空間予測は、垂直に均一な領域に特に適応される。
【００３０】
第３の予測関数ｐｆ３は、Ｈ．２６４イントラ水平予測に基づく。図５に与える記号を用いて、残留値は、以下のように計算される。
【００３１】
ｒ（ｉ，ｊ）＝ｘ（ｉ，ｊ）−ａ（ｊ）
この第３の空間予測は、水平に均一な領域に特に適応される。幾つか他の空間予測も可能である。これらは、Ａ及びＢセグメントのみを使用するか、又は、復号化可能であるよＸに逆関数を適用することを共通に有する。
【００３２】
第４の予測関数ｐｆ４は、現在のフレームＦ（ｔ）における画素（ｉ，ｊ）のブロックＸと、直前のフレームＦ（ｔ−１）における同じ位置を有する画素（ｉ，ｊ）の対応ブロックＹを表す図６に基づく。この関数は、「コロケート（collocated）時間予測」と称する。図６に与える記号を用いて、残留値は、以下ように計算される。
【００３３】
ｒ（ｉ，ｊ）＝ｘ（ｉ，ｊ）−ｙ（ｉ，ｊ）
この第４の時間予測は、静的領域に特に適応される。「コロケート制限動き推定」と称し、ここでは、動き推定は、コロケートされたブロック内においてのみ行われる上述の予測関数の拡張を使用することも可能である。
【００３４】
第５の予測関数ｐｆ５は、「時間ヒストグラム予測」と称し、前のフレームにおけるコロケートされたブロックのヒストグラムを使用する。例えば、図７に与えるように、ｈ１及びｈ２がヒストグラムの２つの最大値である場合、残留値は、値ｈ１及びｈ２との値ｘ（ｉ，ｊ）の近接性に依存して、以下のように計算される。
【００３５】
ｒ（ｉ，ｊ）＝ｘ（ｉ，ｊ）−ｈ１  又は  ｒ（ｉ，ｊ）＝ｘ（ｉ，ｊ）−ｈ２
このために、この選択をデコーダに伝えるよう１ビットが伝送される。
【００３６】
この時間予測も、静的領域に適応される。
【００３７】
予測関数は、圧縮効率及び電力消費量の両方に関して独自の特性を有する。最も適切な予測関数が、費用値によって選択される。この費用値は、ランレングス符号化後の残留データの現在のブロックのエントロピーｈと、復号化されたブロックと基準ブロックとの間の再構成誤差ｍｓｅに依存する。
【００３８】
本発明の１つの実施例では、現在のブロックの費用値ｃ１は、以下のように計算される。
【００３９】
【数１】
2006518563.tif 000003
ただし、ｑは、現在のブロックの量子化ステップである。
【００４０】
最後に、この費用を最小限にする、現在のブロックを符号化する予測関数が選択される。
【００４１】
これらの様々な予測関数は、単一のブロックを符号化する様々な方法を提案する。これらの予測関数は、様々な種類の処理を適用することを考えると、これらは幾分電力を消費する。更に続けるに、本発明のビデオ符号化方法は、処理はビデオコーダの動作を装置の現在の利用可能なリソースに適応しようとするので電力スケーラビリティを取り入れる。この目的は、スイッチオフ状態を可能な限り遅くするためのより良好な電力管理と、全体の電力消費量の低減である。この結果、電池レベルが高い場合には向上されたビデオ品質をもたらし、このビデオ品質は、利用可能な電力が少なくなるにつれ徐々に低下する。従って、ビデオ符号化は、より長い時間の間利用可能となり、また、全体の消費量は低減される。
【００４２】
電力スケーラビリティは、ビデオコーダによって行われる先験的な選択によって得られる。利用可能なリソースに依存して、現在のブロックは、実際には、Ｎ個ではなくＭ個の関数を通され、電力消費量が低減される。ここで、Ｍは、Ｎ以下の整数である。図４は、この電力スケーラビリティを実施するビデオ符号化方法を示す。
【００４３】
以下の表は、電池レベルに依存して利用可能な予測関数と、例えば、インターユニバーシティ・マイクロエレクトロニック・センターＩＭＥＣによって開発されたツールといった既存のツールの使用に基づいて各予測関数に対し算定される電力消費量値を示すことによって上述の原理を示す。
【００４４】
【表１】
2006518563.tif 000004
費用値に依存して、ビデオコーダは、全ての利用可能なＭ個の予測関数から、現在のブロックに最も適応する予測関数を選択する。この例では、４つの電池レベルを決定した。高い電池レベルには、５つの予測関数が利用可能である。最も電力を消費する第５の予測関数が利用可能ではなくなる４つの予測関数は、第２の高い電池レベルに対し選択することが可能である。そして、第１の、第２の、及び第３の予測関数のみが、次の電池レベルに利用可能である。最後に、第１及び第２の予測関数のみが、低い電池レベルでは利用可能である。
【００４５】
当業者には、本発明は、上述した実施例に制限されず、請求項の範囲に包含される多数の代案があることが明らかであろう。例えば、代案は、異なる数の電池レベルと異なる数の予測関数を有する。
【００４６】
更に、このような電力消費量スケーラビリティ方法を実施する機器は、電池の現在の状況に依存して、２つの異なる瞬間において、異なる画質で、様々な方法で同じビデオデータブロックを符号化する。
【００４７】
請求項における任意の参照符号は、請求項を制限するとして解釈すべきではない。「有する」という動詞及びその活用形の使用は、任意の請求項に記載する段階及び素子以外の段階及び素子の存在を排除するものではない。単数形で示す素子及び段階も、そのような素子又は段階が複数存在することを排除するものではない。
【図面の簡単な説明】
【００４８】
【図１】従来技術及び本発明による電池レベルの関数としてのビデオコーデックの電力消費量を概略的に示す曲線である。
【図２】従来技術及び本発明による使用時間の関数としての電池レベルの進展を概略的に示す図である。
【図３】ビデオコーダを示すブロック図である。
【図４】本発明の低電力符号化方法を示すブロック図である。
【図５】空間予測関数がそこから計算されるブロック及びその近傍を示す図である。
【図６】時間予測関数がそこから計算される２つの連続フレームにおける２つのブロックを示す図である。
【図７】現在のコロケートブロックに対し時間予測関数がそこから計算される過去のフレームにおけるブロックのヒストグラムを示す図である。
【図１】
2006518563.tif 000005
【図２】
2006518563.tif 000006
【図３】
2006518563.tif 000007
【図４】
2006518563.tif 000008
【図５】
2006518563.tif 000009
【図６】
2006518563.tif 000010
【図７】
2006518563.tif 000011
【国際調査報告】
2006518563.tif 000012
2006518563.tif 000013
2006518563.tif 000014
2006518563.tif 000015
2006518563.tif 000016
2006518563.tif 000017