映像符号化

特 集

H.265/HEVC

4K・8Kサービスを実現する超高臨場感映像技術

映像配信

世界最高性能のHEVCソフトウェアエンコードエンジン
近年，高精細映像「4K」「8K」の配信に対して世界的に注目が集まっています．また，一方でモバイル端末向けの動画サービスが急速に発展する中，映像符号化技術の圧縮性能の向上も期待されてきました．そうした中，2013年 ４ 月に映像符号化に関する国際標準規格H.265/MPEG-H（HEVC:High Efficiency Video Coding）が制定されました．本稿では，NTTメディアインテリジェンス研究所で開発した，H.265/MPEG-Hに準拠した世界最高性能のソフトウェアエンコードエンジンを紹介します．

いそかずゆきた に だりゅういち

おな お き磯和之

谷田 隆一の小野 尚紀

きたはら

ま さ き/北原 正樹
み た さ きときのぶ

し み ずあつし/三反崎 暁経/清水淳

NTTメディアインテリジェンス研究所ています．今回私たちが開発したソフ代わりに演算処理の負荷が高く，莫大トウェアエンコードエンジンでは，最な処理時間がかかっており，実用的な大で約2.5倍の圧縮性能を実現しまし

レベルのエンコードエンジンの開発に近年，高精細映像「4K」「8K」の映像た．これにより，同等画質であれば，至っていませんでした．今回開発した

配信に対し，世界的に急速に注目が集

従来よりも動画のデータ量を最大でHEVCソフトウェアエンコードエンジまっています．4K ・ 8K映像の膨大な60％削減（H.264比）できることにな

ンは，独自の高速圧縮技術によりフルデータを高画質なまま伝送するためにります．

HDの映像をコンテンツ再生時間の 5

世界最高レベルのソフトウェア
エンコードエンジン

は，高い圧縮性能の映像符号化技術が必要となります．一方，モバイルの通信環境は，LTEなどの普及によりHEVCソフトウェアエンコード
エンジン倍程度の時間で圧縮することができます．この「 5 倍」という数値は，一般的に実際のコンテンツ制作を行う際の大容量化が進み，スマートフォン向NTTメディアインテリジェンス研

実用的な処理時間の目安であるといわけの動画サービスが急速に普及して究所では，画像の特徴を考慮し，効率れており，ソフトウェアエンコードエいます．従来の映像配信サービスの的に符号量を分配できる技術を開発

ンジンが高い圧縮性能と高速な処理速多くでモバイル対応が進む中，通信事し，世界最高性能のHEVCソフトウェ度を両立させていることを示していま

業者は急増する通信トラフィックへアエンコードエンジンを実現しましす．また，今後の映像配信サービスのの対応を迫られており，動画 ・ 映像

た．さらに実際のIPTVサービスなど市場拡大を見据え，高精細映像4K ・コンテンツのさらなる高圧縮化が強への適応を考え，安定した映像配信を8K向けのMain 10 Profileにも対応しく期待されています．そのような中実現する符号量制御技術と，実用的なています．次に，NTTメディアインで，NTTメディアインテリジェンス時間で圧縮を行う高速化技術を開発しテリジェンス研究所が開発した技術に研究所では，最新の映像符号化に関ました．IPTVサービスなどにおいてついて詳しく述べます．

す る 国 際 標 準 規 格H.265/MPEG-H

映像を快適に視聴するためには，ネッ（HEVC: High Efficiency Video

トワークを流れる情報量を平準化しCoding）のMain/Main 10 Profileに準て，効率的に映像を送る機能が必要で拠した，世界最高レベルの動画圧縮性

すが，国際標準規格の中に含まれてい限られた符号量の中で画質を向上さ能を持つソフトウェアエンコードエンません．そこで私たちは，統計的な情せるためには，その符号量の配分が重ジンを開発しました．動画データを圧報を使って効率的に符号量を分配す要となります．
人間の視覚特性として，縮 す る 場 合， 従 来 の 国 際 標 準 規 格

る，独自の符号量制御技術を開発しま

映像中の複雑なパターンが存在する領

H.264/AVC（H.264）と比較すると，した．

域の歪みには気付きにくいということ

HEVCは 2 倍の性能があるといわれこれまでHEVCは，圧縮性能が高い高い圧縮性能を実現する

「局所QP変動処理」

が知られていますが，例えば図 1 のよNTT技術ジャーナル 2014.255

4K・8Kサービスを実現する超高臨場感映像技術

うに， 1 枚の画像において，人の顔のの帯域の中で配信するために，各フ化した画像の発生符号量をヘッダ情報ある領域では複雑なパターンは存在しレーム，各領域に割り当てる符号量の量と映像情報量の 2 つに区分し，それないため，符号化を行った際，歪みが配分を細かく制御する技術です（図ぞれ独立に統計処理を行います．この生じると目立ちます．一方，背景の森

2）．NTTメディアインテリジェンス

統計処理の結果を使って，次に符号化の部分は，木の枝や葉によって色の変研究所では，H.264エンコードエンジを行う画像の発生符号量を高精度に推化が多く複雑なパターンが存在していンの開発などを通じて長い間培ってき定することが可能です．HEVCでは，るため，符号化によって歪みが生じたた技術です．具体的には，過去に符号H.264と比較し，より多くのフレームとしても目立ちにくい傾向があります．そこで画像中のパターンの複雑さを計測し，複雑なパターンが存在する複雑度が高い領域

注視領域領域の符号量を削減することで，符号化効率を向上させる技術がよく用いられています．
私たちは，さらに複雑なパターンが存在する領域の周辺領域との関係性と，時間的な変化に注目し，周辺領域も複雑なパターンで，かつ時間的な変化が大きい領域では，従来以上に符号量を削減しても主観的な画質の劣化がほとんど検知できないことを発見しました．そこで私たちは，画像の中の領域ごとに符号量の割り当てを制御する，独自の「局所QP変動処理」を開

図1

映像の性質と主観画質の関係発しました．具体的には，符号化を行う前に画像を解析し，複雑なパターンが存在する領域を検出します．複雑なパターンが存在する領域については，周辺領域との関係性，および時間的な変化の度合いを考慮しながら積極的に符号量を削減する制御を行うことで，映像全体としての圧縮性能を向上させ再生機器

一定帯域の回線満杯になったら受信ができない！

CBRで送信
配信サーバ空になったらデコードができない！

受信バッファ

御技術

デコード処理部
30フレーム/秒の速度でデータを消費ました．

映像を安定的に伝送する符号量制

受信バッファ充足率した符号量制御技術が必要となります．符号量制御技術とは，映像を一定

56

NTT技術ジャーナル 2014.2

TV（表示）

受信バッファの上限

IPTVなどの映像配信サービスにおいては，高い圧縮性能とともに，安定復号画像

受信バッファの充足率推移

図2

符号量制御の概要

時刻
CBR: Constant Bit Rate

特 集を 1 単位とした「ランダムアクセス」

ためには，すべてのブロックサイズと重要な圧縮モードの 1 つにスキップと呼ばれる階層的で複雑な参照構造を圧縮モードの組合せを比較する必要がモードがあります．スキップモードの用いることにより，圧縮性能を高めてあります．しかし，単純にこの組合せ概念図を図 5 に示します．スキップいます．そこで階層的に統計処理を行を比較すると，膨大な演算時間がかかモードでは，画像中の被写体の動きをうことで，HEVCにも対応した符号量ります．そこで私たちは，画像中に存表す動きベクトルを基に，過去の画像制御技術を実現しています．

在する類似性の高い領域や局所的に複中のブロックをコピーすることで符号雑な領域を分析して，高速に処理をし化します．HEVCではスキップモードながらも圧縮率の低下を抑制できる方の適応範囲が広がり，画面中の大部分法を開発しました．

をスキップモードで圧縮することで圧実用的な時間で映像符号化処理を実現
映像を符号化する際，各画像を正方HEVCでは，図 3 に示すように，映像縮性能を高めることができます．そこ形のブロックに分割して処理します．のパターンが複雑な領域では小さいブで，スキップモードを選択した場合のHEVCでは，H.264よりも圧縮性能をロックサイズを，簡単な領域では大きい画質を推定し，スキップモードが適切向上させるために，ブロックサイズをブロックサイズを選択することで高い圧だと判断できる場合には，ほかの圧縮四通りから選択することができます．

縮率を実現できます．さまざまな映像にモードによる符号化を試さないように

また，各ブロックに対して多数の圧縮

対するブロック分割結果を分析すると，処理を打ち切ることで，大幅な演算時モードが用意されており，最適なブ画面内の連続した領域においては，分割間を削減しました．具体的には，符号ロックサイズと圧縮モードを選択するした際にも画像的な特徴が類似している化の対象ブロックの動きベクトルとすため，比較的近いサイズのブロックに分でに符号化が完了している隣接ブロッ割しても，圧縮率の低下がわずかである

クの動きベクトルを比較することで，ことが分かりました．この知見を利用し両ブロックが同じ被写体にあることをて，圧縮が完了している隣接領域（画面判断します．同じ被写体にある場合にの左上から右下まで順番に圧縮）のブは，スキップモードで対象ブロックをロックサイズを考慮し，ブロックサイズ符号化した際の画質と，隣接ブロック候補をあらかじめ絞り込むことによっ画質を比較し，同等の画質画実現できて，演算時間を短縮する方法を開発しまる場合にはスキップモードが適切であした（図 4 ）．

ると判断します．これにより，多数の

図3ブロック分割の概念図また，圧縮性能を向上させるための圧縮モードを試す必要がなくなり，大幅に処理時間が削減できます（図 6 ）．
次に，スキップモード以外の圧縮モードの場合，過去の画像との差分（予測差分）に対して線形変換＊を行って圧縮しやすいデータに変換したうえで圧縮対象領域

圧縮対象領域符号化します．HEVCでは線形変換の方法も多数から選択できるようになっています．すべての線形変換の方法を近隣に大きいブロックしかないため，大きめのブロックのみ候補とする

図4

近隣に小さいブロックが 1 つでもあれば，小さめのブロックを候補とする

ブロック分割の候補選択の概念図＊ 線形変換：映像圧縮の際，データ量を削減するため，圧縮対象のブロックと過去の画像ブロックとの差分データに対して行う変換処理．代表的な変換処理としては，離散コサイン変換があります．

NTT技術ジャーナル 2014.2

57

4K・8Kサービスを実現する超高臨場感映像技術

コーダがセットになったソフトウェア
コーデック開発キットとして販売されスキップモードでは動きベクトルが指すブロックをコピーています．
今後も高画質な映像配信サービスなどはますます発展していくと考えられ動きベクトル
符号化対象ブロックます．そのような中，さらなる映像圧縮性能の向上が求められていくでしょう．NTTメディアインテリジェンス
研究所では，引き続き研究開発に邁進し，4K ・ 8K映像配信をはじめとする符号化済み画面
符号化対象画面新しい映像配信市場の拡大に貢献していきます．

図5

スキップモードの概念図

被写体A
被写体B

圧縮済みブロック

圧縮対象ブロック・圧縮済みブロックと同じ被写体に属すか？
・同じであれば，スキップモードで圧縮済みブロックと同じ画質を実現できるか？

YESであれば，スキップモードに一意決定

図6

スキップモード判定の概念図（左から）清水淳/ 磯和之/小野 尚紀/ 北原 正樹/

比較するには，膨大な演算時間がかか今後の展開ります．そこで，さまざまな映像を用いて実験を行った結果，最適な線形変今回開発したソフトウェアエンコー

換方法と，符号化対象領域の画像の複ドエンジンは，NTTアドバンステク

雑さ，およびブロックサイズの分布にノロジより，ソフトウェアコーデックは，一定の相関があることが分かりま開発キットとして商品化されていました．そこで画像の複雑さとブロックす．本エンコードエンジンが生成する分割状況から，線形変換方法を決定すストリームを再生するためのデコードることで演算時間を削減しました．

エンジンは，NTTアドバンステクノ
ロジが独自に開発し，エンコーダとデ58

NTT技術ジャーナル 2014.2

谷田 隆一/ 三反崎 暁経
今 回 紹 介 し たHEVCソ フ ト ウ ェ ア エ ン
コードエンジンは，継続的に映像符号化に関する研究開発を行った成果の1つです．将来的に映像技術の応用範囲が広がる中，今後も継続的な研究開発を進めていきます．

◆問い合わせ先NTTメディアインテリジェンス研究所
画像メディアプロジェクト
TEL 046-859-2657
FAX 046-859-2829
E-mail iso.kazuyuki lab.ntt.co.jp