MVC

特 集

インタラクティブ視聴

４K・８Kサービスを実現する超高臨場感映像技術

映像配信

4Kライブ映像インタラクティブ配信技術

個人の嗜好が多様化する中，コンテンツ視聴者には，第三者に制作された映像コンテンツを選んで視聴するこれまでのやり方以上に，コンテンツ中の好みの被写体やシーンを選んでパーソナライズして視聴したいという欲求があると考えます．本稿では，普及しつつある4K映像をタイル状に分割して圧縮し，コンテンツ中の視聴者の見たい部分を好みの大きさで高画質にライブ配信することが可能なシステムについて紹介します．

映像のインタラクティブ視聴たい部分や大きさをピンチやフリック

た な かやすあき

田中 康暁

お ちだいすけ/越智 大介

NTTメディアインテリジェンス研究所

検討も重要です．などの操作によりインタラクティブに

そこで我々は，4Kクラス以上の画近年，映像配信サービスの充実や動変更して視聴することができます（図素数を持った映像ソースに対しても画共有サイトの人気などにより，個人

₁）．今後急速に普及が見込まれる

視聴者の見たい個所が見られるインタが視聴できるコンテンツの選択肢が増

4K ・ ₈K映像など従来のHDクラスよラクティブ視聴を実現するため，選択大していると同時に，STB（Set Top

り高精細な映像ソースを用いると，特された部分のみを効率的に配信するこBox）やスマートフォン，タブレットに携帯端末など表示領域の小さいデバとのできる圧縮 ・ 配信技術，そしてといった端末で，いつでもどこでも好イスにおいて，一部を拡大しても視聴

4K映像において，撮影から圧縮，配みの番組や映像を選んで視聴するスタに耐え得る十分な解像度を持たせるこ信に至るまでを実時間で行うことを実イルが定着してきています．しかし，とができるようになるため，視聴者が現した4Kライブ映像インタラクティ

昨今扱われるコンテンツの多くは，そ見たい位置や画角を自分で選んで視聴

ブ配信システムを構築しました．のカメラワークやスイッチング等，なするスタイルの有用性がさらに増すとるべく多くの視聴者が楽しめるような考えられます．一方，4Kクラス以上意図で制作されたものです．つまり，の画質を持った映像は非常にデータ量視聴者各々が興味を持っている被写が多いため，通信帯域や端末リソース体やシーンが画面に映らない場合もに負荷をかけない汎用的な配信方式のインタラクティブ視聴を実現するための技術■映像圧縮 ･ 配信技術
今回構築したシステムでは，視聴者あり，必ずしもすべての視聴者が満足できるものではないという課題があり視点移動ます．
このような課題を解決するため，
NTTメディアインテリジェンス研究

ソース映像（視点移動）

所では，視聴者個人がコンテンツ中のフリック

好みの被写体やシーンを能動的に選択

ズーム操作

し，より自分の嗜好に合った見方でコ（ズーム操作）

ンテンツをパーソナライズして楽しむことのできるインタラクティブ視聴技

インタラクティブ視聴術の研究開発を進めています．本技術によって視聴者は自身のスマートフォ

ピンチ

図₁

インタラクティブ視聴

ンやタブレットで，画面の中で特に見NTT技術ジャーナル 2014.259

４K・８Kサービスを実現する超高臨場感映像技術■ライブ配信向け高速化技術が選択した映像部分のみを効率的に配縮符号化された映像ストリームは配信するために，H.２₆4/AVC Annex H

信サーバに格納され，個々の視聴者のインタラクティブ視聴をライブで行（MVC: Multiview Video Coding） と要求に応じて，適切な位置 ・ 解像度のうためには，映像ソースから生成され呼ばれる映像圧縮規格を利用していまタイル映像が配信されることになりるタイルすべてのリアルタイム圧縮がす．本来この方法は，複数の映像ストます．

必要となり，一般的なH.２₆4/MPEG-リーム（例えば３D映像の右目用映像配信にあたっては，視聴者が選択す4 AVCなどのストリーム生成に比べと左目用映像）の時間同期を取りつつ，る視聴領域が含まれるタイルを高解像て大きなリソースと処理時間がかかそれらをまとめて映像圧縮するために度かつ高符号化レートで配信すると同るため，圧縮処理の高速化が必要になつくられた規格です．しかし今回はこ時に，画面のより広範囲をカバーするります．今回システムに実装した高速の規格を，映像ソースを小さなタイルタイルを低解像度かつ低レートで配信化処理は以下の ３ つです．

状領域に分割し，できた複数タイルをする工夫を施しています（図 ２（b））．

（1） モジュールI/O（Input/Output）

まとめて圧縮するのに利用しています

これにより，視聴者が視聴領域をラン（図 ₂（a））．具体的には，映像ソースダムに変更した場合でも，その位置の今回提案する圧縮システムは解像度とそれをダウンサンプリングした複数高解像度のタイルが要求され，配信さ変換 ・ タイル分割 ・ エンコード ・ 多重の解像度変換映像を生成し，圧縮シスれるまでの間，低解像度のタイルを視化のそれぞれのモジュールを多段に連テムにおいて，それらを複数のタイル聴することができるため，視聴者は映結する必要があり，各モジュールの処に分割します．次に，MVCを用いて像の抜け落ちがなく，シームレスな視理をシーケンシャルに実行すると，総全タイル映像を同期した映像ストリー

聴領域変更を体験することが可能とな

処理時間は各モジュールの処理時間のムとして圧縮符号化します．またこのるうえ，単純に高解像度の映像スト合計となり，遅延が大きくなってしまとき，各解像度の分割タイルに対してリーム全体を配信するよりもネットいます．そこで私たちはこの遅延を低複数の圧縮レートで符号化したマルチワーク帯域を効率的に利用できるとい減するため，モジュール内のデータ処

ビットレートデータ化を行います．圧う利点があります．

理とデータ入出力を非同期に行い，遅処理のパイプライン化

大映像ストリームの構成
タブレット端末A

View の配信を要求

・表示領域が含まれる
高解像度の View
・パノラマ全体をカバーする
最低解像度の View

解像度

A

解像度（ 1 ）

配信サーバ

B

B

A

2 つの View を配信

解像度（ 2 ）…

B

小解像度（n ）
View

（a）

（b）

図₂60

NTT技術ジャーナル 2014.2

4Kインタラクティブ配信技術

表示領域

高解像度と最低解像度のView を重畳表示

特 集

入力と出力の順序を一致させる
エンコードモジュールへ

…

…

…

時間

…

…

処理 n
処理 n- 1

…

時間

処理 2
処理 1

…

図3

…

分割タイル

…

…

…
入力フレーム

出力タイル列タイル分割のマルチスレッド処理

延が積み重ならない仕組みにしました．モジュール内部では「入力」「処理」「出力」の ３ ステージによるパイプライン処理が行われ，各ステージは異なメモリ内のデータるスレッドで実行されます．スレッド
間データ転送はアプリケーション内部データバッファ（FIFO＊ １ キュー）を符号化
プロセス

メモリ内のデータ映像データ符号化プロセス

映像データ介して行われます．
（2） タイル生成のマルチスレッド化
入力映像の解像度変換とタイル分割
処理は映像フレーム単位で処理を行います．このデータ処理には相互依存性

プロセスごとにデータをコピー

各プロセスが直接メモリにアクセス（a）従来方式（b）提案方式がないため，任意のフレームに対する

図4

データ処理を並列実行することで高速エンコードプロセスの共有メモリ化化しました．この場合，I/Oの順序制御が行われなければフレーム順序の入ます．

れ替わりが起きる可能性があるため，（3） 共有メモリによるマルチビッ

並列度分だけ処理ステージを異なるストレート対応

コピー量が低減します（図 ４ ）．

4Kライブ映像インタラクティブ
配信システムレッドで実行し，スレッドごとに個別本システムでは，同じ解像度 ・ 分割のFIFOキューを用意する構造にしま

位置のタイルを複数のビットレートでここまでの技術を実装したシステム

した．入力ステージではデータを各エンコードする場合，データを共有メを4Kライブ映像インタラクティブ配＊２

FIFOキューに単純ラウンドロビンモリにコピーし，各エンコードプロセ信システムとして構築し，研究設備の順 序 で 投 入 し， 出 力 キ ュ ー で は 各スが同じメモリにアクセスする方式にあるNTT武蔵野研究開発センタ（撮FIFOキューから入力側と同一順序でしました．これにより，同じ解像度 ・取り出します（図 ３ ）．同一順序でデー

分割位置のタイルデータは共有メモリ

タ投入 ・ 取り出しを行うことで，デーへの １ 回のコピー転送のみで済むこと

タ順序の入れ替わりを防ぐことができになり，プロセス間通信によるデータ＊1＊2

FIFO（First-In First-Out）：ある場所に格納したデータを，古く格納した順に取り出すようにする方式．
ラウンドロビン：際限のあるリソースを順繰りに割り振る方式．

NTT技術ジャーナル 2014.261

４K・８Kサービスを実現する超高臨場感映像技術

約 ₇ 秒遅延で映像のインタラクティブ

4 Kカメラ視聴を実現することが確認できました（図 ₆ ）．

H.264エンコードPC 1

HDMI× 4

今後の展望

ハブ

解像度変換・タイル分割PC

H.264エンコードPC 2

今回の実験により，4Kクラス以上の画素数を持った映像ソースに対してH.264エンコードPC 3

視聴者の見たい個所を高画質に視聴で…

インフィニバンド

10GbE

きるインタラクティブ視聴をライブで

H.264エンコードPC n実現することができました．本配信視聴技術は，4K映像に限らず，₈K映像，配信サーバ

AACエンコードPC横長や全天周のパノラマ映像などにも適用可能です．また，より視点自由度の高い自由視点映像配信へと発展させ多重化PC

図₅

ライブ配信実験のシステム機器構成

NTT武蔵野研究開発センタなどの研究開発に取り組んでいます．

NTT横須賀研究開発センタ

実験室等
4 Kカメラるべく，３DV/FTV＊ ３ 国際標準化活動

サーバ室

4 Kエンコーダ

80〜160 Mbit/s

再生端末

4 〜15 Mbit/s

図₆

4 Kデコーダ
配信サーバ

ライブ配信実験の構成影）～ NTT横須賀研究開発センタ（圧回２２台設置しました．映像撮影は市販縮 ・ 配信）～ NTT武蔵野研究開発セの4Kカメラを使用し，３₀ fps, HDMIンタ（再生）においてライブ配信実験

× 4 本分の映像ソースを撮影地でを行いました．

MPEG- ２ のエンコーダにて，合計約機器構成の概要を図 ₅ に示します．

₈₀ ～ １₆₀ Mbit/s程度に圧縮符号化し，各PC間のデータ送信には理論スルー

ネットワークアダプタを用いてネット

プット₅₆ Gbit/sのインフィニバンドワーク経由で遠隔地に送信しました．

FDR（Fourteen Data Rate）（4X）

そこで映像のデコード処理後，インタを用いています．エンコードPCは今ラクティブ視聴のためのエンコードPCへ入力しました．エンコードPCで＊3

62

3DV/FTV： 国 際 標 準 規 格 団 体MPEGとITU-Tの合同チームJCT-3Vで検討が進められている，多視点映像とデプスマップで構成される三次元映像符号化方式の国際標準規格．ベースとなる圧縮方式により，3D-AVC，3D-HEVCなど複数の規格を検討中．

NTT技術ジャーナル 2014.2

圧縮符号化された映像は，リアルタイムで配信サーバへ転送され，ネットワーク越しにいる視聴者は配信サーバへ接続することで，
約 4 ～ １₅ Mbit/s，（左から）田中 康暁/ 越智 大介
昨今のコンテンツの増大に伴い，視聴者の方々の視聴形態 ･ スタイルは今後も多様化してくると考えられます．今後もそのような視聴動向にタイムリにこたえられるような研究開発を推進させていきますので，皆様からの助言をお待ちしています．

◆問い合わせ先NTTメディアインテリジェンス研究所
画像メディアプロジェクト
TEL ₀4₆-₈₅₉-₈3₂₆
FAX ₀4₆-₈₅₉-₂₈₂₉
E-mail ochi.daisuke lab.ntt.co.jp