スポットライト

超高臨場感ライブ体験（ILE）の標準化活動について
日本電信電話株式会社

NTTサービスエボリューション研究所 主任研究員

とのむら

よしひで

いまなかひで お

外村

ネットワークテクノロジセンタ 主幹技師

今中

日本電信電話株式会社

NTTサービスエボリューション研究所 主幹研究員

田中

日本電信電話株式会社

NTTサービスエボリューション研究所 主任研究員

日本電信電話株式会社

NTTサービスエボリューション研究所 主幹研究員

NTTアドバンステクノロジ株式会社

喜秀
秀郎

た なか

きよし

もりずみとしはる

すず き

けん や森住鈴木清

俊美
健也

1．はじめに電話株式会社）よりILEの検討（Focus Groupまたは課題

近年、様々なタイプのヘッドマウントディスプレイの登の設置）の提案がありILE AHG（Ad Hoc Group）にて審場などにより「仮想現実（バーチャルリアリティ）：Virtual

議が行われた。

Reality（VR）」や「拡張現実：Augmented Reality（AR）」

NTTからの提案では、まず近年、FIFA（Fédérationへの期待が高まっている。特に、近年のVR技術は仮想空Internationale de Football Association）ワールドカップ

間にユーザーを没入させることにとどまらず、ユーザーのやNFL（National Football League）スーパーボウル、オ

現実空間に距離の離れた別の現実空間を擬似的に重ね合

リンピック・パラリンピック競技大会など、世界規模のスわせるなど、人間が知覚する限りにおいては現実と変わらポーツイベントに対してパブリックビューイングというスない効果を限定的にではあるが提供できるところまでに発タイルで観戦するニーズが高まっていることや、コンサー展してきた。このような流れの中で、MPEGや3GPP等の標トやオペラ/歌舞伎といった舞台芸術を映画館などの大ス準化団体でVRやARの標準化が開始されている。これらのクリーンで鑑賞するスタイルが定着しつつある。これらの技術をさらに拡張し没入感を深めたライブ体験を伝送する

観戦/鑑賞スタイルでは、共通した志向を持った観客が競超高臨場感ライブ体験（ILE：Immersive Live Experience）

技を同時に観戦することで新たな相乗効果が期待できるほの標準化が、ITU-T（国際電気通信連合 電気通信標準化

か、ライブ観戦では実現できない演出効果を付加するなど部門）研究委員会SG16（Study Group 16）で開始されるのメリットがある。しかしながら、現行のパブリックビューことになった。

イングサービスでは「臨場感」が不足しており、実際の会ILEを検討する新課題は2016年5月のSG16会合において設置が合意され、9月のIPTV GSI（Global Standards Initiative）場に行き観戦したいというニーズの方が勝っているようであった。

イベントより標準化活動を開始した。その後、2016年10月

この臨場感の不足という問題に対し、NTT研究所にてに開催されたWTSA-16にて、新会期（2017年〜 2020年）に研究開発が行われているイマーシブテレプレゼンス技術

おいてはISO/IEC JTC1/SC29/WG11（MPEG）らと積極

Kirari! が紹介された。Kirari! では、複数の超高精細な映的に連携を図っているSG16にて課題8として標準化作業を像や高品質な音声を、最新の標準化技術（HEVC/H.265［1］推進することが決定した。

やMPEG4-ALS［2］）にて効率的に圧縮を行い、メディア伝本稿ではSG16におけるILEの標準化動向を概説するとともに、今後の活動についての展望を述べる。

2．超高臨場感ライブ体験ILE設立の背景

送規格MMT［3］に独自の拡張を行ったAdvanced MMTにて同期伝送し、疑似3D映像を用いて空間再構築を行うことで、パブリックビューイング等の環境においても高臨場感を保てることを実証している［4］［5］。これらKirari! の活動

ITU-T SG16会合が2016年5月23日〜 6月3日までスイスを通じ、近年のメディア処理技術/バーチャルリアリティ（ジュネーブ）にて開催された。期間中、NTT（日本電信技術を適用することにより、従来よりも高臨場なパブリッ14

ITUジャーナル

Vol. 47

No. 5（2017, 5）

クビューイングが可能であることを訴求し、日本、韓国、Item）として 1）ILE要求条件勧告、2）ILEフレームワー

中国、ブラジルらの支持を得て、新課題ILEの検討が開始

ク勧告、3）ILEユースケース技術文書、の検討が開始さされるに至った。議論中、新課題ILEの主な検討項目としれた（手続き上のルールに従い、正式な新規WIの承認はてあがった項目を下記に示す。
・ILEシステムとサービスのスコープと定義、サービスドメイン

2017年1月のITU-T会合にて行われた）。ドラフト文章として、ILE要求条件勧告では、主要な要求条件として、視聴サイトの大きさに合せて画像を再構成すること、投影する・ILEシステムとサービスのユースケースと要求条件

画像は等身大もしくは物理的な物体との大きさを合わせる

・ILEシステムのアーキテクチャこと、音声は投影されたオブジェクトの方向から聞こえる・ILEアプリケーションの表示系プロファイルようにすること、音声、画像、照明などを同期して転送す・空間情報を含むコンテンツプロビジョニングることなどが記載された。

・ILEのマルチメディアアプリケーションフレームワーク

ILEフレームワーク勧告では主要な要求条件を満たす・実装、操作、サービス提供を効率的に行うクラウドコ

アーキテクチャとして、イベント会場側、視聴会場側、信ンピューティング技術の活用
・マルチディスプレイやマルチスピーカ、照明装置を組み合わせたILEサービスの表示系・ユースケースに合わせたILEコンテンツのメタデータとメディアフォーマット
・ILEコンテンツの視覚的効果に関するクオリティ評価
基準の制定号処理部で構成される図1のハイレベルアーキテクチャ構成が合意された。図1に示すイベント会場側では、空間位置情報を含めた画像を取得する機能や、3次元の被写体情報を収集する機能が記述され、信号処理部では取得したデータから提示しやすいフォーマットへの変換処理や、取得されたデータには入っていない選手の位置情報や照明等の演出情報を解析処理等により付加される機能が記述

なおFocus Groupの設置に関しては、ワークショップをされた。視聴会場においては、視聴会場側で取得した3次開催することや、課題の運用方法により設置しなくとも目元的な空間情報を、複数のスクリーンを効果的に用いて投的が達成できる見込みとなったため見送られた。

影することで視聴者に3次元的に再構成して提示する機能

3．これまでのILE審議内容などが記述された。
ILEユースケース技術文書では、NTTにて研究開発が第1回のILE審議は、2016年9月12日〜 16日にITU-T

進められているKirari! が、概要、構成要素、主要技術、IPTV GSIイベントの中で行われ、第2回のILE審議は、実施例として記載された。実施例として、図2に示す空手2017年1月16日〜 27日にITU-T SG16会合中に、いずれも競技の遠隔配信実験の例や、歌舞伎を題材とした日米遠スイス（ジュネーブ）にて行われた。ILE AHGでの合意

隔高臨場上映実験の例などが記述された。に基づき、ラポータはNTTの今中が務めた。
ILEの審議では初期標準化項目の合意のため、（A）ILE

4．ILEワークショップの開催内容の例としてKirari! の紹介とILE定義の合意、（B）ILEの初ILEの知名度の向上、他の標準化技術とのギャップ分析

期標準化項目の合意が行われた。まず、ILEは新しい概念などを目的に、2016年9月に行われたITU-T GSIイベント期であるためILEの定義が議論され、下記のように合意され間中及び2017年1月に行われたITU-T SG16会合中にそれぞた。
（和訳）

れILEワークショップが行われた。

“Immersive Live Experience（ILE）：センサ情報収集、第1回 ILEワークショップでは、ユースケースのセッショメディア処理、メディア転送、メディア同期、メディア表

ンでNTTの外村よりKirari! の紹介があり、Harmonicの示などのマルチメディア技術の組み合わせで実現された高Thierry Fautier氏よりVRの市場動向、実施例の報告があっ臨場感により、あたかも遠隔会場の観客が実際のイベントた。また、
ILE関連技術及び標準化ギャップ分析のセッショ会場に入り、観客の目の前で実際のイベントを見ているか

ンでは、Fraunhofer HHIのCornelius Helloge氏からVRスのように、イベント会場と遠隔会場の両方の観客の感動をトリーミング技術の最新動向、B〈〉ComのLudovic Noblet氏刺激する共感視聴経験。
”からDVB（Digital Video Broadcasting）でのVRに関する次に、初期標準化項目の合意のため新規WI（Work技術レポートの紹介、OKIの山本氏より8Kを用いた高臨

ITUジャーナル

Vol. 47

No. 5（2017, 5）

15

スポットライト■図1．ILEのハイレベルアーキテクチャ構成■図2．Kirari! による空手競技の遠隔配信実験（協力：全日本空手道連盟）

場IPTV配信実験などが紹介された。

ブサービスに向けた取組みが紹介された。

第2回 ILEワークショップでは、ILEの実装例のセッショ

第1回、第2回のワークショップで共通した点としてVRンで第1回と同様にNTTの外村よりKirari! の紹介があり、の応用として近年の盛り上がりがブームであるのか、生活

Fraunhofer FOKUSのLouay Bassbouss氏より360°全天周に根付いたものになるのか、MPEGやDVBといった標準映像の取組みについて、KTのHoerim Choi氏よりICT技術化団体も見極めきれていない状況が浮き彫りとなった。しを活用したスタジアムソリューションの紹介があった。ILEかしながら市場ニーズや要望としては高い期待が向けられ関連技術及び標準化ギャップ分析のセッションでは、NHKており、今後の技術的ブレイクスルーやフレームワークのの青木氏より超高臨場8K放送の取組みの紹介、Qualcomm共通化、ビジネスモデルの構築など今後も継続的に連携のThomas Stockhammer氏よりMPEGにおけるVRの標準していくことが確認された。なお、ITUホームページにそ化動向の解説、EBUのDavid Wood氏よりDVBのイマーシれぞれの講演の資料［6］［7］などが掲載されている。

16

ITUジャーナル

Vol. 47

No. 5（2017, 5）

5．TTCにおける標準化活動

どに対して機能レベルでの互換性の担保を行うなど、よりITU-TでのILEに関する課題の設置に伴い、国内では広範囲にILEサービスが浸透する議論を行う必要がある。

TTC（情報通信技術委員会）において、主にSG16で扱う「バーチャルリアリティ」への期待が高まっており、様々マルチメディアに関するテーマについて標準化を行うマルな団体で標準化が進展すると考えられる。技術的に類似

チメディア応用専門委員会と音声符号化や画像符号化、点が多いILEの標準化活動も、関連団体と協調を取りつつFAX等の符号化技術を担当するメディア符号化専門委員効率的かつ効果的に実施することが望ましい。一方、技術会の合同アドホックとして、ILE技術検討アドホック（ILEの進歩はめざましく、誰もが有しているスマートフォンにAdhoc）が2016年8月に活動を開始した 。ILE Adhocでは、てVRを体験できるようになったことは既に古く、現実にILE技術を中心に技術の応用（ユースケース）や要件から様々なものを投影する「複合現実：Mixed Reality（MR）」

国際標準化を検討し、ILEを含め将来の超高臨場感コミュデバイスも今後より広範囲に浸透してくることが予想されニケーション分野への展開を視野にスコープから議論をている。日本の産業界として、産学官の協調体制のもと世行っている。2016年12月にはTTCセミナー「超高臨場感界をリードするILEの普及促進のため、ITU-T及び日本国内ライブ体験（ILE）の実現にむけて」を開催し、NTTやの関連団体で活発な議論を実施していくことが望ましい。

［8］

NHKの技術デモを交えてILEに関する技術紹介を実施するとともに、NexCDiフォーラム（映像配信高度化機構）におけるパブリックビューイングに関する取組みを紹介し、80名の参加者に標準化の有用性を共有した［9］。

6．今後の展開についてILEサービスの国際接続を実現することで、世界的なスポーツイベントなどを世界に配信し、世界で感動を共有する、という目的を達成するため、今後は、より詳細な機能やIF（インタフェース）仕様の規定などを継続議論していく予定である。標準化作業を進めるには、現行のシステムとの親和性を担保する必要があるほか、適用範囲を拡大する試みも重要となる。そのため、国内の同様の活動を行っているNexCDiフォーラムらとの連携を通じ、4K/8K、3D、多チャンネル立体音響など次世代コンテンツの普及につながる仕様制定を推進していく予定である。また、今後、ビジネス化が進むと予想されるスタジアムソリューションな参考文献［1］ ISO/IEC 23008-2 Information technology -- Highefficiency coding and media delivery in heterogeneousenvironments -- Part 2：High efficiency video coding［2］ ISO/IEC 14496-3：2009 - Information technology -Coding of audio-visual objects -- Part 3：Audio［3］ ISO/IEC 23008-1 Information technology -- Highefficiency coding and media delivery in heterogeneousenvironments -- Part 1：MPEG media transport（MMT）［4］“競技の感動を世界中で共有できるサービスに向けた技術開発”NTT技術ジャーナル27（5），10-14, 2015-05［5］“イマーシブテレプレゼンス技術“Kirari!”のコンセプト”
画像電子学会年次大会予稿集 43rd NO.T2-2, 2015［6］ http://www.itu.int/en/ITU-T/gsi/iptv/Pages/201609
WSILE.aspx［7］ http://www.itu.int/en/ITU-T/studygroups/2017-2020/
16/Pages/ws/201701_ILE.aspx［8］ http://www.ttc.or.jp/j/info/bosyu/ilead20160704/［9］ http://www.ttc.or.jp/j/info/seminar/history/rep20161206/

ITUジャーナル

Vol. 47

No. 5（2017, 5）

17