超高臨場感通信技術 Kirari!

聖火リレー

特 別企画

特別企画：東京2020オリンピック・パラリンピック大会とNTT R&D

ライブパフォーマンス

カテゴリ2 東京2020を『彩った』NTT R&Dの技術

聖火リレーセレブレーションステージ演出 ×
超高臨場感通信技術 Kirari!
なかむらた い じ

きのした

し ん ご

は せ が わけいすけ

み は ら

よしゆき

みやたけ

中村 泰治 /長谷川 馨亮 /美原 義行 /宮武たかし隆

木下 真吾
NTT人間情報研究所が行われました．当初は，5000人規模のGENERATIONS from EXILE TRIBE

一般観客を招待する予定でしたが，新型の ラ イ ブ パ フ ォ ー マ ン ス に お い て，2021年 3 月25日に福島県をスタートしコロナウイルス感染拡大のため，両会場

Kirari! を用いたコロナ禍ならではの 3

た東京2020オリンピック聖火リレーは，とも一般観覧は中止としオンライン配信

つの新しいステージ演出，①リモートパ

全国47都道府県を121日間かけて， 1 万としました．

フォーマンス，②リモートビューイング，概要

515人のランナーによってつながれましNTT 研究所は，通信によって，人々た．聖火リレーは，主に，聖火ランナーをつなぎ感動の増幅と共有をもたらす新の公道走行とその日の最終地点でのセレしいエンタテインメントやアートのありブレーションからなります．セレブレー方を探るために，超高臨場感通信技術

ションでは，その日の最終ランナーによKirari! を用いて歌舞伎や音楽ライブ，る聖火皿への点火，地元住民やスポンファッションショー，スポーツなどの超コロナ禍においては，アーティストどサーによる歌やダンスのステージ，聖火高臨場感ライブ中継やステージ演出の実うしでさえ集まることが難しくなってい

リレートーチ記念撮影コーナーなどの展

証実験を行ってきました（図 1 ）．

ます．特に海外など遠く離れている場合示出展が行われ，聖火リレーを盛り上げます．

③リモートファンコラボにチャレンジしました．

ステージ演出の詳細■リモートパフォーマンス

今回は，こうした実証実験の結果をはなおさらです．こうした環境でも通信

ベ ー ス に， 拡 大 セ レ ブ レ ー シ ョ ン ののちからを使って，あたかも同じ場所でNTT は，セレブレーションの拡大版として， 4 月13日の大阪と 6 月30日の横浜において「NTT Presents 東京2020
オリンピック聖火リレーセレブレーショ
ン 〜 CONNECTING WITH HOPE
ひとりひとりの，希望の光をつなぐ〜」を開催しました．この拡大版セレブレー

米国プロ野球（超ワイド映像ライブビューイング）

卓球（リアル卓球台とホログラフィック選手）

ションでは，聖火ランナーによって聖火が届けられるほか，GENERATIONS
from EXILE TRIBEのライブパフォーマ
ン ス，中 学 生 と EXILE ÜSA，EXILETETSUYAによる『Rising Sun -2020-』のパフォーマンス，書道家の武田双雲による「書」を使ったパフォーマンスなど

歌舞伎（リアル 1 人とホログラフィック映像 3 人の共演） 音楽ライブ（東京からオースティンにホログラフィック転送）

図1

Kirari!を用いた実証実験

2021.1123

特別企画：東京2020オリンピック・パラリンピック大会とNTT R&D

パフォーマンスをしているかのような体り上げることにチャレンジしました．本チャルな共有空間として見立てました．

験をつくることがこのリモートパフォー

来であれば，遠く離れた会場にいるアー

具体的には，図 ₂ のステージ上の①と②マンスの目的です．

ティストどうしをコラボレーションさせが遠隔地で，③の透明スクリーンが共有

今回のステージでは，離れた場所にいるのですが，今回は，模擬体験いただく空間です．①もしくは②で踊ったアーるアーティストたちによって『Chooために，ステージの 2 カ所を遠隔地としティストの映像が③に伝送されます．こChoo TRAIN』のロールダンスをつくて，ステージ上部の透明スクリーンをバーのとき Kirari! によって背景映像は切り取られ，アーティストのみの映像が伝送されます．③の透明スクリーンに映し出③透明スクリーンされた映像は，立体的に見えるため，あたかも本人がそこで踊っているかのような体験をつくり出します． 5 人のアーティストが順番に踊っていき，その都度，CONNECTING WITH HOPE①②

えていき（図 ₃（a）），最後，全員が踊り終わると 5 人の映像が 1 つに重なり合って一緒にロールダンスをしているようなステージ

図2

ステージ構成（a） リモートパフォーマンス（右下のアーティストがリアル，上部がバーチャルな映像）

図₃

2₄③の透明スクリーンにアーティストが増2021.11

演出にしました（図 3（b））．今回は演出（b） リモートパフォーマンス（完成時）

Kirari!による『Choo Choo TRAIN』のロールダンス

特 別企画を面白くするために，このような時間差■リモートファンコラボ

アーティストが来て一緒にパフォーマンをおいた演出にしましたが，技術的には，コロナ禍においては，ファンとアーティスをしてくれるかのような体験をつくる

一斉に踊るアーティスト全員の映像をリ

ストとの交流も難しくなっています．たことがこのリモートファンコラボの目的

アルタイムに抽出し，伝送することも可とえ，ファンが会場に行けた場合でも，です．

能です．

これまでのような握手会などの体験は難

今回は，メインステージにいるアーティ■リモートビューイング

しくなりました．こうした環境でも通信ストを，会場にいるファンの隣に転送す

のちからを使って，あたかも自分の隣にる 2 つのチャレンジを行いました． 1 つコロナ禍においては，ファンも本会場に行くことが難しくなっています．特に，大都市で開催される音楽ライブへ地方のファンが行く場合はなおさらです．こうした環境でも通信のちからを使って，あCONNECTING WITH HOPE

たかも目の前でアーティストがパフォーマンスをしているかのような体験をつくることがこのリモートビューイングの目

メインステージ

Kirari!トラック図₄

リモートビューイングの構成

図₅

リモートビューイングの様子的です．
今回は，メインステージにいるアーティストの映像を，ファンがいる別の遠隔ステージに転送することにチャレンジしました．本来であれば，遠く離れた遠隔会場に届けるべきですが，今回は，模擬体験いただくために，横浜会場内の離れた場所に設置した Kirari! トラックに転送しました（図 ₄ ）．Kirari!トラックには，メインステージと同様の透明スクリーンが設置されており，Kirari! によって転送されたアーティストがホログラフィッ
クに表示されることにより，まるで目の前に本人がきてパフォーマンスをしてくれているかのような体験をつくり上げました（図 ₅ ）．

2021.112₅

特別企画：東京2020オリンピック・パラリンピック大会とNTT R&D

は，ステージ上のアーティスト映像をの中から特定の被写体を抽出できる技術

出したい被写体の色の組み合わせを教師

Kirari! によって抽出し，ステージ上のです．NTT は，この技術を用いて被写データとして学習させておくことで，どモニターに表示されているファンの映像体抽出をシステム化した「KIRIE」 をの領域が被写体に相当するかを判定しに重ね合わせることにより，アーティス201₈年に開発しており，今回のステージます．

トと観客席のファンとの仮想的な「隣に演出にも活用しました．

（2）いる感」を実現しました（図 ₆ ）．もうKIRIE では，背景差分のみを用いた方の学習作業がいらないというメリットが

1 つは，同様に Kirari! によって抽出し式と，背景差分と機械学習を組み合わせある一方で，背景に近い色の被写体は抽たアーティストの映像を遠隔に設置したた方式の， 2 つの方式を切り替えて被写出しづらいというデメリットがあります．

Kirari! トラックに転送し，その中にい体抽出を行います．

さらに，背景が少しでも変化すると抽出るファンの隣にアーティストが転送され背景差分を用いる方式では，事前に被精度が低下してしまう，というデメリッてきたような感覚をつくり上げました．

写体がいない状態の画像を背景として取トもあります．他方，背景差分と機械学得しておき，その背景と撮影している映習を組み合わせる方式では，背景と被写像の差分をとることで，被写体が映って体の色が近い場合でも抽出できる，背景いる領域を特定します．の変化にも対応できる，などのメリット

技術

ここでは，Kirari! を構成する技術のがある一方，事前の学習作業が必要な点1 つである，任意背景リアルタイム被写

一方，機械学習を用いる方式では，前体抽出技術について説明します．任意背述の背景となる画像に加えて，被写体と景リアルタイム被写体抽出技術 とは，背景が同時に映った画像を複数枚撮影し今回のステージ演出では，出演者の方グリーンバック等を使わなくても，映像ておきます．そして，背景となる色と抽が前日のリハーサルに参加可能であり，（1）（a） アーティストが客席のファンの隣に転送され一緒にダンス

図₆

2₆

背景差分のみを用いる方式では，事前2021.11はデメリットとなります．

（b） アーティストがKirari!トラックの中のファンと交流

リモートファンコラボの様子

特 別企画

出演者の方が当日着用する衣装の色が決式でもおおむね良好な抽出結果が得られfrom EXILE TRIBE，出演者の皆様に感まっていた場合には，背景差分と機械学ました．また，KIRIE の処理遅延は平均謝いたします．

習を組み合わせた方式を用いることで，166 ms となり，低遅延かつ高精度なリより高精度な被写体抽出をめざしまし

アルタイム被写体抽出が実施できました．

た．一方，出演者の方が前日のリハーサルに参加できない場合などは，背景差分のみを用いた方式で被写体抽出を行いました．

結果

ま と め
聖火リレーの拡大セレブレーションにおいて，Kirari! を用いた 3 つのステー
ジ演出，リモートパフォーマンス，リモー■参考文献（1） 柿 沼 ・ 長 尾 ・ 宮 下 ・ 外 村 ・ 長 田 ・ 日 高：“機械学習を用いた任意背景リアルタイム被写体
抽 出 技 術，” NTT技 術 ジ ャ ー ナ ル，Vol.30，No.10，pp.16-20, 2018.
（2） 長 尾 ・ 宮 下 ・ 佐 野 ・ 長 谷 川 ・ 井 阪：“Kirari!
for Arena：奥行感のある 4 方向イベント観覧
体 験 の 創 造，” 日 本 画 像 学 会 誌，Vol.58，No.3, pp.306-315, 2019.

トビューイング，リモートファンコラボ

オンライン配信となった拡大版セレブを行いました．新型コロナウイルス感染

レーションですが，YouTubeLive では

拡大に伴い，一般観覧は中止となりまし10万回再生，最大同時接続数が1.2万接

たが，オンライン配信を通じて，数万人続，となるなど，多くの方にご覧いただの視聴者に，コロナ禍における新しいリくことができました．また，SNS でもモートエンタテインメントの可能性を示

多くの方からご好評をいただき， 9 割以し，好意的な評価をいただきました．

上がポジティブな反応となりました．

NTT 研究所は，今回のチャレンジを第被写体抽出については，リモートパ一歩として，ニューノーマル時代にふさフォーマンス，リモートビューイング，わしい新しいライブエンタテインメント

リモートファンコラボのいずれにおいてのかたちの創造に向け，さらに研究開発も高い精度で被写体抽出が行えました．

を推進していきます．

前日のリハーサルでは雨が降っていたが当日のリハーサルでは晴れた，といった謝辞

ように背景の色が変化しがちな条件にお今回のプロジェクト推進にあたり，一いても，背景差分と機械学習を組み合わ緒に検討を進めていただいた，東京オリせた被写体抽出により，視聴に問題ない

ンピック・パラリンピック競技大会組織委精度での抽出が行えました．また，当日

員会，大阪府，吹田市，神奈川県，横浜市，急遽演出が変更され，前日のリハーサルパートナー会社の皆様に感謝いたします．と異なる方が抽出対象となったケースもまた，拡大版セレブレーションのステーありましたが，背景差分のみを用いた方ジを飾っていただいたGENERATIONS（左から）中村
美原泰治/ 長谷川義行/ 宮武馨亮/隆◆問い合わせ先

NTTサービスイノベーション総合研究所
E-mail svkoho-ml hco.ntt.co.jp

2021.1127