超高臨場感通信技術 Kirari!

聖火リレー

特 別企画

特別企画：東京2020オリンピック・パラリンピック大会とNTT R&D

オリンピック・パラリンピック

カテゴリ2 東京2020を『彩った』NTT R&Dの技術

聖火リレートーチ記念撮影 × 超高臨場感通信技術
Kirari!
み は らよしゆき

な が た

ま さ み

は せ が わわたなべじゅんじ

ま つ い

た つ や

いわもとけいすけ

なかむら

た い じ

美原 義行 /長田 雅美 /長谷川 馨亮 /中村 泰治
ひであき

きのした

し ん ご

渡邊 淳司 /松井 龍也 /岩本 秀明 /木下 真吾
NTT人間情報研究所

概要

うにしました． 2 番目は「トーチ記念撮影コーナー錯覚バージョン」です．人のトーチ記念撮影コーナー
Kirari!バージョン

東京2020オリンピックの機運を醸成さ錯覚を誘発する特別な光を静止画にプロせるため，私たちは，東京2020オリンピッジェクションすることによって，動くはKirari! によってホログラフィックにク聖火リレーを多くの人に体験してもらずのない炎の写真が動いたように感じる

浮かび上がった錦織圭選手と，車内にいたいと考えました．その中で，聖火リ不思議な演出を提供しました．通常のパ入った体験者がバーチャルにトーチキス

レーを身近な体験として感じることがでネルの前での撮影とは異なり，静止画でができるトラックを用意しました（図きるように，トーチと記念撮影ができるありながらより動きのある体験を提供で

1）．ホログラフィック表示は，2D 空中

3 つの体験を用意しました．体験の 1 番

きます． 3 番目は，「トーチ記念撮影コー像表示（1）の仕組みを利用しています．具目は，実際にトーチを持っていただき，ナー歌舞伎バージョン」です．長い歴史

体的には，床面にディスプレイを設置し，超高臨場感通信技術 Kirari! を用いての伝統をつないできた歌舞伎と，地域をそれに対して斜め45度に透明スクリーンバーチャルにトーチキスを体験できる

つないでいく聖火リレーに掛け合わせて，を設置します．ディスプレイ上に表示さ「バーチャルトーチキストーチ記念撮影体験者が歌舞伎の隈取をバーチャルにしれる錦織選手の映像は，透明スクリーンコーナー Kirari! バージョン」です．実

た状態で，トーチ記念撮影ができる体験に反射・透過されステージ上に浮かび上験室や大掛かりな装置が必要だったです．

がったように見えます．

Kirari!の装置をトラック 1 台にパッケー

従来，このようなステージの設営は，ジ化して，全国どこへでも出展できるよトラス部材を設置し，透明スクリーンを

図1

Kirari!トラック外観

2021.1113

特別企画：東京2020オリンピック・パラリンピック大会とNTT R&D

斜めに張る作業などに時間を要していまるようにしました．

したカメラで撮影し，動画はインターネッした．今回のセレブレーションでは，毎トーチを持った体験者が所定の位置にト上のサーバに即座にアップされます．

日，移動・設置を行う必要があったため，立つと，錦織選手がホログラフィックに体 験 が 終 わ っ た 体 験 者 に は，動 画 のトラックに透明スクリーンを簡単に収浮かび上がり，バーチャルな錦織選手と，URL が組み込まれた二次元コードが発納・設置できる仕組みを実装しました．

リアルな体験者があたかも 2 人並んだよ

行され，撮影された動画を自身のスマホ結果として，従来は 1 日程度かかっていうに見えます（図 2 ）．錦織選手が立ちなどですぐに見える仕組みも提供しましたステージの設営を， 2 時間程度で完了上がって登場するパターンと，跪いて登た．錦織選手とのトーチキスの動画を自させることができました．また，121日場するパターンの 2 通り用意しました．

身 の ス マ ホ に ダ ウ ン ロ ー ド し た り，間全国を移動するため，開催場所や時期身長の高低を問わず，自然なトーチキスSNSに投稿したりすることができます．

によっては，日中の明るい中での展示がを体験できるようにしました．

■結果必要となります．そのため，プロジェク体験者からは，透明スクリーン上の錦聖火リレー期間中に新型コロナウイルタ投影ではなく，LED パネルを使用す織選手を直接見ることはできません．そス感染が拡大し，セレブレーションを中ることで，元映像の輝度が向上し，屋外のため体験者は，別に用意したモニタを止にする市町村も増えたため，当初計画での視認性が向上しました．私たちは，見ながら錦織選手のトーチの動きを確認よりは出展回数が少なくなりました．結これら機構を10t トラックの荷台部分にし，トーチどうしを近づけ，バーチャル果として，25都県34会場でKirari!トラッ構築しました．

トーチキスを行います．体験者が持ってクによるトーチ記念撮影コーナーを実施■体験の流れいるトーチには，赤外線センサが搭載さでき，延べ4498名の方に体験いただきま

体験者はまず，車両後部の出入り口かれており，トーチの位置を検出します．

した．ホログラフィックに浮かび上がっ

らトラック荷台部のステージに登り，ス

体験者のトーチと錦織選手のトーチとがた等身大の錦織選手のリアリティに驚く

タッフからトーチを受け取ります．出入接近すると，トーチの先端に聖火をモチー姿を多く見ることができ，体験者からもり口には階段状のステップだけではなく，フにした光が点灯します．

「聖火ランナーになったような体験を味リフトも搭載し，車いすの方も体験できこの体験の様子は，ステージ外に設置わうことができた」という声を多くいただきました．
聖火リレートーチのリアリティをより高めるために，火が灯っているかのような触覚を再現する仕組みを付加しました．これにより，視覚障がいを持つ方にも，トーチキス体験を楽しんでもらうことができました（図 3 ）．ホログラフィッ
クに浮かび上がる錦織選手とのトーチキ
スは，視覚的な体験であるため，視覚障がい者にとっては，それが，いつ，どのように行われるのか知ることができませんでした．そこで，トーチキスに合わせて持っているトーチが振動する機能を付けることで，錦織選手のトーチから自分のトーチに炎が移るという体験を，触覚図214

トーチ記念撮影コーナーKirari!バージョン体験の様子

2021.11的に感じてもらうことを可能にしました．

特 別企画

この仕組みは，トーチ内部に小型の振動素子を装着し，外部からの赤外線信号によってオン・オフするもので，視覚障がい者が体験する際には，スタッフがタイミングに合わせて振動のオン・オフを行いました．また，振動は，視覚障がい者が炎だと分かりやすいような工夫がなされました．この体験は，全国で 1 カ所（2021年 6 月30日横浜会場）のみの提供となりましたが，視覚障がいの方に実際に体験いただき，「点火した直後はジワジワという弱い振動だったのに，トーチを真上に掲げると強い振動になったので『火の強弱まで感じられるよう工夫され図3ているんだなぁ』と感激しました」とい

視覚障がいの方が体験している様子

う言葉もいただくことができました．

トーチ記念撮影コーナー
錯覚バージョン
この展示では，トーチを持った錦織選
手のパネルに，特別な光をプロジェクションすることで，パネル上の炎や背景の桜吹雪が動いているような錯覚を誘発します（図 4 ）．パネル上の特徴点に照射するため，位置合わせが重要となります．
各会場でこの位置合わせを正確に実施するため，プロジェクタをカメラと連携させて，パネル上の特定の位置に正確にプロジェクションする仕組みを採用しました．この仕組みにより，簡易に準備をす

図4

トーチ記念撮影コーナー錯覚バージョン体験の様子ることができ，運営を行う現地のスタッフでも設置することが可能となりました．
この展示は，3373組5616人に体験いただきました．動くはずのない静止画が動くことに，体験者全員が驚きの声を上げていました．

トーチ記念撮影コーナー
歌舞伎バージョン取」に着目し，ICT を活用して選んだ隈
取お面が顔に張り付く不思議な体験を提供してきました．この体験をコンテナにNTT は，伝統文化と ICT との組み合パッケージングし，福島県や熊本県をわせによって新しい体験を生み出す取り回って，ICT による楽しい体験を提供し組みを2016年から始めています．その中てきました．今回，地域をつないできたで，歌舞伎の特徴的な化粧法である「隈聖火リレーの「つなぐ」をテーマにした

2021.1115

特別企画：東京2020オリンピック・パラリンピック大会とNTT R&D体験として，「トーチ記念撮影コーナー歌舞伎バージョン」を提供しました（図5）．

■体験の流れ
体験者は，まず隈取の描かれた多くのお面の中から好みのお面を選びます（図6）．このとき，錯覚バージョンと同じ特別な光をプロジェクションしており，壁に掛けられた隈取のお面がふとした瞬間に表情を変えているように見える演出も行いました．お面を手に取りモニタの前に立ってお面を顔に重ねると，隈取を自動認識し，それが体験者の顔に化粧されます．この隈取は AR 的なもので，モニタの中では顔の表情や前後左右の移動

図5

トーチ記念撮影コーナー歌舞伎バージョンブースにリアルタイム追従して体験者の顔に隈取が張り付いたままとなります．モニタ
内の背景には，選んだ隈取に応じた演出が行われます．今回は，特別に聖火リレーをイメージした背景も用意しました（図 7 ）．この状態で，トーチを持ち，体験者は思い思いのポーズで写真を撮ることができます．次に，隣の部屋では，高さ1.2 m の巨大な立体顔面オブジェクトに，自分の隈取り顔がプロジェクションマッピングされ，体験者に驚きを与えました（図 8 ）．体験写真は，後日 SNSに公開され，ダウンロードできるようにしました．

■結果

この体験は，大阪万博記念公園と横浜

図6お面を選ぶ様子

赤レンガ倉庫広場の 2 カ所の聖火リレー
拡大版セレブレーションのみで提供する手にとってかざすと，選んだ隈取が自分予定でした．しかし，新型コロナウイルの顔に張り付くと笑いが起き，多くの方ス感染拡大の影響で，横浜赤レンガ倉庫が歌舞伎役者になりきり，トーチを構え新型コロナウイルス感染拡大の影響広場のみでの実施となりました．そこで，て記念写真を撮る光景を見ることができで，体験人数は計画より少なくはなりま

聖火ランナーとその関係者，合計82人にました．

した．しかしながら，体験を提供できた

体験いただきました．選んだ隈取お面を

16

2021.11

まとめ

会場では，体験者に驚きと笑顔を提供す特 別企画
ン会場にて，Kirari! トラックを運営してくださった，メンバの皆様へ感謝申し上げます．
■参考文献（1） 内田 ・ 足利 ・ 井元 ・ 我妻 ・ 日高：“イマーシブテレプレゼンス技術 “Kirari!” のコンセプ
ト,” 2015年度 画像電子学会第43回年次大会
予稿集, p.39, 2015.

図7

トーチ記念撮影コーナー歌舞伎バージョン体験の様子

図8

高さ1.2 mの巨大な立体顔面オブジェクトることができました．普段直接触れること人とをつないでいきます．とのない，研究所の先端技術と接することで，NTT の先進性のイメージにつなげることができたと考えています．

（上段左から）美原義行/ 長田雅美/

長谷川馨亮/ 中村泰治

（下段左から）渡邊岩本謝

辞運営に携わっていただいた，東京2020

NTT 研究所は，これからも ICT を活組織委員会の皆様，各自治体の皆様に感用した新しい体験の創造に取り組み，人謝申し上げます．また，セレブレーショ

淳司/ 松井龍也/秀明◆問い合わせ先

NTTサービスイノベーション総合研究所
E-mail svkoho-ml hco.ntt.co.jp

2021.1117