高臨場感メディアサービスに向けたイマーシブテレプレゼンス技術 Kirari!と臨場感評価
高田 英明
日本電信電話株式会社 NTT サービスエボリューション研究所
E-mail: takada.hideaki@lab.ntt.co.jp
これまで、臨場感の高いコンテンツ視聴環境として、高精細プロジェクタと高度なサラウンドを用いた 4K デジタルシネマ、更にはメガネ式 3D 映像を用いた 3D デジタルシネマが広く一般化し、ビジネス的にも定着してきた。それに伴い、近年、これまで以上に臨場感の高いコンテンツや体験を提供する取り組みが始まりつつある。我々はこれまでに、あたかもその場にいるかのような超高臨場感をリアルタイムに世界へ配信するイマーシブテレプレゼンス技術”Kirari!”のコンセプトを打ち出し、高臨場映像音響系提示技術と共にリアルタイムに世界にメディア配信する取り組みを始めている。ここでは、Kirari!の概要と共に、精細度や精度など物理的スペックを中心とした従来の臨場感の比較・評価指標の枠を超えた、人の感覚や感性にも踏み込んだ臨場感評価の取り組みについても述べる。

Immersive Telepresence Technology and Evaluation Approach
Hideaki Takada
NTT Service Evolution Laboratories, NTT Corporation
E-mail: takada.hideaki@lab.ntt.co.jp
To achieve natural telecommunication, we have been researching an immersive live experience system using
several technologies. It reproduces a variety of events with an ultra-high realistic sensation modality using real-size
image, high fidelity audio and media transport technology. Our research results enabled us to propose an immersive
telepresence concept “Kirari!” for providing immersive live experiences and develop a life-size “Kirari!” prototype
system. Experiments were conducted to evaluate the influence of content expression from reality and experience in aplatform for the “Kirari!” system. This result indicated that "Kirari" is suitable for large-scale public viewing.

一方、コンサートやイベント会場などで、実在する人物と CG によるバーチャル映像とがあたか
臨場感の高いコンテンツ視聴環境として、映画も同じ空間に共存しコラボレーションする提示手館を中心としたデジタルシネマの普及が進んでき法も多々使われ始めている。ステージ上に透過率た。特に高精細プロジェクタと高度なサラウンドの高い透明拡散フィルムや紗幕を設置して映像をを用いた 4K デジタルシネマ、更にはメガネ式 3D投影したり、ステージの前にハーフミラーフィル映像を用いた 3D デジタルシネマが広く一般化し、 ムを斜めに設置することで別の場所に表示されたビジネス的にも定着してきた。それに伴い、近年、 2D 映像をステージ上の人物と同じ空間に虚像としこれまで以上に臨場感の高いコンテンツや体験をて重ね合わせる演出 4)(本稿では便宜上擬似 3D 表提供する取り組みが始まりつつある。
示と呼ぶ)など、大画面に加えてインパクトのあるその 1 つとして、これまでの映像と音響による演出をシンプルな構成で実現している。近年では、視聴覚だけでなく、力触覚や嗅覚までも積極的に常設型 VR シアター5)なども開設され、数多くのコ活用していくアトラクション型 4D シアターがンテンツがこれから上映されていくだろう。
徐々に広まりつつある。例えば、4DX1)や MX4D2)
我々はこれまでに、あたかもその場にいるかのなど従来の映画館とは大きく異なり体全体でコンような超高臨場感をリアルタイムに世界へ配信すテンツを体感するものや、4D 王 3)のような比較的るイマーシブテレプレゼンス技術”Kirari!”6)7) のコ
小規模で 360 度のメガネ式 3D 映像により高い臨ンセプトを打ち出し、高臨場映像音響系提示技術
場感を空間的に再現するものもある。

１． はじめに図 1 イマーシブテレプレゼンス技術”Kirari!”によるライブビューイングと共にリアルタイムに世界にメディア配信する取り組みを始めている。

２． イマーシブテレプレゼンス技術”Kirari!”
世界中の遠く離れた場所で大規模かつ盛大に行われている各種イベントを、あたかもその場にいるかのような超高臨場な体験としてリアルタイムに伝送するイマーシブテレプレゼンス技術”Kirari!”の研究開発が進んでいる。イベントの図 2 ハーフミラーフィルムを用いた 2D 虚像提示
主体となる演者や選手等を忠実に抽出して同期伝送し、伝送先の環境や状況に合わせて整合させることで、あたかも相手が目の前の同じ空間に共存するかのような体験を臨場感高く再現するものである(図 1)。また、2D 映像をステージ上の人物と同じ空間にハーフミラーフィルムを用いて等身大の虚像として重ね合わせる提示構成で、高い存在感を実現している(図 2)。図 3 に実際の大規模ホールで実施したイベントでの適用事例を示した。
Kirari!では、映像音響符号化技術だけでなく、次世代メディア伝送技術 MMT を用いた高臨場感
メディア同期技術 Advanced MMT など高度なメデ
図 3 大規模ホールで実施したイベントでの適用事例
ィア系伝送技術を適用しつつ、臨場感の向上に寄与する以下のような研究開発にも取り組んでいる。
① 被写体抽出技術
被写体の背景に特別な加工を施すことなく、自然体の映像から被写体部分のみリアルタイムかつ精緻に抽出する技術 8)である。抽出した映像を、被写体が演じている場所とは異なる場所に擬似3D 表示等を用いてあたかも立体的に見せることができる。従来実現し得なかった遠隔地に居るリアルな演者や選手との共演を実現している。
② 音像定位技術
スピーカを配置できない映像中の被写体そのものに音像を定位させるとともに、被写体の左右移動に追従して音像位置を制御する技術 9)である。
映像中の演者や選手の口元から声が観客へ直接届くような存在感の高い音響演出を実現している。
また、サラウンド音響では困難であった空間の中や視聴者の目の前にリアルに飛び出し定位させる波面合成音響技術 10)についても適用を開始した。
これらの技術を効果的に取り入れた Kirari!の実現によって、遠隔の複数の会場において行われるイベント空間をまるごと伝送し再現することで、遠隔地にいる世界中の観戦者の目の前であたかもイベントが繰り広げられるような体験を広く提供できる日も遠くないと考えている。

図 4 Kirari!による臨場感の 7 つの分類
⑥ 緊張感 (Tension)
・選手の緊張感、達成感が伝わる
・監督やコーチの緊張、興奮が伝わる⑦ 悦楽感 (Enjoyment)
・楽しい、ワクワクする、あっと驚く・想定してないことが起きる

３． 臨場感の評価

また、Kirari!のコンセプトから、今後、伸ばすべき重要な方向性を、「現場感」と「悦楽感」の 2
一般的に人の感性に密接に関わる臨場感を広く種類に仮定して評価を実施した。
平等な指標で測るのは難しい。また、感性は普遍
本評価では、バレエを題材に撮影した素材を無的なものではなく、人の嗜好によっても大きく左加工で表示した場合と加工した場合の印象の変化右され、かつ、利用シーン(コンテンツ)による差を図 5 の環境で比較した。評価に用いた形容詞対異も非常に大きい。
は、特段ネガティブな印象を持たない語彙 12)13)を我々は、まずは、Kirari!の活用シーンの 1 つで20 組抽出して用いた。例えば「現場感」は没入的、ある「スポーツ競技」に限定して臨場感を計測す
生き生きしたなどの形容詞対、「悦楽感」は派手ることを試みた。
最初に、臨場感の「感」を分類することを試み、 な、活気あるなどの形容詞対としている。
図 4 に示す 7 種類を定義 11)した。
① 現場感 (Reality)
・実際にそこにいるかのような臨場感、解放感、スピード、盛り上がりを感じる
・会場で起きている様々なものを見ることができる② 共鳴感 (Compathy)
・会場で皆で盛り上がれる、皆で選手を応援できる
・選手と観客のコミュニケーションを感じられる③ 連続感 (Sequentiality)
・競技の流れが伝わる・複数の競技が並列しても、競技の流れがわかる④ 理解感 (Understanding)・スポーツの勝ち負け、途中経過を知る事ができる・選手やチームのプロフィール/ルールを理解できる⑤ 感動感 (Sensation)・コンテンツを見ることで、感動できる・選手や監督、チームのドラマ、物語が伝わる

図 5 評価環境図 6 評価に用いた形容詞対と評価結果

図 7 評価結果の模式図

被験者は、基準映像と比較映像を交互に比較し9 段階で評点した。形容詞対の具体的な項目と 7種類の異なる映像を評価した結果評価結果を図 6に示す。
また、これらの結果から「現場感」と「悦楽感」の関係について、模式図として図 7 に示した。
「現場感」を向上させる主要因は音(5.1ch)であり、擬似 3D による映像は「現場感」の向上には大きく寄与していない。また、「悦楽感」を向上させる主要因はバストアップ、擬似 3D への切替、背景変化であることがわかる。ただし、背景変化は状況によっては不自然な場合もあり、没入感的な要素は減少するという結果も見受けられた。

参考文献

1) CJ 4DPLEX Co., Ltd. 4DX http://www.cj4dx.com/
2) MediaMation, Inc. MX4D http://mx-4d.com/
3) PBsystems, Inc. 4D 王 https://www.pbsystems.co.jp/
4) studio TED Eyeliner http://studioted.jp/
5) DMM VR THEATER http://www.dmm.com/theater/
6) A. Akutsu, A. Ono, H. Takada, Y. Tonomura, M. Imoto,"2020 Public Viewing - Kirari! Immersive Telepresence
Technology," NTT Technical Review, Vol. 14, No. 12, pp. 1-6,
2016.
7) H. Nagata, D. Mikami, H. Miyashita, K. Wakayama, H.
Takada, "Virtual Reality Technologies in Telecommunication
Services," Journal of Information Processing, Vol. 25, pp. 142152, 2017.
8) 宮下広夢, 竹内広太, 山口真理子, 長田秀信, 小野朗, “センサとカメラを活用した高速・高精度な被写体抽出,” 電子情報通信学会技術報告, Vol. 116, No. 73, pp. 17-22, 2016.
9) 若山圭吾, 高田英明, 岡本学, "超指向性・一般的なスピー
４． まとめカの併用による複数人同時受聴のための音響システムの提案," 日本バーチャルリアリティ学会 第 20 回大会論文
臨場感は人の感性と密接に関わるものであり、集, pp. 197-200, 2015.
それを測る指標を定めるのは非常に困難である。
10) 堤公孝, 高田英明, “補助アレイを用いた波面合成法による焦点音源の受聴エリア拡大,” 日本音響学会 2017 年春季
今回、我々は人の感性の観点から要素を細分化し、研究発表会講演論文集, 2-1-4, pp. 433-436, 2017.
かつ、利用シーンを絞ることで臨場感を主観的に
11) 高田英明, 井元麻衣子, 内田聡一郎, 小野朗, 阿久津明人,
比較する切り口を提案し、定性的ではあるがある"高臨場感メディアサービスに向けたイマーシブテレプレ
ゼンス技術と臨場感評価の課題,"
電子情報通信学会 2016
程度の臨場感を測る方向性を掴む取り組みを進め
年ソサイエティ大会講演論文集, BI-4-1, pp. SS75-SS76,ているところである。
2016.
このような臨場感をより客観的かつ定量的に測12) 井上正明, 小林利宣, “日本における SD 法による研究分
野とその形容詞対尺度構成の概観,” 教育心理学研究, Vol.
るには、より精度の高い印象評価に加え、人の視33, No. 3, pp. 253-260, 1985.
聴覚や認識/認知などに踏み込んだ知覚メカニズム、 13) 関根雅人, 小川克彦, “オプティカルフロー解析によるモーショングラフィックス映像の覚醒度評価手法の検討,”
更には各種生体情報も含めた総合的な特性の把握
映像情報メディア学会論文誌, Vol. 67, No. 12, pp. 463-371,と分析が今後特に重要になると考える。それらの2013.

結果をフィードバックすることが、魅力あるメデ
ィア系サービスの実現に繋がるのだろう。