スポーツ観戦

高臨場感

特 別企画

特別企画：2021世界的スポーツイベントとNTT R&D

リアルタイム音像定位

カテゴリ 大会を『包摂的にした』NTT R&Dの技術

ゴールボール × 超高臨場感通信技術 Kirari!

NTTは，障がいを含む多様な身体性を持つ人々がスポーツ観戦を楽しむための研究開発を推進しています．本稿ではパラスポーツの一種であるゴールボールを題材とし，超高臨場感通信技術 Kirari!（高臨場音像定位技術）を活用した立体音響により，あたかも競技コートの中で観戦しているかのような臨場感を提供する新しいスポーツ観戦体験について紹介します．

林 阿希子/宮川合田 卓矢/吉田 由紀堤/清水 健太郎

公孝

和

犬童 拓也
NTT人間情報研究所

スピーカーにより再現しました（図 1 ）．

前後にはそれぞれ50台からなるスピー

この音を用いたゴールボール観戦体験カーの列（スピーカーアレイ）が配置さ

NTT 研究所では，スポーツを通じた（「耳で見るゴールボール」）では，音だれ，競技コート上のボールの位置を反映

共生社会の実現をめざし，視覚障がい者

けでボールの動きを追えるようにするこして，ボールのバウンド音と選手の動作がスポーツ観戦を楽しむための観戦手法とで，視覚に障がいを持つ方にも，ゴー音を逐次合成します．これによって，観の研究を行ってきました．これまで，視ルボール観戦を楽しむとともに，あたか

戦体験者は，音だけで選手やボールの動覚障がい者向けの観戦方法は，ラジオやも競技コートの中にいるかのような臨場きを追うことができ，かつ，あたかも競テレビの実況中継が主流でした．しかし感のある観戦体験を届けることを可能と

技コートの中にいるかのように，ボール言葉による解説では動作の詳細（例えばします．

が自分に向かって飛び出してくるような概要

ラリーのリズムや打球のインパクトなど）が伝わりにくく，プレーの迫力をそのま迫力ある音の体験をすることができます．

観戦体験

技術

まに感じられないという課題もありま「耳で見るゴールボール」では，実寸す（1）．視覚に障がいを持つ方がスポーツ大の競技コートを模した観戦エリアをつを観戦するためには，視覚以外の感覚情

くり，体験者はゴール前の選手が位置す

Kirari! とは，観戦者が競技会場から報を使う方法があります．その 1 つとしるエリア（チームエリア）の音響を体験

離れた場所にいても，あたかも競技場にて，「音」があります．本プロジェクトすることができます（図 2 ）．観戦席のいるかのような観戦体験を実現するため■高臨場音像定位技術（Kirari!）

では，音が主役のゴールボール競技を対象に，超高臨場感通信技術 Kirari! を用いて，競技コートの音響空間を100台の

図1

100台のスピーカーによる音響空間の再現

図2

競技コートを模した観戦エリア

2021.1239

特別企画：2021世界的スポーツイベントとNTT R&D

システム構成HDカメラ
2 chマイク

この放送映像から，ボールや選手の位遠隔会場

競技会場＋放送局
放送
受信機

放送設備

図3

リアルタイム
ボール情報
入力装置

リアルタイム高臨場音像定位装置

映像提示装置

置と球種情報を抽出することをめざしまスピーカーアレイ

した．しかしながら，放送映像はカメラ

スピーカーアレイや画角が頻繁に変わるため，ボール位置を 人 手 で 入 力 す る UI（User全体のシステム構成Interface）を採用しました（図 5 ）．チー
ム A，B を担う担当者 2 名が本 UI を実装したタブレット端末 2 台を用い，放送映像を視聴しながら，各チームの攻撃ご試合のライブ映像を視聴

図4

ボール位置等をリアルタイムに入力

遠隔会場での音によるライブ観戦

リアルタイムな音響空間再現とに投球開始位置や時刻，投球種別（バウンド，グラウンド），投球結果（防御，ゴール，アウト）などをボタン押下で入力します．入力結果に基づき，事前に用意した投球音の音源ファイルから音響情報を生成し，ネットワーク経由で高臨場音像定位技術へ入力することにより，ボールの投球状況をリアルタイムに再現します．
■インクルーシブ・デザインによる音響製作（1） 音像定位させる音の選択
選手が競技コートの中で聞いている音

図5

投球情報のリアルタイム入力UI

響空間を再現するとともに，その卓越した聴覚センスの一端を非競技者である体図6

選手による「耳で見るゴールボール」体験の様子

験者にも感じてもらうため，ゴールボーにあります．各スピーカーから放射するル選手や視覚障がい者を設計の上流に巻音の再生タイミングとパワーを調整してき込む開発手法（インクルーシブ・デザ

任意の位置に音の焦点をつくることによイン手法）を用いて，音響制作を行いまり，あたかもそこに音源が存在するかのした．具体的にはインタビュー，投球シーような音場を再現します．

ンの観察，音響評価のプロセスにより，本取り組みのシステム構成を図 3 に示

音響の要件定義および制作を行いました

します．競技運営上の制約があり、私た（図 6 ）．競技会場ではさまざまな音が鳴の通信技術です ．本プロジェクトではちの中継用カメラを設置することはできりますが，その中で，特に選手は相手チー

Kirari! の技術要素の 1 つ，「高臨場音像なかったため，放送映像を活用する構成

ムのかく乱音（床をたたくなどして投球定位技術」を使った音響体験の実現を試としました。ゴールボール競技会場で撮位置を分からなくするために出す音）をみました．高臨場音像定位技術は，音の影された試合映像は，放送局の放送設備意識から除外し，ボールを持った選手の空間的・物理的な波面を物理モデルに基を通じて遠隔会場に放送波として伝送さ助走音，ボールと床の接地音といった一づき再現する音響再生技術の 1 つでれます．遠隔会場では，受信した放送波連の「投球音」を 一筆書きのように ”

す ．競技会場で 1 本のマイクで集音さの映像から，ボールや選手の位置，また追って，常にボールの所在を探索するこれた音声を分離し，特定の音が任意の位球種情報をリアルタイムに入力し，それとが明らかになったため，「投球音」（助置で発生したかのように再生します．本

らの時空間情報に基づいて音響空間をつ

走音・ボール音・防御やゴールなどの投技術のポイントは，直線状に密に並べたくりあげます（図 4 ）．

球結果音）に着目して再現することとし

（2）

（3）

40

多数のスピーカー群（スピーカーアレイ）

2021.12特 別企画

ました．つまり，物理的な競技会場の音らイベントを中止しました．しかし本番多くの人に体験していただく予定です．

響空間をそのまま再現するのではなく，を見据えた体験検証においては，非競技そして，さまざまな属性の方が ICT の価

鳴り響くさまざまな音から選手が選択的者である視覚障がい者の方から，高い評値を享受できるように，今後もインクルーに感じ取っている音の再現を試みたので価をいただきました．評価の観点は，「試シブな視点を忘れずに研究開発を続けす．そうすることで，非競技者である体合状況が理解できるか」「ゴールボールます．

験者でも「選手の卓越した聴覚センス」らしい音の質感を感じるか」「迫力・臨を疑似体験できることをねらいとしまし

場感を感じるか」の 3 点で，評価協力者た．

からは，「音の質感がリアルである．ボー

本技術実証の実現に向け，安達阿記子（2） 音像定位簡易化の工夫

ルが行き交う音の再現性が高い．本物の選手（リーフラス株式会社）をはじめ音

まず投球コースについて，選手はゴー試合みたい」（競技者）といった声や，「TV響評価にご協力いただいた選手や視覚障ルの端から端の距離（9 m）を 1 m 間隔と違ってボールがどこからどこへ向かっがい者の方々，また体験設計にご意見・の 9 分割で区別します．しかし非競技者ているかが分かった」「スタジアムだとコー

協力いただいた横浜市および横浜市立盲の音による空間分解能は選手の能力に及トの外から聞くので，本システムの方が特別支援学校の教員の皆様，一般社団法ばないため，投球コースの位置情報をあ

競技コートの中にいるような臨場感を感

人日本ゴールボール協会や公益財団法人りのままに音像定位すると，位置の把握じた」（視覚障がい者）といった声が聞

日本パラスポーツ協会の皆様に感謝申しが難しいという問題があることが分かりかれました．一方で，「ボールを持った上げます．

ました．そこで，ゴール方向の空間分解選手が移動する音も聞けるとさらにボー能を 9 分割から 3 分割（レフト・センルの位置が追いやすい」や，「選手の会ター・ライト）に低減したところ，非競話が聞けると戦略が分かってより良い」

技者の音によるボール位置の認識率が向といった意見も聞かれ，複数音源の制御上しました．

や，音声入手の工夫といった今後の改善

さらに，非競技者である観戦体験者に，点が得られました．総論としては，インより音の定位に慣れていただくために，クルーシブ・デザインにより，選手が感音による定位のレクチャーを目的としたじるゴールボールらしい音に着目するこ「導入コンテンツ」を制作しました．導とで，非競技者でも試合状況を理解でき入コンテンツでは，試合観戦に備えて，る音響観戦システムを実現することがでさまざまな投球コースで投球音を音像定きました．

位します．非競技者からは，「徐々に音だけで投球コースが分かるようになった」

今回，ゴールボールを音で楽しむ「耳テンツを視聴することが試合理解に有用で見るゴールボール」を試作し，視覚障であることが示唆されました．以上のよがい者を含む方々に対して体験評価を行うに，投球コースのシンプル化および導いました．当初は，高臨場音像定位技術

入コンテンツの制作によって，非競技者を利用してコートを動くボールの音を再でも選手が試合中に聞いている音を追体現する計画でしたが，評価を通じて，ボー験できる観戦システムが実現されました．

ルの移動音だけでなく，選手の動きの音果辞■参考文献（1） 林 ･ 伊藤 ･ 渡邊：“スポーツ ･ ソーシャル ･ビュー：競技を身体的に翻訳し視覚障がい者と共有する生成的スポーツ観戦手法，” 日本バーチャルリアリティ学会論文誌，Vol.25，
No.3, pp. 216-227, 2020.
（2） https://group.ntt/jp/magazine/blog/kirari/（3） https://www.ntt.co.jp/journal/1710/files/
JN20171024.pdf

まとめという意見が聞かれ，観戦前に導入コン

結謝（上段左から）林 阿希子/ 宮川 和/
合田 卓矢/ 吉田 由紀

や一連の音のつながりが観戦体験に重要（下段左から）堤 公孝/ 清水 健太郎/

だという新たな気付きがありました．

犬童 拓也

当初「耳で見るゴールボール」は，本技術を提供する予定であった観戦イ

2021年の障がい者による世界最大のス

ベントはコロナ禍において中止となりまポーツ大会の観戦イベントで実現されるしたが，ゴールボール大会やパラスポーはずでしたが，コロナ感染予防の観点かツ普及施策と連携して，本施策の成果を◆問い合わせ先

NTTサービスイノベーション総合研究所
E-mail svkoho-ml hco.ntt.co.jp

2021.1241