情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2P03
2021/3/10

5G を利用したボールカメラ映像のライブストリーミングに関する研究
北山 翼1,a)

小池 英樹1,b)

益子 宗2,c)

落合 裕美2,d)

概要：新たなスポーツの撮影技術として，カメラを内蔵したボールであるボールカメラの研究がなされている．既存の研究では撮影された映像はカメラ内に保存され，後処理を行ってから提供される．しかし，将来的には，撮影した映像はリアルタイムで視聴者に提供することが想定される．したがって，本論文では 6 台の 5G スマートフォンを用いてボールカメラから映像をリアルタイムで伝送・処理するシステムの実装を行った．また，実装したシステムにより．ボールカメラからリアルタイムで全天球映像をストリーミングできることを確認した．

1. はじめにスポーツのライブストリーミングにおいて映像は競技の妨げにならないようフィールドの外側から撮影されることが一般的である．近年ではワイヤを使ってフィールドの上に吊るしたカメラを使用したり，小型のアクションカメラ

図 1 ボールカメラの映像伝送を選手の頭に装着したりして，よりダイナミックな映像を撮影することが可能となってきている．さらに最近では，任意の視点の映像を生成できる自由視点映像生成技術も実用されてきている．
一方，新たなスポーツ観戦方法としてボールカメラで撮影される，ボール視点映像が提案されている．ボールカメ
ラとは，ボール内に 1 個あるいは複数個の小型カメラを内

図 2

ボールカメラの実装の概要蔵したデバイスである．ボールカメラで撮影される映像はボールの回転などのために通常撮影されるような映像とは異なる．したがって，画像処理により疑似直進映像の生成 [1, 2] や，回転のキャンセル [3]，死角補完 [4] などを行う研究がなされてきた．
従来のボールカメラでは撮影された映像はカメラ内に保存され，画像処理は後処理として行われてきた．しかし，
図 3 作成したボールカメラ

将来的には，撮影した映像は実時間で伝送され，遠隔サーバで画像処理を行い視聴者に提供することが想定される．
そこで，本研究の目的は，将来的に複数台の小型カメラが内蔵されたボールカメラを想定し，これら小型カメラからの映像を実時間で伝送・処理するシステムを実装することである．

12a)b)c)d)

東京工業大学
楽天株式会社 楽天技術研究所
kitayama.t.ac@m.titech.ac.jp
koike@c.titech.ac.jp
so.masuko@rakuten.com
hiromi.ochiai@rakuten.com© 2021 Information Processing Society of Japan

2. 提案手法
2.1 ハードウェア
図 1 は我々の考えるボールカメラ映像伝送システムの図

673

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2P03
2021/3/10

図 4座標系変換の概要である．本システムの構成は iBall *1 を参考にした．ただ要となるが，本論文では全て 1.5m としている．次に，グし，現状ではこのような高度な伝送機能を持った小型カメ

ローバル座標系から各カメラを中心を原点とした 6 つの 3

ラは存在しない．そこで本研究では，高速データ伝送機能次元座標系に変換する．これをカメラ座標系とする．このを持つカメラとして，5G スマートフォンで代用することとき，カメラ座標系でカメラの後方に位置するピクセルはとした．将来的に，個々のカメラで撮影された映像はそれ無視する．そして，各カメラ座標系を透視投影画像座標系

ぞれ 5G 回線を使用して伝送することを想定している．に変換する．最後に，透視投影画像座標系で透視投影画像◦

ボールの周囲 360 を撮影するため，ボールの表面にスに射影されないピクセルを除外する．さらに同一のピクセマートフォンを 6 個設置する (図 2)．本研究では 5G ス

ルのうち各カメラ座標系において原点からの距離が一番近マートフォンとして Rakuten BIG(楽天モバイル) を 6 台

いカメラ座標系のみを選択し，それ以外のカメラ座標系で使用し，プロトタイプとしてアクリルボールの中に内蔵しはそのピクセルは削除する．以上により，出力の全天球画た (図 3)．

像の各ピクセルに対応する透視投影画像のピクセルを計算する．

2.2 ソフトウェア

2.2.3 視点固定

提案手法のソフトウェアの概要を述べる．まず，各ス

ボールカメラで撮影された映像はボールの回転により視マートフォンからサーバーとなる PC に映像が送られる．

点が不安定になってしまうため，スティッチングした全天

次に，送られてきた映像をサーバー側でスティッチングを球映像から視点が一定方向に固定された映像を生成する．

し全天球映像を生成する．最後に，生成した全天球映像の視点固定には Nakazawa ら [3] のフレームの姿勢修正の手視点固定を行い出力する．

法を利用する．ただし，回転行列は特徴点マッチングでは2.2.1 通信

なく Rakuten BIG に内蔵されているセンサを用いて取得

各スマートフォンとサーバー PC との通信には試験的にした．この回転行列はフレーム間のスマートフォンの回転Wi-Fi を使用している．サーバー PC でメインスレッドとを表しており，この回転行列を初期フレームから掛け合わ別に受信用のスレッドを 6 つ用意し，マルチスレッドで受せていくことで初期フレームから目的のフレームまでの信をしている．UDP 通信により各スマートフォンから画スマートフォンの姿勢変化を得ることが可能である．そし像やセンサの情報を受け取っている．て，スマートフォンの姿勢変化の逆行列を画像に対してか2.2.2 スティッチング

けることで視点を初期フレームと同じ視点に固定することカメラ 6 台それぞれから得られる映像をスティッチングが可能となる．

することで全天球映像を生成する．本論文で提案するボー

本論文では，まず 6 台のうちいずれか 1 台のスマートルカメラは，リアルタイムでのストリーミングを目的としフォンで取得した回転行列を画像と同時にサーバー PC にている．したがって，実行時間の観点から特徴点マッチン送信した．そして，サーバー PC では受信した回転行列をグを用いたスティッチングではなく，座標系変換によるスデバイス全体の姿勢変化を表す回転行列として上記の手法ティッチングを採用する．

でフレームの姿勢修正を行った．

座標系変換の概要を図 4 に示す．まず，出力となる全天球画像の各ピクセルを正距円筒図法座標系からボールの中3. 実験・結果

心を原点とする 3 次元座標系に変換する．これをグロー提案するボールカメラで実際にストリーミングの実験をバル座標系とする．このとき，各ピクセルの深度情報が必行った．スマートフォン側では 30fps で撮影し，各フレームを 640*360 に縮小して送信している．サーバー PC は*1

https://www.youtube.com/watch?v=101EOUAv2K4© 2021 Information Processing Society of Japan674

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2P03
2021/3/10

[2]
(a)

(b)

[3]

(c)

(d)
図 5 撮影した動画の例

Intel Core i7-9750H 2.6GHz，RAM 16GB，GeForce RTX
2070 である．サーバー PC では各スマートフォンからの[4]junct Proceedings of the 25th Annual ACM Symposium
on User Interface Software and Technology, UIST Adjunct Proceedings ’12, pp. 87–88, New York, NY, USA,2012. ACM.
Ryohei Funakoshi, Yoji Okudera, and Hideki Koike. Synthesizing pseudo straight view from a spinning cameraball. In Proceedings of the 7th Augmented Human International Conference 2016, AH ’16, pp. 30:1–30:4, NewYork, NY, USA, 2016. ACM.
Masakazu Nakazawa and Hideki Koike. Synthesizing ﬁxed
point of views from a spinning omnidirectional ball camera. In Proceedings of the 8th Augmented Human International Conference, AH ’17, pp. 32:1–32:5, New York,NY, USA, 2017. ACM.
Tsubasa Kitayama, Shio Miyafuji, and Hideki Koike. Vision extension for a ball camera by using image completion. In Proceedings of the Augmented Humans International Conference, AHs ’20, New York, NY, USA, 2020.
Association for Computing Machinery.

各フレームを 1280*640 の全天球画像にスティッチングし，視点固定を行なったあとそのフレーム画像を表示する．
提案するボールカメラでストリーミングした映像のうちいくつかのフレームを図 5 に示す．各フレームの黒い部
分は各スマートフォンのカメラの視野が足りないために生じている死角である．また，回転が速い場合シャッタースピードが足りず，図 5c のように，ブラーがかかってしまう．また，今回用いたスティッチング手法では図 5d で赤い円で囲った部分のように，被写体とカメラの距離が仮定した 1.5m と大きく異なる場合，スティッチングに失敗してしまうことがある．
本論文では，あるフレームの処理が終わった時点での最新のフレームを次に処理するように実装している．したがって，その間のいくつかのフレームは処理されずに捨てられる．処理時間は 1 フレームにつき 0.1〜0.3 秒ほどであるので，処理されるフレームに関してはレイテンシは 0.2〜0.3 秒である．ただし，上述のようにいくつかのフレームは処理されないので出力映像は 4〜10fps ほどになってしまう．

4. 結論
本論文では 6 台の 5G スマートフォンをボールの表面に配置し，実時間ストリーミング可能なボールカメラのプロトタイプを提案，実装した．また，このボールカメラを用いることでボール視点の全天球映像をフレームレートの制限はあるもののストリーミングが可能であることを確認した．
今後の展望として，5G でのより高速な通信，広角レンズを用いることによるカメラの視野の拡張，画像処理時間の高速化，各カメラからの映像の同期などがあげられる．
参考文献
[1]

Kris Kitani, Kodai Horita, and Hideki Koike. Ballcam!:Dynamic view synthesis from spinning cameras. In Ad-© 2021 Information Processing Society of Japan675