情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-410-64
2017/3/2

スポーツ映像における把持物体強調処理の試作
宮下咲†1

吉田光男†1 梅村恭司†1

概要：スポーツの中には，把持物体の方向が重要となる競技がある．このような競技の映像に対して，把持物体の方向が視聴者に分かりやすくなる映像処理を考える．手法として，映像を多視点で表現することや，物体とその方向を強調するような CG を映像に施すことが考えられる．本稿では，既発表の手法に加えて，把持物体を着色し点群データを色抽出することで，把持物体の自動抽出が可能になったことを報告する．

Prototype of the Gripping Object Enhancement in Sports Video
SAKI MIYASHITA†1
MITSUO YOSHIDA†1
KYOJI UMEMURA†1
Abstract: In sports, there are competitions where the direction of the gripping object is important. Consider video processingthat makes it easier for viewers to understand the direction of the gripping object with respect to such video of the competition.
As a method, it is conceivable to express the image with multiple viewpoints, or to apply CG which emphasizes the object andthe direction to the video. In this paper, we report that automatic extraction of gripping objects became possible by coloring
gripping objects and color-extracting point cloud data in addition to previously published methods.

1. はじめに下，点群データ)を取得する．次に，撮影対象の点群データから把持物体に対応する点群データのみを抽出する．そのラグビーワールドカップや東京オリンピックといった大後，把持物体の点群データを用いて把持物体の近似直線をきなスポーツイベントの国内開催を目前に控え，戦術支援推定する．加えて，推定した把持物体の近似直線が撮影対やコーチング支援等のスポーツ情報処理が近年盛んに行わ象を指示する部分を推定する．さらに，撮影対象および把れている．スポーツ映像処理の研究開発についても同様で持物体の点群データを 3 次元描画し，把持物体の近似直線ある．

および指示部位も同様に描画し，多視点画像を出力する．

スポーツの中には，杖術やテニス，アーチェリーなどのような，把持物体の方向が重要となる競技がある．我々は，最後に，これを表示用画像としてレイアウトして出力する．
2.1 開発環境

把持物体の方向を把握するために，さまざまな視点から観我々は，入力システムとして Kinect，開発言語として察可能な映像(以下，多視点映像)を利用することに注目す

Processing[2]，Kinect ドライバとして SimpleOpenNI[3]を使る．加えて，把持物体とその方向を強調するような CG を用して本システムを実装する．

映像に施すことを考える．実映像に対して CG を単純に重2.2 撮影対象の点群データを取得

畳する際，実映像のほうにも CG に対応した変化を加える

Kinect を用いて撮影対象の RGB 色情報および深度情報ことで，把持物体の方向が分かりやすくなり有用であると(点群データ)を，フレームレート 30fps，解像度 320×240いうことを既に報告した[1]が，この時点では把持物体の座ピクセルで取得する．

標の抽出に問題があった．

2.3 把持物体の抽出

本稿では，映像処理に用いられるクロマキーと同様に，2.2 の撮影対象の点群データから，把持物体の点群デー映像内の色を用いることで，把持物体の点群データを抽出

タのみを抽出する．撮影時には緑色のテープを貼付した棒することを提案する．クロマキーが後景を消去するために状の物体を使用することで，色抽出を用いて把持物体の点色を利用するのに対し，本稿では前景の把持物体に着色し，を抽出した．

これを強調および明示するのに利用する．

2.4 把持物体の近似直線を推定

2. 映像の作成方法
試作したシステムは，図 1 に示すような 6 つのステップから構成される．まず，Microsoft 社の Kinect V1(以下，Kinect)を用いて撮影対象の RGB 色情報および深度情報(以†1 豊橋技術科学大学
Toyohashi University of Technology© 2017 Information Processing Society of Japan

2.3 の把持物体の点情報をもとに，把持物体の近似直線を，最小二乗法を用いて推定する．
2.5 把持物体の指示部位を推定
2.2 の撮影対象の点群データから，2.4 の把持物体の近似直線に接する点が存在するか調べる．把持物体の近似直線から 50cm 以内に存在する点は，把持物体の先が向いている部位(以下，指示部位)であるとみなす．

617

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-410-64
2017/3/2

図3

回転させる視点の角度

Figure 3
図1
Figure 1

映像生成の流れ[a]Flow of Video Processing[a].

図4

表示用画像のレイアウトFigure 4
図2
Figure 2

Angle of Viewpoint.

Layout of Display Image.

把持物体の指示部位を強調

Emphasize the Place Pointed by the Gripping Object.

なると考えた．この仮定を元に比較実験を行い，CG から実映像に作用する映像表現の有用性を確認している[b]．

2.6 多視点画像の生成
撮影対象および把持物体の点群データを 3 次元描画する．

4. おわりに加えて，把持物体の近似直線および指示部位も 3 次元描画

本稿では，クロマキーで背景に使われるものと同様な色すると，図 2 のようになる．これを図 3 に示す角度に回転を，背景ではなく物体に付与し，深度情報の取得できるデさせて 2 次元画像として出力する．これにより 1 フレームバイス(Kinect)で処理することによって，物体の点群データあたり 15 視点分の画像が生成される．画像は視点ごとにフの自動抽出が可能になった．これによって，実映像が CGォルダを分けてフレーム連番画像として出力する．に応じた変化をする映像の生成について，既発表[1]よりも2.7 表示用画像の生成人的コストがかからないことを報告した．

レイアウトした画像を，表示用画像として出力する．これを別に用意した表示用システムで連続表示することで映像として表示する．

3. 関連研究
Hamid ら[4]は，複数台のカメラを使用してプレーヤの位置推定をおこない，推定された位置情報をもとに仮想オフサイドラインの表示などを行っている．Cavallaro ら[5]は，野球のボールやホッケーのパックなどのゲームオブジェク
トの追跡手法と，ゲームオブジェクトの視覚化について述べている．
以上はスポーツ映像に CG を融合した映像表現の研究例

参考文献[1] 宮下咲, 吉田光男, 梅村恭司. スポーツ映像における把持物体強調処理の提案. 映像情報メディア学会技術報告, 2016,
vol.40, no.43, p.25-28.
[2] “processing.org”. https://processing.org/, (参照 2016-12-26).
[3] “SimpleOpenNI, OpenNI library for Processing | OpenNI”.
http://openni.ru/files/simpleopenni/index.html, (参照2016-12-26).
[4] Raffay, Hamid et al.. Player Localization Using Multiple Static
Cameras for Sports Visualization. Computer Vision and Pattern
Recognition (CVPR), 2010 IEEE Conference on. 2010, p.731-738.
[5] Rick, Cavallaro et al.. Augmenting Live Broadcast Sports with 3D
Tracking Information. IEEE MultiMedia. 2011, vol.18, no.4,
p.38-47.

である．これらは，実映像に CG を単純に重畳する手法であるため，実映像と CG を混在させたコンテンツが 1 つのコンテンツとして受け入れられるのかが疑問であった．そこで我々は，CG と空間上重なる実映像の位置が強調されれば，CG から実映像に作用する映像表現のほうが，そうでない映像表現に比べて視聴者により分かりやすい映像にa)既発表[1]の論文中から p.27 の図 5 を引用．

© 2017 Information Processing Society of Japanb)評価実験の詳細については文献[1]の 6 章を参照のこと．

618