FIT2021（第 20 回情報科学技術フォーラム）I-001
野球の捕手のフレーミング技術定量評価における映像の自動抽出Video Automatic Extraction Method in Quantitative Evaluation of Baseball Catcher Framing
菅野 大和† 宍戸 英彦‡ 亀田 能成‡ 北原 格‡
Yamato Kanno Hidehiko Shishido Yoshinari Kameda Itaru Kitahara
1. はじめに野球の捕手は，投手が投げる直球や様々な種類の変化球を後ろに逸らさずにミットを使って捕球する技術をはじめとする，他のポジションにない技術が求められる特殊なポジションである．近年，注目を集めている捕手の技術にフレーミングがある．フレーミングとは，図１に示すようにストライクゾーンの境界線付近の投球や，ストライクゾーンを僅かに外れている投球をミットや体を僅かに動かすことで審判にストライクと判定させる捕球技術のことである．
アメリカのプロ野球リーグの大リーグでは，投球の軌道を追跡するトラッキングシステム[1]によりフレーミングの評価が行われ，フレーミングがチームの勝敗に大きく影響していることが分かっている．しかし，日本プロ野球ではフレーミング評価が目視によって実施され，精度に課題を抱えている．フレーミング評価を定着させるためには，目視評価より高精度なフレーミングを評価するシステムが必要となる．我々は，映像解析によってフレーミング技術を自動評価するシステムの実現を目的とした研究に取り組んでいる．
本研究では，図 2 に示すように，打者が投球を見逃した映像（バットスイングなし）から“捕手が投球を捕球した位置（捕球位置）”と“完全にミットが静止した位置（静止位置）”のデータに基づいてフレーミングを評価する手法を提案する．捕球位置を捕手がフレーミングを開始する位置，静止位置を捕手がフレーミングを終了する位置とみなす．まず，様々なバットスイングなしの映像に対する審判の判定と捕球位置を記録し，集約することで，映像上の様々な位置のストライク判定率を算出する．そして，捕球位置と静止位置のストライク判定率の差分に，ストライクを一つ増やした場合の得点価値をかける．得点価値とは，ストライクカウントが一つ増えた際の打者の打撃の得点期
待値の差分を指す．このように計算法を定義することで 1回の捕球による得点期待値が算出可能となり，フレーミング技術の定量的な評価が実現できる．より詳細な定量評価を実現するためには，フレーミング技術評価に，打者の身長，各審判のストライクゾーンの範囲の違い，球種，ミットの移動距離などの考慮が必要である．
本提案手法によって，フレーミング技術の定量評価が確立され，目視では判断基準のばらつきが多い問題を解決する．さらに，これまでに注目されていなかったフレーミン
グ技術の重要性を主張できるエビデンスとなる．この取り組みは，現在の捕手の技術が評価されていない項目が評価†筑波大学 理工学群
School of Science and Engineering, University ofTsukuba‡筑波大学 計算科学研究センター
Center for Computational Sciences, University ofTsukuba

可能となり，今まで評価の低かった捕手の立場向上に繋がる．
本研究では，捕手のフレーミング技術定量評価における映像の自動抽出を目的とし，自動抽出するために必要なフレーミング開始位置である捕球位置と捕手のフレーミング終了位置である静止位置を算出する手法を提案する．

図 1 フレーミング技術の例

図 2 フレーミング技術の評価方法
2. 捕手のフレーミング開始位置と終了位置の検出手法
本研究では，OpenPose[2]，フレーム間差分，テンプレートマッチングを用いて映像から野球ボールを検出し，捕球位置を推定する手法を提案する．また，投球捕球後のミット追跡処理によって静止位置を推定する手法を提案する．

169
第 3 分冊Copyright © 2021 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2021（第 20 回情報科学技術フォーラム）検証に利用する映像は，投手の投球開始から捕手の捕球が完了するまでを撮影したデータセットとする[3]．
図 3 左に示すように，映像から 1 フレーム毎に画像を取得し，図 3 右に示すように，ストライクゾーン周辺の画像を取得する．映像毎にストライクゾーンが存在する領域は変化するため，OpenPose を用いて基準点を定め，自動でトリミングする．OpenPose は画像を入力すると，深層学習を用いて 25 個の関節位置を検出する手法である[2]．捕手が投球を捕球する瞬間を画像内に収めるために，動画開始時点での捕手の位置を基準として，その周辺領域を含む捕手領域をトリミングする．首の関節点と右足首の関節点に着目することで捕手の位置を特定する．捕手は通常屈んで捕球をするため，画像中に映り込む打者，投手，審判に比べて首の関節点と右足首の関節点の間の距離が小さい．したがって，OpenPose によって得られた画像中に映り込むすべての人物に対して首の関節点と右足首の関節点の間の距離を算出し，最もその距離が小さい人物を捕手と判断し，その周辺領域以外の領域をトリミングする．
次にトリミングした画像に対して，フレーム間差分を適用し，野球ボールの位置を検出する．フレーム間差分は背景の変化が少ない異なる時間の 3 枚の画像を用いて移動物体領域を取り出す手法である．図 4 に示すように，連続する 3 フレーム(t-1，t，t+1)の画像にフレーム間差分を適用し，フレーム t の画像中の野球ボールの領域を取得する．
次に図 5 左に示すように，野球ボール画像を 2 値化し，テンプレート画像を作成する．テンプレートマッチングを適用することで，図 5 右に示すようにフレーム t の画像中の野球ボールを検出する．捕手がボールを捕球すると，画像中にボールは観測されない．この 1 フレーム前の画像中のボール位置を捕球位置と定義することで，捕球位置の推定を可能とした．
投球捕球後のキャッチャーミットの追跡処理は CVAT[4]を用いる．審判は，捕球直後に腕を上げてストライク判定するをコールする．本研究ではキャッチャーミットの静止位置を審判が腕を上げ始める 1 フレーム前のミット中心位置と定義する．CVAT を適用する映像は，データセット[3]の内，審判がストライクと判定した映像とする．図 6 に示
すように，フレーミング動作時のキャッチャーミットの移動は，僅か数フレームであるため，CVAT に利用するテンプレートは捕球位置の 1 フレーム後の画像と静止位置のフレーム画像で十分であることを確認した．CVAT はテンプレー
ト画像を手掛かりに物体追跡を行い，追跡結果画像は深層学習用のデータセットとして利用できる．検証用のデータセットに適用した結果，テンプレート画像 2 枚を用いて，5 枚の画像に対するキャッチャーミットの追跡と静止位置の推定が可能であることを確認した．

図4

フレーム間差分の例

図 5 テンプレートマッチングの例

図 6 CVAT を用いたキャッチャーミットの検出
3. おわりに本研究では，フレーミング技術の定量評価することを目的とし，映像からの野球ボールの検出，捕球位置と静止位置の推定手法を提案した．OpenPose，フレーム間差分，テンプレートマッチングを用いることで，捕手が投球を捕球した瞬間の野球ボールの位置を特定できることを確認した．
また，CVAT を用いてキャッチャーミットの追跡ができることを確認した．今後は様々な捕球映像に対して提案手法を適用することで，ボールの検出およびミット追跡の精度を高める．
参考文献[1] MLB，”Statcast Catcher Framing Leaderboard | baseballsavant.com”，<https://baseballsavant.mlb.com/catcher_framing?year=2019&team=&min=q&sort=4,1 > ，(2021/6/7 閲覧) (2019)[2] Zhe Cao，Tomas Simon，Shih-En Wei，Yaser Sheikh，“RealtimeMulti-Person 2D Pose Estimation using Part Affinity Fields”，CVPR(2017)．
[3] AJ Piergiovanni ， Michael S ． Ryoo ， “Fine-grained Activity
Recognition in Baseball Videos”， CVPR Workshop on Computer
Vision in Sports 2018 (2018)．
[4] ”openvinotoolkit/cvat: Powerful and efficient Computer Vision
AnnotationTool(CVAT)
GitHub”，<https://github.com/openvinotoolkit/cvat>，(2021/6/7 閲覧) (2021)

図 3 自動トリミングの例

170
第 3 分冊Copyright © 2021 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.