情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D182022/2/21

トレーディングカードゲームにおける画像認識と拡張現実を用いたゲーム処理
鈴木恵梨奈†1

流山優†1

宮沢祐希†1

川合康央†1

概要：本研究は，リアルカードを用いたカードゲームという視覚的に捉えることが困難なゲームを画像処理と拡張現実の技術を用いることにより，視覚的な補助を加え，エンターテインメント性を高めるシステムを提案するものである．このシステムでは，画像認識技術を用いて読み込んだカードを，拡張現実によって可視化する処理を行うことにより，リアルカードを用いたトレーディングカードゲーム対戦を，より視覚的に把握できるものである．本システムを用いることによって，リアルカードを用いたトレーディングカードゲームの対戦において，プレイヤー同士だけでなく，観戦者もゲームの進行を把握しやすくなることが期待される．

1. はじめに発売元のコナミデジタルエンタテインメント社が，遊戯王を題材にしたコンシューマーゲーム及びアプリゲーム内にコンシューマーゲームやオンラインゲームといったビデおいて，バーチャル空間のカードに併記してモンスターのオゲームは，ヒットポイントや能力値といった，プレイ上3D モデルを表示させる表現を行っている．その際，攻撃表に必要な情報の多くが可視化されており，視覚的にわかり示，守備表示といった情報も，モデルの動きや状態によっやすく作られている．一方，カードゲームをはじめとしたて表現している．

テーブル上で行われるゲームは，プレイに必要な情報の多また，真﨑ら[2] は，リアルカードによるオンライン対戦

くを，カードや説明書などの紙面上に収めており，対戦時マッチングの研究において，Web カメラによってリアルカに，プレイヤーや観戦者にとって，視覚的にわかりやすいードの画像を取得し，低解像度のグレースケール画像に変ものであるとは言えない．また，机に二人で向き合い，プ換したうえで，OpenCV によって認識させることによって，レイマット上で行われる盤上の駆け引きは，伝統的な将棋

リアルカードを用いたオンラインマッチング対戦のシステや囲碁といったボードゲームのように白熱するものである

ムの開発を試みている．このシステムでは，モンスターカが，ネットの生中継や解説が行われるように，カードゲーードと，魔法・罠カードといったバトルカードの認識が，ムもエンターテインメント性を高める余地のある分野であマッチング速度の遅延を回避するために，画像の圧縮率をると考えられる．

高め解像度を下げていくと誤認識が発生しやすくなること

そこで，本研究では画像認識技術と拡張現実を用いた，について，言及している．本園ら[3] は，画像認識によって視覚的な補助とエンターテインメント性の向上のためのシ認識する表裏，カード種類を，カード画像の画素の HSV 値ステムを提案する．提案内容として，画像認識によってデから割り出す方法で特定する手法を提案している．この手ータベースと照らし合わされたカード情報を，3DCG 制作

法は，リアルカードの対戦プレイ動画内における低解像度ソフトウエア Blender やゲームエンジン Unity を用いて立の画像からもカード種類の特定を可能にしている．

体的に表示させ，拡張現実を用いて視覚的に共有する．こ拡張現実による 3DCG のキャラクター表示に関しては，れらの情報提示によって，プレイヤーのプレイ中における坂本ら[4]が，マーカーを使用した拡張現実で表示させるキミスを減らす効果が期待できるほか，視覚的に共有するこャラクターの 3D モデルにおいて，リアルタイムでカメラとによって，観戦の幅が広がり，より大規模なカードゲーから映像を読み込んでいる場合に，カメラの移動量とキャム大会を開催することが可能になると考える．

ラクターモデルの挙動が一致せず，想定された向きやサイまた本研究では，カードゲーム，主に世界的に流通とカズ，明るさにならない点について言及している．

ード種類が多く，大会が活発に行われており，プレイヤー人口の多い「遊戯王オフィシャルカードゲーム[1]」を題材に行う．

3. システム開発
3.1 開発環境

2. 先行事例
遊戯王に関するモンスター，効果等の立体化に関しては，本研究で使用した開発環境は，ゲームエンジン Unity，3DCG 制作ソフト Blender，Google Cloud AutoML Vision である．カードモンスターの 3D モデルを Blender で作成†1 文教大学© 2022 Information Processing Society of Japan703

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D18
2022/2/21

し，Web カメラやスマートフォンのカメラによって取得

今回学習させた画像枚数は，モデル生成の最低限度であされた画像から，判定されたカード情報を基にモンスターる各ユニット 20 枚程度のため，生成されたモデルに新しを判別し，Unity 内で表示させる．概要は図 1 の通りであく撮影された画像を認識させた場合，正確に認識できたもる．のは，モデル生成に使用した画像と同じカメラ，同じ角度から撮影された画像が中心となり，他種類のカメラから取得された画像の認識度が低いものとなった．認識精度については，引き続き改善を行っていくこととする．
3.3 Unity を用いたモンスターの表現
Blender で造形したモンスターの 3D モデルを Unity に読み込み，召喚やカード効果のアニメーションの制作を行っ
図 1

システム構成図た．画像認識されたモンスターのラベルに基づき，効果を正確に表示させ，視認性を高めるものとする．また，モン3.2 Google Cloud AutoML Vision による画像認識

スターをはじめとするカード効果に関しては，テレビアニモンスターの表示や効果の認識を行うために，表示対象メシリーズや原作コミックスを基にした演出を行い，攻撃のカードを正確に認識する必要がある．本研究では，端末表示，守備表示の変化も Unity 内でアニメーションを付与への負荷が少なく画像認識のモデルを生成できるクラウドすることによって表現することとした．

AI の Google Cloud AutoML Vision を使用した．

以下の図 3，4，5 は共にカードを AR のマーカーとした遊戯王には，多種多様なモンスターカードや，魔法・罠場合に，モンスターのモデルを表示させた際のイメージでカードをはじめとするバトルカードが存在するが，このゲある．本システムの実際の運用を想定しているスマートグームの特徴としてモンスターの召喚方法が多彩かつ複雑でラスやスマートフォンといった端末でないため，背景は仮あることが挙げられる．特に，本研究内では複数のカードに Unity の仮想空間を表示させている．カメラの接続を行を同時に使用し，モンスターカードを場に重ね合わせるこった場合，マーカーは実際にプレイが行われているカードとで新たなモンスターを召喚するエクシーズ召喚に重点をに置き換えられる．

置いた．エクシーズモンスターは，自身のほかにも召喚に使用したモンスターカードを認識している必要があるなど，多くのカード認識を必要とするからである．
今回認識させたエクシーズモンスターは，モンスターを召喚する際に 2 枚のカードを重ね合わせる．重なっている
カードはオーバーレイユニットと呼ばれる．召喚されたこのエクシーズモンスターの効果を発動させるためには，1枚ずつユニットを取り除くため，カードの下に 0～2 枚のカードがある状態を Google Cloud AutoML Vision で学習させる必要がある．学習させる画像にはそれぞれ Unit0～

図 3

Unit2 までの 3 種類のラベルを割り振り，学習後の生成モモンスターカード（Unit0）をマーカーとして表示されたボックスオブジェクト

デルにカメラ撮影した画像を認識させた（図 2）．

図 4
図 2

Google Cloud AutoML Vision にて認識されたオーバ

図 3 を基にモデリングされたモンスターを配置した例

ーレイユニット 2 のモンスターカード© 2022 Information Processing Society of Japan704

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D18
2022/2/21

card.com/japan/. (参照 2021-12-21).
真﨑拓也, 築地立家.リアルカードによるオンラインカードゲーム対戦システムの開発.情報処理学会第 78 回全国大会,
2016, p.737-738.
[3] 本園遥, 栗原徹. TCG プレイ動画におけるカード特定のための SURF 特徴量を用いたカード認識. 情報処理学会第 79 回全国大会, 2017, p. 279-280.
[4] 坂本眞人, 穂積圭輔. AR 技術を用いた 3D キャラクターの描写に関する研究 ,宮崎大學工學部紀要, 2016, p. 231-234.
[2]

図 5

モンスター同士の対峙の例

4. おわりに本研究では，画像認識を行ったカードを可視化し，視認性を高めることでトレーディングカードゲームのプレイングの補助と，エンターテインメント性を高めることを目標として，認識されたモンスターカードに基づいた 3D モデルを表示させるシステムの実装を行った．本システムによってゲーム内容の視認性が高まり，従来のプレイよりもゲーム理解を高めることが可能であった．
一方，多くの課題が明らかとなった．本研究では，端末に 対 す る 負 荷 が 少 な い た め に 採 用 し た ク ラ ウ ド AI のGoogle Cloud AutoML Vision は，認識のためのモデル生成と画像認識にかかった機械時間に対して料金が発生するシステムであるため，リアルタイムで画像を認識する必要のある本研究のシステムにはそぐわない点も多い．また，認識されたカード画像を照らし合わせるためのデータベースを生成するには，膨大なカードデータを読み込んでおく必要があるため，データベースの作成が困難である．
視覚的な共有に関しては，プレイヤー2 人をはじめとした複数人が同じ盤上の情報を，それぞれの視点に合った表示で得るためには，拡張現実のカメラ角度とマーカー上の3D モデルとの正確な距離，回転を認識する必要がある．
これらの課題を踏まえ，カードのデータベースや認識に関しては，カード発売元のコナミデジタルエンタテインメ
ント社がネット上で公開している既存のカードデータベースや，スマートフォンアプリケーション「遊戯王ニューロン」の画像認識を活用する方法について検討していくこととし，拡張現実を表示させる端末のカメラとカードのあるテーブルとの距離を計測し，3D モデルを適切なサイズで表示させるための画像認識のシステムを構築することを検討していくものとする．
謝辞
本研究は JSPS 科研費 JP 19K12665 及び JP20K12517 の助成を受けたものです．

参考文献
[1]

“遊戯王 OCG デュエルモンスターズ”. https://www.yugioh-© 2022 Information Processing Society of Japan705