【Splatoon3】ナワバトラーのカード画像収集


スプラトゥーン3に登場するナワバトラーのカード画像の素材を収集します。
ネットにも素材は転がってはいるのですが、公式PVから切り取ったものが多くサイズが異なったり角が透過されていなかったりで不満があったため自分で収集することにしました。

## はじめに

本記事では**カード画像全体**の素材を収集します。

####   収集の際の要件
- カード画像全体が写っている
- 全カードの画像サイズが統一されている
- 角が透過されている


## 手順
### 1. ゲーム画面のキャプチャ
最初に、スプラトゥーン3のゲーム画面をキャプチャします。
なるべく大きいカード画像が欲しいため、ゲーム内でカード画像が大きく映る場面にいきます。

1. ゲーム起動後、Xボタンを押下しメニューを開く
2. メニュー>プレイヤー情報>ナワバトラー>カードリスト、と遷移
3. 現在手持ちにあるカード一覧が出るのでAボタンを押下

上記手順で以下のような1280×720pの画像が出ます。

![2023062411284700-4CE9651EE88A979D41F24CE8D6EA1C23.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/ed3a5ab8-2446-e488-05e9-b5e6d88eb778.jpeg)

このキャプチャを全カード分集めます。

### 2. カード画像のクロップ

次に、カード画像を検出するために画像処理を行います。
ディレクトリに保存したキャプチャ画像を適当なサイズにクロップします。

```crop.py
import os
from PIL import Image

# クロップする範囲
left, right, upper, lower = 469, (1280-469), 121, (720-121)

# 処理するフォルダのパス
folder_path = 'cardimg_raw'
save_folder_path = 'cardimg_cut'

# 保存するフォルダが存在しない場合は作成する
if not os.path.exists(save_folder_path):
    os.makedirs(save_folder_path)

# フォルダ内のファイルを処理する
for filename in os.listdir(folder_path):
    # ファイル名が.jpgまたは.pngで終わる場合のみ処理する
    if filename.endswith(('.jpg', '.png')):
        # 画像を開く
        image_path = os.path.join(folder_path, filename)
        image = Image.open(image_path)
        # 画像をクリッピングする
        cropped_image = image.crop((left, upper, right, lower))
        # 画像を保存する
        save_path = os.path.join(save_folder_path, os.path.splitext(filename)[0] + ".png")
        cropped_image.save(save_path)
```

以下のような結果が得られます。画像サイズは342×478pです。


![2023062411284700-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/32219f52-fb64-a1e6-18f0-2fe9e5fa50de.png)


### 3. カード画像の角を透過

次に、不要な角の透過を行います。
マスクを使って角のアルファチャンネルの値を0にすることで透過を行います。


```edge_remove.py
import os
import numpy as np
from PIL import Image

# フォルダのパスを設定する
folder_path = 'cardimg_cut'
save_folder_path = 'cardimg_noedge'

# 保存するフォルダが存在しない場合は作成する
os.makedirs(save_folder_path, exist_ok=True)

# マスク画像用の配列
np_edge=np.array([[.5, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [.2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, .5, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, .2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, .5, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, .2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, 0, .5, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, 0, .2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, 0, 0, .5, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, 0, 0, 0, .5, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, 0, 0, 0, 0, .5, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, 0, 0, 0, 0, 0, .5, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, 0, 0, 0, 0, 0, 0, .5, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, 0, 0, 0, 0, 0, 0, 0, .5, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, .5, 1, 1, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, .2, .5, 1, 1, 1, 1, 1, 1, 1],
                [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, .2, .5, 1, 1, 1, 1, 1],
                [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, .2, .5, 1, 1, 1],
                [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, .2, .5]])
                   
# フォルダ内のファイルを取得する
for filename in os.listdir(folder_path):
    # 拡張子が '.jpg' または '.png' の場合のみ処理する
    if filename.endswith(('.jpg', '.png')):
        # 画像のパスを取得する
        image_path = os.path.join(folder_path, filename)
        # 画像を開く
        image = Image.open(image_path)
        # 画像のサイズを取得する
        width, height = image.size

        # マスク画像を作成する
        bin_mask = np.ones((height, width))
        bin_mask[height-20:height,0:20] = np_edge
        bin_mask[height-20:height,width-20:width] = np.rot90(np_edge, 1)
        bin_mask[0:20,0:20] = np.rot90(np_edge, 3)
        bin_mask[0:20,width-20:width] = np.rot90(np_edge, 2)

        # マスク画像の値を変換する (ジャギー対策にアンチエイリアシング処理を行う)
        bin_mask[bin_mask == 1] = 255
        bin_mask[bin_mask == .5] = 127
        bin_mask[bin_mask == .2] = 80
        bin_mask = bin_mask.astype(np.uint8)
        # マスク画像を Image オブジェクトに変換する
        mask_image = Image.fromarray(bin_mask)

        # 画像にアルファチャンネルを追加する
        image.putalpha(mask_image)

        # 保存するファイルのパスを作成する
        save_path = os.path.join(save_folder_path, os.path.splitext(filename)[0] + ".png")
        # 画像を保存する
        image.save(save_path)
```
以下のような結果が得られます。
4つの角が上記の画像と異なり透過されています。
(若干ジャギってますが、まあ拡大しない限り気にならないでしょう。)



![2023062411284700-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/7b260814-61dc-7a97-651a-ea785c40c4c6.png)


## 4. ファイル名変更

Switchからキャプチャした画像のファイル名は
「2023040112000000-XXXXXXXXXXXXXXXXXXXXXXXXX.png」
みたいな名前になっているため、このファイル名をカード名に変更します。
手作業で行ってもいいですが、数が多く面倒なためOCRでテキスト抽出しファイル名に使います。

チャットGPTによるとGoogleのVision APIが現在一番精度が高いようなので今回はそれを用いました。
詳しい実装方法は他の記事でも書かれているため省略し、インプット画像と結果だけ紹介します。

#### 結果例

| 元画像 | 画像処理後(インプット) | OCR結果(アウトプット) |
|:----:|:----:|:------|
![2023062411284700-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/950324b0-ac8a-4ca2-6e1b-c0775c63f7ab.png)|![2023062411284700-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/d4740d7c-c45f-572c-953f-7d18229270f5.png)|わかばシューター
![2023062412165400-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/2bdfc722-3932-bee1-6e13-9944a9bd089c.png)|![2023062412165400-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/43d5d899-aadf-6d1c-9925-9045913adeb2.png)|LACT-450
![2023062412154100-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/6605620a-f626-e872-a554-c3e6d4fcd990.png)|![2023062412154100-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/263d61e8-c3b4-f4a8-1954-7603cbc441bf.png)|スクイックリンα
![2023062412164200-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/41f80764-fa3e-2497-60b7-cb9ff349cf78.png)|![2023062412164200-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/d6badca7-07be-c5e9-caba-83c5cca15b45.png)|クアッドホッパーブラック
![2023062412203800-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/f304fabb-e60e-f3b3-b549-4b8978361727.png)|![2023062412203800-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/9d7a3047-3338-d8e1-a5bb-b33c3e6f5db7.png)|スプラシューターコラボ
![2023062412185800-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/df91d615-9d2b-8f5f-1aa6-f2557aec7368.png)|![2023062412185800-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/b1160a63-67a9-643c-5a15-bc3f3ab883c1.png)|大容量タコポッド
![2023062804175100-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/2e570c76-362a-dc53-5aaa-1128306f1c32.png)|![2023062804175100-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/e6da8d4c-17c9-d84f-cac7-7e64149d3eb7.png)|マメブキチ&ツブブキチ







いい感じにカード名を抽出してくれました。
ただ上手くいかなかったものもありまして…


#### うまくいかなかった例


| 元画像 | 画像処理後(インプット) | OCR結果(アウトプット) |
|:----:|:----:|:------|
![2023062412192200-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/0b2bd0c7-3f5b-dec4-ce18-c39343498469.png)|![2023062412192200-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/c2ee5aea-afe9-28c7-9288-36bf522358bf.png)|ジャケ
![2023062411290400-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/30e7def7-d26c-76c8-f8de-63621f0f4f7a.png)|![2023062411290400-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/cf42b25f-c562-25fa-94a1-70a011cb2f55.png)|.96 toy
![2023062411285700-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/04f5413e-2d91-7dcb-764d-d391a307237d.png)|![2023062411285700-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/c0a68b66-213e-48dd-2b38-250255a285b4.png)|.52tioy
![2023062412173000-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/aaf5d2e1-a65e-af58-0ab1-9f7284706de5.png)|![2023062412173000-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/bc37228d-eca5-e13d-9492-bc1f5d525ac4.png)|T-E-F
![2023062412160900-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/79e9cd85-ee74-b903-67d8-189d71d8b54d.png)|![2023062412160900-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/9166b591-95d0-4844-2971-8656aab41623.png)|14式竹節・甲
![2023062412192800-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/cfac360a-4561-8a05-2dee-513f3b478370.png)|![2023062412192800-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/287a71a8-be6e-5572-570c-ae198b738751.png)|YDALE
![2023062412162900-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/5864f789-4d72-d9bc-957f-3952487c6811.png)|![2023062412162900-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/bd0438c7-917d-2d11-e005-c8a29ab0a448.png)|ワーゲルシュライバー
![2023070212331500-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/10f9d6fa-36e3-9087-ae43-2eb55cca3ec9.png)|![2023070212331500-4CE9651EE88A979D41F24CE8D6EA1C23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/539787/4eb82845-583e-2404-8944-3bf8d911977e.png)|* CX=¹ *



こういった誤認識のカードも1割ほどありました。これらは手修正で直しました。


#### 5. カード格納

収集したカードは以下に格納しました。
https://drive.google.com/drive/folders/1_ei17gsYbdFBqdgvT5UsvjWx9_yt8Mki?usp=share_link


「.52ガロン」「.96ガロン」「.96ガロンデコ」は名前の都合上、隠しファイル扱いになっているため注意してください。

## おわりに



【2023/04/16 追記】
以下のカードはデビルスコーピオン氏(@debirusukoupion)からご提供いただきました。
多数のご支援ありがとうございました。

- ~~アオリ~~
- ~~フウカ~~
- ~~ウツホ~~
- ~~ふしぎせいぶつマンタロー~~
- ~~トリプルトルネード~~
- ~~ホップソナー~~
- ~~ヤシガニさん~~
- ~~アナアキ~~
- ~~ジモン~~
- ~~シグレニ~~
- ~~タタキケンサキ~~
- ~~クマサン~~
- ~~ビートタコスタンプ~~
- ~~タコゾネス~~
- ~~ハコビヤ~~
- ~~テイオウイカ~~
- ~~ダウニー~~
- ~~ジェットスイーパー~~ 
- ~~もみじシューター~~
- ~~N-ZAP89~~
- ~~ジェットスイーパーカスタム~~
- ~~ラピッドブラスターデコ~~
- ~~L3リールガンD~~

【2023/04/18 追記】
以下のカードはデュアル園長氏(@usiusi0d)からご提供いただきました。
ご支援ありがとうございました。

- ~~オームラ~~
- ~~パル子~~
- ~~ロッケンベルグ~~
- ~~エンぺリー~~
- ~~シチリン~~

【2023/04/19 追記】
以下のカードはこひつじ†氏(@UnXnonGfOb8l2LQ)からご提供いただきました。
ご支援ありがとうございました。
- ~~アタリメ~~
- ~~ウルトラショット~~
- ~~アネモ~~
- ~~ノヴァブラスターネオ~~
- ~~カーボンローラーデコ~~
- ~~R-PEN/5H~~