Journal of National Fisheries University 72（2）39-51（2023）

本論文

XAI（説明可能なAI）を踏まえた畳込みニューラルネットワークによる
トラフグ属の種判別モデルの検討
石田武志1*・芦田寛治2・徳永憲洋1

Species Identification Model of the Tiger Pufferfish Genus
using eXplainable Artificial Intelligence(XAI) Based
Convolutional Neural Network
Takeshi Ishida1*, Kanji Ashida2 and Kazuhiro Tokunaga1
Abstract : The Tiger Pufferfish (Takifugu rubripes) is a staple in Japanese cuisine, with over ten species of the
Takifugu genus found in the surrounding seas. Given that certain parts of the pufferfish are toxic, they are
predominantly prepared by trained professionals. Furthermore, species within the Takifugu genus are susceptible tohybridization, leading to an increase in hybrid numbers. However, identifying these hybrids is a challenging andtime-consuming task, even for experts. To address this, we developed a transfer learning model using the pretrained VGG16 model to differentiate between pufferfish species. The VGG16 model, commonly used in image
recognition, is built on convolutional neural networks. We also implemented Gradient-weighted Class Activation
Mapping (Grad-CAM) for visual interpretation of the model. Grad-CAM generates a heat map that highlights theareas focused on by the AI model in the image, allowing us to identify factors contributing to misjudgment andmake further improvements. We used seven species from the Takifugu genus (excluding hybrids), and approximately
15 colored images of each species were prepared for machine learning. The results showed that our model wasable to distinguish between pufferfish species with relatively high accuracy, although some misclassification
occurred among species with similar body patterns. The Grad-CAM results revealed that the model was able todistinguish body patterns, but some misclassifications occurred due to gravel and background objects being
recognized as patterns.
Key words : Species Identification, Tigerfish, Convolutional Neural Network, Deep Learning, XAI(eXplainable
Artificial Intelligence), Grad-CAM

緒とゴマフグ（Takifugu stictonotus）の雑種などが全体の40%言近くを占めていたとの報告がなされている3）。

日本近海にはトラフグ属（Takifugu）14 種が生息してお1）

り，このうち 11 種が食用とされている 。これら14種は，
2）

一般にフグは種により有毒部位が異なり，体内での毒の分布状況が異なるため，可食できる部位が種毎に行政に種分化して間もない近縁種 で，雑種が生まれやすいといよって定められている。行政上の規定では，フグの雑種にう性質があり，近年，日本近海でもトラフグ属の雑種フグ

ついては親種共通で食用とされる部位は食べても良いとさ

3）が増加傾向にあるとの報告もなされている 。例えば，

れている1）が，親の種類を特定することが困難であり4），2013年の茨城県や福島県沖のフグの試験操業漁獲データに多くの場合において雑種と疑われる全てのフグは，流通過おいても，同地域ではショウサイフグ（Takifugu snyderi）

程から排除されている。
雑種か純粋種かの判定は専門家（フ2023年8月22日受付、2023年11月7日受理
1 水産大学校海洋機械工学科(Department of Ocean Mechanical Engineering, National Fisheries University)
2 水産大学校水産学研究科生(Graduate student, National Fisheries University)

40

石田武志・芦田寛治・徳永憲洋

グ漁業者，フグ仲卸業者，フグ調理人など）でも困難であ

本研究でのモデルは，雑種の判別などを精度良く判定する

る場合があり，最終的にはDNA鑑定という時間とコストための前段階として，体模様を確実に見て判別するモデル

4）がかかる方法を行わざるを得ない 。

の構築を検討したものである。本モデルは，今後の「雑種このような中で，漁業現場において利用できる種・雑種も含めたフグ種判別システム」の基盤として，雑種などの判別（純粋種の特定と純粋種に対して雑種を分別する判別）

少数の学習用画像しか集まらない状況下でも利用可能であ技術が可能となれば，誤判別による危険性をより低下させり，体模様に注視して判定をしていることが確認できるモることができ，安全性の向上につながると考えられる。ま

デルの構築を目標としたものである。

た，このシステムを現場に導入することで，雑種判別の精魚の画像判別モデルの既往研究としては，Wäldchen

度向上だけでなく，同時に交雑発生状況などの情報の収集

and Mäder6） や，Qin7） などのように，画像から魚の種判も可能になる。筆者らは「雑種も含めたフグ種判別システ

別に，画像認識で高い精度を上げているディープラーニン

ム」の開発を目指している。このシステムは，漁業現場にグ手法を採用した研究報告が増えている。Qin7）は，水中

おいてスマートフォンなどの携帯端末によりフグ画像を撮のビデオ画像から魚を認識するシステムをディープラーニ

影し，それをサーバシステムに伝送し，サーバ側で種・雑ング手法を用いて開発しており，98％の正答率が得られた

種判別を行い携帯端末に結果を送信するものである。

と報告されている。

本研究はこの判別システム構築の基礎として，フグ画像

またオンサイトでの画像や映像から直接，魚の計量や種からいくつかのフグ種（純粋種）を特定するモデルを，画判別を行う研究開発も行われている。Leeら8）は水槽にお

像認識において近年標準的な手法になっている畳込み

ける魚を形状の適合性から種の判別をしている。Strachan

ニ ュ ー ラ ル ネ ッ ト ワ ー ク（CNN; Convolutional Neuralら9-11）は，魚の色彩と形状よりベルトコンベヤー上の魚をNetwork）を用いて構築したものである。学習に必要な雑識別するシステムを開発している。柴田・齊藤12） は，オ

種の画像数を確保することができなかったため，本研究でンサイトでの様々な背景の画像に対して利用できるようは純粋種のみのモデルを構築した。今後このモデルを雑種に，魚画像において，手動で特徴点を与えるアプローチをも含めたモデルに拡張していくためには，雑種の画像を収採っている。8種の形状特徴量と6種のテクスチャ特徴量に集していくことが必要であるが，信頼をもって確保できるより，81種各20サンプルの魚画像を用いて高い識別精度が画像は多くは収集できないことが予想される。一般に得られたと報告している。

CNNモデルの精度向上には大量の画像を学習させること

また，主な既往研究の識別率をまとめると以下のようにが必要であるが，少ない学習画像でも判別精度の高いモデなる。Alsmadi ら13）は魚画像の腹部矩形領域を切り出し，ルの構築が可能である「転移学習」によるモデル構築を検15個の特徴量を提示している。認識処理には３層のニュー討した。転移学習は既存の学習済みのモデルの一部を利用

ラルネットワークを適用し，350枚の画像で学習し，150枚する方法である。近年は様々なものを学習している大規模の画像でテストを行い，テスト画像に対して86％の精度をモデルを転移学習により用いたほうが，特定のものの判定得ている。Larsenら14） は，形状と模様から認識するシスにも，少ない画像でより精度が高くなる傾向があることがテムを線形判別分析の手法により開発し，3種108画像によ一般的に知られるようになってきているため，今回は少なる識別で76％の精度を得ている。Spampinatoら15） は，形

い画像でより精度向上を図るため転移学習を用いた。

状と模様を組み合わせ10種360画像による識別で，92％のまたCNNなどの深層学習においては，「AI（Artificial

精度を得ている。さらにHuangら16-17）は，水中カメラで撮Intelligence）は何を根拠に判断しているかがわからない」

影された魚を対象とした認識手法を提案している。魚領域という欠点がある。これに対して，近年は，AIモデルのを抽出し，色，形状および模様を合わせた66個の特徴量を出 力 の 根 拠 を 検 討 す る こ と を「 説 明 可 能 なAI（XAI,

定義して，階層型の識別機を用いて10種3,179枚の画像よ

eXplainable AI）」と呼び，技術的な手法が整ってきている。

り95％の認識精度を得ている。さらにHuangら17） におい

本研究は，XAIの手法の一つであるGrad CAM（Gradient-ては，15種24,150枚の画像を用いて65％の精度を得ている。

5)

weighted Class Activation Mapping） の手法を用いて，国内では，仲松ら18） は，5個の形状特徴量，4個の色特徴

フグ判別モデルが画像中の体模様を見て判断しているのか

量を用いて70種120枚の画像から26％の精度を得ている。

を確認した。

平岡ら19)は，魚の輪郭線とテクスチャの特徴量を用いる手説明可能な AI によるフグ属の種判別モデル法を提案している。判別分析の手法を用いて魚形や種判別
14)

20)

を行っている事例としては，Larsen ら やYakubuら な41

ようにきれいな縦模様もいる一方で，アカメフグはほとん
ど模様がみられないフグである。

20)

どがある。Yakubu は，判別分析による手法を用いて非常に近い2種の識別を行っている。

(2) 学習・検証用画像の収集
21)

特にCNNの利用例としてはRauf ら が32層の層を含む

フグは水揚げされる漁港や漁期が限られているため，フ22)

グ画像を漁業現場から大量に収集することが困難である。

は 写 真 デ ー タ ベ ー ス で ト レ ー ニ ン グ さ れ たCNNの パ

このため，本研究ではインターネット上に掲載されている

フォーマンスをテストし，20 種類の魚種を識別するため

フグ画像を収集して学習・検証用画像を準備した。画像収のさまざまな後処理決定ルールを考慮している。魚体全体，集はクローリングにより行った。これはプログラムを使っ魚 体 の 一 部， 環 境（ サ ン ゴ 礁 の 底 や 水 な ど ） を 含 むて自動的にインターネット上の情報を収集するもので，ク900,000 枚 の 画 像 で ト レ ー ニ ン グ さ れ た も の は 正 答 率ローラーというプログラムを用いて，ページ間のリンクや94.9%で，人間の正答率89.3%を上回っていると報告されて検索情報などを基に，効率よく情報を収集することができ

いる。

る。

モデルを利用して画像の識別を行なっている。Villonら

これらのように魚種判別に深層学習などのニューラル

クローリングにより収集した画像から，学習用としては

ネットワークを用いた事例は多くあるものの，画像のどの不適当なもの（イラスト，画像が不鮮明なもの，複数の魚部分により判定が行われているのかまでを検討した事例は体が写っているもの，他の情報が含まれているものなど）見られない状況である。

を除外し，各フグ種について15枚程度の画像をそろえた。
本来，各種ともに少なくても30～40枚程度の画像を収集す

判別モデルの構築ることが望ましいと一般に言われているが，不適当なものを除き，特に模様が明確に認識でき，魚体全体が写ってい学習・検証用画像の整備

る画像を整理すると15枚程度にとどまった。画像の出典は(1) 対象とするフグ種

結果としてはほとんどが「魚図鑑」（https://zukan.com/

対象魚種としては，トラフグ属の中でよく漁業現場で水fish/）からの画像となった。当該サイトは，ユーザーが揚げされるもののうち，体模様が似ている4種（コモンフ

相互に魚種を判断したりすることが行われており，比較的

グ Takifugu poecilonotus，クサフグ Takifugu alboplumbeus，

魚種に詳しい複数の人が利用するサイトであり，種の特定

シ ョ ウ サ イ フ グ Takifugu snyderi， ゴ マ フ グTakifuguなどもある程度信用できるものと考えられる。今後，フグstictonotus），および体模様が似ていない4種（アカメフグ

雑種の画像などは少数しか収集できない可能性が高く，少Takifugu chrysops， ト ラ フ グTakifugu rubripes， シ マ フ グ

ない画像数でのモデル構築の検討は意義があると考えられ

Takifugu xanthopterus，クサフグ），そしてこれらを合わせる。

た7種類とした。本来であれば雑種も判別対象とするのがまた，画像の収集時には体模様が確認できる画像に絞り好ましいが，充分な数の画像を集めることができないためこんだため，魚の背後の背景による取捨選択を行うと画像

本モデルでは対象外としている。Fig.1に本研究で対象と数がより少なくなってしまうため，様々な背景の写真を使したトラフグ属画像および，和名と学名の対応表を示す（本

用している。背景としては，白，灰色などの無模様の背景

報告では以後，フグの種類を和名標記で示す。）

や，砂場・岩場の背景が多い一方で，一部の画像はタイル

トラフグ属の模様は，体全体に分布する斑点模様や縞模や青色の背景もある。様々な背景の画像でも判定できると様などの模様に加え，胸鰭横の黒斑の有無により特徴づけいうことを目指すという点では，様々な背景の画像を用い4)ることができる 。模様については，クサフグなどのようることは妥当であると考えられるが，一方で特定の種に特な黒地に白い斑点模様もいれば，逆に白地に黒い斑点模様

定の背景が集中することは避ける必要がある。本報告の学も存在する。コモンフグ，クサフグ，ショウサイフグ，ゴ

習用画像では種によって背景に偏りがないことを確認してマフグはいずれも黒地に斑点模様であり，模様からの識別いる。

が難しい種である。コモンフグには大小の斑紋が混在する

それぞれの種の画像数をFig.1中に記に示す。判別モデ

模様や，円環状の模様などが観察される。またシマフグのルの学習では，これら画像のうち，各種ともに80%の枚数

42

石田武志・芦田寛治・徳永憲洋の画像をランダムに選択して学習用に利用し，残りの20％

フグ種判別モデルの構築を検証用画像として利用した。

(1) モデルの構築環境
本研究でのフグ種判別プログラムの構築プラットフォー
ムとしてはGoogle Colaboratoryを用いて，Python言語により 構 築 し た。Google Colaboratoryは， ブ ラ ウ ザ 上 で

Fig.1 Seven species of pufferfish subject to classification

説明可能な AI によるフグ属の種判別モデル

43

Python を記述，実行できるサービスで，パソコン側のプロて入力した画像を1000クラスに分類することができる。

グラミング環境の構築が不要，GPUが利用できるなどの利

1000分類の中には，様々な動植物なども含まれており，「フ点がある。深層学習のフレームワークとしてはKerasを用い

グ（puffer）」という分類もあるが，フグ種の細かい分類（トた。Kerasは，ニューラルネットワークライブラリの1つでラフグ，
ショウサイフグなど）までは無い。このモデルは，あり，プログラミング言語Pythonにより比較的短いソース

Fig. 2に示すように，畳込み層13層＋プーリング層5層＋全コードで人工知能プログラムを実装することができる。

結合層3層＝21層の畳込みニューラルネットワークの構成となっている。

(2) 畳込みニューラルネットワーク（CNN）
CNNは，ディープラーニングをはじめとするAIが画像(4) 転移学習分析を行う為の学習方法の1つである。CNNは，ニューラ

転移学習は，学習済みのモデルの一部を別のニューラル

ルネットワークの多層構造において，畳込み層とプーリン

ネットワークとして利用することである。本研究では，既グ層という，2次元の隠れ層を用いるものである。畳込みに学習済みのVGG16モデルの18層の畳込み層及びプーリ

層は，フィルター層との畳込み演算により，画像の1部分

ング層をそのまま利用し，後半の全結合層のみ独自の層を取り出して画像の特徴を抽出する層であり，プーリング（1024ノードの中間層＋出力層）に代替することで，転移層は，畳み込み層の抽出結果から，画像のカテゴリー分け学習を行った。VGG16モデルでの出力は1000クラス（1000においてあまり重要ではない情報を削ぎ落とし，解像度をノード）に分類されるが，本研究では，フグ種を4種ない下げる役割をしている。通常の深層学習においては，このしは7種に限定したときの判別モデルを構築したので，最畳込み層とプーリング層の組をいくつも重ねることで高い

終出力が4ノード，7ノードの構成に変更して実装した。

認識能力を獲得している。

CNNを出た後の全結合層は以下の構成に変更した。
・最後のプーリング層の出力：7×7×512（＝25,088ノード）(3)→１次元に展開

VGG16モデルの概要
23)

VGG16モデル（Visual Geometry Group16） は，オッ・全結合層の入力：25,088ノード

クスフォード大学のVGGチームが構築し，公開されてい・全結合層（中間層）：1,024ノード

るCNNモデルである。VGG16は，ImageNet データベー・ドロップアウト：0.5

ス の 100 万枚を超える画像が学習済みであり，出力とし・出力層：4ノード，7ノード

Fig.2 Configuration of learned model VGG16

44

石田武志・芦田寛治・徳永憲洋

また学習時の計算条件は以下のように設定した。

推移をFig.4に示す。ここで精度は，判別した画像数に対す・学習繰り返し数（epochs）：

50

る正答数の比率であり，誤差は正解となる出力とモデルか・バッチサイズ（batch_size）：

4

らの出力を交差エントロピー関数で計算したもので，理想・誤差関数：交差エントロピー関数

的な出力とモデルの実出力との差を示している。繰り返し（categorical_crossentropy）

数が50回の時点での精度と誤差は以下のとおりであった。

・最適化手法：・学 習 用 画 像 に 対 す る 誤 差(loss): 7.1173e-04， 精 度

AdaGradh法(accuracy): 1.00
(5)・検 証 用 画 像 に 対 す る 誤 差(val_loss): 0.3322， 精 度(val_Grad-CAMの概要
22)

Grad-CAM の方法は，画像の中の領域で，結果の出力

accuracy): 0.846に大きく影響を与える部分を探る方法である。入力された

これより学習用画像に対しては精度が100％となってい画像の領域の中で，出力結果に影響を与える領域ほど，そるが，検証用画像においては84.6％の精度となっている（検の部分がもし変化すると出力結果も大きく変化するという証用画像の13枚中2枚が誤判定）。全ての画像の判定結果を考え方に基づいている。具体的には，CNNに画像を入力

まとめるとTable 1のようになる。

して計算を実行して出力を求めた後，CNNの最終的な出これらの結果よりコモンフグとゴマフグは全ての画像が力から誤差逆伝播法で畳込み層までさかのぼり微分係数

正しく判定されているが，クサフグの１枚とショウサイフ

（勾配）を計算する。結果を大きく左右する領域ほど勾配

グの１枚が誤判定されている。Fig.5Aに検証用画像のうの値が大きくなり，この勾配値を色分けして元画像に重ねち，誤判定された画像を示す。図中の[合わせることで，AIが注目している部分を導出することモデルからの実際の出力値であり，数値は0から1の範囲とができる。Fig.3にGrad-CAMを適用した画像と元の画像なり［コモンフグの確率，クサフグの確率，ショウサイフ

の例を示す。画像中で赤色の部分ほど，AIモデルが注目グの確率，ゴマフグの確率］を示している。

していることを示している。

]内数値は，判別またケース1におけるGrad-CAMの適用結果もFig.5にあわせて示す。Fig.5Aに誤判定された画像２枚を，Fig.5Bに
正しく判定された画像のうち2枚についてGrad-CAMに適計算ケースの設定
計算ケースとして以下の３つを設定した。
ケース1：体模様が似ている4種（コモンフグ，クサフグ，
ショウサイフグ，ゴマフグ）
ケース2：体模様が似ていない4種（アカメフグ，トラフグ，
シマフグ，クサフグ）
ケース3：ケース１およびケース２を合わせた7種用した結果を示す。画像中で赤色の部分ほど，フグ判別モデルが注目していることを示している。これらを比較してみると，誤判定された画像は模様の中央部分には注目せず，頭部と尾ひれの部分に注目している。一方で正しく判定された画像のGrad-CAMの結果をみると魚体の胸鰭付近の模様にも着目していることがわかる。今回使用した3種のフグを人間の眼で判定する場合も，魚体中央部の模様を比較

結果

して判定することから，判別モデルも正しい部分に注目しケース１における判別結果に着目しなかったのかについては，今後さらに検証をしてケース1における繰り返し学習数が50までの精度と誤差のていることがわかる。また誤判定された画像がなぜ中央部いく必要がある。

Fig.3 Examples of original imag and Grad-CAM applied image

説明可能な AI によるフグ属の種判別モデル

ケース２における判別結果

45

ケース３における判別結果

ケース2における繰り返し数が50回の時点での精度と誤ケース3において，繰り返し数が50回の時点での精度と差は以下のとおりであった。

誤差は以下のとおりであった。

・学 習 用 画 像 に 対 す る 誤 差(loss): 1.9759e-04， 精 度・学 習 用 画 像 に 対 す る 誤 差(loss): 3.8922e-04， 精 度(accuracy): 1.00

(accuracy): 1.00

・検 証 用 画 像 に 対 す る 誤 差(val_loss): 0.3322， 精 度(val_・検 証 用 画 像 に 対 す る 誤 差(val_loss): 0.8599， 精 度(val_accuracy): 1.00

accuracy): 0.727

これより学習用画像および検証用画像のいずれも精度が

これより学習用画像に対しては精度が100％となってい100％となっている

るが，検証用画像においては72.7％の精度となっている（検Fig.4 Example of Case 1 Accuracy and Losses in the Learning Process
Table 1 Classification results for all images ( Case 1 )Classified species
komonfugu
komonfugu
Image forclassification

kusafugu

kusafugu

17

shousaifugu

1

gomafugu

shousaifugu

gomafugu

15
1
17
13

46

石田武志・芦田寛治・徳永憲洋

証用画像の22枚中5枚が誤判定）。全ての画像の判定結果をのほうを注目している傾向があることと，周辺が砂地など

まとめるとTable 2のようになる。これらの結果よりコモの場合は周辺の画像にも注目していることがわかる。この

ンフグ，アカメフグ，シマフグは全ての画像が正しく判定

ように，誤判定された画像においては，魚体中央部に注目されているが，クサフグの3枚とショウサイフグの2枚，ゴしていない，周囲の砂地や砂利なども模様としてみている

マフグの1枚が誤判定されていることがわかる。

などの傾向があることが読み取れる。

ケース３において誤判定された画像のGrad-CAMの適用
結果例をFig.6に，正しく判定された画像の適用例をFig.7

学習画像の選択による精度への影響に示す。誤判定された画像において判別モデルが注目して準備した画像のうち，学習用として利用する画像の選択いる傾向をみると，魚体中央の模様よりも，頭部や尾びれはモデルにより乱数で自動的に分割される。このため計算

Fig.5 Misidentified images of Case 1 and results of Grad-CAM application
Table 2 Classification results for all images ( Case 3 )Image forclassification

komonfugu
kusafugu
shousaifugu
gomafugu
akamefugu
torafugu
shimafugu

komonfugu
15
1
2

kusafugu

shousaifugu

15

1
16

1

Classified species
gomafugu
akamefugu

torafugu

shimafugu

1
12

14

15

15

説明可能な AI によるフグ属の種判別モデル

47を実施するごとに構築されるモデルの精度が変動するが，においては，模様が似ているクサフグ，ショウサイフグ，

このような画像の選択の仕方によるモデルへの影響を検討

ゴマフグ間での誤判定が多いことがわかる。

するために各ケースで5回計算を実施して，各種の判別率をまとめたものをFig.8に示す。
模様が似ているケース１の場合，特にクサフグとショウ

考察

サイフグ間での誤判定がいずれの計算でも起きていること

結果より，フグ種を模様が似ているケース１の4種類のが分かる。ケース２は模様が大きく異なるケースである。

判定と，模様が大きく相違するケース2の4種の判定では，判別精度はいずれの計算でも高い傾向があるが，誤判定さケース１のほうが判別精度が低い傾向にあることがわかれる画像がでる場合もある。７種の判定を行ったケース３

る。ケース3の7種判定においては，4種判別に対して，判

Fig.6 Results of Grad-CAM application (Misidentified images, Case 3)

48

石田武志・芦田寛治・徳永憲洋

定精度が低下することがわかる。模様が似ている種の判別は，フグが一定の向きで，ほぼ同じ大きさにそろえられてが判別モデルにおいても難しいことがわかる。

いたため，画像の変換の効果が得られなかったと考えられ

また，いずれの種類数でも，学習用画像の精度は100％る。

に達するものの，検証用画像は100％にはならずに数枚のまた，準備した画像のうち，学習用として利用する画像

誤判定がでる。この原因として考えられることは，学習用の選択により，構築されるモデルの精度が変動する点につ画像が少ないことによる過学習を起こしていることが考えいて予備的に検討したが，このような画像の選択のモデルられる。今後さらに判別種類数を多くする場合でも判定精への影響を検討するためには，交差検証などの手法を用い度を向上することや過学習の有無の判断のためには，さらることが考えられる。交差検証とは，学習用のデータを複に学習画像数を増やすことなどが必要であると考えられ数のセットに分割して，そのうち一つを検証用として用い，る。一方で良質な画像はすぐには増やすことができないこ

学習データと検証データを交互に入れ替えることでモデル

とも現実である。

の性能を検証するものである。本研究では画像の枚数が少本モデルにおいては各種とも15枚程度の画像を用いていないため，交差検証を利用するには無理があると考え，今るが，画像を増やす効果と同等のData Augmentation（デー後，画像枚数を増やしたうえで，交差検証の適用を再度検タ拡張）と呼ばれる手法がある。この方法は学習用の画像

討していく必要がある。

データに対して，様々な変換を施す事で画像を水増しする

さらに，判別モデルが画像のどの部分に注目しているか

手 法 で あ る。Kerasで は，ImageDataGeneratorク ラ ス がを表示することができるGrad-CAM手法を用いて検討を用意されており，これを用いる事で簡易にデータ拡張を実行った。Grad-CAMによる結果をみると，体模様の一部し施する事ができる。本研究では，「左右平行移動」，「上下か注目していないケースや，周囲の砂利模様も注目してし平行移動」，「拡大・縮小」，「画像のせん断」，「明るさの調

まうケースなどがみられ，CNNの誤判定の要因を探るこ節」などのパラメータについて予備的な検討を行ったが，とができる可能性を示すことができたと考えられる。また精度の大きな向上は得られなかった。これは準備した画像

Fig.5Bの下の画像では尾ひれがGrad-CAM によって強調

Fig.7 Results of Grad-CAM application Correctly identified image)説明可能な AI によるフグ属の種判別モデル

されている。本研究で用いた学習用画像においては尾ひれが開いているものが多いが，各種に一部閉じている画像も

49

結

論

含まれている。フグの目利きがフグを判定する場合は，一本研究では既に学習済みのCNNモデルを基礎として，部の種は尾びれの色なども参照するため，今後は尾ひれもそれに転移学習を適用したモデルを構築していくつかのフ判断要素の一つとして加味されるモデルを検討していくこ

グ種の判別を行った。今後の「雑種も含めたフグ種判別シとが必要であると考えられる。

ステム」の構築のための前段階として，少数の画像での学

Fig.8 Variation in calculation accuracy due to image segmentation

50

石田武志・芦田寛治・徳永憲洋

習の可能性の検討を「転移学習」モデルで確認し，フグの引用文献

体模様をみて判定しているかの確認をGrad-CAM手法を用いて検討を行い，判別モデルの構築の可能性が確認できたと考えられる。

1) 厚生労働省編: 三訂日本近海産フグ類の鑑別と毒性.中央
法規出版，東京，(2013)

今後はフグ漁業者などの協力を求めて，雑種を含めたよ2) S antini F, Nguyen MTT, Sorenson L, Waltzek TB,

り多くの正確な画像データを収集していくとともに，モデLynch Alfaro JW, Eastman JM, Alfaro ME : Do habitat

ルの改良を進めて判定率の向上に努めていく必要がある。

shifts drive diversification in teleost fishes? An

またGrad- CAMを用いた結果では，AIも人と同じような

example from the pufferfishes(Tetraodontidae). J Evol

体模様を見て画像判別を行っていると考えられる。一方でBiol, 26:1003–1018 (2013)

模様に注目しているにもかかわらず誤判定となっている事

3) T akahashi H, Toyoda A, Yamazaki T, Narita S,

例もあり，このような場合は，体模様の中でより詳細な注

M a s h i k o T, a n d Ya m a z a k i Y : A s y m m e t r i c

目点をGrad-CAMでは明確にできないため，他のXAI手法

hybridization and introgression between sibling speciesと併せて，モデルの判定根拠をより多角的に検討していくof the pufferfish Takifugu that have undergone

必要がある。漁業現場でのフグの「目利き」が注目する点

explosive speciation. Marine biology, 164(4), 90 (2017).

の情報を収集するとともに，XAI手法との知見を合わせて

4) 松 浦啓一著：日本産フグ類図鑑，東海大学出版部，平

いくことで，根拠を明確にしたうえでの判別モデルの構築

塚市，(2017)が可能になり，他の魚種判別にも応用できる基盤ができる

5) Selvaraju R R, Cogswell M, Das A, Vedantam R, Parikhと考えられる。そして精度を向上させ最終的には実際の現

D, BatraD : Grad-CAM: Visual Explanations from Deep

場にこの技術を投入することによる作業効率の向上を図っ

Networks via Gradient-based Localization. https://ていきたいと考えている。

arxiv.org/abs/1610.02391

また本報告では学習用画像中の魚の背景として様々なも

6) Wäldchen J., Mäder P. : Machine learning for imageのが含まれている状況であり，モデル学習時に画像の背景

based species identification. Methods in Ecology andの影響が完全に排除できているとは言いきれない状況であEvolution, Wiley Online Library (2018)

る。様々な背景の画像を大量に学習していれば背景の影響

7) Qin H, Li X, Liang J, Peng Y, Zhang C : DeepFish:は低減されると考えらえるが，本報告のように学習画像がAccurate under water live fish recognition with a deep

少ない状況では，背景に影響されている可能性もあり，背architecture. Neurocomputing, Volume 187, Pages 49-58,

景の影響の程度を確認していく必要がある。学習時におけ26 (2016)

る背景の影響を除外するには画像から魚の輪郭を判定し，

8) Lee D J, Schoenberger RB, Shiozawa D, Zhan X Xu P :背景を除去するプロセスを検討していくのもひとつの方向

Contour matching for a fish recognition and migration-

であると考えられる。背景を除外できれば，背景の影響を

monitoring system, in: Optics East. International Society

無くすことが可能となり，判定精度の向上につながる可能

for Optics and Photonics, pp.37–48 (2004)性もある。一方で，モデルの実用化を考えた場合，魚を抽9) S trachan N, Nesvadba P, Allen AR : Fish species

出するプロセスで様々な画像でも精度高く抽出できるのrecognition by shape analysis of images.

か，特に尾びれやヒレの部分なども明確に抽出できるのか

PatternRecognit.23(5), 539–544 (1990)などの検討が必要であると考えられる。

10) Strachan N : Recognition of fish species by colour andshape. Image Vis. Comput. 11(1)2–10 (1993)

謝辞

本論文の執筆にあたり，フグに関連する知見に関して貴重なコメントをいただいた（国研）水産研究・教育機構水産大学校

酒井治己名誉教授，高橋洋教授，椎木友朗講師に感謝申し上げます。

11) W hite D, Svellingen C, Strachan N : Automatedmeasurement of species and length of fish bycomputer vision. Fish.Res.80(2) 203–210 (2006)12) 柴 田利樹: 齊藤剛史, 魚画像認識に有効な特徴量の検討.
情報処理学会研究報告2015-CVIM-197, 26, 1 – 6 (2015)13) A lsmadi MK, Omar KB, Noah SA, and Almarashdeh

説明可能な AI によるフグ属の種判別モデル

51

I : Fish Recognition Based on Robust Featuresneural networks. Computers and electronics in agriculture.

Extraction from Size and Shape Measurements Using

2019;167:105075.

Neural Network. Journal of Computer Science 6 (10):1059-1065 (2010)22) Villon S, Mouillot D, Chaumont M, Darling ES, Subsol
G, Claverie T, et al. : A deep learning method for14) L arsen R, Olafsdottir H, Ersbøll B K : Shape andaccurate and fast identification of coral reef fishes intexture based classification of fish species. Image

underwater images. Ecological informatics. 48:238-

Anal.745–749 (2009)

44(2018)15) Spampinato C, Giordano D, DiSalvo R, Chen-Burger23) S imonyan K, Zisserman A : Very Deep Convolutional

Y-H J, Fisher R B, Nadarajan G : Automatic fish

Networks for Large-Scale Image Recognition.

classification for underwater species behavior

arXiv:1409.1556, 2015

understanding. Proceedings of the First ACM
International Workshop on Analysis and Retrieval of

画像の出典

Tracked Events and Motionin Imagery Streams,
ACM, Firenze,Italy,pp.45–50(2010)[1] https://zukan.com/fish/internal79

16) Huang P X, Boom B J, Fisher R B : Under water live[2] https://zukan.com/fish/leaf19561

fish recognition using a balance-guaranteed optimized[3] https://zukan.com/fish/leaf22002

tree. ComputerVision–ACCV2012,Springer, Daejeon,[4] https://zukan.com/fish/internal201

Korea,pp.422–433, (2013)[5] https://zukan.com/fish/leaf4853

17) Huang P X, Boom B J, Fisher R B : Gmm improves[6] https://zukan.com/fish/leaf11837

the reject option in hierarchical classification for fish

[8] https://zukan.com/fish/internal234

recognition. 2014IEEEW inter Conference on[9] http://www.nipic.com/show/1/28/00cc0acd85cd5b50.

Applications of Computer Vision (WACV) , IEEE,
SteamboatSprings CO. USA,pp.371–376(2014)18) 仲 松幸信，姜東植，宮城隼夫: ディジタル画像を用い

html[10] http://www.ko-suisan.co.jp/column/torafugu.html[11] https://zukan.com/fish/leaf66013

た 魚 種 の 識 別. 情 報 処 理 学 会 研 究 報 告132, 49 – 52

[12] https://fishai.jp/597（2006-AVM-055)[13] https://zukan.com/fish/leaf59994

19) 平 岡透，矢野啓司，瀧山龍三: 輪郭線及びテクスチャ
情報に基づく画像認識法 : 魚画像認識への応用, 電子情[14] h ttp://www.miegyoren.or.jp/fisheries-in-mie/uopedia/shosaifugu/

報通信学会技術研究報告. PRMU, パターン認識・メ[15] https://zukan.com/fish/leaf81851

ディア理解 96(492), 55-62 (1997-01-24)[16] https://zukan.com/fish/leaf59994

20) Y a k u b u A , O k u n s e b o r S A : M o r p h o m e t r i c[17] https://zukan.com/fish/leaf42345

d i f f e re nt i a t i o n o f t wo N i g e r i a n f i s h s p e c i e s[18] https://zukan.com/fish/leaf51432(Oreochromisniloticusand Latesniloticus) using[19] https://blog.goo.ne.jp/ryuto50miyu55/e/cf980ea3e82c

principal components and discriminant analysis.

1c8196181eac66747ace

International Journal of Morphology 29:1429-1434. (2011)[20] https://zukan.com/fish/leaf48090

21) Rauf HT, Lali MIU, Zahoor S, Shah SZH, Rehman AU,[21] https://zukan.com/fish/leaf3862

Bukhari SAC : Visual features based automatedidentification of fish species using deep convolutional[22] https://www.zukan-bouz.com/syu/%E3%82%B4%E3%83%9E%E3%83%95%E3%82%B0