【特徴部位可視化】Grad-CAMとGuided Grad-CAMで遊んでみた♬「DLの不安定問題」

[前回の大きな問題](https://qiita.com/MuAuan/items/cbd739808c64501a1024)は、
「※なぜか、上で一個だけ得たときのものはここでは二番目の候補になっていますが、このまま掲載することとします（バグがありそうですが見つけた時点で修正します）」
という問題です。

特に何か変更していないのに、結果が異なるというのはちょっと勘が働きます。

ということで原因調査してみた結果、**「DLの不安定問題」**という大発見をしたので、掲載しておきます（笑）
（１）オリジナル画像；論文等の画像から処理したもの
※入力画像を元画像としています。番号は予測ランキングを示します。
　モデルは`model = VGG16(weights='imagenet')`であり、なんら変更していません。

| 元画像 | １ | ２ | ３ | ４ | ５ |
|:-:|:-:|:-:|:-:|:-:|:-:|
|cat_dog|242boxer|243bull_mastiff|282tiger_cat|292tiger|246Great_Dane|
|![cat_dog.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/1f721046-dbc2-4cef-18c5-368ab9a1a93f.png)|![gradcam242boxercat_dog.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/7f72e73f-38dc-df03-d2c7-12e82298a1cb.jpeg)|![gradcam243bull_mastiffcat_dog.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/f646dff0-d562-57ff-08ed-53229884d0c3.jpeg)|![gradcam282tiger_catcat_dog.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/ce17de32-4633-3bf7-55c0-55a23a12b5af.jpeg)|![gradcam292tigercat_dog.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/53b604b7-6c55-1bfb-aa08-4237c2cfb754.jpeg)|![gradcam246Great_Danecat_dog.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/b55cee76-f028-3948-178e-5e5d9d10b84d.jpeg)|
|![cat_dog.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/1f721046-dbc2-4cef-18c5-368ab9a1a93f.png)|![guided_gradcam242boxercat_dog.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/96139a88-3b82-564c-cfd5-fe957ab16973.jpeg)|![guided_gradcam243bull_mastiffcat_dog.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/704a82f9-560a-d3b3-7df9-0d0c59af737f.jpeg)|![guided_gradcam282tiger_catcat_dog.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/706426d9-9120-caa0-79ad-d68b1b95d33e.jpeg)|![guided_gradcam282tiger_catcat_dog.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/c2aaa4b8-2d52-25e4-7893-f6528ed45420.jpeg)|![guided_gradcam292tigercat_dog.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/be8e8019-be4b-5241-f274-ed1201500648.jpeg)|![guided_gradcam246Great_Danecat_dog.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/2c258818-f5d8-e90e-289a-930e0ea2b59c.jpeg)|
（２）ダウンロード画像；ウワンの記事からダウンロードしてそのまま利用
※ちょっとフチがあります

| 元画像 | １ | ２ | ３ | ４ | ５ |
|:-:|:-:|:-:|:-:|:-:|:-:|
|dog_cat|243bull_mastiff|242boxer|292tiger|246Great_Dane|247Saint_Bernard|
|<img width="220" alt="dog_cat.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/b37b06bb-cc49-ba1d-392b-41d0c2b9f2d6.png">|![gradcam243bull_mastiffdog_cat.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/ce81eed4-5f4f-80ee-074a-fab8db292b88.jpeg)|![gradcam242boxerdog_cat.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/f95b7e7b-06d1-b2e3-2114-ee44d1c74d6e.jpeg)|![gradcam292tigerdog_cat.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/05eaedef-b102-c604-6da3-a53672b83245.jpeg)|![gradcam246Great_Danedog_cat.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/d79d8b91-9730-7725-2244-eb3a32266a45.jpeg)|![gradcam247Saint_Bernarddog_cat.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/73ed7338-37b7-b7c5-460e-17c2e485446c.jpeg)|
|<img width="220" alt="dog_cat.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/b37b06bb-cc49-ba1d-392b-41d0c2b9f2d6.png">|![guided_gradcam243bull_mastiffdog_cat.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/10cabadc-ed34-b18d-c873-4ae91432bc4c.jpeg)|![guided_gradcam242boxerdog_cat.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/0c2ffa3d-0ecf-bc52-2d78-b51dbbe7e184.jpeg)|![guided_gradcam292tigerdog_cat.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/45c75e2b-7fb2-a9a5-6317-2faac1e15c1b.jpeg)|![guided_gradcam246Great_Danedog_cat.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/e52d4e7a-ac76-fa71-71ec-5712bc150c98.jpeg)|![guided_gradcam247Saint_Bernarddog_cat.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/162286e0-024d-7c4d-10d7-b9a819d1deb0.jpeg)|
（３）フチなし画像；（２）の画像のフチを処理してフチなしにしたもの

| 元画像 | １ | ２ | ３ | ４ | ５ |
|:-:|:-:|:-:|:-:|:-:|:-:|
|dog_cat_noframe|242boxer|243bull_mastiff|246Great_Dane|292tiger|247Saint_Bernard|
|![dog_cat_noframe.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/254cacd6-0a85-321e-6322-2230c827a2b4.png)|![gradcam242boxerdog_cat_noframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/f1492d01-3fcc-7790-f5eb-cfbef403a22b.jpeg)|![gradcam243bull_mastiffdog_cat_noframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/0cc13da9-89d3-1671-55a5-f317997398d2.jpeg)|![gradcam246Great_Danedog_cat_noframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/b4e7d465-5cb5-13e2-c9cc-7f4b3bea9d68.jpeg)|![gradcam292tigerdog_cat_noframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/babd918e-8a48-8929-369e-355fc9170022.jpeg)|![gradcam247Saint_Bernarddog_cat_noframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/e70984da-6664-a395-84cf-f574dc6a2768.jpeg)|
|![dog_cat_noframe.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/49f27ad5-f731-00b2-5b6d-a6d2d8596d5e.png)|![guided_gradcam242boxerdog_cat_noframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/a040cbb0-3527-0793-1acf-a577c4e0a3b3.jpeg)|![guided_gradcam243bull_mastiffdog_cat_noframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/96f88eff-3da2-808b-7baf-25fc3f3d0fe2.jpeg)|![guided_gradcam246Great_Danedog_cat_noframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/4bc01a3a-4366-4947-4847-e243edf1ccc5.jpeg)|![guided_gradcam292tigerdog_cat_noframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/f6f7575d-e622-5c2d-2508-f6aea7d5b96e.jpeg)|![guided_gradcam247Saint_Bernarddog_cat_noframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/a514ba40-bfce-3942-0df5-f143d55c2095.jpeg)|
（４）フチあり画像；（２）の画像にさらにフチを広げたもの

| 元画像 | １ | ２ | ３ | ４ | ５ |
|:-:|:-:|:-:|:-:|:-:|:-:|
|dog_cat_Bigframe|163bloodhounddog|166Walker_hounddog|246Great_Dane|161basset|167English_foxhound
|![dog_cat_Bigframe.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/ac4d84ce-f475-c303-cfca-ee0d409f938c.png)|![gradcam163bloodhounddog_cat_Bigframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/fd3d1e8c-6bf7-9a06-2735-937fd74e9ef0.jpeg)|![gradcam166Walker_hounddog_cat_Bigframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/0e601a6e-7992-9eec-3cf9-824c8a4fd1f7.jpeg)|![gradcam246Great_Danedog_cat_Bigframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/a04a0f64-2163-751d-aefe-ecd12d6940cc.jpeg)|![gradcam161bassetdog_cat_Bigframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/5dbec292-c92c-a0fd-7f8e-023bfaeeadda.jpeg)|![gradcam167English_foxhounddog_cat_Bigframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/51e5911a-74e8-d09e-27ec-480314d62b5f.jpeg)|
|![dog_cat_Bigframe.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/3dffe44e-5492-15e9-42dd-05c90ce44e20.png)|![guided_gradcam163bloodhounddog_cat_Bigframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/2546bff4-d18b-1642-e0dc-bc3fba5e6ed3.jpeg)|![guided_gradcam166Walker_hounddog_cat_Bigframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/1f8dceb2-cf16-7a18-637b-98d0b6a53d34.jpeg)|![guided_gradcam246Great_Danedog_cat_Bigframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/16c20c90-9ec6-914c-4810-44ce02c00481.jpeg)|![guided_gradcam161bassetdog_cat_Bigframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/a1ccf8bc-5bd0-0f4b-0f53-727cf0473413.jpeg)|![guided_gradcam167English_foxhounddog_cat_Bigframe.png.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/73d81795-3918-aa20-7e16-e69877852759.jpeg)|

同じ画像にフチがあるか無いか程度の差で予測が異なっています。
ただし、Grad-CAMやGuided-Grad-CAMの絵はそれほど大きく変わっているわけではなく、そうなんだろうという程度の結果を出力しています。
つまり、元々カテゴリが近すぎて、混在しやすいというリスクがあるものと想像できます。
この辺りは、まだまだ研究が必要だと思います。
「DLといえども、ほどほどなカテゴリ数なり、特徴が異なるカテゴリでの適用が無難なのかもしれません」
###まとめ
・バグだと思っていたが、「DLの不安定問題」という結論でした
・入力画像のちょっとした違いにより、同じ画像も異なった分類をする危険性があることが判明

・騙しとの関連で、カテゴリ間類似性の問題をさらに研究する必要がある
・「DLといえども、ほどほどなカテゴリ数なり、特徴が異なるカテゴリでの適用が無難なのかもしれません」⇒容認できる（誤答しない）基準が必要なので目安を見つけたいと思う