【pytorch入門】torchvision.modelsを使ってfine-tuningで遊んでみた♬

今回は、pytorchで事前学習されたモデルを利用してClassificationしてみます。
簡単な話ですが、ちゃんと出来るのかというレベルを目指すと奥は深いと思います。
モデルは以下の参考で公開されています。
使い方のtutorialが見つかりませんが、だいたい参考に情報は掲載されています。
ということで、今回は一番簡単な使い方、Classificationに焦点をあてて、これらの種々のモデルの性能比較をやろうと思います。
【参考】
①[TORCHVISION.MODELS](https://pytorch.org/vision/0.8/models.html)
###やったこと
・一番簡単な転移学習とFine-Tuningをやってみる
・いろいろなモデルを使ってみる
・入力サイズ依存を測定
###・一番簡単な転移学習とFine-Tuningをやってみる
基本のコードは、以前まとめた以下の参考のおまけに掲載したコードのモデルを変更して、利用します。このnetwork関数を転移学習に利用する学習済のnetwork関数とします。
【参考】
②[【pytorch-lightning入門】初めてのLit♬](https://qiita.com/MuAuan/items/3f797c6ab87ddc63df18)
####転移学習のコード
以下のコードは、元々のImagenetで学習したモデルで1000カテゴリまで分類しているので、それをCifar10向けにさらに10カテゴリに分類するために全結合層を新たに追加しています。最初から元のモデルの最終層を10カテゴリ出力に変更するでも同様な効果です。また、この全結合層をもう少しリッチにするなどの工夫もできますが、今回は一番単純な方式としています。

```py
class customize_model(nn.Module):
  def __init__(self):
    super(customize_model, self).__init__()
    
    self.model_ = models.resnet18(pretrained=True)
    for param in self.model_.parameters():
        param.requires_grad = True #False
    self.f_resnet = nn.Sequential(
        nn.Linear(in_features=np.int(1000), out_features=10, bias=True)
    )    
    
  def forward(self, input):

    midlevel_features = self.model_(input)
    output = self.f_resnet(midlevel_features)
    return output
```
上記では、全てのWeightsやBiasなどを学習するか・しないかのどちらかしか設定できません。
実際には、自分の趣味（学習の状況）に合わせて、層を選んで学習したい。
pytorchでも当然出来るはずで、以下の参考②にありました。
【参考】
②[【PyTorch】torchvisionから学習済みモデルを使用する際のTips](http://maruo51.com/2020/03/17/torchvision_models_tips/)
ということで、いろいろ試した結果以下のようにできました。

```py
    for i, param in enumerate(self.model_.parameters()):
        param.requires_grad = True
        if i >= 20:
            param.requires_grad = False #True #False
        print(i, param.requires_grad)
    
    j =0
    for name,  param in self.model_.named_parameters():
        param.requires_grad = True
        if j >= 10:
            param.requires_grad = False
        print(j, name, param.requires_grad)
        j +=1
```
###・いろいろなモデルを使ってみる
上記の単独のモデルを拡張して、以下のようなnetwork関数を定義しました。
以下のclassを読みだすことにより、modelをそれぞれ生成している。

```py
class customize_model(nn.Module):
  def __init__(self, input_size=128, sel_model='resnet18'):
    super(customize_model, self).__init__()
    
    ## Select model
    if sel_model == 'resnext50':
        self.model_ = models.resnext50_32x4d(pretrained=True)
    elif sel_model == 'vgg16':
        self.model_ = models.vgg16_bn(pretrained=True) #, num_classes=10) #365) 
    elif sel_model == 'wide50':
        self.model_ = models.wide_resnet50_2(pretrained=True) #, num_classes=10) #365) 
    elif sel_model == 'mobilev2':
        self.model_ = models.mobilenet_v2(pretrained=True)
    elif sel_model == 'densenet121':
        self.model_ = models.densenet121(pretrained=True)
    else:
        self.model_ = models.resnet18(pretrained=True)
    
    j =0
    for name,  param in self.model_.named_parameters():
        param.requires_grad = True
        if j >= 10:
            param.requires_grad = False
        print(j, name, param.requires_grad)
        j +=1
    
    self.f_resnet = nn.Sequential(
        nn.Linear(in_features=np.int(1000), out_features=10, bias=True)
    )
    
  def forward(self, input):

    midlevel_features = self.model_(input)
    output = self.f_resnet(midlevel_features)
    return output
```
これらの性能は上記のリンクからImagenetに対して以下の通りだそうです。
今回は、これにCifar10の測定結果を追記しています。
測定条件は、128□に拡大し、規格化実施したが、それ以外は読込通りで何ら手を加えていないが、ばらつきがあるもののtop-1 errorが10%以下で比較的よい。
これは、imagenetでの学習パラメータを初期値としてFine-Tuningを実施しているためかもしれないが、いわゆる学習を10カテゴリへのfc層に限った場合は、右の数字になっているので、Fine-Tuning（再学習）が成功していると言える。

| モデル名 |top-1 error|top-10 error|training_time/epoch;Fine-Tuning|Cifar10 top-1 error/10epoch|training_time/epoch;transfer|Cifar10 top-1 error|weights size|
|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|
|VGG-16 with batch normalization|26.63|8.50|179.1a/124.1b|9.37a/9.57b|185.5|18.4|35.6MBa(138MB)/21.0MBb|
|ResNet-18|30.24|10.92|120.0|9.54|61.5|20.3|11.7MB|
|Densenet-121|25.35|7.83|253.1|6.35|112.8|17.8|8.0MB|
|MobileNet V2|28.12|9.71|124.7|8.04|65.3|21.1|3.5MB|
|ResNeXt-50-32x4d|22.38|6.30|425.2|7.57|149.5|19.23|25.0MB|
|Wide ResNet-50-2|21.49|5.91|810.1(batch8)/258.5e/419f|30.9(batch8)/12.4e/11.1f|173.1c/124.0d|21.55/17.48d|68.9MB/29.3MBd/67.3MBe|
a;AdaptiveAvgPool2d-45のパラメータ固定
b;AdaptivAvgPool2d-45を削除してFlatten()に置き換え
c;計算中停止時間を引く1931sec-200sec/10epoch
d;j <= 140 False (64,64)
e;  j <= 44: False (1.6MB) (64,64) batch32
f;  j <= 44: False (1.6MB) (128,128) batch32
####測定条件
Cifar10/128x128画像をbatch=32読み込み時に以下の変換を実施しているが、それ以外のAugumentationは実施していない。

```py
self.transform = transforms.Compose([
            transforms.ToTensor(),
            transforms.Resize((self.width, self.height)),
            transforms.Normalize((0.5, 0.5, 0.5), (0.25, 0.25, 0.25))
        ])
```
###VGG16モデルのAdaptiveAvgPool2d-45のパラメータ固定と削除
上記の計算において、VGG16_bnでは、全結合層への入り口でAdaptiveAvgPool2dを利用して、出力を512*7*7=4096統一しているようだ。
この方法は、他のモデルでも利用されているが、`AdaptiveAvgPool2d(output_size=(1, 1))`　と出力サイズが(1,1)となっており、Weightsもそれなりのサイズに収まっている。
ところが、VGG16では、`AdaptiveAvgPool2d(output_size=(7, 7))`とサイズが大きく、特にWeightsのサイズはほぼ102MBと大きいので目立っている。
固定で利用する場合は、どうにか学習できるが、学習しようとするとメモリー不足で計算できない。
そこで、今回は上の計算で利用した、固定と削除の方法を記載しておく。
####固定について
VGG16_bnでは、以下のように52番目のweightsをFalseにすれば固定される。

```py
    j =0
    for name,  param in self.model_.named_parameters():
        param.requires_grad = True
        if j == 52:
            param.requires_grad = False
        print(j, name, param.requires_grad)
        j +=1
```
一方、削除は以下のようにモデルの定義で以下のように削除する。

```py
    elif sel_model == 'vgg16':
        model_0 = models.vgg16_bn(pretrained=True) 
        self.model_ = nn.Sequential(*list(model_0.children())[0])  
```
これは、model0.children()を以下のように出力すると分かるが、`AdaptiveAvgPool2d(output_size=(7, 7))`は、以下のように別のレイヤーとして定義されており、最初の(features): Sequential()の次の(avgpool):となっている。
そこで、上では`*list(model_0.children())[0]`と最初の塊を取得している。

```
vgg16 Net(
  (net): customize_model(
    (model_): VGG(
      (features): Sequential(
        (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
        (1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (2): ReLU(inplace=True)
        (3): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
．．．
        (42): ReLU(inplace=True)
        (43): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
      )
      (avgpool): AdaptiveAvgPool2d(output_size=(7, 7))
      (classifier): Sequential(
        (0): Linear(in_features=25088, out_features=4096, bias=True)
        (1): ReLU(inplace=True)
        (2): Dropout(p=0.5, inplace=False)
        (3): Linear(in_features=4096, out_features=4096, bias=True)
        (4): ReLU(inplace=True)
        (5): Dropout(p=0.5, inplace=False)
        (6): Linear(in_features=4096, out_features=1000, bias=True)
      )
    )
    (f_resnet): Sequential(
      (0): Linear(in_features=1000, out_features=10, bias=True)
    )
  )
```
そして、上記の(classifier)の代わりに以下を追加した。

```py
    if sel_model =='vgg16':
        self.f_resnet = nn.Sequential(
            nn.Flatten(),
            nn.Linear(in_features=np.int(512*2*2), out_features=2048, bias=True), 
            nn.ReLU(),
            nn.Dropout(p=0.2, inplace=False),
            nn.Linear(in_features=np.int(512*2*2), out_features=1000, bias=True), 
            nn.Linear(in_features=np.int(1000), out_features=10, bias=True)
            )
```
###入力サイズ依存性
####resnet18、densenet121とmobilev2の入力画像サイズ依存性
測定条件は、上記と同一で、上の表でWeightsサイズが小さく比較的扱いやすい三つのモデルを選んでサイズ依存性をやってみました。
Cifar10の入力サイズを32，64, 96, 128, 192そして224に変更して10epoch　Fine-Tuningした結果は以下の表の通りになりました。

|resnet18|val_acc|Train_time|model_size|memory_size|
|:-:|:-:|:-:|:-:|:-:|
|32|0.8242|633|11.7MB|137MB|
|64|0.8665|732|||
|96|0.887|927|||
|128|0.9077|1186|||
|192|0.9182|1957|||
|224|0.9136|2697|||

|densenet121|val_acc|Train_time|model_size|memory_size|
|:-:|:-:|:-:|:-:|:-:|
|32|0.7705|1249|8.0MB|94MB|
|64|0.8990|1404|||
|96|0.9171|1726|||
|128|0.9362|2522|||
|192|-|-|||

|mobilev2|val_acc|Train_time|model_size|memory_size|
|:-:|:-:|:-:|:-:|:-:|
|32|0.5443|543|3.5MB|41MB|
|64|0.8546|682|||
|96|0.9024|839|||
|128|0.9255|1252|||
|192|0.9222|2454|||

以下の依存性があるようだ。
![accvssize.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/233744/5e577045-0784-5102-2cc4-059075588ae6.png)
###まとめ
・pytorch掲載のmodelsで遊んでみた
・Imagenetで学習済パラメータの転移学習をcifar10に適用したが、val_accはあまり向上しない
・Fine-tuningではtop-1 errorで10%以下の値を得た
・top-1 errorは、入力画像サイズ依存性があり、ほぼ単調に減少する傾向が見られた
・層毎の利用が出来るようになった
・mobile v2とdensenet121辺りの性能及び学習時間が良好であった

・マシンのメモリー不足で大きなレンジで測定できなかった

###おまけ
一番短いVGG16です。

```VGG16_bn.
0 True
1 True
2 True
3 True
4 True
5 True
6 True
7 True
8 True
9 True
10 True
11 True
12 True
13 True
14 True
15 True
16 True
17 True
18 True
19 True
20 False
21 False
22 False
23 False
24 False
25 False
26 False
27 False
28 False
29 False
30 False
31 False
32 False
33 False
34 False
35 False
36 False
37 False
38 False
39 False
40 False
41 False
42 False
43 False
44 False
45 False
46 False
47 False
48 False
49 False
50 False
51 False
52 False
53 False
54 False
55 False
56 False
57 False
0 features.0.weight True
1 features.0.bias True
2 features.1.weight True
3 features.1.bias True
4 features.3.weight True
5 features.3.bias True
6 features.4.weight True
7 features.4.bias True
8 features.7.weight True
9 features.7.bias True
10 features.8.weight False
11 features.8.bias False
12 features.10.weight False
13 features.10.bias False
14 features.11.weight False
15 features.11.bias False
16 features.14.weight False
17 features.14.bias False
18 features.15.weight False
19 features.15.bias False
20 features.17.weight False
21 features.17.bias False
22 features.18.weight False
23 features.18.bias False
24 features.20.weight False
25 features.20.bias False
26 features.21.weight False
27 features.21.bias False
28 features.24.weight False
29 features.24.bias False
30 features.25.weight False
31 features.25.bias False
32 features.27.weight False
33 features.27.bias False
34 features.28.weight False
35 features.28.bias False
36 features.30.weight False
37 features.30.bias False
38 features.31.weight False
39 features.31.bias False
40 features.34.weight False
41 features.34.bias False
42 features.35.weight False
43 features.35.bias False
44 features.37.weight False
45 features.37.bias False
46 features.38.weight False
47 features.38.bias False
48 features.40.weight False
49 features.40.bias False
50 features.41.weight False
51 features.41.bias False
52 classifier.0.weight False
53 classifier.0.bias False
54 classifier.3.weight False
55 classifier.3.bias False
56 classifier.6.weight False
57 classifier.6.bias False
model_customize vgg16=  customize_model(
  (model_): VGG(
    (features): Sequential(
      (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (2): ReLU(inplace=True)
      (3): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (4): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (5): ReLU(inplace=True)
      (6): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
      (7): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (8): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (9): ReLU(inplace=True)
      (10): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (11): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (12): ReLU(inplace=True)
      (13): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
      (14): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (15): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (16): ReLU(inplace=True)
      (17): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (18): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (19): ReLU(inplace=True)
      (20): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (21): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (22): ReLU(inplace=True)
      (23): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
      (24): Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (25): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (26): ReLU(inplace=True)
      (27): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (28): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (29): ReLU(inplace=True)
      (30): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (31): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (32): ReLU(inplace=True)
      (33): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
      (34): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (35): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (36): ReLU(inplace=True)
      (37): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (38): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (39): ReLU(inplace=True)
      (40): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (41): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (42): ReLU(inplace=True)
      (43): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    )
    (avgpool): AdaptiveAvgPool2d(output_size=(7, 7))
    (classifier): Sequential(
      (0): Linear(in_features=25088, out_features=4096, bias=True)
      (1): ReLU(inplace=True)
      (2): Dropout(p=0.5, inplace=False)
      (3): Linear(in_features=4096, out_features=4096, bias=True)
      (4): ReLU(inplace=True)
      (5): Dropout(p=0.5, inplace=False)
      (6): Linear(in_features=4096, out_features=1000, bias=True)
    )
  )
  (f_resnet): Sequential(
    (0): Linear(in_features=1000, out_features=10, bias=True)
  )
)
----------------------------------------------------------------
        Layer (type)               Output Shape         Param #
================================================================
            Conv2d-1         [-1, 64, 128, 128]           1,792
       BatchNorm2d-2         [-1, 64, 128, 128]             128
              ReLU-3         [-1, 64, 128, 128]               0
            Conv2d-4         [-1, 64, 128, 128]          36,928
       BatchNorm2d-5         [-1, 64, 128, 128]             128
              ReLU-6         [-1, 64, 128, 128]               0
         MaxPool2d-7           [-1, 64, 64, 64]               0
            Conv2d-8          [-1, 128, 64, 64]          73,856
       BatchNorm2d-9          [-1, 128, 64, 64]             256
             ReLU-10          [-1, 128, 64, 64]               0
           Conv2d-11          [-1, 128, 64, 64]         147,584
      BatchNorm2d-12          [-1, 128, 64, 64]             256
             ReLU-13          [-1, 128, 64, 64]               0
        MaxPool2d-14          [-1, 128, 32, 32]               0
           Conv2d-15          [-1, 256, 32, 32]         295,168
      BatchNorm2d-16          [-1, 256, 32, 32]             512
             ReLU-17          [-1, 256, 32, 32]               0
           Conv2d-18          [-1, 256, 32, 32]         590,080
      BatchNorm2d-19          [-1, 256, 32, 32]             512
             ReLU-20          [-1, 256, 32, 32]               0
           Conv2d-21          [-1, 256, 32, 32]         590,080
      BatchNorm2d-22          [-1, 256, 32, 32]             512
             ReLU-23          [-1, 256, 32, 32]               0
        MaxPool2d-24          [-1, 256, 16, 16]               0
           Conv2d-25          [-1, 512, 16, 16]       1,180,160
      BatchNorm2d-26          [-1, 512, 16, 16]           1,024
             ReLU-27          [-1, 512, 16, 16]               0
           Conv2d-28          [-1, 512, 16, 16]       2,359,808
      BatchNorm2d-29          [-1, 512, 16, 16]           1,024
             ReLU-30          [-1, 512, 16, 16]               0
           Conv2d-31          [-1, 512, 16, 16]       2,359,808
      BatchNorm2d-32          [-1, 512, 16, 16]           1,024
             ReLU-33          [-1, 512, 16, 16]               0
        MaxPool2d-34            [-1, 512, 8, 8]               0
           Conv2d-35            [-1, 512, 8, 8]       2,359,808
      BatchNorm2d-36            [-1, 512, 8, 8]           1,024
             ReLU-37            [-1, 512, 8, 8]               0
           Conv2d-38            [-1, 512, 8, 8]       2,359,808
      BatchNorm2d-39            [-1, 512, 8, 8]           1,024
             ReLU-40            [-1, 512, 8, 8]               0
           Conv2d-41            [-1, 512, 8, 8]       2,359,808
      BatchNorm2d-42            [-1, 512, 8, 8]           1,024
             ReLU-43            [-1, 512, 8, 8]               0
        MaxPool2d-44            [-1, 512, 4, 4]               0
AdaptiveAvgPool2d-45            [-1, 512, 7, 7]               0
           Linear-46                 [-1, 4096]     102,764,544
             ReLU-47                 [-1, 4096]               0
          Dropout-48                 [-1, 4096]               0
           Linear-49                 [-1, 4096]      16,781,312
             ReLU-50                 [-1, 4096]               0
          Dropout-51                 [-1, 4096]               0
           Linear-52                 [-1, 1000]       4,097,000
              VGG-53                 [-1, 1000]               0
           Linear-54                   [-1, 10]          10,010
================================================================
Total params: 138,376,002
Trainable params: 122,842
Non-trainable params: 138,253,160
----------------------------------------------------------------
Input size (MB): 0.19
Forward/backward pass size (MB): 105.46
Params size (MB): 527.86
Estimated Total Size (MB): 633.51
----------------------------------------------------------------
```
以下が二番目に短いResnet18です。

```Resnet18.
0 True
1 True
2 True
3 True
4 True
5 True
6 True
7 True
8 True
9 True
10 True
11 True
12 True
13 True
14 True
15 True
16 True
17 True
18 True
19 True
20 False
21 False
22 False
23 False
24 False
25 False
26 False
27 False
28 False
29 False
30 False
31 False
32 False
33 False
34 False
35 False
36 False
37 False
38 False
39 False
40 False
41 False
42 False
43 False
44 False
45 False
46 False
47 False
48 False
49 False
50 False
51 False
52 False
53 False
54 False
55 False
56 False
57 False
58 False
59 False
60 False
61 False
0 conv1.weight True
1 bn1.weight True
2 bn1.bias True
3 layer1.0.conv1.weight True
4 layer1.0.bn1.weight True
5 layer1.0.bn1.bias True
6 layer1.0.conv2.weight True
7 layer1.0.bn2.weight True
8 layer1.0.bn2.bias True
9 layer1.1.conv1.weight True
10 layer1.1.bn1.weight False
11 layer1.1.bn1.bias False
12 layer1.1.conv2.weight False
13 layer1.1.bn2.weight False
14 layer1.1.bn2.bias False
15 layer2.0.conv1.weight False
16 layer2.0.bn1.weight False
17 layer2.0.bn1.bias False
18 layer2.0.conv2.weight False
19 layer2.0.bn2.weight False
20 layer2.0.bn2.bias False
21 layer2.0.downsample.0.weight False
22 layer2.0.downsample.1.weight False
23 layer2.0.downsample.1.bias False
24 layer2.1.conv1.weight False
25 layer2.1.bn1.weight False
26 layer2.1.bn1.bias False
27 layer2.1.conv2.weight False
28 layer2.1.bn2.weight False
29 layer2.1.bn2.bias False
30 layer3.0.conv1.weight False
31 layer3.0.bn1.weight False
32 layer3.0.bn1.bias False
33 layer3.0.conv2.weight False
34 layer3.0.bn2.weight False
35 layer3.0.bn2.bias False
36 layer3.0.downsample.0.weight False
37 layer3.0.downsample.1.weight False
38 layer3.0.downsample.1.bias False
39 layer3.1.conv1.weight False
40 layer3.1.bn1.weight False
41 layer3.1.bn1.bias False
42 layer3.1.conv2.weight False
43 layer3.1.bn2.weight False
44 layer3.1.bn2.bias False
45 layer4.0.conv1.weight False
46 layer4.0.bn1.weight False
47 layer4.0.bn1.bias False
48 layer4.0.conv2.weight False
49 layer4.0.bn2.weight False
50 layer4.0.bn2.bias False
51 layer4.0.downsample.0.weight False
52 layer4.0.downsample.1.weight False
53 layer4.0.downsample.1.bias False
54 layer4.1.conv1.weight False
55 layer4.1.bn1.weight False
56 layer4.1.bn1.bias False
57 layer4.1.conv2.weight False
58 layer4.1.bn2.weight False
59 layer4.1.bn2.bias False
60 fc.weight False
61 fc.bias False
model_customize resnet18=  customize_model(
  (model_): ResNet(
    (conv1): Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False)
    (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (relu): ReLU(inplace=True)
    (maxpool): MaxPool2d(kernel_size=3, stride=2, padding=1, dilation=1, ceil_mode=False)
    (layer1): Sequential(
      (0): BasicBlock(
        (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
      (1): BasicBlock(
        (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
    )
    (layer2): Sequential(
      (0): BasicBlock(
        (conv1): Conv2d(64, 128, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (downsample): Sequential(
          (0): Conv2d(64, 128, kernel_size=(1, 1), stride=(2, 2), bias=False)
          (1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        )
      )
      (1): BasicBlock(
        (conv1): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
    )
    (layer3): Sequential(
      (0): BasicBlock(
        (conv1): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (downsample): Sequential(
          (0): Conv2d(128, 256, kernel_size=(1, 1), stride=(2, 2), bias=False)
          (1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        )
      )
      (1): BasicBlock(
        (conv1): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
    )
    (layer4): Sequential(
      (0): BasicBlock(
        (conv1): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (downsample): Sequential(
          (0): Conv2d(256, 512, kernel_size=(1, 1), stride=(2, 2), bias=False)
          (1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        )
      )
      (1): BasicBlock(
        (conv1): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
        (relu): ReLU(inplace=True)
        (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      )
    )
    (avgpool): AdaptiveAvgPool2d(output_size=(1, 1))
    (fc): Linear(in_features=512, out_features=1000, bias=True)
  )
  (f_resnet): Sequential(
    (0): Linear(in_features=1000, out_features=10, bias=True)
  )
)
----------------------------------------------------------------
        Layer (type)               Output Shape         Param #
================================================================
            Conv2d-1           [-1, 64, 64, 64]           9,408
       BatchNorm2d-2           [-1, 64, 64, 64]             128
              ReLU-3           [-1, 64, 64, 64]               0
         MaxPool2d-4           [-1, 64, 32, 32]               0
            Conv2d-5           [-1, 64, 32, 32]          36,864
       BatchNorm2d-6           [-1, 64, 32, 32]             128
              ReLU-7           [-1, 64, 32, 32]               0
            Conv2d-8           [-1, 64, 32, 32]          36,864
       BatchNorm2d-9           [-1, 64, 32, 32]             128
             ReLU-10           [-1, 64, 32, 32]               0
       BasicBlock-11           [-1, 64, 32, 32]               0
           Conv2d-12           [-1, 64, 32, 32]          36,864
      BatchNorm2d-13           [-1, 64, 32, 32]             128
             ReLU-14           [-1, 64, 32, 32]               0
           Conv2d-15           [-1, 64, 32, 32]          36,864
      BatchNorm2d-16           [-1, 64, 32, 32]             128
             ReLU-17           [-1, 64, 32, 32]               0
       BasicBlock-18           [-1, 64, 32, 32]               0
           Conv2d-19          [-1, 128, 16, 16]          73,728
      BatchNorm2d-20          [-1, 128, 16, 16]             256
             ReLU-21          [-1, 128, 16, 16]               0
           Conv2d-22          [-1, 128, 16, 16]         147,456
      BatchNorm2d-23          [-1, 128, 16, 16]             256
           Conv2d-24          [-1, 128, 16, 16]           8,192
      BatchNorm2d-25          [-1, 128, 16, 16]             256
             ReLU-26          [-1, 128, 16, 16]               0
       BasicBlock-27          [-1, 128, 16, 16]               0
           Conv2d-28          [-1, 128, 16, 16]         147,456
      BatchNorm2d-29          [-1, 128, 16, 16]             256
             ReLU-30          [-1, 128, 16, 16]               0
           Conv2d-31          [-1, 128, 16, 16]         147,456
      BatchNorm2d-32          [-1, 128, 16, 16]             256
             ReLU-33          [-1, 128, 16, 16]               0
       BasicBlock-34          [-1, 128, 16, 16]               0
           Conv2d-35            [-1, 256, 8, 8]         294,912
      BatchNorm2d-36            [-1, 256, 8, 8]             512
             ReLU-37            [-1, 256, 8, 8]               0
           Conv2d-38            [-1, 256, 8, 8]         589,824
      BatchNorm2d-39            [-1, 256, 8, 8]             512
           Conv2d-40            [-1, 256, 8, 8]          32,768
      BatchNorm2d-41            [-1, 256, 8, 8]             512
             ReLU-42            [-1, 256, 8, 8]               0
       BasicBlock-43            [-1, 256, 8, 8]               0
           Conv2d-44            [-1, 256, 8, 8]         589,824
      BatchNorm2d-45            [-1, 256, 8, 8]             512
             ReLU-46            [-1, 256, 8, 8]               0
           Conv2d-47            [-1, 256, 8, 8]         589,824
      BatchNorm2d-48            [-1, 256, 8, 8]             512
             ReLU-49            [-1, 256, 8, 8]               0
       BasicBlock-50            [-1, 256, 8, 8]               0
           Conv2d-51            [-1, 512, 4, 4]       1,179,648
      BatchNorm2d-52            [-1, 512, 4, 4]           1,024
             ReLU-53            [-1, 512, 4, 4]               0
           Conv2d-54            [-1, 512, 4, 4]       2,359,296
      BatchNorm2d-55            [-1, 512, 4, 4]           1,024
           Conv2d-56            [-1, 512, 4, 4]         131,072
      BatchNorm2d-57            [-1, 512, 4, 4]           1,024
             ReLU-58            [-1, 512, 4, 4]               0
       BasicBlock-59            [-1, 512, 4, 4]               0
           Conv2d-60            [-1, 512, 4, 4]       2,359,296
      BatchNorm2d-61            [-1, 512, 4, 4]           1,024
             ReLU-62            [-1, 512, 4, 4]               0
           Conv2d-63            [-1, 512, 4, 4]       2,359,296
      BatchNorm2d-64            [-1, 512, 4, 4]           1,024
             ReLU-65            [-1, 512, 4, 4]               0
       BasicBlock-66            [-1, 512, 4, 4]               0
AdaptiveAvgPool2d-67            [-1, 512, 1, 1]               0
           Linear-68                 [-1, 1000]         513,000
           ResNet-69                 [-1, 1000]               0
           Linear-70                   [-1, 10]          10,010
================================================================
Total params: 11,699,522
Trainable params: 130,394
Non-trainable params: 11,569,128
----------------------------------------------------------------
Input size (MB): 0.19
Forward/backward pass size (MB): 20.52
Params size (MB): 44.63
Estimated Total Size (MB): 65.34
----------------------------------------------------------------
```