kataragi commited on
Commit
c17c7a2
·
verified ·
1 Parent(s): 260524c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +15 -10
README.md CHANGED
@@ -4,21 +4,23 @@ license: creativeml-openrail-m
4
 
5
  </p>
6
 
7
- # controlnet_IP-adapter
8
  - controlnet_IP-adapterは参照したい画像を入れると画風や人物の雰囲気などプロンプトで指定しにくい部分を模倣することができます。
9
  - 推奨モデルはnoobAIシリーズです。コントロールネットで「IP-adapter」、プリプロセッサ「CLIP-ViT-H (IPAdapter)」、modelに「ip_adapter_Noobtest_800000.bin」を選択してください。
10
  - 学習不足を感じているので使い勝手は悪いかもしれません。
11
 
12
- # 作例
13
 
14
  - ![](image1.jpg)
15
 
16
- # 参考設定例
17
  - 画像によってweightやendstepを調節することをお勧めします。関与率が高いと破綻が増えることがあります。
18
 
19
  - ![](image2.png)
20
 
21
- # 学習の詳細
 
 
22
 
23
  - 全学習共通
24
 
@@ -30,7 +32,7 @@ license: creativeml-openrail-m
30
 
31
  学習解像度1024
32
 
33
- - 学習第一段階
34
  ベースIP-adapterモデル:ip-adapter_sdxl.bin(https://huggingface.co/h94/IP-Adapter)
35
 
36
  ベースcheckpoint:animagineXL3.1
@@ -41,7 +43,7 @@ license: creativeml-openrail-m
41
 
42
  学習ステップ:40万ステップ
43
 
44
- - 学習第二段階
45
 
46
  ベースIP-adapterモデル:ip-adapter_animegineXL-400000.bin(非公開)
47
 
@@ -54,7 +56,7 @@ license: creativeml-openrail-m
54
  学習ステップ:40万ステップ
55
 
56
 
57
- - 学習第二段階
58
 
59
  ベースIP-adapterモデル:ip-adapter_noobAI_XL-400000.bin(非公開)
60
 
@@ -66,7 +68,9 @@ license: creativeml-openrail-m
66
 
67
  学習ステップ:40万ステップ
68
 
69
- - 備考
 
 
70
 
71
  SDXL_baseで学習されたIP-adapterモデルはanimagineXL3.1では1e-4という比較的高い学習率でも発散することなく学習できた。
72
 
@@ -76,6 +80,7 @@ SDXL_baseで学習されたIP-adapterモデルはanimagineXL3.1では1e-4とい
76
 
77
  学習第三段階でよりNoobAIにフィットするよう学習率を上げた。コサイン曲線を導入したが必要性は薄いと思われる。
78
 
79
- - 謝辞
80
 
81
- 最後にこの学習に多くのアドバイスをくださった天紗愛(https://x.com/Ai_tensa)氏にこの場を借りてお礼申し上げます。
 
 
4
 
5
  </p>
6
 
7
+ ## controlnet_IP-adapter
8
  - controlnet_IP-adapterは参照したい画像を入れると画風や人物の雰囲気などプロンプトで指定しにくい部分を模倣することができます。
9
  - 推奨モデルはnoobAIシリーズです。コントロールネットで「IP-adapter」、プリプロセッサ「CLIP-ViT-H (IPAdapter)」、modelに「ip_adapter_Noobtest_800000.bin」を選択してください。
10
  - 学習不足を感じているので使い勝手は悪いかもしれません。
11
 
12
+ ## 作例
13
 
14
  - ![](image1.jpg)
15
 
16
+ ## 参考設定例
17
  - 画像によってweightやendstepを調節することをお勧めします。関与率が高いと破綻が増えることがあります。
18
 
19
  - ![](image2.png)
20
 
21
+ ---
22
+
23
+ ## 学習の詳細
24
 
25
  - 全学習共通
26
 
 
32
 
33
  学習解像度1024
34
 
35
+ # 学習第一段階
36
  ベースIP-adapterモデル:ip-adapter_sdxl.bin(https://huggingface.co/h94/IP-Adapter)
37
 
38
  ベースcheckpoint:animagineXL3.1
 
43
 
44
  学習ステップ:40万ステップ
45
 
46
+ # 学習第二段階
47
 
48
  ベースIP-adapterモデル:ip-adapter_animegineXL-400000.bin(非公開)
49
 
 
56
  学習ステップ:40万ステップ
57
 
58
 
59
+ # 学習第三段階
60
 
61
  ベースIP-adapterモデル:ip-adapter_noobAI_XL-400000.bin(非公開)
62
 
 
68
 
69
  学習ステップ:40万ステップ
70
 
71
+ ---
72
+
73
+ # 備考
74
 
75
  SDXL_baseで学習されたIP-adapterモデルはanimagineXL3.1では1e-4という比較的高い学習率でも発散することなく学習できた。
76
 
 
80
 
81
  学習第三段階でよりNoobAIにフィットするよう学習率を上げた。コサイン曲線を導入したが必要性は薄いと思われる。
82
 
83
+ ---
84
 
85
+ # 謝辞
86
+ 最後にこの学習に多くのアドバイスをくださった天紗愛氏(https://x.com/Ai_tensa) にこの場を借りてお礼申し上げます。