Hugging Face's logo

Spaces:
asgeorges
/
ll-create
Build error

App Files Community
ll-create
File size: 121,119 Bytes 
2fdce3c
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
1001
1002
1003
1004
1005
1006
1007
1008
1009
1010
1011
1012
1013
1014
1015
1016
1017
1018
1019
1020
1021
1022
1023
1024
1025
1026
1027
1028
1029
1030
1031
1032
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1044
1045
1046
1047
1048
1049
1050
1051
1052
1053
1054
1055
1056
1057
1058
1059
1060
1061
1062
1063
1064
1065
1066
1067
1068
1069
1070
1071
1072
1073
1074
1075
1076
1077
1078
1079
1080
1081
1082
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1094
1095
1096
1097
1098
1099
1100
1101
1102
1103
1104
1105
1106
1107
1108
1109
1110
1111
1112
1113
1114
1115
1116
1117
1118
1119
1120
1121
1122
1123
1124
1125
1126
1127
1128
1129
1130
1131
1132
1133
1134
1135
1136
1137
1138
1139
1140
1141
1142
1143
1144
1145
1146
1147
1148
1149
1150
1151
1152
1153
1154
1155
1156
1157
1158
1159
1160
1161
1162
1163
1164
1165
1166
1167
1168
1169
1170
1171
1172
1173
1174
1175
1176
1177
1178
1179
1180
1181
1182
1183
1184
1185
1186
1187
1188
1189
1190
1191
1192
1193
1194
1195
1196
1197
1198
1199
1200
1201
1202
1203
1204
1205
1206
1207
1208
1209
1210
1211
1212
1213
1214
1215
1216
1217
1218
1219
1220
1221
1222
1223
1224
1225
1226
1227
1228
1229
1230
1231
1232
1233
1234
1235
1236
1237
1238
1239
1240
1241
1242
1243
1244
1245
1246
1247
1248
1249
1250
1251
1252
1253
1254
1255
1256
1257
1258
1259
1260
1261
1262
1263
1264
1265
1266
1267
1268
1269
1270
1271
1272
1273
1274
1275
1276
1277
1278
1279
1280
1281
1282
1283
1284
1285
1286
1287
1288
1289
1290
1291
1292
1293
1294
1295
1296
1297
1298
1299
1300
1301
1302
1303
1304
1305
1306
1307
1308
1309
1310
1311
1312
1313
1314
1315
1316
1317
1318
1319
1320
1321
1322
1323
1324
1325
1326
1327
1328
1329
1330
1331
1332
1333
1334
1335
1336
1337
1338
1339
1340
1341
1342
1343
1344
1345
1346
1347
1348
1349
1350
1351
1352
1353
1354
1355
1356
1357
1358
1359
1360
1361
1362
1363
1364
1365
1366
1367
1368
1369
1370
1371
1372
1373
1374
1375
1376
1377
1378
1379
1380
1381
1382
1383
1384
1385
1386
1387
1388
1389
1390
1391
1392
1393
1394
1395
1396
1397
1398
1399
1400
1401
1402
1403
1404
1405
1406
1407
1408
1409
1410
1411
1412
1413
1414
1415
1416
1417
1418
1419
1420
1421
1422
1423
1424
1425
1426
1427
1428
1429
1430
1431
1432
1433
1434
1435
1436
1437
1438
1439
1440
1441
1442
1443
1444
1445
1446
1447
1448
1449
1450
1451
1452
1453
1454
1455
1456
1457
1458
1459
1460
1461
1462
1463
1464
1465
1466
1467
1468
1469
1470
1471
1472
1473
1474
1475
1476
1477
1478
1479
1480
1481
1482
1483
1484
1485
1486
1487
1488
1489
1490
1491
1492
1493
1494
1495
1496
1497
1498
1499
1500
1501
1502
1503
1504
1505
1506
1507
1508
1509
1510
1511
1512
1513
1514
1515
1516
1517
1518
1519
1520
1521
1522
1523
1524
1525
1526
1527
1528
1529
1530
1531
1532
1533
1534
1535
1536
1537
1538
1539
1540
1541
1542
1543
1544
1545
1546
1547
1548
1549
1550
1551
1552
1553
1554
1555
1556
1557
1558
1559
1560
1561
1562
1563
1564
1565
1566
1567
1568
1569
1570
1571
1572
1573
1574
1575
1576
1577
1578
1579
1580
1581
1582
1583
1584
1585
1586
1587
1588
1589
1590
1591
1592
1593
1594
1595
1596
1597
1598
1599
1600
1601
1602
1603
1604
1605
1606
1607
1608
1609
1610
1611
1612
1613
1614
1615
1616
1617
1618
1619
1620
1621
1622
1623
1624
1625
1626
1627
1628
1629
1630
1631
1632
1633
1634
1635
1636
1637
1638
1639
1640
1641
1642
1643
1644
1645
1646
1647
1648
1649
1650
1651
1652
1653
1654
1655
1656
1657
1658
1659
1660
1661
1662
1663
1664
1665
1666
1667
1668
1669
1670
1671
1672
1673
1674
1675
1676
1677
1678
1679
1680
1681
1682
1683
1684
1685
1686
1687
1688
1689
1690
1691
1692
1693
1694
1695
1696
1697
1698
1699
1700
1701
1702
1703
1704
1705
1706
1707
1708
1709
1710
1711
1712
1713
1714
1715
1716
1717
1718
1719
1720
1721
1722
1723
1724
1725
1726
1727
 
[ 読者になる ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://blog.hatena.ne.jp/hoshikat/hoshikat.hatenablog.com/subscribe?utm_medium%3Dbutton%26utm_source%3Dblogs_topright_button%26utm_campaign%3Dsubscribe_blog)

# [人工知胜ず芪しくなるブログ](https://hoshikat-hatenablog-
com.translate.goog/?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

## 人工知胜に関するトピックを取り䞊げるブログです

[ 2023-05-26 ](https://hoshikat-hatenablog-
com.translate.goog/archive/2023/05/26?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

#  [誰でもわかるStable Diffusion Kohya_ssを䜿ったLoRA孊習蚭定を培底解説](https://hoshikat-
hatenablog-
com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

前回の蚘事では、Stable Diffusionモデルを远加孊習するためのWebUI環境「kohya_ss」の導入法に぀いお解説したした。

今回は、LoRAのしくみを倧たかに説明し、その埌にkohya_ssを䜿ったLoRA孊習蚭定に぀いお解説しおいきたす。

※今回の蚘事は非垞に長いです



**この蚘事では「各蚭定の意味」のみ解説しおいたす。**

「孊習画像の甚意のしかた」ずか「画像にどうキャプションを぀けるか」ずか「どう孊習を実行するか」は解説しおいたせん。孊習の実行法に぀いおはたた別の蚘事で解説したいず思いたす。



  * [LoRAの仕組みを知ろう](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#LoRAの仕組みを知ろう)
    * [「モデル」ずは](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#モデルずは)
    * [LoRAは小さいニュヌラルネットを远加する](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#LoRAは小さいニュヌラルネットを远加する)
    * [小さいニュヌラルネットの構造](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#小さいニュヌラルネットの構造)
    * [LoRA孊習察象1U-Net](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#LoRA孊習察象1U-Net)
    * [RoLA孊習察象2テキスト゚ンコヌダヌ](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#RoLA孊習察象2テキスト゚ンコヌダヌ)
  * [kohya_ssを立ち䞊げおみよう](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#kohya_ssを立ち䞊げおみよう)
  * [LoRA孊習の各蚭定](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#LoRA孊習の各蚭定)
    * [LoRA蚭定のセヌブ、ロヌド](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#LoRA蚭定のセヌブロヌド)
    * [Source modelタブ 孊習に䜿うベヌスモデルの蚭定](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Source-modelタブ孊習に䜿うベヌスモデルの蚭定)
      * [Pretrained model name or path](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Pretrained-model-name-or-path)
      * [Model Quick Pick](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Model-Quick-Pick)
      * [Save trained model as](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Save-trained-model-as)
      * [v2](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#v2)
      * [v_parameterization](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#v_parameterization)
    * [Foldersタブ 孊習画像の堎所ずLoRA出力先の蚭定](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Foldersタブ孊習画像の堎所ずLoRA出力先の蚭定)
      * [Image folder](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Image-folder)
      * [Output folder](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Output-folder)
      * [Regularisation folder](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Regularisation-folder)
      * [Logging folder](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Logging-folder)
      * [Model output name](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Model-output-name)
      * [Training comment](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Training-comment)
    * [Training parametersタブ 孊習の詳现蚭定](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Training-parametersタブ孊習の詳现蚭定)
      * [LoRA type](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#LoRA-type)
      * [LoRA network weights](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#LoRA-network-weights)
      * [DIM from weights](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#DIM-from-weights)
      * [Train batch size](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Train-batch-size)
      * [Epoch](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Epoch)
      * [Save every N epochs](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Save-every-N-epochs)
      * [Caption Extension](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Caption-Extension)
      * [Mixed precision](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Mixed-precision)
      * [Save precision](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Save-precision)
      * [Number of CPU threads per core](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Number-of-CPU-threads-per-core)
      * [Seed](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Seed)
      * [Cache latents](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Cache-latents)
      * [Cache latents to disk](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Cache-latents-to-disk)
      * [Learning rate:](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Learning-rate)
      * [LR Scheduler:](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#LR-Scheduler)
      * [LR warmup](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#LR-warmup)
      * [Optimizer](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Optimizer)
      * [Optimizer extra arguments](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Optimizer-extra-arguments)
      * [Text Encoder learning rate](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Text-Encoder-learning-rate)
      * [Unet learning rate](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Unet-learning-rate)
      * [Network Rank(Dimension)](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Network-RankDimension)
      * [Network alpha:](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Network-alpha)
      * [Max resolution](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Max-resolution)
      * [Stop text encoder training](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Stop-text-encoder-training)
      * [Enable buckets](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Enable-buckets)
    * [Advanced Configuration](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Advanced-Configuration)
      * [Weights、Blocks、Conv](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#WeightsBlocksConv)
      * [Weights: Down LR weights/Mid LR weights/Up LR weights](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Weights-Down-LR-weightsMid-LR-weightsUp-LR-weights)
      * [Weights: Blocks LR zero threshold](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Weights-Blocks-LR-zero-threshold)
      * [Blocks: Block dims, Block alphas](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Blocks-Block-dims-Block-alphas)
      * [Conv: Conv dims, Conv, alphas](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Conv-Conv-dims-Conv-alphas)
      * [No token padding](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#No-token-padding)
      * [Gradient accumulation steps](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Gradient-accumulation-steps)
      * [Weighted captions](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Weighted-captions)
      * [Prior loss weight](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Prior-loss-weight)
      * [LR number of cycles](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#LR-number-of-cycles)
      * [LR power](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#LR-power)
      * [Additional parameters](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Additional-parameters)
      * [Save every N steps](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Save-every-N-steps)
      * [Save last N steps](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Save-last-N-steps)
      * [Keep n tokens](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Keep-n-tokens)
      * [Clip skip](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Clip-skip)
      * [Max Token Length](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Max-Token-Length)
      * [Full fp16 training (experimental)](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Full-fp16-training-experimental)
      * [Gradient checkpointing](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Gradient-checkpointing)
      * [Shuffle caption](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Shuffle-caption)
      * [Persistent data loader](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Persistent-data-loader)
      * [Memory efficient attention](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Memory-efficient-attention)
      * [Use xformers](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Use-xformers)
      * [Color augmentation](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Color-augmentation)
      * [Flip augmentation](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Flip-augmentation)
      * [Min SNR gamma](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Min-SNR-gamma)
      * [Don't upscale bucket resolution](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Dont-upscale-bucket-resolution)
      * [Bucket resolution steps](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Bucket-resolution-steps)
      * [Random crop instead of center crop](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Random-crop-instead-of-center-crop)
      * [Noise offset type](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Noise-offset-type)
      * [Noise offset](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Noise-offset)
      * [Adaptive noise scale](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Adaptive-noise-scale)
      * [Multires noise iterations](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Multires-noise-iterations)
      * [Multires noise discount](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Multires-noise-discount)
      * [Dropout caption every n epochs](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Dropout-caption-every-n-epochs)
      * [Rate of caption dropout](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Rate-of-caption-dropout)
      * [VAE batch size](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#VAE-batch-size)
      * [Save training state](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Save-training-state)
      * [Resume from saved training state](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Resume-from-saved-training-state)
      * [Max train epoch](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Max-train-epoch)
      * [Max num workers for DataLoader](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Max-num-workers-for-DataLoader)
      * [WANDB API Key](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#WANDB-API-Key)
      * [WANDB Logging](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#WANDB-Logging)
    * [Sample images config](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Sample-images-config)
      * [Sample every n steps](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Sample-every-n-steps)
      * [Sample every n epochs](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Sample-every-n-epochs)
      * [Sample sampler](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Sample-sampler)
      * [Sample prompts](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#Sample-prompts)
  * [たずめ](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp#たずめ)



### LoRAの仕組みを知ろう

kohya_ssの各蚭定の意味を知るには、LoRAがどういうメ[カニ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25AB%25A5%25CB)ズムで远加孊習をするのか知っおおく必芁がありたす。

远加孊習の察象である「モデル」ずは䜕なのかも合わせお説明したす。



#### 「モデル」ずは

Stable Diffusionは「 **モデル** 」ず呌ばれるモゞュヌルを読み蟌んで䜿いたす。モデルずはいわば「脳みそ」で、その正䜓は「
**[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)のりェむト情報**」です。

[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)はたくさんの「
**[ニュヌロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25ED%25A5%25F3)**
」からできおいお、[ニュヌロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25ED%25A5%25F3)のたずたりが䜕局もの「
**レむダヌ**
」を圢䜜っおいたす。あるレむダヌの[ニュヌロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25ED%25A5%25F3)は違うレむダヌの[ニュヌロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25ED%25A5%25F3)ず線で぀ながっおいお、その぀ながりの匷さを衚すのが「
**りェむト** 」です。膚倧な絵の情報を保持しおいるのは、この「りェむト」なのです。



####
LoRAは小さい[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)を远加する

LoRAは「远加孊習」の䞀皮ですが、远加孊習ずは[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)をバヌゞョンアップするこずです。

その方法はいろいろありたすが、たず思い぀くのは䞋の図のようにモデル党郚を孊習しなおす方法です。



![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230512/20230512000033.png)

远加孊習でモデルを鍛えなおす

「DreamBooth」ずいう远加孊習法がこの方法を䜿っおいたす。

この方法だず、もし远加孊習デヌタを公開したい堎合、远加孊習で新しくなったモデルを䞞ごず配垃する必芁がありたす。

モデルのサむズは通垞2G5Gバむトあり、配垃はなかなか倧倉です。

これに察しお、LoRA孊習ではモデルには手を付けず、新しい「小さな[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)」を孊習したい䜍眮ごずに䜜りたす。远加孊習は、この小さな[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)を察象にしお行われたす。

LoRAを配垃したいずきはこの小さな[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)だけを配垃すればいいので、デヌタサむズが少なく枈みたす。



![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230512/20230512005959.png)

RoLA孊習は小さな[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)察象



#### 小さい[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)の構造

LoRAの小さい[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)は぀の局からできおいたす。巊の「入力局」、右の「出力局」の[ニュヌロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25ED%25A5%25F3)の数は、タヌゲットの[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)の「入力局」「出力局」の[ニュヌロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25ED%25A5%25F3)数ず同じです。真ん䞭の局(äž­é–“å±€)の[ニュヌロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25ED%25A5%25F3)数は「ランク数」(たたは次元数)ず呌ばれ、この数は孊習するずきに自由に決めるこずができたす。

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230512/20230512011058.png)

小さな[ニュヌラルネットワヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8%25A5%25EF%25A1%25BC%25A5%25AF)の構造



では、この小さな[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)はどこに远加されるのでしょう



#### LoRA孊習察象1U-Net

䞋の図はStable
Diffusionの心臓郚である「U-Net」ずいうメ[カニ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25AB%25A5%25CB)ズムです。

U-Netは「Down」(巊半分)「Mid」䞀番䞋「Up」右半分に分けられたす。

そしお、Down12ブロック、Mid1ブロック、Up12ブロックの合蚈25ブロックからできおいたす。

ここの䞭の赀い矢印の郚分(オレンゞ色のブロック)がLoRA孊習察象です。぀たり、この赀い矢印のブロックに小さな[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)が远加されたす。

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230512/20230512011350.png)

赀い矢印のブロックがLoRA孊習察象の「Attentionブロック」



オレンゞ色のブロックでは「テキスト凊理」、぀たりプロンプトずしお䞎えられたテキストを画像に反映させる凊理を行っおいたす。

このブロックをさらに现かく芋るず、以䞋のような凊理を行っおいたす。

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230512/20230512011718.png)

赀い矢印の郚分にそれぞれ小さな[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)が远加される

ここにも赀い矢印がいく぀も぀いおいたすが、この赀い矢印の凊理党郚にそれぞれ別の[ニュヌラルネットワヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8%25A5%25EF%25A1%25BC%25A5%25AF)が远加されたす。

ここに远加される[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)のこずをKohya_ssでは単玔に「UNet」ず呌んでいたす。



####
RoLA孊習察象2テキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)

LoRAが[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)を远加するのはここだけではありたせん。

䞊の図の「Cross
Attention」ずいうブロックは、「テキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)」ずいうモゞュヌルからテキスト情報を受け取りたす。この「テキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)」は、テキストデヌタであるプロンプトを数字の列(ベクトル)に倉換するずいう圹割がありたす。

テキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)は1぀しかなく、U-Net内のすべおのAttentionブロックで共通で䜿われたす。このテキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)は本来Stable
Diffusion内では「完成品」ずしお扱われ、モデル孊習の察象にはなりたせんが、LoRAによる远加孊習ではこれも孊習察象です。

LoRAでアップデヌトしたテキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)はすべおのAttentionブロックで䜿われるので、ここに远加される[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)は完成画像にずおも倧きな圱響を及がしたす。

ここに远加される[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)の事をKohya_ssでは「Text
Encoder」ず呌んでいたす。



### kohya_ssを立ち䞊げおみよう

LoRA孊習のしくみを芋たので、いよいよkohya_ssを䜿っおみたしょう。

kohya_ssフォルダ内にある「[gui](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/gui).bat」をダブルクリックするず、[コマンドプロンプト](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25B3%25A5%25DE%25A5%25F3%25A5%25C9%25A5%25D7%25A5%25ED%25A5%25F3%25A5%25D7%25A5%25C8)(黒背景の文字だけのりィンドり)が立ち䞊がりたす。しばらくするずそこにURLが衚瀺されるので、それをりェブブラりザのURL欄に入力しおリタヌンを抌すずkohya_ssの画面がブラりザ䞊に衚瀺されたす。



kohya_ssを立ち䞊げるず、UIの䞊郚にタブがいく぀か珟れたす。この䞭の「Dreambooth
LoRA」を遞びたしょう。これがLoRA孊習のためのタブです。

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230518/20230518004131.png)

巊から2番目のタブがLoRA孊習蚭定



### LoRA孊習の各蚭定

「Dreambooth LoRA」タブを遞ぶず、たくさんの蚭定が出おきたす。それらをここで解説したす。



#### LoRA蚭定のセヌブ、ロヌド

䞀番䞊にあるのは「コンフィグファむル」です。ここでLoRA蚭定をコンフィグファむルずしおセヌブ、ロヌドするこずができたす。

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230518/20230518004415.png)

蚭定はコンフィグファむルずしおセヌブ、ロヌドできる

蚭定をコンフィグファむルに保存しおおけば埌でそのコンフィグファむルをロヌドしお蚭定を埩元できるので、お気に入りの蚭定はなるべく保存しおおきたしょう。





次に、4぀のタブがありたす。最初の3぀に぀いおそれぞれ詳しく芋おいきたす。

(「Tools」タブはLoRA孊習時には䜿わないので説明は省略したす。)

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230518/20230518004914.png)

モデル遞択、孊習画像フォルダ、詳现蚭定、ツヌルの各タブ



#### Source modelタブ 孊習に䜿うベヌスモデルの蚭定



##### Pretrained model name or path

ここにベヌスモデルの堎所を指定したす。最初に説明した通り、LoRAは既存のモデルに小さな[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)を远加したす。぀たり、LoRA孊習ずは「ベヌスモデルα」の「α」の郚分を䜜る䜜業です。

LoRA孊習はベヌスモデルの特城に倧きな圱響を受けるので、

  * 孊習する画像ず盞性のいいベヌスモデル
  * 画像生成時に䜿う(ず想定される)モデルず盞性のいいベヌスモデル

を遞ぶ必芁がありたす。䟋えば孊習画像が実写のような画像なら、実写生成が埗意なモデルを遞ぶずいいでしょう。孊習画像が2次元調でも実写調の画像生成を想定しおいるなら、2次元調ず3次元調の混合モデルを遞ぶべきかもしれたせん。

なお、孊習埌にできたLoRAファむルは「远加された[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)」のデヌタのみで、ベヌスモデルのデヌタは入っおいたせん。そのため、完成したLoRAファむルを䜿っお画像を生成するずきは、ここで指定したベヌスモデルだけでなく、どんなモデルずも䞀緒に䜿うこずができたす。



##### Model Quick Pick

ここでモデルを遞ぶず、孊習実行時にそのモデルが自動的にネット経由でダりンロヌドされ、ベヌスモデルずしお䜿甚されたす。Pretrained model
name or pathの指定は無芖されたす。

もしモデルがPCに保存されおいない堎合や、どのモデルを䜿っおいいのか分からない堎合は、ここで遞択できるモデルを遞んで䜿いたしょう。

「runwayml/stable-diffusion-v1-5」が䜿われるこずが倚いようです。

自分で甚意したモデルを䜿いたい堎合はcustomにしたしょう。



##### Save trained model as

孊習枈みのLoRAファむルをどのファむル圢匏で保存するかを指定できたす。

ckptはか぀おStable
Diffusionで䜿われおいた䞻流の圢匏でしたが、この圢匏にはセキュリティ䞊問題があったため、safetensorsずいうより安党なファむル圢匏が生たれたした。珟圚ではsafetensorsが䞻流ずなっおいたす。

特別な理由がない限りsafetensorsを遞びたしょう。



##### v2

Stable
Diffusionのモデルは「バヌゞョン1系」ず「バヌゞョン2系」の2぀のバヌゞョンがあり、これらはデヌタ構造がそれぞれ違いたす。バヌゞョン2系は(2023幎5月時点で)ただ普及しおおらず、ほずんどの有名モデルは「バヌゞョン1系」です。

しかし、「バヌゞョン2系」のモデルをベヌスモデルずしお䜿う堎合はこのオプションをオンにしたしょう。

デフォルトはオフです。



##### v_parameterization

v-parameterizationずは「バヌゞョン2系」モデルで導入された手法で、埓来よりも少ないサンプリングステップで安定しお画像を生成するためのトリックです。

「バヌゞョン1系」のモデルを䜿甚するずきはこのオプションはオフで構いたせんが、お䜿いのベヌスモデルがv-
parameterizationを導入しおいるこずが分かっおいる堎合はここをオンにしおください。これをオンにするずきは必ずv2もオンにしたしょう。

デフォルトはオフです。



#### Foldersタブ 孊習画像の堎所ずLoRA出力先の蚭定

##### Image folder

孊習画像を含むフォルダ(「10_cat」のような名前のフォルダ)がある堎所を指定したす。

「画像がある堎所」ではありたせん「画像を含むフォルダがある堎所」を指定したしょう。



##### Output folder

完成埌のLoRAファむルの出力先を指定したす。孊習の途䞭経過のLoRAを出力する堎合(埌述)も、ここで指定した出力先に出力されたす。



##### Regularisation folder

LoRA孊習では、孊習画像の特城が意図しない単語に匷く結び぀きすぎおしたい、その単語を入れるたびに孊習画像に䌌た画像しか生成しなくなる、ずいうこずがしばしば起こりたす。

そこで「[正則化](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25C0%25B5%25C2%25A7%25B2%25BD)画像」ずいう「孊習画像っぜくない」画像を䞀緒に孊習させるこずで、特定の単語に孊習察象が匷く結び぀いおしたうのを防ぐこずができたす。

[正則化](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25C0%25B5%25C2%25A7%25B2%25BD)画像の䜿甚は必須ではありたせんが、もし[正則化](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25C0%25B5%25C2%25A7%25B2%25BD)画像を孊習に䜿う堎合は、ここで[正則化](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25C0%25B5%25C2%25A7%25B2%25BD)画像を含んだフォルダの堎所を指定したす。



##### Logging folder

孊習時の凊理をログずしお出力しお保存したい堎合、その堎所を指定したす。

ここで指定した名前のフォルダが䜜業フォルダ内に䜜成され、さらにその䞭に孊習日時を衚す名前のフォルダができたす。ログはそこに保存されたす。

なお、ログファむルは「tensorboard」ずいうツヌルたたは「WandB」ずいうオンラむンサヌビス(埌述)でグラフ化できたす。



##### Model output name

完成したLoRAファむルの名前をここで指定したす。拡匵子を぀ける必芁はありたせん。

「〇〇_ver1.0」(〇〇は孊習察象の名前)のようにバヌゞョン番号付きの名前にするず分かりやすいでしょう。

なお、名前には日本語を䜿わないようにしたしょう。



##### Training comment

完成したLoRAファむルには「[メタデヌタ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25E1%25A5%25BF%25A5%25C7%25A1%25BC%25A5%25BF)」ずしおテキストを埋め蟌むこずができたす。もし埋め蟌みたいテキストがある堎合はここに蚘述したす。

なお、[メタデヌタ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25E1%25A5%25BF%25A5%25C7%25A1%25BC%25A5%25BF)はStable
Diffusion WebUIのLoRA遞択画面でⓘマヌクをクリックするず芋るこずができたす。



#### Training parametersタブ 孊習の詳现蚭定

このタブではLoRA孊習のためのほがすべおのパラメヌタを蚭定したす。



##### LoRA type

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230518/20230518010422.png)

LoRA孊習のタむプを指定したす。䞊で解説したLoRAは「スタンダヌド」タむプです。「DyLoRA」は指定したRank以䞋の耇数のランクを同時に孊習するので、最適なランクを遞びたいずきに䟿利です。LoHaは高効率なLoRA、LoConは孊習をU-
NetのResブロックたで広げたものです。

最初はStandardタむプで問題ありたせん。孊習がうたくいかないずきはほかのタむプを遞んでみたしょう。



##### LoRA network weights

既に孊習枈みのLoRAファむルを䜿っおさらに远加孊習をしたいずきは、ここでLoRAファむルを指定したす。

ここで指定したLoRAは孊習開始時に読み蟌たれ、このLoRAの状態から孊習がスタヌトしたす。孊習埌のLoRAはたた別のファむルずしお保存されるので、ここで指定したLoRAファむルが䞊曞きされるこずはありたせん。



##### DIM from weights

これはLoRA network weightsで远加孊習を行うずき限定のオプションです。

䞊の図にある通り、LoRAは小さな[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)を远加したすが、その䞭間局の[ニュヌロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25ED%25A5%25F3)数(ランク数)はNetwork
Rank(埌述)で自由に蚭定するこずができたす。

しかし、このオプションをオンにするず、䜜成するLoRAのランク数がLoRA network
weightsで指定したLoRAず同じランク数に蚭定されたす。ここをオンにしたずきはNetwork Rankの指定は無芖されたす。

䟋えば远加孊習に䜿うLoRAのランク数が32の時、䜜成するLoRAのランク数も32に蚭定されたす。

デフォルトはオフです。



##### Train batch size

バッチサむズを指定したす。バッチずは「いっぺんに読み蟌む画像の枚数」です。バッチサむズ2なら、䞀床に2枚の画像を同時に孊習したす。違う絵を耇数同時に孊習するず個々の絵に察するチュヌニング粟床は萜ちたすが、耇数の絵の特城を包括的にずらえる孊習になるので、最終的な仕䞊がりはかえっお良くなる可胜性がありたす。

(特定の絵にチュヌニングしすぎるず応甚の利かないLoRAになっおしたいたす。)

耇数の絵を䞀床に孊習するのでバッチサむズを䞊げれば䞊げるほど孊習時間が短くなりたすが、チュヌニング粟床が䞋がるうえりェむト倉曎数も枛るので、堎合によっおは孊習䞍足になる可胜性がありたす。

(バッチサむズを䞊げるずきは孊習率(Learning
rate、埌述したす)も䞊げた方がいいずいう報告もありたす。䟋えばバッチサむズ2なら孊習率を2倍にする、ずいった感じです。)

たた、バッチサむズを䞊げるほどメモリを倚く消費したす。お䜿いのPCのVRAMのサむズに合わせお決めたしょう。

VRAMが6GBあればバッチサむズ2もかろうじお可胜でしょう。

デフォルトは1です。

※バッチごずに同時に読み蟌む画像はすべお同じサむズでなければならないので、孊習画像のサむズがバラバラだず、ここで指定したバッチ数よりも少ない枚数しか同時凊理しないこずありたす。



##### Epoch

1゚ポックは「1セットの孊習」です。

䟋えば50枚の画像をそれぞれ10回ず぀読み蟌んで孊習したいずしたす。この堎合、1゚ポックは50x10500回の孊習です。2゚ポックならこれを2回繰り返すので、500x21000回の孊習になりたす。

指定された゚ポック数の孊習が終わった埌に、LoRAファむルが䜜成され、指定の堎所に保存されたす。

LoRAの堎合、23゚ポックの孊習でも十分効果を埗られたす。



##### Save every N epochs

ここで指定した゚ポック数ごずに、途䞭経過をLoRAファむルずしお保存するこずができたす。

䟋えば「Epoch」で10ず指定し、「Save every N
epochs」を2に指定するず、2゚ポックごず(2、4、6、8゚ポック終了時)に指定フォルダにLoRAファむルが保存されたす。

途䞭経過のLoRA䜜成が䞍芁の堎合は、ここの数倀を「Epoch」ず同じ数倀にしたしょう。



##### Caption Extension

もし画像ごずにキャプションファむルを甚意しおいる堎合、そのキャプションファむルの拡匵子をここで指定したす。

ここが空欄の堎合、拡匵子は「.caption」になりたす。もしキャプションファむルの拡匵子が「.txt」の時は、ここに「.txt」ず指定しおおきたしょう。

キャプションファむルがない堎合は、無芖しおかたいたせん。



##### Mixed precision

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230518/20230518015736.png)

孊習時のりェむトデヌタの混合粟床のタむプを指定したす。

本来りェむトデヌタは32ビット単䜍(no遞択の堎合)ですが、必芁に応じお16ビット単䜍のデヌタも混ぜお孊習するずかなりのメモリ節玄、スピヌドアップに぀ながりたす。fp16は粟床を半分にした[デヌタ圢匏](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C7%25A1%25BC%25A5%25BF%25B7%25C1%25BC%25B0)、bf16は32ビットデヌタず同じ数倀の幅を取り扱えるよう工倫した[デヌタ圢匏](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C7%25A1%25BC%25A5%25BF%25B7%25C1%25BC%25B0)です。

fp16で十分粟床の高いLoRAを埗られたす。



##### Save precision

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230518/20230518021841.png)

LoRAファむルに保存するりェむトデヌタのタむプを指定したす。

floatは32ビット、fp16ずbf16は16ビット単䜍です。䞋の二぀の方がファむルサむズが小さくなりたす。

デフォルトはfp16です。



##### Number of CPU threads per core

孊習時のCPUコアごずのスレッドの数です。基本的に数倀が倧きいほど効率が䞊がりたすが、スペックに応じお蚭定を調節する必芁がありたす。

デフォルトは2です。



##### Seed

孊習時には「どういう順番で画像を読み蟌むか」や「孊習画像にノむズをどれくらい乗せるか(詳现は省略)」など、ランダムな凊理がいく぀もありたす。

Seedはそのランダム凊理の手順を決めるためのIDのようなもので、同じSeedを指定すれば毎回同じランダム手順が䜿われるので孊習結果を再珟しやすくなりたす。

ただ、このSeedを䜿わないランダム凊理(䟋えば画像をランダムに切り抜く凊理など)もあるので、同じSeedを指定しおも必ず同じ孊習結果が埗られるずは限りたせん。

デフォルトは空欄です。指定しなければ孊習実行時にSeedが適圓に蚭定されたす。

結果をなるべく再珟したいなら適圓に(1234ずか)数字を蚭定しおおいお損はありたせん。



##### Cache latents

孊習画像はVRAMに読み蟌たれ、U-Netに入る前にLatentずいう状態に「圧瞮」されお小さくなり、この状態でVRAM内で孊習されたす。通垞、画像は読み蟌たれるたびに毎回「圧瞮」されたすが、Cache
latentsにチェックを入れるず、「圧瞮」枈みの画像をメむンメモリに保持するよう指定できたす。

メむンメモリに保持するずVRAMのスペヌス節玄になり、スピヌドも䞊がりたすが、「圧瞮」前の画像加工ができなくなるので、flip_aug以倖のaugmentation(埌述)が䜿えなくなりたす。たた、画像を毎回ランダムな範囲で切り抜くrandom
crop(埌述)も䜿えなくなりたす。

デフォルトはオンです。



##### Cache latents to disk

Cache latentsオプションず䌌おいたすが、ここにチェックを入れるず、圧瞮画像デヌタを䞀時ファむルずしおディスクに保存するよう指定できたす。

kohya_ssを再起動した埌もこの䞀時ファむルを再利甚できるので、同じデヌタで䜕床もLoRA孊習をしたい堎合はこのオプションをオンにするず孊習効率が䞊がりたす。

ただし、これをオンにするずflip_aug以倖のaugmentationずrandom cropが䜿えなくなりたす。

デフォルトはオフです。



##### Learning rate:

孊習率を指定したす。「孊習」ずは、䞎えられた絵ずそっくりな絵を䜜れるように[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)内の配線の倪さ(りェむト)を倉えおいくこずですが、毎回絵が䞎えられるごずにゎッ゜リ配線を倉えおしたうず、䞎えられた絵のみにチュヌニングしすぎお、他の絵がたったく描けなくなっおしたいたす。

これを避けるため、毎回、䞎えられた絵をちょっずだけ取り蟌むように、ちょっずだけりェむトを倉えたす。この「ちょっずだけ」の量を決めるのが「孊習率」(Learning
rate)です。

デフォルト倀は0.0001です。



##### LR Scheduler:

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230519/20230519204207.png)

孊習の途䞭で孊習率(Learning rate)を倉えるこずができたす。スケゞュヌラヌずは「どういうふうに孊習率を倉えおいくかの蚭定」です。

  * adafactor[オプティマ](https://translate.google.com/website?sl=auto&tl=en&hl=en-US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25AA%25A5%25D7%25A5%25C6%25A5%25A3%25A5%25DE)むザヌ(埌述)をAdafactorに蚭定する堎合はこれを遞択する。VRAM節玄のため状況に応じお孊習率を自動調節しながら孊習
  * constant孊習率は最初から最埌たで倉わらない
  * constant_with_warmup最初は孊習率0から始めおりォヌムアップ䞭にLearning rate蚭定倀に向けおだんだん増やし、本孊習の時はLearning rate蚭定倀を䜿う
  * [cosine](https://translate.google.com/website?sl=auto&tl=en&hl=en-US&client=webapp&u=https://d.hatena.ne.jp/keyword/cosine)波(コ[サむンカヌブ](https://translate.google.com/website?sl=auto&tl=en&hl=en-US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25B5%25A5%25A4%25A5%25F3%25A5%25AB%25A1%25BC%25A5%25D6))を描きながら孊習率をだんだん0に向けお枛らす
  * [cosine](https://translate.google.com/website?sl=auto&tl=en&hl=en-US&client=webapp&u=https://d.hatena.ne.jp/keyword/cosine)_with_restarts[cosine](https://translate.google.com/website?sl=auto&tl=en&hl=en-US&client=webapp&u=https://d.hatena.ne.jp/keyword/cosine)を䜕床も繰り返す(LR number of cyclesの説明も芋おください)
  * linear最初はLearning rate蚭定倀で始め、0に向けお䞀盎線に枛らす
  * polynomial挙動はlinearず同じ、枛らし方が少し耇雑(LR powerの説明も芋おください)

孊習率をLearning rate蚭定倀に固定したいならconstantにしおください。

デフォルトは[cosine](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/cosine)です。



##### LR warmup

スケゞュヌラヌでconstant_with_warmupを遞択した堎合、りォヌムアップをどれくらいの回数行うかをここで蚭定したす。

ここで指定する数倀は党䜓のステップ数のパヌセントです。

䟋えば、50枚の画像をバッチサむズ1で10回孊習、これを2゚ポック行うずき、総ステップ数は50x10x2=1000です。もしLR
warmupを10に蚭定するず、総ステップ1000のうち最初の10%、぀たり100ステップがりォヌムアップになりたす。

スケゞュヌラヌがconstant_with_warmupでないならここは無芖しお構いたせん。

デフォルトは10です。



##### Optimizer

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230526/20230526012657.png)

[オプティマ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25AA%25A5%25D7%25A5%25C6%25A5%25A3%25A5%25DE)むザヌずは「孊習䞭に[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)のりェむトをどうアップデヌトするか」の蚭定です。賢く孊習するためにいろいろな手法が提案されおいたすが、LoRA孊習で最もよく䜿われるのは「AdamW」(32ビット)たたは「AdamW8bit」です。AdamW8bitはVRAMの䜿甚量も䜎く、粟床も十分なので迷ったらこれを䜿いたしょう。

その他、Adam手法を取り入れ぀぀孊習の進み具合に応じお孊習率を適切に調節する「Adafactor」もよく䜿われるようです(Adafactorを䜿う堎合はLearning
rate蚭定は無芖されたす)。

「DAdapt」は孊習率を調節する[オプティマ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25AA%25A5%25D7%25A5%25C6%25A5%25A3%25A5%25DE)むザヌ、「Lion」は比范的新しい[オプティマ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25AA%25A5%25D7%25A5%25C6%25A5%25A3%25A5%25DE)むザヌですがただ十分怜蚌されおいたせん。「SGDNesterov」は孊習粟床は良いものの速床が䞋がるずいう報告がありたす。

デフォルトはAdamW8bitです。基本的にこのたたで問題ありたせん。



##### Optimizer extra arguments

指定した[オプティマ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25AA%25A5%25D7%25A5%25C6%25A5%25A3%25A5%25DE)むザヌに察しおさらに现かく蚭定したい堎合は、ここでコマンドを曞きたす。

通垞は空欄のたたで構いたせん。



##### Text Encoder learning rate

テキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)に察する孊習率を蚭定したす。最初のほうで曞いた通り、テキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)の远加孊習の圱響はU-
Net党䜓に及びたす。

そのため、通垞はU-Netの各ブロックに察する孊習率(Unet learning rate)よりも䜎くしおおきたす。

デフォルト倀は0.00005(5e-5)です。

ここで数倀を指定した堎合、Learning rateの倀よりもこちらが優先されたす。



##### Unet learning rate

U-Netに察する孊習率を蚭定したす。U-Netの䞭にある各Attentionブロック(蚭定によっおは他のブロックも)に远加孊習を行うずきの孊習率です。

デフォルト倀は0.0001です。

ここで数倀を指定した堎合、Learning rateの倀よりもこちらが優先されたす。



##### Network Rank(Dimension)

蚘事の䞊の方で説明した「远加する小さな[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)」の䞭間局の[ニュヌロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25ED%25A5%25F3)の数を指定したす(詳现は䞊の図を芋おください)。

[ニュヌロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25ED%25A5%25F3)の数が倚いほど孊習情報を倚く保持できたすが、孊習察象以倖の䜙蚈な情報たで孊習しおしたう可胜性が高くなり、LoRAのファむルサむズも倧きくなりたす。

䞀般的に最倧128皋床で蚭定するこずが倚いですが、32で十分ずいう報告もありたす。

詊隓的にLoRAを䜜る堎合は28あたりから始めるのがいいかもしれたせん。

デフォルトは8です。



##### Network alpha:

これは、LoRA保存時にりェむトが0に䞞め蟌たれおしたうのを防ぐための䟿宜䞊の凊眮ずしお導入されたものです。

LoRAはその構造䞊、[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)のりェむト倀が小さくなりがちで、小さくなりすぎるずれロ(぀たりなにも孊習しおいないのず同じ)ず芋分けが぀かなくなっおしたう恐れがありたす。そこで、実際の(保存される)りェむト倀は倧きく保ち぀぀、孊習時には垞にりェむトを䞀定の割合で匱めおりェむト倀を小さく芋せかける、ずいうテクニックが提案されたした。この「りェむトを匱める割合」を決めるのがNetwork
alphaです。

**Network
alpha倀が小さければ小さいほど、保存されるLoRAの[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)のりェむト倀が倧きくなりたす。**



䜿甚時にりェむトがどれだけ匱たるか(䜿甚匷床)は「Network_Alpha/Network_Rank」で蚈算され(ほが01の倀)、Network
Rank数ず深く関係しおいたす。

孊習埌のLoRAの粟床がいたいちな堎合、りェむトデヌタが小さすぎお0に朰れおしたっおいる可胜性がありたす。そんな時はNetwork
Alpha倀を䞋げおみる(=保存りェむト倀を倧きくする)ずよいでしょう。

デフォルトは1(぀たり保存りェむト倀をなるべく最倧にする)です。

Network AlphaずNetwork Rankが同じ倀の堎合、効果はオフになりたす。

※Network Alpha倀がNetwork Rank倀を超えおはいけたせん。超える数字を指定するこずは可胜ですが、高確率で意図しないLoRAになりたす。

たた、Network Alphaを蚭定するずきは、孊習率ぞの圱響を考える必芁がありたす。

䟋えばAlphaが16、Rankが32の堎合、りェむトの䜿甚匷床は16/32 = 0.5になり、぀たり孊習率が「Learning
Rate」蚭定倀のさらに半分の効力しか持たないこずになりたす。

AlphaずRankが同じ数字であれば䜿甚匷床は1になり、孊習率に䜕の圱響も䞎えたせん。



##### Max resolution

孊習画像の最倧解像床を「幅、高さ」の順で指定したす。もし孊習画像がここで指定した解像床を超える堎合、この解像床たで瞮小されたす。

デフォルトは「512,512」です。倚くのモデルがこのサむズの画像を䜿っおいるので、LoRA孊習の時もこのサむズの画像を䜿うのが無難です。



##### Stop text encoder training

テキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)の孊習は途䞭でストップするこずができたす。䞊で曞いた通り、テキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)のアップデヌトは党䜓に倧きな圱響を及がすので[過孊習](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25B2%25E1%25B3%25D8%25BD%25AC)(孊習画像にチュヌニングしすぎお他の画像が描けなくなる)に陥りやすく、ほどほどのずころで孊習をストップさせるのも[過孊習](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25B2%25E1%25B3%25D8%25BD%25AC)を防ぐ䞀぀の手です。

ここで指定した数倀は党孊習ステップのパヌセントです。孊習がこのパヌセントに達したら、テキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)は孊習をストップしたす。

䟋えば、総ステップ数が1000だった堎合、ここで80ず指定したら、孊習進行床が80%の時、぀たり1000x0.8=800ステップの時点でテキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)の孊習が終了したす。

U-Netの孊習は残り200ステップで匕き続き行われたす。

ここが0の堎合、テキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)の孊習は最埌たでストップしたせん。



##### Enable buckets

「[bucket](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/bucket)」ずはその名の通り「バケツ」(入れ物)です。LoRAで䜿う孊習画像はサむズが統䞀されおいなくおもかたわないのですが、違うサむズの画像を同時に孊習するこずはできたせん。そのため、孊習前に画像をサむズに応じお「バケツ」に振り分ける必芁がありたす。䌌たサむズの画像は同じバケツに入れ、違うサむズの画像は別のバケツに入れおいきたす。

デフォルトはオンです。

もし孊習画像のサむズがすべお同じならこのオプションはオフにしお構いたせんが、オンのたたでも圱響はありたせん。

※もし孊習画像のサむズが統䞀されおいない時にEnable bucketsをオフにするず、孊習画像は拡倧、瞮小されおサむズが同じ倧きさに揃えられたす。

拡倧、瞮小は画像の[アスペクト比](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A2%25A5%25B9%25A5%25DA%25A5%25AF%25A5%25C8%25C8%25E6)を保ったたた行われたす。[アスペクト比](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A2%25A5%25B9%25A5%25DA%25A5%25AF%25A5%25C8%25C8%25E6)が基準サむズず同じでない堎合、拡倧瞮小埌の画像のタテかペコが基準サむズからはみ出すこずがありたす。䟋えば、基準サむズが512x512([アスペクト比](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A2%25A5%25B9%25A5%25DA%25A5%25AF%25A5%25C8%25C8%25E6)1)で、画像サむズが1536x1024([アスペクト比](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A2%25A5%25B9%25A5%25DA%25A5%25AF%25A5%25C8%25C8%25E6)1.5)の堎合、画像は瞮小されお768x512([アスペクト比](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A2%25A5%25B9%25A5%25DA%25A5%25AF%25A5%25C8%25C8%25E6)1.5のたた)になりたす。



#### Advanced Configuration

ここより埌は、「Advanced Configuration」セクションにあるオプションです。



##### Weights、Blocks、Conv

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230519/20230519233453.png)

これらはU-Net内の各ブロックの「孊習の重み付け」ず「ランク」の蚭定です。それぞれのタブを遞択するず、察応する蚭定画面が衚瀺されたす。

※これらの蚭定は䞊玚者向けです。こだわりがないならすべお空欄のたたで構いたせん。



##### Weights: Down LR weights/Mid LR weights/Up LR weights

U-Netの構造図からわかる通り、U-Netは12個のINブロック、1個のMIDブロック、12個のOUTブロックの蚈25個のブロックからできおいたす。

それぞれのブロックの孊習率のりェむト(重み)を倉えたい堎合、ここで個別に蚭定するこずができたす。

ここでいうりェむトずは01の数倀で衚される「孊習の匷さ」で、0の堎合は「たったく孊習しない」、1の堎合は「Learning
rateで蚭定した孊習率で孊習」ずいう感じで孊習の匷さを倉えるこずができたす。

りェむトを0.5にした堎合、Learning rateの半分の孊習率になりたす。

「Down LR weights」は12個のINブロックのそれぞれのりェむトを指定したす。

「Mid LR weights」はMIDブロックのりェむトを指定したす。

「Up LR weights」は12個のOUTブロックのそれぞれのりェむトを指定したす。



##### Weights: Blocks LR zero threshold

「LoRAは[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)を远加する」ず説明したしたが、りェむトが小さすぎる(぀たりほずんど孊習しおいない)[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)は远加しおも意味がありたせん。そこで、「りェむトが小さすぎるブロックには[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)を远加しない」ずいう蚭定ができたす。

ここで蚭定したりェむト倀を超えないブロックでは、[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)が远加されたせん。䟋えばここに0.1ず指定した堎合、りェむトを0.1以䞋に蚭定したブロックには[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)が远加されたせん(排陀察象が指定倀も含んでいるこずに泚意しおください)。

デフォルトは空欄で、空欄の堎合は0(䜕もしない)です。



##### Blocks: Block dims, Block alphas

ここで、IN011、MID、OUT011の25個の各ブロックに察しそれぞれ違うランク(dim)倀ずアルファ倀を蚭定するこずができたす。

ランク倀ずアルファ倀に぀いおはNetwork Rank、Network alphaの説明を芋おください。

ランクの倧きいブロックはより倚くの情報を保持できるこずが期埅されたす。

このパラメヌタ倀は垞に25個の数字を指定しなければいけたせんが、LoRAはAttentionブロックを孊習察象ずしおいるので、Attentionブロックの存圚しないIN0、IN3、IN6、IN9、IN10、IN11、OUT0、IN1、IN2に察する蚭定(1、4、7、11、12、14、15、16番目の数字)は孊習時は無芖されたす。

※䞊玚者向け蚭定です。こだわりがないなら空欄のたたで構いたせん。ここを指定しない堎合は「Network Rank(Dimention)」倀ず「Network
Alpha」倀がすべおのブロックに適応されたす。



##### Conv: Conv dims, Conv, alphas

LoRAが孊習察象ずしおいるAttentionブロックには「Conv」ずいう[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)があり、そこも远加孊習によりアップデヌトされたす(蚘事䞊郚のAttention局の構造の図を芋おください)。これは「畳み蟌み」ず蚀われる凊理で、そこで䜿われおいる「フィルタヌ」の倧きさは1x1マスです。

畳み蟌みに぀いおは[この蚘事](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://github.com/kohya-ss/sd-scripts/pull/121)を読んでください。

䞀方、Attention以倖のブロック(Res、Downブロック)やOUTにあるAttentionブロックの䞀郚には、[3x3](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/3x3)マスのフィルタヌを䜿った畳み蟌みを行っおいる郚分もありたす。本来そこはLoRAの孊習察象ではありたせんが、このパラメヌタで指定するこずでResブロックの[3x3](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/3x3)の畳み蟌みも孊習察象にするこずができたす。

孊習察象が増えるので、より粟密なLoRA孊習を行える可胜性がありたす。

蚭定方法は「Blocks: Blocks dims, Blocks alphas」ず同じです。

[3x3](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/3x3)のConvは25局すべおに存圚したす。

※䞊玚者向け蚭定です。こだわりがないなら空欄のたたで構いたせん。



##### No token padding

孊習画像に぀けるキャプションは、75[トヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C8%25A1%25BC%25A5%25AF)ンごずに凊理されたす(「[トヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C8%25A1%25BC%25A5%25AF)ン」は基本的に「単語」ず捉えお問題ありたせん)。

キャプションの長さが75[トヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C8%25A1%25BC%25A5%25AF)ン未満の堎合、キャプションの埌に終端蚘号が必芁なだけ远加され、75[トヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C8%25A1%25BC%25A5%25AF)ンに揃えられたす。これを「パディング」ず蚀いたす。

ここでは、[トヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C8%25A1%25BC%25A5%25AF)ンのパディングを行わないようにする指定ができたす。

デフォルトはオフです。基本的にオフのたたで構いたせん。



##### Gradient accumulation steps

りェむトの倉曎(぀たり「孊習」)は通垞は1バッチ読み蟌むごずに行いたすが、孊習を耇数バッチたずめおいっぺんに行うこずもできたす。䜕バッチたずめおいっぺんに孊習するかを指定するのがこのオプションです。

これはバッチ数を䞊げる働きず䌌た効果(「同じ効果」ではありたせん)がありたす。

䟋えば、バッチサむズが4の堎合、1バッチで同時に読み蟌たれる画像数は4枚です。぀たり4枚読み蟌むごずに1回孊習が行われたす。ここでGradient
accumulation
stepsを2にするず、2バッチごずに1回孊習が行われるので、結果的に8枚読み蟌むごずに1回孊習が行われるこずになりたす。これはバッチ数8ず䌌た働き(同じではありたせん)です。

この数倀を䞊げるず孊習回数が枛るので凊理が速くなりたすがメモリを倚く消費したす。

デフォルトは1です。



##### Weighted captions

珟圚䞀番人気のStable Diffusion利甚環境は「Stable Diffusion
WebUI」ですが、これには独特のプロンプト蚘述法がありたす。䟋えばプロンプトに「[black
cat](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/black%2520cat)」ず指定する時に「Black」をものすごく匷調したい堎合、「(black:1.2)
cat」ずいう颚に匷調したいワヌドをかっこで囲み、ワヌドの埌に「:数字」ず入れるず、その数字の倍数だけワヌドが匷調されたす。

この蚘述法を孊習画像のキャプションでも䜿えるようにするのがこのオプションです。

耇雑なキャプションを曞きたい堎合は詊しおみるのもいいでしょう。

デフォルトはオフです。



##### Prior loss weight

孊習時に「[正則化](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25C0%25B5%25C2%25A7%25B2%25BD)画像」(詳しくは䞊のRegularisation
folderの説明を芋おください)をどれだけ重芁芖するかを決めるのがPrior loss weightです。

この倀が䜎いず、[正則化](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25C0%25B5%25C2%25A7%25B2%25BD)画像はそれほど重芁でないず刀断され、より孊習画像の特城が匷く珟れるLoRAが生成されたす。

[正則化](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25C0%25B5%25C2%25A7%25B2%25BD)画像を䜿わない堎合はこの蚭定は意味がありたせん。

これは01の倀で、デフォルトは1([正則化](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25C0%25B5%25C2%25A7%25B2%25BD)画像も重芖)です。



##### LR number of cycles

スケゞュヌラヌに「[Cosine](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/Cosine) with
restart」たたは「Polynomial」を遞んだ堎合、孊習䞭にスケゞュヌラヌ䜕サむクル実行するかを指定するオプションです。

このオプションの数倀が2以䞊の堎合、1回の孊習䞭にスケゞュヌラヌが耇数回実行されたす。

[Cosine](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/Cosine) with
restartもPolynomialも、孊習が進むに぀れお孊習率が0たでだんだん䞋がっおいきたすが、サむクル数が以䞊の堎合、孊習率がに達したら孊習率をリセットしお再スタヌトしたす。

䞋の図[(匕甚元)](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://github.com/kohya-ss/sd-
scripts/pull/121)は[Cosine](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/Cosine) with
restart(玫)ずPolynomial(薄緑)の孊習率の倉化の䟋です。

玫の䟋ではサむクル数が4に蚭定されおいたす。薄緑の䟋ではサむクル数は1です。

指定されたサむクル数を決められた孊習ステップ内で実行するので、サむクル数が増えれば増えるほど、孊習率の倉化が激しくなりたす。

デフォルトは空欄で、空欄の堎合は1になりたす。

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230525/20230525001355.png)

孊習率の動きの䟋  
[Cosine](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/Cosine) with restartで「LR
number of cycle = 4」 (玫)  
Polynomialで「LR power = 2」 (薄緑)



##### LR power

これはスケゞュヌラヌにPolynomialを蚭定した堎合のオプションで、この数が倧きければ倧きいほど最初の孊習率の䞋がり方が急激になりたす。(䞊の図の薄緑の線のスロヌプが急激になりたす)。

powerが1の時はlinearスケゞュヌラヌず同じ圢になりたす。

あたり数を倧きくしすぎるず孊習率が0ちかくに匵り付いおしたっお孊習䞍足に陥るので気を぀けたしょう。

デフォルトは空欄で、空欄の堎合は1(぀たりlinearスケゞュヌラヌず同じ)になりたす。



##### Additional parameters

kohya_ssの[GUI](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/GUI)に衚瀺されおいない孊習蚭定パラメヌタをいじりたい堎合、ここでコマンドずしお入力したす。

通垞は空欄のたたで構いたせん。



##### Save every N steps

ここで指定したステップ数の孊習が終了するごずに、LoRAファむルが䜜成され、保存されたす。

䟋えば総孊習ステップ数が1000の時、ここで200ず指定するず、200、400、600、800ステップ終了時にLoRAファむルが保存されたす。

途䞭経過のLoRA保存に぀いおは「Save every N epochs」も参照しおください。

デフォルトは0(途䞭経過LoRAを保存しない)です。



##### Save last N steps

孊習途䞭のLoRAを保存するようSave every N stepsで指定した堎合のオプションです。

もし最近のLoRAファむルのみ保持しお叀いLoRAファむルは砎棄したい堎合、ここで「最近䜕ステップ分のLoRAファむルを保持しおおくか」を蚭定できたす。

䟋えば総孊習ステップが600の時、Save every N
stepsオプションで100ステップごずに保存するよう指定したずしたす。するず100、200、300、400、500ステップ目にLoRAファむルが保存されたすが、Save
every N
stepsを300ず指定した堎合、最近300ステップ分のLoRAファむルのみ保持されたす。぀たり500ステップ目には200(=500-300)ステップ目より叀いLoRA(぀たり100ステップ目のLoRA)は消去されたす。

デフォルトは0です。



##### Keep n tokens

孊習画像にキャプションが぀いおいる堎合、そのキャプション内のコンマで区切られた単語をランダムに入れ替えるこずができたす(詳しくはShuffle
captionオプションを芋おください)。しかし、ずっず先頭に眮いおおきたい単語がある堎合は、このオプションで「最初の〇単語は先頭に固定しおおいお」ず指定できたす。

ここで指定した数の最初の単語は、い぀も先頭に固定されたす。

デフォルトは0です。Shuffle captionオプションがオフの堎合はこのオプションは䜕もしたせん。

※ここでいう「単語」ずは、コンマで区切られたテキストのこずです。区切られたテキストがいく぀単語を含んでいようず、それは「1単語」ずしおカりントされたす。

「[black cat](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/black%2520cat), eating,
sitting」の堎合、「[black
cat](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/black%2520cat)」で1単語です。



##### Clip skip

テキスト[゚ンコヌダヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A8%25A5%25F3%25A5%25B3%25A1%25BC%25A5%25C0%25A1%25BC)には「CLIP」ずいう仕組みが䜿われおいたすが、これは12局の䌌たようなレむダヌからできおいたす。

テキスト([トヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C8%25A1%25BC%25A5%25AF)ン)は本来、この12局のレむダヌを通っお数字の列(ベクトル)に倉換され、最埌のレむダヌから出おきたベクトルがU-
NetのAttentionブロックに送られたす。

しかし、「Novel AI」ずいうサヌビスが独自に開発したモデル、通称「Novel
AIモデル」は、最埌のレむダヌでなく最埌から2番目のレむダヌが出力したベクトルを䜿う、ずいう独自仕様を採甚したした。Novel
AIモデルから掟生したモデルも同様です。そのため、「孊習に䜿うベヌスモデルがCLIPのどのレむダヌから出おきたベクトルを䜿っおいるか」ずいう指定が必芁になりたす。

この「最埌から〇番目」のレむダヌ番号を指定するのが「Clip skip」です。

ここを2にするず、最埌から2番目のレむダヌの出力ベクトルがAttentionブロックに送られたす。1の堎合は、最埌のレむダヌの出力ベクトルが䜿われたす。

ベヌスモデルにNovel AIモデル(たたはそのミックスモデル)が䜿われおいる堎合は、2にした方がいいでしょう。そのほかの堎合は1で構いたせん。



##### Max Token Length

![](https://cdn-ak.f.st-
hatena.com/images/fotolife/h/hoshikat/20230520/20230520021639.png)

キャプションに含たれる最倧の[トヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C8%25A1%25BC%25A5%25AF)ンの長さを指定したす。

ここでいう「[トヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C8%25A1%25BC%25A5%25AF)ン」は単語数ではなく、[トヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C8%25A1%25BC%25A5%25AF)ン数は単語数ずだいたい同じ1.5倍ぐらいの数になりたす。コンマも1[トヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C8%25A1%25BC%25A5%25AF)ンずカりントされるこずに泚意しおください。

75[トヌク](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C8%25A1%25BC%25A5%25AF)ンを超えるキャプションを䜿うこずはめったにないでしょうが、「キャプションの文が長いな」ず思ったずきは、ここでより倧きな数字を指定しおください。



##### Full fp16 training (experimental)

䞊で説明したオプション「Mixed
precision」をオン(fp16たたはbf16)にするず、孊習時に32ビットず16ビットのデヌタが混合しお䜿甚されたすが、このオプションをオンにするずすべおのりェむトデヌタが16ビット(fp16圢匏)に揃えられたす。メモリの節玄にはなりたすが、䞀郚デヌタ粟床が半分になるので孊習粟床も萜ちる可胜性がありたす。

デフォルトはオフです。よっぜどメモリを節玄したいずき以倖はオフのたたでいいでしょう。



##### Gradient checkpointing

通垞の堎合、孊習䞭は、画像が読み蟌たれるごずに膚倧な数の[ニュヌラルネット](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25CB%25A5%25E5%25A1%25BC%25A5%25E9%25A5%25EB%25A5%25CD%25A5%25C3%25A5%25C8)のりェむトを䞀斉に修正しアップデヌトしたす。これを「䞀斉」でなく「少しず぀」修正するこずで、蚈算凊理を枛らしおメモリを節玄できたす。

このオプションはりェむト蚈算を少しず぀行うように指定したす。ここをオンにしおもオフにしおもLoRAの孊習結果に圱響はありたせん。

デフォルトはオフです。



##### Shuffle caption

孊習画像にキャプションが぀いおいる堎合、キャプションの倚くは「[black
cat](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/black%2520cat), eating,
sitting」ずいった具合にコンマで区切られた単語が䞊んだ圢匏で曞かれおいるこずが倚いでしょう。このコンマで区切られおいる単語の順番を毎回ランダムに入れ替えるのがShuffle
captionオプションです。

䞀般的にキャプション内の単語は先頭に近いほど重芖されたす。そのため、単語の順番が固定されおいるず埌方の単語がうたく孊習されなかったり、前方の単語が孊習画像ず意図しない結び぀きをする可胜性がありたす。画像を読み蟌むごずに毎回単語の順番を入れ替えるこずで、このかたよりを修正できるこずが期埅されたす。

キャプションがコンマ区切りでなく文章になっおいる堎合はこのオプションは意味がありたせん。

デフォルトはオフです。

※ここでいう「単語」ずは、コンマで区切られたテキストのこずです。区切られたテキストがいく぀単語を含んでいようず、それは「1単語」ずしおカりントされたす。

「[black cat](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/black%2520cat), eating,
sitting」の堎合、「[black
cat](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/black%2520cat)」で1単語です。



##### Persistent data loader

孊習に必芁なデヌタは1぀の゚ポックが終わるごずに砎棄され、再読み蟌みされたす。これを砎棄せずに保持しおおくためのオプションです。このオプションをオンにするず新しい゚ポックの孊習が始たる速床が䞊がりたすが、デヌタを保持する分メモリを消費したす。

デフォルトはオフです。



##### Memory efficient attention

これにチェックを入れるずVRAMの䜿甚を抑えおAttentionブロックの凊理を行いたす。次のオプションの「xformers」に比べおスピヌドは遅くなりたす。VRAMの容量が少ない堎合はオンにしたしょう。

デフォルトはオフです。



##### Use xformers

「xformers」ずいう[Python](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/Python)ラむブラリを䜿甚するず、若干のスピヌド䜎䞋ず匕き換えにVRAMの䜿甚を抑えおAttentionブロック凊理を行いたす。VRAMの容量が少ない堎合はオンにしたしょう。

デフォルトはオンです。



##### Color augmentation

「augmentation」ずは「画像の氎増し」を意味したす。孊習画像を毎回少し加工するこずにより、孊習画像の皮類を疑䌌的に増やしたす。

Color
augmentationをオンにするず、画像の色盞(Hue)を毎回ランダムに少し倉化させたす。これによっお孊習したLoRAは色調に若干の幅が出るこずが期埅されたす。

Cache latentsオプションがオンの堎合は䜿甚できたせん。

デフォルトはオフです。



##### Flip augmentation

このオプションをオンにするず、ランダムに画像が巊右反転したす。巊右のアングルを孊習できるので、 **巊右察称**
の人物や物䜓を孊習したいずきは有益でしょう。

デフォルトはオフです。



##### Min [SNR](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/SNR) gamma

LoRA孊習では孊習画像にいろいろな匷さのノむズを乗せお孊習したす(このあたりの詳现は省略)が、乗っおいるノむズの匷さの違いによっお孊習目暙に近寄ったり離れたりしお孊習が安定しないこずがあり、Min
[SNR](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/SNR)
gammaはそれを補正するために導入されたした。特にノむズがあたり乗っおいない画像を孊習するずきは目暙から倧きく離れたりするので、このゞャンプを抑えるようにしたす。

詳现はややこしいので省略したすが、この倀は020で蚭定でき、デフォルトは0です。

この方法を提唱した論文によるず最適倀は5だそうです。

どれほど効果的なのかは䞍明ですが、孊習結果に䞍満がある時はいろいろな倀を詊しおみるずいいでしょう。



##### Don't upscale
[bucket](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/bucket) resolution

[Bucket](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/Bucket)(バケツ)のサむズはデフォルトでは2561024[ピクセル](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25D4%25A5%25AF%25A5%25BB%25A5%25EB)(たたはMax
resolutionオプションで最倧解像床を指定しおいる堎合はそちらが優先されたす)に蚭定されおいたす。タテかペコのどちらか䞀方でもこのサむズ範囲から倖れた画像は、指定範囲内のサむズになるように([アスペクト比](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25A2%25A5%25B9%25A5%25DA%25A5%25AF%25A5%25C8%25C8%25E6)を保ったたた)拡倧たたは瞮小されたす。

しかし、このオプションをオンにするずバケツサむズの範囲蚭定は無芖され、孊習画像のサむズに応じお自動的にバケツが甚意されるので、すべおの孊習画像が拡倧瞮小されずに読み蟌たれるようになりたす。ただしこの時も[Bucket](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/Bucket) resolution
steps(埌述)にサむズを合わせるため画像の䞀郚が切り取られる可胜性はありたす。

デフォルトはオンです。



##### [Bucket](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/Bucket) resolution steps

[Bucket](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/Bucket)(バケツ)を䜿甚する堎合、各バケツの解像床間隔をここで指定したす。

䟋えばここで64を指定した堎合、それぞれの孊習画像をサむズに応じお64[ピクセル](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25D4%25A5%25AF%25A5%25BB%25A5%25EB)ごずに別のバケツに振り分けたす。この振り分けはタテペコそれぞれに察しお行われたす。

もし画像サむズがバケツの指定するサむズピッタリでない堎合、はみ出した郚分は切り取られたす。

䟋えば、最倧解像床が512[ピクセル](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25D4%25A5%25AF%25A5%25BB%25A5%25EB)でバケツのステップサむズが64[ピクセル](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25D4%25A5%25AF%25A5%25BB%25A5%25EB)ごずの堎合、バケツは512、448、384 ずなりたすが、500[ピクセル](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25D4%25A5%25AF%25A5%25BB%25A5%25EB)の画像は448[ピクセル](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25D4%25A5%25AF%25A5%25BB%25A5%25EB)のバケツに入れられ、サむズを合わせるため䜙分な52[ピクセル](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25D4%25A5%25AF%25A5%25BB%25A5%25EB)が切り取られたす。

デフォルトは64[ピクセル](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25D4%25A5%25AF%25A5%25BB%25A5%25EB)です。

※この数倀をあたり小さくしすぎるずバケツの振り分けが现かくなりすぎおしたい、最悪「画像1枚ごずに1぀のバケツ」のような状態になっおしたいたす。

1バッチに぀き必ず同じバケツから画像を読み蟌むので、バケツの䞭の画像が少なすぎるずバッチ数が意図せず少なくなっおしたうこずに泚意しおください。



##### Random crop instead of center crop

䞊蚘のように、䞭途半端なサむズの画像はバケツに振り分けた埌に䞀郚が切り取られおサむズが揃えられたすが、通垞は画像の䞭心を保぀ように切り取られたす。

このオプションをオンにするず、絵のどの郚分が切り取られるかがランダムに決たりたす。孊習の範囲を画像の䞭心以倖に広げたいずきはこのオプションをオンにしたす。

※cache latentsオプションをオンにしおいるずきはこのオプションは䜿えたせん。



##### Noise offset type

孊習画像に远加ノむズを乗せるずきに、どの手法で乗せるのかを指定するオプションです。孊習時には必ず画像にノむズを乗せる(この蟺の詳现は省略したす)のですが、このノむズは「予枬しづらい」ノむズである方がより奜たしいため、さらに倚くのノむズを乗せるこずでより「予枬しづらい」ノむズにしたす。

デフォルトはOriginalです。Multiresはもう少し耇雑な方法でノむズを远加したす。



##### Noise offset

Noise offset
typeに「Original」を遞択したずきのオプションです。ここで0より倧きな倀を入れるず远加ノむズが乗りたす。倀は01で、0の堎合はたったくノむズを远加したせん。1の堎合は匷いノむズを远加したす。

0.1皋床のノむズを远加するずLoRAの色合いが鮮やかになる(明暗がはっきりする)ずいう報告がありたす。デフォルトは0です。



##### Adaptive noise scale

Noise offsetオプションずペアで䜿いたす。ここに数倀を指定するず、Noise
offsetで指定した远加ノむズ量がさらに調敎され増幅あるいは枛衰したす。増幅(たたは枛衰)する量は、「画像に珟圚どのくらいノむズが乗っおいるか」によっお自動的に調敎されたす。倀は-11で、プラスを指定するず远加ノむズ量が増え、マむナスを指定した堎合は远加ノむズ量が枛りたす。

デフォルトは0です。



##### Multires noise iterations

Noise offset typeに「Multires」を遞択したずきのオプションです。ここで0より倧きな倀を入れるず远加ノむズが乗りたす。

Multiresでは、様々な解像床のノむズを䜜っおそれらを足すこずで最終的な远加ノむズを䜜成したす。ここでは「様々な解像床」をいく぀䜜るかを指定したす。

デフォルトは0で、0の時は远加ノむズは乗りたせん。䜿甚したい堎合は6に蚭定するこずがが掚奚されおいたす。



##### Multires noise discount

Multires noise
iterationsオプションずペアで䜿いたす。各解像床のノむズ量をある皋床匱めるための数倀です。01の倀で、数字が小さいほどノむズがより匱たりたす。ちなみに匱める量は解像床によっお違い、解像床の䜎いノむズはたくさん匱めたす。

デフォルトは0で、0の堎合は䜿甚時に0.3に蚭定されたす。通垞は0.8が掚奚されおいたす。孊習画像が比范的少ない堎合は0.3皋床に䞋げるず良いようです。



##### Dropout caption every n epochs

通垞、画像ずキャプションはペアで孊習されたすが、特定の゚ポックごずにキャプションを䜿わず「キャプションなしの画像」のみ孊習させるこずができたす。

このオプションは「〇゚ポックごずにキャプションを䜿わない([ドロップアりト](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C9%25A5%25ED%25A5%25C3%25A5%25D7%25A5%25A2%25A5%25A6%25A5%25C8))」ずいう指定を行えたす。

䟋えばここで2を指定するず、2゚ポックごずに(2゚ポック目、4゚ポック目、6゚ポック目 )キャプションを䜿わない画像孊習を行いたす。

キャプションのない画像を孊習するず、そのLoRAはより包括的な画像の特城を孊習するこずが期埅されたす。たた、特定の単語に画像の特城を結び付けすぎないようにする効果も期埅できたす。ただしあたりキャプションを䜿わなすぎるず、そのLoRAはプロンプトの効かないLoRAになっおしたう可胜性があるので気を぀けたしょう。

デフォルトは0で、0の堎合はキャプションの[ドロップアりト](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25C9%25A5%25ED%25A5%25C3%25A5%25D7%25A5%25A2%25A5%25A6%25A5%25C8)を行いたせん。



##### Rate of caption dropout

䞊蚘のDropout caption every n
epochsず䌌おいたすが、孊習の党工皋のうち、ある䞀定の割合だけキャプションを䜿わず「キャプションなしの画像」ずしお孊習させるこずができたす。

ここでキャプションなし画像の割合を蚭定できたす。0は「孊習䞭必ずキャプションを䜿う」蚭定、1は「孊習䞭キャプションを党く䜿わない」蚭定です。

どの画像が「キャプションなし画像」ずしお孊習されるかはランダムに決たりたす。

䟋えば、画像20枚をそれぞれ50回読み蟌むLoRAå­Šç¿’ã‚’1゚ポックだけ行う堎合、画像孊習の総数は20枚x50回x1゚ポック=1000回です。この時Rate
of caption dropoutを0.1に蚭定するず、1000回x0.1=100回は「キャプションなしの画像」ずしお孊習を行いたす。

デフォルトは0で、すべおの画像をキャプション付きで孊習したす。



##### VAE batch size

Cache
latentsオプションをオンにするず「圧瞮」した状態の画像デヌタをメむンメモリに保持しおおくこずができたすが、この「圧瞮」画像を䜕枚䞀組で保持するかを蚭定するのがVAE
batch sizeです。バッチサむズ(Batch size)で指定した画像枚数を䞀床に孊習するので、VAE batch
sizeもこれに合わせるのが普通です。

デフォルトは0で、この堎合Batch sizeず同じ数倀に蚭定されたす。



##### Save training state

孊習画像、繰り返し数、゚ポック数が倚いずLoRAの孊習に長い時間がかかりたす。

このオプションをオンにするず、孊習を途䞭で䞭断しお埌日続きから孊習を再開するこずができたす。

孊習の途䞭経過デヌタは「last-state」ずいうフォルダに保存されたす。



##### Resume from saved training state

䞭断した孊習を再開したい堎合、ここに「last-state」フォルダの堎所を指定したす。

孊習を再開するには、孊習の途䞭経過デヌタが保存されおいる必芁がありたす。



##### Max train epoch

孊習のための最倧゚ポック数を指定したす。Epochオプションで゚ポック数を指定するのが基本ですが、ここで指定した゚ポック数に達するず必ず孊習を終了したす。

デフォルトは空欄です。空欄のたたで構いたせん。



##### Max num workers for DataLoader

孊習のためのデヌタを読み蟌む時に䜿甚するCPUプロセス数を指定するオプションです。この数倀を䞊げるごずにサブプロセスが有効になりデヌタの読み蟌みスピヌドが䞊がりたすが、数字を䞊げすぎるずかえっお非効率になる堎合がありたす。

なお、どれだけ倧きい数字を指定しおも、䜿甚CPUの同時実行スレッド数以䞊にはなりたせん。

デフォルトは0で、CPUのメむンプロセスでのみデヌタ読み蟌みを行いたす。



##### WANDB [API](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/API) Key

「[WandB](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://wandb.ai/site)」(Weights&Biases)ずいう[機械孊習](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25B5%25A1%25B3%25A3%25B3%25D8%25BD%25AC)サヌビスがありたす。これは最適な蚭定を芋぀けるために孊習の進行状況をグラフで衚瀺したり孊習ログなどをオンラむンで蚘録、共有するサヌビスですが、kohya_ssでもこのサヌビスを䜿甚できるようになりたした。

ただしこのサヌビスのアカりントが必芁です。アカりントを䜜成した埌、[https://app.wandb.ai/authorize](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://app.wandb.ai/authorize)から「[API](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/API)
key」を取埗できたす。取埗した[API](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/API)キヌをここに入力しおおくず、孊習時に自動的にログむンし、WandBのサヌビスず連動できるようになりたす。

WandBに関する詳现は省きたすが、「LoRA職人」を目指す人は詊しおみたしょう。



##### WANDB Logging

孊習状況のログをWandBサヌビスを䜿っお蚘録するかどうかをここで指定できたす。

デフォルトはオフで、オフの堎合は「tensorboard」ずいうツヌルの圢匏でログを蚘録したす。



#### Sample images config

LoRAを䜿った画像生成がどんな感じになるのか孊習途䞭でチェックしたい堎合、ここで画像生成プロンプトを入力したす。

ただ、LoRAは比范的孊習時間が短いので、画像生成テストの必芁はあたりないかもしれたせん。



##### Sample every n steps

孊習䞭、䜕ステップ目に画像を生成したいのかを指定したす。䟋えば100ず指定するず、100ステップごずに画像を生成したす。

デフォルトは0で、0の堎合は画像を生成したせん。



##### Sample every n epochs

孊習䞭、䜕゚ポック目に画像を生成したいのかを指定したす。䟋えば2ず指定するず、2゚ポックごずに画像を生成したす。

デフォルトは0で、0の堎合は画像を生成したせん。



##### Sample sampler

画像生成に䜿う[サンプラヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25B5%25A5%25F3%25A5%25D7%25A5%25E9%25A1%25BC)を指定したす。ここで指定する[サンプラヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25B5%25A5%25F3%25A5%25D7%25A5%25E9%25A1%25BC)の倚くはStable
Diffusion Web
UIで甚意されおいる[サンプラヌ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25B5%25A5%25F3%25A5%25D7%25A5%25E9%25A1%25BC)ず同じなので、詳现はWeb
UIの説明サむトを参照しおください。

デフォルトはeuler_aです。



##### Sample prompts

ここでプロンプトを入力したす。

ただしここにはプロンプトだけでなく他の蚭定も入力できたす。ほかの蚭定を入力する堎合は「--n」のようにマむナス2぀ずアルファベットを組み合わせお蚭定を指定したす。䟋えばネガティ[ブプロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25D6%25A5%25D7%25A5%25ED%25A5%25F3)プトに「white,
dog」ず入れたい堎合、「--n white, dog」ず曞きたす。

よく䜿いそうな蚭定の指定は以䞋の通りです。

\--nネガティ[ブプロン](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25A5%25D6%25A5%25D7%25A5%25ED%25A5%25F3)プト

\--w画像の幅

\--h画像の高さ

\--dSeed

\--lCFG Scale

\--sステップ数

デフォルトは空欄です。空欄の時に蚘述䟋が薄く衚瀺されおいるので、それを参考にしおください。



### たずめ

Stable Diffusionの远加孊習のひず぀であるLoRAのしくみず、LoRA孊習を行うツヌルであるkohya_ssの各蚭定に぀いお解説したした。

蚭定する項目が非垞に倚いので混乱しそうですが、たずは掚奚蚭定で軜く孊習しお、孊習結果に応じお少しず぀蚭定を倉えおいくようにしたしょう。

ここでの解説を参考にしお、さらに高い粟床のLoRA䜜成を目指しおみおください。

[ Stable Diffusion ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/Stable%2520Diffusion?from%3Dhatenablog%26utm_source%3Dhoshikat.hatenablog.com%26utm_medium%3Dhatenablog%26utm_campaign%3Dblogtag%26utm_term%3DStable%2BDiffusion%26utm_content%3D%252Fentry%252F2023%252F05%252F26%252F223229)
[ お絵描きAI ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/%25E3%2581%258A%25E7%25B5%25B5%25E6%258F%258F%25E3%2581%258DAI?from%3Dhatenablog%26utm_source%3Dhoshikat.hatenablog.com%26utm_medium%3Dhatenablog%26utm_campaign%3Dblogtag%26utm_term%3D%25E3%2581%258A%25E7%25B5%25B5%25E6%258F%258F%25E3%2581%258DAI%26utm_content%3D%252Fentry%252F2023%252F05%252F26%252F223229)
[ LoRA ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/LoRA?from%3Dhatenablog%26utm_source%3Dhoshikat.hatenablog.com%26utm_medium%3Dhatenablog%26utm_campaign%3Dblogtag%26utm_term%3DLoRA%26utm_content%3D%252Fentry%252F2023%252F05%252F26%252F223229)
[ kohya_ss ](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://d.hatena.ne.jp/keyword/kohya_ss?from%3Dhatenablog%26utm_source%3Dhoshikat.hatenablog.com%26utm_medium%3Dhatenablog%26utm_campaign%3Dblogtag%26utm_term%3Dkohya_ss%26utm_content%3D%252Fentry%252F2023%252F05%252F26%252F223229)

hoshikat [2023-05-26 22:32](https://hoshikat-hatenablog-
com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

[![この蚘事をはおなブックマヌクに远加](https://b.st-hatena.com/images/entry-button/button-
only.gif)](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://b.hatena.ne.jp/entry/s/hoshikat.hatenablog.com/entry/2023/05/26/223229
"この蚘事をはおなブックマヌクに远加")

[Tweet](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://twitter.com/share)

[広告を非衚瀺にする](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=http://blog.hatena.ne.jp/guide/pro)

関連蚘事

  * [ ![誰でもわかるStable Diffusion　テキスト゚ンコヌダヌCLIPのしくみ](https://cdn.image.st-hatena.com/image/square/a696ceac28eea86b473941ea554a68a3c78c1db1/backend=imagemagick;height=100;version=1;width=100/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhoshikat%2F20230612%2F20230612183245.png) ](https://hoshikat-hatenablog-com.translate.goog/entry/2023/06/13/002443?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

[ 2023-06-13  ](https://hoshikat-hatenablog-
com.translate.goog/archive/2023/06/13?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

[誰でもわかるStable Diffusion テキスト゚ンコヌダヌCLIPのしくみ](https://hoshikat-hatenablog-
com.translate.goog/entry/2023/06/13/002443?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

以前の蚘事でStable Diffusionがどのように絵を描いおいるか順 

  * [ ![誰でもわかるStable Diffusion　LoRAを䜜っおみよう\(実践線\)](https://cdn.image.st-hatena.com/image/square/cb2cf5ca3ba98667012ef742fc824762a25929ff/backend=imagemagick;height=100;version=1;width=100/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhoshikat%2F20230607%2F20230607174810.png) ](https://hoshikat-hatenablog-com.translate.goog/entry/2023/06/07/215433?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

[ 2023-06-07  ](https://hoshikat-hatenablog-
com.translate.goog/archive/2023/06/07?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

[誰でもわかるStable Diffusion LoRAを䜜っおみよう(実践線)](https://hoshikat-hatenablog-
com.translate.goog/entry/2023/06/07/215433?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

以前の蚘事でLoRAを䜜るためのKohya_ss導入の解説を曞きたした*


  * [ ![誰でもわかるStable Diffusion　LoRAを䜜っおみよう\(導入線\)](https://cdn.image.st-hatena.com/image/square/39f7b31bec380175103c47de79c62e9e283be887/backend=imagemagick;height=100;version=1;width=100/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhoshikat%2F20230505%2F20230505010543.png) ](https://hoshikat-hatenablog-com.translate.goog/entry/2023/05/05/013600?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

[ 2023-05-05  ](https://hoshikat-hatenablog-
com.translate.goog/archive/2023/05/05?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

[誰でもわかるStable Diffusion LoRAを䜜っおみよう(導入線)](https://hoshikat-hatenablog-
com.translate.goog/entry/2023/05/05/013600?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

Stable Diffusionはそのたたでも十分きれいな画像を描いおくれ 

  * [ ![誰でもわかるStable Diffusion　その6U-Net\(IN1、Resブロック\)](https://cdn.image.st-hatena.com/image/square/1d0b73be31a163a61a8b16a29af99ac4f17a735d/backend=imagemagick;height=100;version=1;width=100/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhoshikat%2F20230331%2F20230331015314.png) ](https://hoshikat-hatenablog-com.translate.goog/entry/2023/04/12/003127?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

[ 2023-04-12  ](https://hoshikat-hatenablog-
com.translate.goog/archive/2023/04/12?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

[誰でもわかるStable Diffusion その6U-Net(IN1、Resブロック)](https://hoshikat-hatenablog-
com.translate.goog/entry/2023/04/12/003127?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

Stable DiffusionのU-Net解説の3回目です。 今回はIN1ブロック 

  * [ ![誰でもわかるStable diffusion　その5U-Net\(IN0ブロックず畳み蟌み\)](https://cdn.image.st-hatena.com/image/square/1d0b73be31a163a61a8b16a29af99ac4f17a735d/backend=imagemagick;height=100;version=1;width=100/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhoshikat%2F20230331%2F20230331015314.png) ](https://hoshikat-hatenablog-com.translate.goog/entry/2023/04/03/215537?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

[ 2023-04-03  ](https://hoshikat-hatenablog-
com.translate.goog/archive/2023/04/03?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

[誰でもわかるStable diffusion その5U-Net(IN0ブロックず畳み蟌み)](https://hoshikat-hatenablog-
com.translate.goog/entry/2023/04/03/215537?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

Stable Diffusionで䜿われるU-Netの最初のブロック、IN0局に぀ 

  * もっず読む

コメントを曞く

[ «  誰でもわかるStable Diffusion LoRAを䜜  ](https://hoshikat-hatenablog-
com.translate.goog/entry/2023/06/07/215433?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp) [ AIお絵描きをめぐる問題 これたでずこれ   » ](https://hoshikat-hatenablog-
com.translate.goog/entry/2023/05/17/183410?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

プロフィヌル

[ ![id:hoshikat](https://cdn.profile-image.st-
hatena.com/users/hoshikat/profile.png) ](https://hoshikat-hatenablog-
com.translate.goog/about?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp) [id:hoshikat](https://hoshikat-hatenablog-
com.translate.goog/about?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

[ 読者です 読者をやめる 読者になる 読者になる ](https://hoshikat-hatenablog-
com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp#)

____

[このブログに぀いお](https://hoshikat-hatenablog-
com.translate.goog/about?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

怜玢

リンク

  * [はおなブログ](https://translate.google.com/website?sl=auto&tl=en&hl=en-US&client=webapp&u=https://hatenablog.com/)
  * [ブログをはじめる](https://translate.google.com/website?sl=auto&tl=en&hl=en-US&client=webapp&u=https://hatenablog.com/guide?via%3D200109)
  * [週刊はおなブログ](https://translate.google.com/website?sl=auto&tl=en&hl=en-US&client=webapp&u=http://blog.hatenablog.com)
  * [はおなブログPro](https://translate.google.com/website?sl=auto&tl=en&hl=en-US&client=webapp&u=https://hatenablog.com/guide/pro)

[ 最新蚘事 ](https://hoshikat-hatenablog-
com.translate.goog/archive?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

  * [誰でもわかるStable Diffusion リヌゞョナルプロンプト](https://hoshikat-hatenablog-com.translate.goog/entry/2023/07/11/004307?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

  * [誰でもわかるStable Diffusion スケゞュヌラヌ](https://hoshikat-hatenablog-com.translate.goog/entry/2023/06/30/212231?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

  * [誰でもわかるStable Diffusion CFGスケヌルのしくみ](https://hoshikat-hatenablog-com.translate.goog/entry/2023/06/17/021610?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

  * [誰でもわかるStable Diffusion テキスト゚ンコヌダヌCLIPのしくみ](https://hoshikat-hatenablog-com.translate.goog/entry/2023/06/13/002443?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

  * [誰でもわかるStable Diffusion LoRAを䜜っおみよう(実践線)](https://hoshikat-hatenablog-com.translate.goog/entry/2023/06/07/215433?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

[月別アヌカむブ](https://hoshikat-hatenablog-
com.translate.goog/archive?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

  * â–Œ ▶

[ 2023 ](https://hoshikat-hatenablog-
com.translate.goog/archive/2023?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp)

    * [ 2023 / 7 ](https://hoshikat-hatenablog-com.translate.goog/archive/2023/7?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)
    * [ 2023 / 6 ](https://hoshikat-hatenablog-com.translate.goog/archive/2023/6?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)
    * [ 2023 / 5 ](https://hoshikat-hatenablog-com.translate.goog/archive/2023/5?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)
    * [ 2023 / 4 ](https://hoshikat-hatenablog-com.translate.goog/archive/2023/4?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)
    * [ 2023 / 3 ](https://hoshikat-hatenablog-com.translate.goog/archive/2023/3?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

![](https://www14.a8.net/0.gif?a8mat=3T8SCR+DG1FLE+2HOM+BS629)

### はおなブログをはじめよう

hoshikatさんは、はおなブログを䜿っおいたす。あなたもはおなブログをはじめおみたせんか

[はおなブログをはじめる無料](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://blog.hatena.ne.jp/register?via%3D200227)

[はおなブログずは](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://hatenablog.com/guide)

[ ![人工知胜ず芪しくなるブログ](https://cdn.image.st-
hatena.com/image/square/956bbfe235ea19a9079dd050f7013fea30fe3aa5/backend=imagemagick;height=128;version=1;width=128/https%3A%2F%2Fcdn.user.blog.st-
hatena.com%2Fblog_custom_icon%2F159049220%2F1684744907210605) 人工知胜ず芪しくなるブログ
](https://hoshikat-hatenablog-
com.translate.goog/?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-US&_x_tr_pto=wapp)

Powered by [Hatena
Blog](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://hatenablog.com/) |
[ブログを報告する](https://translate.google.com/website?sl=auto&tl=en&hl=en-
US&client=webapp&u=https://blog.hatena.ne.jp/-/abuse_report?target_url%3Dhttps%253A%252F%252Fhoshikat.hatenablog.com%252Fentry%252F2023%252F05%252F26%252F223229)

__

__

匕甚をストックしたした

ストック䞀芧を芋る 閉じる

匕甚するにはたずログむンしおください

ログむン 閉じる

匕甚をストックできたせんでした。再床お詊しください

閉じる

限定公開蚘事のため匕甚できたせん。

[ 読者です 読者をやめる 読者になる 読者になる ](https://hoshikat-hatenablog-
com.translate.goog/entry/2023/05/26/223229?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=en-
US&_x_tr_pto=wapp#)

____