Update README.md

README.md

@@ -17,19 +17,23 @@ library_name: diffusers
 ---
 # 更新履歴
 
-- 2023年8月11日
-前回のnijijourneyの画像を混ぜて12000枚で学習しました。
+- 2023年8月14日
+
+さらにnijijourneyの画像1000枚ほどを目で見てアニメやイラスト風で良いもの選んで学習させました。
+
+以下に何をやったか記録しますが、何が効いているのかわかりません。
 
-以下、最後に行ったフルファインチューニング時のパラメータですが、そこに至るまでいろいろ試しているため以下のパラメータでやると失敗するかもしれません。
-学習率は4e-7(constant)から4e-06(cosine)の間あたりが良いのかなと思います。
+以下にハイパーパラメータを記載しますが、その後[v11](https://civitai.com/models/120452?modelVersionId=135754)と[sd-webui-supermerger](https://github.com/hako-mikan/sd-webui-supermerger)階層マージをしているため一度で仕上がりませんでした。（block_lrに近い比率で絵が良さそうなモデル）
+最後に[blur](https://civitai.com/models/120624)を-0.05ほど、[LECO](https://github.com/p1atdev/LECO)で作ったanimeを1でLoRAマージ仕上げました。
 
 | ハイパーパラメータ       | 値                                   |
 |-----------------------|-------------------------------------|
 | GPU                   | RTX3090 24GB                        |
-| optimizer_type        | Lion                                |
-| optimizer_args        | weight_decay=0.015, betas=.9,.999   |
-| learning_rate         | 4e-6                                |
+| optimizer_type        | PagedLion8bit                       |
+| optimizer_args        | weight_decay=0.01, betas=.9,.999    |
+| block_lr              | 0,1e-08,1e-08,1e-08,1e-08,1e-07,1e-07,1e-07,1e-06,1e-06,1e-05,1e-05,1e-05,1e-06,1e-06,1e-07,1e-07,1e-07,1e-08,1e-08,1e-08,1e-08,0 |
 | lr_scheduler          | cosine                              |
+| lr_warmup_steps       | 100                                 |
 | gradient_checkpointing|                                     |
 | mixed_precision       | bf16                                |
 | full_bf16             |                                     |
@@ -37,10 +41,15 @@ library_name: diffusers
 | min_snr_gamma         | 5                                   |
 | noise_offset          | 0.0357                              |
 | max_train_epochs      | 3                                   |
-| batch_size            | 10                                  |
+| batch_size            | 12                                  |
 | enable_bucket         | true                                |
 | resolution            | [1024,1024]                         |
 
+- 2023年8月11日
+前回のnijijourneyの画像を混ぜて12000枚で学習しました。
+
+オプティマイザはLion(4e-06, cosine, weight_decay=0.015, betas=.9,.999)でした。
+
 
 - 2023年8月7日
 
@@ -59,7 +68,7 @@ nijijourneyの画像100枚ぐらいでLoRAファインチューニングなど
 
 [niji-diffusion-xl-base-1.0.safetensors](https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/resolve/main/niji-diffusion-xl-base-1.0.safetensors)と[stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui)で以下のパラメータで画像生成します。
 
-※100枚しか学習していないのでPromptに複数書くとnijiの絵じゃなくなります。Negative promptに複数書くのは大丈夫っぽいです。
+※合計13000枚ぐらい~100枚~しか学習していないのでPromptに複数書くとnijiの絵じゃなくなります。Negative promptに複数書くのは大丈夫っぽいです。
 
 Prompt: 
 ```