Update README.md
Browse files
README.md
CHANGED
@@ -1,23 +1,67 @@
|
|
1 |
---
|
2 |
license: openrail++
|
|
|
|
|
3 |
tags:
|
4 |
- text-to-image
|
5 |
- stable-diffusion
|
|
|
|
|
6 |
datasets:
|
7 |
- p1atdev/niji-v5
|
|
|
8 |
---
|
9 |
|
10 |
# モデルの説明
|
11 |
アニメ調に寄せた「[SDXL(stable-diffusion-xl-base-1.0)](https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0)」モデルです。内容は「[niji-v5](https://huggingface.co/p1atdev/niji-v5)」データセットでLoRAファインチューニングしてマージしたモデルです。
|
12 |
|
|
|
|
|
13 |
# 使用例
|
14 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
15 |
|
16 |
# モデルの作り方
|
17 |
1. 「[かんたん☆コピー機学習法(きっと初級編)](https://note.com/2vxpswa7/n/n2d04527bf0bc)」を参考に、ぼかし(blur)のLoRA DreamBoothをして、そのLoRAモデルをSDXLモデルにマイナスでマージします。
|
18 |
2. 1で作ったモデルに、niji-v5から背景や髪が詳細に描かれている絵などを100枚選びLoRAファインチューニングして、そのLoRAモデルをSDXLモデルにマージします。
|
19 |
|
20 |
-
#
|
21 |
LoRAモデルとして配布できるようにしたいです。
|
22 |
というのは、512dim(rank)で学習したらLoRAモデルが3GBのファイルサイズになってしまったため、今回はSDXLモデルにマージしています。
|
23 |
|
|
|
1 |
---
|
2 |
license: openrail++
|
3 |
+
thumbnail: >-
|
4 |
+
https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/images/thumbnail.png
|
5 |
tags:
|
6 |
- text-to-image
|
7 |
- stable-diffusion
|
8 |
+
- safetensors
|
9 |
+
- diffusers
|
10 |
datasets:
|
11 |
- p1atdev/niji-v5
|
12 |
+
library_name: diffusers
|
13 |
---
|
14 |
|
15 |
# モデルの説明
|
16 |
アニメ調に寄せた「[SDXL(stable-diffusion-xl-base-1.0)](https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0)」モデルです。内容は「[niji-v5](https://huggingface.co/p1atdev/niji-v5)」データセットでLoRAファインチューニングしてマージしたモデルです。
|
17 |
|
18 |
+
※100枚しか学習していないのでPromptに複数書くとnijiの絵じゃなくなります。Negative promptに複数書くのは大丈夫っぽいです。
|
19 |
+
|
20 |
# 使用例
|
21 |
+
|
22 |
+
[niji-diffusion-xl-base-1.0.safetensors](https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/resolve/main/niji-diffusion-xl-base-1.0.safetensors)と[stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui)で以下のパラメータで画像生成します。
|
23 |
+
|
24 |
+
Prompt:
|
25 |
+
```
|
26 |
+
1girl
|
27 |
+
```
|
28 |
+
Negative prompt:
|
29 |
+
```
|
30 |
+
worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
|
31 |
+
```
|
32 |
+
|
33 |
+
PNG info:
|
34 |
+
```
|
35 |
+
Steps: 28, Sampler: Euler a, CFG scale: 7, Seed: 1, Size: 1536x1024, Model hash: 791d0c791e, Model: sd_xl_niji_1.0, Clip skip: 2, ENSD: 31337, Token merging ratio: 0.5, Eta: 0.67, Version: v1.5.1
|
36 |
+
```
|
37 |
+
![thumbnail](images/thumbnail.jpg)
|
38 |
+
|
39 |
+
Prompt:
|
40 |
+
```
|
41 |
+
1girl
|
42 |
+
```
|
43 |
+
![thumbnail](images/1girl.jpg)
|
44 |
+
Prompt:
|
45 |
+
```
|
46 |
+
1girl, tokyo
|
47 |
+
```
|
48 |
+
![thumbnail](images/1girl,%20tokyo.jpg)
|
49 |
+
Prompt:
|
50 |
+
```
|
51 |
+
1girl, steampunk
|
52 |
+
```
|
53 |
+
![thumbnail](images/1girl,%20steampunk.jpg)
|
54 |
+
Prompt:
|
55 |
+
```
|
56 |
+
1girl, fantasy
|
57 |
+
```
|
58 |
+
![thumbnail](images/1girl,%20fantasy.jpg)
|
59 |
|
60 |
# モデルの作り方
|
61 |
1. 「[かんたん☆コピー機学習法(きっと初級編)](https://note.com/2vxpswa7/n/n2d04527bf0bc)」を参考に、ぼかし(blur)のLoRA DreamBoothをして、そのLoRAモデルをSDXLモデルにマイナスでマージします。
|
62 |
2. 1で作ったモデルに、niji-v5から背景や髪が詳細に描かれている絵などを100枚選びLoRAファインチューニングして、そのLoRAモデルをSDXLモデルにマージします。
|
63 |
|
64 |
+
# 今後のモデルの改善
|
65 |
LoRAモデルとして配布できるようにしたいです。
|
66 |
というのは、512dim(rank)で学習したらLoRAモデルが3GBのファイルサイズになってしまったため、今回はSDXLモデルにマージしています。
|
67 |
|