patrickvonplaten
commited on
Commit
•
f68ed3c
1
Parent(s):
45faab1
Add FP16 docs
Browse filesAdd example how to run quickly on FP16
README.md
CHANGED
@@ -60,7 +60,10 @@ We use [Noah-Wukong](https://wukong-dataset.github.io/wukong-dataset/)(100M) 和
|
|
60 |
铁马冰河入梦来,概念画。
|
61 |
![](result_examples/tiema2.png)
|
62 |
## 使用 Usage
|
63 |
-
|
|
|
|
|
|
|
64 |
from diffusers import StableDiffusionPipeline
|
65 |
|
66 |
pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1").to("cuda")
|
@@ -70,6 +73,23 @@ image = pipe(prompt, guidance_scale=7.5).images[0]
|
|
70 |
image.save("飞流.png")
|
71 |
```
|
72 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
73 |
## 引用 Citation
|
74 |
|
75 |
如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2209.02970):
|
|
|
60 |
铁马冰河入梦来,概念画。
|
61 |
![](result_examples/tiema2.png)
|
62 |
## 使用 Usage
|
63 |
+
|
64 |
+
### 完全精确 Full precision FP16
|
65 |
+
|
66 |
+
```py
|
67 |
from diffusers import StableDiffusionPipeline
|
68 |
|
69 |
pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1").to("cuda")
|
|
|
73 |
image.save("飞流.png")
|
74 |
```
|
75 |
|
76 |
+
### 半精度 Half precision FP16 (CUDA)
|
77 |
+
|
78 |
+
添加 `torch_dtype=torch.float16` 和 `device_map="auto"` 可以快速加载 FP16 的权重,以加快推理速度。
|
79 |
+
更多信息见 [the optimization docs](https://huggingface.co/docs/diffusers/main/en/optimization/fp16#half-precision-weights)。
|
80 |
+
|
81 |
+
```py
|
82 |
+
# !pip install git+https://github.com/huggingface/accelerate
|
83 |
+
from diffusers import StableDiffusionPipeline
|
84 |
+
|
85 |
+
pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1", torch_dtype=torch.float16, device_map="auto")
|
86 |
+
|
87 |
+
prompt = '飞流直下三千尺,油画'
|
88 |
+
image = pipe(prompt, guidance_scale=7.5).images[0]
|
89 |
+
image.save("飞流.png")
|
90 |
+
```
|
91 |
+
|
92 |
+
|
93 |
## 引用 Citation
|
94 |
|
95 |
如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2209.02970):
|