patrickvonplaten commited on
Commit
f68ed3c
1 Parent(s): 45faab1

Add FP16 docs

Browse files

Add example how to run quickly on FP16

Files changed (1) hide show
  1. README.md +21 -1
README.md CHANGED
@@ -60,7 +60,10 @@ We use [Noah-Wukong](https://wukong-dataset.github.io/wukong-dataset/)(100M) 和
60
  铁马冰河入梦来,概念画。
61
  ![](result_examples/tiema2.png)
62
  ## 使用 Usage
63
- ```
 
 
 
64
  from diffusers import StableDiffusionPipeline
65
 
66
  pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1").to("cuda")
@@ -70,6 +73,23 @@ image = pipe(prompt, guidance_scale=7.5).images[0]
70
  image.save("飞流.png")
71
  ```
72
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
73
  ## 引用 Citation
74
 
75
  如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2209.02970):
 
60
  铁马冰河入梦来,概念画。
61
  ![](result_examples/tiema2.png)
62
  ## 使用 Usage
63
+
64
+ ### 完全精确 Full precision FP16
65
+
66
+ ```py
67
  from diffusers import StableDiffusionPipeline
68
 
69
  pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1").to("cuda")
 
73
  image.save("飞流.png")
74
  ```
75
 
76
+ ### 半精度 Half precision FP16 (CUDA)
77
+
78
+ 添加 `torch_dtype=torch.float16` 和 `device_map="auto"` 可以快速加载 FP16 的权重,以加快推理速度。
79
+ 更多信息见 [the optimization docs](https://huggingface.co/docs/diffusers/main/en/optimization/fp16#half-precision-weights)。
80
+
81
+ ```py
82
+ # !pip install git+https://github.com/huggingface/accelerate
83
+ from diffusers import StableDiffusionPipeline
84
+
85
+ pipe = StableDiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1", torch_dtype=torch.float16, device_map="auto")
86
+
87
+ prompt = '飞流直下三千尺,油画'
88
+ image = pipe(prompt, guidance_scale=7.5).images[0]
89
+ image.save("飞流.png")
90
+ ```
91
+
92
+
93
  ## 引用 Citation
94
 
95
  如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2209.02970):