alfredplpl commited on
Commit
5cb5b78
1 Parent(s): 3fa12a4

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +142 -1
README.md CHANGED
@@ -25,7 +25,148 @@ You can use this model for commercial purpose but "You can't misrepresent that a
25
  [ここ](poc.safetensors)からモデルをダウンロードできます。
26
  Diffusersを使ってモデルをダウンロードすることもできます。
27
 
28
- # 学習データ
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
29
  - [Mitsua Diffusion One](https://huggingface.co/Mitsua/mitsua-diffusion-one)
30
  - [Manga 109-s](http://www.manga109.org/)
31
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
25
  [ここ](poc.safetensors)からモデルをダウンロードできます。
26
  Diffusersを使ってモデルをダウンロードすることもできます。
27
 
28
+ 以下、一般的なモデルカードの日本語訳です。
29
+
30
+ ## モデル詳細
31
+ - **モデルタイプ:** 拡散モデルベースの text-to-image 生成モデル
32
+ - **言語:** 日本語
33
+ - **ライセンス:** [CreativeML Open RAIL++-M-NC License](MODEL-LICENSE), [Fair AI Public License 1.0-SD](https://freedevproject.org/faipl-1.0-sd/)
34
+ - **モデルの説明:** このモデルはプロンプトに応じて適切な画像を生成することができます。アルゴリズムは [Latent Diffusion Model](https://arxiv.org/abs/2112.10752) と [OpenCLIP-ViT/H](https://github.com/mlfoundations/open_clip) です。
35
+ - **補足:**
36
+ - **参考文献:**
37
+
38
+ @InProceedings{Rombach_2022_CVPR,
39
+ author = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
40
+ title = {High-Resolution Image Synthesis With Latent Diffusion Models},
41
+ booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
42
+ month = {June},
43
+ year = {2022},
44
+ pages = {10684-10695}
45
+ }
46
+
47
+ ## モデルの使用例
48
+
49
+ Stable Diffusion v2と同じ使い方です。
50
+ たくさんの方法がありますが、2つのパターンを提供します。
51
+ - Web UI
52
+ - Diffusers
53
+
54
+ ### Web UIの場合
55
+
56
+ Stable Diffusion v2 の使い方と同じく、safetensor形式のモデルファイルをモデルフォルダに入れてください。
57
+ 詳しいインストール方法は、[こちらの記事](https://note.com/it_navi/n/n6ffb66513769)を参照してください。
58
+
59
+ ### Diffusersの場合
60
+
61
+ [🤗's Diffusers library](https://github.com/huggingface/diffusers) を使ってください。
62
+
63
+ まずは、以下のスクリプトを実行し、ライブラリをいれてください。
64
+
65
+ ```bash
66
+ pip install --upgrade git+https://github.com/huggingface/diffusers.git transformers accelerate scipy
67
+ ```
68
+
69
+ 次のスクリプトを実行し、画像を生成してください。
70
+
71
+ ```python
72
+ from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler
73
+ import torch
74
+
75
+ model_id = "aipicasso/manga-diffusion-poc"
76
+
77
+ scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler")
78
+ pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.float16)
79
+ pipe = pipe.to("cuda")
80
+
81
+ prompt = "monochrome, grayscale, street, buildings"
82
+ images = pipe(prompt, num_inference_steps=30, height=512, width=768).images
83
+ images[0].save("girl.png")
84
+
85
+ ```
86
+
87
+ **注意**:
88
+ - [xformers](https://github.com/facebookresearch/xformers) を使うと早くなります。
89
+ - GPUを使う際にGPUのメモリが少ない人は `pipe.enable_attention_slicing()` を使ってください。
90
+
91
+ #### 想定される用途
92
+ - イラストや漫画、アニメの作画補助
93
+ - 商用・非商用は問わない
94
+ - 依頼の際のクリエイターとのコミュニケーション
95
+ - 画像生成サービスの商用提供
96
+ - 生成物の取り扱いには注意して使ってください。
97
+ - 自己表現
98
+ - このAIを使い、「あなた」らしさを発信すること
99
+ - 画像生成AIに関する報道
100
+ - 公共放送だけでなく、営利企業でも可能
101
+ - 画像合成AIに関する情報を「知る権利」は創作業界に悪影響を及ぼさないと判断したためです。また、報道の自由などを尊重しました。
102
+ - 研究開発
103
+ - Discord上でのモデルの利用
104
+ - プロンプトエンジニアリング
105
+ - ファインチューニング(追加学習とも)
106
+ - DreamBooth など
107
+ - 他のモデルとのマージ
108
+ - 本モデルの性能をFIDなどで調べること
109
+ - 本モデルがStable Diffusion以外のモデルとは独立であることをチェックサムやハッシュ関数などで調べること
110
+ - 教育
111
+ - 美大生や専門学校生の卒業制作
112
+ - 大学生の卒業論文や課題制作
113
+ - 先生が画像生成AIの現状を伝えること
114
+ - Hugging Face の Community にかいてある用途
115
+ - 日本語か英語で質問してください
116
+
117
+ #### 想定されない用途
118
+ - 物事を事実として表現するようなこと
119
+ - 収益化されているYouTubeなどのコンテンツへの使用
120
+ - 商用のサービスとして直接提供すること
121
+ - 先生を困らせるようなこと
122
+ - その他、創作業界に悪影響を及ぼすこと
123
+
124
+ # 使用してはいけない用途や悪意のある用途
125
+ - デジタル贋作 ([Digital Forgery](https://arxiv.org/abs/2212.03860)) は公開しないでください(著作権法に違反するおそれ)
126
+ - 他人の作品を無断でImage-to-Imageしないでください(���作権法に違反するおそれ)
127
+ - わいせつ物を頒布しないでください (刑法175条に違反するおそれ)
128
+ - いわゆる業界のマナーを守らないようなこと
129
+ - 事実に基づかないことを事実のように語らないようにしてください(威力業務妨害罪が適用されるおそれ)
130
+ - フェイクニュース
131
+
132
+ ## モデルの限界やバイアス
133
+
134
+ ### モデルの限界
135
+
136
+ - 拡散モデルや大規模言語モデルは、いまだに未知の部分が多く、その限界は判明していない。
137
+
138
+ ### バイアス
139
+
140
+ - 拡散モデルや大規模言語モデルは、いまだに未知の部分が多く、バイアスは判明していない。
141
+
142
+ ## 学習
143
+
144
+ **学習データ**
145
  - [Mitsua Diffusion One](https://huggingface.co/Mitsua/mitsua-diffusion-one)
146
  - [Manga 109-s](http://www.manga109.org/)
147
 
148
+ **学習プロセス**
149
+
150
+ - **ハードウェア:** A6000x2
151
+
152
+ ## 評価結果
153
+
154
+ 第三者による評価を求めています。
155
+
156
+ ## 環境への影響
157
+
158
+ - **ハードウェアタイプ:** A6000x2
159
+ - **使用時間(単位は時間):** 100
160
+ - **学習した場所:** 日本
161
+
162
+ ## 参考文献
163
+ @InProceedings{Rombach_2022_CVPR,
164
+ author = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
165
+ title = {High-Resolution Image Synthesis With Latent Diffusion Models},
166
+ booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
167
+ month = {June},
168
+ year = {2022},
169
+ pages = {10684-10695}
170
+ }
171
+
172
+ *このモデルカードは [Stable Diffusion v2](https://huggingface.co/stabilityai/stable-diffusion-2/raw/main/README.md) に基づいて書かれました。