Upload 8 files

Uploaded some small files while prepareing the ckpt.

License_en.md

@@ -0,0 +1,39 @@
+# Section I: PREAMBLE
+Multimodal generative models are being widely adopted and used, and have the potential to transform the way artists, among other individuals, conceive and benefit from AI or ML technologies as a tool for content creation.
+
+Notwithstanding the current and potential benefits that these artifacts can bring to society at large, there are also concerns about potential misuses of them, either due to their technical limitations or ethical considerations.
+
+In short, this license strives for the open, responsible, **AND LIBERTARIAN** downstream use of the accompanying model. When it comes to the open character, we took inspiration from open source permissive licenses regarding the grant of IP rights. Referring to the downstream responsible use, we added use-based restrictions not permitting the use of the Model in very specific scenarios, in order for the licensor to be able to enforce the license in case potential misuses of the Model may occur. At the same time, we strive to promote open and responsible research on generative models for art and content generation. <u>Be aware that both points are interpreted and reconsidered under a libertarian point of view, compared to the original CreativeML Open RAIL-M license.</u>
+
+Even though downstream derivative versions of the model could be released under different licensing terms, the latter will always have to include - at minimum - the same use-based restrictions <u>and the same open permissions</u> as the ones in the original license (this license). We believe in the intersection between open and responsible AI development; thus, this License aims to strike a balance between both in order to enable responsible open-science in the field of AI.
+
+This License governs the use of the model (and its derivatives) and is informed by the model card associated with the model.
+
+NOW THEREFORE, You and Licensor agree as follows:
+
+1. Definitions
+
+<u>Same as the original CreativeML Open RAIL-M license (the version of [commit hash:2f3698d09ceb9ff046d11f6ec4ac42269c44267e](https://huggingface.co/spaces/CompVis/stable-diffusion-license/commit/2f3698d09ceb9ff046d11f6ec4ac42269c44267e#d2h-177213), unless otherwise noted).</u>
+
+# Section II: INTELLECTUAL PROPERTY RIGHTS
+
+<u>Same as the original CreativeML Open RAIL-M license.</u>
+
+# Section III: CONDITIONS OF USAGE, DISTRIBUTION AND REDISTRIBUTION
+
+4. <u>Same as the original CreativeML Open RAIL-M license.</u>
+5. <u>Same as the original CreativeML Open RAIL-M license.</u>
+6. The Output You Generate. <u>Including</u> as set forth herein, Licensor claims no rights in the Output You generate using the Model. You are accountable for the Output You generate, and <u>any users including but not limited to You are accountable for its own subsequent uses</u>. No use of the Output can contravene any provision as stated in the License.
+  **The Output You Generate by the Model, Derivatives of the Model and Complementary Material must be distributed and redistibuted under Public Domain (CC0 1.0). Restricting others' use is not part of Your "use."**
+  As for the derivatives of the Output, You or any user may claim under Your or their jurisdiction law and regulation. **However, note that claiming the copyright on the Output itself by hiding the model You generated the Output is against the license.**
+
+# Section IV: OTHER PROVISIONS
+<u>Same as the original CreativeML Open RAIL-M license.</u>
+
+END OF TERMS AND CONDITIONS
+
+
+# Attachment A
+## Use Restrictions
+- <u>Same as the original CreativeML Open RAIL-M license.</u>
+  - **However, the Licensor judge violation of law or regulation by and only by conviction per  the presumption of innocence.**

License_ja.md

@@ -0,0 +1,39 @@
+# 第一節: 前文
+マルチモーダル生成モデルは広く需要・使用されており、アーティストやその他の個人が人工知能（AI）や機械学習（ML）の技術から、コンテンツ創造のためのツールとしての恩恵や着想を得る方法を変える潜在性を秘めている。
+
+現在または将来的にこれらの人工物がもたらしうる恩恵は大きいが、一方で技術的制約もしくは倫理的な配慮による、潜在的な誤用への懸念も存在する。
+
+要約すると、このライセンスはオープンで責任があり、**かつ最大限自由な**同梱モデルの下流での利用を目指すことに努めたものである。
+オープンな性格に関しては、知財権の許諾の観点で、オープンソースな許諾ライセンスに着想を得たものである。
+下流での責任ある利用に関して述べると、潜在的なモデルの誤用が万一発生しうる場合に、ライセンス者がライセンスに従うことを強制できるように、利用ベースの許可されないモデル利用例を、具体的なシナリオによって追加したものである。
+<u>いずれの点も、元のCreativeML Open RAIL-Mと比較して、リバタリアン的な観点から解釈・再考慮されている事に注意されたい。</u>
+
+モデルの下流の派生バージョンは異なるライセンス規約で配布することが可能だが、その場合でも、最低限、元のライセンス（本ライセンス）同じ用例ベース制限 <u>及び同程度の自由な許諾</u> を含まなければいけない。私たちは、オープンさと責任あるAI開発が両立することを信じている。それ故、このライセンスはAIの領域で、責任のあるオープンサイエンスが可能となるように、両者のバランスをとることを意図したものである。
+
+このライセンスはモデル（とその派生物）の利用を統べるものであり、各モデルに紐づけられたモデルカードによって通知されるものとする。
+
+さて、上記ゆえに、あなたとライセンス者は、以下の内容に同意するものとする。
+
+1. 定義
+
+<u>元のCreativeML Open RAIL-Mライセンスと同一とする（特記なき限り、[コミットハッシュ:2f3698d09ceb9ff046d11f6ec4ac42269c44267e](https://huggingface.co/spaces/CompVis/stable-diffusion-license/commit/2f3698d09ceb9ff046d11f6ec4ac42269c44267e#d2h-177213)版のライセンスに準拠するものとする）。</u>
+
+# 第二節: 知的財産権
+<u>元のCreativeML Open RAIL-Mライセンスと同一とする。</u>
+
+# 第三節: 利用、配布及び再配布の条件
+4. <u>元のCreativeML Open RAIL-Mライセンスと同一とする。</u>
+5. <u>元のCreativeML Open RAIL-Mライセンスと同一とする。</u>
+6. （生成した出力）ここに設置してあるもの<u>も含め</u>、ライセンス者はモデルを使用して生成した出力について、一切の権利を主張しない。あなたはあなたの生成した出力について責任を負い、あなた<u>及び任意の出力の利用者は、各自のその後の生成物の利用について責任を負う</u>。出力の利用は、本ライセンスのいかなる規定にも反してはならない。
+  **本モデル、派生モデル及びその補足材料によって生成した出力は、パブリック・ドメイン（CC0 1.0）で頒布・再頒布しなくてはならない。他人の利用を制限することは、あなたの「利用」には含まれない。**
+  生成した出力の派生物については、あなたもしくはその利用者の所轄法に基づき、著作権を主張しても構わないが、**出力それ自体についてモデルを隠して著作権を主張することはライセンス違反であることに注意すること。**
+
+# 第四節: その他規則
+<u>元のCreativeML Open RAIL-Mライセンスと同一とする。</u>
+
+以上
+
+# 付則A
+## 利用制限
+- <u>元のCreativeML Open RAIL-Mライセンスと同一とする。</u>
+  - **ただし、法令違反については、無罪推定の原則に基づき、有罪確定を以て、またそれのみを以てライセンス者は判定する。**

MoeHassanVmix03_V2.yaml

@@ -0,0 +1,70 @@
+model:
+  base_learning_rate: 1.0e-04
+  target: ldm.models.diffusion.ddpm.LatentDiffusion
+  params:
+    linear_start: 0.00085
+    linear_end: 0.0120
+    num_timesteps_cond: 1
+    log_every_t: 200
+    timesteps: 1000
+    first_stage_key: "jpg"
+    cond_stage_key: "txt"
+    image_size: 64
+    channels: 4
+    cond_stage_trainable: false   # Note: different from the one we trained before
+    conditioning_key: crossattn
+    monitor: val/loss_simple_ema
+    scale_factor: 0.18215
+    use_ema: False
+
+    scheduler_config: # 10000 warmup steps
+      target: ldm.lr_scheduler.LambdaLinearScheduler
+      params:
+        warm_up_steps: [ 10000 ]
+        cycle_lengths: [ 10000000000000 ] # incredibly large number to prevent corner cases
+        f_start: [ 1.e-6 ]
+        f_max: [ 1. ]
+        f_min: [ 1. ]
+
+    unet_config:
+      target: ldm.modules.diffusionmodules.openaimodel.UNetModel
+      params:
+        image_size: 32 # unused
+        in_channels: 4
+        out_channels: 4
+        model_channels: 320
+        attention_resolutions: [ 4, 2, 1 ]
+        num_res_blocks: 2
+        channel_mult: [ 1, 2, 4, 4 ]
+        num_heads: 8
+        use_spatial_transformer: True
+        transformer_depth: 1
+        context_dim: 768
+        use_checkpoint: True
+        legacy: False
+
+    first_stage_config:
+      target: ldm.models.autoencoder.AutoencoderKL
+      params:
+        embed_dim: 4
+        monitor: val/rec_loss
+        ddconfig:
+          double_z: true
+          z_channels: 4
+          resolution: 256
+          in_channels: 3
+          out_ch: 3
+          ch: 128
+          ch_mult:
+          - 1
+          - 2
+          - 4
+          - 4
+          num_res_blocks: 2
+          attn_resolutions: []
+          dropout: 0.0
+        lossconfig:
+          target: torch.nn.Identity
+
+    cond_stage_config:
+      target: ldm.modules.encoders.modules.FrozenCLIPEmbedder

MoeHassanVmix03_V3.yaml

@@ -0,0 +1,70 @@
+model:
+  base_learning_rate: 1.0e-04
+  target: ldm.models.diffusion.ddpm.LatentDiffusion
+  params:
+    linear_start: 0.00085
+    linear_end: 0.0120
+    num_timesteps_cond: 1
+    log_every_t: 200
+    timesteps: 1000
+    first_stage_key: "jpg"
+    cond_stage_key: "txt"
+    image_size: 64
+    channels: 4
+    cond_stage_trainable: false   # Note: different from the one we trained before
+    conditioning_key: crossattn
+    monitor: val/loss_simple_ema
+    scale_factor: 0.18215
+    use_ema: False
+
+    scheduler_config: # 10000 warmup steps
+      target: ldm.lr_scheduler.LambdaLinearScheduler
+      params:
+        warm_up_steps: [ 10000 ]
+        cycle_lengths: [ 10000000000000 ] # incredibly large number to prevent corner cases
+        f_start: [ 1.e-6 ]
+        f_max: [ 1. ]
+        f_min: [ 1. ]
+
+    unet_config:
+      target: ldm.modules.diffusionmodules.openaimodel.UNetModel
+      params:
+        image_size: 32 # unused
+        in_channels: 4
+        out_channels: 4
+        model_channels: 320
+        attention_resolutions: [ 4, 2, 1 ]
+        num_res_blocks: 2
+        channel_mult: [ 1, 2, 4, 4 ]
+        num_heads: 8
+        use_spatial_transformer: True
+        transformer_depth: 1
+        context_dim: 768
+        use_checkpoint: True
+        legacy: False
+
+    first_stage_config:
+      target: ldm.models.autoencoder.AutoencoderKL
+      params:
+        embed_dim: 4
+        monitor: val/rec_loss
+        ddconfig:
+          double_z: true
+          z_channels: 4
+          resolution: 256
+          in_channels: 3
+          out_ch: 3
+          ch: 128
+          ch_mult:
+          - 1
+          - 2
+          - 4
+          - 4
+          num_res_blocks: 2
+          attn_resolutions: []
+          dropout: 0.0
+        lossconfig:
+          target: torch.nn.Identity
+
+    cond_stage_config:
+      target: ldm.modules.encoders.modules.FrozenCLIPEmbedder