Hugging Face's logo

Fugaku-LLM
/
Fugaku-LLM-13B-instruct

Text Generation
Transformers
Safetensors
Japanese
English
gpt2
text-generation-inference
Inference Endpoints
Model card Files Community
1
Fugaku-LLM-13B-instruct / README.md
mymz's picture
mymz
Upload folder using huggingface_hub
847b9aa
preview code
|
raw
history blame contribute delete
17.5 kB
metadata
extra_gated_prompt: "### Fugaku-LLM利用規約\n この利用規約（以下「本規約」といいます）は、富士通株式会社、国立研究開発法人理化学研究所、国立大学法人東京工業大学、国立大学法人東北大学、株式会社サイバーエージェント、国立大学法人東海国立大学機構、及び株式会社Kotoba Technologies Japan (以下「開発者」といいます)による、スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発の成果物として公開する大規模言語モデル（以下「Fugaku-LLM」といいます）の利用に関する条件を定めるものです。Fugaku-LLMの利用者（以下「利用者」といいます）は、本規約に同意した上でFugaku-LLMを利用するものとします。\n- 第１条（利用許諾）\n Fugaku-LLMの利用者は、本規約に従い、Fugaku-LLMを商用または非商用目的を問わず利用することができます。なお、利用には、Fugaku-LLMの改変、複製および再配布ならびにFugaku-LLM又はFugaku-LLMを改変し作成した大規模言語モデル（以下「改変物」という）を用いたサービスの実施を含むものとします。ただし、利用者は、Fugaku-LLM又は改変物の再配布時のライセンスまたはFugaku-LLMもしくは改変物を用いたサービスの利用規約には本利用規約を含む必要があります。また、利用者が改変物を再配布する際、利用者が改変したことを明記する必要があります。本規約に違反したFugaku-LLMの利用者は、Fugaku-LLMを利用することはできません。\n\n- 第２条（責任）\n\t1. 利用者は、Fugaku-LLMは現状有姿で提供され、開発者は、明示または黙示を問わず、Fugaku-LLMに関し、その正確性、完全性、最新性、および品質など、いかなる保証も行わず、利用者が本Fugaku-LLMを利用したこと、利用できなかったことにより生じた一切の損害について責任を負わないことを、予め承諾するものとします。\n\t2. 利用者は、利用者によるFugaku-LLMの利用により、または、利用者が本利用規約に違反したことにより開発者が損害を被った場合、当該損害を賠償するものとします。\n\t3. 利用者は、自己の責任と判断において利用するものとし、Fugaku-LLMの利用に関して、第三者との間で生じた紛争について、自らの責任と負担で対応し、開発者に一切の迷惑を掛けないものとします。利用者はFugaku-LLMの利用によって生じた損害について自己の責任で対処するものとします。\n\n- 第３条（禁止行為） 利用者は、Fugaku-LLMを利用して以下の行為を行わないものとします。\n\t1. 開発者もしくは第三者の知的財産権を侵害する行為、または侵害するおそれのある行為\n\t2. 開発者もしくは第三者の財産、プライバシーもしくは肖像権を侵害する行為、または侵害するおそれのある行為 \n\t3. 開発者もしくは第三者を差別もしくは誹謗中傷・侮辱し、他者への差別を助長し、または名誉もしくは信用を毀損する行為\n\t4. 許可されていない法律業務に従事したり、有資格の専門家以外からの法律アドバイスを提供したりする行為\n\t5. 有資格の専門家以外からの財務アドバイスを提供する行為\n\t6. 健康への助言や治療方法の提示などを含む医療行為\n\t7. その他法令に基づく許可等が必要な行為\n\n- 第４条（制約事項）\n\t1. 利用者は、Fugaku-LLMを用いた処理の結果物（以下「処理結果」という）には、虚偽や偏り、他人の権利を侵害する内容、または利用者の想定する有効性や有用性を満たさない内容が含まれている場合があることを承諾し、不正確・不適切な処理結果により、自ら又は第三者の損害や権利侵害の発生、倫理的懸念が起こり得るという前提に立ちFugaku-LLMを利用するものとします。利用者は、処理結果の正誤や適法性、倫理的妥当性を自ら確認の上、利用するものとします。利用者が処理結果を含めFugaku-LLMを用いたことにより、利用者自身又は第三者の権利侵害を発生させた場合、開発者はその損害に対して一切の責任を負わないものとし、利用者は開発者に対し一切の迷惑を掛けないものとします。\n\t2. 利用者は処理結果について、それぞれの国や地域において法令などの規制を順守した上で利用ものとします。\n\t3. 利用者は、処理結果を第３条（禁止事項）に記載の行為に利用しないものとします。\n\n- 第５条（権利帰属等）\n\t1. 利用者は、本利用規約で明示で定めるものを除きFugaku-LLMに関する一切の権利を取得することはありません。\n\t2. 利用者は、Fugaku-LLM改変物の作成によって新たに発生した権利を取得しますが、改変物の利用に当たっては本利用規約に従って利用するものとします。\n\t3. 開発者は処理結果について、権利主張を行わないものとします。\n\n- 第６条（輸出取引） 利用者は、Fugaku-LLMおよび処理結果の利用に関連して外国為替及び外国貿易法（これに関連する政省令を含む）または米国輸出管理法令で規定する許可が必要な輸出を行うときは、利用者自らが所定の許可を取得するものとします。\n- 第７条（管轄裁判所） 本利用規約に関し生じた紛争については、東京地方裁判所をもって第一審の専属的合意管轄裁判所とします。\n- 第８条（準拠法） 本利用規約は日本法に準拠します。\n- 第９条（その他の規定） 本規約は、Fugaku-LLMの利用者と開発者との間の利用に関する全ての事項を定めるものであり、本規約に定めのない事項については、関係法令に従うものとします。 \n- 第１０条（言語） 本規約は日本語を正本とします。本規約の英訳版は、参考のために作成されたものであり、何らの法的拘束力もないものとします。\n\n 以上\n\n### Fugaku-LLM Terms of Use\nThis Terms of Use (hereinafter referred to as \"TOU\") sets forth the conditions for the use of the large-scale language model (hereinafter referred to as \"Fugaku-LLM\") that is made public as a result of the development of a distributed parallel learning method for large-scale language models within the scope of the initiatives for uses of the supercomputer \"Fugaku\" defined by Japanese policy by Fujitsu Limited, RIKEN, Tokyo Institute of Technology, Tohoku University, CyberAgent, Inc., Tokai National Higher Education and Research System, and Kotoba Technologies Japan Co., Ltd. (hereinafter referred to as \"Developers\"). Users of Fugaku-LLM (hereinafter referred to as \"Users\") shall use Fugaku-LLM upon agreeing to the TOU.\n- Article 1 (License to Use)\nUsers of Fugaku-LLM may use Fugaku-LLM for commercial or non-commercial purposes in accordance with the TOU. The word “use” includes, but not limited to, the modification, duplication, and redistribution of Fugaku-LLM, as well as the implementation of services using Fugaku-LLM and/or the large-scale language model created by modifying Fugaku-LLM (hereinafter referred to as \"Modified Works\"); provided that Users must incorporate the TOUC into the license terms for redistribution of Fugaku-LLM or Modified Works, or into the terms of use for services using Fugaku-LLM or Modified Works. In addition, when redistributing Modified Works, Users must clearly state that they have made the modifications. Users who violate the TOU are not allowed to use Fugaku-LLM.\n- Article 2 (Responsibility)\n\t1. Users agree in advance that Fugaku-LLM is provided “AS IS”, and the Developers make no warranties, express or implied, regarding Fugaku-LLM, including, but not limited to, its accuracy, completeness, up-to-dateness, and quality, and that Developers shall not be liable for any damages arising from the use or inability to use Fugaku-LLM.\n\t2. Users shall compensate for any and all damages suffered by the Developers as a result of the use of Fugaku-LLM and/or the Users' violation of the TOU.\n\t3. Users shall use Fugaku-LLM at their own responsibility and discretion, and shall handle any disputes arising with third parties in relation to the use of Fugaku-LLM at their own responsibility and expense, and shall indemnify, defend and hold harmless the Developers against all damages and losses without causing any inconvenience to the Developers. Users shall deal with any damages caused by the use of Fugaku-LLM at their own responsibility.\n\n- Article 3 (Prohibited Actions)\nUsers shall not engage in the following actions when using Fugaku-LLM.\n\t1. Actions that will or may infringe on the intellectual property rights of the Developers or third parties;\n\t2. Actions that will or may infringe on the property, privacy, or portrait rights of the Developers or third parties; \n\t3. Actions that discriminate against, defame, insult, or slander the Developers or third parties, promote discrimination against others, or damage the reputation or credibility of others;\n\t4. Actions that engage in unauthorized legal services and/or provide legal advice from anyone other than a qualified professional;\n\t5. Actions that provide financial advice from anyone other than a qualified professional;\n\t6. Medical actions, including providing health advice or suggesting treatment methods; and\n\t7. Other actions that require permissions or other forms of authorization under laws and regulations.\n\n- Article 4 (Restrictions)\n\t1. Users acknowledge that the results of processing using Fugaku-LLM (hereinafter referred to as \"Processing Results\") may contain falsehoods, biases, content that infringes on the rights of others, or content that does not meet the effectiveness or usefulness expected by Users, and agree to use Fugaku-LLM on the premise that inaccurate or inappropriate Processing Results may cause damage or infringement of rights to Users or third parties and/or ethical concerns. Users shall use the Processing Results after confirming their accuracy, legality, and ethical validity themselves. If the use of Fugaku-LLM, including the Processing Results, by Users cause infringement of the rights of the Users themselves or third parties, the Developers shall not be responsible for any damages, and the Users shall indemnify, defend and hold harmless the Developers against all damages and losses without causing any inconvenience to the Developers.\n\t2. Users shall use the Processing Results in compliance with the regulations such as laws and regulations in each country and region.\n\t3. Users shall not use the Processing Results for the actions listed in Article 3 (Prohibited Actions).\n\n- Article 5 (Ownership of Rights)\n\t1. Except as expressly provided in the TOU, Users shall not acquire any rights in relation to Fugaku-LLM.\n\t2. Users will acquire rights newly arising from the creation of Modified Works of Fugaku-LLM, but Users shall use Modified Works in accordance with the TOU.\n\t3. The Developers shall not assert any rights to the Processing Results. \n\n- Article 6 (Export Transaction)\nUsers shall obtain the necessary permissions themselves when exporting Fugaku-LLM and the Processing Results in relation to their use, where such export requires permissions under the Foreign Exchange and Foreign Trade Act (including related cabinet order and ministerial order) or U.S. export control laws and regulations.\n- Article 7 (Jurisdiction)\nThe Tokyo District Court shall have exclusive jurisdiction in the court of the first instance over any disputes arising out of or in connection with the TOU.\n- Article 8 (Governing Law)\nThe TOU is governed by and construed in accordance with the laws of Japan.\n- Article 9 (Other Provisions)\nThe TOU sets forth the entire agreement as to all matters concerning the use of Fugaku-LLM between the Users and the Developers, and matters not provided for in the TOU shall be governed by the relevant laws and regulations. \n- Article 10 (Governing Language)\nThe governing language of the TOU shall be Japanese. The English translation hereof is made for reference purpose only and shall have no effect."
license: other
license_name: fugaku-llm-tou
license_link: LICENSE
language:
  - ja
  - en

Fugaku-LLM

Our Fugaku LLM model is a domestic model pre-trained from scratch using supercomputer Fugaku. This model is highly transparent and safety because it is trained from scratch with our own data. The training data consists mainly of Japanese data, and the model has excellent Japanese performance.

This models are developed by Fugaku-LLM.

Links to other models can be found in the index.

Fugaku-LLM Model Index

Model Fugaku-LLM Fugaku-LLM-instruct
13B Link Link

Model Details

  • Developed by: Fugaku-LLM
  • Model type: GPT-2
  • Language(s): Japanese, English
  • Library: DeepSpeedFugaku
  • Tokenizer: llm-jp-tokenizer, code10k_en20k_ja30k of v2.2
  • License: Fugaku-LLM Terms of Use

Model Performance

Instruction-tuned model

We evaluated our model by Japanese MT benchmark in the same way as Nejumi LLM Leaderboard Neo.
We only modified the following parts of the Fastchat code:

  • Added "add_special_tokens=False" when calling tokenizer for input prompt
  • Limit the number of tokens generated to less than 2048
Model Name average coding extraction humanities math reasoning roleplay stem writing
Fugaku-LLM-13B-instruct 5.47 2.10 4.10 9.18 2.30 3.40 8.20 7.25 7.25

How to use

Use the instruction-tuned model 

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Fugaku-LLM/Fugaku-LLM-13B-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
model.eval()

system_example = "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"
instruction_example = "スーパーコンピュータ「富岳」の名前の由来を教えてください。"

prompt = f"{system_example}\n\n### 指示:\n{instruction_example}\n\n### 応答:\n"

input_ids = tokenizer.encode(prompt,
                             add_special_tokens=False,
                             return_tensors="pt")
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.1,
    top_p=1.0,
    repetition_penalty=1.0,
    top_k=0
)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

Use the base model 

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Fugaku-LLM/Fugaku-LLM-13B"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
model.eval()

prompt = "スーパーコンピュータ「富岳」という名称は"

input_ids = tokenizer.encode(prompt,
                             add_special_tokens=False,
                             return_tensors="pt")
tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.1,
    top_p=1.0,
    repetition_penalty=1.0,
    top_k=0
)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

Training Datasets

Instruction Tuning

License

Fugaku-LLM Terms of Use is available at LICENSE and LICENSE_ja files.

Risks and Limitations

The results of processing using Fugaku-LLM may contain falsehoods, biases, content that infringes on the rights of others, or content that does not meet the effectiveness or usefulness expected by Users.

Acknowledgements

This achievement is based on the Government‐Initiated Projects of Supercomputer Fugaku "Development of Distributed Training Method for Large Language Models on Fugaku."

Authors

  • Tokyo Institute of Technology
  • Tohoku University
  • Fujitsu Limited
  • RIKEN
  • Nagoya University
  • CyberAgent, Inc.
  • Kotoba Technologies, Inc.