[Llama-3.1-8B-EZO-1.1-it] Model Card

モデル情報 / Model Information

このモデルは、Meta AI の Llama 3.1 をベースに、日本語タスクでの性能を向上させるためにファインチューニングを行ったものです。 ベースとなるLlama-3.1-8B-Instructから大幅な日本語性能向上を達成しました。

This model is based on Meta AI's Llama 3.1 with fine tuning to improve performance on Japanese tasks. Significant Japanese language performance improvement was achieved from the base Llama-3.1-8B-Instruct.

推奨される使用ガイドライン / Recommended Usage Guidelines

1. 商用利用: 本モデルを商用目的で使用する場合、info@axcxept.com へのメール連絡を強く推奨します。これにより、モデルの応用や改善についての協力の機会が生まれる可能性があります。

2. クレジット表記: 本モデルを使用または改変する際は、以下のようなクレジット表記を行うことを推奨します： "This project utilizes HODACHI/Llama-3.1-8B-EZO-1.1-it, a model based on Llama 3.1 and fine-tuned by Axcxept co., ltd."

3. フィードバック: モデルの使用経験に関するフィードバックを歓迎します。info@axcxept.com までご連絡ください。

これらは推奨事項であり、法的要件ではありません。本モデルの使用は主に Llama 3.1 Community License Agreement に準拠します。

1. Commercial Use: If you plan to use this model for commercial purposes, we strongly encourage you to inform us via email at info@axcxept.com. This allows for potential collaboration on model applications and improvements.

2. Attribution: When using or adapting this model, we recommend providing attribution as follows: "This project utilizes HODACHI/Llama-3.1-8B-EZO-1.1-it, a model based on Llama 3.1 and fine-tuned by Axcxept co., ltd."

3. Feedback: We welcome any feedback on your experience with the model. Please feel free to email us at info@axcxept.com.

Please note that these are recommendations and not legal requirements. Your use of this model is primarily governed by the Llama 3.1 Community License Agreement.

法的通知 / Legal Notice

This model is subject to the Llama 3.1 Community License Agreement. For detailed information, please refer to the official Llama license page: Llama 3.1 License

このモデルは Llama 3.1 Community License Agreement に従います。詳細については、Llama の公式ライセンスページをご参照ください。

使用方法 / Usage

import transformers
import torch

model_id = "HODACHI/Llama-3.1-8B-EZO-1.1-it"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "あなたは誠実で優秀な日本人のアシスタントです。特に指示が無い場合は、原則日本語で回答してください。"},
    {"role": "user", "content": "仕事の熱意を取り戻すためのアイデアを5つ挙げてください。"},
]

outputs = pipeline(
    messages,
    max_new_tokens=512,
)
print(outputs[0]["generated_text"][-1])

ベンチマーク結果 / Benchmark Results

制限事項と倫理的考慮事項 / Limitations and Ethical Considerations

本モデルは、Llama 3.1をベースにしているため、同様の制限事項と倫理的考慮事項が適用されます：

1. 予測不可能な出力: 全てのLLMと同様に、本モデルの潜在的な出力を事前に予測することはできません。場合によっては、不正確、偏見のある、あるいは問題のある応答を生成する可能性があります。

2. 安全性テストの必要性: 開発者は、本モデルを用いたアプリケーションをデプロイする前に、特定のアプリケーションに合わせた安全性テストとチューニングを実施する必要があります。

3. マルチリンガル対応: 本モデルは複数の言語をサポートしていますが、サポートされていない言語での使用は推奨されません。サポートされていない言語で使用する場合は、適切な方針に沿ったファインチューニングとシステム制御を実装する必要があります。

4. 新しい技術としてのリスク: 本モデルは新しい技術であり、他の新技術と同様に、その使用にはリスクが伴います。これまでのテストではすべてのシナリオをカバーしていない可能性があります。

5. 継続的な改善の必要性: コミュニティからのフィードバックや報告メカニズムを通じて、モデルの継続的な改善が必要です。

開発者と使用者は、これらの制限事項を認識し、責任ある使用を心がけることが重要です。詳細については、Llama 3.1のResponsible Use Guideを参照してください。

This model, being based on Llama 3.1, carries similar limitations and ethical considerations:

1. Unpredictable Outputs: Like all LLMs, this model's potential outputs cannot be predicted in advance. It may sometimes generate inaccurate, biased, or problematic responses.

2. Need for Safety Testing: Developers should perform safety testing and tuning tailored to their specific applications before deploying any applications using this model.

3. Multilingual Considerations: While this model supports multiple languages, use in non-supported languages is not recommended without implementing fine-tuning and system controls aligned with appropriate policies.

4. Risks as New Technology: This model represents new technology and, like any new technology, there are risks associated with its use. Testing to date may not have covered all scenarios.

5. Need for Continuous Improvement: Continuous improvement of the model is necessary through community feedback and reporting mechanisms.

It's crucial for developers and users to be aware of these limitations and strive for responsible use. For more information, please refer to the Llama 3.1 Responsible Use Guide.

[Model Data]

Training Dataset]

We extracted high-quality data from Japanese Wikipedia and FineWeb to create instruction data. Our innovative training approach allows for performance improvements across various languages and domains, making the model suitable for global use despite its focus on Japanese data.

日本語のWikiデータおよび、FineWebから良質なデータのみを抽出し、Instructionデータを作成しました。このモデルでは日本語に特化させていますが、世界中のどんなユースケースでも利用可能なアプローチです。

https://huggingface.co/datasets/legacy-datasets/wikipedia https://huggingface.co/datasets/HuggingFaceFW/fineweb

Data Preprocessing

We used a plain instruction tuning method to train the model on exemplary responses. This approach enhances the model's ability to understand and generate high-quality responses across various languages and contexts.

プレインストラクトチューニング手法+QLoRAを用いて、模範的回答を学習させました。この手法により、モデルは様々な言語やコンテキストにおいて高品質な応答を理解し生成する能力が向上しています。

Implementation Information

[Pre-Instruction Training]

https://huggingface.co/instruction-pretrain/instruction-synthesizer

[Hardware]

H100 × 1(Running in 8h)

[We are.]

クレジット / Credits

This model is based on Meta AI's Llama 3.1. We acknowledge and thank the Meta AI team for their work on the base model.

このモデルは Meta AI の Llama 3.1 をベースにしています。ベースモデルの開発に携わった Meta AI チームに感謝いたします。