--- license: cc-by-nc-sa-4.0 datasets: - kinokokoro/ichikara-instruction-003 base_model: - llm-jp/llm-jp-3-13b --- tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device) attention_mask = torch.ones_like(tokenized_input) with torch.no_grad(): outputs = model.generate( tokenized_input, attention_mask=attention_mask, max_new_tokens=100, do_sample=False, repetition_penalty=1.2, pad_token_id=tokenizer.eos_token_id )[0] output = tokenizer.decode(outputs[tokenized_input.size(1):], skip_special_tokens=True) results.append({"task_id": data["task_id"], "input": input, "output": output}) #sampul use # python 3.10.12 !pip install -U pip !pip install -U transformers !pip install -U bitsandbytes !pip install -U accelerate !pip install -U datasets !pip install -U peft !pip install -U trl !pip install -U wandb !pip install ipywidgets --upgrade from transformers import ( AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, TrainingArguments, logging, ) from peft import ( LoraConfig, PeftModel, get_peft_model, ) import os, torch, gc from datasets import load_dataset import bitsandbytes as bnb from trl import SFTTrainer # Hugging Face Token HF_TOKEN = "write権限のあるトークン、非公開のためypur token" # モデルを読み込み。 # llm-jp-3 1.8B, 3.7B, 13Bのsnapshotをダウンロード済みでmodelsディレクトリに格納してあります。 # base_model_idの値はomnicampusの環境におけるモデルのパスを表しており、それ以外の環境で実行する場合は変更の必要があります。 # その他のモデルは取得に承諾が必要なため、各自でダウンロードお願いします。 base_model_id = "models/models--llm-jp--llm-jp-3-13b/snapshots/cd3823f4c1fcbb0ad2e2af46036ab1b0ca13192a" #Fine-Tuningするベースモデル # omnicampus以外の環境をご利用の方は以下をご利用ください。 # base_model_id = "llm-jp/llm-jp-3-13b" new_model_id = "llm-jp-3-13b-finetune" #Fine-Tuningしたモデルにつけたい名前 """ bnb_config: 量子化の設定 - load_in_4bit: - 4bit量子化形式でモデルをロード - bnb_4bit_quant_type: - 量子化の形式を指定 - bnb_4bit_compute_dtype: - 量子化された重みを用いて計算する際のデータ型 """ bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", # nf4は通常のINT4より精度が高く、ニューラルネットワークの分布に最適です bnb_4bit_compute_dtype=torch.bfloat16, ) """ model: モデル - base_model: - 読み込むベースモデル (事前に定義したもの) - quantization_config: - bnb_configで設定した量子化設定 - device_map: - モデルを割り当てるデバイス (CPU/GPU) "auto"で自動に割り当てられます。 tokenizer: トークナイザー - base_model: - 読み込むベースモデル (事前に定義したもの) - trust_remote_code: - リモートコードの実行を許可 (カスタムモデルなど) """ model = AutoModelForCausalLM.from_pretrained( base_model_id, quantization_config=bnb_config, device_map="auto" ) tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True) """ find_all_linear_names: モデル内の4bit量子化線形層を探します。 """ def find_all_linear_names(model): cls = bnb.nn.Linear4bit # 4bit量子化線形層クラスを指定 lora_module_names = set() # ここに取得した線形層を保持します。 # モデル内の全てのモジュールを探索します for name, module in model.named_modules(): if isinstance(module, cls): # モジュールが4bit量子化線形層の場合 names = name.split('.') # モジュールの名前を分割 (ネストされてる際などに対処) lora_module_names.add(names[0] if len(names) == 1 else names[-1]) # 最下層の名前をlora_module_namesに追加 # 'lm_head' は16ビット演算の際に除外する必要があるため、lora_module_namesから削除 if 'lm_head' in lora_module_names: lora_module_names.remove('lm_head') return list(lora_module_names) # lora_module_namesをリストに変換して返します。 """ peft_config: PEFTの構成設定 - r - LoRA のランク (4, 8, 16 ,32...) - 増やすほど学習が捗るが, 過学習のリスクも高まるので注意 - lora_alpha - LoRAのスケーリング係数 - lora_dropout - ドロップアウト率（過学習を防ぐための割合） - bias - バイアス項の扱い ("none"の場合、LoRAはバイアスを学習しない) - task_type - タスクタイプ - target_modules - LoRAを適用するターゲットモジュール (前のコードで特定した層) """ peft_config = LoraConfig( r=16, lora_alpha=32, lora_dropout=0.05, bias="none", task_type="CAUSAL_LM", target_modules=modules, ) """ 学習に用いるデータセットの指定 今回はLLM-jp の公開している Ichikara Instruction を使います。データにアクセスするためには申請が必要ですので、使いたい方のみ申請をしてください。 Ichikara Instruciton を Hugging Face Hub にて公開することはお控えください。 また、CC-BY-NC-SAですのでモデルはライセンスを継承する前提でお使いください。 下記のリンクから申請を終えた先に Google Drive があり、Distribution20241221_all というフォルダごとダウンロードしてください。 今回は「ichikara-instruction-003-001-1.json」を使います。必要であれば展開（!unzip など）し、データセットのパスを適切に指定してください。 omnicampusの開発環境では取得したデータを左側にドラッグアンドドロップしてお使いください。 https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/ 関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. ichikara-instruction: LLMのための日本語インストラクションデータの構築. 言語処理学会第30回年次大会(2024) """ dataset = load_dataset("json", data_files="./ichikara-instruction-003-001-1.json") dataset # 学習時のプロンプトフォーマットの定義 prompt = """### 指示 {} ### 回答 {}""" """ formatting_prompts_func: 各データをプロンプトに合わせた形式に合わせる """ EOS_TOKEN = tokenizer.eos_token # トークナイザーのEOSトークン（文末トークン） def formatting_prompts_func(examples): input = examples["text"] # 入力データ output = examples["output"] # 出力データ text = prompt.format(input, output) + EOS_TOKEN # プロンプトの作成 return { "formatted_text" : text, } # 新しいフィールド "formatted_text" を返す pass # # 各データにフォーマットを適用 dataset = dataset.map( formatting_prompts_func, num_proc= 4, # 並列処理数を指定 ) dataset # データを確認 print(dataset["train"]["formatted_text"][3]) # データをtrainデータとtestデータに分割 (test_sizeの比率に) # dataset = dataset["train"].train_test_split(test_size=0.1) # dataset """ training_arguments: 学習の設定 - output_dir: -トレーニング後のモデルを保存するディレクトリ - per_device_train_batch_size: - デバイスごとのトレーニングバッチサイズ - per_device_ _batch_size: - デバイスごとの評価バッチサイズ - gradient_accumulation_steps: - 勾配を更新する前にステップを積み重ねる回数 - optim: - オプティマイザの設定 - num_train_epochs: - エポック数 - eval_strategy: - 評価の戦略 ("no"/"steps"/"epoch") - eval_steps: - eval_strategyが"steps"のとき、評価を行うstep間隔 - logging_strategy: - ログ記録の戦略 - logging_steps: - ログを出力するステップ間隔 - warmup_steps: - 学習率のウォームアップステップ数 - save_steps: - モデルを保存するステップ間隔 - save_total_limit: - 保存しておくcheckpointの数 - max_steps: - トレーニングの最大ステップ数 - learning_rate: - 学習率 - fp16: - 16bit浮動小数点の使用設定（第8回演習を参考にすると良いです） - bf16: - BFloat16の使用設定 - group_by_length: - 入力シーケンスの長さによりバッチをグループ化 (トレーニングの効率化) - report_to: - ログの送信先 ("wandb"/"tensorboard"など) """ training_arguments = TrainingArguments( output_dir=new_model_id, per_device_train_batch_size=1, gradient_accumulation_steps=2, optim="paged_adamw_32bit", num_train_epochs=1, logging_strategy="steps", logging_steps=10, warmup_steps=10, save_steps=100, save_total_limit = 2, max_steps = -1, learning_rate=5e-5, fp16=False, bf16=False, seed = 3407, group_by_length=True, report_to="none" ) """ SFTTrainer: Supervised Fine-Tuningに関する設定 - model: - 読み込んだベースのモデル - train_dataset: - トレーニングに使用するデータセット - eval_dataset: - 評価に使用するデータセット - peft_config: - PEFT（Parameter-Efficient Fine-Tuning）の設定（LoRAを利用する場合に指定） - max_seq_length: - モデルに入力されるシーケンスの最大トークン長 - dataset_text_field: - データセット内の学習に使うテキストを含むフィールド名 - tokenizer: - モデルに対応するトークナイザー - args: - トレーニングに使用するハイパーパラメータ（TrainingArgumentsの設定を指定） - packing: - 入力シーケンスのパッキングを行うかどうかの設定 (False に設定することで、各入力を独立して扱う) """ trainer = SFTTrainer( model=model, train_dataset=dataset["train"], peft_config=peft_config, max_seq_length= 512, dataset_text_field="formatted_text", tokenizer=tokenizer, args=training_arguments, packing= False, ) model.config.use_cache = False # キャッシュ機能を無効化 trainer.train() # トレーニングを実行 # タスクとなるデータの読み込み。 # omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。 import json datasets = [] with open("./elyza-tasks-100-TV_0.jsonl", "r") as f: item = "" for line in f: line = line.strip() item += line if item.endswith("}"): datasets.append(json.loads(item)) item = "" # モデルによるタスクの推論。 from tqdm import tqdm results = [] for data in tqdm(datasets): input = data["input"] prompt = f"""### 指示 {input} ### 回答 """ tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device) attention_mask = torch.ones_like(tokenized_input) with torch.no_grad(): outputs = model.generate( tokenized_input, attention_mask=attention_mask, max_new_tokens=100, do_sample=False, repetition_penalty=1.2, pad_token_id=tokenizer.eos_token_id )[0] output = tokenizer.decode(outputs[tokenized_input.size(1):], skip_special_tokens=True) results.append({"task_id": data["task_id"], "input": input, "output": output}) # こちらで生成されたjsolを提出してください。 # 本コードではinputとeval_aspectも含んでいますが、なくても問題ありません。 # 必須なのはtask_idとoutputとなります。 import re jsonl_id = re.sub(".*/", "", new_model_id) with open(f"./{jsonl_id}-outputs.jsonl", 'w', encoding='utf-8') as f: for result in results: json.dump(result, f, ensure_ascii=False) # ensure_ascii=False for handling non-ASCII characters f.write('\n') # モデルとトークナイザーをHugging Faceにアップロード model.push_to_hub(new_model_id, token=HF_TOKEN, private=True) # Online saving tokenizer.push_to_hub(new_model_id, token=HF_TOKEN, private=True) # Online saving model = get_peft_model(model, peft_config) modules = find_all_linear_names(model) --- library_name: transformers tags: [] --- # Model Card for Model ID ## Model Details ### Model Description This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated. - **Developed by:** [More Information Needed] - **Funded by [optional]:** [More Information Needed] - **Shared by [optional]:** [More Information Needed] - **Model type:** [More Information Needed] - **Language(s) (NLP):** [More Information Needed] - **License:** [More Information Needed] - **Finetuned from model [optional]:** [More Information Needed] ### Model Sources [optional] - **Repository:** [More Information Needed] - **Paper [optional]:** [More Information Needed] - **Demo [optional]:** [More Information Needed] ## Uses ### Direct Use [More Information Needed] ### Downstream Use [optional] [More Information Needed] ### Out-of-Scope Use [More Information Needed] ## Bias, Risks, and Limitations [More Information Needed] ### Recommendations Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations. ## How to Get Started with the Model Use the code below to get started with the model. [More Information Needed] ## Training Details ### Training Data [More Information Needed] ### Training Procedure #### Preprocessing [optional] [More Information Needed] #### Training Hyperparameters - **Training regime:** [More Information Needed] #### Speeds, Sizes, Times [optional] [More Information Needed] ## Evaluation ### Testing Data, Factors & Metrics #### Testing Data [More Information Needed] #### Factors [More Information Needed] #### Metrics [More Information Needed] ### Results [More Information Needed] #### Summary ## Model Examination [optional] [More Information Needed] ## Environmental Impact Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700). - **Hardware Type:** [More Information Needed] - **Hours used:** [More Information Needed] - **Cloud Provider:** [More Information Needed] - **Compute Region:** [More Information Needed] - **Carbon Emitted:** [More Information Needed] ## Technical Specifications [optional] ### Model Architecture and Objective [More Information Needed] ### Compute Infrastructure [More Information Needed] #### Hardware [More Information Needed] #### Software [More Information Needed] ## Citation [optional] **BibTeX:** [More Information Needed] **APA:** [More Information Needed] ## Glossary [optional] [More Information Needed] ## More Information [optional] [More Information Needed] ## Model Card Authors [optional] [More Information Needed] ## Model Card Contact [More Information Needed]