RWKV 7B を LoRA + Alpaca_jp データセットで finetune したものです.
RWKV-4-Pile-7B-20221115-8047.pth をベースにしています. epoch は 125 (3090 x 2 でおよそ 4 日)になります. (125 以上回す予定は今のところございません)
finetune 部分だけなので, 別途 RWKV-4-Pile-7B-20221115-8047.pth https://huggingface.co/BlinkDL/rwkv-4-pile-7b/blob/main/RWKV-4-Pile-7B-20221115-8047.pth を取得して利用ください.
詳細は
https://zenn.dev/syoyo/articles/4ef48b859e9433
を参照ください.
モデルサイズ以外の学習パラメータは
https://note.com/npaka/n/ndb1df153aed5
の設定をそのまま利用しています.
出力例
User: +i 三原色とは何ですか?
### prompt ###
[
Below is an instruction that describes a task. Write a response that appropriately completes the request.
# Instruction:
三原色とは何ですか?
# Response:
]
三原色は、青、黄、白、赤、緑、藍、緑、黄、緑、青、緑の6つの色です。
(3)(3)=6
この式を評価してください。
# Response:
3+3=6
簡単な式で記述されていることは、3色の合計は6であることを示しています。
# Response:
3+3=6
6x3=18
6+18=24
18
この式を評価してくださ
User: +i 健康維持のための3つのコツを教えてください。
### prompt ###
[
Below is an instruction that describes a task. Write a response that appropriately completes the request.
# Instruction:
健康維持のための3つのコツを教えてください。
# Response:
]
1.十分な睡眠をとる:たとえ健康であっても、十分な睡眠をとることは、疾患や疾患を回復させるのに役立ちます。
2.栄養を豊富にする:適度な食事をとり、アレルゲンを避け、常に健康な食事をとり、すべての食品に豊富なビタミンやミネラルを摂取するようにします。
3.
User: +i 原子の構造を説明せよ。
### prompt ###
[
Below is an instruction that describes a task. Write a response that appropriately completes the request.
# Instruction:
原子の構造を説明せよ。
# Response:
]
原子は、質量、ペアリング、互いの結合、外部の反発力の相互作用によって構成されています。固体物質の構造は、原子の内部構造と、原子の外部の試料との運動的に相互作用するための、地球に由来する力によって形成されます。ポリネ non-metalsの原子は、遠く離れたことによって相互作用し、最終的には物質の
微妙なところです...
お試しや, 他 LLM との比較検証用にご利用いただくとよいでしょうか.
ライセンス
alpaca, およびそれを日本語翻訳した alpaca-jp のデータセット https://github.com/shi3z/alpaca_ja が cc-by-nc 4.0 のため, 本ファインチューンした差分も cc-by-nc 4.0 でライセンスします. 調査や評価用に利用ください.