Instructions to use AIBunCho/japanese-novel-gpt-j-6b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use AIBunCho/japanese-novel-gpt-j-6b with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="AIBunCho/japanese-novel-gpt-j-6b")# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("AIBunCho/japanese-novel-gpt-j-6b") model = AutoModelForCausalLM.from_pretrained("AIBunCho/japanese-novel-gpt-j-6b") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use AIBunCho/japanese-novel-gpt-j-6b with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "AIBunCho/japanese-novel-gpt-j-6b" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "AIBunCho/japanese-novel-gpt-j-6b", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/AIBunCho/japanese-novel-gpt-j-6b
- SGLang
How to use AIBunCho/japanese-novel-gpt-j-6b with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "AIBunCho/japanese-novel-gpt-j-6b" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "AIBunCho/japanese-novel-gpt-j-6b", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "AIBunCho/japanese-novel-gpt-j-6b" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "AIBunCho/japanese-novel-gpt-j-6b", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use AIBunCho/japanese-novel-gpt-j-6b with Docker Model Runner:
docker model run hf.co/AIBunCho/japanese-novel-gpt-j-6b
機能についての質問
とても素晴らしいAIモデルを公開していただきありがとうございます。
こちらのモデルで、書き出し部分以外に、AIに情報(キャラやあらすじ、設定など)を渡す方法はありますでしょうか?
自分は書き出し部分に入れるしか今のところわからないです。
良い方法がありましたら共有いただけるとありがたいです!
自分はまだこのモデルのloraを試していないので、そのあたり試してご共有いただけると嬉しいです。
ありがとうございます。いろいろと試してみます。
キャラやあらすじ、設定などをjson形式ファイルから読んでプロンプトに突っ込むコード(120行くらい)を書いちゃったのですが、githubで公開すると誰か幸せになる人いますか?(LoRA等の学習方法は難しくてよくわからない)
ぜひ!
sehiroさん すごいですね!公開して頂けるととても嬉しいです✨
すごいですね さっそく試してみます🥰
AIBunChoのモデル、もしやと思ってtext-generation-webuiにダウンロードしてみたら普通に認識した。私のコードいらなかったかも…💦
なるほど、そちらから使うこともできるんですね。参考になります。
sehiroさん 投稿いただいたコードは無事動きました!(jupyter環境だったので、少し修正して、動かしました。)ありがとうございます。
text-generation-webuiでLoRAの作成・適用もできそうです。今日は昨日確認だけしかできなかったので、明日動作確認してみます。
text-generation-webuiでLoRAの動作確認が取れましたので、公開している私のコードもLoRAを読み込める機能を追加しました。なおtext-generation-webuiでのLoRA作成や使用方法は次の記事が詳しいです。
https://note.com/npaka/n/nc387b639e50e
素晴らしいAIモデルの公開ありがとうございます。
sehiroさんのコードもすごい参考になります。
自分はtext-generation-webuiで使用してみたのですが、書き出しに「設定」を書くことである程度は本文に情報を伝えることはできるのですが、「あらすじ」に関してうまくいきません。
みなさんどういう風に使われてますか?
亀レスで申し訳ありません。「あらすじ」を反映させるのは難しいようで、私のコードでもなかなか書いてもらえませんねぇ。最近はむしろ設定だけ渡して自由に書かせた方がいいのかもと考えております。答えになってなくて申し訳ない。