A newer version of the Gradio SDK is available:
5.49.1
metadata
title: 麻理チャット - Swallow-MX-8x7b-NVE GGUF版
emoji: 🤖
colorFrom: pink
colorTo: purple
sdk: gradio
sdk_version: 5.0.0
app_file: app.py
pinned: false
麻理チャット - Swallow-MX-8x7b-NVE GGUF版
このアプリケーションは、東京工業大学のSwallow-MX-8x7b-NVEモデルの量子化GGUF版を使用した対話型チャットボットです。「麻理」という名のAIキャラクターとの会話を楽しむことができます。
特徴
- 東京工業大学の日本語大規模言語モデル「Swallow-MX-8x7b-NVE-v0.1」の量子化版（Q4_K_M）を使用
- llama-cpp-pythonによる高速・省メモリな推論
- 複数のシーン（水族館、カフェ、神社など）に対応した背景と会話
- 好感度システムによる関係性の変化
- 感情分析による応答の調整
セットアップ方法
Hugging Face Spacesでの実行
- このリポジトリをHugging Face Spacesにインポートします
- Spacesの設定で以下を選択します:
- SDK: Gradio
- Python: 3.10
- CPU: 必要に応じて（最低でも4GB RAM推奨）
- Hardware: CPU（GPUは不要です）
- 必要に応じて環境変数を設定します:
GROQ_API_KEY: Groq APIキー（オプション、シーン遷移時の指示生成に使用）
デプロイに関する注意事項
- 初回のデプロイ時間: モデルのダウンロード（約4GB）に時間がかかります。辛抱強く待ってください。
- ビルドエラーが発生した場合: Spacesの「Settings」タブで「Factory Reboot」を実行してみてください。
- メモリ不足エラー: CPUのメモリを増やす（4GB以上推奨）か、「Restart Space」を試してください。
- タイムアウトエラー: ビルドプロセスが長すぎる場合は、再度デプロイを試みてください。
トラブルシューティング
モデルのロードに失敗する場合:
- Spacesの「Settings」タブで「Restart Space」を実行してください。
- それでも解決しない場合は「Factory Reboot」を試してください。
アプリが起動しない場合:
- ログを確認して、エラーの原因を特定してください。
- メモリ不足の場合は、CPUのメモリ割り当てを増やしてください。
応答生成が遅い場合:
- これは正常です。量子化モデルをCPUで実行しているため、応答生成には時間がかかります。
ローカル環境での実行
- リポジトリをクローンします
- 依存関係をインストールします:
pip install -r requirements.txt .envファイルを作成し、必要な環境変数を設定します:GROQ_API_KEY=your_groq_api_key_here- アプリケーションを実行します:
python app.py
使用方法
- テキスト入力欄にメッセージを入力します
- 麻理からの応答が表示されます
- 会話を続けることで好感度が変化します
- 特定の場所について話し、行くことに同意すると、シーンが変化します
シーン一覧
default: デフォルトの部屋room_night: 夜の部屋beach_sunset: 夕暮れのビーチfestival_night: 夜のお祭りshrine_day: 昼間の神社cafe_afternoon: 午後のカフェaquarium_night: 夜の水族館
モデル情報
このアプリケーションは、東京工業大学が開発した「Swallow-MX-8x7b-NVE-v0.1」モデルの量子化GGUF版を使用しています。
- 元のモデル: tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1
- 量子化GGUF版: mmnga/tokyotech-llm-Swallow-MX-8x7b-NVE-v0.1-gguf
注意事項
- GGUF形式の量子化モデル（Q4_K_M）を使用することで、メモリ使用量を大幅に削減しています
- llama-cpp-pythonを使用することで、GPUメモリの効率的な使用が可能になっています
- Hugging Face Spaces上でも快適に動作するように最適化されています