webbigdata/FanFic-Illustrator
FanFic-Illustrator is an AI agent that analyzes your creative stories and suggests the perfect illustration compositions.
FanFic-Illustratorはあなたの創作した物語を分析し、ぴったりの挿絵構図を提案するAIエージェントです
Model Details
Model Description/モデル
FanFic-Illustrator is a 3B reasoning model that identifies optimal illustration scenes from provided text (original/fan fiction) and proposes prompt structures for image generation AI.
FanFic-Illustratorは与えられた文章(オリジナル/二次創作)から最適な挿絵シーンを考えて、画像生成AIのためのプロンプトの構成を提案する推論型3Bモデルです
Given the content category, series name, character name, creative writing (Japanese, English, Chinese, etc.), and available tags as input, it outputs the thought process and prompts (Danbooru tags) for the image generation AI.
Using the output tags, you can generate your favorite images with a general open-weight image generation AI.
It tries to come up with an appropriate composition using the specified content category, series, character, and tags, so you can roughly control the output category/tendency.
入力として、コンテンツカテゴリ、シリーズ名、キャラクター名、テキスト(日本語、英語、中国語、他)、利用可能なタグを与えると、思考の過程と画像生成AI用のプロンプト(Danbooruタグ)を出力します
出力されたタグを使うと一般的なオープンウェイトの画像生成AIで好みの画像を生成する事ができます
指定されたコンテンツカテゴリ、シリーズ、キャラクター、タグを使って適切な構図を考えようとするので、出力カテゴリ/傾向を大まかに制御できます。
The generated prompts are optimized for the image generation model cagliostrolab/animagine-xl-4.0 opt
生成されるプロンプトは画像生成モデルcagliostrolab/animagine-xl-4.0 optに最適化してあります
Comparison with other models/他のモデルとの比較
Supported languages/サポート言語
I mainly train in Japanese, with English and Chinese (Traditional) as secondary languages.
I think it will probably work with other languages that are supported by qwen 2.5.
日本語をメインにし、英語、中国語(繁体字)をサブでトレーニングをしています
おそらくqwen 2.5が対応している言語であれば他の言語でも動作するのではないかと思います。
prompt template/プロンプトテンプレート
Input/入力
It is necessary to provide it in Japanese as follows. The total input context length, including the prompt, should be around 6000 tokens.
以下のように日本語で与える必要があります。入力可能なコンテキスト長はプロンプトも含めてトータルで6000トークン程度を目安としてください。
### 小説のコンテキストを補足する情報
content category: {category}
series name: {series_name}
series description: {series_description}
character name: {character_name}
character description: {character_description}
### 小説データ
{novel_text}
まず<think>内で以下のように思考を整理します。
<think>
concept: イラストのコンセプトを考えます。小説の内容から主題、設定、雰囲気を理解し、どのようなイラストが最も適切か、全体の構成を考えます
- 人数: 挿絵の中に登場させる人数を考えます。作品に登場する人物の数や重要性を考慮し、メインで描くべき人物やサブキャラクターについても検討してください
- キャラクター名/シリーズ名: 既存作品のキャラクター/シリーズか、オリジナル作品かを考えます。既存作品の場合は、原作の設定や特徴を尊重した表現方法も考慮してください
- ポーズ/構図: ポーズ/構図指定に使うタグを考えます。物語の場面において、キャラクターがどのような体勢/状況にあるのか、どのアングルから描くと効果的かを検討してください
- 背景/環境: 背景/環境指定に使うタグを考えます。物語の舞台設定や時間帯、天候など、雰囲気を表現するために必要な背景要素を詳しく考えてください
- 描画スタイル/テクニック: 描画スタイル/テクニックに使うタグを考えます。物語のジャンルや雰囲気に合わせて、どのような画風や技法が適しているかを検討してください
- 身体的特徴/画面上の物体: 身体的特徴/画面上の物体に関連するタグを考えます。キャラクターの外見的特徴や、シーンに必要な小道具、アイテムなどを詳細に考えてください
</think>
改行の場所も含めて、この順序と書式を厳密に守ってください。
各項目は上記の順序と書式で記述してください。具体的かつ詳細に説明し、十分な長さで考察してください（タグ全体で600-800文字程度が望ましいです）
その後、思考結果に基づき内に英単語を18単語ほどカンマで区切って出力してください。キャラクター名/シリーズ名は指定されていたら必ず含めます。
日本語は使用しないでください。 最も重要で適切なタグを選び、有効なプロンプトとなるよう考慮してください
### 使用可能な英単語
出力時には以下のタグを優先して使用し、足りない場合は一般的な英単語で補足します
masterpiece, best quality, highresなどの品質に関連するタグは後工程で付与するのでつけてはいけません
**人数/性別**:
- your tag list
**ポーズ/構図**:
- your tag list
**背景/環境**:
- your tag list
**描画スタイル/テクニック**:
- your tag list
**身体的特徴/画面上の物体**:
- your tag list
Output/出力
thinkとpromptで囲まれて出力されます
think tag and prompt tag output.
<think> Some thought process in Japanese </think> <prompt> Danbooru tag(comma separated English word) </prompt>
詳細はSample Scriptを確認してください
Please check Sample Script for details.
Sample Script
以下のサンプルスクリプトを使うと、Googleが提供してくれているColabで無料で画像を生成する所まで確認する事ができます
Using the sample script below, you can check how to generate images for free using Colab provided by Google.
other resource/その他の関連資料
- Web app
- gguf version with sample script
- various use cases
Limitations
There are times when it is difficult to express scenes without people or scenes with multiple people.
人が登場しない場面や複数の人が登場する場面を上手く表現できない時があります
The output of the thought process is fixed in Japanese. However, the illustrations often contain concepts unique to Japan, so this may not be a limitation but a feature.
思考過程の出力が日本語で固定される事。しかし、イラスト内に日本固有の概念が含まれている事も多くこれは制限ではなく特徴かもしれません
Acknowledgements/謝辞
We would like to thank the following people for providing related models/methods/tools.
以下の関連モデル/手法/ツールを提供してくださった皆さんに感謝します。
- Base Model: Qwen/Qwen2.5-3B-Instruct
- Image Generation model: cagliostrolab/animagine-xl-4.0
- Traing script: Unsloth.
- Training Methods: (DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models)[https://arxiv.org/abs/2402.03300]
- Danbooru tags for tagging.
- Huggingface for storage.
Developer/開発
- Developed by: dahara1@webbigdata
- Model type: text generation
- Language(s) (NLP): Japanese, English
- model : webbigdata/FanFic-Illustrator
- Downloads last month
- 116