|
--- |
|
license: llama2 |
|
language: |
|
- ja |
|
--- |
|
|
|
## モデル概要 |
|
[Watashiha-Llama-2-13B-Ogiri-sft](https://huggingface.co/watashiha/Watashiha-Llama-2-13B-Ogiri-sft)を[LLaVA](https://github.com/haotian-liu/LLaVA)で学習し、画像に対応した大喜利言語モデルです。 |
|
Vision Encoderには[laion/CLIP-ViT-B-32-laion2B-s34B-b79K](https://huggingface.co/laion/CLIP-ViT-B-32-laion2B-s34B-b79K)を使用しています。 |
|
|
|
* License: [LLAMA 2 COMMUNITY LICENSE](https://github.com/facebookresearch/llama/blob/main/LICENSE) |
|
* Library: [LLaVA](https://github.com/haotian-liu/LLaVA) |
|
|
|
## 学習データ |
|
事前学習のデータには[STAIR Captions](https://github.com/STAIR-Lab-CIT/STAIR-captions)を使用しています。 |
|
[STAIR Captions](https://github.com/STAIR-Lab-CIT/STAIR-captions)のデータで学習する際、 |
|
[MS COCO 2014](https://cocodataset.org/#home)で以下のライセンスが付与されている画像データは使用しないようにしました。 |
|
|
|
- [Attribution-NonCommercial-ShareAlike License](http://creativecommons.org/licenses/by-nc-sa/2.0/) |
|
- [Attribution-NonCommercial License](http://creativecommons.org/licenses/by-nc/2.0/) |
|
- [Attribution-NonCommercial-NoDerivs License](http://creativecommons.org/licenses/by-nc-nd/2.0/) |
|
- [No known copyright restrictions](http://flickr.com/commons/usage/) |
|
|
|
Fine-tuningのデータには以下のデータを使用しています。 |
|
- [Japanese Visual Genome VQA dataset](https://github.com/yahoojapan/ja-vg-vqa) |
|
- [ボケ缶データセット](https://github.com/aws-samples/bokete-denshosen) |
|
- 大喜利データ(テキストのみ) |
|
|
|
## 使用方法 |
|
以下のGoogle Colabのサンプルコードを参考にしてください。 |
|
[サンプルコード](https://colab.research.google.com/drive/1aAReEzLHTLnt1DmirQgGw7oGEF6XxwqN?usp=sharing) |
|
|
|
|
|
## 開発者 |
|
- 内田 達弥 (UCHIDA, Tatsuya) |
|
|
