watashiha/Watashiha-Llama-2-13B-Ogiri-sft-vlm

モデル概要

Watashiha-Llama-2-13B-Ogiri-sftをLLaVAで学習し、画像に対応した大喜利言語モデルです。
Vision Encoderにはlaion/CLIP-ViT-B-32-laion2B-s34B-b79Kを使用しています。

• License: LLAMA 2 COMMUNITY LICENSE
• Library: LLaVA

学習データ

事前学習のデータにはSTAIR Captionsを使用しています。
STAIR Captionsのデータで学習する際、 MS COCO 2014で以下のライセンスが付与されている画像データは使用しないようにしました。

• Attribution-NonCommercial-ShareAlike License
• Attribution-NonCommercial License
• Attribution-NonCommercial-NoDerivs License
• No known copyright restrictions

Fine-tuningのデータには以下のデータを使用しています。

• Japanese Visual Genome VQA dataset
• ボケ缶データセット
• 大喜利データ(テキストのみ)

使用方法

以下のGoogle Colabのサンプルコードを参考にしてください。
サンプルコード

開発者

• 内田 達弥 (UCHIDA, Tatsuya)