生成的内容中存在大段的重复文本

#3
by lijunsen - opened

生成重复文本,比如:
照片中的主要设计元素包括一个大型壁炉 , 一个大型的黑色壁炉 , 一个大型的壁炉 , 一个大型的壁炉 , 一个大型的壁炉 , 一个大型的壁炉 , 一个大型的壁炉 , 一个大型的壁炉 , 一个大型的壁炉 , 一个大型的壁炉 , 一个大型的壁炉 , 一个大型

代码如下:
'''

encoding: UTF-8

from transformers import LlamaForCausalLM, LlamaTokenizer, BlipImageProcessor
from modeling_ziya_blip2 import ZiyaBlip2ForCausalLM
from PIL import Image

LM_MODEL_PATH = "/root/.cache/huggingface/model_weights/Ziya-LLaMA-13B"
lm_model = LlamaForCausalLM.from_pretrained(LM_MODEL_PATH)
tokenizer = LlamaTokenizer.from_pretrained(LM_MODEL_PATH)

visual model

OPENAI_CLIP_MEAN = [0.48145466, 0.4578275, 0.40821073]
OPENAI_CLIP_STD = [0.26862954, 0.26130258, 0.27577711]
model = ZiyaBlip2ForCausalLM.from_pretrained("IDEA-CCNL/Ziya-BLIP2-14B-Visual-v1", language_model=lm_model)
image_size = model.config.vision_config.image_size
image_processor = BlipImageProcessor(
size={"height": image_size, "width": image_size},
image_mean=OPENAI_CLIP_MEAN,
image_std=OPENAI_CLIP_STD,
)
model.cuda() # if you use on cpu, comment this line

generate_config = {
"max_new_tokens": 128,
"top_p": 0.1,
"temperature": 0.7
}

prompt = "描述下这张图片。"

output = model.chat(
tokenizer=tokenizer,
pixel_values=image_processor(Image.open("111111111.png"), return_tensors="pt").pixel_values.to(model.device),
query=prompt,
previous_querys=[],
previous_outputs=[],
**generate_config,
)
output = str(output).replace("", "").replace("", "").strip()
print(output)
'''

Fengshenbang-LM org

我使用过程中没遇到这个问题,你可以把这张图片发出来,我测试一下

应该是模型训练的问题。

语言模型这种问题很常见,我之前微调的语言模型很多都会出现这种问题

Sign up or log in to comment