czczup commited on
Commit
043cbb5
1 Parent(s): 0714743

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +15 -0
README.md CHANGED
@@ -246,6 +246,21 @@ print(question, response)
246
  # 2. 熊猫的皮毛颜色和图案不同:红熊猫的皮毛是橙红色,脸部、耳朵和四肢的末端有白色斑块;而大熊猫的皮毛是黑白相间的,眼睛、耳朵和四肢的末端是黑色的,脸部、耳朵内侧和身体其他部分是白色的。
247
  # 3. 熊猫的姿态和位置不同:红熊猫坐在一个木制的结构上,而大熊猫坐在地上。
248
  # 4. 背景中的植被和环境细节略有不同,但都包含树木和竹子。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
249
  ```
250
 
251
  ## Citation
 
246
  # 2. 熊猫的皮毛颜色和图案不同:红熊猫的皮毛是橙红色,脸部、耳朵和四肢的末端有白色斑块;而大熊猫的皮毛是黑白相间的,眼睛、耳朵和四肢的末端是黑色的,脸部、耳朵内侧和身体其他部分是白色的。
247
  # 3. 熊猫的姿态和位置不同:红熊猫坐在一个木制的结构上,而大熊猫坐在地上。
248
  # 4. 背景中的植被和环境细节略有不同,但都包含树木和竹子。
249
+
250
+ # batch inference
251
+ pixel_values1 = load_image('./examples/image1.jpg', max_num=6).to(torch.bfloat16).cuda()
252
+ pixel_values2 = load_image('./examples/image2.jpg', max_num=6).to(torch.bfloat16).cuda()
253
+ image_counts = [pixel_values1.size(0), pixel_values2.size(0)]
254
+ pixel_values = torch.cat((pixel_values1, pixel_values2), dim=0)
255
+
256
+ questions = ["Describe the image in detail."] * len(image_counts)
257
+ responses = model.batch_chat(tokenizer, pixel_values,
258
+ image_counts=image_counts,
259
+ questions=questions,
260
+ generation_config=generation_config)
261
+ for question, response in zip(questions, responses):
262
+ print(question)
263
+ print(response)
264
  ```
265
 
266
  ## Citation