pipeline = transformers.pipeline(
    "text-generation", 
    model=model, 
    tokenizer=tokenizer,
    model_kwargs={"torch_dtype": torch.bfloat16}, 
    device_map="auto"
)
{
	"name": "ValueError",
	"message": "Input length of input_ids is 408, but `max_length` is set to 20. This can lead to unexpected behavior. You should consider increasing `max_length` or, better yet, setting `max_new_tokens`.",
	"stack": "---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
Cell In[7], line 1
----> 1 pipeline(\"Проанализируй следующий текст на предмет выполнения критерия: Сотрудник должен проговорить состав и общую сумму заказа. Подходят любые формулировки, дающие понять состав заказа и общую сумму заказа. Для выполнения этого критерия сотрудник МОЖЕТ использовать следующие фразы: Ваш заказ, Сумма Вашего заказа, Итого, У вас в заказе, и другие близкие по смыслу. Пояснение: Критерий считается выполненным, если сотрудник проговорил все позиции заказа клиента и общую сумму заказа. Критерий считается не выполненным, если сотрудник не назвал состав заказа и его цену. [SEP] ТЕКСТ: Добрый день. Добрый день. Карбонара один, пожалуйста. Войной бекон желаете? Нет, нет. Буду на вас экономить. Получится, думаете? Вряд ли. Чай, кофе, морс? Пока ничего, спасибо. 195 карбонара. Через сколько подойдет? Две минуты. Две минуты, да? Что, мне разогреете, что ли? Нет, очень быстро испекут. Девушка все время тут печет, приходите через восемь минут. А парень быстро делает. А парень быстро. Я даже уходить никуда не буду в таком случае Спасибо. Хорошего дня. Спасибо. [SEP] На основе предоставленного текста и информации о критерии дай ответ - выполнен ли критерий или нет. Если да - приведи фразы, которые дают понять, что критерий выполняется. Если нет - обоснуй почему критерий не выполнен.\")

File /workspace/llmenv/lib/python3.11/site-packages/transformers/pipelines/text_generation.py:272, in TextGenerationPipeline.__call__(self, text_inputs, **kwargs)
    270         return super().__call__(chats, **kwargs)
    271 else:
--> 272     return super().__call__(text_inputs, **kwargs)

File /workspace/llmenv/lib/python3.11/site-packages/transformers/pipelines/base.py:1302, in Pipeline.__call__(self, inputs, num_workers, batch_size, *args, **kwargs)
   1294     return next(
   1295         iter(
   1296             self.get_iterator(
   (...)
   1299         )
   1300     )
   1301 else:
-> 1302     return self.run_single(inputs, preprocess_params, forward_params, postprocess_params)

File /workspace/llmenv/lib/python3.11/site-packages/transformers/pipelines/base.py:1309, in Pipeline.run_single(self, inputs, preprocess_params, forward_params, postprocess_params)
   1307 def run_single(self, inputs, preprocess_params, forward_params, postprocess_params):
   1308     model_inputs = self.preprocess(inputs, **preprocess_params)
-> 1309     model_outputs = self.forward(model_inputs, **forward_params)
   1310     outputs = self.postprocess(model_outputs, **postprocess_params)
   1311     return outputs

File /workspace/llmenv/lib/python3.11/site-packages/transformers/pipelines/base.py:1209, in Pipeline.forward(self, model_inputs, **forward_params)
   1207     with inference_context():
   1208         model_inputs = self._ensure_tensor_on_device(model_inputs, device=self.device)
-> 1209         model_outputs = self._forward(model_inputs, **forward_params)
   1210         model_outputs = self._ensure_tensor_on_device(model_outputs, device=torch.device(\"cpu\"))
   1211 else:

File /workspace/llmenv/lib/python3.11/site-packages/transformers/pipelines/text_generation.py:370, in TextGenerationPipeline._forward(self, model_inputs, **generate_kwargs)
    367 if \"generation_config\" not in generate_kwargs:
    368     generate_kwargs[\"generation_config\"] = self.generation_config
--> 370 generated_sequence = self.model.generate(input_ids=input_ids, attention_mask=attention_mask, **generate_kwargs)
    371 out_b = generated_sequence.shape[0]
    372 if self.framework == \"pt\":

File /workspace/llmenv/lib/python3.11/site-packages/torch/utils/_contextlib.py:116, in context_decorator.<locals>.decorate_context(*args, **kwargs)
    113 @functools.wraps(func)
    114 def decorate_context(*args, **kwargs):
    115     with ctx_factory():
--> 116         return func(*args, **kwargs)

File /workspace/llmenv/lib/python3.11/site-packages/transformers/generation/utils.py:2068, in GenerationMixin.generate(self, inputs, generation_config, logits_processor, stopping_criteria, prefix_allowed_tokens_fn, synced_gpus, assistant_model, streamer, negative_prompt_ids, negative_prompt_attention_mask, **kwargs)
   2065 if self._supports_num_logits_to_keep() and \"num_logits_to_keep\" not in model_kwargs:
   2066     model_kwargs[\"num_logits_to_keep\"] = 1
-> 2068 self._validate_generated_length(generation_config, input_ids_length, has_default_max_length)
   2070 # 7. Prepare the cache.
   2071 # - `model_kwargs` may be updated in place with a cache as defined by the parameters in `generation_config`.
   2072 # - different models have a different cache name expected by the model (default = \"past_key_values\")
   2073 # - `max_length`, prepared above, is used to determine the maximum cache length
   2074 # TODO (joao): remove `user_defined_cache` after v4.47 (remove default conversion to legacy format)
   2075 cache_name = \"past_key_values\" if \"mamba\" not in self.__class__.__name__.lower() else \"cache_params\"

File /workspace/llmenv/lib/python3.11/site-packages/transformers/generation/utils.py:1383, in GenerationMixin._validate_generated_length(self, generation_config, input_ids_length, has_default_max_length)
   1381 if input_ids_length >= generation_config.max_length:
   1382     input_ids_string = \"decoder_input_ids\" if self.config.is_encoder_decoder else \"input_ids\"
-> 1383     raise ValueError(
   1384         f\"Input length of {input_ids_string} is {input_ids_length}, but `max_length` is set to\"
   1385         f\" {generation_config.max_length}. This can lead to unexpected behavior. You should consider\"
   1386         \" increasing `max_length` or, better yet, setting `max_new_tokens`.\"
   1387     )
   1389 # 2. Min length warnings due to unfeasible parameter combinations
   1390 min_length_error_suffix = (
   1391     \" Generation will stop at the defined maximum length. You should decrease the minimum length and/or \"
   1392     \"increase the maximum length.\"
   1393 )

ValueError: Input length of input_ids is 408, but `max_length` is set to 20. This can lead to unexpected behavior. You should consider increasing `max_length` or, better yet, setting `max_new_tokens`."
}

Как увеличить число токенов