Instructions to use deepvk/kazRush-ru-kk with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use deepvk/kazRush-ru-kk with Transformers:
# Use a pipeline as a high-level helper # Warning: Pipeline type "translation" is no longer supported in transformers v5. # You must load the model directly (see below) or downgrade to v4.x with: # 'pip install "transformers<5.0.0' from transformers import pipeline pipe = pipeline("translation", model="deepvk/kazRush-ru-kk")# Load model directly from transformers import AutoTokenizer, AutoModelForSeq2SeqLM tokenizer = AutoTokenizer.from_pretrained("deepvk/kazRush-ru-kk") model = AutoModelForSeq2SeqLM.from_pretrained("deepvk/kazRush-ru-kk") - Inference
- Notebooks
- Google Colab
- Kaggle
ошибка установки kazrush
всем привет, я хотел установить казрус на комп, библиотеки установил, команду прописал в файл отдельный и запусти через смд и вышла ошибка
File "C:\translator_server\server.py", line 5, in
model = AutoModelForSeq2SeqLM.from_pretrained('deepvk/kazRush-ru-kk').to(device)
File "C:\Users\igrae\AppData\Local\Programs\Python\Python314\Lib\site-packages\transformers\modeling_utils.py", line 3620, in to
return super().to(*args, **kwargs)
File "C:\Users\igrae\AppData\Local\Programs\Python\Python314\Lib\site-packages\torch\nn\modules\module.py", line 1384, in to
return self._apply(convert)
~~~~~~~~~~~^^^^^^^^^
File "C:\Users\igrae\AppData\Local\Programs\Python\Python314\Lib\site-packages\torch\nn\modules\module.py", line 934, in _apply
module._apply(fn)
~~~~~~~~~~~~~^^^^
File "C:\Users\igrae\AppData\Local\Programs\Python\Python314\Lib\site-packages\torch\nn\modules\module.py", line 965, in apply
param_applied = fn(param)
File "C:\Users\igrae\AppData\Local\Programs\Python\Python314\Lib\site-packages\torch\nn\modules\module.py", line 1370, in convert
return t.to(
~~~~^
device,
^^^^^^^
dtype if t.is_floating_point() or t.is_complex() else None,
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
non_blocking,
^^^^^^^^^^^^^
)
^
File "C:\Users\igrae\AppData\Local\Programs\Python\Python314\Lib\site-packages\torch\cuda_init.py", line 471, in _lazy_init
raise AssertionError("Torch not compiled with CUDA enabled")
AssertionError: Torch not compiled with CUDA enabled
как можно пофиксить подскажите пжпжпжпжпж оч надо
привет! судя по ошибке, у тебя torch без поддержки cuda, а код пытается использовать гпу.
если запускаешь без гпу, то в инструкции к запуску строчку с device = 'cuda' надо заменить на device = "cuda" if torch.cuda.is_available() else "cpu"
если гпу есть и хочешь его использовать - нужно поставить torch с поддержкой cuda