Vchera

main_mt5_XL.py → main_mt5_XL_run.py

@@ -1,46 +1,29 @@
-from datasets import load_dataset
-# from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
-import os
 from transformers import MT5Tokenizer, MT5ForConditionalGeneration, pipeline
-
-
-
-# Имя модели mT5
-model_name = "google/mt5-xl"
-
-
-tokenizer = MT5Tokenizer.from_pretrained(model_name, legacy=False) 
-model = MT5ForConditionalGeneration.from_pretrained(model_name)
-
-# Загрузка токенизатора и модели
-# tokenizer = AutoTokenizer.from_pretrained(model_name)
-# model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+from datetime import datetime
 
 # Путь для сохранения модели
 save_directory = "./"
 
-# Сохранение токенизатора и модели
-# tokenizer.save_pretrained(save_directory)
-# model.save_pretrained(save_directory)
-
-model.save_pretrained("./")
-tokenizer.save_pretrained("./")
-
-print("Модель и токенизатор успешно сохранены.")
-
-exit(0)
 # Загрузка сохраненной модели
-loaded_tokenizer = MT5Tokenizer.from_pretrained(save_directory)
+loaded_tokenizer = MT5Tokenizer.from_pretrained(save_directory, legacy=False)
 loaded_model = MT5ForConditionalGeneration.from_pretrained(save_directory)
-
+print("Модели загрузились в :", datetime.now())
+# exit(0)
 # Создание пайплайна для задачи вопрос-ответ
 qa_pipeline = pipeline("text2text-generation", model=loaded_model, tokenizer=loaded_tokenizer)
 
 # Пример использования пайплайна для заданий на тему ридеров и электронных книжек
 context = "Электронные ридеры это устройства для чтения электронных книг. Они обычно имеют экран на базе электронных чернил и позволяют хранить большое количество книг в одном устройстве."
+context = "Electronic readers are devices for reading electronic books. They usually have an electronic ink screen and allow you to store a large number of books in one device."
 question = "Какие преимущества электронных ридеров?"
-
+question = "What are the advantages of e-readers?"
 # Задание вопроса
-result = qa_pipeline(f"question: {question} context: {context}")
+# result = qa_pipeline(f"question: {question} context: {context}")
+
+
+input_text = f"question: {question} context: {context}"
+result = qa_pipeline(input_text, max_length=50, num_beams=5, early_stopping=True)
+
 
 print("Ответ:", result[0]['generated_text'])
+

main_mt5_XL_save.py

@@ -0,0 +1,30 @@
+from datasets import load_dataset
+# from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
+import os
+from transformers import MT5Tokenizer, MT5ForConditionalGeneration, pipeline
+
+
+
+# Имя модели mT5
+model_name = "google/mt5-xl"
+
+
+tokenizer = MT5Tokenizer.from_pretrained(model_name, legacy=False) 
+model = MT5ForConditionalGeneration.from_pretrained(model_name)
+
+# Загрузка токенизатора и модели
+# tokenizer = AutoTokenizer.from_pretrained(model_name)
+# model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+
+# Путь для сохранения модели
+save_directory = "./"
+
+# Сохранение токенизатора и модели
+# tokenizer.save_pretrained(save_directory)
+# model.save_pretrained(save_directory)
+
+model.save_pretrained("./")
+tokenizer.save_pretrained("./")
+
+print("Модель и токенизатор успешно сохранены.")
+

main_rag.py

@@ -0,0 +1,26 @@
+from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration, pipeline
+from datetime import datetime
+
+# Загрузка модели и токенизатора RAG
+model_name = "facebook/rag-token-base"
+tokenizer = RagTokenizer.from_pretrained(model_name)
+retriever = RagRetriever.from_pretrained(model_name, index_name="exact", passages_path="datasets", trust_remote_code=True)
+model = RagSequenceForGeneration.from_pretrained(model_name, retriever=retriever)
+
+print("Модели загрузились в:", datetime.now())
+
+# Создание пайплайна для задачи вопрос-ответ
+qa_pipeline = pipeline("rag-sequence", model=model, tokenizer=tokenizer)
+
+# Пример использования пайплайна для заданий на тему ридеров и электронных книжек
+context = "Electronic readers are devices for reading electronic books. They usually have an electronic ink screen and allow you to store a large number of books in one device."
+question = "What are the advantages of e-readers?"
+
+# Задание вопроса
+input_text = f"{question} {context}"
+
+# Получение ответа
+result = qa_pipeline(input_text, max_length=50, num_beams=5, early_stopping=True)
+
+print("Ответ:", result[0]['generated_text'])
+

resume

@@ -0,0 +1,13 @@
+1) Все модели mt5, кроме самой большой - 50 га, до тюнинга практически не отвечают нормально
+на запрос
+context = "Electronic readers are devices for reading electronic books. They usually have an electronic ink screen and allow you to store a large number of books in one device."
+# Электронные ридеры — устройства для чтения электронных книг. Они обычно имеют экран с электронными чернилами и позволяют хранить большое количество книг в одном устройстве.
+question = "What are the advantages of e-readers?"
+#В чем преимущества электронных книг?
+result = qa_pipeline(f"question: {question} context: {context}")
+print("Ответ:", result[0]['generated_text'])
+
+был ответ
+Ответ: They are very portable and portable.
+
+1-1) C самой большой лучше работать а сервер, из-за нехватки мощностей моего компа