feat: update

.idea/misc.xml

@@ -3,5 +3,5 @@
   <component name="Black">
     <option name="sdkName" value="Python 3.10 (Задачи на семинар 8. Ответы)" />
   </component>
-  <component name="ProjectRootManager" version="2" project-jdk-name="Python 3.12 (trocr-handwritten-mathematical-expressions)" project-jdk-type="Python SDK" />
+  <component name="ProjectRootManager" version="2" project-jdk-name="Python 3.10 (trocr-handwritten-mathematical-expressions)" project-jdk-type="Python SDK" />
 </project>

.idea/trocr-handwritten-mathematical-expressions.iml

@@ -4,7 +4,7 @@
     <content url="file://$MODULE_DIR$">
       <excludeFolder url="file://$MODULE_DIR$/venv" />
     </content>
-    <orderEntry type="jdk" jdkName="Python 3.12 (trocr-handwritten-mathematical-expressions)" jdkType="Python SDK" />
+    <orderEntry type="jdk" jdkName="Python 3.10 (trocr-handwritten-mathematical-expressions)" jdkType="Python SDK" />
     <orderEntry type="sourceFolder" forTests="false" />
   </component>
 </module>

README.md

@@ -1,3 +1,50 @@
 ---
 license: cc-by-nc-4.0
 ---
+
+# Калькулятор комплексных чисел
+
+Позволяет решать математические задачи, написанные от руки, с помощью оптического распознавания символов (OCR) и 
+преобразования их в текст для последующего решения с использованием модели 🤗Transformers.
+
+## Начало работы
+
+Эти инструкции помогут вам запустить копию проекта на вашем локальном компьютере для тестирования. Следуйте этим 
+простым шагам:
+
+### Установка Python
+
+Если у вас еще не установлен Python 3.10, перейдите на официальный сайт Python (https://www.python.org/) и скачайте 
+соответствующую версию. Установите Python, следуя инструкциям на экране. 
+Убедитесь, что вы отметили опцию "Add Python 3.10 to PATH" во время установки.
+
+### Клонирование репозитория
+
+Откройте командную строку (CMD или PowerShell) и выполните следующую команду для клонирования репозитория:
+
+```bash
+git clone https://huggingface.co/MarkK/trocr-handwritten-mathematical-expressions.git
+```
+
+### Установка зависимостей
+
+Перейдите в папку проекта с помощью команды `cd` в командной строке. Затем установите необходимые библиотеки, используя следующую команду:
+
+```bash
+pip install -r requirements.txt
+```
+
+### Запуск
+
+После установки всех зависимостей вы можете запустить проект, используя следующую команду:
+
+```bash
+python app.py
+```
+
+@article{yu2023metamath,
+  title={MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models},
+  author={Yu, Longhui and Jiang, Weisen and Shi, Han and Yu, Jincheng and Liu, Zhengying and Zhang, Yu and Kwok, James T and Li, Zhenguo and Weller, Adrian and Liu, Weiyang},
+  journal={arXiv preprint arXiv:2309.12284},
+  year={2023}
+}

app.py

@@ -0,0 +1,42 @@
+import gradio as gr
+from services import ocr_with_paddle, solve_with_transformers
+
+
+def solve_math(img):
+    """
+    Perform optical character recognition on the input image and then solve the extracted text using 🤗transformers.
+
+    :param img: The input image for optical character recognition.
+    :return: The solved text answer.
+    """
+    try:
+        text_output = ocr_with_paddle(img['composite'])
+        text_answer = solve_with_transformers(text_output)
+
+        return text_answer
+    except Exception:
+        raise gr.Error("Please upload an image!!!!")
+
+
+"""
+Create user interface
+"""
+
+
+def main():
+    with gr.Blocks() as app:
+        gr.Markdown("### Калькулятор комплексных чисел")
+        with gr.Row():
+            with gr.Column():
+                image_input = gr.ImageEditor(value='canvas.png', image_mode='L', interactive=True, type='filepath')
+                process_btn = gr.Button('Решить')
+            with gr.Column():
+                output_text = gr.Textbox(label="Решение")
+
+        process_btn.click(fn=solve_math, inputs=image_input, outputs=output_text)
+
+    app.launch()
+
+
+if __name__ == "__main__":
+    main()

requirements.txt

@@ -1,7 +1,8 @@
-transformers~=4.37.2
-torch~=2.2.0+cu121
-pandas~=2.2.0
-pillow~=10.2.0
+gradio~=4.19.2
+paddleocr~=2.7.0.3
+transformers~=4.35.2
+pandas~=2.1.3
+torch~=2.1.1
+Pillow~=10.1.0
 scikit-learn~=1.4.1.post1
-accelerate
 requests~=2.31.0

services/__init__.py

@@ -0,0 +1,2 @@
+from .ocr import ocr_with_paddle
+from .solver import solve_with_transformers

services/ocr.py

@@ -0,0 +1,20 @@
+from paddleocr import PaddleOCR
+
+
+def ocr_with_paddle(img):
+    """
+    Perform Optical Character Recognition (OCR) on the input image.
+
+    :param img: The input image for OCR
+    :return: The recognized text from the input image, or 'No text detected' if no text is found
+    """
+    finaltext = ''
+    ocr = PaddleOCR(lang='en', use_angle_cls=True)
+    result = ocr.ocr(img)
+    try:
+        for i in range(len(result[0])):
+            text = result[0][i][1][0]
+            finaltext += ' ' + text
+        return finaltext
+    except TypeError:
+        return 'No text detected'

services/solver.py

@@ -0,0 +1,15 @@
+# Use a 🤗pipeline as a high-level helper
+from transformers import pipeline
+
+
+def solve_with_transformers(text):
+    """
+    Solve the given text using 🤗transformers
+
+    :param text: The text to solve
+    :return: The solved text
+    """
+    pipe = pipeline("text-generation", model="meta-math/MetaMath-Mistral-7B")
+    answer = pipe(text)
+
+    return answer