Update app.py

app.py

@@ -1,7 +1,10 @@
 import streamlit as st
 from transformers import AutoModelForSeq2SeqLM, T5ForConditionalGeneration, NllbTokenizer, T5Tokenizer
+import easyocr
+from PIL import Image
+import numpy as np
+
 
-# Initialize models and tokenizers
 translation_model_name = 'sarahai/nllb-uzbek-cyrillic-to-russian'
 translation_model = AutoModelForSeq2SeqLM.from_pretrained(translation_model_name)
 translation_tokenizer = NllbTokenizer.from_pretrained(translation_model_name)
@@ -10,10 +13,22 @@ summarization_model_name = 'sarahai/ruT5-base-summarizer'
 summarization_model = T5ForConditionalGeneration.from_pretrained(summarization_model_name)
 summarization_tokenizer = T5Tokenizer.from_pretrained(summarization_model_name)
 
+def extract_text(image_path, lang='uzb_Cyrl'):
+    reader = easyocr.Reader([lang])
+    results = reader.readtext(np.array(image_path))
+    
+    all_text = ''
+    confidences = []
+
+    for (bbox, text, prob) in results:
+        all_text += ' ' + text
+        confidences.append(prob)
+
+    final_confidence = sum(confidences) / len(confidences) if confidences else 0
+    return all_text.strip(), final_confidence
+
 def split_into_chunks(text, tokenizer, max_length=150):
-    # Tokenize the text and get ids
     tokens = tokenizer.tokenize(text)
-    # Initialize chunks
     chunks = []
     current_chunk = []
     current_length = 0
@@ -24,7 +39,6 @@ def split_into_chunks(text, tokenizer, max_length=150):
             chunks.append(tokenizer.convert_tokens_to_string(current_chunk))
             current_chunk = []
             current_length = 0
-    # Add the last chunk if it's not empty
     if current_chunk:
         chunks.append(tokenizer.convert_tokens_to_string(current_chunk))
     return chunks
@@ -46,18 +60,28 @@ def summarize(text, model, tokenizer, max_length=250):
     summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
     return summary
 
-# Streamlit UI
-st.title("Перевод с узбекского на русский и суммаризация")
-text = st.text_area("Введите текст на узбекском:", height=200)
-
-if st.button("Перевести и суммаризировать"):
-    if text:
-        with st.spinner('Переводим...'):
-            translated_text = translate(text, translation_model, translation_tokenizer)
-            st.text_area("Переведенный текст (на русском):", value=translated_text, height=200)
-        
-        with st.spinner('Суммаризируем...'):
-            summary_text = summarize(translated_text, summarization_model, summarization_tokenizer, max_length=250)
-            st.text_area("Суммаризация (на русском):", value=summary_text, height=100)
-    else:
-        st.warning("Пожалуйста, введите текст на узбекском языке для перевода.")
+# Streamlit UI setup
+st.title('Текстовая обработка изображений, перевод с узбекского на русский и суммаризация')
+
+uploaded_file = st.file_uploader("Загрузите изображение с узбекским текстом...", type=["jpg", "jpeg", "png"])
+if uploaded_file is not None:
+    image = Image.open(uploaded_file)
+    st.image(image, caption='Загруженное изображение', use_column_width=True)
+    st.write("Процесс извлечения текста...")
+    extracted_text, confidence = extract_text(image, 'tjk')  # Adjust the language code if necessary
+    st.write("Извлеченный текст:")
+    st.text_area("Результат", extracted_text, height=150)
+    st.write(f"Точность распознавания: {confidence*100:.2f}%")
+
+    if st.button("Перевести и суммаризировать"):
+        if extracted_text:
+            with st.spinner('Переводим...'):
+                translated_text = translate(extracted_text, translation_model, translation_tokenizer)
+                st.text_area("Переведенный текст (на русском):", value=translated_text, height=200)
+            
+            with st.spinner('Суммаризируем...'):
+                summary_text = summarize(translated_text, summarization_model, summarization_tokenizer, max_length=250)
+                st.text_area("Суммаризация (на русском):", value=summary_text, height=100)
+        else:
+            st.warning("Текст для перевода не найден.")
+