app.py

import pandas as pd
import re
import json
from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
import gradio as gr
import tempfile

def read_from_excel(file_path):
    df = pd.read_excel(file_path)
    items = df['object'].astype(str).tolist()  # تبدیل همه مقادیر به رشته
    return items

def preprocess_text(text):
    # حذف کاراکترهای غیرضروری و نرمال‌سازی متن
    text = text.replace('\u200c', ' ').strip()  # حذف نیم‌فاصله و فاصله‌های اضافی
    text = re.sub(r'\s+', ' ', text)  # حذف فاصله‌های تکراری
    return text

def extract_items_in_text(text, items):
    text = preprocess_text(text)
    found_items = set()  # استفاده از مجموعه برای جلوگیری از تکرار
    for item in items:
        item_normalized = preprocess_text(item)
        if item_normalized.lower() in text.lower():
            found_items.add(item_normalized)
    return list(found_items)

def compare_items(items_1, items_2):
    common_items = set()
    score = 0  # مقدار پیش‌فرض برای score
    for item1 in items_1:
        for item2 in items_2:
            words1 = set(item1.lower().split())
            words2 = set(item2.lower().split())
            common_words = words1.intersection(words2)
            num_common = len(common_words)
            
            if num_common >= 3:
                common_items.add((item1, item2))
                score = 100
            elif num_common == 2:
                common_items.add((item1, item2))
                score = 75
            elif num_common == 1:
                common_items.add((item1, item2))
                score = 50
    
    return score, common_items

def compare_skills(skill_1, skill_2):
    common_skill = set(skill_1).intersection(set(skill_2))
    num_common = len(common_skill)
    
    if num_common >= 10:
        score = 100
    elif num_common == 7:
        score = 75
    elif num_common == 5:
        score = 50
    else:
        score = 25
    
    return score, common_skill

def calculate_age(date_string):
    current_year = 1403
    # تلاش برای پیدا کردن فرمت Y/M/D
    ymd_match = re.match(r'(\d{1,4})/(\d{1,2})/(\d{1,2})', date_string)
    if ymd_match:
        year = int(ymd_match.group(1))
        if len(ymd_match.group(1)) == 4:  # اگر سال چهار رقمی است
            age = current_year - year
        else:  # اگر سال دو رقمی است
            year += 1300
            age = current_year - year
        return age
    # تلاش برای پیدا کردن عدد ۴ رقمی که با ۱۳ شروع می‌شود
    four_digit_match = re.match(r'(13\d{2})', date_string)
    if four_digit_match:
        year = int(four_digit_match.group(1))
        age = current_year - year
        return age
    return None
def extract_ner_info(text, nlp):
    ner_results = nlp(text)
    full_name = ''
    loc = ''
    age = None
    # جمع‌آوری قطعات B-pers و I-pers برای تشکیل نام کامل با شرط کاهش ۱۰ درصدی
    i = 0
    while i < len(ner_results):
        if ner_results[i]['entity'] == 'B-pers' and ner_results[i]['score'] >= 0.80:
            if full_name:  # اگر قبلاً نامی پیدا کرده‌ایم، فاصله اضافه کن
                full_name += ' '
            full_name += ner_results[i]['word']
            current_score = ner_results[i]['score']
            stop_adding = False  # پرچم برای توقف بعد از اولین نام کامل
            for j in range(i + 1, len(ner_results)):
                if ner_results[j]['entity'] == 'I-pers' and ner_results[j]['score'] >= 0.80:
                    if ner_results[j]['score'] >= current_score * 0.90:  # شرط کاهش ۱۰ درصدی
                        full_name += ner_results[j]['word'].replace('##', '')
                        current_score = ner_results[j]['score']
                        i = j  # به موقعیت جدید برو
                    else:
                        stop_adding = True  # توقف بعد از اولین نام کامل
                        break
                else:
                    stop_adding = True  # توقف بعد از اولین نام کامل
                    break
            if stop_adding:
                break  # توقف بعد از اولین نام کامل
        i += 1
    # جمع‌آوری مکان‌ها با امتیاز بالای ۸۰
    for entity in ner_results:
        if entity['entity'] in ['B-loc', 'I-loc'] :
            if loc:
                loc += ' '
            loc += entity['word']
    # استخراج سن از متن
    age_match = re.search(r'سن\s*:\s*(\d+)', text)
    if age_match:
        age = int(age_match.group(1))
    else:
        # تلاش برای پیدا کردن تاریخ تولد
        date_match = re.search(r'(\d{1,4}/\d{1,2}/\d{1,2})', text)
        if date_match:
            age = calculate_age(date_match.group(1))
        else:
            # تلاش برای پیدا کردن عدد ۴ رقمی که با ۱۳ شروع می‌شود
            four_digit_match = re.search(r'(13\d{2})', text)
            if four_digit_match:
                age = calculate_age(four_digit_match.group(1))
    # بررسی امتیاز شباهت مکان

    return full_name, loc, age



def process_text(input_text):
    # مسیر فایل اکسل‌ها را وارد کنید
    job_excel_file_path = 'jobs_output.xlsx'
    education_excel_file_path = 'education_output.xlsx'
    skills_excel_file_path = 'N_F_skill_output.xlsx'
    # خواندن شغل‌ها، تحصیلات و مهارت‌ها از فایل‌های اکسل
    jobs = read_from_excel(job_excel_file_path)
    education = read_from_excel(education_excel_file_path)
    skills = read_from_excel(skills_excel_file_path)
    
    # متن ثابت
    fixed_text = """استخدام کارآموز هوش مصنوعی (AI-شیراز)

دسته‌بندی شغلی
وب،‌ برنامه‌نویسی و نرم‌افزار
موقعیت مکانی
فارس ، شیراز
نوع همکاری
تمام وقت کارآموزی
حداقل سابقه کار
مهم نیست
حقوق
توافقی
شرح موقعیت شغلی
شرکت تاو سیستم واقع در (شیراز - صدرا - خیابان البرز) در راستای تکمیل تیم نرم افزاری خود در نظر دارد دوره کارآموزی رایگان از مبتدی تا حرفه ای برای افراد پر انرژی و فعال برگزار کند.
هدف از این دوره آماده کردن نیروها جهت جذب در شرکت تاو سیستم است.
اگر فرد فعال و پر انرژی هستید و در جهت پیشرفت خود تلاش زیادی می کنید، ما منتظر شما هستیم....
Machine Leaning
Deep learning
machine Leaning
deep learning


نحوه برگزاری:
دوره به مدت 4 ماه (سه روز در هفته) به صورت کلاس آموزشی برگزار می شود.
شرکت در (شیراز - صدرا - خیابان البرز) واقع شده و دوره آموزشی به صورت حضوری برگزار می شود.
شما در طول دوره توسط مدرس مورد ارزیابی مستمر قرار میگیرید و در صورت عدم توانایی شما برای ادامه دوره، به شما اعلام می شود و از دوره کنار گذاشته میشوید.
در انتهای دوره پروژه ای تستی با توجه به مسائلی که در دوره یاد گرفته اید برای شما تعریف می شود و برای انجام آن دو هفته فرصت دارید.
در صورت تایید پروژه شما توسط مدرس دوره، با شما قرارداد بسته می شود و به صورت حضوری در شرکت مشغول به فعالیت می شوید.

***لطفا در صورت داشتن همه (شرایط عمومی) زیر، رزومه خود را ارسال کنید.***



شرایط عمومی:
۱. آشنایی مقدماتی با زبان برنامه نویسی پایتون
۲. سطح زبان انگلیسی متوسط به بالا (توانایی درک متون انگلیسی تخصصی)
۳. آشنایی مقدماتی با الگوریتم های هوش مصنوعی (یادگیری ماشین، یادگیری عمیق )
۴. آشنایی با پایگاه داده مقدماتی
۵- امکان شرکت در دوره ها به صورت حضوری در آدرس (شیراز - صدرا - خیابان البرز)
۶- امکان گذاشتن وقت در خارج از تایم کلاس ها جهت انجام تمرینات
۷- امکان همکاری به صورت تمام وقت و حضوری در صورت قبولی در انتهای دوره (40 ساعت در هفته)
۸- از پذیرش دانشجو و افراد که شاغل هستند و یا اینکه در آینده درخواست کار به صورت ریموت دارند معذوریم.
۹- سن بین 18 الی 30 سال
۱۰- علاقه مند به یادگیری و به روز رسانی دانش فردی
۱۱- خلاق، پویا، با انگیزه و سرعت عملکرد بالا
۱۲- منظم و مسئولیت پذیر



مهارت‌های امتیازی:
۱. آشنایی با با زبان برنامه نویسی پایتون در حد پیشرفته 
۲. آشنایی با فریم ورک های pytorch , tensorflow 
۳. آشنایی با کتاب خانه های numpy, pandas, matplotlib, sklearn ..
۴. آشنایی با data mining 
۵. آشنایی با اصول solid 
۶. آشنایی با Clean architecture 
۷. آشنایی با Git , GitHub"""
    
    input_text = input_text.replace("آدرس", "")
    # استخراج شغل‌ها، تحصیلات و مهارت‌ها از متن‌ها
    jobs_in_fixed_text = extract_items_in_text(fixed_text, jobs)
    jobs_in_input_text = extract_items_in_text(input_text, jobs)
    education_in_fixed_text = extract_items_in_text(fixed_text, education)
    education_in_input_text = extract_items_in_text(input_text, education)
    skills_in_fixed_text = extract_items_in_text(fixed_text, skills)
    skills_in_input_text = extract_items_in_text(input_text, skills)
    
    # مقایسه و نمره‌دهی
    job_score, common_jobs = compare_items(jobs_in_fixed_text, jobs_in_input_text)
    education_score, common_education = compare_items(education_in_fixed_text, education_in_input_text)
    skill_score, common_skills = compare_skills(skills_in_fixed_text, skills_in_input_text)

    # تنظیم و آماده‌سازی مدل NER
    model_name_or_path = "NLPclass/Named-entity-recognition"
    tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
    model = AutoModelForTokenClassification.from_pretrained(model_name_or_path)  # Pytorch
    nlp = pipeline("ner", model=model, tokenizer=tokenizer)
    
    # استخراج اطلاعات NER
    full_name, loc, age = extract_ner_info(input_text, nlp)
    
    # نمره‌دهی لوکیشن
    fixed_loc = "شیراز"
    loc_score = 100 if fixed_loc in loc else 0

    # نمره‌دهی سن
    age_score = 100 if age and 18 <= age <= 30 else 0
    
    # محاسبه و نمایش میانگین نمرات
    average_score = (job_score + education_score + skill_score + loc_score + age_score) / 5
    
    # ساخت خروجی JSON
    output = {
        "average_score": average_score,
        "full_name": full_name,
        "age": age,
        "location": loc,
        "job_score": job_score,
        "education_score": education_score,
        "skill_score": skill_score,
        "loc_score": loc_score,
        "age_score": age_score,
        "common_jobs": list(common_jobs),
        "common_education": list(common_education),
        "common_skills": list(common_skills)
    }
    
    # ذخیره خروجی JSON در یک فایل موقت
    with tempfile.NamedTemporaryFile(delete=False, suffix=".json", mode='w', encoding='utf-8') as tmp_file:
        json.dump(output, tmp_file, ensure_ascii=False, indent=4)
        return tmp_file.name

iface = gr.Interface(
    fn=process_text,
    inputs=gr.Textbox(lines=10, placeholder="لطفاً متن خود را وارد کنید..."),
    outputs=gr.File(label="دانلود فایل JSON"),
    title="متن پرداز",
    description="این ابزار متن شما را پردازش کرده و امتیازات مشابهت را محاسبه می‌کند."
)

if __name__ == "__main__":
    iface.launch()