faeren/fine_tuned_financial_analysis_intent_classification_applied

Model Card for Fine-Tuned Financial Intent Classification Model

Model Details

Model Description

Bu model, finansal niyet sınıflandırması için özel olarak optimize edilmiş, önceden eğitilmiş cartesinus/multilingual_minilm-amazon-massive-intent modelinin ince ayarlanmış bir versiyonudur. Model, kullanıcı sorgularını iki ana kategoriye ayırmayı amaçlamaktadır: 'stock_analysis' (hisse senedi analizi) ve 'out_of_scope' (kapsam dışı). Bu sınıflandırma, finansal chatbot'lar veya niyet tabanlı sistemler için temel bir adım sağlar.

• Developed by: faeren (Hugging Face username)
• Finetuned from model: cartesinus/multilingual_minilm-amazon-massive-intent
• Model type: Sequence Classification (BertForSequenceClassification)
• Language(s) (NLP): Multilingual (Finetuned on English financial prompts)

Model Sources

• Repository: https://huggingface.co/faeren/fine_tuned_financial_analysis_intent_classification_applied

Uses

Direct Use

Model, kullanıcıların metin tabanlı finansal sorgularını otomatik olarak 'stock_analysis' veya 'out_of_scope' olarak sınıflandırmak için kullanılabilir. Bu, chatbot'ların veya müşteri hizmetleri botlarının kullanıcı niyetini anlamasına ve uygun yanıtları veya yönlendirmeleri sağlamasına yardımcı olur.

Out-of-Scope Use

Model, genel doğal dil anlama veya finansal niyet sınıflandırmasının ötesindeki çok uzmanlaşmış finansal analiz görevleri için tasarlanmamıştır. Sadece 'stock_analysis' ve 'out_of_scope' ayrımına odaklanmıştır ve bu iki kategori dışındaki niyetleri doğru bir şekilde tanıması beklenmez.

Bias, Risks, and Limitations

• Veri Seti Kısıtlamaları: Model, Anurich/finance_dataset adlı belirli bir veri seti üzerinde eğitilmiştir. Bu nedenle, farklı finansal veri setleri veya genel etki alanı verileri üzerinde performansı değişebilir.
• Etiket Dengesizliği: Eğitim veri setindeki 'stock_analysis' ve 'out_of_scope' etiketleri arasında bir dengesizlik bulunmaktadır (örneğin, 700 'stock_analysis' ve 7345 'out_of_scope' örneği). Bu dengesizlik, modelin 'out_of_scope' sınıfına karşı daha iyi genelleme yapmasına neden olabilir.
• Sınıflandırma Başlığının Yeniden Başlatılması: Modelin yüklenmesi sırasında num_labels uyumsuzluğu uyarısı alındı (orijinal model 60 etiketle eğitilirken, bu model 2 etiket için kullanılıyor). Bu durum ignore_mismatched_sizes=True ile ele alınmış olsa da, modelin daha geniş bir görevden daha spesifik bir göreve uyarlandığını gösterir ve sınıflandırma başlığı yeniden başlatılmıştır.

How to Get Started with the Model

Modeli yüklemek ve kullanmak için aşağıdaki Python kodunu kullanabilirsiniz:

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

# Yüklenecek ince ayarlı modelin yolu
model_path = "faeren/fine_tuned_financial_analysis_intent_classification_applied"

# Modeli ve tokenizer'ı yükle
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForSequenceClassification.from_pretrained(model_path)

# Modeli değerlendirme moduna ayarla
model.eval()

# Örnek sorgular
queries = [
    "What is the RSI value for this stock?",  # Kapsam içi
    "What is the purpose in life?",          # Kapsam dışı
    "Hisse senedi fiyatı ne olacak?",        # Kapsam içi (Türkçe örnek)
    "Bugün hava nasıl?"                      # Kapsam dışı (Türkçe örnek)
]

id_to_label = {0: "stock_analysis", 1: "out_of_scope"}
THRESHOLD = 0.95  # Kapsam dışı tespiti için eşik değerini ayarla

for query in queries:
    inputs = tokenizer(query, return_tensors="pt", padding=True, truncation=True, max_length=128)
    with torch.no_grad():
        outputs = model(**inputs)
        logits = outputs.logits
        probabilities = torch.softmax(logits, dim=1)

        print(f"Sorgu: {query}")
        print(f"Olasılıklar: {probabilities.tolist()}")

        max_prob, predicted_label = probabilities.max(dim=1)
        max_prob = max_prob.item()
        predicted_label = predicted_label.item()

        # Güven eşiğini uygula
        if probabilities[0][0].item() < THRESHOLD:  # 'stock_analysis' için güven
            predicted_intent = "out_of_scope"
        else:
            predicted_intent = id_to_label[predicted_label]

        print(f"Tahmin edilen niyet: {predicted_intent}")
        print(f"Güven: {max_prob:.4f}\n")

Training Details

Training Data

• Dataset: Anurich/finance_dataset (Hugging Face Datasets)

Training Procedure

Training Hyperparameters

• Learning Rate: 3e-5
• Per Device Train Batch Size: 16
• Num Train Epochs: 5
• Weight Decay: 0.01
• Eval Strategy: epoch (Her epoch sonunda değerlendirme)
• Save Strategy: epoch (Her epoch sonunda modelin kaydedilmesi)
• Load Best Model at End: True (Eğitim sonunda en iyi modelin yüklenmesi)
• Seed: 42 (Reproducibility için)

Evaluation

Metrics

• Accuracy: Modelin doğru sınıflandırdığı örneklerin oranı.

Results

• Validation Accuracy: 0.995649
• Training Accuracy: 0.997047

Model Examination

Model, BertForSequenceClassification mimarisine sahiptir ve finansal metinlerdeki niyet sınıflandırması için ince ayar yapılmıştır. 'stock_analysis' ve 'out_of_scope' etiketleri arasındaki ayrımı öğrenmek için input_ids ve attention_mask özelliklerini kullanır.

Environmental Impact

• Hardware Type: GPU (Google Colab ortamında kullanılan donanım)
• Cloud Provider: Google Cloud (Colab'ın altyapısı)
• Carbon Emitted: [Daha fazla bilgi gerekli. Spesifik GPU kullanımı ve eğitim süresi bilinmediğinden kesin bir değer verilememektedir.]

Technical Specifications

Model Architecture and Objective

Model, cartesinus/multilingual_minilm-amazon-massive-intent modelinin BertForSequenceClassification mimarisinin ince ayarlanmış bir versiyonudur. Temel amacı, finansal bağlamdaki metinleri ikili (stock_analysis/out_of_scope) olarak sınıflandırmaktır.

Compute Infrastructure

Hardware

Google Colab tarafından sağlanan GPU donanımı.

Software

Python, transformers kütüphanesi, torch (PyTorch) ve datasets kütüphanesi.

Model Card Contact

[Daha fazla bilgi gerekli.]