metadata
license: apache-2.0
language:
- tr
model-index:
- name: Orbita-v0.1
results:
- task:
type: text-generation
name: Text Generation
dataset:
name: AI2 Reasoning Challenge TR
type: ai2_arc
config: ARC-Challenge
split: test
args:
num_few_shot: 25
metrics:
- type: acc
value: 41.97
name: accuracy
- task:
type: text-generation
name: Text Generation
dataset:
name: HellaSwag TR
type: hellaswag
split: validation
args:
num_few_shot: 10
metrics:
- type: acc
value: 48
name: accuracy
- task:
type: text-generation
name: Text Generation
dataset:
name: MMLU TR
type: cais/mmlu
config: all
split: test
args:
num_few_shot: 5
metrics:
- type: acc
value: 49.51
name: accuracy
- task:
type: text-generation
name: Text Generation
dataset:
name: TruthfulQA TR
type: truthful_qa
config: multiple_choice
split: validation
args:
num_few_shot: 0
metrics:
- type: acc
name: accuracy
value: 50.78
- task:
type: text-generation
name: Text Generation
dataset:
name: Winogrande TR
type: winogrande
config: winogrande_xl
split: validation
args:
num_few_shot: 5
metrics:
- type: acc
value: 56.16
name: accuracy
- task:
type: text-generation
name: Text Generation
dataset:
name: GSM8k TR
type: gsm8k
config: main
split: test
args:
num_few_shot: 5
metrics:
- type: acc
value: 50.41
name: accuracy
Orbita-v0.1
This model is a Turkish Large Language Model with multiple abilites across different dimensions on the Turkish Language covering a variety of Tasks like Coding, Math, etc... This model is an extended version of a Qwen-based Large Language Model (LLM) for Turkish. It was trained on a cleaned Turkish dataset carefully annotated to carry out turkish instructions in an accurate and organized manner. This model was fully finetuned extensively on 8x H100 GPU's for 2 days using a carefully annotated Turkish dataset.
Model Details
- Base Model: Qwen 14B based LLM
- Training Dataset: Annotated Turkish Dataset
- Training Method: Full Finetuning
Usage Examples
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained(
"Orbina/Orbita-v0.1",
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Orbina/Orbita-v0.1")
prompt = "Python'da ekrana 'Merhaba Dünya' nasıl yazılır?"
messages = [
{"role": "system", "content": "Sen, Orbina AI tarafından üretilen ve verilen talimatları takip ederek en iyi cevabı üretmeye çalışan yardımcı bir yapay zekasın."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(
model_inputs.input_ids,
temperature=0.3,
top_k=50,
top_p=0.9,
max_new_tokens=512,
repetition_penalty=1,
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
Example Generations
Prompt:
Türkiye'deki finansal kurumlar, yapay zeka ile birlikte gelen veri güvenliği risklerini nasıl yönetiyor, 3 örnek verir misin?
Cevap:
Türkiye'deki finansal kurumlar, yapay zeka (AI) teknolojilerinin getirdiği veri güvenliği riskleri çeşitli yöntemlerle ele almakta ve bu riskleri azaltmaya çalışmaktadır. İşte üç örnek:
1. **Veri Şifreleme:** Finansal kuruluşlar, müşteri bilgileri gibi hassas verileri şifrelemeyi kullanarak veri ihlallerine karşı koruma sağlar. AES (Advanced Encryption Standard), RSA (Rivest-Shamir-Adleman) veya ECC (Elliptik Eğri Kriptografisi) gibi güçlü şifreleme algoritmaları, verilerin okunmasını engelleyebilir.
2. **Anomali Tespit Sistemleri:** Yapay zeka destekli anomali tespit sistemleri, beklenmedik davranışları algılayabilir ve güvenlik ekiplerini uyarır. Bu sistemler, makine öğrenimi modelleri sayesinde zaman içinde daha etkili hale gelebilir ve dolandırıcılık faaliyetlerini önlemede önemli rol oynar.
3. **Sürekli İzleme ve Güvenlik Politikası Uygulama:** Türkiye'deki finansal kurumlar, sürekli izleme ve güvenlik politikalarını uygularak veri güvenliğini sürdürür. Bu süreçlerde düzenli güvenlik denetimleri yapılır ve tüm personelin güvenlik konusunda eğitildiği göz önünde bulundurulur. Ayrıca, müşterilere de güvenlik protokollerini anlatan eğitimler sunulur.
Bu örnekler, Türkiye'deki finansal kurumların yapay zeka ile ilgili veri güvenliği risklerini yönetmek için kullandıkları bazı stratejileri göstermektedir. Ancak herhangi bir güvenlik sistemi mükemmel değildir ve bu nedenle kurumlar da sürekli olarak güvenlik durumlarını değerlendirip iyileştirmeler yapmaktadırlar.
Prompt:
Python'da ekrana "Merhaba Dünya" nasıl yazılır?
Cevap:
Python'da ekrana "Merhaba Dünya" yazmak için `print` fonksiyonunu kullanabilirsiniz. İşte basit bir örnek:
``python
print("Merhaba Dünya")
``
Bu kodu çalıştırdığınızda, konsol ekranında "Merhaba Dünya" metnini göreceksiniz. `print` fonksiyonu, verilen argümanı (bu durumda "Merhaba Dünya") alır ve onu çıktı olarak verir.
Open LLM Turkish Leaderboard Evaluation Results
| Metric | Value |
|---|---|
| Avg. | 49.47 |
| AI2 Reasoning Challenge_tr | 41.97 |
| HellaSwag_tr | 48.00 |
| MMLU_tr | 49.51 |
| TruthfulQA_tr | 50.78 |
| Winogrande _tr | 56.16 |
| GSM8k_tr | 50.41 |