Orbita-v0.1 / README.md

Update README.md

54ec1f9 verified about 1 month ago

No virus

6.37 kB

	---
	license: apache-2.0
	language:
	- tr
	model-index:
	- name: Orbita-v0.1
	results:
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: AI2 Reasoning Challenge TR
	type: ai2_arc
	config: ARC-Challenge
	split: test
	args:
	num_few_shot: 25
	metrics:
	- type: acc
	value: 41.97
	name: accuracy
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: HellaSwag TR
	type: hellaswag
	split: validation
	args:
	num_few_shot: 10
	metrics:
	- type: acc
	value: 48
	name: accuracy
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: MMLU TR
	type: cais/mmlu
	config: all
	split: test
	args:
	num_few_shot: 5
	metrics:
	- type: acc
	value: 49.51
	name: accuracy
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: TruthfulQA TR
	type: truthful_qa
	config: multiple_choice
	split: validation
	args:
	num_few_shot: 0
	metrics:
	- type: acc
	name: accuracy
	value: 50.78
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: Winogrande TR
	type: winogrande
	config: winogrande_xl
	split: validation
	args:
	num_few_shot: 5
	metrics:
	- type: acc
	value: 56.16
	name: accuracy
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: GSM8k TR
	type: gsm8k
	config: main
	split: test
	args:
	num_few_shot: 5
	metrics:
	- type: acc
	value: 50.41
	name: accuracy
	---

	<img src="https://huggingface.co/Orbina/Orbita-v0.1/resolve/main/orbita.png"
	alt="Orbita LLM" width="500"/>

	# Orbita-v0.1
	This model is a Turkish Large Language Model with multiple abilites across different dimensions on the Turkish Language covering a variety of Tasks like Coding, Math, etc...
	This model is an extended version of a Qwen-based Large Language Model (LLM) for Turkish. It was trained on a cleaned Turkish dataset carefully annotated to carry out turkish instructions in an accurate and organized manner. This model was fully finetuned extensively on 8x H100 GPU's for 2 days using a carefully annotated Turkish dataset.
	## Model Details

	- Base Model: Qwen 14B based LLM
	- Training Dataset: Annotated Turkish Dataset
	- Training Method: Full Finetuning

	## Usage Examples

	```python

	from transformers import AutoModelForCausalLM, AutoTokenizer
	device = "cuda" # the device to load the model onto

	model = AutoModelForCausalLM.from_pretrained(
	"Orbina/Orbita-v0.1",
	torch_dtype="auto",
	device_map="auto"
	)
	tokenizer = AutoTokenizer.from_pretrained("Orbina/Orbita-v0.1")

	prompt = "Python'da ekrana 'Merhaba Dünya' nasıl yazılır?"
	messages = [
	{"role": "system", "content": "Sen, Orbina AI tarafından üretilen ve verilen talimatları takip ederek en iyi cevabı üretmeye çalışan yardımcı bir yapay zekasın."},
	{"role": "user", "content": prompt}
	]
	text = tokenizer.apply_chat_template(
	messages,
	tokenize=False,
	add_generation_prompt=True
	)
	model_inputs = tokenizer([text], return_tensors="pt").to(device)

	generated_ids = model.generate(
	model_inputs.input_ids,
	temperature=0.3,
	top_k=50,
	top_p=0.9,
	max_new_tokens=512,
	repetition_penalty=1,
	)
	generated_ids = [
	output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
	]

	response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
	```
	## Example Generations

	```
	Prompt:
	Türkiye'deki finansal kurumlar, yapay zeka ile birlikte gelen veri güvenliği risklerini nasıl yönetiyor, 3 örnek verir misin?

	Cevap:
	Türkiye'deki finansal kurumlar, yapay zeka (AI) teknolojilerinin getirdiği veri güvenliği riskleri çeşitli yöntemlerle ele almakta ve bu riskleri azaltmaya çalışmaktadır. İşte üç örnek:

	1. Veri Şifreleme: Finansal kuruluşlar, müşteri bilgileri gibi hassas verileri şifrelemeyi kullanarak veri ihlallerine karşı koruma sağlar. AES (Advanced Encryption Standard), RSA (Rivest-Shamir-Adleman) veya ECC (Elliptik Eğri Kriptografisi) gibi güçlü şifreleme algoritmaları, verilerin okunmasını engelleyebilir.
	2. Anomali Tespit Sistemleri: Yapay zeka destekli anomali tespit sistemleri, beklenmedik davranışları algılayabilir ve güvenlik ekiplerini uyarır. Bu sistemler, makine öğrenimi modelleri sayesinde zaman içinde daha etkili hale gelebilir ve dolandırıcılık faaliyetlerini önlemede önemli rol oynar.
	3. Sürekli İzleme ve Güvenlik Politikası Uygulama: Türkiye'deki finansal kurumlar, sürekli izleme ve güvenlik politikalarını uygularak veri güvenliğini sürdürür. Bu süreçlerde düzenli güvenlik denetimleri yapılır ve tüm personelin güvenlik konusunda eğitildiği göz önünde bulundurulur. Ayrıca, müşterilere de güvenlik protokollerini anlatan eğitimler sunulur.

	Bu örnekler, Türkiye'deki finansal kurumların yapay zeka ile ilgili veri güvenliği risklerini yönetmek için kullandıkları bazı stratejileri göstermektedir. Ancak herhangi bir güvenlik sistemi mükemmel değildir ve bu nedenle kurumlar da sürekli olarak güvenlik durumlarını değerlendirip iyileştirmeler yapmaktadırlar.
	```

	```
	Prompt:
	Python'da ekrana "Merhaba Dünya" nasıl yazılır?

	Cevap:
	Python'da ekrana "Merhaba Dünya" yazmak için `print` fonksiyonunu kullanabilirsiniz. İşte basit bir örnek:

	``python
	print("Merhaba Dünya")
	``

	Bu kodu çalıştırdığınızda, konsol ekranında "Merhaba Dünya" metnini göreceksiniz. `print` fonksiyonu, verilen argümanı (bu durumda "Merhaba Dünya") alır ve onu çıktı olarak verir.
	```

	# [Open LLM Turkish Leaderboard Evaluation Results](https://huggingface.co/spaces/malhajar/OpenLLMTurkishLeaderboard)

	\| Metric \|Value\|
	\|---------------------------------\|----:\|
	\|Avg. \|49.47\|
	\|AI2 Reasoning Challenge_tr \|41.97\|
	\|HellaSwag_tr \|48.00\|
	\|MMLU_tr \|49.51\|
	\|TruthfulQA_tr \|50.78\|
	\|Winogrande _tr \|56.16\|
	\|GSM8k_tr \|50.41\|