Update README.md

README.md

@@ -77,13 +77,6 @@ Geliştirme sürecinin özeti:
 - **Language(s) (NLP):** *Turkish*
 - **License:** *Apache license 2.0*
 
-### Model Sources [optional]
-
-<!-- Provide the basic links for the model. -->
-
-- **Repository:** [https://huggingface.co/ucsahin/TraVisionLM-base/edit/main/README.md]
-- **Paper [optional]:** More info on this later.
-- **Demo [optional]:** [More Information Needed]
 
 ---
 
@@ -91,7 +84,7 @@ Geliştirme sürecinin özeti:
 
 First off, thank you for your interest if you're planning to use this model. I developed it to demonstrate that you can create your own multimodal transformer-based model in a low-resource language like Turkish using only the open-source tools available in the Hugging Face ecosystem. This task would have been nearly impossible without such a platform that supports open-source research and community, so I owe a big thanks 🙏🙏.
 
-As for the model itself, it’s not as powerful as the VLM models developed by companies like Google, Microsoft, or Meta.
+As for the model itself, it’s not as powerful as the VLM models developed by companies like Google, Microsoft, or Meta AI.
 
 I worked alone in an environment with limited access to high-quality, diverse multimodal Turkish data. My computing resources were also limited, relying mainly on cloud GPU providers like Colab and Runpod.
 
@@ -99,8 +92,8 @@ I worked alone in an environment with limited access to high-quality, diverse mu
 
 My answer is simple, and I’ll break it down into three points:
 1) Large unimodal language models for low-resource languages like Turkish are advancing much faster than their multimodal counterparts. For Turkish, there’s a leaderboard for text models at [Turkish LLM-Leaderboard](https://huggingface.co/spaces/malhajar/OpenLLMTurkishLeaderboard_v0.2), but nothing similar exists for multimodal models.
-2) On Hugging Face, there isn’t a [Image-Text-to-Text](https://huggingface.co/tasks/image-text-to-text) model that primarily works in Turkish. You can check for yourself.
-3) When you use TraVisionLM, you’ll notice it makes mistakes and hallucinations. But if you ask questions in Turkish to the VLM models from big companies, the answers will often disappoint you. These models are mostly trained on English data, and while they’re multilingual, their performance in languages other than English drops significantly after alignment.
+2) On Hugging Face, there isn’t a [Image-Text-to-Text](https://huggingface.co/tasks/image-text-to-text) model that primarily works in Turkish.
+3) When you use TraVisionLM, you’ll notice it will make many mistakes and hallucinate. But if you ask questions in Turkish to the VLM models from big companies, the answers will often disappoint you. These models are mostly trained on English data, and while they’re multilingual, their performance in languages other than English drops significantly after alignment.
 
 In closing, I hope this model makes a valuable contribution to the open-source Turkish community, and I welcome all your feedback 🤘🤘.
 
@@ -109,25 +102,29 @@ In closing, I hope this model makes a valuable contribution to the open-source T
 
 Öncelikle, bu modeli kullanmayı düşünüyorsanız ilginiz için teşekkür ederim. Bu modeli, Hugging Face ekosisteminde mevcut olan açık kaynak araçları kullanarak, düşük kaynaklı bir dilde (Türkçe gibi) kendi çok modlu transformer tabanlı modelinizi oluşturabileceğinizi göstermek amacıyla geliştirdim. Böyle bir platform olmasaydı, bu iş neredeyse imkansız olurdu, bu yüzden büyük bir teşekkür borçluyum 🙏🙏.
 
-Modelin kendisine gelince, Google, Microsoft veya Meta gibi büyük şirketlerin geliştirdiği VLM modelleri kadar güçlü değil.
+Modelin kendisine gelince, Google, Microsoft veya Meta AI gibi büyük şirketlerin geliştirdiği VLM modelleri kadar güçlü değil.
 
-Yüksek kaliteli, çeşitli çok modlu Türkçe veriye erişimin sınırlı olduğu bir ortamda çalıştım. GPU kaynaklarım da sınırlıydı ve genellikle Colab ve Runpod gibi bulut GPU sağlayıcılarına güvendim.
+Modeli geliştirirken, GPU kaynaklarının ve kaliteli, çeşitli çok modlu Türkçe veriye erişimin sınırlı olduğu bir ortamda çalıştım.
 
-**Peki, neden Türkçe bir Görsel Dil Modeli geliştirdim?**
+**Peki, neden Türkçe bir Görsel Dil Modeli geliştirmek gerekiyor?**
 
 Cevabım basit, ve bunu üç madde ile açıklamak istiyorum:
 1) Türkçe gibi düşük kaynaklı diller için büyük tek modlu dil modelleri, çok modlu muadillerine göre çok daha hızlı gelişiyor. Türkçe için [Turkish LLM-Leaderboard](https://huggingface.co/spaces/malhajar/OpenLLMTurkishLeaderboard_v0.2) adlı bir metin modeli liderlik tablosu var, ancak çok modlu modeller için böyle bir şey yok.
-2) Hugging Face'te, öncelikli olarak Türkçe çalışan bir [Image-Text-to-Text](https://huggingface.co/tasks/image-text-to-text) modeli yok. Kendiniz kontrol edebilirsiniz.
-3) TraVisionLM'i kullanmaya başladığınızda, fazlaca hatalar yaptığını ve halüsinasyonlar gördüğünü fark edeceksiniz. Ancak, büyük şirketlerin VLM modellerine Türkçe sorular sorduğunuzda, cevaplar çoğu zaman sizi hayal kırıklığına uğratacak. Bu modeller çoğunlukla İngilizce verilerle eğitilmiş ve her ne kadar çok dilli olsalar da, hizalama aşamasından sonra İngilizce dışındaki dillerde metin üretme performansları önemli ölçüde düşüyor.
+2) Hugging Face'te, Transformers kütüphanesiyle uyumlu ve tamamen Türkçe dili çalışan bir [Image-Text-to-Text](https://huggingface.co/tasks/image-text-to-text) modeli yok.
+3) TraVisionLM'i kullanmaya başladığınızda, fazlaca hatalar yaptığını ve halüsinasyonlar gördüğünü fark edeceksiniz. Ancak, büyük şirketlerin VLM modellerine Türkçe sorular sorduğunuzda, cevaplar çoğu zaman sizi hayal kırıklığına uğratabilmektedir. Bu modeller çoğunlukla İngilizce verilerle eğitilmiştir ve her ne kadar çok dilli olsalar da, hizalama aşamasından sonra İngilizce dışındaki dillerde metin üretme performansları önemli ölçüde düşmektedir.
 
 Daha fazla uzatmadan, bu modelin açık kaynak Türkçe topluluğuna iyi bir katkı sağlayacağını umuyorum ve tüm geri bildirimlerinizi bekliyorum 🤘🤘.
 
-Zaman ve kaynak açısından daha rahat olduğum bir dönem, çok daha kaliteli ve çeşitli Türkçe veriyle, daha güçlü görsel kodlayıcıya ve dil modeline sahip bir model eğitimi planlarım arasında var.
+Zaman ve kaynak açısından daha rahat olduğum bir dönem, çok daha kaliteli ve sayısı arttırılmış Türkçe veriyle, daha güçlü görsel kodlayıcıya ve dil modeline sahip bir model eğitimi planlarım arasında var.
 
 ### Açık Kaynaklı Diğer Türkçe VLM Modelleri
 
 Bu kısımda benim de daha önce rast geldiğim bu alandaki birkaç çalışmaya kredi vermek istiyorum. Unuttuklarım varsa, haber vermeniz halinde eklenecektir.
-- [99eren99/Turkish-BakLLaVa1.5-Mistral](https://huggingface.co/99eren99/Turkish-BakLLaVa1.5-Mistral) LLaVA eğitim çerçevesinde geliştirilmiş bir Türkçe görsel dil modelidir. Bu modeli benim denemeye henüz fırsatım olmadı ama Dil modeli olarak Trendyol Mistral v1.0 Chat kullanılmış o yüzden başarılı sonuçlar aldığına eminim. Transformers kütüphanesi ile doğrudan uyumlu değil. 
+- [99eren99/Turkish-BakLLaVa1.5-Mistral](https://huggingface.co/99eren99/Turkish-BakLLaVa1.5-Mistral) LLaVA eğitim çerçevesinde geliştirilmiş bir Türkçe görsel dil modelidir.
+  - Dil modeli olarak Trendyol Mistral v1.0 Chat kullanılmış.
+  - TraVisionLM modeline kıyasla 8 kat daha fazla parametreli bir model.
+  - Model yükleme ve cevap üretme için Transformers kütüphanesi ile doğrudan uyumlu değil. 
+  - Zaman buldukça iki modelin benzer görevlerdeki performans karşılaştırması yapılabilir.
 
  
 ---
@@ -209,7 +206,7 @@ Bu görev için modele ```"Resmin odağında ne var?", "Görselde adam ne yapıy
 
 ### Alan-dışı Kullanımlar
 Bu modelin aşağıdaki senaryolar için kullanımı uygun değildir:
- - Model, resimlerinizle ilgili basit sorulara cevap verse de, çok turlu kompleks chat senaryoları için uygun değildir. Geçmiş bilgisi tutulmamaktadır, model daha önce sorduğunuz soruları kontekst olarak kullanmamaktadır. Fakat bu görev için, bir chat şablonu hazırlayıp bu doğrultuda modeli kolayca eğitebilirsiniz.
+ - Model, resimlerinizle ilgili basit sorulara cevap verse de, çok turlu kompleks chat senaryoları için uygun değildir. Geçmiş bilgisi tutulmamaktadır, model daha önce sorduğunuz soruları kontekst olarak kullanmamaktadır. Fakat bu görev için, bir chat şablonu hazırlayıp bu doğrultuda kolayca eğitebilirsiniz.
  - Model çoklu görsel girdi kabul etmemektedir. Örneğin, iki farklı resmi karşılaştıran sorulara cevap vermeye uygun değildir. Bu özelliği kazandırmak için mimariye değişiklikler yapmak gerekmektedir. Bu tarz bir model için [HuggingFaceM4/idefics2-8b](https://huggingface.co/HuggingFaceM4/idefics2-8b) (sadece ingilizce) modeline bakabilirsiniz.
  - Model, karakter ve yazı tanıma (OCR), segmentasyon ve çoklu obje tespit etme görevleri için eğitilmemiştir. Bu görevlerde kabul edilebilir başarılar alabilmek için [google/paligemma-3b-pt-224](https://huggingface.co/google/paligemma-3b-pt-224) ve [microsoft/Florence-2-large](https://huggingface.co/microsoft/Florence-2-large) gibi görsel dil modelleri milyarlarca doküman ve resimle eğitilmiştir.
 
@@ -217,9 +214,9 @@ Bu modelin aşağıdaki senaryolar için kullanımı uygun değildir:
 
 ## How to Get Started with the Model
 
-In Transformers, you can load the model and inference as follows:
+In Transformers, you can load the model and do inference as follows:
 
-**IMPORTANT NOTE:** TraVisionLM model is not yet integrated into the Transformers library. So you need to set ```trust_remote_code=True``` when loading the model. It will download the ```configuration_travisionlm.py```, ```modeling_travisionlm.py``` and ```processing_travisionlm.py``` files from the repo. You can check out the content of these files under the *Files and Versions* tab and pin the specific versions if you have any concerns regarding malicious code.
+**IMPORTANT NOTE:** TraVisionLM model is not yet integrated natively into the Transformers library. So you need to set ```trust_remote_code=True``` when loading the model. It will download the ```configuration_travisionlm.py```, ```modeling_travisionlm.py``` and ```processing_travisionlm.py``` files from the repo. You can check out the content of these files under the *Files and Versions* tab and pin the specific versions if you have any concerns regarding malicious code.
 
 ```python
 from transformers import AutoModelForCausalLM, AutoProcessor
@@ -249,7 +246,7 @@ output_text = processor.batch_decode(outputs, skip_special_tokens=True)[0]
 print("Model response: ", output_text)
 ```
 
-You can also perform batch inference very easily as follows:
+You can also perform batch inference as follows (make sure that all images have a prompt text associated with them):
 
 ```python
 from transformers import AutoModelForCausalLM, AutoProcessor
@@ -309,9 +306,11 @@ Araba turkuaz veya limon yeşili renktedir.
 ### Training Data
 
 <!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
-I plan to release the multimodal Turkish data used during the training of the model. But, the data is in a very messy format. Until then, in order to get the grasp of the dataset and for contributing to the open-source community, I am releasing the evaluation portion of the dataset at [ucsahin/Turkish-VLM-Mix-Benchmark](https://huggingface.co/datasets/ucsahin/Turkish-VLM-Mix-Benchmark).
+I plan to release the multimodal Turkish data used during the training of the model. But, the data in its current format is not ready for publication. 
+
+Until then, in order to provide some details regarding the dataset and to contribute to the open-source community, I am releasing the evaluation portion of the dataset at [ucsahin/Turkish-VLM-Mix-Benchmark](https://huggingface.co/datasets/ucsahin/Turkish-VLM-Mix-Benchmark).
 
-The dataset consists of predominantly translated versions of the well-known multimodal datasets in English to Turkish. More information on this will be shared in the future.
+The dataset consists of predominantly translated versions of the well-known multimodal datasets from English to Turkish. More information on this will be shared in the future.
 
 ### Training Procedure
 <!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
@@ -339,10 +338,6 @@ This section will be updated after I get some evaluation results on the [ucsahin
 
 More on this later...
 
-#### Testing Data
-
-During the training, I used the following dataset [ucsahin/Turkish-VLM-Mix-Benchmark](https://huggingface.co/datasets/ucsahin/Turkish-VLM-Mix-Benchmark) as the evaluation split.
-
 
 ### Compute Infrastructure
 <!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
@@ -361,7 +356,7 @@ The following compute resources are used in feature alignment and task specific
 
 I am releasing TraVisionLM under the Apache 2.0 License. To the best of my knowledge after through research, this should comply with the datasets and unimodal vision and language models used during development.  
 
-**However, if I receive any feedback indicating otherwise, I will promptly update the licensing information as needed.**
+**However, if I receive any notification indicating otherwise, I will promptly update the licensing information as needed.**
 
 If you use the TraVisionLM model in your research, work, or personal projects, please acknowledge this repository. 🙏