Mistral AI

Mistral AI היא חברה צרפתית המוכרת ומפתחת מוצרי בינה מלאכותית. היא נוסדה באפריל 2023 על ידי עובדים קודמים של מטא ו־DeepMind.<ref></ref> החברה גייסה 385 מיליון אירו באוקטובר 2023<ref></ref> ובדצמבר 2023 היא הוערכה ביותר מ-2 מיליארד דולר.<ref></ref><ref></ref><ref></ref>

מוצרי החברה כוללים מודלי שפה גדולים בקוד פתוח.<ref name=":0"></ref><ref></ref>

החל ממרץ 2024, שני דגמים של מודלי החברה פורסמו וזמינים.<ref></ref> שלושה דגמים נוספים, Small, Medium ו-Larg, זמינים באמצעות API בלבד.<ref></ref><ref></ref>

== היסטוריה ==
Mistral AI נוסדה באפריל 2023 על ידי ארתור מנש, גיום למפל וטימותי לקראוה. לפני שהקים את Mistral AI, ארתור מנש עבד ב־DeepMind, מעבדת הבינה המלאכותית של גוגל, בעוד גיום למפל וטימות'י לקראוה עבדו במטא.<ref></ref>

ביוני 2023, הסטארט-אפ ביצע גיוס כספים ראשון בסך 105 מיליון אירו עם משקיעים כולל הקרן האמריקאית Lightspeed Venture Partners, אריק שמידט, חאבייר ניאל ו-JCDecaux. הערכת השווי הוערכה אז על ידי הפייננשל טיימס ב-240 מיליון אירו.

ב-27 בספטמבר 2023, החברה הפכה את מודל עיבוד השפה שלה "Mistral 7B" לזמין תחת רישיון Apache 2.0 החינמי. במודל זה 7 מיליארד פרמטרים, והוא קטן משמעותית בהשוואה למתחרים.

ב-10 בדצמבר 2023, הודיעה Mistral AI כי גייסה עוד 385 מיליון אירו כחלק מהגיוס השני שלה. סבב מימון זה כולל בעיקר את הקרן הקליפורנית Andreessen Horowitz, BNP פריבה וחברת סיילספורס.<ref></ref>

ב-11 בדצמבר 2023, החברה פרסמה את דגם "Mixtral 8x7B" עם 46.7 מיליארד פרמטרים. הדגם שולט ב-5 שפות (צרפתית, ספרדית, איטלקית, אנגלית וגרמנית) וגובר בכמעט כל פרמטר, על פי מבחני המפתחים שלו, על דגם "LLaMa 2 70B" מבית מטא. מוצעת גם גרסה שהוכשרה לעקוב אחר ההוראות ונקראת "Mixtral 8x7B Instruct".<ref name=":1"></ref>

ב-26 בפברואר 2024, מיקרוסופט הודיעה על שותפות חדשה עם החברה להרחבת נוכחותה בתעשיית הבינה המלאכותית המתפתחת במהירות. על פי ההסכם, דגמי השפה העשירים של מיסטרל יהיו זמינים בענן Microsoft Azure, בעוד שעוזר השיחה הרב לשוני "Le Chat" יושק בסגנון ChatGPT.<ref></ref>

== מודלים ==
=== מודלי "משקל פתוח" ===
==== מיסטרל 7B ====
Mistral 7B הוא מודל שפה עם 7.3 מיליארד פרמטרים המשתמש בארכיטקטורת הטרנספורמר. הוא שוחרר רשמית ב-27 בספטמבר 2023, באמצעות קישור לביטורנט,<ref></ref> וב-Huging Face.<ref></ref> הדגם שוחרר תחת רישיון Apache 2.0. פוסט הבלוג של השחרור טען שהדגם מתעלה על LLaMA 2 13B בכל המדדים שנבדקו, והוא שווה ערך ל-LAMA 34B במדדים רבים שנבדקו.<ref name=":2"></ref>

Mistral 7B משתמש בארכיטקטורה דומה ל-LLaMA, אך עם כמה שינויים במנגנון הקשב. במיוחד הוא משתמש בתשומת לב מקובצת (GQA) המיועדת להסקה מהירה יותר ובתשומת לב של חלון הזזה (SWA) שנועדה לטפל ברצפים ארוכים יותר.

==== Mixtral 8x7B ====
בדומה לדגם הראשון של מיסטרל, Mixtral 8x7B שוחרר דרך ביטורנט ב-9 בדצמבר 2023.

הבדיקות של Mistral AI מראות שהדגם מנצח את ה-LLaMA 70B וגם את GPT-3.5 ברוב המדדים.<ref></ref>

במרץ 2024, מחקר שנערך על ידי Patronus AI שהשווה את הביצועים של מודלי שפה גדולים במבחן של 100 שאלות עם הנחיה להפקת טקסט מספרים המוגנים על פי חוק זכויות היוצרים האמריקאי מצא כי GPT-4 שלOpen AI, Mixtral, LLaMA-2 של Meta AI, ו-Claude2 של אנת'רופיק יצרו טקסט המוגן בזכויות יוצרים מילה במילה ב-44%, 22%, 10% ו-8% מהתגובות בהתאמה.<ref></ref><ref></ref>

=== דגמי API בלבד ===
שלא כמו Mistral 7B ו-Mixtral 8x7B, דגמי ה־API הם בקוד סגור וזמינים רק דרך ה-API של Mistral.<ref></ref>

==== מיסטרל לארג' ====
הושק ב-26 בפברואר 2024, ולטענת Mistral היא שנייה בעולם רק ל-GPT-4 של OpenAI.

הוא שולט באנגלית, צרפתית, ספרדית, גרמנית ואיטלקית, כאשר מיסטרל טוענת כי המודל מסוגל להבין דקדוק והקשר תרבותי כאחד, ומספק גם יכולות קידוד.

==== מיסטרל מדיום ====
Mistral Medium מאומן בשפות שונות כולל אנגלית, צרפתית, איטלקית, גרמנית, ספרדית וקוד עם ציון 8.6 ב-MT-Bench.<ref></ref> הוא מדורג בביצועים מעל קלוד ומתחת ל-GPT-4 במדד LMSys ELO Arena.<ref></ref>

מספר הפרמטרים והארכיטקטורה של מיסטרל מדיום אינה ידועה שכן מיסטרל לא פרסמה מידע ציבורי אודותיו.

==== מיסטרל סמול ====
כמו הדגם לארג', Small הושק ב-26 בפברואר 2024. זה נועד להיות דגם קל משקל נמוך, עם ביצועים טובים יותר מ־Mixtral 8x7B.<ref></ref>

==קישורים חיצוניים==
* 

== הערות שוליים ==

קטגוריה:בינה מלאכותית
קטגוריה:דפים עם תרגומים שלא נסקרו