Mistral AI

Mistral AI היא חברה צרפתית המוכרת ומפתחת מוצרי בינה מלאכותית. היא נוסדה באפריל 2023 על ידי עובדים של מטא ו־DeepMind. החברה גייסה 385 מיליון אירו באוקטובר 2023 ובדצמבר 2023 היא הוערכה ביותר משני מיליארד דולר.

מוצרי החברה כוללים מודלי שפה גדולים בקוד פתוח.

החל ממרץ 2024, שני דגמים של מודלי החברה פורסמו וזמינים. שלושה דגמים נוספים, Small, Medium ו־Larg, זמינים באמצעות API בלבד.

 היסטוריה 
Mistral AI נוסדה באפריל 2023 על ידי ארתור מנש, גיום למפל וטימוטה לקרואה. לפני שהקים את Mistral AI, ארתור מנש עבד ב־DeepMind, מעבדת הבינה המלאכותית של גוגל, בעוד גיום למפל וטימוטה לקרואה עבדו במטא.

ביוני 2023, חברת ההזנק גייסה כספים לראשונה בסך 105 מיליון אירו. בין המשקיעים נמנים הקרן האמריקאית Lightspeed Venture Partners, אריק שמידט, חאבייר ניאל ו־JCDecaux. הפייננשל טיימס העריכו את שווי החברה ב־240 מיליון אירו.

ב־27 בספטמבר 2023, הפכה החברה את מודל עיבוד השפה שלה "Mistral 7B" לזמין תחת רישיון Apache 2.0 החינמי. במודל זה 7 מיליארד פרמטרים, והוא קטן משמעותית בהשוואה למתחרים.

ב־10 בדצמבר 2023, הודיעה Mistral AI כי גייסה עוד 385 מיליון אירו כחלק מהגיוס השני שלה. סבב מימון זה כלל בעיקר את הקרן הקליפורנית Andreessen Horowitz, BNP פריבה וחברת סיילספורס.

ב־11 בדצמבר 2023, החברה פרסמה את דגם "Mixtral 8x7B" עם 46.7 מיליארד פרמטרים. הדגם שולט ב־5 שפות (צרפתית, ספרדית, איטלקית, אנגלית וגרמנית) וגובר בכמעט כל פרמטר, על פי מבחני המפתחים שלו, על דגם "LLaMa 2 70B" מבית מטא. גרסה שהוכשרה לעקוב אחר ההוראות מוצעת גם כן והיא נקראת "Mixtral 8x7B Instruct".

ב־26 בפברואר 2024, מיקרוסופט הודיעה על שותפות חדשה עם החברה להרחבת נוכחותה בתעשיית הבינה המלאכותית המתפתחת במהירות. על פי ההסכם, דגמי השפה העשירים של מיסטרל יהיו זמינים בענן Microsoft Azure, בעוד שעוזר השיחה הרב לשוני "Le Chat" יושק בסגנון ChatGPT.

 מודלים 
 מודלי "משקל פתוח" 
 מיסטרל 7B 
Mistral 7B הוא מודל שפה עם 7.3 מיליארד פרמטרים המשתמש בארכיטקטורת הטרנספורמר. הוא שוחרר רשמית ב־27 בספטמבר 2023, באמצעות קישור לביטורנט, וב־Huging Face. הדגם שוחרר תחת רישיון Apache 2.0. פוסט הבלוג של השחרור טען שהדגם מתעלה על LLaMA 2 13B בכל המדדים שנבדקו, ושהוא שווה ערך ל־LAMA 34B במדדים רבים שנבדקו.

Mistral 7B משתמש בארכיטקטורה הדומה ל־LLaMA, אך עם כמה שינויים במנגנון הקשב. במיוחד הוא משתמש בתשומת לב מקובצת (GQA) המיועדת להסקה מהירה יותר ובתשומת לב של חלון הזזה (SWA) שנועדה לטפל ברצפים ארוכים יותר.

 Mixtral 8x7B 
בדומה לדגם הראשון של מיסטרל, Mixtral 8x7B שוחרר דרך ביטורנט ב־9 בדצמבר 2023.

הבדיקות של Mistral AI מראות שהדגם גובר על LLaMA 70B וגם את GPT-3.5 ברוב המדדים.

במרץ 2024, מחקר שנערך על ידי Patronus AI שהשווה את הביצועים של מודלי שפה גדולים במבחן של 100 שאלות עם הנחיה להפקת טקסט מספרים המוגנים על פי חוק זכויות היוצרים האמריקאי מצא כי המודל GPT-4 של Open AI, המודל Mixtral של Mistral AI המודל LLaMA-2 של Meta AI והמודל Claude2 של אנת׳רופיק יצרו טקסט המוגן בזכויות יוצרים מילה במילה ב־44%, 22%, 10% ו־8% מהתגובות בהתאמה.

 דגמי API בלבד 
שלא כמו Mistral 7B ו־Mixtral 8x7B, דגמי ה־API הם בקוד סגור וזמינים רק דרך ה־API של Mistral.

 מיסטרל לארג׳ 
ב־26 בפברואר 2024 המודל הושק, ולטענת Mistral הוא שני בעולם רק ל־GPT-4 של OpenAI.

הוא שולט באנגלית, צרפתית, ספרדית, גרמנית ואיטלקית, כאשר מיסטרל טוענת כי המודל מסוגל להבין דקדוק והקשר תרבותי כאחד, ומספק גם יכולות קידוד.

 מיסטרל מדיום 
Mistral Medium מאומן בשפות שונות כולל אנגלית, צרפתית, איטלקית, גרמנית, ספרדית וקוד עם ציון 8.6 ב־MT-Bench. הוא מדורג בביצועים מעל קלוד ומתחת ל־GPT-4 במדד LMSys ELO Arena.

מספר הפרמטרים והארכיטקטורה של מיסטרל מדיום אינה ידועה שכן מיסטרל לא פרסמה מידע ציבורי אודותיו.

 מיסטרל סמול 
כמו הדגם לארג׳, Small הושק ב־26 בפברואר 2024. מודל זה נועד להיות דגם קל משקל נמוך, עם ביצועים טובים יותר מ־Mixtral 8x7B.

 קישורים חיצוניים 



 הערות שוליים 

קטגוריה:חברות בינה מלאכותית
קטגוריה:חברות צרפתיות