موضوع مقاله: میسترال ای‌آی | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # میسترال ای‌آی | مقدمه: شرکت هوش مصنوعی میسترال یک شرکت فرانسوی است که محصولات هوش مصنوعی را تولید و به فروش می‌رساند. | ## بخش 1: میسترال ای‌آی | این شرکت در آوریل ۲۰۲۳ به‌دست کارمندان قبلی متا پلتفرمز و گوگل دیپ‌مایند تأسیس شد و در اکتبر ۲۰۲۳ توانست مبلغی معادل ۳۸۵ میلیون یورو سرمایه جذب کند و در دسامبر ۲۰۲۳ به ارزش بیش از ۲ میلیارد دلار دست پیدا کند. این شرکت با استناد به اهمیت اساسی نرم‌افزار منبع باز و در پاسخ به مدل‌های اختصاصی، به تولید مدل‌های زبان بزرگ منبع باز می‌پردازد. از مارس ۲۰۲۴ تاکنون، این شرکت دو مدل در قالب وزن باز و سه مدل دیگر کوچک، متوسط و بزرگ، که فقط از طریق API در دسترس هستند را منتشر کرده است. تاریخچه میسترال[en] نام باد سرد شدیدی است که از شمال‌غرب فرانسه به سمت خلیج شیر در جنوب فرانسه و شمال دریای مدیترانه می‌وزد و نام این شرکت از آن گرفته شده است. میسترال اِی‌آی، در آوریل ۲۰۲۳ توسط سه فرانسوی با نام‌های آرتور مانش، گیوم لامپل و تیموته لَکقوءَ تأسیس شد. آرتور مانش قبل از تأسیس میسترال اِی‌آی در گوگل دیپ‌مایند که آزمایشگاه هوش مصنوعی گوگل است، و گیوم لامپل و تیموته لَکقوءَ در متا پلتفرمز کار می‌کردند. این بنیانگذاران در دوران دانشجویی در مدرسه پلی‌تکنیک در فرانسه با یکدیگر آشنا شدند. در ژوئن ۲۰۲۳، این استارت‌آپ اولین جمع‌آوری کمک مالی به مبلغ ۱۰۵ میلیون یورو (۱۱۷ میلیون دلار) را با سرمایه‌گذارانی از جمله صندوق آمریکایی شرکای سرمایه‌گذاری لایت‌اسپید، اریک اشمیت، خاویر نایل و ژی‌سی‌دیکو انجام داد. پس از آن، فایننشال تایمز ارزش این شرکت را ۲۴۰ میلیون یورو (۲۶۷ میلیون دلار) برآورد کرد. در ۲۷ سپتامبر ۲۰۲۳، این شرکت مدل پردازش زبان خود "Mistral 7B" را تحت مجوز رایگان آپاچی ۲٫۰ در دسترس قرار داد. این مدل دارای ۷ میلیارد پارامتر است که در مقایسه با رقبای خود، مدلی کوچکی به حساب می‌آید. در ۱۰ دسامبر ۲۰۲۳، میسترال اِی‌آی اعلام کرد که در دومین مرحله افزایش مالی خود، کمک مالی به مبلغ ۳۸۵ میلیون یورو (۴۲۸ میلیون دلار) را جمع‌آوری کرده است. | ## بخش 2: میسترال ای‌آی | این دور از تأمین مالی به ویژه شامل صندوق کالیفرنیایی اندریسن هوروویتز، بی‌ان‌پی پاریبا و ناشر نرم‌افزار سلزفورس می‌شود. در ۱۱ دسامبر ۲۰۲۳، این شرکت به لطف ترکیب متخصصان معماری (ساختمان داده کامپیوتری) مدل Mixtral 8x7B را با ۴۶٫۷ میلیارد پارامتر، و تنها با استفاده از ۱۲٫۹ میلیارد پارامتر در هر توکن منتشر کرد. این مدل به ۵ زبان (فرانسوی، اسپانیایی، ایتالیایی، انگلیسی و آلمانی) تسلط دارد و بر اساس آزمایش‌های توسعه‌دهندگان خود، از مدل "LLama 2 70B" متا بهتر عمل می‌کند. در ۲۶ فوریه ۲۰۲۴، مایکروسافت همکاری جدیدی با این شرکت برای گسترش حضور خود در صنعت هوش مصنوعی که به سرعت در حال توسعه است، اعلام کرد. بر اساس این توافق، مدل‌های زبان غنی میسترال در ابر اژر مایکروسافت در دسترس خواهند بود، و در عین حال دستیار مکالمه چند زبانه "Le Chat" به سبک و سیاق چت‌جی‌پی‌تی نیز راه‌اندازی خواهد شد. در ۱۰ آوریل ۲۰۲۴، این شرکت مدل ترکیب متخصصان با نام Mixtral 8x22B را منتشر کرد که عملکرد بالایی را در معیارهای مختلف در مقایسه با سایر مدل‌های متن باز ارائه می‌دهد. در ۲۷ سپتامبر ۲۰۲۳ به‌طور رسمی از طریق پیوند مگنت بیت‌تورنت و هاگینگ فیس منتشر شد. در پست وبلاگ اعلام این موضوع، ادعا شده بود که این مدل در همه معیارهای آزمایش شده بهتر از LLaMA 2 13B عمل می‌کند و در بسیاری از معیارهای آزمایش شده با LLaMA 34B برابری می‌کند. به‌طور خاص از توجه پرس‌وجو تجمیع‌شده ، برای استنتاج سریعتر، و همچین از توجه پنجره کشویی ، برای رسیدگی به دنباله‌های طولانی‌تر، استفاده شده است. توجه پنجره کشویی هزینه محاسباتی و نیاز به حافظه را برای دنباله‌های طولانی‌تر کاهش می‌دهد. در توجه پنجره کشویی، هر نشانه فقط می‌تواند به تعداد ثابتی از نشانه‌ها از لایه قبلی در یک «پنجره کشویی» از ۴۰۹۶ توکن، با طول کل زمینه ۳۲۷۶۸ توکن توجه کند. در زمان استنتاج، این امر در دسترس بودن حافظه پنهان را کاهش می‌دهد و منجر به تأخیر بیشتر و توان عملیاتی کمتر می‌شود. | ## بخش 3: میسترال ای‌آی | به جای محاسبه توجه بر روی همه حالت‌های پنهان، توجه را بر روی گروهی از حالت‌های پنهان محاسبه می‌کند. پس از آن، هر دو مدل پایه و «دستورالعملی» با تنظیمات اضافه‌تر با هدف پیروی از دستور العمل‌های محاوره ای منتشر شدند. مدل تنظیم‌شده فقط برای اهداف نمایشی در نظر گرفته شده است و به‌طور پیش‌فرض دارای ویژگی‌های نرده‌محافظ یا تعدیل‌سازی نیست. این مدل دارای ۸ گروه مجزا از «متخصصان» است که در مجموع ۴۶٫۷ میلیارد پارامتر قابل استفاده به مدل می‌دهد. هر توکن تنها می‌تواند از 12.9B پارامتر استفاده کند، بنابراین سرعت و هزینه‌ای معادل یک مدل 12.9B پارامتری را ارائه می‌دهد. در مارس ۲۰۲۴، تحقیقاتی که توسط Patronus AI انجام شد و عملکرد ال‌ال‌امها را در یک آزمون ۱۰۰ سؤالی با دستورهایی برای تولید متن از کتاب‌های محافظت شده تحت قانون حق چاپ ایالات متحده مقایسه کرد، نشان داد که جی‌پی‌تی ۴ شرکت اوپن‌ای‌آی، مدل‌های شرکت میسترال اِی‌آی، LLaMA-2 شرکت متا ای‌آی و Claude2 شرکت آنتروپیک در پاسخ‌های خود به ترتیب ۴۴٪، ۲۲٪، ۱۰٪ و ۸٪ از متون دارای حق چاپ را کلمه به کلمه ایجاد کردند. میسترال لارج (بزرگ) میسترال لارج در ۲۶ فوریه ۲۰۲۴ راه اندازی شد و Mistral ادعا می‌کند که پس از جی‌پی‌تی ۴ شرکت اوپن‌ای‌آی در جهان در رتبه دوم قرار دارد. این مدل به زبان‌های انگلیسی، فرانسوی، اسپانیایی، آلمانی و ایتالیایی تسلط کامل دارد و میسترال ادعا می‌کند که هم صرف‌ونحو و هم زمینه فرهنگی را درک می‌کند و قابلیت‌های کدنویسی را نیز فراهم می‌آورد. میسترال مدیوم (متوسط) میسترال مدیوم بر روی زبان‌های انگلیسی، فرانسوی، ایتالیایی، آلمانی، اسپانیایی و زبان‌های برنامه‌نویسی آموزش دیده و امتیاز ۸٫۶ را در محک‌زنی MT-Bench به‌دست آورده است. از آنجا که میسترال اطلاعات عمومی در مورد میسترال مدیوم منتشر نکرده، تعداد پارامترها و معماری آن ناشناخته است. | ## جمع‌بندی | میسترال اسمال (کوچک) مانند مدل میسترال لارج، این مدل نیز در ۲۶ فوریه ۲۰۲۴ عرضه شد.