برت (مدل زبانی)

انکودر دو طرفه نمایشی از ترانسفورماتور (BERT) یک روش برای NLP (پردازش زبان طبیعی) به‌صورت یک مدل از قبل آموزش داده شده است که توسط گوگل طراحی و توسعه داده شده است. برت در سال ۲۰۱۸ توسط یعقوب Devlin و همکاران او در گوگل ایجاد و منتشر شده است. ابزار برت گوگل برای اعمال نفوذ برای درک بهتر پرس‌وجوهای کاربران است.

مدل اصلی از قبل آموزش داده شده برت به زبان انگلیسی بر روی دو پیکره شامل پیکره کتاب و ویکی‌پدیای انگلیسی آموزش داده شده است.

معماری 
برت در هسته‌ی خود دارای یک مدل زبانی مبتنی بر ترنسفورمر با تعداد زیادی از انکودرها و لایه‌های self-attention هست. برت به صورت از پیش‌ آموزش داده‌شده روی دو تسک هست. اولی تسک مدل ‌کردن زبانی (Language Modeling) است که ۱۵ درصد از توکن‌ها را به صورت ماسک‌شده‌ قرار داده‌ بوده‌اند که برت آموزش داده‌ شده‌است تا بر اساس کانتکست آنها را پیش‌بینی نماید. تسک دوم هم مرتبط با تسک پیش‌بینی عبارت بعدی (Next Sequence Prediction) است. در این تسک برت آموزش داده شده است تا اگر یه جمله‌ی بعدی به صورت احتمالاتی داده شده‌باشد و یا اصلا جمله‌ی بعدی را نداشته باشیم چطور بتوانیم از روی یک جمله جمله‌ی بعدی را پیش‌بینی نماییم. هردوی این مسئله‌ها مسائل پایه‌ای و رایج در پردازش‌ زبان‌های طبیعی هستند و به صورت کاربردی در مسائل زیادی در پردازش زبان‌های طبیعی کاربرد دارند.
به عنوان نتیجه از یادگیری مدل برت می‌توان گفت که برت می‌تواند به صورت محتوایی کلمات را در جملات و کانتکست‌های خاص یاد بگیرد. 
مزیت این مدل این است که پس از اینکه به صورت از پیش‌آموزش داده‌شده روی تسک‌های فوق آماده شد، حال می‌توان آن را روی هر تسک دلخواهی از پردازش زبان‌های طبیعی فاین‌تیون (Finetune) کرد و امروزه با دیتاست‌های به نسبت کوچک روی تسک‌های دلخواه پردازش زبان‌های طبیعی هم می‌توان به نتایج خوب با دقت‌های بالایی رسید و به صورت محاسباتی هم هزینه‌ی کمتری دارند چراکه قبلا برت روی داده‌های زیادی آموزش داده‌ شده‌است.

کارایی مدل 
هنگامی که برت به عنوان یک مدل زبانی منتشر شد توانست به عنوان یک مدل لبه‌ی علم روی برخی از تسک‌های پردازش زبان‌های طبیعی عمل نماید. برخی از این دیتاست‌ها عبارتند از:
 دیتاست GLUE که مجموعه‌ای از دیتاست‌هایی است که در پردازش زبان‌های طبیعی به عنوان تسک‌های معروف به کار می‌روند.
 دیتاست SQuAD که یک دیتاست از سمت دانشگاه استنفورد برای پرسش و پاسخ است.
 دیتاست SWAG که موقعیت‌هایی از پردازش زبان‌های طبیعی است که یک سازنده‌ی متخاصم آنها را درست کرده است.
 تحلیل احساسات که به کمک برت توانستند روی تعداد زیادی از زبان‌ها به کارایی بسیار خوبی برسند.

تحلیل مدل 
دلایلی که توانسته است مدل زبانی برت را به یک مدل زبانی لبه‌ی علم در پردازش زبان‌های طبیعی تبدیل نمایند همچنان به صورت خوبی قابل توجیه و درک نیستند.  در حال حاضر بسیاری از پژوهش‌ها روی این تمرکز دارند که رابطه‌ای بین ورودی برت و خروجی که می‌تواند تولید کند را پیدا کنند که این رابطه می‌تواند خود را با استفاده از وزن‌های ماتریس Attention نشان دهد.

تاریخچه‌ی مدل 
پیش از برت تاریخچه‌ی اینگونه مدل‌ها به روش‌های نیمه‌نظارتی یادگیری ماشین  و مدل‌هایی دیگر نظیر ELMo  و ULMFit  برمی‌گردد. برخلاف مدل‌های پیشین برت یک مدل دوطرفه‌ (Bidirectional) بدون نظارت (Unsupervised) است که روی متن خام آموزش داده‌‌ شده‌است.
برخی از مدل‌های دیگر نظیر Word2vec یا GloVe همگی به صورت مستقل از زمینه (Context free) هستند که برای هرکلمه مستقل از کانتکست می‌توانند یک نمایش (Embedding) ایجاد نمایند ولی بر خلاف آنها برت با تمرکز روی زمینه (Context) می‌تواند بر اساس کانتکست برای یک کلمه نمایش‌های مختلفی داشته باشد و این ما را یک قدم به فهمیدن مفهوم یک کلمه در جمله فارز از معنی کلمه نزدیک‌تر می‌کند. به عنوان نمونه اگر دو جمله به صورت «He is running a comapny» و «He is running a marathon» داشته باشیم که در اولی «running» به معنای «اداره کردن» و در دومی «running» به معنای «دویدن» است برای این دو کلمه می‌تواند بر اساس محتوای جمله تفاوت قائل شود و آنها را به یک صورت نمی‌بیند ولی مدل‌های پیشین که به صورت مستقل از محتوا عمل‌ می‌کنند این مشکل را نمی‌توانند حل نمایند.

در تاریخ ۲۵ اکتبر ۲۰۱۹ شرکت گوگل سرچ (Google Search) اعلام کرد که آنها شروع به استفاده از مدل زبانی برت برای جستجوهای انگلیسی کاربران آمریکایی شده‌اند.  همچنین در تاریخ ۹ دسامبر ۲۰۱۹ برت بر روی بیش از ۷۰ زبان زنده‌ی دنیا پیاده‌سازی شده‌بود  و در اکتبر ۲۰۲۰ هرجستجوی انگلیسی با استفاده از برت انجام می‌شد و بر روی آن برت پردازشی برای تشخیص مفهوم انجام می‌داد.

مقاله‌ی برت 
مقاله‌ای که مدل زبانی برت را برای اولین بار معرفی نمود در سال ۲۰۱۹ جایزه‌ی بهترین بلندترین مقاله‌ی سال (Best Long Paper Award) را در قسمت آمریکای شمالی کنفرانس NAACL را برنده شد و به عنوان بهترین مقاله در این زمینه در سال ۲۰۱۹ شناخته شد.

منابع

پیوند به بیرون 
 گیتهاب رسمی

بازشناسی گفتار
پردازش زبان‌های طبیعی
زبان‌شناسی رایانشی
شاخه‌های مطالعاتی محاسباتی
هوش مصنوعی