الگوریتم برت چگونه کار می کند و چه مزایایی دارد؟

در این مطلب قصد داریم در مورد مزایایی که الگوریتم برت دارد صحبت کنیم و در مورد مدل‌های فضایی برداری برای تعبیه کلمات صحبت می کنیم و در مورد اینکه BERT به چه نوع وظایف زبان طبیعی کمک می‌کند؟ صحبت می کنیم و خواهیم گفت BERT چگونه بر جستجو تأثیر می‌گذارد؟چگونه موتورهای جستجو می‌توانند خلأ Bet موجود بین نهادهای نام‌برده را پر کنند؟ابهام‌زدایی از زبان طبیعی"شما باید یک کلمه را توسط شرکتی که نگهداری می‌کند بدانید." - جان روپرت فرث، زبان‌شناس، 1957کلماتی که با هم زندگی می‌کنند به شدت با هم مرتبط می باشند:هم‌زمانیهم‌زمانی زمینه را فراهم خواهد کرد.هم‌زمانی معنای یک کلمه را تغییر می‌دهد.کلماتی که همسایگان مشابهی دارند نیز به شدت به هم مرتبط می باشندشباهت و قرابت.مدل‌های زبانی برای شرکت‌های متنی بسیار بزرگ یا مجموعه‌ای از انبوه کلمات برای یادگیری شباهت توزیعی آموزش داده می‌شوند.نمایش برداری کلمات (وکتورهای Word)نمایش برداری کلمات (بردارهای کلمه)models و ساخت مدل‌های بردار فضایی برای تعبیه کلمات.مدل‌های فضایی برداری برای تعبیه کلماتمدل‌های NLP وزن‌های شباهت و فاصله‌های مربوط را یاد می‌گیرند. اما حتی اگر خود موجودیت (چیز) را نیز بفهمیم، باید متن word را درک کنیمبه‌تنهایی کلمات منفرد معنایی ندارند بنابراین به انسجام متن نیاز دارند. انسجام پیوند دستوری و واژگانی در متن یا جمله‌ای می باشد که متن را در کنار هم نگه‌داشته و به آن معنا می‌بخشد.زمینه معنایی مهم است. بدون کلمات پیرامونی، کلمه "سطل" می‌تواند در یک جمله معنی داشته باشد.به سطل لگد زد.من هنوز نتوانسته‌ام از لیست سطل‌هایم عبور کنم.سطل پرازآب شد.بخش مهمی از این برچسب‌گذاری بخشی از گفتار (POS) است:POS TaggingBERT چگونه کار می‌کندمدل‌های زبان گذشته (مانند Word2Vec و Glove2Vec) تعبیه کلمات بدون متن را ایجاد کردند. از طرف دیگر، زمینه bert را فراهم می‌کند.برای درک بهتر نحوه کار BERT ، بیایید بررسی کنیم که اختصار مخفف چیست.دو جهته آشنایی با گوگل برتقبلاً همه مدل‌های زبانی (به‌عنوان‌مثال Skip-gram و Continuous Bag of Words) یک‌جهته بودند بنابراین فقط می‌توانستند پنجره زمینه را در یک‌جهت حرکت دهند - پنجره متحرک کلمات "n" (چپ یا راست کلمه موردنظر) برای درک متن کلمهمدل‌ساز یک‌طرفه زبان مدل‌ساز زبان یک‌جهتهبیشتر مدل سازهای زبان یک‌جهته هستند. آنها می‌توانند از پنجره زمینه کلمه فقط از چپ به راست یا راست به چپ عبور کنند. فقط در یک‌جهت، اما نه هر دو در یک‌زمان.BERT متفاوت است. BERT از مدل‌سازی دو جهته زبان استفاده می‌کند که اولین استBERTBERT می‌تواند هم سمت چپ و هم سمت راست کلمه موردنظر را ببیند.BERT می‌تواند جمله WHOLE را در هر دو طرف یک کلمه مدل‌سازی زبان متنی و همه کلمات را تقریباً یک‌باره مشاهده کند.ER: نمایندگی رمزگذارآنچه رمزگذاری می‌شود رمزگشایی می‌شود. این مکانیسم ورود و خروج می باشد.T: ترانسفورماتورهاBERT از "ترانسفورماتورها" و "مدل‌سازی زبان نقابدار" استفاده می‌کند.یکی از مسائل مهم در درک زبان طبیعی درگذشته این بوده است که نتوانسته است درک کند که یک کلمه به چه زمینه‌ای اشاره دارد.به‌عنوان‌مثال ضمایر. خیلی راحت می‌توان رد کرد که کسی در یک مکالمه در مورد چه کسی صحبت می‌کند. حتی انسان‌ها می‌توانند تلاش کنند تا دائماً در مورد افرادی که در مکالمه به آنها رجوع می‌کنند پیگیر باشند.این برای موتورهای جستجو به‌نوعی مشابه می باشد، اما آنها تلاش می‌کنند تا وقتی شما می‌گویید ا آنها، او، ما، آن و غیره پیگیری کنند.بنابراین بخش توجه ترانسفورماتورها در واقع به ضمیرها و تمام معانی کلمات متمرکز می باشد که با هم سعی می‌کنند با چه کسی صحبت شود یا در هر زمینه خاصی چه چیزی صحبت می‌شود.مدل‌سازی زبان ماسک دار کلمه موردنظر را از دیدن خود متوقف می‌کند. این ماسک موردنیاز است زیرا مانع از آن می‌شود که کلمه تحت تمرکز واقعاً خود را ببیند.وقتی ماسک در جای خود قرار دارد، BERT فقط حدس می‌زند که کلمه گمشده چیست. این نیز بخشی از روند تنظیم دقیق می باشد.BERT به چه نوع وظایف زبان طبیعی کمک می‌کند؟برت در مواردی مانند:تعیین موجودیتپیش‌بینی جمله بعدی مستلزم متنوضوح هستهپاسخ سؤالابهام‌زدایی از کلمه.جمع‌بندی خودکاررزولوشن چندمیBERT معیارهای پیشرفته (SOTA) را در 11 کار NLP پیشرفت داده است.BERT چگونه بر جستجو تأثیر می‌گذارد؟BERT به Google کمک خواهد کرد تا زبان انسان را بهتر درک کنددرک BERT از تفاوت‌های ظریف زبان انسانی تفاوت چشمگیری در نحوه تفسیر گوگل از سؤالات ایجاد خواهد کرد زیرا افراد به طور واضح با پرسش‌های طولانی‌تر و پرسشگرانه در حال جستجو هستند.BERT به مقیاس جستجوی گفتگو کمک خواهد کردBERT همچنین تأثیر زیادی در جستجوی صوتی خواهد داشت به‌عنوان جایگزینی برای Pygmalion دارای مشکل. آشنایی با گوگل برتانتظار جستجوی بزرگ برای سئوی بین‌المللیBERT از این توانایی تک زبانی تا چند زبانی برخوردار می باشد زیرا بسیاری از الگوها در یک زبان به زبان‌های دیگر ترجمه می‌شود.این امکان وجود دارد که بسیاری از آموخته‌ها را به زبان‌های مختلف منتقل کنید حتی اگر لزوماً خود زبان را به طور کامل درک نکند.Google بهتر "نکات متنی" و سؤالات مبهم را درک می‌کندبسیاری از مردم از اینکه رتبه‌های آنها تحت تأثیر قرار گرفته شکایت دارنداما من فکر می‌کنم که این احتمالاً بیشتر به این دلیل است که گوگل به‌نوعی در درک متن ظریف سؤالات و متن ظریف محتوا بهتر شده است.بنابراین شاید، Google بهتر بتواند تفاوت‌های متنی و سؤالات مبهم را درک کند.آیا باید (یا می‌توانید) محتوای خود را برای BERT بهینه کنید؟احتمالاً نه.گوگل برت چارچوبی برای درک بهتر می باشد. این به‌خودی‌خود محتوا را قضاوت نمی‌کند. این فقط بهتر می‌فهمد چه چیزی وجود دارد.به‌عنوان‌مثال، ممکن است گوگل برت ناگهان چیزهای بیشتری را بفهمد و شاید صفحاتی وجود داشته باشد که بیش از حد بهینه شده‌اند و ممکن است تحت تأثیر چیز دیگری مانند Panda قرار بگیرند زیرا BERT گوگل ناگهان متوجه شد که یک صفحه خاص برای چیزی مناسب نیست.این بدان معنا نیست که شما برای BERT بهینه‌سازی می‌کنید، احتمالاً بهتر می باشد در وهله اول فقط طبیعی بنویسید.