معیار BLEU در پردازش زبان طبیعی با مثال

همانطور که پردازش زبان طبیعی (NLP) به پیشرفت خود ادامه می دهد، نیاز به ارزیابی مدل های NLP اهمیت فزاینده ای پیدا می کند.معیارهای ارزیابی NLP به محققان و متخصصان این امکان را می دهد تا عملکرد مدل های NLP را به طور عینی ارزیابی کرده و آنها را برای تصمیم گیری بهتر مقایسه کنند.دو معیار رایج در زمینه ارزیابی NLP امتیازات BLEU و ROUGE هستند. در این پست، به معیار BLEU خواهیم پرداخت و اهمیت آنها را در ارزیابی مدل های NLP درک خواهیم کرد. همچنین در پست بعدی به معیار ROUGE خواهیم پرداخت.امتیاز BLEU یک معیار پرکاربرد برای کارهای ترجمه ماشینی است که در آن هدف ترجمه خودکار متن از یک زبان به زبان دیگر است. این به عنوان راهی برای ارزیابی کیفیت ترجمه های تولید شده توسط ماشین با مقایسه آنها با مجموعه ای از ترجمه های مرجع ارائه شده توسط مترجمان انسانی پیشنهاد شد.امتیاز BLEU چگونه کار می کند؟اگرچه BLEU برای ترجمه توسعه یافته است، اما می تواند برای ارزیابی کارهای مختلف پردازش زبان طبیعی مانند بازنویسی و خلاصه سازی متن استفاده شود.امتیاز BLEU کامل نیست، اما محاسبه آن سریع و ساده است، مستقل از زبان است و مهمتر از همه، با ارزیابی انسانی بسیار مرتبط است.دو ترجمه مرجع R1 و R2 را در نظر بگیرید که توسط متخصصان انسانی تولید شده اند و ترجمه C1 که توسط سیستم ترجمه تولید شده است.R1 : The cat is on the matR2 : There is a cat on the mat.C1 : The cat and the dog.محاسبه دقیق یونی گرمبرای بیان کیفیت ترجمه خود با یک متریک، ممکن است شمارش کنیم که چند کلمه در ترجمه C1 در ترجمه های مرجع R1 و R2 وجود دارد و نتیجه را بر تعداد کلمات C1 تقسیم کنیم تا یک درصد بدست آوریم. بنابراین نمره کامل 1.0 است و بدترین نمره 0.0 است. بیایید این متریک را *BLEU بنامیم.در C1 سه کلمه ('the'، 'cat'، 'the') وجود دارد که در ترجمه های مرجع ظاهر می شوند، بنابراین:BLEU*(C1) = 3/5 = 0.6ترجمه از C1 از ترجمه کامل فاصله زیادی دارد و امتیاز 0.6 را دریافت می کند. همه چیز خوب به نظر می رسد.مشکل تکرار یونیگرام هابیایید امتیاز *BLEU را برای ترجمه جدید C2 محاسبه کنیم:R1: The cat is on the mat.R2: There is a cat on the mat.C2: The The The The The.این بار متاسفانه ترجمه ما خیلی خوب نیست.هر کلمه در C2 حداقل در یک کلمه بین R1 و R2 وجود دارد، بنابراین:BLEU*(C2) = 5/5 = 1ما با ترجمه‌ای بی‌معنی به امتیاز کاملی دست یافتیم پس چیزی وجود دارد که باید در معیار خود اصلاح کنیم.منطقی نیست که کلمه 'The' را پنج بار در شمارنده در نظر بگیرید، زیرا حداکثر دو بار در هر ترجمه مرجع ظاهر می شود. ما می‌توانیم کلمه «The» را فقط برای دفعاتی که در هر ترجمه مرجع ظاهر می‌شود، بشماریم، یعنی دو. بیایید این متریک جدید را **BLEU بنامیم.BLEU**(C2) = 2/5 = 0.4اکنون امتیاز منطقی تر است، زیرا ما جلوی این واقعیت را گرفتیم که یک کلمه ترجمه شده خوب بارها در ترجمه ما ظاهر شود.با در نظر گرفتن n-گرمبیایید امتیاز **BLEU را روی دو ترجمه دیگر C3 و C4 محاسبه کنیم تا بررسی کنیم که آیا همه چیز خوب به نظر می رسد.R1: The cat is on the mat.R2: There is a cat on the mat.C3: There is a cat on the mat.C4: Mat the cat is on a there.امتیازات **BLEU به شرح زیر است:BLEU**(C3) = 7/7 = 1.0BLEU**(C4) = 7/7 = 1.0هر دو ترجمه حاوی کلماتی هستند که در ترجمه های مرجع وجود دارند، بنابراین هر دو به حداکثر امتیاز می رسند. با این حال، C4 یک جمله انگلیسی خوب نیست.یک راه سریع برای به دست آوردن نمرات بالاتر برای جملات خوب این است که به جای 1-گرم فقط 2-گرم یا 3-گرم را در نظر بگیرید. بیایید BLEU**1 را امتیازی بنامیم که فقط 1-گرم را در نظر می گیرد و BLEU**2 را امتیازی را که فقط 2-گرم را در نظر می گیرد.BLEU**₁(C3) = 7/7 = 1.0BLEU**₂(C3) = 6/6 = 1.0در عوض، در C4 تمام 2-گرم ها در هیچ ترجمه مرجعی ظاهر نمی شوند، بنابراین:BLEU**₁(C4) = 7/7 = 1.0BLEU**₂(C4) = 0/6 = 0.0به طور کلی گفته می شود که امتیاز BLEU**ₙ برای n-گرم برای n کم بر روی معنی جمله و برای n بالا بر روی فرم خوب جمله تمرکز می کند.مشخص شده است که میانگین هندسی امتیازهای BLEU**ₙ برای n بین یک تا چهار بهترین همبستگی را با ارزیابی انسانی دارد. بگذارید آن را **MEAN_BLEU بنامیم.جریمه کردن ترجمه های کوتاهبیایید اکنون امتیازات BLEU**1 و BLEU**2 برای ترجمه C5 را محاسبه کنیم:R1: The cat is on the mat.R2: There is a cat on the mat.C5: There is a cat.امتیازات عبارتند از:BLEU**₁(C5) = 4/4 = 1.0BLEU**₂(C5) = 3/3= 1.0به نظر می‌رسد که C5 به ازای هر n امتیاز عالی را به دست می‌آورد، حتی اگر ترجمه یک قطعه از متن را با توجه به ترجمه‌های مرجع از دست داده باشد.با اضافه کردن جریمه برای ترجمه‌ای که طول آن کمتر از ترجمه های مرجع است، از این امر جلوگیری می شود. ما آن را جریمه کوتاهی (Brevity penalty) می نامیم.امتیاز نهایی BLEU این است:BLEU = BP * MEAN_BLEU**یعنی، BLEU حاصلضرب جریمه کوتاهی BP (که ترجمه‌های کوتاهی را که حاوی متن مرتبط از ترجمه‌های مرجع نیستند جریمه می‌کند) و میانگین هندسی امتیازات BLEU**ₙ برای n بین یک تا چهار (که شامل n-گرم های کوچک را برای دریافت معنی جمله و n-گرم های بزرگ برای به دست آوردن جملات خوب).مقدار جریمه کوتاهی Brevity penalty(BP) چقدر است؟اگر طول ترجمه بزرگتر از طول ترجمه مرجع باشد، نباید جریمه کنیم و بنابراین BP برابر با یک است. در غیر این صورت، BP یک مقدار نمایی رو به کاهش است که زمانی که اختلاف طول بین ترجمه ما و ترجمه مرجع بیشتر باشد، کمتر است. مقاله BLEU پیشنهاد می‌کند که جریمه کوتاهی را در کل مجموعه به جای ترجمه‌های تکی محاسبه کنید تا جریمه‌های ترجمه‌های کوتاه را هموارتر کنید.