موضوع مقاله: مدل بسته کلمات | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # مدل بسته کلمات | مقدمه: مدل بسته کلمات ، یک نمایش ساده است که در پردازش زبان‌های طبیعی و بازیابی اطلاعات (IR) استفاده می‌شود. | ## بخش 1: مدل بسته کلمات | در این مدل، یک متن (مانند یک جمله یا سند) به صورت یک بسته چند مجموعه از کلمات آن، بی‌توجه به دستور زبان و حتی نظم کلمات نمایش داده می‌شود.McTear et al 2016, p. مدل بسته کلمات معمولاً در روش‌های دسته‌بندی اسناد مورد استفاده قرار می‌گیرد که در آن وقوع هر کلمه به عنوان یک ویژگی برای آموزش طبقه‌بندی آماری استفاده می‌شود. اشاره اولیه به " بسته کلمات " در زمینه زبانی را می‌توان در مقاله زالیگ هریس ، در سال ۱۹۵۴ در ساختار توزیعی یافت. پیاده‌سازی مثال مدل‌های زیر یک جمله متنی را با استفاده از بسته کلمات مدل می‌کنند. در اینجا دو جمله ساده وجود دارد: جان دوست دارد فیلم نگاه کند مری هم فیلم دوست دارد. براساس این دو جمله، فهرستی به صورت زیر برای هر جمله ساخته شده‌است: «جان»، «دوست»، «به»، «تماشا»، «فیلم»، «مری»، «دوست»، «فیلم»، «هم» «جان»، «همچنین»، «دوست»، «به»، «تماشا»، «فوتبال»، «بازی» نمایش هر بسته از کلمات به عنوان یک شی جی سان ، و اختصاص به متغیر جاوا اسکریپت مورد نظر: BoW1 = {"جان": ۱، "دوست": ۲، "به": ۱، "تماشا": ۱، "فیلم": ۲، "مری": ۱، "هم": ۱}. ترتیب عناصر آزاد است، بنابراین برای مثال {"هم": ۱، "مری": ۱، "فیلم": ۲، "جان": ۱، "تماشا": ۱، "دوست": ۲، "به": ۱}، BoW1 است. نکته: اگر جمله دیگری شبیه به مجموع این دو موجود باشد، جان دوست دارد فیلم تماشا کند. کاربردها در عمل، این مدل به‌طور عمده به عنوان ابزاری برای تولید ویژگی‌ها استفاده می‌شود. بعد از تبدیل متن به یک بسته کلمات، ما می‌توانیم اندازه‌های مختلف را برای مشخص کردن متن محاسبه کنیم. | ## بخش 2: مدل بسته کلمات | رایج‌ترین نوع ویژگی‌ها، یا ویژگی‌هایی که از مدل بسته محاسبه شده‌است، تکرار عبارت است، یعنی، تعداد دفعاتی که یک عبارت در متن دیده می‌شود. برای مثال بالا، ما می‌توانیم دو لیست زیر را بسازیم تا تکرارهای واژه همه کلمات متمایز را ثبت کنیم: [۱، ۲، ۱، ۱، ۲، ۱، ۱، ۰، ۰، ۰] [۱، ۱، ۱، ۱، ۰، ۰، ۰، ۱، ۱، ۱] هر ورودی از لیست‌ها به شمارش ورودی مورد نظر در این فهرست اشاره دارد (این نیز نمایش هیستوگرام است). اولین ورودی مربوط به کلمه «جان» است که اولین کلمه در لیست است و ارزش آن «۱» است به این دلیل که «جان» در اولین سند اولین بار ظاهر می‌شود. به‌طور مشابه، آرایه دوم مربوط به کلمه «دوست» است که کلمه دوم در لیست است و ارزش آن «۲» است زیرا «دوست» ۲ بار در جمله اول ظاهر می‌شود. این فهرست (یا بردار)، نظم کلمات را در جملات اصلی حفظ نمی‌کند، که تنها ویژگی اصلی مدل بسته کلمات است. کلمات مشترک مانند «و» و «است»، تقریباً همیشه با بیشترین تکرار در متن هستند؛ بنابراین داشتن یک شمارش خام بالا ضرورتاً به این معنا نیست که کلمه مورد نظر مهم‌تر است. برای پرداختن به این مشکل، یکی از رایج‌ترین روش‌ها، نرمال‌سازی تکرار عبارت به کمک کاهش بسامد جمله، یا تی اف -آی دی اف است. علاوه بر این، برای هدف خاص طبقه‌بندی، گزینه‌های تحت نظارت ایجاد شده‌اند که برچسب کلاس یک جمله را در نظر می‌گیرند. در نهایت، مقدار باینری (حضور / عدم وجود یا ۱/۰) وزن به جای تکرار برای برخی از مسائل استفاده می‌شود. مری هم فیلم را دوست دارد.» نمایش بسته‌ای از کلمات این واقعیت را نشان نمی‌دهد که در این متن نام فرد همیشه با فعل «دوست» دنبال می‌شود. | ## بخش 3: مدل بسته کلمات | به عنوان یک جایگزین، می‌توان از مدل gram برای ذخیره این اطلاعات مکانی درون متن استفاده کرد. با استفاده از همان مثال بالا، یک مدل bigram متن را به واحدهای زیر تجزیه خواهد کرد و بسامد واحد هر واحد را قبل از آن ذخیره خواهد کرد. [ "جان دوست" "دوست دارد", "دارد فیلم", "فیلم تماشا", "تماشا کند", "مری هم", "هم فیلم", "فیلم را", "را دوست", "دوست دارد" ] از نظر مفهومی، مدل بسته‌ای به عنوان یک مورد خاص از مدل N-gram، با n = ۱ است. ترفند درهم‌سازی یک جایگزین متداول برای استفاده از فرهنگ لغت، ترفند درهم‌سازی است، که در آن کلمات مستقیماً به صورت شاخص‌های تابع درهم سازی نگاشته می‌شوند. با موقعیت‌یابی کلمات به کمک یک تابع درهم‌ساز، هیچ حافظه برای ذخیره کردن یک فرهنگ لغت مورد نیاز نیست. برخوردهای درهم‌ساز به‌طور معمول با استفاده از حافظه آزاد شده برای افزایش تعداد سطوح درهم‌ساز انجام می‌شود. در عمل، درهم‌سازی به‌طور قابل توجهی مدل‌های بسته‌ای کلمات را ساده کرده و مقیاس‌پذیری آنها را بهبود می‌بخشد. استفاده از مثال: فیلترینگ اسپم بیزی در فیلترینگ اسپم بیزی، یک پیام ایمیل به صورت یک مجموعه نامرتب از کلمات انتخاب‌شده از یکی از دو توزیع احتمال، مدلسازی می‌شود که گروه اول هرزنامه‌ها و گروه دوم نشان‌دهنده غیر هرزنامه‌ها است. | ## جمع‌بندی | یک بسته پر از کلماتی است که در پیام‌های هرزنامه یافت می‌شود و بسته دیگر پر از کلماتی است که در ایمیل‌های عادی پیدا شده‌است.