فرایند دیریکله

در نظریه احتمالات فرایند دیریکله، که به یاد پیتر گاستاو دریکله نامیده شده است، یک دسته ازفرایند تصادفی است. این فرایند یک توزیع روی توزیع هاست. به عبارت دیگر یک فرایند دریکله یک توزیع احتمالاتی است که بازه آن خود یک مجموعه از احتمالات است. این فرایند غالبا در استنتاج بیزی استفاده می‌شود که اطلاعات اولیه در مورد توزیع متغیرهای تصادفی را توصیف می‌کند. -احتمال این که متغیرهای تصادفی با یک یا چند توزیع مشخص توزیع شوند.
یک فرایند دیریکله با مشخص می‌شود که در آن توزیع پایه است وعدد حقیقی ، پارامتر تراکم نامیده می‌شود. توزیع پایه، امید ریاضی فرایند است. اگرچه توزیع پایه یعنی پیوسته است، اما مقادیر ایجاد شده توسط فرایند دیریکله به صورت قریب به یقین گسسته هستند. پارامتر تراکم بیانگر این است که جداسازی به چه میزان قوی است: در حد ادراک در یک نقطه خاص متمرکز می‌شوند. در حالی که در حد ، ادراک پیوسته خواهند شد. بین دو حد ادراک به صورت توزیع‌های گسسته با تمرکز کم وجود دارند و با کاهش تمرکز را با کاهش شاهد هستیم. اینکه احتمال اینکه مقادیر تکرار شوند، چقدر است بستگی به پارامتر دارد.
توجه کنید که فرایند دیریکله یک فرایند تصادفی است؛ یعنی تشکیل شده از بی‌نهایت متغیر تصادفی است. حال می‌توان یک فرایند دیریکله را به اینصورت ایجاد کرد: یک توزیع تصادفی انتخاب می‌کنیم و بی‌نهایت متغیر تصادفی را در نظر بگیرید که بی‌نهایت مقدار تصادفی از آن را مشخص می‌کنند. می‌توان این فرایند را توسط سناریوهای دیگری نیز تصویر کرد؛ مانند فرایند رستوران چینی یا فرایند شکستن چوب.
راه دیگر برای تصور فرایند دیریکله تصور یک توزیع دیریکله بینهایت است. با میل دادن ابعاد یک توزیع دیریکله متقارن بعدی با پارامتر تراکم به بی‌نهایت، می‌توان به فرایند شکستن چوب رسید که تجسمی دیگر برای فرایند دیریکله است.
اولین بار فرایند دیریکله توسط توماس فرگوسن در سال ۱۹۷۳معرفی شده‌است. از آن پس در داده‌کاوی، یادگیری ماشین، پردازش زبان طبیعی، بینایی کامپیوتر و بیوانفورماتیک استفاده شده‌است.
مقدمه
توزیع مخلوط زیر را در نظر بگیرید:
\begin{array{lcl
\theta_{1,\dots,K -\sim- H() \\
\boldsymbol\beta -\sim- \operatorname{Dirichlet(\alpha/K,…, \alpha/K) \\
z_{1,\dots,N -\sim- \operatorname{Categorical(\boldsymbol\beta) \\
x_{i=1,\dots,N -\sim- F(\theta_{z_i)
\end{array
مجموعه داده‌های مشاهده هستند که مطابق توزیع مخلوط با مولفه توزیع شده‌اند و هر مولفه دارای توزیع ثابت است، بطوریکه هر مولفه دارای پارامتر متفاوتی برای است که به نوبه خود از توزیع بدست آمده است. معمولا توزیع ، مزدوج پیشین توزیع است.
کاربردهای فرایند دریکله
فرایندهای دریکله در آمار بیزی ناپارامتری استفاده می‌شود. «ناپارامتری» به مفهوم یک مدل بدون پارامتر نیست، بلکه مدلی است که در آن نمایش‌ها با تعداد داده مشاهده‌شده افزایش می‌یابد. مدل‌های بیزی ناپارامتری در حوزه یادگیری ماشین به دلیل انعطاف‌پذیری به خصوص در یادگیری بدون‌ناظر، محبوبیت بیشتری کسب می‌کنند. در یک مدل بیزی ناپارامتری توزیع پیشین و پسین توزیع‌های پارامتری نیستند اما فرایند تصادفی هستند. خاصیت ناپارامتری آن، این مدل را کاندید ایده‌آل برای خوشه‌بندی که تعداد خوشه‌ها از قبل نامشخص است می‌کند.
از آنجایی که کشش‌های فرایند دریکله مستقل هستند، یک استفاده مهم می‌تواند استفاده به عنوان احتمال پیشین در مدل ترکیبی نامتناهی باشد. در این مورد، S یک مجموعه پارامتری از توزیع‌های مولفه است. در نتیجه فرایند تولیدی یک نمونه است که از فرایند دریکله گرفته شده‌است. این حقیقت که هیچ محدودیتی در تعداد مولفه‌های مستقلی که ممکن است تولید شوند این مدل را برای این استفاده وقتی تعداد مولفه‌های ترکببی از قبل مشخص نیست، مناسب می‌کند.
خاصیت نامتناهی این مدل‌ها همچنین آن‌ها را برای کاربردهای مختلف پردازش زبان طبیعی که با فرض کلمات نامتناهی و گسسته هستند، مناسب می‌کند. فرایند دریکله هم‌چنین می‌تواند در تست فرضیه ناپارامتری، برای مثال برای تولید نسخه‌های کلاسیک تستهای فرضیه مثلا تست علامت و… استفاده شود.
فرایند پیتمن-یور تعمیم فرایند دیریکله است.
فرایند دیریکله‌ی سلسله مراتبی تعمیمی از فرایند دیریکله است تا اینکه داده‌های گروهی را نیز در نظر بگیرد.