روش گروهی پردازش داده‌ها

روش گروهی مدیریت داده‌ها (GMDH) یک خانواده از الگوریتم‌های استقرایی است که برای مدل‌سازی ریاضی مجموعه داده‌های چندمتغیره به‌صورت کاملاً خودکار طراحی شده است. این روش به بهینه‌سازی ساختاری و پارامتری مدل‌ها می‌پردازد.
GMDH در زمینه هایی مانند داده کاوی ، کشف دانش ، پیش بینی ، مدل سازی سیستم های پیچیده ، بهینه سازی و تشخیص الگو استفاده می شود.  الگوریتم‌های GMDH از یک فرآیند استقرایی استفاده می‌کنند که طی آن مدل‌های چندجمله‌ای به‌صورت تدریجی پیچیده‌تر می‌شوند و بهترین مدل با استفاده از یک معیار خارجی انتخاب می‌شود. بخش آخر  شامل خلاصه ای از کاربردهای GMDH در دهه 1970 است.
این روش گاهی با نام‌هایی مانند شبکه عصبی پیش‌خور چندجمله‌ای یا خودسازمان‌دهی مدل‌ها نیز شناخته می‌شود .اGMDH یکی از نخستین روش‌های یادگیری عمیق است که در سال ۱۹۷۱ برای آموزش یک شبکه عصبی هشت‌لایه استفاده شد.
محتوای ریاضی
رگرسیون چند جمله ای
این بخش بر اساس این منبع نوشته شده است.
این مسئله عمومی مدل‌سازی آماری داده‌ها است: فرض کنید یک مجموعه داده شامل  \{(x_{1},...,x_{k};y)_{s}\}_{s=1:n} ، با n نقطه داریم. هر نقطه شامل مشاهدات  x_{1},...,x_{k} و یک متغیر هدف y برای پیش‌بینی است. سوال این است که چگونه می‌توان متغیر هدف را بر اساس این مشاهدات به بهترین شکل پیش‌بینی کرد؟
ابتدا مجموعه داده به دو بخش تقسیم می‌شود:
مجموعه آموزشی: برای تنظیم پارامترهای بیشتر مدل استفاده می‌شود.
مجموعه اعتبارسنجی: برای تعیین اینکه کدام پارامترها باید شامل شوند و چه زمانی باید فرآیند تنظیم متوقف شود.
ما نمی‌خواهیم همه این مدل‌های چندجمله‌ای را قبول کنیم، زیرا تعداد آن‌ها بسیار زیاد است. برای انتخاب بهترین زیرمجموعه از این مدل‌ها، هر مدل  f_{(i,j);a,b,c,d,e,h} روی مجموعه اعتبارسنجی اجرا می‌شود و مدل‌هایی انتخاب می‌شوند که میانگین مربعات خطای (MSE) آن‌ها کمتر از یک آستانه مشخص باشد. همچنین کمترین مقدار خطای به دست آمده به صورت ​ minMSE_{1} ثبت می‌شود.
همان الگوریتم ادامه می یابد و مقادیر  minMSE_{1},minMSE_{2},... را تولید می‌کند. تا زمانی که هر  minMSE کمتر از مقدار قبلی باشد، فرآیند ادامه پیدا می‌کند و مدل‌ها به عمق بیشتری می‌رسند.به محض اینکه  minMSE_{L+1}>minMSE_{L} الگوریتم متوقف می‌شود. لایه آخر (لایه  L+1) کنار گذاشته می‌شود، زیرا بیش از حد داده‌های آموزشی را برازش کرده است، و لایه‌های قبلی به عنوان خروجی در نظر گرفته می‌شوند.
شکل 1. توزیع معمولی از حداقل خطاها. این فرآیند زمانی خاتمه می یابد که به حداقل برسد.
به طور فرض بعد از این عملیات، مجموعه ای شامل  k_{1}  تا از مدل ها در دسترس باشد  اکنون مدل‌ها را مجموعه داده هایی گه باید مطابق ان اموز دیده شوند اجرا میکنیم تا دنباله‌ای از مشاهدات ایجاد شده را به‌دست آوریم:  z_{1},z_{2},...,z_{k_{1}} . اکنون می توانیم همان الگوریتم را دوباره اجرا کنیم.
روش‌های پیچیده‌تری می‌توانند برای تعیین زمان توقف استفاده شوند؛ مثلاً، الگوریتم را چند مرحله بیشتر ادامه می‌دهند تا از افزایش موقت  minMSE عبور کنند.
به طور کلی
به جای استفاده از چندجمله‌ای درجه دوم در دو متغیر، هر واحد می‌تواند چندجمله‌ای‌هایی با درجه بالاتر و متغیرهای بیشتر به کار گیرد:
Y(x_{1},\dots ,x_{n})=a_{0}+\sum \limits _{i=1}^{n}{a_{i}}x_{i}+\sum \limits _{i=1}^{n}{\sum \limits _{j=i}^{n}{a_{ij}}}x_{i}x_{j}+\sum \limits _{i=1}^{n}{\sum \limits _{j=i}^{n}{\sum \limits _{k=j}^{n}{a_{ijk}}}}x_{i}x_{j}x_{k}+\cdots
و به طور کلی تر:
Y(x_{1},\dots ,x_{n})=a_{0}+\sum \limits _{i=1}^{m}a_{i}f_{i}
که در آن:
fi​: توابع اولیه وابسته به ورودی‌های مختلف
ai​: ضرایب
m: تعداد اجزای تابع پایه
معیارهای خارجی اهداف بهینه سازی برای مدل هستند، مانند به حداقل رساندن میانگین مربعات خطا در مجموعه اعتبارسنجی، مهم‌ترین معیارها عبارتند از:
معیار منظم‌سازی (CR): کمینه‌سازی میانگین مربعات خطا روی مجموعه اعتبارسنجی.
کمینه‌سازی خطا در مجموعه اعتبارسنجی متقابل.
معیار حداقل سوگیری یا سازگاری: اختلاف مربعی خروجی‌های تخمینی یا بردار ضرایب بین دو مدل، تقسیم بر مربع پیش‌بینی‌ها بر روی یک مجموعه دیگر.