موضوع مقاله: سیستم مدیریت جویبار داده | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # سیستم مدیریت جویبار داده | مقدمه: یک DSMS همچنین یک پردازش پرس و جوی انعطاف‌پذیر را ارائه می‌دهد به طوری که اطلاعات مورد نیاز بیان شده می‌تواند با استفاده از آن نمایش داده شود. | ## بخش 1: سیستم مدیریت جویبار داده | اما در مقایسه با یک DBMS یک DSMS یک پرس و جو مستمر را اجرا می‌کند که نه تنها یک بار انجام می‌شود، بلکه به طور دائم نصب شده است؛ بنابراین پرس و جو به طور مداوم تا زمانی که آن را به صراحت حذف نکنیم، اجرا می‌شود. این مفهوم اساسی شبیه به پردازش رخداد مجتمع است به طوری که هردو فناوری تا حدودی یکی هستند. سیستم مدیریت پایگاه داده (DBMS) سیستم مدیریت جویبار داده (DSMS)داده‌های ماندگار (روابط)جریان داده‌های فراربا دسترسی تصادفیدسترسی ترتیبیپرس و جوهای یک بارهپرس و جوهای مداوم و مستمر(از لحاظ تئوری) فضای ذخیره‌سازی ثانویه نامحدودحافظه اصلی محدودتنها به حالت فعلی وابسته استترتیب ورودی را در نظر می‌گیردنرخ به روز رسانی نسبتاً پایینبه طور بالقوه نرخ به روز رسانی بسیار بالانیازمندی‌های کمنیازمندی‌های بلادرنگداده‌های دقیق را دریافت می‌کندداده‌های منسوخ یا نادرست را دریافت می‌کند پردازش پرس و جو قابل برنامه‌ریزی وارد می‌شودداده‌های متغیر و مشخصات داده‌ها وارد می‌شود مدل‌های پردازش و جریان یکی از بزرگترین چالش‌هایی که یک DSMS دارد، رسیدگی به طور بالقوه به بی‌نهایت جریان داده با استفاده از یک مقدار ثابت از حافظه و هیچ گونه دسترسی تصادفی به داده‌ها است. روش‌های مختلفی به منظور محدود کردن مقدار داده‌ها در یک گذر وجود دارد که می‌توان آن‌ها را به دو نوع تقسیم کرد. نوع اول تکنیک‌های فشرده سازی است که سعی می‌کند داده هارا خلاصه کند و نوع دوم تکنیک‌های پنجره است که سعی می‌کند داده‌ها را به بخش‌های محدود تقسیم کند. فشرده‌سازی ایده پشت تکنیک‌های فشرده سازی این است که تنها یک خلاصه‌ای از داده‌ها، اما نه همه (خام) نقاط داده‌ها از جریانی از داده‌ها حفظ می‌شود. الگوریتم‌ها به وسیلهٔ استفاده از هیستوگرام‌ها یا طراحی، طیف وسیعی از نقاط تصادفی داده‌ها را به عنوان نمونه برای خلاصه سازی انتخاب می‌کند. به جای به خاطر سپردن هر نقطه داده‌ها، فشره سازی تنها حاصل جمع و تعداد موارد را نگه می‌دارد. با این حال باید ذکر شود که فشره سازی نمی‌تواند منعکس کننده اطلاعات دقیق باشد؛ بنابراین یک پردازش که بر اساس فشره سازی است ممکن است نتایج نادرست تولید کند. پنجره‌ها به جای استفاده از سیناپس برای فشرده سازی مشخصات کل جریان داده، تکنیک پنجره تنها به یک بخش از داده‌ها نگاه می‌کند. این روش براساس این ایده که تنها داده‌های اخیر مناسب هستند، عمل می‌کند؛ بنابراین یک پنجره به طور مداوم بخشی از جریان داده‌ها را برش می‌دهد. | ## بخش 2: سیستم مدیریت جویبار داده | به عنوان مثال ده عنصر اخیر جریان داده‌ها در طول پردازش مورد استفاده قرار می‌گیرند. انواع مختلفی از این پنجره‌ها وجود دارد مانند پنجره‌های کشویی که شبیه به لیست FIFO است یا پنجره‌های لغزان که بخش‌های متلاشی شده را برش می‌دهد. علاوه بر این پنجره‌ها می‌توانند براساس عناصرشان نیز فرق گذاشته شوند، به عنوان مثال در نظر گرفتن ده عنصر آخر یا براساس زمان فرق گذاشته شوند و ده ثانیهٔ آخر داده‌ها در نظر گرفته شوند. برای مثال روش‌هایی موجود است که از برچسب زمانی یا فواصل زمانی برای پنجره‌های سیستم گسترده یا پنجره‌های مبتنی بر بافر برای هر گام پردازش استفاده می‌کند. پردازش پرس و جو ای پنجره‌های کشویی نیز در پردازنده‌های موازی مناسب است که با بهره‌برداری از موازی سازی بین پنجره‌های مختلف یا در داخل محدودهٔ هر پنجره پیاده‌سازی می‌شود. پردازش پرس و جو از آنجایی که نمونه‌های اولیه بسیاری وجود دارد یک معماری استاندارد وجود ندارد. با این حال، اکثر DSMSها مبتنی بر پردازش پرس و جو در DBMS از تعریف زبان برای بیان پرس و جوها استفاده می‌کند که در نهایت به یک طرح از عامل‌ها ترجمه می‌شود. فرمول بندی پرسو جوهای مستمر فرمول بندی پرس و جوها عمدتاً با استفاده از زبان اعلانی مانند SQL در DBMS انجام می‌شود. از آنجا که هیچ زبان استاندارد پرس و جو برای بیان پرس و جوهای مستمر وجود ندارد، اما تعداد زیادی زبان و تفاوت بین زبان‌ها وجود دارد. روش‌های گرافیکی ای هم هستند که هر گام پردازش به وسلیهٔ یک جعبه و جریان پردازش توسط فلش‌هایی بین جعبه‌ها نمایش داده می‌شود. برای مثال اگر پنجره‌ها در حال استفاده برای پردازش هستند، تعریف یک پنجره باید بیان شود. | ## بخش 3: سیستم مدیریت جویبار داده | در StreamSQL یک پرس و جو با پنجره‌های کشویی برای ۱۰ عنصر آخر به نظر مانند شرح زیر است: این جریان به طور مداوم میانگین «قیمت» ۱۰ تاپل اخیر را محاسبه می‌کند، اما فقط آن تاپل‌هایی را مد نظر می‌گیرد که قیمت آن‌ها بیشتر از ۱۰۰٫۰ باشد. یک پرس و جو طرح یک گراف جهت‌دار که در آن گره‌ها به اپراتورها و لبه توصیف پردازش جریان است. بهینه‌سازی پرس و جوها منطقی پرس و جو برنامه را می‌توان بهینه‌سازی شده که به شدت بستگی به جریان مدل. مفاهیم اولیه برای بهینه‌سازی پیوسته نمایش داده شد برابر کسانی که از سیستم‌های پایگاه داده. علاوه بر این نیز وجود دارد که هزینه بر اساس تکنیک‌های بهینه‌سازی مانند در DBMS که در آن یک پرس و جو و طرح با کمترین هزینه انتخاب شده است از معادل پرس و جو برنامه. اما از آنجا که داده‌ها از یک جریان داده است ناشناخته در پیشبرد وجود دارد این آمار در DSMS. ممکن است به رعایت یک جریان داده‌ها برای برخی از زمان برای به دست آوردن برخی از آمار. با استفاده از این آمار پرس و جو نیز می‌تواند بهینه‌سازی شده بعد؛ بنابراین در مقایسه با یک DBMS برخی DSMS اجازه می‌دهد تا برای بهینه‌سازی پرس و جو و حتی در طول زمان اجرا؛ بنابراین یک DSMS نیاز به برخی از طرح مهاجرت استراتژی به جای یک پرس و جو در حال اجرا برنامه با یکی از جدید. تغییرات پرس و جوها پس از یک عملگر منطقی است که تنها مسئول معانی عمل می‌کند شامل هر الگوریتم منطقی پرس و جو طرح باید تبدیل به یک فایل اجرایی رسید. تمایز بین منطقی و فیزیکی اپراتور برنامه اجازه می‌دهد تا بیش از یک پیاده‌سازی برای همان عملگر منطقی است. | ## جمع‌بندی | پیوستن به، برای مثال، منطقی، همان، اگر چه آن را می‌تواند اجرا توسط الگوریتم‌های مختلف مانند یک حلقه تو در تو پیوستن یا مرتب کردن بر اساس ادغام پیوستن به.