payamvha/North_RAG huggingface dataset:
را این‌طوری توصیف می‌کند: برادرهای بزرگترم هوادار فدائیان خلق (شاخه‌ی اکثریت) بودند، فعالیت سیاسی داشتند و مخفی زندگی می‌کردند. کمیته‌ای‌ها من و پدرم را نگه داشته بودند تا برادرها خودشان را معرفی بکنند. توی کمیته بی‌احترامی‌های زیادی به پدرم که آدم شناخته شده‌ای در منطقه بود، شد. هنوز که هنوز هست درد و رنج پدرم را در آن‌روزها فراموش نکرده‌ام، دو جای بدنش شکسته بود و من کنارش توی سلول نشسته بودم. سلیمانی تحصیلاتش را در دانشگاه کاشان در رشته هنرهای تجسمی (صنایع دستی) به پایان رساند. او در خلال خیزش ۱۴۰۱
(صنایع دستی) به پایان رساند. او در خلال خیزش ۱۴۰۱ ایران (در حالی‌که بعد از چند سال زندگی در تهران و دوری از گچساران به آن‌جا برگشته بود) بازداشت شد و به زندان قدوسی افتاد. فعالیت ادبی. سلیمانی در اواخر دههٔ ۱۳۷۰ کارش را با شعر شروع کرد و سپس در نیمهٔ دوم دههٔ ۱۳۸۰ به ادبیات داستانی و نمایشنامه‌نویسی و فیلمنامه‌نویسی ورود کرد. ابتدا مجموعه شعرِ "اشک خرس" را در سال ۱۳۸۳ چاپ کرد. پس از آن در سال ۱۳۸۸ داستان بلند "فصل‌هایی در برزخ" را از طریق "انتشارات آهنگ دیگر" منتشر کرد. سلیمانی دربارهٔ این داستان بلند
دیگر" منتشر کرد. سلیمانی دربارهٔ این داستان بلند می‌گوید: «زمانی که بوشهر سرباز نیروی دریایی بودم مأموریت می‌بردنمان به جزیرهٔ فارسی، جزیره‌ای کوچیک که به‌نوعی دورترین نقطهٔ مرزی کشور بود، روایت داستان فصل‌هایی در برزخ در آن جزیره می‌گذرد…» سال ۱۳۹۱ رمان "رطوبتی‌ها" را از "انتشارات آهنگ دیگر" منتشر کرد. این رمان جزء انتخابی‌های مرحلهٔ پایانی ادبیات متفاوت بود. با ورود به دانشگاه دولتی کاشان، در رشتهٔ صنایع دستی، در سن سی و هشت سالگی کار تئاتر را به‌شکلی جدی با دانشجوها شروع کرد و سپس هم‌زمان نمایش‌های
جدی با دانشجوها شروع کرد و سپس هم‌زمان نمایش‌های زیادی را بیرون از دانشگاه نوشت و کارگردانی کرد. علاوه بر اجرای عمومی در دانشگاه کاشان، در شهرستان‌های جنوبی ایران، از جمله گچساران، یاسوج، بهبهان و همچنین در سال ۱۳۹۸ و ۱۳۹۹ و ۱۴۰۰ اجراهای متعددی در تماشاخانه‌های مستقل تهران داشته‌است. به گفتهٔ سلیمانی، نمایش «کفشدوزک‌ها حوالی میدان انقلاب» که ماه‌ها صرف تمرین و آماده شدنش برای اجرای عموم در تماشاخانه شهرزاد (پردیس تئاتر شهرزاد) شده بود، یک‌شب قبل از اجرا به دلیل پرداختن به زندان و اعدام جلویش گرفته شد. سال
دلیل پرداختن به زندان و اعدام جلویش گرفته شد. سال ۹۵ نمایش «اسبِ چشمه» به نویسندگی و کارگردانی سلیمانی به تئاتر بین‌المللی فجر معرفی شد. سلیمانی در سال ۱۴۰۰ رمانِ «هواپیما بیا بشین قلیون بکش» را از انتشاراتی نودا چاپ کرده‌است.
فرشته‌ای به بابل می‌آید (به آلمانی: Ein Engel kommt nach Babylon، به انگلیسی: An Angel Comes to Babylon) نمایشنامه‌ای از فریدریش دورنمات است که در سال ۱۹۵۳ نگارش شده‌است. خلاصه نمایشنامه. پادشاه بابل، بخت‌النصر، قصد دارد در راستای کمال امپراتوری خود، گدایی را به طور کامل از بین ببرد. از آنجا که در گذشته نتوانسته آخرین گدای بابل، آکی را به خدمت خود درآورد، خود لباس گدایی می‌پوشد و خود را انشمش‌تکلکو، گدایی نینوایی معرفی می‌کند. فرشته‌ای در لباس گدایی با خود کوروبی، دختری محجبه و بهشتی را می‌آورد تا او را به
دختری محجبه و بهشتی را می‌آورد تا او را به پست‌ترین آدمیان، که در اینجا منظور آکی گدا است، هدیه دهد. از آنجا که فرشته، آکی و بخت‌النصر در لباس گدایی یک‌دیگر را ملاقات می‌کنند، هر کدام در مأموریت خود شک کرده و آکی مسابقه‌ای طراحی می‌کند. در این مسابقه که از طلوع آفتاب برگزار می‌شود، اگر بخت‌النصر بهتر گدایی کرد آکی باید گدایی را کنار گذاشته و خود را به دولت معرفی کند؛ در صورتی که آکی بهتر گدایی کرد، بخت‌النصر باید به نینوا بازگردد و آکی می‌تواند به گدایی ادامه دهد. در این مسابقه از شهروندان مختلف بابل که
دهد. در این مسابقه از شهروندان مختلف بابل که به‌ترتیب دو کارگر، انگیبی (شیر خر فروش)، تبتوم، گیمیل (بانکدار بابل) و سه سرباز که نمرود شاه سابق بابل را زندانی کرده‌اند گدایی می‌کنند. آکی در تمام مسابقه‌ها پیروز می‌شود و به‌عنوان آخرین گدایی خود، نمرود را گدایی می‌کند. فرشته از آنجا که مأموریت داشته کوروبی را به پست‌ترین آدمیان دهد، کوروبی را به بخت‌النصر هدیه می‌دهد. بخت‌النصر کوروبی را همراه با چند سکه به آکی می‌دهد و در ازای آن نمرود را می‌گیرد. آکی همراه با کوروبی زندگی می‌کند و شاه بابل تصمیم می‌گیرد از
کوروبی زندگی می‌کند و شاه بابل تصمیم می‌گیرد از توانایی‌های آکی استفاده کند و برای او شرط می‌کند یا به پادشاهی‌اش بپیوندد یا اعدام می‌شود. در این حین مردم بابل عاشق کوروبی می‌شوند و هر کدام سعی می‌کندد با شاعری عشق خود را به کوروبی نشان دهند. فرشته در ظاهر بهشتی خود ظاهر می‌شود تا از وضعیت کوروبی باخبر شود و برای گشت‌وگذار بیشتر در زمین آن‌جا را ترک می‌کند. مردم با فهمیدن این موضوع که کوروبی دختری بهشتی است شورش کرده و او را با خود به قصر بخت‌النصر می‌برند تا پادشاه با او ازدواج کند. آکی تنها می‌شود و با
تا پادشاه با او ازدواج کند. آکی تنها می‌شود و با فرا رسیدن ضرب‌الاجل بخت‌النصر، جلادی برای اعدام آکی حاضر می‌شود اما آکی مغازهٔ کتاب‌فروشی دست‌دومی را که گدایی کرده در ازای شغل او مبادله می‌کند. آکی در لباس جلادی مقابل بخت‌النصر حضور پیدا می‌کند و همراه با کوروبی از قصر بخت‌النصر فرا می‌کنند. ترجمه فارسی. برای اولین بار علی نجیمی این نمایشنامه را به فارسی ترجمه کرده‌است.
جنگ یوتا که همچنین به عنوان اعظام یوتا، لشکرکشی یوتا، اشتباه بیوکنن، جنگ مورمون‌ها یا شورش مورمون‌ها نیز شناخته می‌شود، رویارویی مسلحانه میان مهاجران مورمون در قلمرو یوتا و نیروهای مسلح دولت ایالات متحده از مه ۱۸۵۷ تا ژوئیه ۱۸۵۸ بود. تعدادی تلفات نیز وجود داشت که بیشتر آن‌ها غیرنظامیان غیرمورمون بودند. این جنگ هیچ نبرد نظامی قابل توجهی نداشت. تاریخ. در سال‌های ۱۸۵۷–۱۸۵۸، رئیس‌جمهور جیمز بیوکنن نیروهای ایالات متحده را به قلمروی یوتا فرستاد که به عنوان اعظام یوتا شناخته شد. اعضای کلیسای عیسی مسیح قدیسان
یوتا شناخته شد. اعضای کلیسای عیسی مسیح قدیسان آخرالزمان (LDS)، معروف به مورمون‌ها یا قدیسان آخرالزمان، نگران بودند که نیروی نظامی بزرگ ایالات متحده برای نابودی آن‌ها فرستاده شده باشد و به آزار و شکنجه بپردازند، بنابراین برای دفاع آماده شدند. اگرچه دولت ایالات متحده سعی داشت از خونریزی اجتناب کند و همچنین امیدوار بود که هدف آن بدون از دست دادن جان افراد محقق شود، هر دو طرف برای جنگ آماده شدند. مورمون‌ها اسلحه‌های گرم را ساخته یا تعمیر می‌کردند، داس‌ها را به سرنیزه تبدیل می‌کردند و شمشیرهایی را که مدت‌ها
به سرنیزه تبدیل می‌کردند و شمشیرهایی را که مدت‌ها استفاده نشده بود را صیقلی و تیز می‌کردند. مورمون‌ها راه ورود ارتش ایالات متحده به دره دریاچه نمک را مسدود کردند و با ممانعت از دریافت آذوقه آن‌ها را تضعیف کردند. رویارویی میان شبه‌نظامیان مورمون به نام لژیون نائوو و ارتش ایالات متحده شامل تخریب اموال و چند درگیری کوتاه در منطقه جنوب غربی وایومینگ امروزی بود، اما هیچ نبردی میان نیروهای نظامی متخاصم رخ نداد. در اوج تنش‌ها، در ۱۱ سپتامبر ۱۸۵۷، حداقل ۱۲۰ شهرک‌نشین مقیم کالیفرنیا از آرکانزاس، میسوری و سایر
مقیم کالیفرنیا از آرکانزاس، میسوری و سایر ایالت‌ها، شامل مردان، زنان و کودکان غیرمسلح، در جنوب غربی یوتا توسط گروهی از شبه‌نظامیان محلی مورمون کشته شدند. . آن‌ها ابتدا ادعا کردند که مهاجران توسط سرخ‌پوستان کشته شده‌اند، اما خلاف آن ثابت شد. این رویداد بعدها کشتار مراتع کوهستان نامیده شد و انگیزه‌های پشت این حادثه هنوز مشخص نیست. کشتار آیکن در ماه بعد اتفاق افتاد. در اکتبر ۱۸۵۷، مورمون‌ها شش شهروند کالیفرنیایی را که در یوتا سفر می‌کردند دستگیر کردند و آن‌ها را به جاسوسی برای ارتش ایالات متحده متهم کردند.
را به جاسوسی برای ارتش ایالات متحده متهم کردند. آن‌ها آزاد شدند اما بعداً به قتل رسیدند و سهام و ۲۵٬۰۰۰ پول دلار آن‌ها ربوده شد. سایر حوادث خشونت‌آمیز نیز به جنگ یوتا مرتبط شده‌است، از جمله حمله بومیان آمریکایی به مأموریت مورمون فورت لمهی در منطقه اورگان شرقی، آیداهو امروزی. آن‌ها دو مورمون را کشتند و چند نفر دیگر را زخمی کردند. بریگام مدسن، مورخ، خاطرنشان می‌کند: «مسئولیت [حمله به قلعه لیمهی] عمدتاً بر عهده قبیله بانوک بود.» دیوید بیگلر نتیجه می‌گیرد که حمله احتمالاً توسط اعضای اعزام یوتا انجام شده‌است که
احتمالاً توسط اعضای اعزام یوتا انجام شده‌است که در تلاش بودند تا انبارهای حیوانات خود را که توسط مهاجمان مورمون دزدیده شده بود، پر کنند. با در نظر گرفتن همه حوادث، مک کینون تخمین می‌زند که تقریباً ۱۵۰ نفر در نتیجه مستقیم جنگ یوتا که یک سال طول کشید جان خود را از دست دادند، از جمله ۱۲۰ مهاجر که در کوهستان میدوز کشته شدند. او اشاره می‌کند که این نزدیک به تعداد کشته‌شدگان در طول هفت سال مبارزه همزمان در " خونریزی کانزاس " بود. در پایان، مذاکرات میان ایالات متحده و قدیسان آخرالزمان منجر به عفو کامل قدیسان به
و قدیسان آخرالزمان منجر به عفو کامل قدیسان به جز کسانی که در کشتار مراتع کوهستان دخیل بودند، شد. سپس فرد غیرمورمونی به نام آلفرد کامینگ فرمانداری یوتا را به جای بریگم یانگ در دست گرفت و ارتش ایالات متحده به صورت صلح‌آمیز به یوتا وارد شد.
کالامازو؟ (به ) یک فیلم کمدی آمریکایی محصول سال ۲۰۰۶ میلادی، به کارگردانی دیوید اومالی و بازی جوزی دیویس، ماییم بیالیک و جوآنا کلر اسکات است که فیلمنامه را نیز نوشته‌است. این فیلم به‌طور کامل در شهر کالامزو، میشیگان فیلمبرداری شده‌است. داستان. کارول (جوزی دیویس)، مگی (مییم بیالیک) و جوآن (جوانا کلر اسکات) سه دوست صمیمی هستند که راه‌های متفاوتی را در زندگی خود در پیش گرفته‌اند. دختران برای جشن ۱۰ سالگی فارغ‌التحصیلی خود به کالامازو، میشیگان برمی‌گردند، اما متوجه می‌شوند، کپسول زمانی که در شب فارغ‌التحصیلی
متوجه می‌شوند، کپسول زمانی که در شب فارغ‌التحصیلی آن‌ها قرار داده شده بود وحاوی پیش‌بینی‌هایی بود که آنها از زندگی و آینده خود داشتند؛ قرار است در طی این مراسم باز و خوانده شود. آن‌ها از این که اهداف دست نیافتنی شان برملا شود وحشت زده می‌شوند و تصمیم می‌گیرند هر طور که شده کپسول زمان را بدزدند و آن را نابود کنند. اما آنها باید با زندگی و خاطراتی که پشت سر گذاشتند، از جمله عشق‌های سابق و خانواده، کنار بیایند.
خوزه پرز (؛ زادهٔ ) بازیکن سابق فوتبال اهل اسپانیا است که در پست دروازه‌بان بازی می‌کرد. او در ۱۲۵ مسابقه سگوندا دیویسیون در شش فصل در خدمت باشگاه فوتبال خرس بازی کرد.
کشتار مراتع کوهستان (انگلیسی: Mountain Meadows Massacre؛ ۷ تا ۱۱ سپتامبر ۱۸۵۷) مجموعه‌ای از حملات در طول جنگ یوتا بود که منجر به قتل‌عام حداقل ۱۲۰ نفر از اعضای مهاجر کاروان درشکه بیکر-فانچر شد. این کشتار در مراتع کوهستانی قلمروی یوتا توسط مهاجران مورمون متعلق به شبه‌نظامیان یوتا (که رسماً لژیون نائوو نامیده می‌شدند) با همکاری برخی قبایل سرخ‌پوست انجام شد. این کاروان درشکه که بیشتر از خانواده‌های آرکانزاسی تشکیل شده بود، به سمت کالیفرنیا حرکت می‌کرد. آن‌ها پس از رسیدن به سالت لیک سیتی، به سمت جنوب حرکت کردند
از رسیدن به سالت لیک سیتی، به سمت جنوب حرکت کردند و در نهایت برای استراحت در مراتع کوهستانی توقف کردند. هنگامی که گروه در حال سفر به غرب بود، شایعاتی در مورد رفتار مورمون‌ها به گوش می‌رسید و هیجان جنگی نسبت به افراد خارجی در نتیجه اعزام نظامی رئیس‌جمهور بیوکنن به یوتا و اعلام حکومت نظامی توسط فرماندار بریگم یانگ در پاسخ به آن، بیداد می‌کرد. در حالی که مهاجران در چمنزار اردو زده بودند، رهبران شبه‌نظامی محلی، از جمله ایزاک سی. هایت و جان دی. لی، برنامه‌هایی را برای حمله به کاروان طراحی کردند. رهبران
را برای حمله به کاروان طراحی کردند. رهبران شبه‌نظامی، که می‌خواستند تصوری از خصومت‌های قبیله‌ای ایجاد کنند، پایوت‌های جنوبی را متقاعد کردند که با گروه بزرگ‌تری از شبه‌نظامیان که در لباس‌های بومی‌های آمریکایی ظاهر شده بودند، به گروه حمله کند. در اولین حمله شبه‌نظامیان به کاروان، مهاجران به مقابله پرداختند و یک محاصره پنج روزه رخ داد. در نهایت، ترس در میان رهبران شبه‌نظامی گسترش یافت که برخی از مهاجران چشمان مردان سفیدپوست را دیده‌اند و احتمالاً هویت واقعی بیشتر مهاجمان را تشخیص داده‌اند. در نتیجه، فرمانده
مهاجمان را تشخیص داده‌اند. در نتیجه، فرمانده شبه‌نظامی ویلیام اچ دیم به نیروهای خود دستور داد که مهاجران را بکشند. در این زمان، آب و آذوقه مهاجران رو به اتمام بود و به چند تن از اعضای شبه‌نظامیان - که با پرچم سفید نزدیک می‌شدند - اجازه ورود به اردوگاه داده شد. اعضای شبه‌نظامی به مهاجران اطمینان دادند که جان آن‌ها در امان است و مهاجران پس از تحویل اسلحه با همراهی شبه‌نظامیان از موقعیت خود خارج شدند. پس از طی مسافتی از اردوگاه، نظامیان با کمک نیروهای کمکی که در آن نزدیکی پنهان شده بودند، به مهاجران حمله
که در آن نزدیکی پنهان شده بودند، به مهاجران حمله کردند. عاملان همه بزرگسالان و کودکان بزرگتر گروه را کشتند و در نهایت تنها هفده کودک کمتر از هفت سال را زنده گذاشتند. پس از قتل‌عام، عاملان برخی از بقایای اجساد را دفن کردند اما در نهایت بیشتر اجساد را در معرض حملات حیوانات وحشی و آب‌وهوا قرار دادند. خانواده‌های محلی کودکان بازمانده را تحویل گرفتند و بسیاری از دارایی‌های قربانیان و احشام باقی‌مانده به حراج گذاشته شد. تحقیقات جنایی که با جنگ داخلی آمریکا قطع شد، منجر به ۹ کیفرخواست در سال ۱۸۷۴ شد. از میان
شد، منجر به ۹ کیفرخواست در سال ۱۸۷۴ شد. از میان مردانی که متهم شدند، تنها جان دی. لی در دادگاه محاکمه شد. پس از دو محاکمه در قلمرو یوتا، لی توسط هیئت منصفه مجرم شناخته و به اعدام محکوم شد و سرانجام توسط جوخه تیراندازی یوتا در ۲۳ مارس ۱۸۷۷ اعدام شد.
وب اسکرپینگ، گردآوری از وب، برداشت وب یا استخراج داده‌های وب، نوعی تراش‌دادن داده است که داده را از وب‌سایت استخراج می‌کند. این کار با استفاده از برنامه‌های کامپیوتری انجام می‌شود که می‌توانند کد HTML صفحات وب را تجزیه و تحلیل کرده و اطلاعات مورد نظر را استخراج کنند. در حالی که گردآوری از وب را می‌توان به صورت دستی توسط یک کاربر نرم‌افزار انجام داد، این اصطلاح معمولاً به فرآیندهای خودکار اجرا شده با استفاده از یک ربات یا خزنده وب اشاره دارد. این نوعی کپی است که در آن داده‌های خاصی از وب جمع‌آوری و کپی
است که در آن داده‌های خاصی از وب جمع‌آوری و کپی می‌شوند، معمولاً در یک پایگاه داده یا صفحه گسترده محلی مرکزی، برای بازیابی یا تجزیه و تحلیل بعدی. اسکرپینگ یک صفحه وب شامل واکشی آن و استخراج از آن است. واکشی بارگیری یک صفحه است (کاری که مرورگر زمانی که کاربر یک صفحه را مشاهده می‌کند انجام می‌دهد). بنابراین، خزیدن وب یکی از مؤلفه‌های اصلی گردآوری از وب برای واکشی صفحات برای پردازش بعدی است. پس از واکشی، استخراج می‌تواند انجام شود. محتوای یک صفحه ممکن است تجزیه، جستجو و قالب بندی مجدد شود و داده‌های آن در یک
جستجو و قالب بندی مجدد شود و داده‌های آن در یک صفحه گسترده کپی شده یا در پایگاه داده بارگذاری شود. اسکراپرهای وب معمولاً چیزی را از یک صفحه خارج می‌کنند تا از آن برای هدف دیگری در جای دیگری استفاده کنند. یک مثال می‌تواند یافتن و کپی کردن نام‌ها و شماره تلفن‌ها، شرکت‌ها و آدرس‌های اینترنتی آنها، یا آدرس‌های پست الکترونیکی در یک لیست (خراش دادن مخاطبین) باشد. و همچنین تحلیل تماس، وب اسکرپینگ به عنوان جزئی از برنامه‌های کاربردی مورد استفاده برای نمایه سازی وب، وب کاوی و داده کاوی، نظارت بر تغییر قیمت آنلاین و
وب کاوی و داده کاوی، نظارت بر تغییر قیمت آنلاین و مقایسه قیمت، خراش بررسی محصول (برای تماشای رقابت)، جمع‌آوری لیست املاک، آب و هوا استفاده می‌شود. نظارت بر داده‌ها، تشخیص تغییر وب سایت، تحقیق، ردیابی حضور و شهرت آنلاین، آمیختگی وب و یکپارچه سازی داده‌های وب. صفحات وب با استفاده از زبان‌های نشانه‌گذاری مبتنی بر متن (HTML و XHTML) ساخته می‌شوند و اغلب حاوی داده‌های مفید فراوانی در قالب متن هستند. با این حال، بیشتر صفحات وب برای کاربران نهایی انسانی طراحی شده‌اند و نه برای سهولت استفاده خودکار. در نتیجه
شده‌اند و نه برای سهولت استفاده خودکار. در نتیجه ابزارها و نرم‌افزارهای تخصصی برای تسهیل خراش دادن صفحات وب ایجاد شده‌است. اشکال جدیدتر گردآوری از وب شامل نظارت بر فیدهای داده از سرورهای وب است. به عنوان مثال، جی‌سان معمولاً به عنوان مکانیزم ذخیره‌سازی انتقال بین مشتری و وب سرور استفاده می‌شود. روش‌هایی وجود دارد که برخی از وب سایت‌ها از آنها برای جلوگیری از خراش وب استفاده می‌کنند، مانند شناسایی و ممنوع کردن ربات‌ها از خزیدن (مشاهده) صفحات خود. در پاسخ، سیستم‌های اسکرپینگ وب وجود دارند که بر استفاده از
سیستم‌های اسکرپینگ وب وجود دارند که بر استفاده از تکنیک‌هایی در تجزیه DOM، بینایی رایانه و پردازش زبان طبیعی برای شبیه‌سازی مرور انسان برای فعال کردن جمع‌آوری محتوای صفحه وب برای تجزیه آفلاین متکی هستند. تاریخ. تاریخچه وب اسکرپینگ تقریباً به زمانی برمی گردد که وب جهانی متولد شد. تکنیک. خراش وب فرایند استخراج خودکار داده‌ها یا جمع‌آوری اطلاعات از شبکه جهانی وب است. این حوزه ای با پیشرفت‌های فعال است که هدف مشترکی با چشم‌انداز وب معنایی دارد، یک ابتکار بلندپروازانه که هنوز به پیشرفت‌هایی در پردازش متن، درک
که هنوز به پیشرفت‌هایی در پردازش متن، درک معنایی، هوش مصنوعی و تعامل انسان و رایانه نیاز دارد. کپی و پیست انسانی. ساده‌ترین شکل وب اسکرپینگ، کپی و چسباندن دستی داده‌ها از یک صفحه وب در یک فایل متنی یا صفحه گسترده‌است. گاهی حتی بهترین فناوری گردآوری از وب نمی‌تواند جایگزین معاینه دستی انسان و کپی و چسباندن شود، و گاهی ممکن است این تنها راه حل قابل اجرا باشد زمانی که وب‌سایت‌های خراش دادن به صراحت موانعی را برای جلوگیری از اتوماسیون ماشین ایجاد می‌کنند. تطبیق الگوی متن. یک رویکرد ساده و در عین حال قدرتمند
الگوی متن. یک رویکرد ساده و در عین حال قدرتمند برای استخراج اطلاعات از صفحات وب می‌تواند بر اساس دستور grep یونیکس یا امکانات تطبیق بیان منظم زبان‌های برنامه‌نویسی (مثلاً پرل یا پایتون) باشد. برنامه‌نویسی HTTP. صفحات وب استاتیک و پویا را می‌توان با ارسال درخواست‌های HTTP به وب سرور راه دور با استفاده از برنامه‌نویسی سوکت بازیابی کرد. تجزیه HTML. بسیاری از وب سایت‌ها دارای مجموعه‌های بزرگی از صفحات هستند که به صورت پویا از یک منبع ساختار یافته مانند پایگاه داده تولید می‌شوند. داده‌های یک دسته معمولاً توسط
داده تولید می‌شوند. داده‌های یک دسته معمولاً توسط یک اسکریپت یا قالب مشترک در صفحات مشابه کدگذاری می‌شوند. در داده کاوی، برنامه ای که چنین قالب‌هایی را در یک منبع اطلاعاتی خاص شناسایی می‌کند، محتوای آن را استخراج می‌کند و آن را به شکل رابطه ای ترجمه می‌کند، wrapper نامیده می‌شود. الگوریتم‌های تولید Wrapper فرض می‌کنند که صفحات ورودی یک سیستم القایی wrapper با یک الگوی رایج مطابقت دارند و می‌توان آن‌ها را به راحتی از نظر یک طرح URL مشترک شناسایی کرد. علاوه بر این، برخی از زبان‌های پرس و جوی داده نیمه
بر این، برخی از زبان‌های پرس و جوی داده نیمه ساختاریافته، مانند XQuery و HTQL، می‌توانند برای تجزیه صفحات HTML و برای بازیابی و تبدیل محتوای صفحه استفاده شوند. تجزیه DOM. با تعبیه یک مرورگر وب کامل، مانند اینترنت اکسپلورر یا کنترل مرورگر موزیلا، برنامه‌ها می‌توانند محتوای پویا تولید شده توسط اسکریپت‌های سمت سرویس گیرنده را بازیابی کنند. این کنترل‌های مرورگر همچنین صفحات وب را به یک درخت DOM تجزیه می‌کنند، که بر اساس آن برنامه‌ها می‌توانند بخش‌هایی از صفحات را بازیابی کنند. از زبان‌هایی مانند Xpath می‌توان
را بازیابی کنند. از زبان‌هایی مانند Xpath می‌توان برای تجزیه درخت DOM حاصل استفاده کرد. تجمع عمودی. چندین شرکت وجود دارند که سکوهای برداشت عمودی خاص را توسعه داده‌اند. این پلتفرم‌ها تعداد زیادی «ربات» را برای عمودهای خاص بدون «مرد در حلقه» (بدون دخالت مستقیم انسان)، و هیچ کار مرتبط با یک سایت هدف خاص ایجاد و نظارت می‌کنند. آماده‌سازی شامل ایجاد پایگاه دانش برای کل عمودی است و سپس پلت فرم به‌طور خودکار ربات‌ها را ایجاد می‌کند. استحکام پلتفرم با کیفیت اطلاعاتی که بازیابی می‌کند (معمولاً تعداد فیلدها) و
که بازیابی می‌کند (معمولاً تعداد فیلدها) و مقیاس‌پذیری آن (چقدر سریع می‌تواند به صدها یا هزاران سایت برسد) اندازه‌گیری می‌شود. این مقیاس‌پذیری بیشتر برای هدف قرار دادن Long Tail از سایت‌هایی استفاده می‌شود که جمع‌آوری‌کننده‌های معمولی آن‌ها را پیچیده یا بسیار سخت برای برداشت محتوا می‌دانند. تشخیص حاشیه نویسی معنایی. صفحاتی که خراشیده می‌شوند ممکن است دارای متادیتا یا نشانه گذاری‌های معنایی و حاشیه نویسی باشند که می‌توانند برای مکان‌یابی تکه‌های داده خاص استفاده شوند. اگر حاشیه‌نویسی‌ها در صفحات جاسازی
استفاده شوند. اگر حاشیه‌نویسی‌ها در صفحات جاسازی شوند، همان‌طور که Microformat انجام می‌دهد، این تکنیک را می‌توان به عنوان یک مورد خاص از تجزیه DOM مشاهده کرد. در موردی دیگر، حاشیه نویسی‌ها که در یک لایه معنایی سازماندهی شده‌اند، به‌طور جداگانه از صفحات وب ذخیره و مدیریت می‌شوند، بنابراین اسکراپرها می‌توانند طرح داده‌ها و دستورالعمل‌ها را قبل از خراش دادن صفحات از این لایه بازیابی کنند. تجزیه و تحلیل صفحه وب بینایی کامپیوتری. تلاش‌هایی با استفاده از یادگیری ماشین و بینایی رایانه‌ای وجود دارد که تلاش می‌کند
ماشین و بینایی رایانه‌ای وجود دارد که تلاش می‌کند با تفسیر بصری صفحات مانند یک انسان، اطلاعات را از صفحات وب شناسایی و استخراج کند. نرم‌افزار. ابزارهای نرم‌افزاری زیادی وجود دارد که می‌توان از آنها برای سفارشی کردن راه حل‌های خراش وب استفاده کرد. این نرم‌افزار ممکن است سعی کند ساختار داده‌های یک صفحه را به‌طور خودکار تشخیص دهد یا یک رابط ضبط ارائه کند که نیاز به نوشتن دستی کدهای اسکرپینگ یا برخی از توابع اسکریپت‌نویسی را که می‌توانند برای استخراج و تبدیل محتوا مورد استفاده قرار گیرند، و رابط‌های
و تبدیل محتوا مورد استفاده قرار گیرند، و رابط‌های پایگاه‌داده‌ای که می‌توانند ذخیره کنند را برطرف کند. داده‌های خراشیده شده در پایگاه‌های داده محلی برخی از نرم‌افزارهای scraping وب نیز می‌توانند برای استخراج مستقیم داده‌ها از یک API استفاده شوند. مسائل حقوقی. قانونی بودن اسکرپینگ وب در سراسر جهان متفاوت است. به‌طور کلی، گردآوری از وب ممکن است بر خلاف شرایط استفاده برخی از وب سایت‌ها باشد، اما قابل اجرا بودن این شرایط نامشخص است. ایالات متحده. در ایالات متحده، صاحبان وب‌سایت‌ها می‌توانند از سه ادعای حقوقی
صاحبان وب‌سایت‌ها می‌توانند از سه ادعای حقوقی اصلی برای جلوگیری از حذف ناخواسته وب استفاده کنند: (۱) نقض حق چاپ (تدوین)، (۲) نقض قانون تقلب و سوء استفاده رایانه‌ای ("CFAA") و (۳) تجاوز چرت زدن. با این حال، اثربخشی این ادعاها متکی بر رعایت معیارهای مختلف است و رویه قضایی هنوز در حال تحول است. به عنوان مثال، با توجه به حق چاپ، در حالی که تکرار آشکار عبارت اصلی در بسیاری از موارد غیرقانونی است، در ایالات متحده دادگاه‌ها در "انتشارات Feist v." "خدمات تلفن روستایی" که تکرار حقایق مجاز است. دادگاه‌های ایالات
که تکرار حقایق مجاز است. دادگاه‌های ایالات متحده اذعان کرده‌اند که کاربران «خراشنده‌ها» یا «ربات‌ها» ممکن است در قبال ارتکاب تجاوز به خانه‌ها مسئول شناخته شوند، که شامل خود یک سیستم رایانه‌ای به عنوان دارایی شخصی تلقی می‌شود که کاربر خراش‌دهنده به آن تجاوز می‌کند. شناخته شده‌ترین این موارد، "eBay v." "Bidder's Edge" منجر به دستوری شد که به Bidder's Edge دستور داد دسترسی، جمع‌آوری و نمایه‌سازی مزایده‌ها را از وب‌سایت eBay متوقف کند. این مورد شامل ارائه خودکار پیشنهادهای، معروف به حراج sniping بود. با این
پیشنهادهای، معروف به حراج sniping بود. با این حال، برای موفقیت در ادعای تجاوز به اموال، شاکی باید نشان دهد که مدعی علیه عمداً و بدون مجوز با منافع مالکانه شاکی در سیستم رایانه ای تداخل کرده و استفاده غیرمجاز متهم باعث خسارت به شاکی شده‌است. همه پرونده‌های عنکبوت وب که در دادگاه‌ها مطرح شده‌اند، تجاوز به مالکان تلقی نشده‌اند. یکی از اولین آزمایش‌های مهم تراشیدن صفحه، خطوط هوایی آمریکا (AA) و شرکتی به نام FareChase بود. AA با موفقیت دستوری را از یک دادگاه محاکمه تگزاس دریافت کرد و FareChase را از فروش
محاکمه تگزاس دریافت کرد و FareChase را از فروش نرم‌افزاری که به کاربران امکان می‌دهد در صورتی که نرم‌افزار وب سایت AA را جستجو کند، قیمت‌های آنلاین را مقایسه کنند، متوقف کرد. این شرکت هواپیمایی استدلال می‌کند که نرم‌افزار جستجوی وب FareChase هنگام جمع‌آوری داده‌های در دسترس عموم، به سرورهای AA نفوذ کرده‌است. FareChase در مارس ۲۰۰۳ درخواست تجدید نظر داد. تا ژوئن، FareChase و AA موافقت کردند که به توافق برسند و درخواست تجدید نظر لغو شد. خطوط هوایی ساوت وست نیز شیوه‌های خراش دادن صفحه نمایش را به چالش
وست نیز شیوه‌های خراش دادن صفحه نمایش را به چالش کشیده‌است و هم FareChase و هم شرکت دیگری به نام Outtask را درگیر یک ادعای حقوقی کرده‌است. شرکت هواپیمایی ساوت وست، خراش دادن صفحه را غیرقانونی دانسته‌است زیرا نمونه ای از «تقلب و سوء استفاده رایانه ای» است و منجر به «آسیب و ضرر» و «دسترسی غیرمجاز» به سایت Southwest شده‌است. همچنین شامل «تداخل در روابط تجاری»، «تجاوز» و «دسترسی مضر توسط رایانه» است. آنها همچنین ادعا کردند که خراش دادن صفحه نمایش چیزی است که از نظر قانونی به عنوان «اختلاس و غنی سازی ناعادلانه»
نظر قانونی به عنوان «اختلاس و غنی سازی ناعادلانه» شناخته می‌شود، و همچنین نقض توافق کاربر وب سایت است. Outtask همه این ادعاها را رد کرد و ادعا کرد که قانون حاکم، در این مورد، باید قانون حق نسخه برداری ایالات متحده باشد و طبق حق چاپ، قطعات اطلاعاتی که خراشیده می‌شوند مشمول حمایت حق نسخه برداری نمی‌شوند. اگرچه این پرونده‌ها هرگز در دادگاه عالی ایالات متحده حل نشد، اما FareChase در نهایت توسط شرکت مادر یاهو بسته شد! و Outtask توسط شرکت هزینه سفر Concur خریداری شد. در سال ۲۰۱۲، استارتاپی به نام 3Taps تبلیغات
شد. در سال ۲۰۱۲، استارتاپی به نام 3Taps تبلیغات طبقه‌بندی شده مسکن را از Craigslist حذف کرد. Craigslist نامه ای برای 3Taps ارسال کرد و آدرس‌های IP آنها را مسدود کرد و بعداً در "Craigslist v. 3Taps" شکایت کرد. دادگاه اعلام کرد که نامه توقف و توقف و مسدود کردن IP برای Craigslist کافی است تا به درستی ادعا کند که 3Taps قانون کلاهبرداری و سوء استفاده رایانه ای را نقض کرده‌است. اگرچه اینها تصمیمات اولیه حذف هستند و تئوری‌های مسئولیت یکسان نیستند، اما نادیده گرفتن الگویی که دادگاه‌ها آمادگی دارند از محتوای
گرفتن الگویی که دادگاه‌ها آمادگی دارند از محتوای اختصاصی سایت‌های تجاری در برابر استفاده‌هایی که برای صاحبان چنین سایت‌هایی نامطلوب است محافظت کنند دشوار است. با این حال، میزان حفاظت از چنین محتوایی مشخص نیست و به نوع دسترسی ایجاد شده توسط اسکراپر، میزان دسترسی و کپی کردن اطلاعات، میزان تأثیر نامطلوب دسترسی بر سیستم مالک سایت و انواع و نحوه آن بستگی دارد. ممنوعیت چنین رفتاری در حالی که قانون در این زمینه ثابت‌تر می‌شود، نهادهایی که در نظر دارند از برنامه‌های خراش دادن برای دسترسی به یک وب‌سایت عمومی
خراش دادن برای دسترسی به یک وب‌سایت عمومی استفاده کنند، باید با بررسی شرایط استفاده و سایر شرایط یا اعلامیه‌های ارسال شده در سایت یا در دسترس قرار گرفتن از طریق این سایت، در نظر بگیرند که آیا چنین اقدامی مجاز است یا خیر. در حکمی در سال ۲۰۱۰ در "Cvent, Inc." ایونت‌برایت در دادگاه منطقه ای ایالات متحده برای ناحیه شرقی ویرجینیا، دادگاه حکم داد که شرایط استفاده باید در معرض توجه کاربران قرار گیرد تا قرارداد بسته‌بندی مرور یا مجوز اجرا شود. در یک پرونده در سال ۲۰۱۴، که در دادگاه منطقه ای ایالات متحده برای ناحیه