موضوع مقاله: کامن کرال | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # کامن کرال | مقدمه: کامن کرال یک سازمان غیرانتفاعی ۵۰۱ (سی ۳) است که خزیدن وب را انجام می‌دهد و بایگانی‌ها و مجموعه داده‌های خود را به‌صورت آزاد در اختیار عموم قرار می‌دهد. | ## بخش 1: کامن کرال | همچنین کد متن‌باز برای پردازش مجموعه داده‌های کامن کرال به‌صورت عمومی در دسترس است. مجموعه داده‌های کامن کرال شامل آثار دارای حق تکثیر نیز می‌شود و از ایالات متحده تحت ادعای استفاده منصفانه توزیع می‌گردد. پژوهشگران در سایر کشورها گاهی با روش‌هایی نظیر مخلوط کردن تصادفی جملات یا اشاره دادن به مجموعه داده کامن کرال، تلاش می‌کنند از قوانین حق تکثیر در دیگر حوزه‌های قضایی عبور کنند. پس از آن آلمانی، روسی، ژاپنی، فرانسوی، اسپانیایی و چینی قرار دارند که هر کدام کمتر از ۶٪ اسناد را تشکیل می‌دهند. | ## بخش 2: کامن کرال | تاریخچه خدمات وب آمازون در سال ۲۰۱۲ میزبانی بایگانی کامن کرال را از طریق برنامه "مجموعه داده‌های عمومی" خود آغاز کرد. این سازمان در ژوئیه ۲۰۱۲ انتشار فایل‌های فراداده و خروجی متنی خزنده‌های خود را در کنار فایل‌های .arc آغاز کرد. در دسامبر ۲۰۱۲، blekko فراداده‌های موتور جستجویی را که از خزیدن‌های بین فوریه تا اکتبر ۲۰۱۲ گردآوری کرده بود، به کامن کرال اهدا کرد. این داده اهدایی کمک کرد کامن کرال «خزیدن خود را بهبود بخشد و در عین حال از هرزنامه، محتوای نامناسب و تأثیر بیش‌ازحد سئو دور بماند.» در سال ۲۰۱۳، کامن کرال به‌جای استفاده از خزنده سفارشی، از خزنده وب ناچ متعلق به آپاچی استفاده کرد. | ## بخش 3: کامن کرال | نسخه پالایش‌شده‌ای از کامن کرال برای آموزش مدل زبانی جی‌پی‌تی ۳ که در سال ۲۰۲۰ معرفی شد، مورد استفاده قرار گرفت. مرور زمانی داده‌های کامن کرال زیر داده‌های زیر از وبلاگ رسمی کامن کرال و API مربوط به کامن کرال گردآوری شده‌اند: تاریخ خزیدناندازه بر حسب TiBبیلیون صفحهتوضیحاتآوریل ۲۰۲۴۳۸۶۲.۷خزش از ۱۲ آوریل تا ۲۴ آوریل ۲۰۲۴ انجام شدفوریه/مارس ۲۰۲۴۴۲۵۳.۱۶خزش از ۲۰ فوریه تا ۵ مارس ۲۰۲۴ انجام شددسامبر ۲۰۲۳۴۵۴۳.۳۵خزش از ۲۸ نوامبر تا ۱۲ دسامبر ۲۰۲۳ انجام شدجوئن ۲۰۲۳۳۹۰۳.۱خزش از ۲۷ مه تا ۱۱ جوئن ۲۰۲۳ انجام شدآوریل ۲۰۲۳۴۰۰۳.۱خزش از ۲۰ مارس تا ۲ آوریل ۲۰۲۳ انجام شدفوریه ۲۰۲۳۴۰۰۳.۱۵خزش از ۲۶ ژانویه تا ۹ فوریه ۲۰۲۳ انجام شددسامبر ۲۰۲۲۴۲۰۳.۳۵خزش از ۲۶ نوامبر تا ۱۰ دسامبر ۲۰۲۲ انجام شداکتبر ۲۰۲۲۳۸۰۳.۱۵خزش در سپتامبر و اکتبر ۲۰۲۲ انجام شدآوریل ۲۰۲۱۳۲۰۳.۱نوامبر ۲۰۱۸۲۲۰۲.۶اکتبر ۲۰۱۸۲۴۰۳.۰سپتامبر ۲۰۱۸۲۲۰۲.۸اوت ۲۰۱۸۲۲۰۲.۶۵جولای ۲۰۱۸۲۵۵۳.۲۵جوئن ۲۰۱۸۲۳۵۳.۰۵مه ۲۰۱۸۲۱۵۲.۷۵آوریل ۲۰۱۸۲۳۰۳.۱مارس ۲۰۱۸۲۵۰۳.۲فوریه ۲۰۱۸۲۷۰۳.۴ژانویه ۲۰۱۸۲۷۰۳.۴دسامبر ۲۰۱۷۲۴۰۲.۹نوامبر ۲۰۱۷۲۶۰۳.۲اکتبر ۲۰۱۷۳۰۰۳.۶۵سپتامبر ۲۰۱۷۲۵۰۳.۰۱اوت ۲۰۱۷۲۸۰۳.۲۸جولای ۲۰۱۷۲۴۰۲.۸۹جوئن ۲۰۱۷۲۶۰۳.۱۶مه ۲۰۱۷۲۵۰۲.۹۶آوریل ۲۰۱۷۲۵۰۲.۹۴مارس ۲۰۱۷۲۵۰۳.۰۷فوریه ۲۰۱۷۲۵۰۳.۰۸ژانویه ۲۰۱۷۲۵۰۳.۱۴دسامبر ۲۰۱۶—۲.۸۵اکتبر ۲۰۱۶—۳.۲۵سپتامبر ۲۰۱۶—۱.۷۲اوت ۲۰۱۶—۱.۶۱جولای ۲۰۱۶—۱.۷۳جوئن ۲۰۱۶—۱.۲۳مه ۲۰۱۶—۱.۴۶آوریل ۲۰۱۶—۱.۳۳فوریه ۲۰۱۶—۱.۷۳نوامبر ۲۰۱۵۱۵۱۱.۸۲سپتامبر ۲۰۱۵۱۰۶۱.۳۲اوت ۲۰۱۵۱۴۹۱.۸۴جولای ۲۰۱۵۱۴۵۱.۸۱جوئن ۲۰۱۵۱۳۱۱.۶۷مه ۲۰۱۵۱۵۹۲.۰۵آوریل ۲۰۱۵۱۶۸۲.۱۱مارس ۲۰۱۵۱۲۴۱.۶۴فوریه ۲۰۱۵۱۴۵۱.۹ژانویه ۲۰۱۵۱۳۹۱.۸۲دسامبر ۲۰۱۴۱۶۰۲.۰۸نوامبر ۲۰۱۴۱۳۵۱.۹۵اکتبر ۲۰۱۴۲۵۴۳.۷سپتامبر ۲۰۱۴۲۲۰۲.۸اوت ۲۰۱۴۲۰۰۲.۸جولای ۲۰۱۴۲۶۶۳.۶آوریل ۲۰۱۴۱۸۳۲.۶مارس ۲۰۱۴۲۲۳۲.۸اولین خزش با ناچزمستان ۲۰۱۳۱۴۸۲.۳خزش از ۴ تا ۲۲ دسامبر ۲۰۱۳ انجام شدتابستان ۲۰۱۳ ? ?اولین خزش با .WARC از مه تا جوئن ۲۰۱۳۲۰۱۲ ? ?اولین خزش با .ARC از ژانویه تا جوئن ۲۰۱۲۲۰۰۹-۲۰۱۰ ? ?خزش از جولای ۲۰۰۹ تا سپتامبر ۲۰۱۰۲۰۰۸-۲۰۰۹ ? ?خزش از مه ۲۰۰۸ تا ژانویه ۲۰۰۹ جایزه دانشمند داده وب نورویگ کامن کرال به همراهی سرف‌سارا حامی جایزه «Norvig Web Data Science» است که برای دانشجویان و پژوهشگران در بنلوکس برگزار می‌شود. | ## جمع‌بندی | این جایزه به نام پیتر نورویگ نام‌گذاری شده است که رئیس کمیته داوری این جایزه نیز محسوب می‌شود.