موضوع مقاله: وب پنهان | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # وب پنهان | مقدمه: وب پنهان، وب عمیق یا دیپ وب بخشی از دنیای اینترنت و وب جهان‌گستر است که توسط موتورهای جستجوی معمولی فهرست نشده‌است. | ## بخش 1: وب پنهان | این مفهوم، در نقطهٔ مقابل «وب سطحی» است که برای هر کسی که از اینترنت استفاده می‌کند قابل دسترسی است. پایگاه‌های وب عمیق را می‌توان با یک نشانی اینترنتی مستقیم یا نشانی آی‌پی مشاهده کرد؛ اما ممکن است برای دسترسی به محتوای اصلی نیاز به واردکردن رمز عبور یا سایر اطلاعات امنیتی داشته باشد.Madhavan, J. استفاده‌های دیگر وب عمیق شامل رایانامه، بانکداری آنلاین، فضای ذخیره‌سازی ابری، صفحه‌ها و نمایه‌های شبکه‌های اجتماعی با دسترسی محدود و تالارهای گفت‌وگویی است که نیاز به ثبت‌نام برای مشاهدهٔ محتوا دارند. همچنین شامل خدمات نیازمند پرداخت، همانند ویدیو به‌درخواست و بعضی مجله‌ها و روزنامه‌های آنلاین است. برگمن گفت چگونه جستجو کردن در اینترنت را می‌توان با کشیدن یک شبکه در میان سطح یک اقیانوس مقایسه کرد: ممکن است که یک معامله خوب در شبکه بدست بیاید، اما ثروتی از اطلاعات وجود دارد که عمیق و در نتیجه از دست رفته‌است. بسیاری از اطلاعات وب بسیار پایین در سایت‌ها دفن شده‌اند، و موتورهای جستجوی استاندارد آن‌ها را پیدا نمی‌کنند. موتورهای جستجوی سنتی نمی‌توانند محتوای دیپ وب (وب عمیق) را ببینند یا بازیابی کنند. یک مقایسه از کوه یخ توسط دنیس شستاکوف نشان دهندهٔ تفاوت بین وب سطحی و دیپ وب است که در آن، وب سطحی قسمت روی آب و دیپ وب قسمت بسیار وسیع زیر آب است که دیده نمی‌شود. | ## بخش 2: وب پنهان | اندازه گرفتن یا تخمین زدن اندازه و عمق دیپ وب کاری غیرممکن است؛ زیرا اکثر پایگاه‌های داده، دارای اطلاعات قفل شده و رمزگذاری شده هستند. با این حال از آنجا که همیشه اطلاعات و سایت‌های بیشتری در حال اضافه شدن است می‌توان فرض کرد که دیپ وب در حال رشد در نرخی است که نمی‌توان برایش مقداری تعیین کرد. براوردهای مبتنی بر تعمیم دهی از یک مطالعه انجام شده در دانشگاه کالیفرنیا برکلی در سال ۲۰۰۱ اندیشید که دیپ وب حدوداً شامل ۷٫۵ پتابایت می‌شود. حدود ۳۰۰۰۰۰ دیپ وب سایت در سال ۲۰۰۴ در کل وب شناسایی شده، و با توجه به شستاکوف، حدود ۱۴۰۰۰ دیپ وب سایت در بخش روسی وب در سال ۲۰۰۶ وجود دارد. پیدایش واژه دیپ وب برگمن در یک مقاله در دیپ وب، یک مجله الکترونیکی انتشاراتی، ذکر کرد که جیل السورث از اصطلاح وب پنهان در سال ۱۹۹۴ استفاده کرد که به وب سایت‌هایی که توسط هیچ موتور جستجویی ثبت نام نشده بودند اشاره می‌کرد. برگمن به مقاله‌ای که توسط فرانک گارسیا در ژانویه سال ۱۹۹۶ نوشته شده بود اشاره کرد: «ممکن است یک سایت به دلایل منطقی‌ای طراحی شده باشد، ولی آن‌ها زحمت ثبت‌نام کردن آن در هیچ‌یک از موتورهای جستجو را به خود ندادند؛ بنابراین، هیچ‌کس نمی‌تواند آن‌ها را پیدا کند! من آن‌ها را وب مخفی می‌نامم.» یکی دیگر از استفاده‌های اولیه از اصطلاح وب مخفی توسط بروس مونت و متئو بی. کل از کتابخانه نرم‌افزار شخصی، در یک توصیف از اولین ابزار شناخته شده دیپ وب در یک مصاحبه مطبوعاتی در دسامبر سال ۱۹۹۶ بود. | ## بخش 3: وب پنهان | اولین استفاده از اصطلاح خاص دیپ وب، که در حال حاضر به‌طور کلی پذیرفته شده، در مطالعه مذکور برگمن رخ داده‌است. انواع محتوا روش‌هایی که از لیست شدن صفحات وب توسط مرورگرهای سنتی جلوگیری می‌کند ممکن است به‌عنوان یک یا بیشتر از موارد زیر طبقه‌بندی شود: وب متنی: صفحاتی با محتوای متفاوت برای دسترسی‌های مختلف به متون. (مثل محدوده‌هایی از آدرس‌های آی‌پی یا نتیجهٔ دنباله‌های قبلی) محتوای پویا: صفحات پویا که به عنوان پرسشی به پرس‌وجوهای ارسال شده برگردانده می‌شوند. نرم‌افزار: برخی از محتواها عمداً از اینترنت عادی مخفی شده‌اند، و تنها با نرم‌افزارهای خاصی مثل تور و آی تو پی یا سایر نرم‌افزارهای دارک نت قابل دسترسی هستند. تور به کاربران اجازه می‌دهد به وب سایت‌هایی که از آدرس دامنه .onion استفاده می‌کنند به صورت بی‌نام و مخفی کردن نشانی آی‌پی خود دسترسی پیدا کنند محتوای لینک‌نشده: صفحاتی که با صفحات دیگر لینک نشده‌اند، ممکن است توسط برنامه‌های پوششی وب از دسترسی به محتوا منع شوند. (به‌عنوان این لینک هم شناخته می‌شوند) همچنین موتورهای جستجو همیشه همهٔ بک لینک‌ها را از صفحات وب جستجو شده شناسایی نمی‌کند. آرشیوهای وب: سرویس‌های آرشیوی وب مثل «وی‌بک ماشین» کاربران را قادر به دیدن نسخهٔ آرشیو شدهٔ صفحات وب در طول زمان می‌سازد، شامل وب‌سایت‌هایی که غیرقابل دسترسی شده‌اند، و توسط موتورجستجوهایی مثل گوگل، لیست‌بندی نشده‌اند. روش‌های لیست‌بندی وقتی که همیشه ممکن نیست به‌طور مستقیم محتوای یک وب سرور خاص را کشف کرد به‌طوری‌که ممکن است لیست شده باشد، یک سایت به‌طور بالقوه می‌تواند به صورت غیر مستقیم به آن دسترسی داشته باشد (به دلیل آسیب‌پذیری کامپیوترها) برای کشف کردن محتوا در وب، موتورهای جستجو از خزندگان وب استفاده می‌کنند که لینک‌ها را از طریق پروتوکل شناخته شدهٔ اعداد پورت مجازی دنبال می‌کند. | ## جمع‌بندی | این تکنیک برای کشف کردن محتوا در وب سطحی مناسب است اما اغلب برای کشف محتوا در دیپ وب نا کارامد است؛ مثلاً، این خزندگان (پوشش دهندگان) تلاشی برای پیدا کردن صفحات پویا که نتیجهٔ جستارهای پایگاه داده به دلیل تعداد نامشخص جستارها، نمی‌کنند.