ברגמן, במאמר שפרסם אודות הרשת העמוקה ב-Journal of Electronic Publishing, ציין כי ג'יל אלסוורת' השתמשה במושג "הרשת הבלתי נראית" ב-1994 כדי להתייחס לאתרים שלא היו רשומים במנוע חיפוש כלשהו. ברגמן ציטט מאמר של פרנק גרסיה מינואר 1996:
שימוש מוקדם נוסף במונח "הרשת הבלתי נראית" נעשה על ידי ברוס מאונט ומתיו ב. קול מ-Personal Library Software, בתיאור של כלי הרשת עמוקה שנמצא בפרסום לעיתונות מדצמבר 1996.
השימוש הראשון במונח "רשת עמוקה", שכעת מוסכם על הכל, הופיע במאמר של ברגמן, משנת 2001.
סוגי תכנים ברשת העמוקה.
ניתן לסווג את תוכני הרשת העמוקה לאחת או יותר מהקטגוריות הבאות:
גישה.
כדי לגלות תוכן על הרשת, מנועי חיפוש משתמשים בזחלני רשת שעוקבים אחרי היפר-קישורים דרך פרוטוקול מספרי פורטים וירטואליים ידועים. השיטה הזו אידיאלית לגילוי משאבים ברשת שעל פני השטח, אולם לרוב לא אפקטיבית במציאת משאבי רשת עמוקה. לדוגמה, הזחלנים לא מנסים למצוא דפים דינמיים שהם תוצאה של שאילתות מסדי נתונים עקב המספר האינסופי של שאילתות אפשריות. ניתן לפתור זאת חלקית על ידי מתן קישורים לתוצאות השאילתה, אבל הדבר יכול לנפח באופן בלתי מכוון את הפופולריות של אתר ברשת העמוקה.
ב-2005, יאהו! הפכה חלק קטן מהרשת העמוקה לאפשרי לחיפוש על ידי שירות Yahoo! Subscriptions. מנוע החיפוש הזה מחפש בכמה אתרים הדורשים רישום כמנוי בלבד. חלק מאתרי המנוי מציגים את התוכן המלא שלהם לרובוטי מנוע החיפוש כך שהם יוצגו בחיפושי המשתמש, אולם אז מציגים למשתמשים דף כניסה או רישום כשהם לוחצים על דף בתוצאות החיפוש.
זחילה ברשת העמוקה.
חוקרים בדקו כיצד ניתן לזחול ברשת העמוקה בדרך אוטומטית. ב-2001, סריראם רגהאבאן והקטור גרסיה-מולינה הציגו מודל אדריכלי לזחלן של הרשת הנסתרת שמשתמש במושגי מפתח המסופקים על ידי המשתמשים או נאספים מממשקי השאילתה כדי לתשאל טופס אינטרנט ולזחול במשאבי הרשת העמוקה. אלכסנדרוס נטולס, פטרוס זרפוס, וג'ונגו צ'ו מאוניברסיטת קליפורניה, לוס אנג'לס, יצרו זחלן רשת עמוקה שיצר באופן אוטומטי שאילתות בעלות משמעות עבור טופסי חיפוש. ניסיון נוסף היה DeepPeep, פרויקט של אוניברסיטת יוטה, שמומן על ידי קרן המדע הלאומית בארצות הברית, שאסף משאבי רשת חבויה (טופסי רשת) בשרתים שונים בהתבסס על שיטות זחלן ממוקדות.
מנועי חיפוש מסחריים החלו לחקור שיטות חלופיות לזחול ברשת העמוקה. פרוטוקול Sitemap (שפותח לראשונה על ידי גוגל) ו-mod oai הם מנגנונים המאפשרים למנועי חיפוש ולגופים מעוניינים אחרים לגלות משאבי רשת עמוקה על שרתי רשת מסוימים. שני המנגנונים מאפשרים לשרתי אינטרנט לפרסם את כתובות ה-URL הנגישות בהם, ובכך לאפשר גילוי אוטומטי של משאבים שאינם מקושרים אוטומטית לרשת שעל פני השטח. מערכת ה"הגחה" של הרשת העמוקה של גוגל מחשבת מראש שאילתות לכל טופס HTML ומוסיפה את דפי ה-HTML הנוצרים לאינדקס של מנוע החיפוש. התוצאות ה"מגיחות" מוערכות באלף שאילתות לשנייה של תוכן רשת עמוקה. במערכת הזו, החישוב המקדים של שאילתות מבוצע על ידי שלושה אלגוריתמים:
כלים שמשמשים לזחילה ברשת העמוקה.
Torch, או TorSearch, הוא מנוע חיפוש שנועד לחקור את החלקים הנסתרים של האינטרנט. לפיד טוענת שיש לה יותר ממיליארד דפי רשת אפלים באינדקס, ומאפשרת למשתמשים לגלוש ברשת האפלה ללא צנזורה וללא מעקב.
Dark.fail הוכתר כוויקי הנסתר החדש. הוא מוסיף לאינדקס כל אתר Darknet גדול ועוקב אחר כל הדומיינים המקושרים לשירות נסתר מסוים.
ניטור הרשת האפלה.
אוסף של מקורות מודיעין איומי סייבר מהרשת העמוקה והאפלה, מטרת הפרויקט היא לאסוף את המקורות, הקיימים ברשת העמוק והאפל, שיכולים להיות שימושיים בהקשרים של מודיעין איומי סייבר.
מיפוי הרשת האפלה
בפרויקט ahmia ניתן להזין את אתר ה-onion ותראה לאילו אתרים נוספים ב-onion הוא משויך.
סיווג משאבים.
קשה לקבוע אוטומטית האם משאב רשת הוא חלק מהרשת שעל פני השטח או מהרשת העמוקה. אם משאב מאונדקס על ידי מנוע חיפוש, הוא לא בהכרח חלק מהרשת שעל פני השטח, מפני שייתכן שהמשאב נמצא על ידי שיטה אחרת (לדוגמה, פרוטוקול Sitemap, mod oai, OAlster) במקום זחילה מסורתית. אם מנוע חיפוש מספק קישור מפנה למשאב, ניתן להניח שהוא ברשת שעל פני השטח. לרוע המזל, מנועי חיפוש לא תמיד מספקים קישורים מפנים למשאבים. אפילו אם קישור מפנה קיים, אין דרך לקבוע אם המשאב המספק את הקישור הוא בעצמו ברשת שעל פני השטח, ללא זחילה על פני כל הרשת. זאת ועוד, משאב עשוי להימצא ברשת שעל פני השטח, אבל הוא טרם נמצא על ידי מנוע חיפוש. לכן, אם יש לנו משאב שרירותי, לא נוכל לדעת באופן מלא אם המשאב נמצא ברשת שעל פני השטח או בזו העמוקה ללא זחילה מלאה של הרשת.
רוב עבודת סיווג תוצאות החיפוש היא קטלוג הרשת שעל פני השטח לפי נושאים. לשם קטלוג משאבי הרשת העמוקה, איפיירוטיס ואחרים. הציגו אלגוריתם שמסווג אתר רשת עמוקה לקטגוריה שמייצרת את המספר הגדול ביותר של בחירות של שאילתות שנבחרו בקפידה לפי נושאים. תיקיות רשת עמוקה תחת פיתוח כוללות את OAlster באוניברסיטת מישיגן, Intute באוניברסיטת מנצ'סטר, Infomine באוניברסיטת קליפורניה בריברסייד, ו-DirectSearch (על ידי Gary price). הסיווג הזה מציב אתגר בסריקת הרשת העמוקה, בו נדרשות שתי רמות של קטלוג. הרמה הראשונה היא קטלוג אתרים לנושאים אנכיים (לדוגמה, בריאות, נסיעות, כלי רכב) ותתי-נושאים לפי טבע התוכן הנמצא במסדי הנתונים שלהם.
האתגר המסובך יותר הוא לקטלג ולמפות את המידע שנלקח ממספר משאבי רשת עמוקה לפי צורכי משתמש הקצה. דוחות חיפוש ברשת העמוקה לא יכולים להציג כתובות URL כמו דוחות חיפוש מסורתיים. משתמשי הקצה מצפים שכלי החיפוש שלהם לא רק ימצאו את מה שהם מחפשים במהירות, אבל גם יהיו אינטואיטיביים וידידותיים למשתמש. כדי להיות בעלי משמעות, דוחות החיפוש חייבים להציע עומק לטבע התוכן הנמצא במשאבים הללו, אחרת משתמש הקצה ילך לאיבוד בתוך אינסוף כתובות URL שלא מצביעות על התוכן הנמצא בהן. המבנה בו תוצאות חיפוש מוצגות משתנה לפי נושא החיפוש ולפי סוג המידע המוצג. האתגר הוא למצוא ולמפות פרטי מידע דומים ממשאבים מרובים שונים, כך שתוצאות החיפוש יוצגו במבנה אחיד בדו"ח החיפוש, ללא קשר למקור שלהם.
עתיד ופתרונות.
ספקיות החיפוש הגדולות, כמו גם חברות מתמחות בנושא כמו BrightPlanet של ברגמן המוזכר לעיל, מנסות כל הזמן להפוך כמה שיותר מן התוכן של הרשת העמוקה לגלוי ואפשרי לחיפוש עבור גולשי האינטרנט. צעדים רבים בנושא נעשו החל מהעשור הראשון של המאה ה-21. חלק מן הפתרונות הם כלהלן:
הגבולות בין תוכן מנוע החיפוש והרשת העמוקה החלו להיטשטש, כאשר שירותי חיפוש התחילו לספק גישה לחלק או כל התוכן שפעם היה מוגבל. חלק הולך וגדל של תוכן הרשת העמוקה נפתח לחיפוש חופשי, כאשר מוציאים לאור וספריות חותמים על הסכמים עם מנועי חיפוש גדולים. בעתיד, תוכן הרשת העמוקה עשוי להיות מוגדר פחות על ידי האפשרות לחפש בו, ויותר על ידי דמי גישה או סוגים אחרים של זיהוי.
רבים קושרים את נושא הרשת העמוקה לפער הדיגיטלי. הטענה היא, כי גם גולש מיומן היודע להשתמש במנוע חיפוש באופן מתקדם, עדיין עלול שלא להצליח להגיע למידע אותו הוא מבקש, עקב החסמים המוזכרים לעיל. כיוון שהפער הדיגיטלי מורכב מכמה רמות, כאשר הבסיסית היא נגישות לטכנולוגיה והשנייה היא יכולת שימוש בה, נניח כי לגולש יש נגישות, אולם כל עוד מנועי החיפוש, המהווים את הדלת שלנו לעולם האינטרנט, לא מציגים את מרב המידע, הפער עתיד להישמר. אך, האם כאשר יצליחו לאנדקס את מירב המידע, האם לא יהיה עוד פער דיגיטלי? שאלה זו, אם התנאים לה יתרחשו בעתיד, מעסיקה את השואפים לביטול הפער ההולך וגדל בין כמות המידע לבין האנשים המסוגלים לגשת אליו.
קישורים חיצוניים.
סרטון מבוא לרשת העמוקה : סקירת ספרות
רמר
קארלי ריי ג'פסן
קארלי ריי ג'פסן (באנגלית: Carly Rae Jepsen; נולדה ב-21 בנובמבר 1985) היא זמרת-יוצרת קנדית. בשנת 2007 הגיעה ג'פסן למקום השלישי בעונה החמישית של התוכנית "קנדיאן איידול". לאחר מכן הוחתמה ג'פסן בחברות התקליטים "פונטנה" ו"מייפל-מיוזיק", והוציאה את אלבום הבכורה שלה, "Tug of War", ב-30 בספטמבר 2008.
שלוש שנים אחר כך הוציאה ג'פסן את הסינגל "Call Me Maybe", הסינגל הראשון מהמיני אלבום הראשון שלה "Curiosity" שיצא לאור ב-14 בפברואר 2012. הסינגל זכה להצלחה רבה והגיע למקום הראשון במצעדים בילבורד הוט 100, קנדיאן הוט 100, מצעדי אירלנד, אוסטרליה ואנגליה. בשנת 2012 הוחתמה ג'פסן בחברת ההקלטות אינטרסקופ רקורדס. בשנת 2015 יצא לאור אלבומה השלישי של ג'פסן, "E·MO·TION".
ביוגרפיה.
1985–2007: ילדותה ותחילת הקריירה.
ג'פסן נולדה במישן שבקנדה בשנת 1985. ג'ספן למדה בבית הספר "Heritage Park Secondary" במיסיון והופיעה שם לאחר סיום לימודיה. לאחר מכן למדה ג'פסן בקולג' הקנדי לאומניות הבמה שבויקטוריה. לאחר סיום סיבוב ההופעות של "קנדיאן איידול" חזרה ג'פסן לקולומביה הבריטית במטרה להתרכז בכתיבה והקלטה.
2008–2011: "Tug of War".