אין תשובה ברורה לשאלה מה מקור השיר ועל מה הוא מבוסס, במהלך השנים ניתנו תשובות רבות. רבים מאמינים כי השיר התייחס להתנקשות בנשיא ארצות הברית ג'ון פ. קנדי, שכן השיר הוקלט שלושה חודשים לאחר ההתנקשות. עם זאת, סיימון הצהיר באופן חד משמעי בראיונות, "כתבתי את The Sound of Silence כשהייתי בן 21", מה שמציב את מסגרת הזמן הרבה לפני הטרגדיה של קנדי, כשסיימון גם הסביר שהשיר נכתב בחדר האמבטיה שלו, שם כיבה את האורות כדי להתרכז טוב יותר. סיימון כתב את מילות השירים במשך ששה חודשים. ב-19 בפברואר 1964 סיימון סיים לכתוב את השיר. זמן קצר לאחר מכן הצמד החל לבצע את השיר במועדוני מוזיקת פולק בניו יורק.