Duon toinen jäsen, Paul Simon, alkoi tehdä laulua marraskuussa 1963 John F. Kennedyn salamurhan innoittamana. Kappale edistyi hyvin hitaasti. Simonin kertoman mukaan hän turhautui useaan otteeseen kirjoitettuaan sitä usean kuukauden ajan ”rivin päivässä.” Art Garfunkelin mukaan laulu kuitenkin lopulta ”kirjoitti itse itsensä” yhden päivän aikana, 19. helmikuuta 1964. Kappaleen ensimmäinen rivi "Hello darkness, my old friend" tuli Paul Simonin lapsuuden tavasta laulaa pimeässä kylpyhuoneessa. Pian duo esitti laulua Greenwich Villagen folk-klubeilla.