Financiados por Robert Mapplethorpe, la banda grabó su primer sencillo, "Hey Joe / Piss Factory" en 1974, siendo la cara A una versión de la canción de rock escrita por Billy Roberts y previamente versionada por Jimi Hendrix y Deep Purple, con un añadido de palabra hablada que trataba sobre el secuestro y posterior fuga de Patty Hearst, y la cara B un tema que habla sobre la frustración e ira que sentía Smith al trabajar en una línea de ensamblado de una fábrica, y la salvación que encontró en un libro de poesía francesa del siglo XIX, llamado "Iluminaciones" de Arthur Rimbaud, previamente robado de una tienda.