Brian Wilson jobbet hardt med høsten og vinteren 1966, men grunnet motstand fra de andre i bandet og hans sykdom ble albumet vanskelig å fullføre. Våren 1967 la han hele prosjektet på hylla, og avviste det som «ond og upassende musikk». En av sangene, «Mrs. O'Leary's Cow», inneholdt en seksjon som skulle illustrere brannen i Chicago i 1871. Tilfeldigvis brøt det ut flere voldsomme branner i Los Angeles da sangen ble spilt inn, og Wilson var overbevist om at dette var et dårlig tegn.