Al Jardine var tilhenger av folkemusikk, og foreslo for Brian Wilson at de skulle spille inn en versjon av «Sloop John B». Wilson svarte at han ikke likte The Kingston Trio, men Jardine laget et arrangement som lignet mere på en typisk The Beach Boys-sang og spilte denne på piano for Wilson. Dagen etter ringte Wilson til Jardine og ba han om å komme ned til studio, der sangen var mer eller mindre ferdig. Jardine trodde at han skulle få synge sangen ettersom det var hans idé, men Brian Wilson ville la alle i bandet prøvesynge. For at sangen skulle bli mere rockeaktig, ble det til slutt Brian selv sammen med Mike Love som sang hovedvokalen.