De neste tre årene ga The Beach Boys ut tre album i året, som alle gjorde det bra på hitlistene. The Beatles opplevde også sitt gjennombrudd på denne tiden, og fra 1964 ble den britiske gruppen ansett som The Beach Boys' sterkeste konkurrent. Konkurransen gjorde at begge bandene utviklet seg hurtig. Særlig Brian Wilson kom til å bli en dyktig komponist og produsent i studio, noe som førte til at sangene til The Beach Boys ble mer kompliserte.