The Byrds ledelse bestemte at McGuinn skulle ha førstestemmen på de mest populære sangene og Bob Dylans sanger. Denne skuffelsen, kombinert med Clarks motvilje mot turnering (inkludert en lronisk frykt for å fly) sammen med de andre medlemmene i bandets misnøye med den de ekstra pengene Clark fikk for låtskrivingen sin, ledet til internt uvennskap, og Clark forlot gruppen tidlig i 1966. Han flyttet først tilbake Kansas City før han flyttet til Los Angeles der han dannet "Gene Clark & the Group" sammen med Chip Douglas, Joel Larson og Bill Rhinehart.