Palmer fikk tidlig et dop-problem og ble gjentatte ganger arrestert for misbruk av narkotiske stoffer. Disse problemene, sammen med at han stadig fordypet seg i kompliserte tekster, gjorde at han etterhvert ble sosialt isolert fra de andre i gruppen. Etter enda en arrestasjon, ble han deportert tilbake til Canada tidlig i 1967, og Palmer ble erstattet av Jim Fielder og Ken Koblun. Rett etter dette forlot også Young gruppen etter spenninger med Stills og Buffalo Springfield spilte deres mest kjente konsert på Monterey Pop Festival i june 1967 med Doug Hastings og David Crosby i stedet for Young. Palmer var på denne tiden tilbake i Toronto.