På slutten av 1960-tallet begynte Whitten å misbruke heroin og ble tidlig avhengig. Han deltok i de innledende arbeidet på Youngs neste album, , hvor han deltar på «Oh Lonesome Me», «I Believe in You» og «When You Dance I Can Really Love». Whitten og resten av Crazy Horse ble kastet ut fra innspillingen på grunn av hans tunge rusmisbruk. På denne tiden skrev og spilte Young inn sangen «The Needle and the Damage Done», og denne sangen var en direkte referanse til Whittens misbruk og hvordan hans talent ble ødelagt av dette.