James møtte en rekke juridiske problemer i tidlig på 1970-tallet som følge av sin heroin-avhengighet. Hun var kontinuerlig inn og ut av rehabiliteringssentre, inkludert Tarzana Rehabilitation Center i Los Angeles California. Hennes mann, Artis Mills, som hun giftet seg med i 1969, tok ansvaret da de begge to ble arrestert for besittelse og misbruk av heroin og han havnet i fengsel. Mills ble løslatt fra fengsel i 1982 og forble gift med James. I 1988, i en alder av 50 år, ble James innlagt ved i Palm Springs i California, for behandling og rehab.