Durante esta época pone fin a su relación con Anita Pallenberg, (con la que estuvo unido durante 15 años: en 1969 nació su hijo Marlon y en 1972 lo hizo Dandelión, que sufrió complicaciones porque su madre tomó drogas durante el embarazo), debido a que su relación empezaba a ser muy tensa desde la muerte en 1976 de su tercer hijo (una niña de nombre Tara) y por la incapacidad de ella para controlar su adicción a la heroína, mientras que él luchaba por rehabilitarse.