Nilsson var fra 1959 gift med Doris Nilsson (1936–2018). Han døde i januar 2021 etter å ha blitt rammet av covid-19.