Nilsson giftet seg med Sandi McTaggart 24. oktober 1964. De hadde ingen barn sammen bortsett fra stesønnen, Scott Roberts. De skilte seg i 1967. Nilsson giftet seg med Diane Clatworthy 31. deember 31, 1969. De fikk en sønn sammen, Zak Nine Nilsson, som døde av kreft 4. mars 2021. Nilsson og Clatworthy skilte seg i 1974. Nilsson giftet seg med Una O'Keeffe 12 august, 1976. De var begge katolikker av irsk avstamning. De var gift til Nilsson døde 15. januar 1994 i Agoura Hills i delstaten California. De hadde seks barn sammen.