Med sin første hustru, Gunvor (1924–2011), hadde Hultin fire barn. Han og Gunvor skiltes, og i 1985 giftet han seg med engelskfødte Eileen. I 2020 bodde de i Rossmoor i California.