Hart var gift med Haydée Santamaría som døde i 1980. Sammen fikk de datteren Celia Hart Santamaria.