Senere i 1964 giftet han seg med sin sjefsekretær, Feldwebel Gisela Sauer. De hadde tre barn sammen og var gift til hans død i 1985.