Etter Mansfields død 29. juni 1967 oppdro Hargitay barna Miklós, Zoltán og Mariska. Samme året giftet han seg med flyvertinnen Ellen Jean Siano, som han var gift med frem til sin død. Ekteparet fikk ingen felles barn.