Keiseren ble i 1036 gift med den danske kong Knut den mektiges datter prinsesse Gunhild av Danmark. Sammen fikk de datteren Beatrix. Gunhild døde i 1038, og Henrik giftet seg på nytt i 1043 med Agnes, datter av hertug Wilhelm V av Aquitaine. Med Agnes fikk han en sønn som etterfulgte ham som keiser under navnet Henrik IV.