Heinrich wurde wohl eher 1016 und nicht 1017 als Sohn Konrads des Älteren, des späteren Kaisers Konrad II., und Giselas von Schwaben geboren. Heinrichs jüngere Schwestern Beatrix (ca. 1020–1036) und Mathilde (nach Jahresmitte 1025–Beginn 1034) blieben unvermählt und starben früh. Heinrichs Vater entstammte einem rheinfränkischen Adelsgeschlecht, dessen Besitz und gräfliche Rechte schon seit Generationen in der Gegend um Worms und Speyer lagen; zudem war Konrad Urenkel des 955 auf dem Lechfeld in der Schlacht gegen die Ungarn gefallenen Konrads des Roten und über dessen Gattin Liutgard mit den Ottonen verwandt. Heinrichs Mutter Gisela war bereits zweimal verwitwet. Ihr Vater Hermann von Schwaben hatte bei der Königswahl des Jahres 1002 erfolglos eigene Ansprüche geltend gemacht. Giselas Mutter Gerberga war eine Tochter des burgundischen Königs Konrad und eine Enkelin des westfränkischen karolingischen Herrschers Ludwig IV. Heinrichs Geburt fällt in eine schwierige Situation für die salische Familie. Erst zwei Monate zuvor war Konrad in eine blutige Fehde verwickelt worden und konnte sich nur auf die Unterstützung von Freunden und Verwandten verlassen. Das Verhältnis zu Heinrich II. war für Konrad wegen seiner Ehe mit Gisela von Schwaben, die von manchen Zeitgenossen als Verwandtenehe abgelehnt wurde, angespannt. Konrad verlor die kaiserliche Huld und es schien zunächst so, dass Konrad noch nicht einmal Herzog werden könne.