Da hertug Otto III av Schwaben døde uten mannlige arvinger i 1057 utpekte keiserinne Agnes av Poitou (som da var regent for den mindreårige keiser Henrik IV) Rudolf til ny hertug i Schwaben og øverste leder for Burgund. I 1059 giftet han seg med Matilda, søster til keiser Henrik. Matilda døde allerede 12. mai 1060, tolv år gammel. I 1066 giftet Rudolf seg på nytt med Adelaide av Savoy (1052 el. 1052-1079), en datter av grev Otto av Savoy og hans kone Adelaide av Susa. Da Adelaides søster Bertha av Savoy giftet seg med keiser Henrik IV samme år ble Rudolf for andre gang keiserens svoger.