Da Henrik II i 1024 var ervefølgen atter mer åpen. Henriks etterfølger Konrad II hadde ingen slektskapsbnd til den burgundsiske konge, men ville gjerne overta Henriks arbverett og besatte i 1025 Basel. Mot slutten av 1026 ble det tydelig en tilnærming mellom Rudolf og Konrad. Til påsken 1027 var Rudolf nærværende ved Konrad IIs keiserkroning i Roma. I august 1027 ble det i Basel alutter fred mellom de to, og Konrads arvefølge ble fullt anerkjent.