Rudolf var sønn av grev Kuno av Rheinfelden. Han er første gang nevnt i 1048 som greve Sisgau i Schwaben (i dagens Nordvestlige Sveits). Rudolfs familie hadde store landeiendommer mellom Schwartzwald og Aargau. Han var sannsynligvis i slekt med kong Rudolf II av Burgund (død 937).