Rudolf ble født i Wien, og var eldste sønn av Albrecht II og Johanna von Pfirt. Som en av den tredje generasjon av Habsburgske hertuger i Østerrike var han den første som faktisk ble født i landet. Han betraktet derfor Østerrike som sitt hjem, noe som også hadde bidratt til hans store popularitet. Han var en av de mere aktive og energiske østerrikske herskere fra den sen middelalder, og det var sagt om ham allerede da han var ganske ung at han hadde det som skulle til for å bli en god konge.