Albrecht var den yngste av hertug Ernsts to sønner. Ernst var hertug av Steiermark og døde i 1424. Albrechts eldre bror Friedrich var den senere Friedrich III.