Albert był trzecim synem elektora Saksonii Albrechta II i Agnieszki Habsburg, córki króla niemieckiego Rudolfa I. Przeznaczono go do kariery kościelnej: był kanonikiem w Moguncji i proboszczem katedry św. Szczepana w Wiedniu. W 1320 r. został mianowany przez papieża Jana XXII biskupem diecezji pasawskiej. Stał się przez to feudalnym władcą księstwa biskupiego. W trakcie rywalizacji o tron pomiędzy Ludwikiem IV Bawarskim a Fryderykiem III Pięknym stanął po stronie swojego habsburskiego kuzyna Fryderyka, którego wspierał także w bitwie pod Mühldorf (1322).