Voorbestemd voor een geestelijke loopbaan, werd Albert kanunnik in Mainz en pastoor van de Stephansdom in Wenen. In 1320 werd hij door paus Johannes XXII tot bisschop van Passau benoemd. In Passau liet hij de Neumarkt, die in 1298 was verwoest, weer opbouwen en verkocht hij het stadhuis opnieuw aan de burgers van de stad. In de troonstrijd tussen Lodewijk de Beier en Alberts Habsburgse neef Frederik de Schone om de functie van Rooms-Duits koning, koos de bisschop van Passau de zijde van Frederik, die hij in 1322 ook ondersteunde in de Slag bij Mühldorf.