Zijn vader Willem V had door de Keulse oorlog verhinderd dat het prins-aartsbisdom Keulen protestants werd. Hierdoor konden de Wittelsbachers de Keulse prins-bisschop zelf benoemen, bij voorkeur hun eigen familieleden. Zijn broer hertog Maximiliaan I zette de katholieke politiek in het Heilige Roomse Rijk verder. Tijdens de Dertigjarige Oorlog beloonde keizer Ferdinand II zijn broer met de nieuwe titel van keurvorst van Beieren. Vele jaren lang bleef zijn broer kinderloos en Albrecht bereidde zijn zoon Karl voor op de troon van Beieren. Zijn broer kreeg alsnog kinderen doch Karl bleef aan het hof. Albrecht voedde zijn twee andere zonen op voor klerikale functies.