Han var gift med Anna av Habsburg, datter av keiser Ferdinand I. Albert var en streng katolikk og en viktig leder for den tyske motreformasjonen. Han fremmet også kunsten, og grunnla en rekke samlinger, bl.a. Wittelsbachernes antikksamling, den egyptiske samling, myntsamlingen og skattkammeret i residensen samt Wittelsbachernes hoffbibliotek.