Albrecht war der Sohn von Herzog Ernst von Bayern-München mit Elisabetta Visconti. Er wurde auf der Burg bei Wolfratshausen geboren, wo seine Eltern während der Unruhen in München jahrelang residierten. Zeitweise wuchs Albrecht bei seiner Tante, der böhmischen Königin Sophie in Prag auf, lernte Tschechisch und studierte an der dortigen Universität. Er kämpfte im Bayerischen Krieg 1422 in der Schlacht bei Alling, in der ihm sein Vater das Leben rettete.