Su abuelo paterno fue Luis III, el último rey de Baviera, depuesto en 1918; y el materno Carlos Teodoro de Baviera, hermano de la emperatriz Sissi, por lo que Alberto era sobrino-nieto de la célebre emperatriz.