Albrekt II var sønn av hertug Albrecht IV av Østerrike og Johanna av Bayern-Straubing. Han var kun sju år da han arvet farens hertugdømme. Slektninger fungerte som regenter til han ble myndig i 1411.