Albert ble født i Regensburg, som den yngste sønnen til fyrst Maximilian Anton von Thurn und Taxis (1831–1867) og hertuginne Helene av Bayern (1834–1890). Hans far døde da han var mindre enn to måneder gammel, så han ble oppdradd av sin mor.