Hertug Albrecht ble født i Wien som eldste barn til hertug Philipp av Württemberg (født 30. juli 1838 i Neuilly-sur-Seine, døde 11. oktober 1917 i Stuttgart) og hans kone Erkehertuginne Maria Theresa av Østerrike (født 15. juli 1845 i Wien, døde 8. oktober 1927 i Tübingen), datter av Erkehertug Albrecht, hertug av Teschen.