Erkehertugdømmet utviklet seg fra det bayerske Markgrevskapet Østerrike, som i 1156 ble opphøyet til Hertugdømmet Østerrike jamfør utstedt av keiser Frederik Barbarossa. Huset Habsburg inntok den østerrikske trone i Wien i 1282, og i 1453 tok keiser Frederik 3., også hersker over Østerrike, offisielt tittelen «erkehertug». Fra 1400-tallet og utover var alle tysk-romerske keisere, bortsett fra Karl 7., østerrikske erkehertuger, og med ervervelsen av de bøhmiske og ungarske kronlandene i 1526 ble de habsburgske arvelandene sentrum for en europeisk stormakt.