У попередні часи на території, що займало Герцогство Австрія, спочатку була заснована приблизно 800 року Карлом Великими Аварська марка. Згодом різні частини марки входили до складу Паннонської марки, а після битви при Пресбурзі в 907 році територія опинилася під владою угорців. У 955 році після перемоги Оттона I в битві на річці Лех німцям вдалося повернути собі ці землі, на яких 976 року Оттоном II Рудим була утворена Східна марка. Першим маркграфом став Леопольд I, засновник династії Бабенбергів, яка володіла Австрією до 1246 року. Австрійські маркграфи номінально залишалися васалами герцогів Баварії до 1156 року.