Leopold etterfulgte sin far som hertug av Østerrike da faren døde den 13. januar 1177. Kort tid etter ga Leopold sin støtte til Fredrik av Böhmen i hans kamp mot hertug Sobeslaus II, som hadde drevet hærtokt i den østerrikske hertugdømmet, og i 1179 nådde Leopold en fredsavtale med Böhmen. Den 17. august 1186 forhandlet han fram Georgenberg-pakten med Ottokar IV av Steiermark hvor Steiermark og den sentrale delen av Øvre-Østerrike (Oberösterreich) ble sammenslått med hertugdømmet Østerrike etter 1192. Dette var det første skrittet mot dannelsen av den moderne staten Østerrike.