Babenbergerne overtok borgen i 1108. I andre halvdel av det 12. århundre blir borgen utvidet for løsepengene for Rikard Løvehjerte. Omkring 1220-1225 blir festninganleggene ytterligere forsterket. Blant annet blir Wienerporten og dermed den største byport fra middelalderen bygget. Den nederste delen av borgen ble bygget i det 13. århundre og den øverste delen i 1267-1268 av Ottokar II av Böhmen. Borgen er senere påbygget etter 1529. Wienertor regnes som en av de viktigste byporter i sitt slag og huser i dag lokalhistorisk museum med arkeologiske funn.