A várat és a mezővárost 1487-ben Mátyás magyar király megszállta; 1490-es halála után ismét a Habsburgok vették birtokukba. Az 1529-es és 1532-es török hadjáratokat viszonylag sértetlenül vészelte át. 1576-ban a Habsburgok eladták a Hoyos családnak, majd 1628-ban II. Ferdinánd császár a birtokot grófsági rangra emelte. 1661-ben a mezőváros akkori bírája, Sebastian Schlager hétszer ismétlődő álma alapján megfestette a Szűz Mária képét és kiszögezte egy fára a Mariahilfbergen. Hamarosan elterjedt a híre a kép csodatevő voltának és 1679-ben egy kolostor építését kezdték meg a hegyen, 1688-ban pedig számos zarándokot csábító kegytemplom épült. A templom 1727-ben leégett, de újjáépítették. 1671-ben a Hoyos család kastélyt emeltetett Gutensteinben.