Ottokar tapte i 1278 slaget ved Dürnkrut og borgen kom i Habsburgernes besittelse. Disse forpaktet borgen bort til ulike besittere, mens byen ble forsømt og mistet sin betydning.