Bécs 1529-es ostromakor a törökök elpusztították a falut a várával együtt. A lakosság pótlására horvátokat telepítettek a mezővárosba, akik sokáig az orthiak nagyobb részét alkották. 1529 Niclas Salm gróf elkezdte a kastély újjáépítését. 1568 után a birtokosok gyakran váltakoztak. A 17. században az erődöt leginkább vadászkastélyként használták; a harmincéves háború alatt a svédek elfoglalták. 1679-ben Auersperg gróf kibővítette az épületet az ún. új kastéllyal.