В 1683 году в ходе Австро-турецкой войны замок сильно пострадал и представлял собой практически руины. К 1705 году отсутствовала большая часть крыши, дверей и окон, а в 1713 году новый владелец замка, Франц Антон фон Кваренти и Раал, приказал снять с заброшенного здания оставшуюся часть кровли для уклонения от введённого налога на крыши. В 1741 году Раухенштайн перешёл во владение к современным хозяевам, семье .