В 1552 г. Фройденберг был серьёзно повреждён в ходе Второй маркграфской войны; и после пресечения рода фон Вертхайм в 1556 г. быстро превратился в руины, чему способствовал перенос управления в город. Лишь Пушечная башня продолжала использоваться как тюрьма, особенно в период охоты на ведьм в конце XVI в.