В 1553 году, в связи с финансовыми проблемами, наследники братьев Тэнцль продали замок; после этого он многократно менял владельцев и перестраивался. В ходе Войны за испанское наследство баварские власти захватили Трацберг в 1703 году. После этого его помещения использовались для размещения госпиталя. В 1847 году граф Франц III Энценберг стал собственником Трацберга, находившегося в упадке: к 1879 году замок был полностью отреставрирован. Потомки Энценберга продолжают владеть замком и проживать в нём.