Die Burg wurde nur noch Burgmannen- und Verwaltungssitz. 1552 wurde sie im Markgräflerkrieg stark beschädigt und mit dem Aussterben der Wertheimer 1556 kam es zum fortschreitenden Verfall der Burg. Die Verwaltung wurde in die Stadt verlegt und nur der Kanonenturm (besonders in den Hexenprozessen nach 1590) weiter als Gefängnis benutzt.