Eine besondere Bedeutung erhielt der Standort, als sich Albrecht von Brandenburg, Erzbischof von Mainz und Magdeburg, wegen der Reformation 1539 von Halle nach Aschaffenburg zurückzog. Die mittelalterliche Anlage wurde 1552 im Markgräflerkrieg geplündert und zerstört, wobei auch viele Kunstschätze, die Albrecht nach Aschaffenburg mitgebracht hatte, verlorengingen. Erhalten blieben vor allem Werke von Lucas Cranach dem Älteren und seiner Schule, die heute Teil der Staatsgalerie Aschaffenburg im Schloss sind (sie sind seit 2015 bis vsl. 2019 wegen Renovierung des Gebäudes und Restaurierung der Gemälde nicht zu besichtigen).