1504 kam es zu einem größer angelegten Gebietstausch zwischen den Grafen von Hanau-Lichtenberg und Kurmainz, bei dem Klingenberg an Mainz fiel. Das heutige Oberzentrum Aschaffenburg war bereits seit dem 10. Jahrhundert mainzisch und Zweitresidenz des Mainzer Kurfürsten. 1552 wurde die Klingenberger Altstadt wie zahlreiche andere Städte vom Ansbacher Markgrafen Albrecht Alcibiades im Markgräflerkrieg fast vollständig zerstört. In den darauf folgenden Jahrzehnten fand ein Wiederaufbau statt.