Während der Zerstörung Magdeburgs im Dreißigjährigen Krieg brannte das Rathaus nieder. Bei diesem Brand wurde auch das Stadtarchiv zerstört, so dass es heute kaum Unterlagen aus der Zeit vor jenem Datum gibt. Um die Mitte des 17. Jahrhunderts wurde mit dem Wiederaufbau begonnen. Es dauerte allerdings Jahre, bis sich die zerstörte Stadt wieder von den Auswirkungen des Krieges erholt hatte und so wurden die Arbeiten erst 1713 beendet. 1820 musste der Turm des Rathauses wegen Baufälligkeit abgerissen werden, ein neuer wurde errichtet. Wenig später erhielt das Rathaus eine neue Pendeluhr, im Jahre 1827 einen Blitzableiter. Mit der Zeit wurde das Rathaus für die wachsende Verwaltung zu klein, so dass 1889 östlich des heutigen Alten Rathauses ein neues "Städtisches Dienstgebäude" errichtet wurde. Ende des 19. Jahrhunderts wurde das Rathaus an das Stromnetz der Stadt angeschlossen. Zu jener Zeit stieß die Verwaltung abermals an räumliche Grenzen, so dass in den Jahren 1905 bis 1907 nördlich des Alten Rathauses das heutige Neue Rathaus errichtet wurde. Hier zogen die städtische Sparkasse, die Stadtbibliothek und das Stadtarchiv (welches noch heute hier zu finden ist) ein.