Am 15. Januar 1777 brannte das Schloss aus. Das Feuer brach frühmorgens im Westflügel aus, verbreitete sich im Dachgestühl und brachte die Pulverkammer zur Explosion. Den ganzen Tag über liefen Rettungsmaßnahmen, auch die Stadt lief Gefahr, in Brand zu geraten. Zahlreiche Menschen kamen ums Leben. Nach dem Brand wurde der Wiederaufbau nicht sofort in Angriff genommen. Lediglich der Hofgartenflügel wurde in vereinfachter Form wiederhergestellt. Die ebenfalls zerstörte Schlosskirche wurde durch eine kleinere Doppelkirche im Ostflügel ersetzt, wo sie sich bis heute befindet. Mit dem Einmarsch der französischen Revolutionstruppen endete 1794 die Nutzung des Schlosses als kurfürstliche Residenz.