Als im Jahr 1809 die Franzosen Graz besetzten, verteidigte der Genieoberst Franz Xaver Hackher zu Hart den Schloßberg. Den Franzosen gelang es erst durch den Friedensschluss nach der Schlacht bei Wagram die Burg zu erobern. Sie zerstörten zur Jahreswende 1809/10 alle Anlagen bis auf den Glocken- und den Uhrturm, welche von der Grazer Bevölkerung freigekauft worden waren. 1839 wurde an der Stelle der zerstörten Wehranlagen eine Parkanlage errichtet.