Am 10. Dezember 1800 musste Colloredo, nach dem ungünstigen Verlauf der Schlacht bei Hohenlinden, vor den anrückenden Truppen flüchten. 1803 wurde das Erzstift säkularisiert, der inzwischen im Wiener Exil lebende Fürsterzbischof verzichtete daraufhin auf alle weltlichen Herrschaftsansprüche. Bestattet wurde er auf eigenen Wunsch im Stephansdom zu Wien, allerdings wurden 2003 seine sterblichen Überreste überraschenderweise nach Salzburg überführt und in der Krypta des Doms beigesetzt.