Persa la sua funzione di Corte polifunzionale al servizio della famiglia dominante, il palazzo si vede spogliato di funzioni e significato per tutto il periodo di dominio asburgico e francese e poi nuovamente fino alla fine della dominazione austriaca nel 1866. Assunse sempre più funzioni militari come cardine della piazzaforte che era diventata la città di Mantova. Tra gli ambienti destinati a uso militare era incluso quasi totalmente il Castello di San Giorgio.