El Palazzo Tè resultó muy dañado en los siglos XVII y XVIII y perdió parte de sus decoraciones. Durante la guerra de sucesión. En julio de 1630 Mantua y el palacio fueron saqueados por las fuerzas imperiales y la población cayó víctima de una de las peores plagas de la historia. El palacio fue saqueado de arriba abajo y permaneció como una concha vacía: ninfas, dioses, diosas, y gigantes permanecieron en las paredes de las habitaciones vacías. Se ha recuperado en tiempos recientes como museo y galería de exposiciones, incorporando obras como el "Retrato de Giulio Romano", obra de Tiziano adquirida por las autoridades locales en 1996 tras su paso por la colección del dictador filipino Ferdinand Marcos .