La renommée du palais ne tint qu'un siècle. En 1630, pendant la guerre de succession de Mantoue et la conquête du duché, la cité et le palais furent pillés par les troupes impériales de Ferdinand II. Le reste de la population fut victime d'une des pires épidémies de peste de l'histoire. Le palais, mis à sac de fond en comble, est resté comme une coquille vide et, dans cet état, les remarquables fresques sont d'autant plus surprenantes que les nymphes, les dieux, les déesses et les géants peuplent les murs de salles vides.