Après la mort d'Agostino Chigi, en 1520, la villa est progressivement abandonnée, ses meubles, ses objets et ses tableaux vendus. Occupée par des lansquenets lors du sac de Rome en 1527, elle finit par être saccagée. On peut encore observer dans la salle des Perspectives des graffitis dus à ces lansquenets.