Numerosi danni furono causati, pare, durante il Sacco di Roma del 1527: i soldati lanzichenecchi, che si erano accampati in questi ambienti, pare che avessero acceso il fuoco proprio nel camino sotto la scena di Eliodoro. Restauri scadenti furono forse eseguiti da Carlo Maratta e altri. Cavalcaselle fu il primo ad affrontare il tema degli aiuti, assegnando la parte destra a Giulio Romano e le donne a sinistra a Giovanni da Udine. In generale si ritiene come certamente autografa almeno la parte destra col corteggio papale. Durante la Repubblica Romana instaurata dai giacobini e successivamente nel periodo napoleonico, i francesi elaborarono alcuni piani per staccare gli affreschi e renderli portabili. In fatti, venne espresso il desiderio di rimuovere gli affreschi di Raffaello dalle pareti delle Stanze Vaticane e inviarli in Francia, tra gli oggetti spediti al Musee Napoleon delle spoliazioni napoleoniche, ma questi non vennero mai realizzati a causa delle difficoltà tecniche e i tentativi falliti e disastrosi dei francesi presso la Chiesa di San Luigi dei Francesi a Roma.