Under bondeopprøret i 1381, ledet av Wat Tyler, ble palasset angrepet av opprørerne. De klandret John av Gaunt for innføringen av en koppskatt som hadde utløst opptøyene og raseriet. De systematisk ødela Savoy og alt i det. Hva som ikke kunne bli slått i filler eller brent, ble kastet i elven. Juvelene ble knust med hammer, og det ble hevdet at en av dem som ble oppdaget av de andre for å ha beholdt et drikkebeger i sølv ble slått i hjel av de andre. Deretter stormet de Tower of London, og grep og halshogde erkebiskopen av Canterbury. Til tross for dette forble navnet Savoy knyttet til stedet.