Durante la Rivolta dei contadini guidata da Wat Tyler nel 1381, i rivoltosi, avversi a Giovanni di Gand per l'introduzione del testatico, demolirono sistematicamente il Savoy e distrussero ciò che conteneva, bruciandolo o gettandolo nel fiume. Tuttavia il nome Savoy si legò al luogo del precedente palazzo.