La casa comenzó a deteriorarse y para 1822 su propietario de entonces, Henry Paget, 1º Marqués de Anglesey, la había demolido.