Slottet har siden hatt flere eiere. Blant annet er Waldegravefamilien nevnt i 1557, og Meade Waldo-familien fra 1749 til 1903. I sistnevnte periode forfalt slottet stadig mer, og eierne begynte å leie det ut. I 1903 ble det kjøpt av den amerikanske millionæren William Waldorf Astor, som fikk det fullstendig restaurert og brukte det som familieresidens.