Kong Edward VI ga godset til John Russell, som senere ble jarl av Bedford. Familien bosatte seg foreløpig ikke på stedet. I 1619 døde den tredje jarlen av Bedford uten arvinger, og hans fetter Francis Lord Russell arvet tittel og gods, og flyttet dit med sin familie. I 1683 ble William Lord Russell d.y. henrettet for høyforræderi. Man fant noen år senere ut at han var uskyldig, og som kompensasjon etter justismordet utnevnte kongen hans far, William Lord Russel d.e. til hertug av Bedford.