I 1626 ble slottet solgt til Henry Vane den eldre. Han valgte Raby Castle i nærheten som sin hovedresidens, og Barnard Castle ble stående tomt. Det meste av interiøret og mye av steinen ble flyttet til Raby.