Elizabeths etterfølger Jakob I likte ikke palasset spesielt godt og ga det til Elizabeths og sin egen førsteminister Robert Cecil, 1. jarl av Salisbury, i bytte for Theobalds House som hadde vært Cecil-familiens hjem. Cecil var en ivrig byggherre og rev ned tre fløyer av det kongelige palasset (baksiden og fløyene av kvadraten) i 1608 og brukte mursteinene som materiale for den nåværende strukturen.