Al sucesor de Isabel I, Jacobo I, no le gustaba demasiado el palacio y se lo dio al primer ministro de Isabel Robert Cecil, primer conde de Salisbury, a cambio del Palacio de Theobalds, que era la casa de la familia Cecil.