La primera edificación construida en el lugar donde ahora se encuentra el palacio fue la casa Goring, construida en 1633 por lord Goring.