Originariamente, el palacio se situaba en la ribera del río Támesis y poco a poco fue extendiéndose al oeste hacia la actual calle Whitehall.