Construido en el siglo XVIII por Sir William Chambers, sobre un palacio del período Tudor, albergaba originalmente oficinas gubernamentales, sociedades científicas y la Oficina Naval.