Su origen es de 1652, cuando un noble de la Corte con el cargo de "Espía Mayor del Consejo Secreto de Su Majestad", Juan de Valencia el Infante, compró cinco casas contiguas que se ubicaban en el lugar que ahora ocupa el palacio.