Nacido en una familia de diez hermanos, fue hijo de Pedro José Flórez de Setién Calderón de la Barca († 1747) y de Josefa de Huidobro y Velasco Puelles († 1743); en su infancia residió en Zahara de los Algodonales (Cádiz) y en El Barco de Ávila, donde su padre ejerció como corregidor en nombre del duque de Alba Francisco Álvarez de Toledo.