Sus padres fueron Juan Caballero y Espinar (1685 – 31 de octubre de 1744), hijo de Juan Esteban Caballero y Espinar (1655 –1724), y Doña Antonia de Góngora (? - 7 de diciembre de 1753), hija de Francisco Javier de Góngora y de María Eugenia de Lara, de origen cordobés y descendiente del poderoso linaje de los Lara.