Hijo de Francisco Carrillo de Albornoz Esquivel y Guzmán (Sevilla, 18 de junio de 1639), II conde de Montemar, coronel de guardias, director general de la caballería de España, general del Ejército de Orán, caballero de la Orden de Santiago, y de su primera mujer, Leonor de Montiel y Segura, hija de Federico de Montiel y de Isabel de Segura.