Tuvo tres hermanos, Álvaro Carrillo de Albornoz, Señor de Ocentejo y Cañamares, María Carrillo de Albornoz y Teresa Carrillo de Albornoz, señora de Paredes, Portilla y Valtablado de Beteta (Provincia de Cuenca).