Contrajo matrimonio antes de 1543 con una mujer de inferior nivel social, María Valero de Covarrubias Leyva, hija del bordador Marcos de Covarrubias, pero bien emparentada, porque era sobrina del famoso arquitecto Alonso de Covarrubias y prima de los también eminentes teólogos, humanistas y juristas Diego de Covarrubias y Antonio de Covarrubias; de esta unión nacieron tres hijos: Sebastián de Covarrubias, Juan de Horozco y doña Catalina de Horozco; otra hija no llegó a alcanzar la edad adulta.