Fue hijo de Juan Pacheco y Ana de Toledo, sobrina del duque de Alba, también padres de Rodrigo, primer marqués de Cerralbo, que por varonía eran Osorios y por herencia Pachecos.