Era hijo de Juan Pacheco de Toledo e Inés Álvarez de Toledo, marqueses de Cerralbo.