Fue padre de Juan Manuel Fernández Pacheco, creador y primer director de la Real Academia Española, y descendientes, ambos, de Juan Pacheco, I marqués de Villena.