Fernando Joaquín Fajardo fue hijo de don Pedro Fajardo, V marqués de los Vélez y de su segunda mujer, doña María Engracia Álvarez de Toledo Portugal, hija del VI conde de Oropesa, aya del rey Carlos II de España.