Nacido el 20 de enero de 1848 en Madrid, era hijo de don Pedro María Fernández Villaverde y González del Valle y de doña Hermógenes García-Rivero y Álvarez de Jove, hermana del empresario radicado en México Valentín Rivero.