Fermín provenía de uno de los linajes más poderosos del sur de Chile; era hijo legítimo de don Luis de Carvajal-Vargas y Roa, regidor del cabildo de Concepción, y de doña Luisa de Alarcón Cortés de Monroy y Riquelme de la Barrera.