El padre de Fermín Toro, "José Antonio Rodríguez del Toro y Álvarez de Barba", era a su vez primo hermano de la esposa del Libertador Simón Bolívar, María Teresa Rodríguez del Toro y Alayza, de los próceres de la Independencia Francisco Rodríguez del Toro y Fernando Rodríguez del Toro y de "Ana Teresa Rodríguez del Toro de Ibarra", madre de los también próceres Diego Ibarra y Andrés Ibarra.