Aunque figura en muchos sitios como hermano menor de Fructuoso Rivera, era su sobrino, hijo natural de su medio hermana María Luisa Rivera y del brasileño Alejandro Duval muerto hacia 1815.