Né à Cuzco, il eut pour père Alonso de Rivera et pour mère la "ñusta" (= princesse quechua de sang royal) Juana de la Concha Túpac Amaru. À la suite du soulèvement de Cuzco de 1780 et après que le "corregidor" Antonio Arriaga fut emprisonné et exécuté par les troupes de Túpac Amaru II, Juan de Dios Rivera décida de se fixer dans la ville de Potosí, dans le Haut-Pérou, sur l’actuel haut-plateau bolivien.