Nació en el Cusco, hijo de Alonso de Rivera y de la ñusta Juana de la Concha Túpac Amaru. Juan de Dios, se radicó en la ciudad de Potosí del Alto Perú, (actual Altiplano boliviano), después del levantamiento del Cusco de 1780 y tras ser apresado y ejecutado el corregidor Antonio Arriaga por las fuerzas de Túpac Amaru II.