Fils de "criollos", c'est-à-dire d'Européens nés dans les colonies espagnoles, Paz fit ses études au séminaire de Loreto dans sa ville natale, où il suivit les cours de philosophie et théologie, puis à l’Université nationale de Córdoba, où il obtint une licence de lettres, avec spécialisation en mathématiques, latin et jurisprudence. Sitôt après la Révolution de Mai, il abandonna les études pour s’engager dans l’armée du Nord ("Ejército del Norte"), qui luttait pour l’indépendance contre les forces royalistes.