Après des études à l’université de sa ville natale, il s’engagea dans la carrière militaire, d’abord aux côtés des patriotes argentins contre la tutelle coloniale espagnole, puis dans l’armée argentine lors la guerre contre le Brésil de 1825, enfin, après l’indépendance de l’Argentine, dans le camp des "unitaires" contre les "fédéralistes". Ses talents de stratège et son habilité tactique lui assurèrent, outre une ascension rapide, plusieurs victoires militaires éclatantes. Capturé par surprise en 1831 par les hommes du caudillo fédéraliste López, il fut emprisonné pendant huit ans, notamment par le dictateur Rosas. Finalement libéré, et infidèle à son serment de ne pas prendre les armes contre Rosas, il mit sur pied une armée dans le nord du pays, mais, malgré des victoires glorieuses sur le fédéraliste Echagüe, dut s’enfuir à Montevideo en 1842. Une deuxième tentative dans le nord en 1844 ne lui réussit pas davantage, et Paz fut contraint à l'exil au Brésil. Lorsqu'Urquiza, ancien allié de Rosas, eut fait contre celui-ci son "pronunciamento" de 1852, Paz rentra en Argentine, fut nommé brigadier général, mais après la révolution unitaire de rejoignit la sédition portègne et joua un important rôle dans la résistance victorieuse lors du siège mis devant Buenos Aires par les fédéralistes, concourant ainsi à faire de la capitale pour une dizaine d’années encore un État séparé du reste du pays.