Sparre wurde als Sohn von Axel Karlsson Sparre (Gouverneur von Gothaland und Ostgothaland) und Margareta Oxenstierna geboren. Er wurde am 9. Januar 1652 in Visby geboren. Im Alter von 20 Jahren begann er seine militärische Karriere, als er in die holländische Armee aufgenommen wurde. Er nahm am Holländischen Krieg (1672–1675) teil. Nachdem er in Dienste der Schwedischen Armee trat, beteiligte er sich am Krieg Dänemarks gegen Schweden um Schonen. Im Jahr 1676 bekam er den Rang eines Hauptmanns der Garde, ein Jahr später wurde er Oberstleutnant des Närke-Värmland-Regiments. Als Anhänger des Kronprinzen Karl beeinflusste er im Jahr 1697 die Entscheidung des Reichstags, den jungen Thronfolger vorzeitig für volljährig zu erklären und ihn als Karl XII. auf den Thron zu setzen. Im Jahr 1699 bekam Sparre den Rang eines Obersts und bekam das Kommando über das Värmland-Regiment, mit dem er sich der Armee Karls XII. gleich nach der Schlacht bei Narva (1700) anschloss. Im Jahr 1705 wurde er Generalmajor. Sparre zeigte sich als mutiger Kämpfer in der Schlacht bei Klissow und der Schlacht bei Fraustadt. Als Karl XII. den Russlandfeldzug begann, war er selbst so sehr von seinem Sieg überzeugt, dass er Sparre den Posten des Gouverneurs von Moskau versprach. In der Schlacht bei Poltawa am 27. Juni 1709 befehligte Axel Sparre eine der vier Kolonnen des schwedischen Heeres, das die russischen Redouten attackierte. Später hat er sich, ohne Erfolg, bemüht, die Heereseinheiten vom General Carl Gustav Roos vor der Umzingelung und Vernichtung zu retten. Nach der Niederlage der Schweden in der Schlacht bei Poltawa begleitete Generalmajor Sparre mit einem kleinen Trupp den König über die Grenze nach Bender in das Osmanische Reich. Im Jahr 1710 bekam er den Rang eines Generalleutnants. Sparre beteiligte sich an dem Zusammenstoß des Königs mit den Osmanen im Februar 1713 (vgl. Handgemenge von Bender) und war zusammen mit Karl XII. einige Tage in osmanischer Gefangenschaft.