Som finansminister 1906-1911 gjennomførte han en rekke reformer, blant annet enhetlig inntekt- og formuesskatt, og begge ble gjort progressive. Ved sammenslåingen av høyregruppene i første kammeret ble Swartz i 1912 medlem av i de nydannede Nationella Partiet, som var moderat konservativ. Da regjeringen Hammarskjöld falt på grunn av ytre trykk og indre splittelse, kalte kong Gustav V i riksdagen høyremannen Swartz som statsminister. Det var en oppgave han påtok seg mer av plikt enn personlig ønske.