Repräsentantenhaus von South Dakota
Seine politische Laufbahn begann Schwartz als Abgeordneter im Repräsentantenhaus von South Dakota zwischen 1896 und 1897. Danach war er in führender Position beim Land Office beschäftigt, wodurch es ihn bis 1907 nach Spokane (Washington) und Helena (Montana) verschlug. In diesem Jahr war er auch kurzzeitig als Sonderassistent des US-Justizministers tätig, ehe er bis 1910 den "Field Service" des "Land Office" in Washington, D.C. leitete.