Ab 1895 für die Demokraten politisch aktiv, wurde Smith 1903 zum Abgeordneten der "State Assembly", des Abgeordnetenhauses des Staates New York, gewählt. Politisch setzte er sich vor allem für die Rechte der Einwanderer und Arbeiter ein, so auch als stellvertretender Vorsitzender des Untersuchungsausschusses zum Brand der Triangle Shirtwaist Factory, bei dem 146 Menschen ums Leben gekommen waren. Smith initiierte danach erste Arbeitsschutzgesetze. 1911 wurde er Fraktionsführer der Demokraten und von 1913 bis 1914 Sprecher des Hauses. 1915 wählten ihn die Bürger des New York County zum Sheriff, dem Leiter der Polizeibehörde von Manhattan.