Su primer trabajo político fue como empleado en una oficina del Comisionado del Jurado en 1895. En 1903 fue elegido para la Asamblea de Nueva York. Ostentó el puesto de vicepresidente de la comisión designada para investigar las condiciones de la fábrica después de que cien trabajadores murieran en el incendio en la fábrica Triangle Shirtwaist en 1911. Smith puso en marcha una cruzada contra las condiciones de los lugares de trabajo peligrosas y antihigiénicas y defendió la legislación correctiva. En 1911 los demócratas obtuvieron la mayoría en la Asamblea estatal, y Smith fue elegido presidente de los Ways and Means Committee. En 1912, después de la pérdida de la mayoría, fue designado líder de la minoría y posteriormente, speaker (presidente) de la Asamblea en 1913, cuando los demócratas recuperaron la mayoría en la siguiente elección, hasta 1914 en la que nuevamente fue el líder de minoría, al perder frente a los Republicanos. Mantuvo este puesto hasta su elección como sheriff del condado de Nueva York en 1915.