스미스의 첫 정치적 직업은 1895년 배심원 지방 행정관의 사무실에서 사무원으로서 였다. 1903년 그는 뉴욕주의사당으로 선출되었다. 그는 1911년 비참한 트라이앵글 셔츠웨이스트 공장 화재에 100명의 근로자들이 사망한 후 공장의 상태를 조사하는 데 임명된 행정관의 부의장을 지냈다. 스미스는 위험하고 건강에 해로운 조건들에 대항하는 운동에 참여하여 교정 입법을 정당화 하였다. 1911년 민주당원들은 주의 의사당에서 의석의 다수를 얻었고, 스미스는 권력적인 미국 세입위원회의 의장이 되었다. 1912년 다수의 감소에 이어 그는 소수의 지도자가 되었다. 민주당원들이 다음 선거에서 다수를 되찾을 때 그는 1913년 회의를 위하여 연설자가 되었다. 그는 공화당원들이 다시 다수를 이겼을 때 다시 소수의 지도자가 되어 1915년 뉴욕군의 보안관으로서 자신의 선거까지 그 직위에 남아있었다. 지금까지 그는 뉴욕과 뉴욕주에서 진보주의 운동의 지도자였다. 그의 캠페인 관리인이자 최고 측근자는 프로이센 출신 유대인 이민자 벨 모스코위츠였다.