Empezó su carrera política en los órganos de representación del Estado de Carolina del Sur, en 1868, al ser elegido miembro de la Cámara de Representantes del Estado. En 1870, pasó al Senado del Estado y en 1874, pasó a la política nacional, cuando fue elegido miembro de la Cámara de Representantes de Estados Unidos, en la que ejerció su cargo en 3 legislaturas, entre 1875 y 1879, posteriormente entre 1882 y 1883 y entre 1884 y 1887, durante el denominado periodo de la Reconstrucción. En su actividad política, Smalls fomentó la legislación en Carolina del Sur del primer sistema de educación pública gratuita y obligatoria de Estados Unidos y fundó el Partido Republicano de este Estado. Debido a la Segregación en la reconstrucción, Smalls fue el último republicano que representó al 5.º distrito congresional de Carolina del Sur hasta el año 2010.