Smith tjenestegjorde i den kontinentale armé i den amerikanske uavhengighetskrigen, hvor han blant annet deltok i slaget ved Brandywine. Han studerte rettsvitenskap etter krigens slutt ved , som i moderne tid går under navnet Princeton University. Etter dette arbeidet han som advokat i Maryland, hvor han også ble folkevalgt valgmann for valgmannskollegiet i Maryland i forkant av presidentvalget i 1789. Smith ble deretter medlem av delstatssenatet i Maryland fra 1793 til 1795.