Smith war der Enkel von Persifor Frazer, einem Veteranen des Unabhängigkeitskrieges. Schon früh trat er in die Armee ein und kämpfte während der Seminolenkriege in Florida. Während des Mexikanisch-Amerikanischen Krieges war er Kommandeur einer Brigade, die an der Schlacht von Monterrey beteiligt war. Im September 1846 wurde er zum Brevet-Brigadegeneral befördert. Er nahm an weiteren Kämpfen in Mexiko teil und wurde zum Brevet-Generalmajor befördert. Nachdem er an den Waffenstillstandsverhandlungen teilgenommen hatte, wurde er Gouverneur von Mexiko-Stadt und für kurze Zeit Militärgouverneur von Kalifornien.