John Floyds Vater starb zwölf Tage vor seiner Geburt bei einem Indianerüberfall. John besuchte die Schulen seiner Heimat und dann das Dickinson College in Carlisle (Pennsylvania). Danach studierte er bis 1806 an der University of Pennsylvania Medizin. Anschließend zog er nach Virginia, wo er sich zunächst in Lexington und dann in Christiansburg im Montgomery County niederließ. In dieser Stadt war Floyd als Arzt und ab 1807 auch als Friedensrichter tätig. Er wurde auch Mitglied in der Miliz von Virginia. Während des Britisch-Amerikanischen Kriegs von 1812 stieg er als Militärarzt bis zum Brigadegeneral auf.