Davis' oldefar, Caleb Davis, var urmaker i Shenandoah Valley. I 1816 flyttet Caleb Davis' sønn, John Davis, til Clarksburg, som dengang hadde 600–700 innbyggere, og startet opp en liten forretning der. Sønnen John James Davis gikk ved Lexington Law School, som senere ble Washington & Lee School of Law, og etablerte et advokatfirma i Clarksburg i en alder av tyve. John J. Davis var delegat til Virginias delstatsforsamling, og ble senere valgt inn i Vest-Virginias delstatsforsamling i 1863 da delstaten brøt ut fra resten av Virginia. Han ble senere valgt til kongressrepresentant fra Vest-Virginia.