Stuart ble født på Laurel Hill Farm, en plantasje i Patrick County i Virginia, nær grensa til Nord-Carolina. Han var det åttende av elleve barn. Hans oldefar, major Alexander Stuart, ledet et regiment i slaget ved Guilford Court under den amerikanske uavhengighetskrigen. Hans far, Archibald Stuart, var veteran fra 1812-krigen, slaveholder, advokat og demokrat-politiker som også satt en periode i Representantenes hus. Archibald var fetter av Alexander Hugh Holmes Stuart. Elizabeth Letcher Pannill Stuart, Jebs mor, som var kjent som en strengt religiøs kvinne med god sans for forretninger, drev familiegården.