Hunton 1822. szeptember 22-én született a virginiai Warrenton közelében, Fauquier megyében. Apja, id. Eppa Hunton (1789-1830) iskolai tanító és ültetvénytulajdonos volt. Springfield és Mount Hope nevű ültetvényei New Baltimore közelében terültek el, míg egy harmadik Prince William megyében volt található. Id. Eppa Hunton harcolt az 1812-es brit-amerikai háborúban, ahol a virginiai milícia dandárjának felügyelőjeként tevékenykedett. Anyja Elizabeth Marye Brent (1789-1866), a függetlenségi háborúban harcoló William Brent lánya volt, aki a harcok elől a prince william megyei Dumfries kikötőből a fauquier megyei Bealetonba költözött családjával. Prince William megye székhelye, Brentsville a Brent család után lett elnevezve. A Hunton és a Brent család egyaránt az 1700-as években vándorolt ki Nagy-Britanniából. A pár esküvőjét 1811. június 22-én tartották Fauquier megyében.