Джозеф Рид Андерсон родился на вилле «Walnut Hill» около Финкасла в округе Ботетур, Вирджиния, в 1813 году. Потомок иммигрантов шотландско-ирландского происхождения, сын полковника Уильяма Андерсона (1764—1839) и Энн Андерсон. Его отец участвовал в американской войне за независимость и так же был полковником вирджинского ополчения в годы войны 1812 года. Инженер-самоучка, в своё время занимался строительством дороги, известной сейчас как «Route 220» и «Route 60» на участке от Финкасла до Ковингтона.