Joseph Reid Anderson naît à près de Fincastle, le siège du comté de Botetourt, en Virginie , en 1813. Petit-fils d'immigrés écossais-irlandais, il est le fils du colonel William Anderson (1764-1839) et d'Anne (née Thomas) Anderson. L'aîné Anderson avait servi lors la guerre d'indépendance américaine, et a été également un colonel d'un régiment de Virginie lors de la guerre de 1812. Le père de Joseph est un ingénieur autodidacte et arpenteur et plus tard est responsable de la construction de la route à péage qui est maintenant la route 220 des États-Unis et (pour sur une partie de la route) la route 60 des États-Unis de Fincastle à Covington. Le fils du colonel Anderson suit les traces de son père.