Herman Foss var sønn av magasinforvalter Jacob Finne Foss (1763–1822) og Margrethe Meyer (f. 1763). Allerede i barndommen følte han en sterk dragning til det militære.