Harvey Spencer Lewis hadde sine aner i Wales, fra utvandrere som bosatte seg i Virginia. Hans farfar, Samuel Lewis, var etterkommer av farmere som ryddet området for skog og omdannet det til dyrkbar mark. Han giftet seg med Eliza Hudnut, en kvinne av fransk avstamning, og bosatte seg i Kingswood, New Jersey. Der fikk de sønnen Aaron Rittenhouse Lewis, som var far til Harvey Spencer Lewis.