William Jasper Spillman var det ellevte av femten barn av Nathan Cosby Spilman (1823-1871) og Emily Paralee Pruit (født 1830). Oppveksten hadde han på familiens gård; økonomien var tung særlig etter at faren døde i en ulykke.