Strowger s-a născut în Penfield, New York, aproape de Rochester, New York. Sunt disponibile puține informații despre copilăria lui, dar este cunoscut faptul că el a fost nepotul celui de-al doilea colonist și morar din Penfield. În istoria ei despre orașul Penfield, Katherine Thompson a scris că, atunci când mama lui Strowger dădea copiilor o sarcină, el și frații lui petreceau cea mai mare parte a timpului proiectând o mașinărie care să îndeplinească acea sarcină. El a învățat la școală în Penfield pentru un timp și a servit ca voluntar în Armata a 8-a de Cavalerie din New York în timpul Războiului Civil American. Se crede că el a luptat în cea de-a Doua Bătălie de la Bull Run lângă Manassas, Virginia.