Tom Mann var sønn av en ansatt i et kullforetak. Han begynte på skole som seksåring, men sluttet der etter tre år for å arbeide i bergverket. Da kullgruven måtte stenge i 1870, flyttet familien til Birmingham.