Hans far døde i 1897 da Spencer var tre år gammel, og hans mor forlot ham kort tid senere. Han bodde sammen med en tante og onkel etter dette. Spencer ble aldri uteksaminert fra grunnskolen, men begynte som lærling da han var 12 år gammel. Han vervet seg til den amerikanske marinen i 1912, hvor han lærte seg telegrafi. På 1920-tallet begynte han å jobbe for Raytheon Company.