Svendsen vokste opp i Aremark i Østfold, og arbeidet som bygningsmann i Mysen til 1928. De neste tre årene var han gårdsarbeider i Ås i Akershus. Deretter var han snekker i Oslo fra 1931 til 1937. Han engasjerte seg i fagforeningen, noe som senere førte til at han ble formann i Norsk Bygningsarbeiderforbund.