Opprinnelig var han fra Hannestad i Sarpsborg der han som barn startet Idrettslaget Sparta (1928). Dette var et lag i Arbeidernes Idrettsforbund som vant Arbeidermesterskapet i fotball i 1938 og arrangerte landskamper der Spydevold var med. Han flyttet til Fredrikstad i 1939 og meldte da overgang til Fredrikstad FK.