Spence lærte seg sjøl å spille gitar som niåring. Ved sida av sitt daglige arbeid som fisker opptrådte han overalt på lokale fester og tilstelninger, og var allerede før andre verdenskrig en av øyenes mest populære musikere. I åra 1944 til 1946 tok han seg arbeid i USA, der han ble sterkt inspirert av sørstatenes svarte musikktradisjoner.