Sven Andersson er født og oppvokst i Strömstad. Han spilte fotball fra barnsben av i lokalklubben IFK Strömstad. Som 16-åring stod han noen kamper i mål for IFK Strömstads seniorlag i division 4 og spilte samtidig for Sveriges guttelandslag. Som 17-åring tok han i 1980 klyvet oppover i divisjonene da hentet ham. Skadeproblemer blant målvaktene hos Örgryte førte til at Andersson fikk sjansen umiddelbart. Han etablerte seg som klubbens førstevalg mens han fortsatt var tenåring. Med Örgryte ble han svensk mester i 1985.