Sveinsson begynte karrieren i Sandaker. Han debuterte for Lyn i 1938 da Lyn slo Skeid med 11–3. Han tilbrakte noen år i utlandet under den andre verdenskrig, etter å ha flyktet til Sverige i 1941 der han trente med Allmänna Idrottsklubben (AIK) i Stockholm. Han forflyttet seg til England og Skottland i 1943, gjestet Arsenal FC og Chelsea FC i London og Racing Paris (i dag Racing Club de France – Levallois 92), samt spilte amatør i skotske Dundee United der han sammen med Harry Boye Karlsen ble nummer fire i ligaen. Da han kom tilbake til Norge i januar 1945 var det som fallskjermsoldat i Kompani Linge, da han landet ved Grøllvann den 23. april 1945 i operasjon «Goldcrest». Senere det året, var han for Lyn med å vinne Norgesmesterskapet i fotball for herrer 1945 etter tre kamper mot Fredrikstad, der Sveinsson med et frispark fra 25 meter, scoret 1–0 i siste kampen som Lyn da vant 4–0. I perioden 1945 til 1950 dannet han «radarpar» med Knut Osnes. Sveinsson er en av få med seks mål i norsk toppserie (de andre er Tor Jevne, Gunnar Thoresen, Odd Wang Sørensen, Odd Iversen og Jan Fuglset). Det inntraff den 6. mai 1951 da laget vant 14–2 borte over Kristiansund FK i Hovedserien 1950-51. Sveinsson ble også toppscorer i denne sesongen med 19 mål.