Svedberg aloitti uransa Ruotsin 1. sarjassa vuonna 1959 &lt;a href="Timr%C3%A5%20IK"&gt;Wifsta/Östrands IF:ssä&lt;/a&gt;, jossa hän teki kolmen kauden aikana 13 maalia. Hän teki maajoukkuedebyyttinsä 17-vuotiaana vuonna 1961, jolloin hän pelasi vielä hyökkääjänä ja teki yhden maalin ottelussa Tšekkoslovakiaa vastaan. Svedberg pelasi kaudella 1962–1963 Grums IK:ssa, josta hän meni Brynäs IF:ään. Tuolloin Brynäsin valmentaja laittoi hänet puolustajaksi, mitä ihmeteltiin ensin, mutta myöhemmin se osoittautui hyväksi ratkaisuksi. Svedberg valittiin Ruotsin liigan tähdistökentälliseen vuonna 1965, ja hän myös pelasi saman vuoden MM-kisoissa, joissa Ruotsi sai pronssia.