Svend Karlsen ble født 6. oktober 1967, og vokste opp i Krokstadelva utenfor Drammen. Senere har han bodd ti år i Kristiansand, før han flyttet tilbake til Krokstadelva. Karlsen slo for alvor gjennom i styrkeløft da han som 18-åring i løpet av første halvår 1986 vant gull i både junior-NM og nordisk juniormesterskap, vant sølvmedlaje i senior-NM, og vant bronsemedalje i junior-EM. Han var opprinnelig med i troppen som 6. september 1986 skulle reise til junior-VM i India, men Norges Idrettsforbund fikk mistanke til ham etter å ha mottatt tips om at han hadde brukt anabole steroider. Han ble derfor innkalt til dopingprøve 22. august 1986. Dopingprøven var positiv, og Karlsen fikk en to års utestengelsesdom fra NIF. Mens Karlsen var utestengt for doping, meldte han seg på Stavanger Grand Prix i kroppbygging, som skulle gå av stabelen 9. april 1988. Da det ble oppdaget at han var utestengt for dopingmisbruk fikk han ikke delta.