Elm begynte sin fotballkarriere hos Johansfors IF og Emmaboda IS før han i januar 2005 signerte for Kalmar FF. I en periode over fire og et halvt år spile han over 96 kamper og scoret 18 mål i Allsvenskan. Med Kalmar FF vant han også Svenska Cupen i 2007 og Allsvenskan i 2008.