I augusti 2013 återvände Elm till Kalmar FF efter att ha fått begränsat med speltid i Elfsborg. Han skrev på ett 3,5-årskontrakt med föreningen. Elm spelade 11 matcher och gjorde sex mål för KFF under säsongen 2013. Han blev inför säsongen 2014 utvald till lagkapten av Kalmar FF:s nye tränare Hans Eklund. Elm spelade under säsongen 21 matcher och gjorde sex mål.