Im November 2012 wurde bekannt, dass Swärdh nach vier Jahren zum Jahreswechsel Mjällby AIF verlassen und zum Erstligaaufsteiger Åtvidabergs FF zurückkehren werde, wo er Andreas Thomsson ersetzte. In den folgenden beiden Spielzeiten belegte er mit der Mannschaft jeweils den achten Tabellenplatz. Mitte November 2014 lösten er und der Verein seinen Vertrag nach Saisonende in gegenseitigem Einverständnis frühzeitig auf. Wenige Tage später verpflichtete ihn der Ligakonkurrent Kalmar FF, bei dem er einen bis Ende 2016 gültigen Vertrag mit Option auf eine weitere Saison unterzeichnete. Nachdem er den Klub in der ersten Spielzeit im hinteren Mittelfeld vor dem Abstieg bewahrt hatte, erreichte er in der Spielzeit 2016 mit der Mannschaft den sechsten Tabellenplatz. Den Erfolg vermochte er jedoch nicht bestätigen, in der folgenden Spielzeit startete er mit lediglich acht Punkten aus den ersten zwölf Spielen – der schwächste Saisonstart des Klubs seit der Aufstockung der Liga auf 16 Mannschaften 2008. In der Folge trennte sich der Klub von ihm Mitte Juni 2017.