Después, la carrera de Swain comenzó a decaer, hasta que su amigo Charlie Chaplin lo rescató en 1921 ofreciéndole papeles secundarios en sus películas.