Tout en travaillant dans les chantiers navals, il rejoint les syndicats Unite et GMB, avant de rejoindre PCS chez Scottish Enterprise. Il est également membre du comité exécutif de la Fabian Society écossaise et membre d'Open Labour, Momentum et Campaign for Socialism. Sweeney se fait connaître lors du référendum sur l'indépendance de l'Écosse en 2014, après avoir organisé une lettre ouverte signée par de jeunes travailleurs des chantiers navals s'opposant à l'éclatement du Royaume-Uni, puis prend la parole lors d'un rassemblement aux côtés de Gordon Brown à la veille du référendum .