Swingler sluttet seg til Communist Party of Great Britain (CPGB) i 1934 og han forlot dette partiet i 1956.