På et tidspunkt begynte Mosley å komme dårlig overens med andre konservative på grunn av forholdet til Irland og bruken av paramilitære styrker til å undertrykke den irske befolkningen. Dette førte til at han forlot de konservative og ble uavhengig parlamentsmedlem. Ettersom han hadde fått manges tillit i sin valgkrets klarte han å beholde den ved valgene i 1922 og 1923. Frem mot 1924 var han i økende grad blitt tiltrukket av Arbeiderpartiet, som nettopp hadde dannet regjering, og i mars det året meldte han seg inn. Samme år sluttet han seg også til det sterkt venstreorienterte Independent Labour Party.