Joyce ble sparket fra sin betalte stilling da Mosley drastisk reduserte staben i BUF kort tid etter valget i 1937, hvorpå Joyce raskt dannet en utbryterorganisasjon, . Etter Joyces avgang vendte BUF sitt fokus vekk fra antisemittisme og til aktivisme som motstandere av en krig med Nazi-Tyskland. Selv om Joyce hadde vært nestleder i partiet fra 1934 og en forkjemper og taler, avviste Mosley ham i sin selvbiografi og fordømte ham som en forræder på grunn av hans aktiviteter under krigen.