Under et stort partiarrangement den 7. juni 1934 utbrøt det protester da svartskjortene fjernet forstyrrende elementer, noe som førte til dårlig omtale. Dette og de lange knivers natt i Tyskland førte til at BUF mistet det meste av sin støtte. Partiets deltagelse i valget i 1935 var ingen suksess. I oktober 1936 forsøkte Mosley og BUF å arrangere en marsj gjennom et område med en stor jødisk befolkning, noe som førte til sammenstøt mellom politiet og demonstranter mot BUF, kjent som . Til slutt bestemte politiet at marsjen måtte stoppes, og BUF gav opp å gjennomføre den. Mosley fortsatte å organisere marsjer styrt av svartskjortene, mens myndighetene på sin side vedtok en lov som forbød militærlignende private organisasjoner.