和英国共产党等反法西斯主义者的强烈反对，但不列颠法西斯联盟在伦敦东区找到一批追随者。在1937年3月的（LCC）选举中，该党在贝思纳尔绿地、肖迪奇和莱姆豪斯取得了相当成功，但候选人仍没有当选。1930年代中期，不列颠法西斯联盟针对反对派的暴力冲突使中产阶级支持者退出，成员数量减少。1934年，伦敦奥会上，该党准军事组织（Fascist Defence Force, FDF）残暴地驱逐反法西斯分子，导致《每日邮报》不再支持该党。奥会上的暴力震惊许多人，使中间派反对不列颠法西斯联盟，倒向支持反法西斯主义。