Fuera del Partido Laborista, el ILP cayó en declive.