Det finns en oro både hos fackförbunden och på myndigheter att de dåliga distansarbetena kommer att bli fler och att polariseringen ökar .