પાછળથી ગાંધીજીએ જ્યારે અસ્પૃશ્યો માટે ‘હરિજન’ શબ્દ પ્રયોજ્યો ત્યારે આ સંઘનું નામ બદલીને ‘હરિજન સેવક સંઘ’ રાખવામાં આવ્યું.