ફેરિયાઓ, લારીવાળાઓને અન્ય જગ્યાએ ખસેડાયા