અંત્યજ કુટુંબના પ્રવેશથી આશ્રમમાં હર્ષનો નહીં, સંઘર્ષનો પ્રવેશ થયો. મો.ક. ગાંધીના સહાયક મિત્રમંડળમાં ખળભળાટ થયો. જે કૂવામાં બંગલાના માલિક જીવણલાલ વ્રજરાય દેસાઈનો ભાગ હતો તે કૂવામાંથી પાણી ભરવામાં જ અડચણ આવવા લાગી. આ ઘટનાને ગાંધીના મોઢેથી જ સાંભળીએ : ‘કોસવાળાને અમારા પાણીના છાંટા અડે તો તે અભડાય. તેણે ગાળો શરૂ કરી, દૂદાભાઈને પજવવાનું શરૂ કર્યું. ગાળો સહન કરવાનું ને દૃઢતાપૂર્વક પાણી ભરવાનું જારી રાખવાનું મેં સહુને કહી દીધું. અમને ગાળ સાંભળતા જોઈ કોસવાળો શરમાયો ને તેણે છેડ મૂકી. પણ પૈસાની મદદ તો બંધ થઈ. જે ભાઈએ આશ્રમના નિયમો પાળનારા અંત્યજોના પ્રવેશ વિશે પ્રથમથી જ શંકા કરી હતી તેમને તો આશ્રમમાં અંત્યજ દાખલ થવાની આશા જ નહોતી.’ (‘સત્યના પ્રયોગો’, ૧૯૯૩, પૃષ્ઠ : ૩૮૦) આશ્રમને પૈસાની મદદ બંધ પડી. ગાંધીજીના કાને આશ્રમના બહિષ્કારની અફવા આવવા માંડી. જો કે, ગાંધીજીએ સાથીઓની સાથે આવું વિચારી મેલ્યું હતું : ‘જો આપણો બહિષ્કાર થાય ને આપણી પાસે કશી મદદ ન રહે તોયે આપણે હવે અમદાવાદ નહીં છોડીએ. અંત્યજવાડામાં જઈને તેમની સાથે રહીશું, ને જે કંઈ મળી રહેશે તેની ઉપર અથવા મજૂરી કરીને નિર્વાહ કરીશું.’ (પૃષ્ઠ : ૩૮૧)