ગુજરાતમાં નિત્યાનંદ પર આક્ષેપ છે કે તે બાળકોને ઉઠાવીને પોતાના અમદાવાદના હાથીજણ સ્થિત આશ્રમમાં ગોંધી રાખતો હતો.