જોકે એકબે ભક્તોના કહેવાથી તાત્યાએ પાછું બાબા પાસે આવવાનું શરૂ કર્યું, પણ બાબા પોતાની સેવા કરે એ યોગ્ય નહીં એવી નારાજગી તેમણે સ્પષ્ટ જણાવી હતી.