કેટલાંક લોકો એમણે પાગલ કહીને એમની ઉપર પથ્થર ફેંકતાં હતાં. સાંઈબાબા એકદિવસ ગામમાંથી જતાં રહ્યાં અને કોઈને ખબર પણ નાં પડી. એ ત્રણ વર્ષ શિરડીમાં રહ્યાં અને એનાં પછી એ શિરડીમાંથી ગાયબ થઇ ગયાં. એનાં પછી એક વર્ષ પછી એ ફરીથી પાછાં શિરડી આવ્યાં અને હંમેશને માટે ત્યાં વસી ગયાં !!!