પણ તેઓ મંદિરમાં કુરાનનાં શ્લોક બોલતાં જેના કારણે ઘણાં હિંદુઓએ તેમના મંદિરમાં રહેવા બાબતે વિરોધ કર્યો હતો અને તેઓને મંદિર છોડી દેવા જણાવ્યું. મહાલસાપતિ સહિતના અનુયાયીઓ, સાંઇબાબાને શિરડીની એક મસ્જિદમાં લઈ ગયા. સાંઇબાબાએ તે મસ્જિદને “દ્વારકામાઇ” નામ આપ્યું અને પછીનું જીવન તેઓએ ત્યાં જ વિતાવ્યું.