Po niecałych dwóch miesiącach Sai Baba opuścił Shirdi na cztery lata. Nie ma żadnych źródeł historycznych, mówiących co się z nim wówczas działo. Istnieją poszlaki oparte na tym co mówił różnym osobom, które do niego przyjeżdżały, że podróżował wtedy po Indiach, podjął pracę jako hafciarz, walczył w powstaniu Sipajów, a także spotykał się z wieloma świętymi i fakirami.