લાડુદાનજી સંસારથી વિરક્ત થયા, એ વાત એમના મામાએ ખાણ ગામે પહોંચાડી. લાડુુદાનજીનાં માતા પિતાના હૈયામાં ભારે આઘાત લાગ્યો. તેઓ સ્વામીને મનાવવા ગઢપુર આવ્યા. લાડુદાનજીનું જેમની સાથે વાગ્દાન થયેલું એ મોજબાઇ અને એમની બહેનપણી ખીમબાઇ પણ લાડુદાનજીનાં માતા પિતાની સાથે ગઢપુર આવ્યાં. સગાં સંબંધીઓએ સ્વામીને સંસારમાં પાછા ફરવા માટે અતિ આગ્રહ કર્યો, પણ સ્વામી સહેજ પણ પીગળ્યા નહિ. સ્વામીએ સર્વને સ્પષ્ટ જણાવી દીધું.