પોતાના આરંભિક જીવનમાં મોદી જી સંત બની ગયા હતા. બાળપણમાં જયારે પણ કોઈ સાધુ ને જોતા તો તેની પાછળ-પાછળ ચાલવા લાગતા હતા. એવામાં તેની માતા ને એ ચિંતા સતાવા લાગી કે ક્યાંક તે સંન્યાસી ન બની જાય. બસ તેના લીધે જ તેના લગ્ન માતા જશોદાબેને જલ્દી જ કરાવી નાખ્યા.