યુવા વયે મોદી પ્રથમવાર બેલુર મઠ ગયા હતા ત્યારે તેમણે સ્વામીને કહ્યું હતું કે તેઓ સન્યાસી બનવાની ઈચ્છા ધરાવે છે, પરંતુ સ્વામીએ મોદીની નાની વય હોવાથી આ માટે ના પાડી હતી.