નારાયણ સ્વામીએ સંસારમાંથી સન્યાસ લીધો હતો. શાપર (વેરાવળ)નાં પાટીયે આવેલા શ્રી પરબવાળા હનુમાન મંદીરે તેઓ થોડો સમય રહયા હતાં જયાં તેઓ દર શનિવારે ભજન કરતા હતાં. તેમની સાથે વેરાવળ (શાપર)ના મુળુભા (બચુભાઈ) તેમજ અન્ય સાથીદારોએ શરૂ કરેલ આ ક્રમ આજે પણ ચાલુ છે. ત્યાર પછીથી તેઓએ સ્થાપેલા આશ્રમમાં રહેતા હતાં. તેમનો આશ્રમ ગુજરાતના કચ્છ જિલ્લાનાં માંડવી ખાતે આવેલો છે. જયાં તેઓએ બીમાર તથા અશક્ત ગાયની સંભાળ માટે ગૌશાળા પણ સ્થાપેલી છે. રાજકોટ મ્યુનિસીપલ કોર્પોરેશને રાજકોટ શહેરમાં એક જાહેરમાર્ગનું નામ નારાયણ સ્વામી માર્ગ નામ આપેલું છે.