સ્વામીજીનું લગ્ન હરિમતિ નામની સ્ત્રી સાથે થયા હતા. તે પોતે પણ ખૂબ સાધના કરતા હતા. જ્યારે હરિમતિને પતિ કૃષ્ણ સાથે સંબંધ ધરાવતા જ્ઞાની હોવાની જાણ થઈ ત્યારે તેમણે પણ તપસ્યાનો માર્ગ પસંદ કર્યો. તેમની તપસ્યામાં એટલી તેજ હતી કે તેઓ શરીર ત્યાગીને અગ્નિની જ્યોતિ બની દીવામાં સમાઈ ગયા. ત્યાર બાદ હરિદાસજીએ પણ ગામ છોડી દીધું અને વૃંદાવન તરફ ચાલી નીકળ્યા.