કહેવાય છે કે સ્વામી હરિદાસજી શ્રીકૃષ્ણની એક સખીનું સ્વરૂપ હતા, જેનું નામ લલિતા હતું. કદાચ એટલે જ સ્વામીજીને બાળપણથી આધ્યાત્મમાં રસ હતો. રમવાની ઉંમરે જ સ્વામીજી આધ્યાત્મમાં ઘણાં જ આગળ વધી ગયા હતા. સ્વામીજીના લગ્ન યોગ્ય ઉંમરે થયા હતા. પરંતુ લગ્ન બાદ પણ તે સાંસારીક જીવનથી દૂર રહ્યા અને ફક્ત ધ્યાનમાં જ જીવન કેંદ્રિત કર્યું.