ઘણાં વર્ષો સુધી આચાર્યનો પરિવાર અહીં જ રહ્યો, પણ થોડા વર્ષો બાદ તેઓ મુલતાન ચાલ્યા ગયા. એ જ મુલતાન જે હાલ પાકિસ્તાનમાં આવેલું છે. જો કે પછી કેટલાક કારણોસર શ્રી આશુધીરજી (સ્વામી હરિદાસજીના પિતા) બ્રિજ ક્ષેત્રના બહારના વિસ્તારમાં આવીને વસ્યા. આ એ જ સ્થળ હતું જ્યાં શ્રીહરિના રૂપમાં દરેક સ્થળે કાન્હાની યાદો હતી. અને આ જ સ્થળે હરિદાસજી સ્વામીનો જન્મ થયો.