કલકત્તાના જાનબજાર નામક લત્તામાં રામચંદ્રદાસ નામના ધનાઢય જમીનદારની વિધવા રાણી રાસમણિ રહેતી હતી. સ્વપ્નમાં દેવીનો આદેશ થવાથી તેણે જમાઈ મથુરબાબુ સાથે મસલત કરી. કલકત્તાથી ઉત્તરે છ કિલોમિટર દૂર ગંગાકિનારે નદીને પૂર્વકાંઠે દક્ષિણેશ્વરમાં સાઠ વીઘા જમીન સને ૧૮૪૧ની ૬ઠ્ઠી સપ્ટેમ્બરે ૬૦,૦૦૦ રૂપિયામાં ખરીદી અને તેના પર નવચૂડાથી શોભતું વિશાળ કાલીમંદિર, બાર શિવમંદિરો, રાધાકાન્તનું મંદિર, સભામંડપ વગેરે બંધાવ્યા. સને ૧૮૫૫ના મેની ૩૧મી તારીખે મૂર્તિની પ્રાણ પ્રતિષ્ઠા કરવામાં આવી.