वास्तविक मन्दिर एउटा सानो झोपडिमा थियो । हालको मन्दिर सवर्ना रोय चौधरी परिवारको सन्तोष रोय चौधरीद्वारा निर्माण गरिएको थियो । सन् 1799 मा सन्तोष रोय चौधरीको मृत्यु पश्चात उनका नाती राजिवलोचन रोय चौधरीले यस मन्दिरको निर्माण सन् 1809 मा गराएका थिए । यस मन्दिरका वास्तविक मालिक सवर्ना रोय चौधरीका परिवार थिए । रोय परिवारले 595 विघा जग्गा मन्दिरलाई प्रदान गरेका थिए ।  सवर्ना रोय परिवारद्वारा हलदर परिवारलाई कालीघाटको पुरोहितको रूपमा नियुक्त गरिएको थियो । सन् 1960 मा सर्वोच्च अदालयद्वारा मन्दिर व्यवस्थापको लागी सरकारको प्रतिनिधी सहितको कमिटी गठन गरेको थियो । 