કાલીબાડી મંદિરના પૂજારીના જણાવ્યાનુસાર આ મંદિરની સ્થાપના તાંત્રિક મધુસુદન મુખર્જીએ કરી હતી.