એવું માનવામાં આવે છે કે કિલ્લાનું નામ મરાઠા કાળમાં સ્થાપાયેલા ભદ્ર કાળીનાં મંદિર પરથી પડ્યું છે જે લક્ષ્મીનું સ્વરૂપ છે.