એવું માનવામાં આવે છે કે કિલ્લાનું નામ મરાઠા કાળમાં સ્થાપાયેલ ભદ્ર કાળીના મંદિર પરથી પડ્યું છે જે લક્ષ્મીનું સ્વરૂપ છે