અલ્લાઉદ્દીન ખિલજીએ કિલ્લા પર આક્રમણ કર્યું હતું, ત્યારબાદ બીજું આક્રમણ અહમદ શાહે કર્યું હતું પરંતુ તેને નિષ્ફળતા મળી હતી, અહમદ શાહે બનમાતા મંદિરને ધ્વસ્ત કર્યું હતું જો કે એવું પણ માનવામાં આવે છે કે દેવતાઓએ કિલ્લાને આક્રમણ અને ક્ષતિથી બચાવ્યો હતો.