કહેવાય છે કે બ્રિટિશ, પુર્તગાલી, મુગલ, શિવાજી મહારાજ, કાન્હોજી, ચિમ્માજી અપ્પા અને સંભાજી મહારાજે આ કિલ્લાને જીતવાની ઘણી કોશિશ કરી, પરંતુ તેમાંથી એક પણ સફળ થયા નહોતા.