કહેવાય છે કે બ્રિટીશ, પુર્તગાલી, મુગલ, શિવાજી મહારાજ, કાન્હોજી આગ્રે, ચીમ્પાજી અપ્પા અને સંભાજી મહારાજે આ કિલ્લાને જીતવા ઘણા પ્રયાસ કર્યા હતા, પરંતુ તેમાંથી કોઈને પણ સફળતા મળી શકી ન હતી.