એવું કહેવામાં આવે છે કે બ્રિટીશ, પોર્ટુગીઝ, મોગલ, શિવાજી મહારાજ, કન્હોજી આંગ્રે, ચિમ્માજી અપ્પા અને સંભાજી મહારાજે આ કિલ્લાને જીતવા માટે ખૂબ જ પ્રયાસ કર્યા હતા, પરંતુ તેમાંથી કોઈ પણ સફળ થઈ શક્યું ન હતું.