તેમ છતાં આ કિલ્લા પર પોર્ટુગલ,ડચઅને બ્રિટિશના હુમલાનો શિકાર થતો રહ્યો. ઇ. સ1756 સુધી આ કિલ્લો મરાઠા શાસનને આધીન રહ્યો.