ઇ.સ. ૧૬૭૪માં શિવાજી ગાદીનશીન થયા ત્યારબાદ ઈ.સ. ૧૬૭૬માં તેમના સેનાપતિ શ્રી મોરો પંડિતે કિલ્લાનો કબજા લઈ ત્યાં લશ્કરી થાણું નાખ્યું. તે વખતે પેશવાઈ યુગ ઝળહળતો હતો અને પેશવા રાજ્યની સરહદ પર આવેલા આ લશ્કરી મથકનું વધારે મહત્વ હતું. પરંતુ પેશવાઓનો સુવર્ણ યુગ આથમી જતા વાર ન લાગી. ઈ.સ. ૧૭પ૨માં આ કિલ્લો વડોદરાના ગાયકવાડ સરકારના હાથમાં ગયા પછી ત્રીજા પેશવા બાલાજી બાજીરાવે હુમલો કર્યો. આ લડાઈ કુલ સાત દિવસ ચાલી હતી. આ લડાઈનું વર્ણન ‘પારનેરાની લોલ’ નામના ગરબામાં કોઈ કવિએ કર્યુ છે. ઈ.સ. ૧૭૮૦માં આ કિલ્લાનો કબજો અંગ્રેજાએ લીધો અને પીંઢારાઓનો ત્રાસ ખાળવા લશ્કર મૂક્યું. પરંતુ ઈ.સ. ૧૮૫૭ના વિપ્લવ વખતે આ કિલ્લાની જાહોજલાલી ઘટી ગઈ. શેષ રહી ગઈ માત્ર ઈમારતો તેમજ મરાઠાઓની કુળદેવી ચંડિકા, અંબિકા, નવદુર્ગા, મહાકાળી અને શીતળા માતાનું ડુંગરની તળેટીમાં આવેલું અતિ પ્રાચિન રામેશ્વર મહાદેવનું સ્વયંભુ શિવલીંગ.