કહેવાય છે કે, આ કિલ્લાને ગોરી-બાદશાહના સમયકાળમાં બાંધવામાં આવ્યો હતો. જો કે, આ ઇતિહાસ પૃથ્વીના પેટાળમાં ક્યાંક સમાઇ ગયો છે. હાલ કહેવાય છે કે, ઠાકોર સાહેબની સાતમી પેઢી એટલે કે ઠાકોર રણમલજીએ કિલ્લાનો જીર્ણોદ્ધાર કરવાની શરૂઆત કરી. દિવસે ચણતર કરવામાં આવતું પરંતુ રાત્રી થતાં જ ચણતર પડી જતું. અનેક વખત આ પ્રકારની ઘટના ઘટી. એ જ અરસામાં એક પીર બાબા ખીરસરા આવ્યા. રણમલજી તેમની પાસે ગયા અને મહેલના ચણતર અંગે વાત કરી. બાબાએ રણમલજીને એક ભુલવણી બનાવવા કહ્યું. રણમલજીએ એ ભુલવણી બનાવી. જેમાં ચારસો માણસ રહી શકે. જેમાં પીર બાબા અને તમનો રસેલો એ ભુલવણીમાં રહેતા. આજે પણ એ ભુલવણીમાં પીરનું સ્થાનક તેમના વસંજોની કબરો આવેલી છે. યુદ્ધ વેળાએ શત્રુઓ પર હુમલો કરવા અને તેમનાથી બચવા માટે આ ભુલવણીનો ઉપયોગ કરવામાં આવતો. તેથી જ ખીરસરાનો કિલ્લો અજીત રહી શક્યો છે. જો કે, આ કિલ્લાની રચના અન્ય લોકોને ખુંચવા લાગી હતી. જુનાગઢના નવાબે ખીરસરા પર હુમલો કરવાનું નક્કી કર્યું. પરંતુ નવાબ કંઇ કરે તે પહેલા રણમલજીએ જૂનાગઢના એકાદ બે ગામ પર હુમલો કર્યો અને સર કર્યા. આ વાતથી ગિન્નાયેલા નવાબ જાતે જ ખીરસરા સર કરવા તોપો લઇને આવ્યાં. ખીરસરા કિલ્લા પર અનેક હુમલા કર્યાં પરંતુ કિલ્લો કોઇકાળે તુટતો ન હતો. અને રણમલજી વચ્ચે યુદ્ધ છેડાયું. રણમલજીએ ભુલવણીમાં રહેલા પીર પાસે સલાહ માંગી અને પીર બાબાએ જણાવેલી વ્યૂહ રચના અપનાવી. જેનાથી નબાવ કિલ્લા પર ફતેહ કર્યા વગર જ જતા રહ્યાં. નવાબની બે તોપો આજે પણ ખીરસરા પેલેસમાં વિજય સ્મારક તરીકે લગાવેલી જોવા મળે છે. રણમલજી પછીના વંસજ એ કિલ્લાની એ જોહાજહાલી સાચવી શક્યા નહીં જો કે, ઠાકોર સુરસિંહજીએ ફરીથી એ કિલ્લાને તેનો મોભો પાછો અપાવ્યો અને તેની જાહોજહાલી પરત ફરી.