૧૭મી સદીમાં મહારાઓશ્રી ખેગારજી પહેલાએ રાજમહેલ અને આયના મહેલની સુરક્ષા માટે મહેલની ફરતે ગઢ બંધાવ્યો . આ ગઢ દરબાર ગઢ તરીકે ઓળખાય છે . ૧૮૧૯માં થયેલા ભૂકંપમાં આ ગઢ એટલે કે કિલ્લો નુક્સાન પામ્યો . તેને સાચવ્વા નવો કિલ્લો બાંધવામાં આવ્યો. જુના કિલ્લાની દિવાલ નીચી હતી જ્યારે નવા કિલ્લાની દિવાલ ઉંચી રાખવામાં આવી હતી.