સન 1540-41માં સુરતના તત્કાલિન ગર્વનર ખ્વાજા સફર સુલેમાની ઉર્ફ ખુદાવંત ખાન દ્વારા પોટુર્ગીજોના આક્રમણથી બચવા માટે ચોકબજાર ખાતે કિલ્લાનું નિર્માણ કરવામાં આવ્યું હતુ.