આ કિલ્લાના ઇતિહાસની કેટલીક ઘરબાયેલી હકીકત એવી છે કે, સામાન્ય પણે લોકોને એવો ખ્યાલ હતો કે, આ કિલ્લો ઈ. સ. 1540મા એટલે સોળમી સદીમાં પોર્ટુગીઝોના હુમલાથી બચાવા માટે ખુદાવંદખાને બનાવડાવ્યો હતો.