જ્યારે આ કિલ્લાનું ભૂમિપૂજન કરવાનું હતું ત્યારે સિધ્ધરાજ રાજાનાં જ્યોતિષે કહ્યું હતું કે મહારાજ, આ કિલ્લો બાંધવા પ્રથમ સ્તંભ રોપવા જે કુહાડીનો ઘા જમીનમાં કર્યો છે, તે શેષનાગનાં શિશમણિ પર થયેલ છે. એટલે આ કિલ્લો સદાય અજેય રહેશે. પણ રાજા માન્યા નહીં. એમણે વિરોધ કર્યો કે જે વસ્તુ દુનિયામાં છે એનો એક દિવસ તો ચોક્કસ નાશ થવાનો જ છે.