એવું કહેવામાં આવે છેકે આરંભમાં અહીં માટીથી બનેલો કિલ્લો હતો પરંતુ કુતુબશાહી વંશના શાસનકાળમાં તેને ગ્રેનાઇટથી બનાવવામાં આવ્યો હતો.