Festningen har en lang historie som strekker seg tilbake til Kakatiya-dynastiet (1083–1323). I 1363 gikk byen og festningen til Bahmani-sultanatet. Da dette sultanatet gikk i oppløsning ble Golconda hovedstad i Golconda-sultanatet og festningen ble ombygget og utvidet. Festningen i Golconda er omgitt av en sju kilometer lang festningsmur med vollgrav. Muren har åtte porter og 87 bastioner. Den ytre muren omsluttet byen Golconda.