I 1683 ble det oppført et lite, befestet tårn på stedet, og året etter ble det reist palisadeverk omkring det. I 1703 ble palisadene revet og erstattet med ordentlig murverk. Under beleiringen i 1718 ble Gyldenløve skutt i stykker og ble stormet av svenskene den 8. desember. Fortet ble gjenoppbygd i 1720-23, men i 1752 ble det stilt spørsmål om dets strategiske betydning. Men fra 1785 ble Gyldenløve utvidet og forsterket med nye tenaljer og palisader. Det ble innredet nye batteristillinger i 1813.