Fortet skal ha vært mye lavere enn det nåværende. Til de første bygningene ble det fraktet stein fra et vakttårn bygget av borgerne i Nykirkenss sogn i 1650. Tårnet stod lengre inne i byen, og til det hadde man hentet stein fra noen gamle kirkemurer som grenset til Frederiksberg.