Der var ikke fastboende på Ertholmene før på slutten av 1600-tallet og frem til da het øyene Kirkeholmen (nå Christiansø) og Bodholmen (nå Frederiksø). I 1684 besluttet Christian V av Danmark og Norge å bygge et festningsanlegg på øyene rundt den naturlige havnen mellom Kirkeholmen og Bodholmen. Festningen fikk navnet Christiansø, og de to hovedøyene skiftet navn til Christiansø (etter Christan V) og Frederiksø (etter Frederik IV). Festningen besto av to tårn, på Christiansø og på Frederiksø, samt noen bastioner og ringmurer. Festningens andre bygninger ble oppført omkring havna. Festningen fungerte som militært anlegg frem til 1855.