Skytsborg var sammen med Fort Christian og Schmidtsbjerg en del av Charlotte Amalies vakttårn. Opprinnelig hadde Fort Christian også et vakttårn, Trygborg, men dette ble revet på 1870-tallet i forbindelse med renovering av festningen. På 1930-tallet fikk Schmidtsbjerg omfattende oppgraderinger, med blant annet større vinduer. Skytsborg er dermed det eneste gjenværende vakttårnet på St. Thomas og Karibia som har beholdt sitt opprinnelige utseende.