Under byggingen ble festningen brukt som fengsel der fangene ble brukt som arbeidskraft til byggingen. Å bli dømt til «marstrandsarbeide» ble regnet som den strengeste straffen i svensk lov, til og med strengere enn dødsstraff. For å få mat og drikke måtte de innsatte tjene opp penger etter hvor mye de hadde jobbet. Ble en arbeider syk og ikke kunne jobbe fikk han heller ikke mat. Opptil 20 fanger kunne dele samme rom. Det tok 202 år fra byggingen startet til festningen ble regnet som ferdig bygget.