La primera construcción de madera fue erigida en 1653 por la Compañía Sueca de África y llamada Fort Karlsborg en honor del rey Carlos X Gustavo de Suecia.