Det første anlegget var en befestning i form av et blokkhus og tre andre hus som ble bygd i 1555 under Christian III. På denne tiden var Flekkerøy havn en av de mest benyttede havnene i Norge.