Borgen var bygd som en uregelmessig firkant og opptar omtrent det kvartalet som nå begrenses av sørmuren, Visborgsgatan, Kommendantbacken, Piparhålstrappan og havneområdet. Langs borgens sør mur sto de fire tårnene Segeltornet (over havnen), Smala Henrik, Kikut og Mynttornet. I det nordøstre hjørnet sto Kungstornet med hovedporten, og i et annet hjørne tårnet Slukupp. I sentrum sto tårnet Blacken, som sammen med klokketårnet og slottskirken skilte den ytre borggården fra den indre. Øverst i midttårnet Blacken lå borgherrens saler, der han rimeligvis må ha hatt en milevid utsikt over havet. Den vestre siden ble opptatt av fruerstuen og et par andre bygninger. Utenfor sørmuren lå et utenverk med palisader, hvor spor gjenstår i de såkalte Palissaderna.