La primera estructura construida por Robert D'Oyly era un promontorio de tierra, sobre el que se elevaba una torre de piedra, conocida como "St George's Tower"; después se construyó una muralla con torres más pequeñas alrededor de esta estructura inicial.