A história do lugar remonta ao menos ao período romano, embora já não existam vestígios dessa época. Situado no centro da cidade de Pembroke é um dos castelos normandos mais impressionantes do Sul de Gales, estabelecido primariamente em 1093, quando a conquista normanda de Gales estava longe de ser concluída.