A grande fortaleza de pedra foi construída em grande parte no reinado de Henrique I como um dos três castelos reais em Kent. Esta estrutura maciça, que tem dimensões de cerca de 98 por 85 pés externamente na base, originalmente tinha provavelmente pelo menos 80 pés de altura. É feito principalmente de pederneira e entulho de arenito. Por volta do século XIII, o castelo tornou-se a prisão do condado. Foi entregue aos invasores franceses na Primeira Guerra dos Barões. Em 1380, um novo portão foi construído.