Большая каменная крепость была построена во времена Генриха I как один из трех королевских замков в Кенте. Это массивное сооружение, главным образом построенное из щебня, кремня и песчаника. К 13 веку замок стал провинциальной тюрьмой, которая была сдана вторгнувшимся французам во время Первой баронской войны. В 1380 году в замке были построены новые ворота.