Depois da conquista normanda, Richard Fitz Gilbert recebeu um terreno em Kent para proteger a travessia do rio Medway. Ele construiu um castelo de mota no local. Para cavar o fosso e erguer o castelo 50.000 toneladas de terra foram movidas. Em 1088, a família de Clare (descendentes de Fitz Gilbert) se rebelou contra o rei Guilherme II. Seu exército sitiou o castelo. Depois de segurar por dois dias, o castelo caiu e como punição o rei mandou queimar o castelo e a cidade de Tonbridge. Antes de 1100, os de Clares substituiram o castelo de madeira com uma pedra sustento shell. Este foi reforçado durante o século XIII, e em 1295 um muro de pedra foi construído ao redor da cidade.