Замок расположен на вершине крутого холма, называемого Тор, и был окружён укреплениями с времён позднего англосаксонского периода. После нормандского завоевания Англии в XI веке Уильям де Мойон построил на этом месте деревянный замок для контроля над территорией Сомерсета. Каменный шелл-кип был возведён на холме в начале XII века, и замок пережил осаду в первые годы гражданской войны в Англии (1135—1154). Вильгельм де Мойон был видным сторонником императрицы Матильды. В конце XIV века де Мойоны продали замок графскому роду Латтрелл, который владел им вплоть до конца XX века.