Zamek został wybudowany w średniowieczu przez Roberta de Mortaina, przyrodniego brata Wilhelma Zdobywcy, wkrótce po inwazji Normanów. W XIII wieku zamek został odbudowany przez Henryka III, tym razem w kamieniu. W czasie rządów Henryka VIII na zamku uwięziono 28 Kornwalijczyków, których uznano za zdrajców; część z nich stracono. Podczas angielskiej wojny domowej mury zamku były w tak złym stanie, że siły parlamentu nie musiały ich burzyć, aby osiągnąć kontrolę nad zamkiem. W schyłkowej fazie zamek pełnił funkcję więzienia; w r. 1656 przez osiem miesięcy odbywał tu karę George Fox, założyciel protestanckiej grupy kwakrów.