Lokale historikere mener at kong Magnus Berrføtt av Norge var den som muligens reiste festningen første gang på slutten av 1000-tallet, men da i tre. Festningen ble reist for å vokte utgangen til elven Silverburn River som renner ut i havnen og i bukta Castletown Bay. Festningen ble gradvis utbygd i stein i løpet av 1200-tallet og fram til 1600-tallet da Castletown var Mans hovedstad og administrative senter.