Fæstningen blev op af normannere kort tid efter deres erobing i 1066. Den havde sin storhedstid under Bernard de Bailleul i sidste halvdel af 1100-tallet. Det var i sleægtens eje indtil John Balliol ble afsat som konge af Skotland i 1296. Derefter tog Richard Neville, 16. jarl af Warwick over. Kong Richard 3. arvede den gennem sin hustru Anne Neville. Efter hans død gik borgen i forfald og blev en ruin.