Guy de Balliol, en av de normanniske erobrerne av England, reiste festningen i tiden mellom 1095 og 1125 som et forsterket forsvarsanlegg (ikke slott/herskapsbolig) på samme sted hvor det tidligere hadde vært en borg. Mellom 1125 og 1185 utvidet og utbygde hans nevø Bernard de Balliol og siden dennes sønn Bernard II.