最初の城は、ノルマン・コンクエストを行ったウィリアム1世（征服王）の命で、ヘイスティングズの戦いの2年後の1068年に木造のモット・アンド・ベーリーとして建てられた。この木造の城は、ヘンリー2世の治世時（在位：1154年 - 1189年）により強固な石の城に建て替えられた。この城は堂々として複雑な構造をもつ城で、Castle Rockの高台にアッパーベーリー（囲い）、北に王の住居を持つミドルベーリー（囲い）、東にlarge outer bailey（囲い）を持っていた。