Slottet ska ha anlagts av den normandiska baronen Robert D'Oyly på 1070-talet. D'Oyly deltog i den normandiska erövringen av England och som tack förlänades han stora landområden i Oxfordshire av Vilhelm Erövraren. Slottet uppfördes ursprungligen som en motteborg men ersattes under slutet av 1100-talet och början av 1200-talet av ett slott i sten. Det var ett viktigt fäste under den engelska anarkins strider i mitten av 1100-talet, och drottning Matilda av England belägrades här under några månader hösten 1142 av den rivaliserande kung Stefans trupper innan hon i december lyckades smyga ut förklädd genom belägrarnas linjer, kort innan försvararna kapitulerade. I fredstid föredrog dock monarkerna att använda det närbelägna Beaumont Palace utanför norra stadsporten som bostad när de uppehöll sig i Oxfordtrakten, och Oxfords slott användes därför endast undantagsvis som kungligt residens. På 1300-talet avtog den militärstrategiska betydelsen av slottet som mer fick rollen som administrativt centrum för Oxfordshire och som fängelse. Det bevarade rektangulära St George's Tower tros vara den äldsta delen av slottet och uppfördes som vakttorn i närheten av den ursprungliga saxiska västra stadsporten.