Oxford ble hardt ødelagt under den normanniske invasjonen i 1066. Som følge av erobringen og angelsaksernes nederlag, ble byen gitt en guvernør, Robert D'Oyly, som beordret byggingen av en festning, Oxford Castle, for å bekrefte normannisk autoritet i området. D'Oyly opprettet også klostersamfunn i festningen med et kapell og et boligkvarter for munkene. Dette religiøse samfunnet vokste ikke til å bli stor, men fikk sin plass i historien som et av Englands eldste steder for formell utdannelse. Det var her Geoffrey av Monmouth skrev "Historia Regum Britanniae" («Historien om kongene i Britannia») på latin, en samling av arthurianske legender.