Após a conquista da Inglaterra pelos normandos, em 1066, Roberto D'Oyley recebeu como recompensa o domínio de Oxford, tendo erguido o primeiro castelo, às margens do rio Tâmisa, de tipo castelo de mota.