Im Domesday Book wird 1086 ein Sitz mit "manor" unter dem Namen "Rameslie" erwähnt, der auf eine vorbestehende angelsächsische Siedlung schließen lässt, dabei aber möglicherweise eine größere Fläche umfasste, als das heutige Rye. Die Existenz einer römischen Siedlung an dieser Stelle wird nicht angenommen. Eine Quelle von 1005 erwähnt eine Lokalität namens "Rammeslege", die als die im Domesday Book erwähnte Siedlung gesehen wird, ohne dass der unumstrittene Nachweis erbracht werden kann. Diese Lokalität befand sich schon vor der normannischen Invasion bis 1247 als königliches Lehen in den Händen der Abtei Fécamp. Es wird davon ausgegangen, dass Fischerei, Salzgewinnung und Handel zu dieser Zeit bedeutende Wirtschaftszweige waren. Auch Töpferei wurde in Rye intensiv betrieben.