Po Podboju normandzkim król Wilhelm Zdobywca oddał Fawley Manor swemu krewnemu, Walter Giffardowi, jednemu z redaktorów Domesday Book. Jego administrator, Herbrand de Sackville, zajmował się gospodarstwem kiedy trwał spis ziem angielskich. Od 1086 do 1477 majątek należał do rodziny Sackville do momentu kiedy spadkobierczyni, Margery, poślubiła Thomas Rokes, w 1477 r.