Saint Ouen's Manor, det føydale herresetet, har merkelig nok ingen titler tilknyttet; det har aldri blitt kjøpt eller solgt, men er den dag i dag fortsatt eid av familien de Carteret, som den har vært de siste åtte hundre år. I sin liste over de adelsmenn som fulgte Vilhelm av Normandie til England og slaget ved Hastings i 1066, nevner forfatteren Wace (selv fra Jersey) en «De Cartrai». Renaud de Carteret kjempet med Robert Curthose (eldste sønnen av før nevnte Vilhelm Erobreren) ved Jerusalem, men de eldste skriftlige nedtegnelser av de Carterets landbesittelser på Jersey er fra 1156. Da kong Johan av England måtte overgi alle sine besittelser i Normandie til den franske kongen i 1204 oppga familien Carteret sine langt mer verdifulle besittelser på kontinentet (inkludert det som de har navn etter) og fastholdt sin lojalitet til de tidligere hertugene i Normandie, nå representert av kongen av England. Det er sannsynlig at det var fra denne perioden at de gjorde Jersey til sitt hjem. St Ouen's Manor kan antagelig dateres til begynnelsen av 1200-tallet, siden utvidet og står i dag som legemliggjørelsen av en arkitektur preget av de etterfølgende århundrene. Den framtidige konge av England, Karl II, tilbrakte her sine første år av sin tid i landflyktighet.