До норманнов поместьем Лавенем управлял тэн Ульвин (Ulwin, или Вулвин, Wulwin). В 1086 году поместье находилось в собственности Альбрика де Вера, предка графов Оксфорд. В то время в Лавенеме уже имелся виноградник. Семейство де Вер продало Лавенем сэру Томасу Скиннеру в 1604.