Агнесса происходила из англо-нормандского рода, имевшего владения в Эссексе. Его родоначальником был нормандец Роберт Фиц-Вимарк, который переселился в Англию во время правления Эдуарда Исповедника, где не позже 1052 года построил в Эссексе. Он сохранил своё положение при Гарольде II, но во время Нормандского завоевания Англии поддержал герцога Вильгельма Завоевателя, получив от него новые владения и должность шерифа Эссекса. Согласно «Книге Страшного суда» его владения составляли 150 гайд в семи графствах (по большей части в Эссексе), что делало его десятым по богатству землевладельцем-мирянином в Англии из числа не имевших графский титул. Наследник Роберта, Свейн, построил в Эссексе, ставший центром баронии. Его внук, Генри, благодаря второму браку получил еще и баронию . Он занимал высокое положение при дворе короля Стефана, сохранил его и в первые годы правления Генриха II Плантагенета, занимая должность королевского констебля.