Резиденцией баронов Феррерс был Феррьер-Сент-Илер () в герцогстве Нормандия. Родоначальником рода был Анри де Феррьер, лорд Лонгевиль (умер до 1101 года), который принял участие в завоевании Вильгельмом Завоевателем Англии и участвовал в битве при Гастингсе в 1066 году. После победы в этой битве Генри де Феррьер стал крупным землевладельцем и получил от Вильгельма Завоевателя во владение 210 маноров в Англии и Уэльсе (в частности, в Дербишире и Лестершире). Первоначально Генри х де Феррьер был губернатором Стаффорда. В 1066/1067 году ему были пожалованы земли в Беркшире и Уилтшире. Он в качестве комиссара участвовал в составлении Книги Страшного Суда и вскоре был назначен первым англо-нормандским . Он построил и основал там приорат в 1080 году. Он также построил замки Даффилд и .