Stammvater der Familie war Roger, der größere Besitzungen in der Normandie mit dem Mittelpunkt Saint Victor-en-Caux besaß. Bis 1054 hatte er für Herzog Wilhelm II. die Burg von Mortemer an der Grenze zur Grafschaft Amiens verwaltet, nach der er sich benannte. Sein Sohn Ralph de Mortimer konnte infolge der normannischen Eroberung von England bis 1086 zahlreiche Güter in insgesamt zwölf englischen Grafschaften erwerben, so dass er in England zu einem bedeutenden Magnaten aufstieg. Neben einträglichen Gütern in Südengland sowie weiteren Gütern in Yorkshire und Lincolnshire erwarb er vor allem umfangreiche Besitzungen in den Welsh Marches, deren Mittelpunkt Wigmore Castle war.