Roger schwor auch dem benachbarten Graf Ralph de Crépy als Vasall Hommage. 1054 überfiel jedoch der französische König Heinrich I. die Normandie. Zu der französischen Armee, die nach Mortemer vorstieß, gehörte auch Ralph de Crépy. Zur Abwehr der Invasion sandte Herzog Wilhelm unter anderem Roger de Mortimer und Graf Robert von Eu, die die Franzosen in der Schlacht von Mortemer besiegen konnten. Dabei wurde Graf Ralph gefangen genommen. Roger behandelte seinen Lehnsherrn ritterlich. Er brachte ihn in seine Burg, so dass er ihn vor den Ansprüchen anderer Normannen schützen konnte, und geleitete ihn schließlich zurück zu seinen Besitzungen. Damit rief er den Zorn von Herzog Wilhelm hervor, der Roger aus der Normandie verbannte und seine Besitzungen beschlagnahmte. Roger konnte sich zwar wieder mit Wilhelm aussöhnen, der ihm daraufhin seine Güter, nicht aber die Burg von Mortemer zurückgab. Diese erhielt der mit Roger verwandte Guillaume de Warenne. Roger verlegte daraufhin seinen Hauptwohnsitz nach Saint Victor-en-Caux. Der Herzog hatte ihm wohl den Großteil seiner Besitzungen zurückgegeben, doch Roger war wohl noch immer in Ungnade. Er war vermutlich vom Herzogshof ausgeschlossen, denn bis 1066 bezeugte er keine Urkunden des Herzogs mehr. An der Eroberung Englands durch Herzog Wilhelm nahm vermutlich Mortimers Sohn Ralph, aber nicht Roger teil.