Роджер происходил из нормандского рода, находившегося в родстве с правящей нормандской династией. Его основателем был Осберн, племянник Гунноры, жены герцога Нормандии Ричарда I. Его сын, Уильям Фиц-Осберн, был близким другом Вильгельма I Завоевателя. Он владел обширными поместьями на юго-востоке Нормандии; их центром был Бретёй. Он был графом дворца и занимал видное место в делах герцогства. В 1066 году Уильям принимал участие в нормандском завоевании Англии и битве при Гастингсе, после чего был правой рукой ставшего королём Вильгельма и получил обширные владения в Англии с титулом графа. Под его управлением были остров Уайт, поместья в Херефордшире, Глостершире, Оксфордшире, Дорсете, Уилтшире, Беркшире и Вустершире. Он был женат на Адеоизе де Тосни, от этого брака родилось несколько сыновей, в том числе и Роджер.