Роджер происходил из знатного англо-нормандского рода Клиффордов. Его отец, Роджер II де Клиффорд, был одним из баронов в Валлийской марке, владея землями в Вустершире, Херефордшире и Беркшире. Роджер Старший являлся одним из приближённых наследника английской короны, принца Эдуарда, ставшего в 1282 году королём Англии под именем Эдуарда I. Он принимал активное участие во Второй баронской войне на стороне короля Генриха III. Матерью Роджера Младшего была Авиза Боттерел, дочь Джона Ботерела.