Roger de Clifford war der älteste Sohn seines gleichnamigen Vaters Roger de Clifford aus dessen Ehe mit "Hawise", die vermutlich eine Tochter von "John de Boterel" war. Sein Vater war ein enger Vertrauter des Thronfolgers und späteren Königs Eduard I. wurde. Nach dem Sieg der königlichen Partei im Krieg der Barone erhielt Rogers Vater 1265 als Dank die Vormundschaft über "Isabel de Vieuxpont", der ältesten Tochter und Miterbin des 1264 gestorbenen Rebellen Robert de Vieuxpont. Rogers Vater verheiratete Isabel um 1269 mit Roger. Über die Aufteilung des Vieuxpont-Erbes gab es in der Folge jedoch Streit mit Roger of Leybourne, der die Vormundschaft über Isabels jüngere Schwester Idonea erhalten hatte und die er ebenfalls mit seinem ältesten Sohn verheiratet hatte. Clifford erhielt schließlich aus dem Erbe die umfangreichen Besitzungen in Westmorland.