Роберт де Вер принадлежал к знатному и влиятельному роду, представители которого владели землями в ряде графств Англии, титулом графа Оксфорда и наследственной должностью лорда-камергера. Он был единственным сыном 4-го графа Хью де Вера и его жены Хависы де Квинси; в этой семье родились также три дочери — Изабелла, Лора и Маргарет. В 1263 году, после смерти отца, Роберт стал 5-м графом Оксфорд. В начавшейся в том же году Второй баронской войне он сражался на стороне оппозиции. Граф был с Хью де Монфором, когда армия принца Эдуарда атаковала замок Кенилуэт накануне битвы при Ившеме (1 августа 1265 года). Его земли и титул были конфискованы, но по условиям Кенилуэртского приговора (31 октября 1266) вернулись владельцу.