Роберт де Вер принадлежал к знатному и влиятельному роду, представители которого владели землями в ряде графств Англии и титулом графа Оксфорд. Он был сыном 5-го графа того же имени и его жены Элис де Санфорд. В 1296 году, после смерти отца, Роберт стал 6-м графом Оксфорд. Он участвовал в походах королей Эдуарда I, Эдуарда II и Эдуарда III в Уэльс, Шотландию и Францию, в 1298 году сражался при Фолкерке, в 1308 году присутствовал при коронации Изабеллы Французской.