Обри-младший умер в октябре 1214 года, не оставив законного потомства. Второй из братьев, Ральф, умер ещё раньше, так что Роберт унаследовал семейные владения, а также права на графский титул и должность лорда-камергера. Король Джон взял с него тысячу марок в качестве рельефа, но графом, возможно, не признал: в королевской хартии от 15 января 1215 года де Вер упомянут без титула. Именно это могло стать причиной, по которой Роберт примкнул к восстанию баронов против монарха, известному как "Первая баронская война". В источниках Роберта причисляют к инициаторам и руководителям мятежа наряду с несколькими его родственниками (тоже потомками Обри II де Вера). Он участвовал в собрании баронов в Стэмфорде в апреле 1215 года, в мае его владения были конфискованы, но уже в июне король согласился уступить. Де Вер, к 23 июня точно признанный графом Оксфорд, стал одним из 25 баронов, обязанных следить за соблюдением условий Великой хартии вольностей.