Роберт унаследовал после смерти отца его владения и титулы, будучи несовершеннолетним. Только в 1260 году он вступил в права. Первоначально Роберт не принимал участия в политической жизни страны, сосредоточившись на управлении своими владениями. Находясь в сложной финансовой ситуации, графу Дерби пришлось делать займы. В 1263 году Роберт, конфликтовавший с принцем Эдуардом, наследником короля Генриха III, примкнул к баронской оппозиции королю, возглавляемой Симоном де Монфором, графом Лестером. Преследуя личные цели, после победы Симона де Монфора в битве при Льюисе граф Дерби проводил собственную политику в Мидлендсе, стремясь расширить свои владения за счёт захвата королевских замков, что вызвало недовольство Симона де Монфора, желавшего получить эти земли для своей семьи. В итоге в феврале 1265 года граф Дерби по приказу Монфора был заключён в Тауэре.