Потомок Роберта, Роберт де Феррерс, 6-й граф Дерби (ум. 1279), в войнах Генриха III и баронской оппозиции во главе с Симоном де Монфором в середине XIII века (второй баронской войне) принял сторону последнего, из-за что после победы короля в битве при Ившеме в 1265 году лишился всех своих владений. Ему удалось их вернуть ценой уплаты огромного выкупа, но в 1266 году Роберт вновь присоединился к мятежу против короля. Потерпев поражение, граф Дерби был арестован, обвинён в государственной измене и заключён в тюрьму. Его владения и титулы были конфискованы. В 1269 году Роберту удалось выйти на свободу, но ему были возвращена лишь малая часть бывших владений семьи, тогда как основная их часть осталась в распоряжении короля и стала ядром герцогства Ланкастер, домениального владения королевской фамилии, пользующегося особым правовым статусом. Хотя Джон Феррерс, сын Роберта, получил титул барона Феррерса из Чартли, но ни он, ни его потомки уже не играли существенной роли в политической жизни Англии.