Наследник Уильяма, Уильям де Феррерс, 5-й граф Дерби, от матери, сестры Ранульфа де Блондевиля, 4-го графа Честера, после смерти последнего в 1232 году получил ряд его владений, включая замок Чартли. Он умер в 1254 году его старший сын и наследник, Роберт де Феррерс, 6-й граф Дерби (ум. 1279), оказался одним из наиболее богатых английских магнатов. В войнах Генриха III и баронской оппозиции во главе с Симоном де Монфором в середине XIII века (второй баронской войне) Роберт де Феррерс принял сторону последнего, за что после победы короля в битве при Ившеме в 1265 году лишился всех своих владений. Ему удалось их вернуть ценой уплаты огромного выкупа, но в 1266 году Роберт вновь присоединился к мятежу против короля. Потерпев поражение, граф Дерби был арестован, обвинён в государственной измене и заключён в тюрьму. Его владения и титулы были конфискованы. Хотя в 1269 году Роберту удалось выйти на свободу, ему были возвращена лишь малая часть бывших владений семьи, тогда как основная их часть осталась в распоряжении короля и стала ядром герцогства Ланкастер, домениального владения королевской фамилии, пользующегося особым правовым статусом.