Die Familie wurde von Henry de Ferrers begründet, der während der normannischen Eroberung nach England kam. Als wichtiger Vasall von Wilhelm dem Eroberer konnte Ferrers vor allem in Derbyshire und in Leicestershire einen umfangreichen Besitz erwerben. Sein Sohn Robert wurde unter König Stephan von Blois zum Earl erhoben. Zwar verlor Robert de Ferrers, der zweite Earl, als Anhänger Stephans die Gunst von König Heinrich II., doch durch Erbschaften stiegen seine Nachfolger im 13. Jahrhundert zu den reichsten Grundbesitzern Englands auf. Neben weiteren Ländereien bildete vor allem ein kompaktes Gebiet im nördlichen Staffordshire, im südlichen Derbyshire und im westlichen Nottinghamshire mit dem Mittelpunkt Tutbury Castle die Besitzungen der Familie. Während des Zweiten Kriegs der Barone machte sich Robert de Ferrers, 6. Earl of Derby als Rebell die Königsfamilie zu Feinden. Er wurde nach dem Sieg des Königs 1266 enteignet und verlor seinen Titel. Bei seinem Tod 1279 konnte er nur geringe Güter an seinen Sohn John de Ferrers übergeben.