スタンリー家の祖は、アダム・ド・スタンリー(1125頃-1200頃)まで遡れる。彼の出自は長く謎であったが、ダービー伯爵家の本家筋で19世紀に廃絶したフートン荘園のスタンリー準男爵家の文書が20世紀に発見されて、1933年にマンチェスターのジョン・ライランズ図書館に収められたことでその出自の研究が進んだ。その結果スタンリー家はオードリー家（14世紀初頭にオードリー男爵に叙される家）の分流であることが確認された。結婚持参金としてダービーシャーの スタンリー荘園（Stanleigh ）を所持していた人物と結婚してこの姓を用いるようになった。スタンリー家は結婚を通じて荘園を増やし、郷士として力を伸ばしていった。アダムの玄孫ウィリアム・スタンリー(1340頃-1414)には3人の息子があり、長男ウィリアム(1337-1398)の家系はフートン荘園を世襲する準男爵家、次男のジョン(1340頃-1414)の家系がレイサム荘園とノーズリー荘園を世襲するダービー伯爵家となる。ジョンは初めリチャード2世に仕え、アイルランド統監を務めるなどしたが、ヘンリー・ボリングブルック（ヘンリー4世）の王位簒奪の際にはヘンリー4世に寝返った。1405年にイングランド北部の雄族パーシー家が北部とウェールズで反乱を起こした際にはそれを鎮圧し、その功績でマン島の統治権を認められた。当初この権利は一代限りだったが翌1406年にはマン島統治権を世襲する権利とその王を称する権利を与えられた。その孫であるトマス・スタンリー(1405–1459)は、中央政界でも活躍し、アイルランド総督に任命されたり、ヘンリー6世の王室侍従長兼財務長官任命されるなどした。またランカシャー選出の庶民院議員として議席を維持し続けた。1456年1月15日の議会招集令状でスタンリー男爵（Baron Stanley）として貴族院へ召集された。彼の長男である2代男爵トマス(1435頃-1504)はマーガレット・ボーフォートと結婚し、薔薇戦争におけるボズワースの戦いの際に継子のリッチモンド伯ヘンリー・テューダー（後のヘンリー7世）側についた功績でヘンリー7世によって1485年10月27日にダービー伯爵（Earl of Derby）に叙された。これはウィリアム・シェイクスピアの『リチャード三世』にも描かれている。初代ダービー伯トマス・スタンリーの長男であるジョージ・スタンリーはノックインの第9代ストレンジ女男爵ジョーン・ストレンジと結婚し、妻の権利によって貴族院に出席した。彼は父より先に没したため、ダービー伯爵やストレンジ男爵の爵位は長男のトマス(1477-1521)が相続した。この2代伯トマスはヘンリー8世の初期の宮廷で廷臣を務めた。彼の代の1501年にマン島の王の称号はマン卿（Lord of Mann）に改称された。2代伯の死後は、息子のエドワード(1508頃-1572)が3代伯となった。彼は16世紀半ばの宗教改革期にプロテスタント改革派と距離を取ることでスタンリー家の安泰を図った。1553年に挙行されたカトリックのメアリー1世の戴冠式でも大家令を務めており、チェシャーやランカシャーの統監にもなった。4代伯ヘンリー(1531 - 1593)は3代伯の息子で、マーガレット・クリフォードと結婚した。彼女はヘンリー7世の娘メアリー・テューダーの孫であり、以後直系子孫である10代伯ジェームズ(1664-1736)までのスタンリー家の成員はイングランドの王位継承権を持つことになった。ただし結婚生活は不幸で、マーガレットは浪費に走ったことなどが原因で別居、わずかな生活費しか与えられず貧困に苦しみ、宮廷でエリザベス1世と親交を結んだが、宮廷から遠ざかり不自由な生活を強いられたまま不幸な一生を送った。5代伯ファーディナンド(1559-1594)は4代伯とマーガレットの長男で、1593年に襲爵したが翌1594年に死去した。彼は当時イングランド王位継承順位が母に次ぐ2位で、死の状況も不可解なものであったため、イエズス会士によって毒殺されたのだといわれた。彼には女子しかいなかったため、ダービー伯爵位は弟のウィリアム(1561-1642)が継承した。一方ストレンジ男爵位は女子も継承できるがその場合の優先順位が存在しないため、保持者不在となった。スタンリー家、とりわけ4代伯・5代伯・6代伯は文芸活動に熱心で劇団『ストレンジ卿一座』（しばしばダービー卿一座と改名）と所属俳優を庇護、劇団もしばしば公演の合間に彼等を上演でもてなした。特に5代伯がパトロンだった時のストレンジ卿一座はリチャード・バーベッジを始めとする俳優を抱え当代随一の劇団に発展、宮廷で上演されるまでになった。ウィリアム・シェイクスピアもストレンジ卿一座に所属していたと言われるが、5代伯の死後ストレンジ卿一座は衰退、俳優達やシェイクスピアは宮内大臣の初代ハンズドン男爵ヘンリー・ケアリーに引き取られ宮内大臣一座として存続、後に国王一座に改称した。しかし移籍せず残った者もおり、6代伯の庇護でダービー卿一座として再出発した。また6代伯は脚本を書いたり、劇場建設を支援したり音楽を楽しんだりしておおいに文芸活動に熱中した。7代伯ジェームズ(1607-1651)は大ダービー伯（Great Earl of Derby）とも呼ばれる。彼は6代伯の長男で、1628年にストレンジ卿として貴族院に招集された。これは父親がこの称号も継承していると思われていたためであったが、上記の通りこれは誤りであった。結果、貴族院は1299年叙位のストレンジ男爵位とは別に、1628年に新しく叙位されたもう一つのストレンジ男爵位があることにすると決定した（誤りによって創設された男爵位）。7代伯は清教徒革命（イングランド内戦）において一貫して王党派に立ち、領有していたマン島を王党派の拠点としたが、1651年のウスターの戦いで議会派のオリバー・クロムウェルに敗れて捕らえられ、ボルトンで処刑された。マン島に残っていた妻シャーロットも議会派に明け渡し、以後スタンリー家はイングランド共和国で貧困に苦しみながら逼塞せざるを得なくなった。7代伯とシャーロットの長男チャールズ・スタンリー(1628-1672)が8代伯になったが、両親の許可を得ない結婚と財産確保およびノーズリーへの帰還のため共和国と交渉・承認を取り付けたことが王党派の両親の怒りを買い、父から一時廃嫡されたばかりか（後に処刑寸前の父と和解）、母とも険悪な関係になり、ノーズリーの屋敷で妻ヘレナと母との諍いが絶えなかった。8代伯は1659年にジョージ・ブースの王党派の反乱に加わり共和国に投獄されるが翌1660年に釈放、王政復古を歓迎し内戦で失った土地の回復などを期待した。ところがチャールズ2世は補償を求める人々が社会混乱を招くことを恐れたため、所領回復は実現せず父を処刑した関係者も処罰されず、不満を抱えたまま8代伯はチェシャーとランカシャーの統監として秩序回復に奔走したが、過労が原因で1672年に死去した。次いで8代伯の長男ウィリアム(1655-1702)が9代伯となった。1688年の名誉革命でウィリアム3世・メアリー2世夫妻が即位すると時流に乗り遅れたため、翌1689年にチェシャー・ランカシャー統監をウィリアム3世に解任されてしまった。その後所領で雌伏した末に1702年にウィリアム3世が死去、後を継いだ義妹のアンからチェシャー・ランカシャー統監復職を許されたが直後に死去。9代伯には一男二女がいたが息子に先立たれたため、ダービー伯位は弟のジェームズ(1664-1736)が継承した。一方ストレンジ男爵位は女子も継承できるがその場合の優先順位が存在しないため、保持者不在となった。10代伯は政治家で、先祖達と同様にチェシャーとランカスターの統監となったほか、中央政界でランカスター公領大臣や近衛ヨーマン隊長(貴族院与党副幹事長)を務めた。また1732年に兄の孫からストレンジ男爵を継承したが、10代伯には子がいなかったため、1736年に彼が没すると2代伯の男系子孫は断絶した。ダービー伯爵位は2代伯の弟の子孫であるエドワード・スタンリー準男爵が、ストレンジ男爵位はジェームズの従弟である第2代アソル公爵ジェイムズ・マレーが継承した。この際の所領分割でダービー伯爵家の所有地は大幅に減少した。マン島統治権もこのときにアソル公爵家へ移っている。11代伯を(ランカスター州におけるビッカースタッフの)準男爵家 (Baronet, "of Bickerstaffe, in the County of Lancaster")のエドワードが継承したことで、以降ダービー伯爵家はこの称号を一緒に継承していくことになる。また彼はダービー伯襲爵前にランカシャー選出庶民院議員を、襲爵後にランカシャー統監を務めた。11代伯の長男であるジェームズは儀礼称号のストレンジ卿で知られる（ただしストレンジ男爵の称号は10代伯の死とともにアソル公爵家に移っていたので彼は本来この儀礼称号を使用する権利はなかった）。彼も政治家で、ランカスター公領大臣を務めた。また姓を妻のものと組みあせて「スミス＝スタンリー」へ改めた。ジェームズは11代伯エドワードより先に没したため、ジェームズの息子で11代伯の孫にあたるエドワードが12代伯となった。12代伯もやはりランカスター公領大臣を務めたが、専ら競馬の世界で有名である。特にオークスやダービーを創設したことで知られ、前者をブリジット（Bridget）およびハーマイオニ（Hermione）によって二度、後者をサーピーターティーズルによって一度、それぞれ勝利した。13代伯エドワードは12代伯の長男で、襲爵前にプレストンとランカシャー選出庶民院議員となった。また1832年にビッカースタフのスタンリー男爵に叙された。彼は政治家としては控えめな活動に留まったが、動物学者としては大きな活躍をした。14代伯エドワードは歴代のダービー伯爵の中で最も有名な一人である。彼は13代伯の息子で、保守党の初期に、党首を22年にわたって務め、その間三度イギリスの首相となった。東インド会社領インドを女王直接統治へ移行させたり、第二次選挙法改正を行ったことで知られる。また競馬のオークスをアイリス（Iris）の馬主として優勝している。15代伯となったエドワードは14代伯の息子で、父の下で外務政務次官・植民地大臣・外務大臣を歴任し、ベンジャミン・ディズレーリ内閣でも外務大臣を、ウィリアム・グラッドストン内閣では植民地大臣を務めた。15代伯には子がなかったため、弟のフレデリックが伯位を継承した。彼も保守党の政治家で、戦争大臣・植民地大臣・商務大臣を務め、襲爵前にプレストンのスタンリー男爵に叙された。また1888年から1893年までカナダの総督でもあり、ブリティッシュコロンビア州のスタンレーパークに名が残されているほか、カナダのアイスホッケーのトップチームに授与されるトロフィーのスタンレー・カップを寄贈した。また競馬のオークスを、購入したカンタベリーピルグリムおよび自ら生産したキーストーン（Keystone）の馬主として、二度優勝している17代伯エドワードは16代伯フレデリックの息子で、先祖達と同様に政治家であり、馬主であった。彼はデビッド・ロイド・ジョージ内閣で戦争大臣を務めたほか、1918年から1920年まで在フランスイギリス大使となった。彼の長男エドワードと次男オリヴァーもともに保守党政治家で、1938年のネヴィル・チェンバレン内閣ではそろって入閣している。17代伯は競走馬の生産者および馬主として、一族の中で最も大きな成果を挙げた。1924年自らの生産馬サンソヴィーノ（Sansovino）によって曾々祖父12代伯以来137年ぶりにダービーを勝ち、その後もハイペリオンで二度目のダービーを、トボガン（Toboggan）とサンストリーム（Sun Stream）でオークスを、アメリカ合衆国財務次官オグデン・ミルズと共同で購入したカンタールで凱旋門賞を、それぞれ制している。17代伯は長男よりも長生きしたため、18代伯となったのはその長男のエドワードとなった。第18代伯は日本中央競馬会へダービー卿チャレンジトロフィーの優勝杯を寄贈している。彼には子がなかったため、伯位は18代伯の弟ヒューの息子エドワードが継承した。当代のダービー伯爵である19代伯も、小規模ながら競走馬の生産者・馬主として活動しており、生産所有馬ウィジャボードは2004年、曾祖父のサンストリーム以来59年ぶりにオークスを制した。2005年、2006年のジャパンカップでは、19代伯がウィジャボードと共に来日している。現在19代伯の息子のエドワードが法定推定相続人となっている。本邸はマージーサイド・プレスコットにあるノ―ズリー・ホールである。