キャヴェンディッシュ家は、14世紀にサフォークのキャヴェンディッシュ村に所領を持っていたジョン・キャヴェンディッシュに始まる。彼は1372年からChief Justice（大法官に次ぐ地位）の地位にあり、1381年のワット・タイラーの乱で殺害された。曾孫にはトマス・ウルジーの伝記を書いたジョージ・キャヴェンディッシュ、ジョージの弟でヘンリー8世の宮廷官ウィリアム・キャヴェンディッシュがいる。このウィリアムが財務省に地位を持ち、トマス・クロムウェルが推進する宗教改革の一環として行われた修道院解散で国が没収した資産を不当に懐に入れるなどして巨万の富を築いた。ウィリアムは「ハードウィックのベス」として知られる3番目の妻エリザベス・ハードウィックとの間に8子をもうけた。長男のヘンリーはウォーターパーク男爵家の祖となった。次男が、初代デヴォンシャー伯爵に叙されることになるウィリアム・キャヴェンディッシュである。三男のチャールズ（1553年-1617年）は初代ニューカッスル＝アポン＝タイン公爵に叙されるウィリアム・キャヴェンディッシュの父である。ウィリアムは1547年のベスとの再婚後、サフォークにおける資産を売却してベスの故郷であるダービーシャーに居を移し、ベスとともにチャッツワース・ハウスの建設に着手して、そこで没した。初代デヴォンシャー伯爵となる次男ウィリアムはリヴァプール選挙区やニューポート (コーンウォール)選挙区選出の庶民院議員やダービーシャーのシェリフなどを務めた後の1605年5月4日にイングランド貴族爵位ハードウィックのキャヴェンディッシュ男爵(Baron Cavendish of Hardwicke)に授爵された。1616年には兄からチャッツワースの荘園を相続し。バージニア植民地やバーミューダを含む大西洋をまたがる土地開発に関与した。そして1618年8月7日にはイングランド貴族爵位デヴォンシャー伯爵(Earl of Devonshire)に叙された。このデヴォンシャー伯爵位は、もともとあったデヴォン伯爵位が消滅後に再創設されたものである（1831年、法律上デヴォン伯爵位は復活され、コートネー家（en:House of Courtenay）が代々世襲している）。第4代デヴォンシャー伯爵ウィリアム・キャヴェンディッシュは襲爵前の1661年にダービーシャー選挙区選出の庶民院議員となり、熱心な非国教徒として反宮廷派・反カトリック派として運動した。カトリックのヨーク公ジェームズ（ジェームズ2世）に対する王位排除法案の際も熱心な法案賛成派として活躍。1684年に襲爵した後、1688年の名誉革命ではオラニエ公ウィレム（ウィリアム3世）への招請状に署名し、オラニエ公上陸に合わせて兵をあげ、名誉革命成功に貢献した。ウィリアム3世とメアリー2世が即位した後は王室家政長官（Lord Steward; 王室家令長）に任命され、1694年5月12日にはイングランド貴族爵位ハーティントン侯爵（Marquess of Hartington）とデヴォンシャー公爵に叙された。以後、デヴォンシャー公爵家は代々名誉革命体制を守るホイッグ党員として活動し、ホイッグ党社会においてラッセル家（ベッドフォード公爵）と双璧する名門として知られるようになった。4代公ウィリアム・キャヴェンディッシュは、ホイッグ党の政治家として七年戦争中の1756年から1757年にかけて第一大蔵卿（首相）を務めている。しかしこの内閣の実質的な指導権は大ピットであった。大ピットが財政に明るくなく、また戦争指導に集中したがっていたために名目上の首相として彼が立てられたのだった。5代公ウィリアム・キャヴェンディッシュは、父から公爵位を襲爵する前の1754年に母シャーロットからイングランド貴族爵位クリフォード男爵(Baron Clifford)を継承した。この爵位は議会召集令状（英語: writ of summons）の爵位だったため女系継承が可能だった。6代公ウィリアム・ジョージ・スペンサー・キャヴェンディッシュまで親から子への相続で続いたが、6代公に子供がなかったため、4代公に遡っての分流である第2代バーリントン伯爵ウィリアム・キャヴェンディッシュが7代公を継承した（クリフォード男爵位のみ6代公に2人の姉妹があったため停止(abeyance)となり継承されなかった）。この7代公の父である初代バーリントン伯爵ジョージ・キャヴェンディッシュは、4代公の三男にあたり、ダービーシャー選挙区などから選出されてホイッグ党の庶民院議員を務めた後、1831年9月10日に連合王国貴族爵位 バーリントン伯爵(Earl of Burlington)とヨーク州におけるケイリーのケイリーの第7代キャヴェンディッシュ男爵(Baron Cavendish of Keighley, of Keighley in the County of York)に叙された人物だった。2代バーリントン伯爵が第7代デヴォンシャー公爵を継承したことにより両家は融合し、デヴォンシャー公爵位にはこの2つの爵位が新たな従属爵位に加わることになった。7代公の息子である8代公スペンサー・キャヴェンデイッシュは、襲爵前に庶民院議員となり、はじめ自由党の政治家として自由党政権で陸軍大臣(在職1866年、1882年-1885年)やアイルランド担当大臣(在職1871年-1874年)、インド担当大臣(在職1880年-1882年)などの閣僚職を歴任したが、第3次グラッドストン内閣でアイルランド自治法案に反対して自由党を離れ、自由統一党に参加。第3代ソールズベリー侯爵ロバート・ガスコイン＝セシルやアーサー・バルフォアを首相とする保守党政権に加わり枢密院議長(在職1895年-1903年)を務めた。彼の弟であるフレデリック・キャヴェンディッシュ卿も自由党の政治家であり、1882年にアイルランド担当大臣となるもアイルランド民族主義者により暗殺されている（フェニックス・パーク事件）。8代公には子供がなかったため、1908年に8代公が死去すると、8代公とフレデリックの弟にあたるエドワード・キャヴェンディッシュ卿の子であるヴィクター・クリスティアン・ウィリアム・キャヴェンデイッシュが9代公を継承した。彼も自由統一党と保守党の政治家であり、1916年から1921年にかけてカナダ総督を務め、1922年から1924年にかけては植民地大臣を務めた。その息子である10代公エドワード・キャヴェンディッシュも保守党の政治家としてインド・ビルマ担当省政務次官(在職1940年-1943年)や植民地省政務次官(在職1943年-1945年)などを務めた。彼の長男であるハーティントン侯爵(儀礼称号)ウィリアム・キャヴェンディッシュは後のアメリカ大統領ジョン・F・ケネディの妹キャスリーン・ケネディと結婚しているが、子供のないまま第二次世界大戦で戦死した。結局ミットフォード姉妹の一人デボラ・ミットフォードと結婚していた次男アンドリュー・キャヴェンディッシュが後継ぎとなった。1946年にアトリー労働党政権によって最高相続税率90パーセントという貴族に過酷な相続税が定められた。10代公は財産を守るべく、財産をアンドリューを受益者とする裁量信託チャッツワース・セツルメントに預けた。相続法によれば、この状態で10代公が5年間生き続けることができればアンドリューは相続税を払わずに済むはずだった。ところが10代公は1950年11月26日に急死。相続税からの防衛には14週間足りずの死亡であり、デヴォンシャー公爵家には8割の相続税をかけられた。11代公となったアンドリューは、一族が400年にわたって集めてきた財宝・美術品のほとんど、また本邸以外のすべての土地を売却する羽目になった。現在の当主は11代公の息子である12代公ペリグリン・アンドルー・モーニー・キャヴェンディッシュである。デヴォンシャー公爵の長男（法定推定相続人）が儀礼称号として使用する従属称号はハーティントン侯爵（Marquess of Hartington）である。ハーティントン侯爵の長男が使用する儀礼称号はバーリントン伯爵（Earl of Burlington）で、それ以外の公爵家男子は卿がクリスチャンネームに添付される（Lord + Christian name + Cavendish、例としてチャールズ・キャヴェンディッシュ卿はLord Charles Cavendishとなる。その妻は Lady Charlesチャールズ卿夫人と称す）。公爵家の女子は敬称Lady がクリスチャンネームに添付される (Lady + Christian name + Cavendish レディー・エマ・キャヴェンディッシュLady Emma Cavendish)。公爵家は、広大なカントリー・ハウスであるチャッツワース・ハウス（ダービーシャー）、ボルトン・アビー（ノース・ヨークシャー）、リズモア城（アイルランド・ウォーターフォード州）を所有する。かつてはロンデスボロー・ホール（ヨークシャー）、ハードウィック・ホール（ダービーシャー）、チジック・ハウス（ミドルセックス）、ロンドンのピカデリー通りにデヴォンシャー・ハウス (第一次世界大戦後に売却) 、バーリントン・ハウスの2つの邸宅を所有していた。公爵家代々の墓所はチャッツワース・ハウスに最も近い村エデンサー（Edensor）のセント・ピーターズ教会であり、その多くが教会墓地に埋葬されている。一族のモットーは「用心深く安全に(Cavendo Tutus)」。