第11代公は邸宅を「サマセット・ハウス」と改称した。後にジョック・コルビル  は、その著作で、「既にその名前が付けられた、より素敵で瀟洒な邸宅があったため、『彼の無遠慮な影』(shade presumptuous of him) である。」と述べている  。その邸宅はロンドンにおける3番目の「サマセット・ハウス」となった  。サマセット公は邸宅を増築したかったが、南側に拡張するとキャメルフォード・ハウスが邪魔になるため、そこに住んでいた初代グレンヴィル男爵と交渉したところ、うまくいかなかった。そこで1810年、サマセット公は邸宅と厩舎の間にある中庭に建物を建てることについて、地主である第2代グローヴナー伯爵 (英語版) と話した。しかし、中庭の法的取り扱いについて疑義があり、また、その増築によってヘレフォード・ストリートが暗くなると考えて、グローヴナー伯爵は認めなかった  。1813年、サマセット公は妻について、弟のウェッブ・ジョン・シーモアに、「シャーロットはタイムの生け垣の上を飛ぶ蜂のように忙しい。彼女は一つの職業のようにその家へ手を入れ、古いものを好むようだ。」と語った   。1819年、サマセット公は再び中庭への建設を考え、グレンヴィル男爵とグローヴナー伯爵との交渉の後、キャメルフォード・ハウスのライブラリーの窓の近くまで、2階建ての短い増築部が建てられた。1821年あるいはその翌年には、北側に1階建ての玄関回廊が追加された  。サマセット公の最初の妻は1827年にサマセット・ハウスで亡くなり、1855年には彼が亡くなった。その後、彼の2番目の妻が、亡くなる1880年までその家にいた。第12代サマセット公エドワード・シーモア (英語版) はウィリアム・キュービット・カンパニー社  に委託して邸宅の修復を行ったが、1885年に彼が死去した後は、数年間空き家だった  。第12代公は「パーク・レーン40番 (40, Park Lane )」という住所名を使用していた  。彼はサマセット・ハウスを娘のハーマイオニー・グラハムに遺し、彼女は1888年に未亡人となった。1890年、ハーマイオニーと息子の第4代準男爵ロバート・グラハム (英語版) は、サマセット・ハウスをスミス・エルダー・アンド・カンパニー社   の社長ジョージ・マレー・スミス (英語版) に売却した  。
ローズベリー伯爵が居住していた11年間については、ほとんど知られていない。1808年、邸宅は第11代サマセット公エドワード・アドルファス・サンモール (英語版) に売却された  。
1789年ベイトマンは、英領インド初代総督であったウォーレン・ヘースティングズに邸宅を売却した。売買代金は約8,000ポンドでその半額は一括で支払われ、ヘースティングズは1789年11月に入居した。これは彼が議会から弾劾告発を受けた直後であり、1795年に無罪を勝ち取るまでの長い裁判の間、ロンドンの邸宅として使われた  。1797年にヘースティングズは邸宅をオークションに出し、第3代ローズベリー伯爵ニール・プリムローズが9,450ポンドで落札した。プリムローズは壁の絵画の提供を受けたが、断った。ヘースティングズの日記には、「絵画は無料でクリスティーズで処分した。」との記述が残されている  。
1866年の普墺戦争に大敗北を喫した後、オーストリア帝国の威信は低下し、帝国政府に対する諸民族の自治要求の気運がますます高揚しつつあった。諸民族は、自治要求こそすれどもハプスブルク家からの完全独立は要求しなかった。ドイツ帝国とロシア帝国という強国に挟まれたこの地域で小国が存続することは不可能に思われたため、ハプスブルク君主国の範疇での権利獲得という選択肢以外は（ハンガリーを除いて）ほとんど考えられることはなかった。また、イタリア統一戦争によってイタリア北部の領土を喪失し、北部の統一ドイツ国家からも締め出されてしまったオーストリア帝国の関心は、必然的に東側のドナウ川流域に向けられることとなった。すなわち「ドナウ帝国」観念の浮上である。オーストリア皇帝フランツ・ヨーゼフ1世は、ハンガリー貴族たちの要求に応えてアウスグライヒを実行し、オーストリア帝国からハンガリー王国領を分離した。フランツ・ヨーゼフ1世は聖イシュトヴァーンの王冠を戴いてハンガリー王位に就くことで、1867年5月29日に「オーストリア＝ハンガリー帝国」を成立させた。二重帝国の中央官庁として共同外務省と共同財務省が設置されたが、外交・軍事・財政以外の内政権は完全に認められるなど、形式的にはハンガリーは独立王国となった。一民族のみが優位を獲得したことを受けて、諸民族のハンガリー人に対する反発が高まったが、彼らはまた同時にみずからも妥協をかち取ろうと工作を開始した。アウスグライヒ直後の1867年12月に制定された新憲法では「諸民族の平等」が規定された。1871年、ハンガリーに採られたものと同様の措置を要求するボヘミアのチェコ人たちに対し、皇帝フランツ・ヨーゼフ1世ならびにドイツ人の優位性を維持しながら自由主義的な中央集権体制を目指す「ドイツ人自由派」に属する首相カール・ジークムント・フォン・ホーエンヴァルトは、聖ヴァーツラフの王冠のもとにボヘミア王国の独立を承認しようとした。フランツ・ヨーゼフ1世のボヘミア国王としての戴冠式の実施も決定され、実現すれば「オーストリア＝ハンガリー＝ボヘミア三重帝国」が樹立されるはずだったが、この戴冠式はハンガリー首相アンドラーシ・ジュラ伯爵の猛反対に遭って断念された。ハンガリー国内の総人口においてハンガリー人は半分程度しか占めておらず、ハンガリー国内でのスラヴ民族の地位向上に繋がってしまう恐れがあり、またスラヴ民族の盟主としてロシア帝国の介入を促す恐れもあったためと考えられている。実際に適用されたのはハンガリーのみに留まったが、この時期のオーストリア帝国による一連の「妥協」の動きは、同君連合への移行という形での帝国連邦化計画だったといえる。