カールトン・ハウス
その当時邸宅は建築的な統合性のない、漫然とした構造だった。
邸宅は1783年から96年にかけて、ヘンリー・ホランドにより実質的に再建された。1802年の時点で、カールトン・ハウスは広大で贅沢な邸宅であり、多くの国々で宮殿と呼ばれるにふさわしいものだった。1780年代からジョージの両親のセント・ジェームズ宮殿とバッキンガム・ハウス (後のバッキンガム宮殿) に代わって王室の中心となった。摂政王太子となった1811年以降、邸宅は実質的に「宮殿」となった使用頻度に合わせ改装された。
1820年、父ジョージ3世の死去に伴い、王太子は即位しジョージ4世となった。彼はカールトン・ハウスや公式の宮殿であるセント・ジェームズ宮殿、さらには両親のバッキンガム・ハウスは、何れも彼の要望には不十分であると判断した。カールトン・ハウスを大規模に改装することも検討されたが、最終的にバッキンガム・ハウスがバッキンガム宮殿として再建された。カールトン・ハウスは1826年に解体され、代わりにカールトン・ハウス・テラスとして知られる2棟の白い化粧しっくいが施された瀟洒な建物が建てられた。その建物のリースによる収益金はバッキンガム宮殿の建設費用に充てられた。