1762年，喬治三世又為了他的皇后梅克伦堡-施特雷利茨的夏洛特而購回白金漢大宅（白金漢宮的前身），這使到在19世紀上半葉聖詹姆士宮的重要性一直都在下降中，開始越來越多地只用於一些正式場合，例如重要的官方宴會、皇室婚禮和受洗儀式等。終於維多利亞女王決定於1837年正式搬離聖詹姆士宮，結束它的法定皇家居所地位。倫敦大火之後，聖詹姆士宮交由建築師克里斯多佛·雷恩爵士和承擔修繕工程，他們保留了少量的內部結構部件和室內裝潢，但現存的面貌則主要是在19世紀改建而成。而美學家威廉·莫里斯和他的公司在1866年至1867年間也被委託重新裝修過宮內的軍械庫和掛毯室。