大火烧毁了宫殿的一部分，当中包括东南面的一些国王私人公寓，这些公寓在火灾后并没有重建，使到通往女王礼拜堂的部分变得空旷起来，现时只有一条莫尔伯勒路（Marlborough Road）把两座建筑物连接起来。 1762年，乔治三世又为了他的皇后梅克伦堡-施特雷利茨的夏洛特而购回白金汉大宅（白金汉宫的前身），这使到在19世纪上半叶圣詹姆士宫的重要性一直都在下降中，开始越来越多地只用于一些正式场合，例如重要的官方宴会、皇室婚礼和受洗仪式等。终于维多利亚女王决定于1837年正式搬离圣詹姆士宫，结束它的法定皇家居所地