夏洛特而购回白金汉大宅（白金汉宫的前身），这使到在19世纪上半叶圣詹姆士宫的重要性一直都在下降中，开始越来越多地只用于一些正式场合，例如重要的官方宴会、皇室婚礼和受洗仪式等。终于维多利亚女王决定于1837年正式搬离圣詹姆士宫，结束它的法定皇家居所地位。伦敦大火之后，圣詹姆士宫交由建筑师克里斯多佛·雷恩爵士和承担修缮工程，他们保留了少量的内部结构部件和室内装潢，但现存的面貌则主要是在19世纪改建而成。而美学家威廉·莫里斯和他的公司在1866年至1867年间也被委託重新装修过宫内的军械库和挂毯室。Sect