61年去世之后，将温莎城堡当成退隐的住所，最终也在这里去世。亚伯特亲王被葬在位于家庭花园中的弗罗格莫尔陵园。后来维多利亚女王也葬在他的身边。从亚伯特亲王去世后到维多莉亚女皇在1901年去世的这段期间，温莎城堡基本上是维多利亚女王的住所，她也很少前往白金汉宫。亚伯特亲王的房间始终保持着他过世时的样子，虽然忧郁的空气沉淀在19世纪的城堡之中，但是没有阻止城堡的更新与重建。安东尼·沙尔文（Anthony Salvin）在1866年于国家外交大厅设计了大楼梯，这座石造的歌德风格楼梯使大厅的高度增加到两倍，一座拱