在接下来的好多年里很少涉足伦敦，她的隐居为她赢得“温莎遗孀”之名。维多利亚的自我隐退消弱了公众对君主制的向往，鼓励了共和运动的兴起。不过女王确实承担了她应承担的责任，但依然仅限于其王宫——温莎城堡、奥斯本宫以及苏格兰的私有寓所中，其中苏格兰的寓所巴尔莫勒尔堡是女王和阿尔伯特在1847年购置的。1864年3月，反对者在白金汉宫的栅栏上贴上布告，认为“这些房子应该让那些真正做事的人居住或购买”。由此女王的叔叔利奥波德向她写信并建议作为女王应该出现在公众面前。最后女王同意参观肯辛顿皇家园艺协会的花园，并乘坐敞