首相罗伯特·皮尔的秘书，爱德华·德拉蒙德（Edward Drummond），就在白厅返回唐宁街10号寓所途中，遭到刺杀。在1827年至1877年的整整50年间，几乎没有首相选择入住唐宁街10号。威宁顿公爵就曾以它太细小为由而拒绝入住，最后因为他的阿普斯利邸宅要进行维修，才迫不得已到唐宁街10号暂住。至于其他首相，如墨尔本勋爵和帕尔姆斯顿子爵，都只以唐宁街10号用作办公厅和内阁会议场所。因此，自1847年至1877年，都没有人居住在唐宁街10号。步入1860年代，唐宁街10号对面兴建了崭新的外务部办公