唐宁街11号则于1828年正式成为财政大臣的官邸。但同时唐宁街也因为日益老化，而日渐显得破落，更不时有妓女出没。以致在1839年的时候，有建议把唐宁街北面的房屋全数拆除，以便让白厅进行重新规划。此外，治安也是一个渐受关注的问题，在1843年，首相罗伯特·皮尔的秘书，爱德华·德拉蒙德（Edward Drummond），就在白厅返回唐宁街10号寓所途中，遭到刺杀。在1827年至1877年的整整50年间，几乎没有首相选择入住唐宁街10号。威宁顿公爵就曾以它太细小为由而拒绝入住，最后因为他的阿普斯利邸宅要进