I en periode på 1800-tallet var huset mindre populært blant britenes førsteministre. Det skyldtes blant annet at de fleste var svært velstående, og hadde langt bedre boliger som de heller benyttet. Huset var også preget av dårlig vedlikehold. Fra 1900-tallet ble det mer vanlig at statsministeren med familie faktisk bor i huset. Et unntak var Tony Blair, som var statsminister fra 1997 til 2007. Han og hans finansminister Gordon Brown byttet bolig.