Til tross for husets størrelse og beleilige lokalisering i nærheten av parlamentet, var det få av de første statsministrene som bodde der. Det var kostbart å holde, ble neglisjert og nedslitt, og nummer 10 var nær ved å bli revet flere ganger. Likevel har eiendommen overlevd og blitt knyttet til mange politikere og hendelser i britisk historie. I 1985 uttalte Margaret Thatcher at nummer 10 hadde blitt «en av de mest dyrebare juveler i den nasjonale kulturarv».