La casa modesta, de la que el edificio actual toma el nombre, fue una de las numerosas casas construidas por Sir George Downing entre 1682 y 1684.