En el año 1721, durante el reinado de Felipe V, se decidió el derribo de estas casas, para que comenzara la construcción del edificio definitivo, sobre el diseño de Pedro de Ribera.