Hacia inicios del siglo XX, la esquina del edificio se convirtió en el bar "Café Belalcázar" que fue muy conocido por esa época, además todo el complejo tuvo que ser intervenido debido a un sismo en 1906 modificando su segundo piso, además que el lado norte de Los Portales fue adquirido por el Banco de Colombia en 1943, siendo esta parte demolida y sustituida por la construcción ecléctica de hoy en día. A causa del Terremoto de Popayán en 1983, la antigua casona es arrasada en gran parte sobre todo su planta superior por lo que fue restaurada en su totalidad clausurando el viejo bar y estableciendo la "Casa del Consumidor" en ella.