Tras la muerte de su fundador, la casa se permutó por una propiedad en el barrio de Sabugo, pasando el palacio a manos de la familia Llano Ponte, concretamente de "Francisco de Llano Ponte".