Per aquest motiu Lluís d'Icart el va enderrocar i al seu lloc hi va iniciar la construcció del nou palau.