El palacio fue reconstruido a finales del Siglo XVIII, llevándose a cabo la obra entre 1776 y 1779 por el alarife criollo Francisco Antonio de Guerrero y Torres, autor de otras obras de gran importancia como el palacio de los marqueses de Jaral del Berrio y la capilla del Pocito.