A finales del siglo XVIII, la familia Heredia reformó el palacio y su patio y lo dotó de su actual fachada meridional, derribando la torre de ese lado, y de un jardín, al que daba dicha fachada.