Esta reforma, que coincidió con la demolición del contiguo Monasterio de la Concepción Jerónima hizo que el Duque de Rivas adquiriera la colindante huerta del convento, ampliando de esta manera el jardín del palacio y convirtiéndolo en un recinto arbolado de estilo romántico.