Años después fueron los duques de Montpensier que estaban recién llegados a la ciudad, los que ocuparon sus estancias como vivienda ocasional mientras se realizaban obras en el palacio de San Telmo.