Otro romántico edificio que aun subsiste en el n.º 38-40 de la calle del Pez, esquina a la calle Pozas, es el antiguo palacio del duque de Baena, proyectado en 1860 por el arquitecto Wenceslao Gaviña.