Este palacio señorial lo crea don Lorenzo Fernández de Villavicencio, uno de los primeros alcaides de la ciudad, y se levanta en uno de sus costados a partir del año 1664 sobre restos de anteriores construcciones árabes.