El linaje de los Carvajal llegó a la ciudad en el siglo XV procedente de Plasencia y construyen su palacio junto al edificio religioso más importante de la ciudad: la Concatedral de Santa María.