Los Marqueses de la Casta edificaron en lo alto del cerro que domina la villa, un suntuoso castillo-palacio, levantado sobre una primitiva fortaleza islámica, que actuaba como residencia y símbolo de poder del señorío.