El recinto fue construido sobre una primitiva fortaleza islámica en el siglo XVI por la familia Pardo de la Casta, señores del lugar, convirtiéndola en un castillo: palacio que actuaba como residencia y símbolo de poder del señorío.