Existen testimonios de aquella época sobre el castillo, cuyo origen parece remontarse a épocas anteriores a la Baja Edad Media, y aunque apenas se conservan restos, ya que fue demolido por orden Fernando el Católico en 1508 como ejemplar castigo impuesto al titular de la Casa de Aguilar (ya entonces primer marqués de Priego) y aviso al resto de la nobleza andaluza.