A la conclusión de la Reconquista, a finales del siglo XV, el castillo de Albox, como otros del Reino de Granada, fue destruido ante el temor de que grupos rebeldes (primero mudéjares y después moriscos) pudiesen hacerse fuertes en él.