El castillo y villa perteneció primero al taifa de Alpuente, para pasar posteriormente al dominio del taifa de Albarracín, en ese momento se hablaba de la importante fortaleza de Castielfabib, la cual era inexpugnable.