Tras ser conquistado por Jaume I en 1264, el castillo fue donado a Vidal de Sarrià como un enclave fundamental en la salvaguarda de las comunicaciones entre La Marina y la Foia d’Alcoi, aunque a partir de entonces sufrió una profunda reforma.