En 1362 el rey de Aragón Pedro IV el Ceremonioso (1336-1387) se lo entrega al noble Ramón de Vilanova i Lladró, creando a tal fin la baronía de Castalla.