En 1362 el rey de Aragón Pedro IV el Ceremonioso (1336-1387) se lo entrega al noble Ramón de Vilanova i Lladró, creando a tal fin la baronía de Castalla. El objetivo de esta entrega es que lo refuerze y lo defienda ante los ataques del rey de Castilla Pedro I, en la conocida guerra de los dos Pedros (1356-1369). Será en este momento del siglo XIV cuando se realicen la mayoría de las reformas que hasta nosotros han llegado, así se construye el "Palau" y el "Patí d'Armes".