Durante el siglo XVI se amplió y reparó el castillo, pero la villa urbana, que había retornado a la baronía de Polop, se encontraba al parecer casi completamente despoblada.