En 1311, el castillo fue vendido por Jaime II de Aragón al conde Ponce V de Ampurias, aunque duró pocos años bajo su poder; el Rey se percató de la fortificación de este castillo y de la fortaleza cercana de Bellcaire por parte del Conde, viendo seriamente amenazadas sus posesiones reales en Torroella de Montgrí, así que ordenó la detención inmediata de las obras y finalmente volvió a recuperar el castillo.