El conde de Ampurias, Ponce Hugo IV, en el año 1299 hizo construir un castillo.