El castillo fue motivo de numerosas disputas entre el obispado de Gerona y el condado de Ampurias, hasta el punto de que el conde Hugo IV lo empeñó, siendo posteriormente excomulgado por la Iglesia.