De la première forteresse, on sait peu de choses si ce n'est qu'elle était en ruines aux alentours de 1204. La suivante, impulsée par le seigneur des lieux Raimond de Péreille, fut celle de la période cathare. Le village appelé « Castrum » était à cette époque au sommet de la montagne, dans la forteresse. En , un premier siège eut lieu, mais la forteresse ne fut pas prise.