Il est détruit par le tremblement de terre de Bâle en 1356 et ce sont les Morimont, vassaux des Ferrette qui le reconstruisent dont Pierre de Morimont en sera le plus illustre seigneur. Celui-ci le transformera en une forteresse adaptée aux armes à feu. Après la mort de Jean-Jacques de Morimont, entre 1533 et 1538, la famille connaissant des difficultés financières le vend aux comtes d'Ortenbourg-Salamanca en 1582.