Obwohl die schwer zugängliche Anlage eigentlich für uneinnehmbar gehalten wurde, wechselte sie relativ häufig den Besitzer. So fiel sie 1133 erstmals wieder an die Muslime unter Ismail, dem Herrn von Damaskus. Von den Kreuzfahrern um 1140 zurückerobert wurde sie erneut 1165 von Nur ad-Dins Kommandeur Schirkuh eingenommen. Zwischen 1182 und 1187 erlangten die Kreuzfahrer die Höhlen zurück. In der Folgezeit waren sie erneut in muslimische Hände gefallen, als die Kreuzfahrer 1240 die Festung im Rahmen des Kreuzzugs der Barone friedlich von as-Salih Ismail von Damaskus zurückerhielten. Aus der Folgezeit sind auch die Namen der Burgherren "Andreas von Schuf" und seines Nachfolgers "Johann von Schuf" überliefert.