Tras la retirada de Amalarico de su quinta ofensiva contra Egipto en 1170, el general musulmán Saladino, peleando a favor de los fatimíes, atacó y sitió la fortaleza como parte de su incursión en el Reino de Jerusalén. A pesar de las ganancias iniciales, Darom no fue capturado ni destruido. Más tarde se convirtió en un refugio de los Caballeros Templarios y la Orden de Malta de Jerusalén, liderados por el rey Balduino III Después de que el ejército musulmán venciera a los cruzados en la Batalla de los Cuernos de Hattin en 1187, su líder Saladin, ahora sultán independiente del imperio Ayyubid, avanzó hacia el norte y capturó tanto Ascalon como Darom en 1188. Su primera orden fue la demolición del fuerte, pero decidió más tarde no destruirlo. En cambio, la fortaleza fue ampliada considerablemente y fortalecida. “Darum”, como la llamaban los musulmanes, fue cercada por un muro con 17 fuertes torres protegidas por un profundo foso con lados empedrados. Fue sede de una guarnición comandada por el “emir” (comandante) Alam ad-Din Qayasar y sirvió como almacén de suministros y municiones.