Após adquirir o sítio em 1142, começaram a construir um novo castelo para substituir a antiga fortificação curda. A obra durou até 1170, quando um terremoto danificou o castelo. Uma fonte árabe cita que o tremor destruiu a capela do castelo, que foi substituída pela atual. Em 1163, os cruzados foram vitoriosos contra Noradine na Batalha de Bucaia perto da fortaleza. As secas entre 1175 e 1180 obrigaram os cruzados a assinar uma trégua de dois anos com os muçulmanos, mas sem Trípoli incluído nos termos. Nos anos 1180, raides de cristãos e muçulmanos se tornaram mais frequentes. Em 1180, Saladino se aventurou no Condado de Trípoli, devastando a área. Recusando-se a encontrá-lo numa batalha aberta, os cruzados recuaram à relativa segurança de suas fortificações. Sem capturar castelos, Saladino não conseguiu assegurar controle da área e, assim que se retirou, os hospitalários revitalizaram suas terras danificadas. A Batalha de Hatim em 1187 foi uma derrota desastrosa para os cruzados: o rei de Jerusalém Guido de Lusignan foi capturado, bem como a Vera Cruz, uma relíquia descoberta durante a Primeira Cruzada.