Il castello fu costruito da Ugo di Saint Omer, secondo principe di Galilea, nel 1105 per contribuire alla conquista di Tiro, che era ancora in mano ai Fatimidi. Dopo la morte di Ugo, l'emiro Izz al-Muluk tentò di approfittare della mancanza di difensori per impadronirsi del castello, ma il re Baldovino I lo concesse come feudo a Gervasio de Bazoches, che però morì poco dopo, giustiziato sulla piazza di Damasco. Toron divenne allora una signoria indipendente e, prima del 1109, fu assegnata a Umfredo I; dopo di lui il castello e la Signoria di Toron passarono ai suoi discendenti Umfredo II ed Umfredo IV, quest'ultimo fu anche principe titolare di Oltregiordano.