El origen del condado se remonta a 1102, cuando el Conde Raimundo IV de Tolosa, uno de los líderes de la Primera Cruzada, inició una larga guerra con los Banu Ammar, emires de Trípoli (en teoría vasallos de los califas fatimíes de El Cairo), por la que fue ganando gran parte de su territorio hasta asediarlos en la propia Trípoli.