Jaffa werd na de Eerste Kruistocht in 1100 door Godfried van Bouillon versterkt. Het werd daarna opgeëist door Dagobert van Pisa, patriarch van Jeruzalem, maar tevergeefs. Het bleef koninklijk domein tot het in 1110 vergeven werd aan Hugo van Le Puiset. In 1134 was Hugo's zoon (Hugo II) betrokken bij een dispuut met koning Fulco. Deze werd verbannen, waarna Jaffa werd opgedeeld in een aantal kleinere delen en Jaffa zelf werd een koninklijk domein. Het werd later weer hersteld voor Fulco's zoon Amalrik. In 1153 wist koning Boudewijn III van Jeruzalem, Ascalon te ontzetten en hij vergaf het aan zijn broer Amalrik, wat hem graaf van Jaffa en Ascalon maakte.