Die Grafschaft Jaffa (ab 1153 einschließlich Askalon) war üblicherweise im Besitz der königlichen Familie – entweder direkt im Besitz des Königs, oder mindestens eines seiner Verwandten. Jaffa war Ende Mai 1099 vom Ersten Kreuzzug erobert, 1100 von Gottfried von Bouillon befestigt und erfolglos von Daimbert von Pisa, dem ersten Lateinischen Patriarchen von Jerusalem für sich beansprucht worden. Als Hugo II. von Le Puiset 1134 gegen König Fulko rebellierte, wurde die Grafschaft in eine Reihe kleinerer Einheiten aufgeteilt, Jaffa selbst wurde Krongut. 1187 ging Askalon an Saladin verloren, das zwar 1239 wieder zurückerobert, aber nicht wieder mit der Grafschaft Jaffa vereint wurde. Askalon wurde stattdessen 1243 von Kaiser Friedrich II. an den Hospitaliterorden verkauft, welcher die Burg 1247 endgültig an die Muslime verlor. Ungeachtet dessen nannte sich der seit 1247 amtierende Graf Johann von Jaffa auch weiterhin "Graf von Jaffa und Askalon", wohl um seinen Besitzanspruch auf Askalon zu untermauern, der aber nie ausgeübt werden konnte. Am 3. März 1268 wurde auch Jaffa endgültig von den Mamluken unter Baibars I. erobert. Der Grafentitel wurde noch lange nach dem Fall der Grafschaft als bloße Titulatur weitergeführt.