Este período de autonomía vio su fin cuando el hijo del primer conde, Hugo II de Jaffa, fue acusado de mantener una relación amorosa con la Reina de Jerusalén, Mélisende, ya que el condado de Jaffa fue dividido y la ciudad fue anexada a los dominios reales.