Вскоре после этого, где-то между 1246 годом и началом Седьмого крестового похода, Жан стал графом Яффы и Аскалона и сеньором Рамлы. Рамла была старым владением Ибелинов, но Яффа и Аскалон принадлежали другим династиям, а конкретнее — совсем недавно убитому Готье IV Бриеннскому, чей сын Жан, граф Бриенн (племянник короля Генриха II) был вытеснен Ибелинами со своих владений. Это, вероятно, произошло тогда, когда король Генрих, двоюродный брат Жана, стал регентом Иерусалима и начал раздавать кипрским баронам земли на континенте, чтобы создать там базу лояльных себе людей. Яффа была к тому времени была небольшим портом, а Аскалон был захвачен мамлюками у госпитальеров в 1247 году.