Когда Жанна была совсем ребёнком (её год рождения неизвестен), её родители отправились в Четвёртый крестовый поход, где отец был избран императором Константинополя. Через год он умер в болгарской темнице, и опека над Жанной была доверена его брату — маркграфу Филиппу Намюрскому. Тот, однако, несмотря на преклонный возраст, обручился с дочерью короля Филиппа Августа и передал опеку над двумя девочками тестю.