A grófné 1337-ben megözvegyült, utána pedig, mint ahogy általában a kor arisztokrata özvegyasszonyai is tették, zárdába vonult, s ő lett a fontenelle-i apátság rendfőnökasszonya. 1340-ben veje, III. Eduárd tengeri támadást intézett Johanna bátyja, VI. Fülöp francia uralkodó ellen, nem messze Sluystől, majd pedig hozzáfogott Tournai ostromához, ami nem sokáig tartott, mivel időközben az angol királynak pénzügyi gondjai támadtak a hadjárat folytatása kapcsán. XII. Benedek pápa arra kérte az özvegy grófnét, hogy próbálja meg kibékíteni egymással a két uralkodót, már csak a köztük lévő rokoni szál miatt is. Johanna először bátyját, Fülöpöt kereste fel, akinek szinte könyörgött, hogy tegye le a fegyvert, majd pedig Eduárd sátrában arra kérte vejét, kössön békét a francia királlyal. Végül a pápának kellett felszólítania a két királyt, hogy presztízsveszteség nélkül írják alá a fegyverszünetet.