Kiedy Joanna miała 2 lata jej ojciec wyruszył na IV wyprawę krzyżową, w wyniku której został w 1204 r. łacińskim cesarzem Konstantynopola. Opiekę nad Joanną i jej młodszą siostrą Małgorzatą sprawowała ich matka, Maria z Szampanii. W 1204 r. ona również wyruszyła na Wschód, gdzie zmarła na zarazę. Ojciec dziewczynek dostał się w 1205 r. do bułgarskiej niewoli i zmarł w jednym z bałkańskich zamków. Joanna została więc hrabiną Flandrii i Hainaut. Regencję na czas jej małoletności sprawował stryj, margrabia Filip z Namur. Filip przekazał wkrótce prawa do opieki nad dziewczynkami królowi Francji Filipowi Augustowi, który z kolei odsprzedał je Enguerradowi III de Coucy, który miał ambicję ożenić się z Joanną.