Po śmierci Filipa Alzackiego, władza przeszła w ręce jego szwagra, Baldwina VIII, hrabiego Hainaut. Odtąd kolejni władcy Flandrii sprawowali też rządy w Hainaut. Następca Baldwina VIII, Baldwin IX (lepiej znany jako cesarz Baldwin I) wziął udział w IV wyprawie krzyżowej i w 1204 roku stał się sławny w całej Europie jako pierwszy władca Cesarstwa Łacińskiego i jeden ze zdobywców Konstantynopola. Nie przyniosło to korzyści jego hrabstwu, które dostało się w ręce jego dwóch córek - wpierw Joanny, a później Małgorzaty, co spowodowało pewne osłabienie Flandrii przez wojny między obiema siostrami.