Balduin etterlot sin to år gamle datter og sin gravide hustru, grevinne Marie. Tidlig i 1204 etterlot hun sine to barn for å komme til ham i Midtøsten. De hadde begge forventet å komme tilbake etter noen år, men sluttligen så ingen av dem sine barn eller sine hjemland igjen. Marie var regent for sin ektemann i de to årene hun var i Flandern og Hainaut. Etter at hun reiste ble Balduins yngre bror Filip av Namur regent og hadde også omsorgen for deres to døtre. Balduins onkel Vilhelm av Thy (en sønn utenfor ekteskap av Balduin IV av Hainaut) var regent for Hainaut.