Balduins egen familie hadde også vært involvert i forsvaret av Jerusalem: hans onkel Filip hadde dødt på korstog, hans mors mor var grandtante av Isabella I, dronning av Jerusalem, og grevene av Flandern hadde forsøkt å hjelpe deres slektninger i Jerusalem i deres kamp mot de muslimske angriperne. Balduin ønsket å fortsatte denne tradisjonen. Margarete døde i 1194 og den yngre Balduin ble greve av Flandern. Da hans far døde det påfølgende året etterfulgte han også som greve av Hainaut.