Under en langvarig krig fra 1046 og fram til 1056 som en alliert med hertug Gottfried III av Nederlothringen («den skjeggete») mot den tysk-romerske keiser Henrik III av Det tysk-romerske rike mistet han innledningsvis området Valenciennes, sitt tysk rikslen, i 1046 til grev Herman av Hainaut. Da Herman døde i 1049 fikk Boudewijn giftet sin sønn Boudewijn VI til Hermans enke Richilde og fikk gjennomført at barna fra hennes første ekteskap ble gjort arveløs, og således forente grevskapet Hainaut med Flandern. Ekteskapet han hadde tvunget igjennom mellom sønnen og Richilde var kirkerettslig ugyldig ettersom de var nært beslektet. Da Henrik III døde ble dette ekteskapet godkjent med en avtalte inngått med Agnes av Poitou, mor og regent av den seks år gamle Henrik IV. Kort etter at fredsforhandlingene i Andernach var avsluttet godkjent paven likevel ekteskapet.