Grev Filips hustru Elisabeth døde i 1183, og kong Filip II August underla provinsen Vermandois på vegne av Elisabeths søster Eleonore. Filip av Alsace giftet seg på nytt med prinsesse Matilda av Portugal, datter av Afonso I av Portugal, den første konge av Portugal, og Mathilde av Savoia. Filip ga den portugisiske prinsessen en medgift bestående av en rekke betydelige byer i Flandern. Dette var ikke i Balduin Vs interesse som fryktet at han ville bli omringet av kongelige besittelser og grevskapet Hainaut. Det ble undertegnet en fredsavtale med Filip II August, Filip av Alsace og Balduin V den 10. mars 1186 som anerkjente overførselen av Vermandois til kongen, skjønt Filip av Alsace fikk beholde tittelen greve av Vermandois så lenge han levde. Da han døde av sykdom i 1191 uten å ha produsert en arving med grevinne Matilda ble han etterfulgt i Flandern av Balduin V til tross for at disse to ikke hadde vært enige siden fredsavtalen i 1186. Balduin V styrte fra da av som i rett fra sitt ekteskap. Da grevinne Margarete I døde i 1194 gikk Flandern i arv til hennes eldste sønn Balduin som da styrte som .