En kritisk periode for huset Avesnes begynte etter det vellykkede flamske opprøret i 1302 (det gylne sporeslaget), der den franske hæren ble slått. Flamske patrioter, støttet av utilfredse innbyggere i Hainaut og Zeeland, angrep disse grevskapene i 1303. Under Gwijde av Namurs kommando ble Vilhelm I av Hainauts styrker (Jans sønn) slått på Duiveland i mars 1304. Biskop Gwijde av Utrecht ble tatt til fange, og Gwijde av Namur og Jan II av Brabant, som hadde sluttet seg til angriperne, erobret den største delen av Utrecht og grevskapene Holland og Zeeland. Gwijde og Jan II av Brabant delte disse områdene mellom seg.