Vše se dramaticky změnilo po vlámském povstání a porážce francouzské armády v bitvě u Courtrai v roce 1302, kde byl zabit Janův nejstarší syn. Vlámští vlastenci napadli Henegavsko a Zeeland podporováni nespokojeným obyvatelstvem. Guy z Namuru porazil Janova syna, Viléma, v bitvě na ostrově Duiveland. Biskup Guy z Ultrechtu byl zajat. Guy z Namuru a vévoda Jan II. Brabantský si podmanili většinu Ultrechtu, Zeelandu a Holandska. Guy z Namuru byl nakonec poražen v roce 1304 a to holandským a francouzským loďstvem v námořní bitvě u Zierikzee. Jan II. získal většinu jeho autority, když ještě toho roku zemřel.