Devenu propriété royale sous Philippe III le Hardi et Philippe IV le Bel, il est donné en mai 1294 par Philippe le Bel à Pierre Flote pour le récompenser de ses services, avant qu'il le nomme chancelier de France. Pierre fait des travaux dans le château et ajoute au moins 5 tours à l'enceinte qui délimite un vaste espace trapézoïdal. Il meurt à la bataille de Courtrai, en 1302.