Aan het begin van de Frans-Vlaamse oorlog in 1297 werd de gravenzoon Robrecht van Bethune in Rijsel belegerd door de Fransen. Een stenen projectiel doorboorde toen het dak van zijn kasteel en doodde twee ridders naast hem. Na de verovering van de stad verbleef koning Filips de Schone ruim een maand in het kasteel. Vanwege de kwetsbaarheid ervan beval hij in 1299 de bouw van het kasteel van Kortrijk. Toch bleef de "Salle" in gebruik als grafelijke residentie.