Bergues byl součástí Flanderského hrabství až do konce třináctého století, kdy jej na krátkou dobu dobyli Francouzi, ale následně ho opět vrátili Flandrům. Tato situace se v dalších staletích opakuje ještě několikrát. Na konci patnáctého století se španělský císař stává i vládcem Flander. V této době si Bergues užívá svého největšího rozkvětu. V roce 1668 je po válce mezi Flandry a Francií společně s několika dalšími městy v okolí připojeno definitivně k Francii. Svůj velký význam si však nadále uchoval.