À la haute époque féodale, un château fort est érigé vers 1148, construit par Baudoin ; Baudoin de Constantinople (1172-1206), le comte Baudoin de Flandre (1194-1206), Baudouin de Hainaut, premier empereur latin d'Orient (1204-1206) né à Valenciennes. En 1200, il est l'un des chefs de la croisade, il participe à la prise de Constantinople avec comme écuyer et ami, le fils cadet des seigneurs de Rumes en (1204) et est élu Empereur du nouvel État latin fondé par les croisés ; cependant les Byzantins se révoltent et font appel au tsar bulgare Jean Kajolan. Défait par ce dernier à la bataille d'Adrianople (1205), Baudoin est fait prisonnier et interné à Tarnovo, où il mourut.